BioPlayground

🧬
← AI Tools
audio_aiintermediate

TADA

TADA는 Hume AI가 2026년 3월 공개한 오픈소스 LLM 기반 텍스트-투-스피치(Text-to-Speech) 모델로, Text-Acoustic Dual Alignment라는 이름 그대로 텍스트 토큰과 음향 벡터를 1:1로 동기화하는 아키텍처를 핵심으로 삼는다. Meta의 Llama 3.2를 기반 언어 모델로 채택하고, 자체 개발한 인코더-얼라이너(Encoder-Aligner)로 입력 오디오에서 각 텍스트 토큰에 대응하는 음향 특징을 추출한 뒤, LLM의 hidden state에 조건화된 Flow Matching 헤드가 연속

TADA는 Hume AI가 2026년 3월 공개한 오픈소스 LLM 기반 텍스트-투-스피치(Text-to-Speech) 모델로, Text-Acoustic Dual Alignment라는 이름 그대로 텍스트 토큰과 음향 벡터를 1:1로 동기화하는 아키텍처를 핵심으로 삼는다. Meta의 Llama 3.2를 기반 언어 모델로 채택하고, 자체 개발한 인코더-얼라이너(Encoder-Aligner)로 입력 오디오에서 각 텍스트 토큰에 대응하는 음향 특징을 추출한 뒤, LLM의 hidden state에 조건화된 Flow Matching 헤드가 연속적인 음향 벡터를 생성하고 디코더가 최종 파형으로 복원하는 파이프라인을 따른다. 1B 파라미터(영어 전용)와 3B 파라미터(10개 언어 다국어) 두 가지 모델을 Hugging Face와 GitHub에 동시 공개했으며, 코드는 MIT 라이선스로 자유롭게 수정·배포할 수 있다. 기존 LLM 기반 TTS 시스템은 텍스트 토큰 1개에 대해 12.5~75개의 고정 프레임 오디오 토큰을 생성하는 구조적 불일치(mismatch)를 안고 있어, 모델이 긴 오디오 시퀀스를 자기회귀적으로 디코딩하는 과정에서 단어를 건너뛰거나 반복 삽입하는 콘텐츠 환각(hallucination)이 불가피했다. TADA는 이 문제를 학습이나 후처리가 아닌 아키텍처 자체로 해결한다. GPS 내비게이션이 경로 위의 각 지점과 실제 도로 좌표를 1:1로 대응시켜 경로 이탈을 원천 차단하듯, TADA는 매 LLM 스텝에서 정확히 하나의 텍스트 토큰과 하나의 오디오 프레임만 처리하여 단어 누락이나 삽입이 물리적으로 발생할 수 없다. LibriTTSR 1,000건 이상 테스트에서 콘텐츠 환각 0건을 기록했고, Real-Time Factor(RTF) 0.09로 동급 LLM-TTS 대비 약 5배, 실시간 재생 대비 약 11배 빠른 생성 속도를 달성했다. 동일한 2,048 토큰 컨텍스트 윈도우에서 기존 시스템이 약 70초를 담는 데 비해 TADA는 약 700초(약 11.7분)를 수용하여, 장문 낭독이나 긴 대화 합성에서도 문맥이 끊기지 않는다. 생명과학 연구 환경에서 TADA의 환각 제로 특성은 특히 가치가 크다. 예를 들어, 임상시험 환자 교육 자료를 3B-ML 모델로 10개 언어 음성으로 변환할 때 약물명이나 용량 같은 정량 정보가 왜곡 없이 정확하게 발화된다. 오디오북이나 학술 논문 낭독 파이프라인에서는 레퍼런스 음성 1건으로 화자 스타일을 프롬프팅(Speaker Similarity 4.18/5.0)하고, 프롬프트 캐싱(EncoderOutput.save/load)으로 청크 간 인코딩을 재사용하면서 Naturalness 3.78/5.0 수준의 자연스러움을 유지할 수 있다. 모델 가중치와 코드가 전부 공개되어 있으므로 민감한 의료·연구 데이터를 외부 API로 전송하지 않고 온프레미스에서 처리할 수 있다는 점도 연구기관에 실질적인 이점이다.

💻 필요한 컴퓨터 사양

🧠RAM

TADA-1B bf16 추론 시 10-12GB, TADA-3B-ML bf16 추론 시 ~9GB (인코더 분리 로딩으로 ~2.5GB 절약 가능). NVIDIA CUDA 호환 GPU 필수

💾저장공간

3B-ML 모델 가중치 ~8GB, 1B 모델 ~2GB, 코덱(tada-codec) ~500MB. 전체 패키지 약 10-12GB

⚡ 설치법

### 4-1. Quick Start

```bash
pip install hume-tada
```

### 4-2. 소스 빌드

```bash
git clone https://github.com/HumeAI/tada.git
cd tada
pip install -e .
```

### 4-3. 기본 사용 (Python)

```python
from tada.modules.encoder import Encoder
from tada.modules.tada import TadaForCausalLM
import torch, torchaudio

encoder = Encoder.from_pretrained("HumeAI/tada-codec",
    subfolder="encoder").to("cuda")
model = TadaForCausalLM.from_pretrained("HumeAI/tada-3b-ml",
    torch_dtype=torch.bfloat16).to("cuda")

audio, sr = torchaudio.load("reference.wav")
prompt = encoder(audio, text=["reference text"], sample_rate=sr)
output = model.generate(prompt=prompt, text="합성할 텍스트")
```

> HuggingFace에서 Meta Llama 3.2 Community License를 사전 수락해야 모델 가중치 다운로드 가능.

🧬 바이오 활용

🔬

다국어 환자 교육 음성 자동 생성**

임상시험 또는 병원 환경에서 환자 교육 스크립트를 3B-ML 모델로 10개 언어 음성으로 변환. 1:1 토큰 정렬로 약물명·용량 같은 정량 정보의 누락·왜곡 없이 정확한 발화 보장. RTF 0.09로 수백 건의 교육 스크립트를 배치 처리 가능하며, 온프레미스 구동으로 환자 데이터 외부 전송 불필요.

💊

학술 논문·오디오북 장문 낭독 파이프라인**

2,048 토큰으로 약 700초 분량을 한 번에 처리하므로, 논문 한 편(약 8,000단어)을 2-3 청크로 분할하여 연속 합성 가능. 레퍼런스 음성 1건으로 화자 스타일 고정(Speaker Similarity 4.18/5.0) 후 프롬프트 캐싱으로 청크 간 인코딩 재사용. 기존 고정 프레임 TTS 대비 10배 긴 컨텍스트로 문맥 자연스러움 유지.

🤖

실험실 자동화 실시간 음성 안내**

실험 프로토콜 단계별 음성 지시를 RTF 0.09(실시간 대비 약 11배 속도)로 지연 없이 합성. "시약 A를 50 μL 피펫팅하세요" 같은 정량 지시에서 환각 제로 아키텍처가 수치 왜곡을 원천 방지. 1B 경량 모델 사용 시 12GB VRAM급 소비자 GPU에서도 구동 가능.

📄 공식문서🐙 GitHub

📝 업데이트 노트

아직 업데이트 노트가 없습니다.

🧪 관련 생명의 코드

관련된 생명의 코드 글이 아직 없습니다.