Dia2

Nari Labsが開発したDia2は、ストリーミング方式の対話型テキスト読み上げ（TTS）モデルである。GPTがテキストを1トークンずつ生成するように、Dia2は入力テキストの最初の数単語が与えられるだけで、すぐにオーディオの生成を開始するストリーミングアーキテクチャを採用している。1Bと2Bの2つのパラメータサイズで提供され、KyutaiのMimiオーディオコーデック上に構築され、GoogleのSoundStorm研究から着想を得た並列デコーディング構造を活用している。従来のTTSモデルのほとんどは、オーディオを生成するために、まずすべてのテキストを入力する必要があった。リアルタイムの対話システムやインタラクティブなアプリケーションでは、この遅延が致命的なボトルネックとなる。Dia2は、この限界をストリーミング生成によって克服する。[S1]と[S2]の話し手タグを使用して、複数の話し手による対話を自然にスクリプト化し、笑い、咳、ため息、息切れなどの非言語的な発声まで生成する。オーディオプレフィックス（prefix audio）を条件として与えることで、特定の話し手の声色と感情のトーンを複製（ボイスクローニング）することができ、生成ごとに変化するランダムな音声の問題を解決する。バイオテクノロジー研究の文脈において、Dia2は実験プロトコルのオーディオガイドの自動生成に活用できる。たとえば、細胞培養プロトコルのテキストを[S1]指示者と[S2]確認者の2人の話し手による対話形式に変換すると、クリーンベンチ作業中にハンズフリーで段階的なガイダンスを聞くことができる。また、患者教育資料、論文のポッドキャストへの変換、多言語の研究発表のリハーサルなど、音声コンテンツが必要な研究コミュニケーション全体において、英語ベースの高品質な対話音声を迅速にプロトタイプ化することができる。最大2分間の英語オーディオを生成し、CUDAグラフ最適化とRotaryEmbeddingキャッシュにより、推論速度を継続的に改善している。

💻 必要なスペック

🧠RAM

NVIDIA GPU CUDA 12.8+ が必須。2Bモデルのbfloat16の場合、約6〜10GB、1Bモデルは約4〜6GB（公式な数値は未発表。参考として、オリジナルDia 1.6Bモデルのbf16は約4.4GB、fp32は約7.9GB）。

💾ストレージ

2Bモデルのチェックポイントは約4GB（fp32の場合）、1Bモデルは約2GB。依存関係を含めると、全体で約6〜8GB。

⚡ インストール

### 4-1. 簡単な始め方

```bash
# uv パッケージマネージャーのインストール（未インストールの場合）
curl -LsSf https://astral.sh/uv/install.sh | sh

# リポジトリのクローン + 依存関係の同期
git clone https://github.com/nari-labs/dia2.git
cd dia2
uv sync
```

### 4-2. 基本的な使い方

```bash
# CLIで会話音声の生成（2Bモデル）
uv run -m dia2.cli \
  --hf nari-labs/Dia2-2B \
  --input input.txt \
  --cfg 6.0 --temperature 0.8 \
  --cuda-graph --verbose \
  output.wav
```

```bash
# 音声の複製 — プレフィックスオーディオによる条件付き生成
uv run -m dia2.cli \
  --hf nari-labs/Dia2-2B \
  --input input.txt \
  --prefix-speaker-1 example_prefix1.wav \
  --prefix-speaker-2 example_prefix2.wav \
  --cuda-graph --verbose \
  output_conditioned.wav
```

```python
# Python API
from dia2 import Dia2, GenerationConfig, SamplingConfig

dia = Dia2.from_repo("nari-labs/Dia2-2B", device="cuda", dtype="bfloat16")
config = GenerationConfig(
    cfg_scale=2.0,
    audio=SamplingConfig(temperature=0.8, top_k=50),
    use_cuda_graph=True
)
result = dia.generate(
    "[S1] Hello Dia2!",
    config=config,
    output_wav="hello.wav",
    verbose=True
)
```

🧬 バイオ活用シナリオ

🔬

実験プロトコル音声ガイド

細胞培養、試薬の準備など、実験プロトコルを[S1]指示者/[S2]確認者の対話形式に変換し、クリーンベンチやフードでの作業中にハンズフリーで聴取できるようにする。cfg_scale=6.0、temperature=0.7で明瞭な発話を生成し、音声プリフィックスで聞き慣れた声のトーンを維持する。

🧬

論文ポッドキャスト自動変換

研究論文の要約と考察を、2人の研究者の討論形式のスクリプトに変換し、Dia2で変換する。2分間の音声を作成し、通勤中やランニング中に論文の内容を理解できるようにする。非言語的な発話（感嘆、同意の相槌）で自然な対話感を得る。

💊

患者向け教育音声コンテンツ

遺伝子検査の結果の説明、臨床試験の同意書要約などを、患者に分かりやすい対話形式に変換する。音声クローニングで担当の医療従事者の声色を維持し、信頼性の高い教育資料を作成する。1Bモデルで迅速なプロトタイプを作成した後、2Bモデルで最終的な品質を確保する。

BioPlayground