Fish Audio S2
デュアルARアーキテクチャを採用した40億パラメータの高音質音声合成モデル
Fish Audio S2は、Fish Audioが2026年3月に公開したオープンソースのTTS（Text-to-Speech）モデルです。一言で表すと、「15,000個の感情タグを使って、笑い、囁き、プロの放送トーンをインラインで指定できる多言語音声生成器」です。
従来のzero-shot TTSでは、テキストだけを入力すると単調なトーンで読み上げたり、感情を込めるには別途prosodyモデルを組み込む必要がありました。Fish Audio S2は、Dual-ARアーキテクチャ（4B Slow AR + 400M Fast AR）により、意味的コードブックと残差音声コードブックを分離して予測し、感情・韻律タグを自然言語のインライン形式で受け取ります。[laugh] こんにちは [professional broadcast tone] 今日のニュースですのように、一文の中にトーンの切り替えを組み込むことができ、ブラインド評価でBradley-Terryランキング1位（3.07）を記録しました。
実務的な観点からは、（1）80以上の言語を単一のモデルでカバーし、多言語コンテンツの吹き替えを一つのモデルで処理し、（2）10〜30秒の参照オーディオだけでzero-shot音声クローンを作成し、キャラクターごとに一貫した話者音声を生成し、（3）RTF 0.195（H200 1枚）とTTFA約100msのリアルタイム推論により、インタラクティブな音声エージェントのバックエンドに直接組み込むことができます。
💻 必要なスペック
24GBを推奨（推論の場合）。CPU専用モードも可能だが、リアルタイム処理はできない
モデルのチェックポイントは約8〜15GB、全体パッケージと依存関係を含めると約20GB
⚡ インストール
4-1. 簡単な始め方
# Conda環境の作成 + GPUのインストール
conda create -n fish-speech python=3.12
conda activate fish-speech
pip install -e .[cu129]
4-2. 詳細なインストール
# システム依存関係 (Linux)
apt install portaudio19-dev libsox-dev ffmpeg
# UVパッケージマネージャー (高速な依存関係解決)
uv sync --python 3.12 --extra cu129 # GPU
uv sync --python 3.12 --extra cpu # CPU専用
# Docker Compose (推奨されるデプロイ方法)
git clone https://github.com/fishaudio/fish-speech.git
cd fish-speech
docker compose --profile webui up # WebUI (localhost:7860)
docker compose --profile server up # APIサーバー (localhost:8080)
COMPILE=1 docker compose --profile webui up # 最適化ビルド (~10倍の速度向上)
4-3. 基本的な使用例
# CLI推論 (参照オーディオによる音声クローン)
# モデルのチェックポイントをcheckpoints/にダウンロードした後:
# fish-speech infer --text "こんにちは" --reference ./ref_audio.wav
FAQ
Fish Audio S2とは何ですか？
Fish Audio S2は、Fish Audioが2026年3月に公開したオープンソースのTTS（Text-to-Speech）モデルです。一言で表すと、「15,000個の感情タグを使って、笑い、囁き、プロの放送トーンをインラインで指定できる多言語音声生成器」です。 従来のzero-shot TTSでは、テキストだけを入力すると単調なトーンで読み上げたり、感情を込めるには別途prosodyモデルを組み込む必要がありました。Fish Audio S2は、Dual-ARアーキテクチャ（4B Slow AR + 400M Fast AR）により、意味的コードブックと残差音声コードブックを分離して予測し、感情・韻律タグを自然言語のインライン形式で受け取ります。[laugh] こんにちは [professional broadcast tone] 今日のニュースですのように、一文の中にトーンの切り替えを組み込むことができ、ブラインド評価でBradley-Terryランキング1位（3.07）を記録しました。 実務的な観点からは、（1）80以上の言語を単一のモデルでカバーし、多言語コンテンツの吹き替えを一つのモデルで処理し、（2）10〜30秒の参照オーディオだけでzero-shot音声クローンを作成し、キャラクターごとに一貫した話者音声を生成し、（3）RTF 0.195（H200 1枚）とTTFA約100msのリアルタイム推論により、インタラクティブな音声エージェントのバックエンドに直接組み込むことができます。
Fish Audio S2はいつ使いますか？
デュアルARアーキテクチャを採用した40億パラメータの高音質音声合成モデル
📝 アップデートノート
まだアップデートノートはありません。
🧪 関連「生命のコード」
関連する「生命のコード」記事はまだありません。