Moshi
フランスのAI研究機関であるキュタイ(Kyutai)が2024年9月17日に発表したMoshiは、人間のリアルタイムな音声インタラクションを精密に模倣するように設計されたオープンソースの双方向音声対話基盤モデルです。人間が会話する際、聴覚皮質で音を検出し、前頭葉で応答を構成する過程がほぼ同時に起こるように、Moshiは入力された音声をテキストに変換することなく、マルチストリーム(Multi-Stream)方式を導入し、聞くことと話すことを独立させつつも密接に結びつけています。内部のバックボーンには、70億パラメータ(7B)規模のヘリウム(Heli
フランスのAI研究機関であるキュタイ(Kyutai)が2024年9月17日に発表したMoshiは、人間のリアルタイムな音声インタラクションを精密に模倣するように設計されたオープンソースの双方向音声対話基盤モデルです。人間が会話する際に、聴覚皮質で音を検出し、前頭葉で応答を構成する過程がほぼ同時に起こるように、Moshiは入力された音声をテキストに変換することなく、マルチストリーム方式を導入し、聞くことと話すことを独立させながらも密接に結びつけます。内部のバックボーンとしては、70億パラメータ(7B)規模のヘリウム(Helium)大規模言語モデルが主要な推論装置として機能し、オーディオ情報の効率的な圧縮と復元のために、24kHzオーディオを12.5Hzの超低周波数帯域にエンコードする独自開発のニューラルオーディオコーデック、ミミ(Mimi)が搭載されています。この2つの主要モジュールの有機的な結合により、入力と出力を並列トークンストリームで接続し、会話中に発生する複雑な音の流れを、一度の中断もなくスムーズに表現します。
従来のAIベースの音声アシスタントが主に採用してきた方式は、音声認識(ASR)、大規模言語モデル(LLM)、そして音声合成(TTS)を順次行うカスケードパイプライン構造でした。このような従来の方式は、各段階で発生するデータ処理の遅延時間が累積し、リアルタイムインタラクションに限界があり、会話中にユーザーが言葉を遮ったり、割り込んだりする状況をスムーズに検出し、対応することが非常に困難でした。Moshiは、このような直列構造を完全に克服し、テキストではなくオーディオトークン自体を直接学習および推論する完全なエンドツーエンドのマルチモーダルアーキテクチャを提案し、リアルタイムの応答遅延時間を約160msから200ms以内に飛躍的に短縮しました。このような超低遅延設計のおかげで、ユーザーが話している間にも適切な相槌を打ったり、ユーザーが途中で質問を修正した場合に、直ちに以前の発話をキャンセルし、新しい応答に切り替える柔軟性を提供します。
このような革新的な特徴は、バイオテクノロジーおよび医療現場で複雑な作業ワークフローを支援するために、非常に効果的に活用できます。生物学的有害物質を扱う無菌実験室環境では、研究者は両手にマイクロピペットを持ち、ゴーグルを着用した状態で複雑なDNA抽出プロトコルを実行することがありますが、このときMoshiを搭載した音声アシスタントに質問を投げかけることで、試薬の濃度計算式や次の実験手順をリアルタイムの音声フィードバックで即座に案内してもらうことができます。医療教育の現場では、さまざまな症状を訴える仮想患者ペルソナをMoshiに適用することで、医学生が実際の診療環境と類似した緊張感の中で、問診(Medical interview)および初期スクリーニングの実習を繰り返し行えるように支援します。音声の震え、速度、トーンの変化まで処理できるアーキテクチャの強みを活かし、患者の心理的状態や痛みのレベルに応じた話し方の変化をシミュレーションすることで、医療サービスの品質向上とコミュニケーション訓練に大きく貢献します。
💻 必要なスペック
「NVIDIA GPU 24GB+ 推奨（PyTorch 非量子化 7B モデルのリアルタイム推論用）。CPU のみの実行ではレイテンシが大幅に増加」
モデルおよびMimiコーデックの重みダウンロードを含む合計15GB以上
⚡ インストール
4-1. クイックスタート
PIPによる基本パッケージのインストールpip install moshi
ローカル Web サーバーを起動する（Web ブラウザで http://localhost:8998 にアクセス）python -m moshi.server
4-2. 詳細なインストール
1. 仮想環境の作成と有効化python3 -m venv venv source venv/bin/activate
2. システム環境に応じたPyTorchの事前インストール（例：CUDA 12.1用）pip install torch --extra-index-url https://download.pytorch.org/whl/cu121
3. Moshi 正規パッケージのインストールpip install -U moshi
（任意）macOS Apple Silicon ユーザー向けの MLX バージョンのインストールpip install -U moshi_mlx
4. 開発サーバーのポート指定実行とGradioトンネルの有効化（外部接続用）python -m moshi.server --port 8998 --gradio-tunnel
FAQ
Moshiとは何ですか？
フランスのAI研究機関であるキュタイ(Kyutai)が2024年9月17日に発表したMoshiは、人間のリアルタイムな音声インタラクションを精密に模倣するように設計されたオープンソースの双方向音声対話基盤モデルです。人間が会話する際に、聴覚皮質で音を検出し、前頭葉で応答を構成する過程がほぼ同時に起こるように、Moshiは入力された音声をテキストに変換することなく、マルチストリーム方式を導入し、聞くことと話すことを独立させながらも密接に結びつけます。内部のバックボーンとしては、70億パラメータ(7B)規模のヘリウム(Helium)大規模言語モデルが主要な推論装置として機能し、オーディオ情報の効率的な圧縮と復元のために、24kHzオーディオを12.5Hzの超低周波数帯域にエンコードする独自開発のニューラルオーディオコーデック、ミミ(Mimi)が搭載されています。この2つの主要モジュールの有機的な結合により、入力と出力を並列トークンストリームで接続し、会話中に発生する複雑な音の流れを、一度の中断もなくスムーズに表現します。 従来のAIベースの音声アシスタントが主に採用してきた方式は、音声認識(ASR)、大規模言語モデル(LLM)、そして音声合成(TTS)を順次行うカスケードパイプライン構造でした。このような従来の方式は、各段階で発生するデータ処理の遅延時間が累積し、リアルタイムインタラクションに限界があり、会話中にユーザーが言葉を遮ったり、割り込んだりする状況をスムーズに検出し、対応することが非常に困難でした。Moshiは、このような直列構造を完全に克服し、テキストではなくオーディオトークン自体を直接学習および推論する完全なエンドツーエンドのマルチモーダルアーキテクチャを提案し、リアルタイムの応答遅延時間を約160msから200ms以内に飛躍的に短縮しました。このような超低遅延設計のおかげで、ユーザーが話している間にも適切な相槌を打ったり、ユーザーが途中で質問を修正した場合に、直ちに以前の発話をキャンセルし、新しい応答に切り替える柔軟性を提供します。 このような革新的な特徴は、バイオテクノロジーおよび医療現場で複雑な作業ワークフローを支援するために、非常に効果的に活用できます。生物学的有害物質を扱う無菌実験室環境では、研究者は両手にマイクロピペットを持ち、ゴーグルを着用した状態で複雑なDNA抽出プロトコルを実行することがありますが、このときMoshiを搭載した音声アシスタントに質問を投げかけることで、試薬の濃度計算式や次の実験手順をリアルタイムの音声フィードバックで即座に案内してもらうことができます。医療教育の現場では、さまざまな症状を訴える仮想患者ペルソナをMoshiに適用することで、医学生が実際の診療環境と類似した緊張感の中で、問診(Medical interview)および初期スクリーニングの実習を繰り返し行えるように支援します。音声の震え、速度、トーンの変化まで処理できるアーキテクチャの強みを活かし、患者の心理的状態や痛みのレベルに応じた話し方の変化をシミュレーションすることで、医療サービスの品質向上とコミュニケーション訓練に大きく貢献します。
Moshiはいつ使いますか？
フランスのAI研究機関であるキュタイ(Kyutai)が2024年9月17日に発表したMoshiは、人間のリアルタイムな音声インタラクションを精密に模倣するように設計されたオープンソースの双方向音声対話基盤モデルです。人間が会話する際、聴覚皮質で音を検出し、前頭葉で応答を構成する過程がほぼ同時に起こるように、Moshiは入力された音声をテキストに変換することなく、マルチストリーム(Multi-Stream)方式を導入し、聞くことと話すことを独立させつつも密接に結びつけています。内部のバックボーンには、70億パラメータ(7B)規模のヘリウム(Heli
📝 アップデートノート
まだアップデートノートはありません。
🧪 関連「生命のコード」
関連する「生命のコード」記事はまだありません。