ワークフロー中級

ml-intern

論文検索からポストトレーニングまで、MLワークフローを完全に自動化するエージェント

エンドツーエンドのMLポストトレーニング自動化：arXiv論文の検索→引用グラフの巡回→Hugging Face Hubのデータセット検索・品質検査・フォーマット変換→SFT/GRPO学習スクリプトの実行→評価結果の解釈→失敗の診断（報酬の崩壊など）まで、ML研究の全ループを自律的に実行
ContextManager（17万トークン自動圧縮）：メッセージ履歴を17万トークンの閾値で自動圧縮（オートコンパクション）し、長時間のエージェントセッションを安定的に維持。HFデータセットへのセッショントレースの自動アップロード
Doom Loop Detector：反復的なツール呼び出しパターンを検出し、修正プロンプトを注入することで、エージェントが同じ失敗を無限に繰り返すのを防ぐ。最大300回の反復制限と組み合わせることで、安全な自律実行を保証
ToolRouter：Hugging Faceのドキュメント/リポジトリ/データセットの検索、arXiv論文の読解、GitHubコードの検索、サンドボックスでの実行、プランニング、MCPサーバーツールを単一のルーティングレイヤーに統合
有料・破壊的なタスクの事前承認：GPUジョブの実行（Hugging Face Jobs）および破壊的なコマンドは、ユーザーが明示的に承認した場合にのみ実行。自動承認ワークフローの設定が可能
複数のLLMバックエンド：Claude（FAL-AI経由）、GPT（OpenAI/FAL-AI）、HF Routerモデル（MiniMax、Kimi、GLM、DeepSeek）、ローカルモデル（Ollama、vLLM、LM Studio、LlamaCPP）をサポート
Trackioによる実験の追跡＋Slack通知：Hubネイティブの実験トラッカーTrackioで学習メトリクスを監視し、Slackゲートウェイで進捗状況を通知

💻 必要なスペック

🧠RAM

エージェント自体はCPU専用（LLM推論は外部APIに委譲）。ローカルモデル（Ollama/vLLM）を実行する場合、モデルのサイズに応じて8〜24GB。SFT/GRPO学習を実行する場合は、H100 80GBクラスを推奨（Hugging Face Jobsでクラウドに委譲可能）

💾ストレージ

パッケージ自体は約250MB。学習データセットとチェックポイントを含む場合、プロジェクトあたり10〜50GB

⚡ インストール

4-1. 簡単な始め方

pip install ml-intern

4-2. 詳細なインストール（開発モード）

git clone https://github.com/huggingface/ml-intern.git
cd ml-intern
uv sync
uv tool install -e .

4-3. 環境変数の設定

export HF_TOKEN="hf_..."            # Hugging Face トークン（必須）
export ANTHROPIC_API_KEY="sk-..."    # Anthropic モデルを使用する場合
export OPENAI_API_KEY="sk-..."       # OpenAI モデルを使用する場合
export GITHUB_TOKEN="ghp_..."        # GitHub コード検索を使用する場合（オプション）

4-4. 基本的な使い方

# インタラクティブモード
ml-intern

# ヘッドレスモード（単一のプロンプト）
ml-intern --headless --task "Qwen3-1.7BをGPQAベンチマークで改善する"

# オプションの依存関係
pip install ml-intern[eval]   # 評価ツール
pip install ml-intern[dev]    # 開発ツール
pip install ml-intern[all]    # すべて

コードスタイルはRuffを使用し、LiteLLMを通じてローカルモデルエンドポイントと連携します。

🧬 バイオ活用シナリオ

🔬

LLMのポストトレーニング自動化

ベースモデル（例：Qwen3-1.7B）を指定すると、エージェントが自律的に関連論文を検索し、適切な学習データセットをHubから探索・検証した後、SFTまたはGRPO学習を実行し、GPQAなどのベンチマークで評価まで行う。PostTrainBenchの基準で、10時間の単一H100 GPUセッションでQwen3-1.7BのGPQAスコアを約10%のベースラインから32%まで向上させた事例が報告されている

🧬

ドメイン特化のファインチューニング研究

医療、数学、法律など、特定のドメインについて、エージェントがarXivから最新の方法論（GRPO、DPOなど）の論文を読み、引用グラフをたどって関連する後続の研究を探索した後、その手法を実装して学習に適用する。失敗した場合は、reward collapseなどの原因を診断し、エッジケースの合成データを生成して再試行する

💊

論文に基づく再現実験 + 大規模評価

arXiv論文の方法論セクションと引用グラフを巡回して参照データセットを自動収集し、HF Hubでマッチングデータを検索して学習スクリプトを生成し、実験を再現する。複数のチェックポイントやハイパーパラメータの組み合わせについて、Trackioで結果を記録・比較して最適な構成を特定する

FAQ

ml-internとは何ですか？

エンドツーエンドのMLポストトレーニング自動化：arXiv論文の検索→引用グラフの巡回→Hugging Face Hubのデータセット検索・品質検査・フォーマット変換→SFT/GRPO学習スクリプトの実行→評価結果の解釈→失敗の診断（報酬の崩壊など）まで、ML研究の全ループを自律的に実行 ContextManager（17万トークン自動圧縮）：メッセージ履歴を17万トークンの閾値で自動圧縮（オートコンパクション）し、長時間のエージェントセッションを安定的に維持。HFデータセットへのセッショントレースの自動アップロード Doom Loop Detector：反復的なツール呼び出しパターンを検出し、修正プロンプトを注入することで、エージェントが同じ失敗を無限に繰り返すのを防ぐ。最大300回の反復制限と組み合わせることで、安全な自律実行を保証 ToolRouter：Hugging Faceのドキュメント/リポジトリ/データセットの検索、arXiv論文の読解、GitHubコードの検索、サンドボックスでの実行、プランニング、MCPサーバーツールを単一のルーティングレイヤーに統合有料・破壊的なタスクの事前承認：GPUジョブの実行（Hugging Face Jobs）および破壊的なコマンドは、ユーザーが明示的に承認した場合にのみ実行。自動承認ワークフローの設定が可能複数のLLMバックエンド：Claude（FAL-AI経由）、GPT（OpenAI/FAL-AI）、HF Routerモデル（MiniMax、Kimi、GLM、DeepSeek）、ローカルモデル（Ollama、vLLM、LM Studio、LlamaCPP）をサポート Trackioによる実験の追跡＋Slack通知：Hubネイティブの実験トラッカーTrackioで学習メトリクスを監視し、Slackゲートウェイで進捗状況を通知

ml-internはいつ使いますか？

論文検索からポストトレーニングまで、MLワークフローを完全に自動化するエージェント

ml-internのバイオ研究での活用例は何ですか？

LLMのポストトレーニング自動化: ベースモデル（例：Qwen3-1.7B）を指定すると、エージェントが自律的に関連論文を検索し、適切な学習データセットをHubから探索・検証した後、SFTまたはGRPO学習を実行し、GPQAなどのベンチマークで評価まで行う。PostTrainBenchの基準で、10時間の単一H100 GPUセッションでQwen3-1.7BのGPQAスコアを約10%のベースラインから32%まで向上させた事例が報告されている

📄 公式ドキュメント 🐙 GitHub

📝 アップデートノート

まだアップデートノートはありません。

🧪 関連「生命のコード」

関連する「生命のコード」記事はまだありません。