ml-intern
論文検索からポストトレーニングまで、MLワークフローを完全に自動化するエージェント
- エンドツーエンドのMLポストトレーニング自動化：arXiv論文の検索→引用グラフの巡回→Hugging Face Hubのデータセット検索・品質検査・フォーマット変換→SFT/GRPO学習スクリプトの実行→評価結果の解釈→失敗の診断（報酬の崩壊など）まで、ML研究の全ループを自律的に実行 - ContextManager（17万トークン自動圧縮）：メッセージ履歴を17万トークンの閾値で自動圧縮（オートコンパクション）し、長時間のエージェントセッションを安定的に維持。HFデータセットへのセッショントレースの自動アップロード - Doom Loop Detector：反復的なツール呼び出しパターンを検出し、修正プロンプトを注入することで、エージェントが同じ失敗を無限に繰り返すのを防ぐ。最大300回の反復制限と組み合わせることで、安全な自律実行を保証 - ToolRouter：Hugging Faceのドキュメント/リポジトリ/データセットの検索、arXiv論文の読解、GitHubコードの検索、サンドボックスでの実行、プランニング、MCPサーバーツールを単一のルーティングレイヤーに統合 - 有料・破壊的なタスクの事前承認：GPUジョブの実行（Hugging Face Jobs）および破壊的なコマンドは、ユーザーが明示的に承認した場合にのみ実行。自動承認ワークフローの設定が可能 - 複数のLLMバックエンド：Claude（FAL-AI経由）、GPT（OpenAI/FAL-AI）、HF Routerモデル（MiniMax、Kimi、GLM、DeepSeek）、ローカルモデル（Ollama、vLLM、LM Studio、LlamaCPP）をサポート - Trackioによる実験の追跡＋Slack通知：Hubネイティブの実験トラッカーTrackioで学習メトリクスを監視し、Slackゲートウェイで進捗状況を通知
💻 必要なスペック
エージェント自体はCPU専用（LLM推論は外部APIに委譲）。ローカルモデル（Ollama/vLLM）を実行する場合、モデルのサイズに応じて8〜24GB。SFT/GRPO学習を実行する場合は、H100 80GBクラスを推奨（Hugging Face Jobsでクラウドに委譲可能）
パッケージ自体は約250MB。学習データセットとチェックポイントを含む場合、プロジェクトあたり10〜50GB
⚡ インストール
### 4-1. 簡単な始め方
```bash
pip install ml-intern
```
### 4-2. 詳細なインストール（開発モード）
```bash
git clone https://github.com/huggingface/ml-intern.git
cd ml-intern
uv sync
uv tool install -e .
```
### 4-3. 環境変数の設定
```bash
export HF_TOKEN="hf_..." # Hugging Face トークン（必須）
export ANTHROPIC_API_KEY="sk-..." # Anthropic モデルを使用する場合
export OPENAI_API_KEY="sk-..." # OpenAI モデルを使用する場合
export GITHUB_TOKEN="ghp_..." # GitHub コード検索を使用する場合（オプション）
```
### 4-4. 基本的な使い方
```bash
# インタラクティブモード
ml-intern
# ヘッドレスモード（単一のプロンプト）
ml-intern --headless --task "Qwen3-1.7BをGPQAベンチマークで改善する"
# オプションの依存関係
pip install ml-intern[eval] # 評価ツール
pip install ml-intern[dev] # 開発ツール
pip install ml-intern[all] # すべて
```
コードスタイルはRuffを使用し、LiteLLMを通じてローカルモデルエンドポイントと連携します。🧬 バイオ活用シナリオ
LLMのポストトレーニング自動化
ベースモデル（例：Qwen3-1.7B）を指定すると、エージェントが自律的に関連論文を検索し、適切な学習データセットをHubから探索・検証した後、SFTまたはGRPO学習を実行し、GPQAなどのベンチマークで評価まで行う。PostTrainBenchの基準で、10時間の単一H100 GPUセッションでQwen3-1.7BのGPQAスコアを約10%のベースラインから32%まで向上させた事例が報告されている
ドメイン特化のファインチューニング研究
医療、数学、法律など、特定のドメインについて、エージェントがarXivから最新の方法論（GRPO、DPOなど）の論文を読み、引用グラフをたどって関連する後続の研究を探索した後、その手法を実装して学習に適用する。失敗した場合は、reward collapseなどの原因を診断し、エッジケースの合成データを生成して再試行する
論文に基づく再現実験 + 大規模評価
arXiv論文の方法論セクションと引用グラフを巡回して参照データセットを自動収集し、HF Hubでマッチングデータを検索して学習スクリプトを生成し、実験を再現する。複数のチェックポイントやハイパーパラメータの組み合わせについて、Trackioで結果を記録・比較して最適な構成を特定する
📝 アップデートノート
まだアップデートノートはありません。
🧪 関連「生命のコード」
関連する「生命のコード」記事はまだありません。