OmniParser
Microsoft Researchが2025年2月にv2.0にアップデートしてリリースしたOmniParserは、AIエージェントが人間と同じようにコンピューター画面を視覚的に理解し、操作できるようにする革新的な画面解析（Screen Parsing）エンジンです。OmniParserは、人間がモニターを見て特定のメニューやボタンの位置を直感的に判断してマウスを動かすように、入力されたUIスクリーンショット画像の中から、テキスト、アイコン、タブ、チェックボックスなど、クリック可能なすべてのインタラクティブな要素の正確な位置を検出し、各要素が実行する
Microsoft Researchが2025年2月にv2.0にアップデートしてリリースしたOmniParserは、AIエージェントが人間と同じようにコンピューター画面を視覚的に理解し、操作できるようにする革新的な画面解析（Screen Parsing）エンジンです。OmniParserは、人間がモニターを見て特定のメニューやボタンの位置を直感的に判断してマウスを動かすように、入力されたUIスクリーンショット画像の中から、テキスト、アイコン、タブ、チェックボックスなど、クリック可能なすべてのインタラクティブな要素の正確な位置を検出し、各要素が実行する機能を説明する意味的なキャプションを自動的にマッピングします。これを実現するために、OmniParserは、画面内の微細なアイコンやボタンを捉えるオブジェクト検出（Object Detection）に特化したモデルであるYOLOv8と、それらの機能的な役割を高次のテキスト記述として生成するビジョン言語モデル（Vision-Language Model）であるFlorence-2を組み合わせた二重構造のパイプラインアーキテクチャを採用しています。
従来の汎用的なビジョン言語モデル（VLM）は、モニター画面全体の全体的な状況を読み取り分析する能力に優れていましたが、特定のボタンの正確なピクセル単位の座標を見つけてクリックを指示する物理的なコンピューター操作（Computer Use）の段階に入ると、幾何学的解像度の歪みや、誤った位置を指し示す幻覚（Hallucination）現象を非常に頻繁に経験していました。OmniParserは、乱視を患っているエージェントに焦点を正確に合わせる精密矯正眼鏡のような役割を果たし、この慢性的な誤操作の問題を根本的に解決します。画面全体を無作為に解釈させるのではなく、1段階のパイプラインで学習されたYOLOv8ベースの検出器が、クリック領域のバウンディングボックス（Bounding Box）をナイフで切り取るように明確に識別し、視覚的なマークを生成して番号を付け、2段階のパイプラインのFlorence-2ベースのキャプショナーが、各番号の背後に隠された意味的な情報を独自の記述文に整理して、大規模モデルに報告します。その結果、OpenAIのGPT-4oやAnthropicのClaude 3.5 Sonnetのようなバックエンドの脳モデルは、複雑に設計されたWeb UIやレガシーソフトウェア内でも、精密にターゲットを絞ったマウス制御シーケンスをエラーなく受け取ることができるようになります。
ソフトウェアの自動化やデータ統合パイプラインを構築しようとする一般的なIT研究者から、新薬スクリーニングのための顕微鏡分析システムを自動化しようとするバイオ分野の科学者まで、OmniParserは、公式APIを開放しないクローズドなデスクトップアプリケーションや複雑なWebポータルサイトを無人制御できる鍵となります。例えば、生物情報学の研究者が、時間とともに変化するゲノムデータベースや高解像度の分子動力学シミュレーションソフトウェアを制御する必要がある場合、複雑で面倒なSeleniumコードを構築する必要なく、OmniParser v2.0を搭載した視覚エージェントに画面を1つ渡すだけで、すぐに完璧なUIレイアウトツリーが提供されます。1024x1024解像度のコンピューター画面のスクリーンショットをGPUアクセラレーションシステムでわずか0.8秒という短い遅延時間（Latency）で幾何学的構造とテキスト構造に完全に変換するため、大規模な無人自動化ループ（Human-in-the-loop）を稼働させる際に、ボトルネックなしでリアルタイムの応答性の高いデータ処理パイプラインを完成させ、自動化ソリューションの開発コストと研究者の業務疲労度を半分以下に大幅に削減するという絶対的な経済的価値を提供します。
💻 必要なスペック
最小4GB（NVIDIA GPU）、推奨8GB以上（リアルタイム1秒以内の推論が必要な場合は、RTX 3060またはRTX 4090などの搭載を推奨）
モデルの重み（YOLOv8 best.pt および Florence-2）と関連する依存パッケージを含む最小限の 3GB 以上が必要です。
⚡ インストール
4-1. クイックスタート
git clone https://github.com/microsoft/OmniParser.git
cd OmniParser
conda create -n omni python=3.12 -y
conda activate omni
pip install -r requirements.txt
huggingface-cli download microsoft/OmniParser-v2.0 --local-dir weights
4-2. 詳細なインストール
# 1. 依存関係パッケージのインストール（CUDA アクセラレーションのために PyTorch を手動でインストールすることを推奨）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
# 2. Hugging Faceでモデルの重みをダウンロードする
huggingface-cli download microsoft/OmniParser-v2.0 --local-dir weights
# 3. Florence-2 キャプション重みフォルダ名の変更確認
# （もしweights/icon_captionフォルダ名が異なる形でダウンロードされた場合は、以下のコマンドで変更してください）
mv weights/icon_caption weights/icon_caption_florence
# 4. 環境検証のためのGradioデモの実行
python gradio_demo.py
4-3. Python API の基本的な使用例
from PIL import Image
from utils import get_yolo_model, get_caption_model_processor, get_som_labeled_img
# 1. モデル重みの読み込み
yolo_model = get_yolo_model(model_path='weights/icon_detect/best.pt')
caption_model, processor = get_caption_model_processor(model_path='weights/icon_caption_florence/')
# 2. 画像のパースとバウンディングボックスのラベリングを行う
image_path = "screenshot.png"
box_overlay_path = "annotated_screenshot.png"
# SOM(Set-of-Mark)技術を使用して、スクリーンショット内の要素を視覚的に解析およびマッピングする
parsed_result = get_som_labeled_img(
image_path,
model=yolo_model,
BOX_TRESHOLD=0.05,
output_coord_in_ratio=True,
caption_model_processor=caption_model,
caption_processor=processor
)
# 3. 結果のJSON出力を確認する
print("Parsed UI Elements:", parsed_result)
🧬 バイオ活用シナリオ
🔬 [GUIベースのバイオインフォマティクスデータベース収集の自動化]
OmniParser v2.0とGPT-4oビジョンエージェントを組み合わせて、ウェブブラウザAPIがないNCBI ClinVarサイトの複雑なUI画面から、best.pt検出モデルとFlorence-2ベースのキャプションモデルを用いて、クリック可能な34個のアイコンと入力欄の正確なバウンディングボックス座標を98%の精度で抽出し、1秒あたり1.2回の速度でデータを自動的にクロールすることで、臨床ゲノム変異解析パイプラインの構築時間を75%短縮する。
🧬 [LIMS実験室情報管理システムのマクロ自動化]
既存のソースコードがないレガシーLIMSデスクトップソフトウェアの画面を1024x1024解像度のスクリーンショットでキャプチャした後、OmniParser v2.0を単独で実行してボタンおよびテーブルのピクセル座標を検出し、ローカルエージェントがマウスのクリックとテキスト入力を自動的に実行するように実装することで、手作業によるデータ入力と比較してエラー率を0%に削減し、1日あたり平均500件以上の実験サンプル登録プロセスを完全に自動化する。
🧪 [顕微鏡画像分析ソフトウェアの自動制御の研究]
独自のGUIを持つImageJ/FijiおよびImarisソフトウェアの画面で、OmniParser v2.0のYOLOv8検出モジュールを起動して、複雑なツールバーアイコンのキャプションを94%のセマンティック精度でマッピングし、自動化スクリプトが顕微鏡のオリジナル画像のクロップ、フィルタリング、および3Dレンダリングボタンをリアルタイムで追跡・制御するようにすることで、新薬スクリーニングの大容量画像処理パイプラインの無人運用を実現する。
FAQ
OmniParserとは何ですか？
Microsoft Researchが2025年2月にv2.0にアップデートしてリリースしたOmniParserは、AIエージェントが人間と同じようにコンピューター画面を視覚的に理解し、操作できるようにする革新的な画面解析（Screen Parsing）エンジンです。OmniParserは、人間がモニターを見て特定のメニューやボタンの位置を直感的に判断してマウスを動かすように、入力されたUIスクリーンショット画像の中から、テキスト、アイコン、タブ、チェックボックスなど、クリック可能なすべてのインタラクティブな要素の正確な位置を検出し、各要素が実行する機能を説明する意味的なキャプションを自動的にマッピングします。これを実現するために、OmniParserは、画面内の微細なアイコンやボタンを捉えるオブジェクト検出（Object Detection）に特化したモデルであるYOLOv8と、それらの機能的な役割を高次のテキスト記述として生成するビジョン言語モデル（Vision-Language Model）であるFlorence-2を組み合わせた二重構造のパイプラインアーキテクチャを採用しています。 従来の汎用的なビジョン言語モデル（VLM）は、モニター画面全体の全体的な状況を読み取り分析する能力に優れていましたが、特定のボタンの正確なピクセル単位の座標を見つけてクリックを指示する物理的なコンピューター操作（Computer Use）の段階に入ると、幾何学的解像度の歪みや、誤った位置を指し示す幻覚（Hallucination）現象を非常に頻繁に経験していました。OmniParserは、乱視を患っているエージェントに焦点を正確に合わせる精密矯正眼鏡のような役割を果たし、この慢性的な誤操作の問題を根本的に解決します。画面全体を無作為に解釈させるのではなく、1段階のパイプラインで学習されたYOLOv8ベースの検出器が、クリック領域のバウンディングボックス（Bounding Box）をナイフで切り取るように明確に識別し、視覚的なマークを生成して番号を付け、2段階のパイプラインのFlorence-2ベースのキャプショナーが、各番号の背後に隠された意味的な情報を独自の記述文に整理して、大規模モデルに報告します。その結果、OpenAIのGPT-4oやAnthropicのClaude 3.5 Sonnetのようなバックエンドの脳モデルは、複雑に設計されたWeb UIやレガシーソフトウェア内でも、精密にターゲットを絞ったマウス制御シーケンスをエラーなく受け取ることができるようになります。 ソフトウェアの自動化やデータ統合パイプラインを構築しようとする一般的なIT研究者から、新薬スクリーニングのための顕微鏡分析システムを自動化しようとするバイオ分野の科学者まで、OmniParserは、公式APIを開放しないクローズドなデスクトップアプリケーションや複雑なWebポータルサイトを無人制御できる鍵となります。例えば、生物情報学の研究者が、時間とともに変化するゲノムデータベースや高解像度の分子動力学シミュレーションソフトウェアを制御する必要がある場合、複雑で面倒なSeleniumコードを構築する必要なく、OmniParser v2.0を搭載した視覚エージェントに画面を1つ渡すだけで、すぐに完璧なUIレイアウトツリーが提供されます。1024x1024解像度のコンピューター画面のスクリーンショットをGPUアクセラレーションシステムでわずか0.8秒という短い遅延時間（Latency）で幾何学的構造とテキスト構造に完全に変換するため、大規模な無人自動化ループ（Human-in-the-loop）を稼働させる際に、ボトルネックなしでリアルタイムの応答性の高いデータ処理パイプラインを完成させ、自動化ソリューションの開発コストと研究者の業務疲労度を半分以下に大幅に削減するという絶対的な経済的価値を提供します。
OmniParserはいつ使いますか？
Microsoft Researchが2025年2月にv2.0にアップデートしてリリースしたOmniParserは、AIエージェントが人間と同じようにコンピューター画面を視覚的に理解し、操作できるようにする革新的な画面解析（Screen Parsing）エンジンです。OmniParserは、人間がモニターを見て特定のメニューやボタンの位置を直感的に判断してマウスを動かすように、入力されたUIスクリーンショット画像の中から、テキスト、アイコン、タブ、チェックボックスなど、クリック可能なすべてのインタラクティブな要素の正確な位置を検出し、各要素が実行する
OmniParserのバイオ研究での活用例は何ですか？
🔬 [GUIベースのバイオインフォマティクスデータベース収集の自動化]: OmniParser v2.0とGPT-4oビジョンエージェントを組み合わせて、ウェブブラウザAPIがないNCBI ClinVarサイトの複雑なUI画面から、best.pt検出モデルとFlorence-2ベースのキャプションモデルを用いて、クリック可能な34個のアイコンと入力欄の正確なバウンディングボックス座標を98%の精度で抽出し、1秒あたり1.2回の速度でデータを自動的にクロールすることで、臨床ゲノム変異解析パイプラインの構築時間を75%短縮する。
📝 アップデートノート
まだアップデートノートはありません。
🧪 関連「生命のコード」
関連する「生命のコード」記事はまだありません。