OmniParser v2
Microsoft Researchが開発し、2025年2月にv2.0の大規模アップデートを公開したOmniParser v2は、コンピューター画面の複雑なグラフィカルユーザーインターフェース（GUI）のスクリーンショットを、機械が理解できる構造化されたピクセルデータに正確に変換する最先端のビジョンベースのUI解析ツールです。人がモニター画面のボタン、アイコン、テキストボックスを目で確認し、マウスでクリックするように、大規模な視覚-言語モデル（VLM）が画面オブジェクトの位置と意味を認識します。
Microsoft Researchによって開発され、2025年2月にv2.0のメジャーアップデートが公開されたOmniParser v2は、コンピューター画面の複雑なグラフィカルユーザーインターフェース（GUI）のスクリーンショットを、機械が理解できる構造化されたピクセルデータに正確に変換する最先端のビジョンベースのUI解析ツールです。人がモニター画面のボタン、アイコン、テキストボックスを目で確認し、マウスでクリックするように、大規模な視覚-言語モデル（Vision-Language Model、VLM）が画面上のオブジェクトの位置と意味を完全に認識できるように支援する、ある種の視覚的翻訳機の役割を果たします。OmniParser v2は、画面内の個々のUI要素のバウンディングボックス（Bounding Box）を正確に検出するアイコン検出モデル（Icon Detection Model）と、各要素の視覚的なアイコンが象徴する機能的な意味をテキストで説明するアイコンキャプションモデル（Icon Captioning Model）という、2つの主要な深層学習アーキテクチャの有機的な組み合わせによって動作します。このパイプラインを通じて、入力された単一の画像スクリーンショットは、各要素の相対座標、クリック可能かどうか、テキストラベル、および視覚的な機能キャプションを含む構造化されたJSONデータに簡単に自動変換されます。
従来のコンピューター操作エージェント（GUI Agent）の構築方法は、ウェブブラウザのドキュメントオブジェクトモデル（Document Object Model、DOM）ツリーや特定のプロプライエタリAPIに過度に依存するという限界がありました。これにより、ソースコードが公開されていない専用のデスクトップソフトウェアや、画像ベースでレンダリングされる仮想デスクトップ環境では、ボタンの位置やクリック領域を適切に把握できず、エージェントの動作が頻繁に中断されることがありました。自然言語処理の分野でGPTが埋め込みを通じて複雑な文脈を理解するように、OmniParser v2は画面のピクセル配列からクリック可能なすべての幾何学的オブジェクトを抽出し、VLMがすぐに操作できる視覚的なトークンに変換します。特にv2.0バージョンは、以前のバージョンと比較して60％以上向上した推論処理速度（Low Latency）を達成し、1秒未満の遅延時間で高解像度の画面をリアルタイムで分析します。また、微細で複雑なデザインのアイコンを正確に認識できるように、高度に改善されたビジョンアテンションデータセットと最適化されたバウンディングボックス回帰アルゴリズムを搭載することで、従来のOCR中心のアプローチの持続的な限界であったグラフィックアイコンの誤認識および誤動作の問題を根本的に解決しました。
このようなピクセルベースのUI解析技術は、生命科学および学際的な研究環境において、長期間自動化の盲点となっていた専用の電子実験ノート（Electronic Lab Notebook、ELN）およびバイオ研究機器制御ソフトウェアの自動化パイプラインの構築に革新的なソリューションを提供します。たとえば、クローズドなネイティブWindowsベースで動作する3次元共焦点顕微鏡制御プログラムや、自動化された液体処理装置（Automated Liquid Handler）ソフトウェアの場合、内部APIを提供しないため、人が毎回直接マウスで数値パラメーターを入力し、撮影ボタンを押す必要がありました。OmniParser v2を既存のVLMエージェントおよびコンピューター自動化フレームワークであるOmniToolと組み合わせることで、画面のスクリーンショット1枚だけで、1024x1024以上の高解像度グラフィカルインターフェース内のクリック対象のボタン座標と数値入力フォームの位置を95％以上の高い精度でリアルタイムに導き出すことができます。収集された画面座標は、すぐにマウスのクリックおよびキーボードイベントに変換され、夜間または大規模なバイオスクリーニング実験において、研究者の介入なしに複数のサンプルデータの収集手順を完全に自動実行するのに役立ちます。
さらに、OmniParser v2は単なるスクリーンショット解析にとどまらず、ウェブ、デスクトップ、モバイルアプリを網羅する異種プラットフォーム間のクロスプラットフォームエージェント（Cross-Platform Agent）オーケストレーションを可能にします。PyTorchベースで実装されており、単一のコンシューマーGPU環境でも高速なパススルー推論が可能であり、テンソルベースのパイプライン最適化を通じて、さまざまなオープンソースおよび商用のLLM/VLMプロンプトチェーンとの即時の接続をサポートします。研究開発組織は、既存のオフラインレガシーシステムを修正したり、高価なAPIを新たに開発したりする必要なく、OmniParser v2を通じてすべてのGUIベースのソフトウェアをインテリジェントエージェントの作業対象として簡単に統合できるため、デジタル変革および研究データ収集プロセスの全体的な生産性を飛躍的に向上させることができます。
💻 必要なスペック
NVIDIA GPU 8GB+ 推奨（RTX 3060/4060 以上でリアルタイム推論）、CPU でも実行可能（単独 1 での処理時間増加あり）
モデルの重みは約 3〜5GB（アイコン検出およびキャプションングチェックポイント）、全体パイプラインは約 8GB
⚡ インストール
4-1. クイックスタート
git clone https://github.com/microsoft/OmniParser
cd OmniParser
conda create -n omni python=3.12 -y && conda activate omni
pip install -r requirements.txt
huggingface-cli download microsoft/OmniParser-v2.0 --local-dir weights
4-2. 詳細なインストールと基本的な使用方法
# 1. リポジトリの複製と専用環境の構築
git clone https://github.com/microsoft/OmniParser
cd OmniParser
conda create -n omni python=3.12 -y
conda activate omni
# 2. 依存関係パッケージのインストール
pip install -r requirements.txt
# 3. v2.0 公式ウェイトのダウンロード（weightsフォルダを指定）
huggingface-cli download microsoft/OmniParser-v2.0 --local-dir weights
from utils import check_ocr_box, get_yolo_model, get_caption_model_processor
# モデルとプロセッサのロード
yolo_model = get_yolo_model(model_path='weights/icon_detect/model.pt')
caption_model_processor = get_caption_model_processor(model_name="florence2", model_name_or_path="weights/icon_caption")
# 画像のパースと要素の座標・キャプションの取得
# (推論実行時に画面内のインタラクション可能な全ピクセル座標とキャプションリストを返す)
🧬 バイオ活用シナリオ
実験装置制御レガシーSWの自動化
APIをサポートしていないネイティブWindows顕微鏡/分光器ソフトウェアのスクリーンショット分析 → UIボタン座標（1024x1024解像度、1秒以内に解析）および数値入力フィールドを正確に抽出し、マウス/キーボードによる自動制御を連携
電子実験ノート(ELN)データ自動入力エージェント
ウェブベース/デスクトップELNインターフェースでデータ入力フォームの位置と保存アイコンを自動認識 → VLMとの連携により、最新の研究結果を解析し、データを自動送信および記録
大規模無人スクリーニングワークフロー
複数の機器のモニタリング画面をリアルタイムで収集および分析 → 異常状態発生時のアラートボタンの位置を自動的に把握し、警告モジュールツリーが起動する自律バイオパイプラインを構築
FAQ
OmniParser v2とは何ですか？
Microsoft Researchによって開発され、2025年2月にv2.0のメジャーアップデートが公開されたOmniParser v2は、コンピューター画面の複雑なグラフィカルユーザーインターフェース（GUI）のスクリーンショットを、機械が理解できる構造化されたピクセルデータに正確に変換する最先端のビジョンベースのUI解析ツールです。人がモニター画面のボタン、アイコン、テキストボックスを目で確認し、マウスでクリックするように、大規模な視覚-言語モデル（Vision-Language Model、VLM）が画面上のオブジェクトの位置と意味を完全に認識できるように支援する、ある種の視覚的翻訳機の役割を果たします。OmniParser v2は、画面内の個々のUI要素のバウンディングボックス（Bounding Box）を正確に検出するアイコン検出モデル（Icon Detection Model）と、各要素の視覚的なアイコンが象徴する機能的な意味をテキストで説明するアイコンキャプションモデル（Icon Captioning Model）という、2つの主要な深層学習アーキテクチャの有機的な組み合わせによって動作します。このパイプラインを通じて、入力された単一の画像スクリーンショットは、各要素の相対座標、クリック可能かどうか、テキストラベル、および視覚的な機能キャプションを含む構造化されたJSONデータに簡単に自動変換されます。 従来のコンピューター操作エージェント（GUI Agent）の構築方法は、ウェブブラウザのドキュメントオブジェクトモデル（Document Object Model、DOM）ツリーや特定のプロプライエタリAPIに過度に依存するという限界がありました。これにより、ソースコードが公開されていない専用のデスクトップソフトウェアや、画像ベースでレンダリングされる仮想デスクトップ環境では、ボタンの位置やクリック領域を適切に把握できず、エージェントの動作が頻繁に中断されることがありました。自然言語処理の分野でGPTが埋め込みを通じて複雑な文脈を理解するように、OmniParser v2は画面のピクセル配列からクリック可能なすべての幾何学的オブジェクトを抽出し、VLMがすぐに操作できる視覚的なトークンに変換します。特にv2.0バージョンは、以前のバージョンと比較して60％以上向上した推論処理速度（Low Latency）を達成し、1秒未満の遅延時間で高解像度の画面をリアルタイムで分析します。また、微細で複雑なデザインのアイコンを正確に認識できるように、高度に改善されたビジョンアテンションデータセットと最適化されたバウンディングボックス回帰アルゴリズムを搭載することで、従来のOCR中心のアプローチの持続的な限界であったグラフィックアイコンの誤認識および誤動作の問題を根本的に解決しました。 このようなピクセルベースのUI解析技術は、生命科学および学際的な研究環境において、長期間自動化の盲点となっていた専用の電子実験ノート（Electronic Lab Notebook、ELN）およびバイオ研究機器制御ソフトウェアの自動化パイプラインの構築に革新的なソリューションを提供します。たとえば、クローズドなネイティブWindowsベースで動作する3次元共焦点顕微鏡制御プログラムや、自動化された液体処理装置（Automated Liquid Handler）ソフトウェアの場合、内部APIを提供しないため、人が毎回直接マウスで数値パラメーターを入力し、撮影ボタンを押す必要がありました。OmniParser v2を既存のVLMエージェントおよびコンピューター自動化フレームワークであるOmniToolと組み合わせることで、画面のスクリーンショット1枚だけで、1024x1024以上の高解像度グラフィカルインターフェース内のクリック対象のボタン座標と数値入力フォームの位置を95％以上の高い精度でリアルタイムに導き出すことができます。収集された画面座標は、すぐにマウスのクリックおよびキーボードイベントに変換され、夜間または大規模なバイオスクリーニング実験において、研究者の介入なしに複数のサンプルデータの収集手順を完全に自動実行するのに役立ちます。 さらに、OmniParser v2は単なるスクリーンショット解析にとどまらず、ウェブ、デスクトップ、モバイルアプリを網羅する異種プラットフォーム間のクロスプラットフォームエージェント（Cross-Platform Agent）オーケストレーションを可能にします。PyTorchベースで実装されており、単一のコンシューマーGPU環境でも高速なパススルー推論が可能であり、テンソルベースのパイプライン最適化を通じて、さまざまなオープンソースおよび商用のLLM/VLMプロンプトチェーンとの即時の接続をサポートします。研究開発組織は、既存のオフラインレガシーシステムを修正したり、高価なAPIを新たに開発したりする必要なく、OmniParser v2を通じてすべてのGUIベースのソフトウェアをインテリジェントエージェントの作業対象として簡単に統合できるため、デジタル変革および研究データ収集プロセスの全体的な生産性を飛躍的に向上させることができます。
OmniParser v2はいつ使いますか？
Microsoft Researchが開発し、2025年2月にv2.0の大規模アップデートを公開したOmniParser v2は、コンピューター画面の複雑なグラフィカルユーザーインターフェース（GUI）のスクリーンショットを、機械が理解できる構造化されたピクセルデータに正確に変換する最先端のビジョンベースのUI解析ツールです。人がモニター画面のボタン、アイコン、テキストボックスを目で確認し、マウスでクリックするように、大規模な視覚-言語モデル（VLM）が画面オブジェクトの位置と意味を認識します。
OmniParser v2のバイオ研究での活用例は何ですか？
実験装置制御レガシーSWの自動化: APIをサポートしていないネイティブWindows顕微鏡/分光器ソフトウェアのスクリーンショット分析 → UIボタン座標（1024x1024解像度、1秒以内に解析）および数値入力フィールドを正確に抽出し、マウス/キーボードによる自動制御を連携
📝 アップデートノート
まだアップデートノートはありません。
🧪 関連「生命のコード」
関連する「生命のコード」記事はまだありません。