マイクロソフトリサーチが2025年2月に発表したOmniParser v2は、コンピューター画面のスクリーンショットを、機械が読み取れる構造化データに変換する汎用スクリーンパーシングツールです。従来の大型ビジョン言語モデル（Vision Language Model、VLM）が、コンピューター画面の画像だけを見てマウスのクリック座標を正確に計算できず、位置のずれという問題を抱えていたのを根本的に解決するために開発されました。大規模言語モデル（Large Language Model）が自然言語テキストをトークンに分割して精密に処理するように、OmniParser v2は、画面内のすべてのグラフィック要素を、幾何学的座標と機能の説明がマッピングされた独立した視覚的トークンに分割して処理します。内部的には、画面上のすべてのインタラクティブなオブジェクトを検出するオブジェクト検出モデルと、検出されたアイコンの役割を自然言語で説明するアイコンキャプショニングモデルを、二段階構造（Dual-stage Architecture）で統合し、完璧な画面解読能力を実現し、それにより、さまざまなオペレーティングシステムのインターフェースにおけるエージェントの誤動作率を劇的に低下させました。 従来のスクリーン制御方式は、主にアプリケーション内部のソースコードやウェブブラウザのドキュメントオブジェクトモデル（Document Object Model、DOM）ツリーに完全に依存していたため、ソースコードが隠蔽されたクローズドなソフトウェアやモバイルアプリ、仮想マシン環境では、自動化シナリオを設計することがほぼ不可能でした。一方、OmniParser v2は、個別の内部システムAPIやコードソースのサポートなしに、画面のピクセル値のみに基づいて、ボタン、入力ウィンドウ、チェックボックスなどの位置をミリ秒単位で把握します。このツールは、視覚的オブジェクトの境界ボックス（Bounding Box）検出技術を最大限に活用し、解像度の変化やウィンドウのサイズ変更などの環境変数にも歪みなくリアルタイムで対応します。特に、アイコンの視覚的形状を把握した後、詳細な機能の説明をテキストで補完することで、ビジョン言語モデルがマウスのクリック領域を外れないように完全に誘導し、ウェブサイトが改修されたり、UIレイアウトが変更されたりしても、視覚的特徴のみで要素を捉え、中断のない自動化を継続します。 実際の生命工学研究現場では、遺伝子配列の解析やタンパク質構造の可視化の過程で、ウェブブラウザとローカルのレガシー分析プログラムを同時に操作する必要があり、煩雑なGUIの繰り返し作業が頻繁に発生します。OmniParser v2を、Windows 11制御用のツールスイートであるOmniToolと高性能視覚モデルと連携させると、タンパク質構造設計の自動化パイプラインを構築できます。たとえば、1920x1080のサイズの分析プログラム画面のスクリーンショットを、YOLOv9-Eベースの検出器に送信すると、画面上の数十個の微細なタンパク質レンダリングオプションボタンが、平均1〜2秒以内に検出されます。その後、検出されたターゲットのクリックポイントデータに基づいて、自動化エージェントがタンパク質データベース（RCSB PDB）から標的タンパク質を自動的に検索および選択し、ダウンロードされた分子ドッキングデータファイルを開いて、特定の活性部位（Active Site）を占有するマウス操作を、間違いなく定量的に実行することで、研究者のデータ取得時間と分析の生産性を最大化します。

マイクロソフトリサーチが2025年2月に発表したOmniParser v2は、コンピューター画面のスクリーンショットを、機械が読み取れる構造化データに変換する汎用スクリーンパーシングツールです。従来の大型ビジョン言語モデル（Vision Language Model、VLM）が、コンピューター画面の画像だけを見てマウスのクリック座標を正確に計算できず、位置のずれという問題を抱えていたため、それを根本的に解決するために開発されました。大規模言語モデル（Large Language Model）が自然言語テキスト

🔬 WebベースのPDB分子検索および分析の自動化: OmniParser v2（YOLOv9-E）+ Claude 3.5 Sonnetの組み合わせにより、RCSB PDBウェブサイトで特定の標的タンパク質IDを入力し、3Dビューアを操作するプロセスを100％視覚的に追跡し、5秒以内に活性部位（Active Site）情報を抽出およびキャプチャするプロセスを自動化 → バーチャルスクリーニングパイプラインの前処理を高速化