← AI Tools
画像 AI中級

LocateAnything-3B

NVIDIAが2026年7月に公開したLocateAnything-3Bは、画像内の特定のオブジェクトやテキスト、ユーザーインターフェース(UI)要素の位置を、長方形座標(バウンディングボックス)で正確に特定する、30億パラメータ規模のオープンボキャブラリービジョン-言語モデル(Vision-Language Model、VLM)である。このモデルは、MoonViT-SO-400MビジョンエンコーダーとQwen2.5-3B-Instruct言語モデルを高度に組み合わせたアーキテクチャに基づいて構築されており、ユーザーが自然言語で指定した対象の視覚的な位置を即座に推論する。言語モデル特有の優れた文脈理解力と高解像度画像処理能力が組み合わさり、単なるオブジェクト検出を超えて、複雑な記述文に合致する視覚的な根拠の提示(Visual Grounding)やGUI要素の位置推論タスクにおいて、卓越した性能を発揮する。

NVIDIAが2026年7月に公開したLocateAnything-3Bは、画像内の特定のオブジェクトやテキスト、ユーザーインターフェース(UI)要素の位置を、長方形座標(バウンディングボックス)で正確に特定する、30億パラメータ規模のオープンボキャブラリービジョン-言語モデル(Vision-Language Model、VLM)である。このモデルは、MoonViT-SO-400MビジョンエンコーダーとQwen2.5-3B-Instruct言語モデルを高度に組み合わせたアーキテクチャに基づいて構築されており、ユーザーが自然言語で指定した対象の視覚的な位置を即座に推論する。言語モデル特有の優れた文脈理解力と高解像度画像処理能力が組み合わさり、単なるオブジェクト検出を超えて、複雑な記述文に合致する視覚的な根拠の提示(Visual Grounding)やGUI要素の位置推論タスクにおいて、卓越した性能を発揮する。

従来の大型ビジョン-言語モデルは、対象の座標を導出する際に、テキストトークンを1つずつ逐次的に予測する自己回帰(Autoregressive)方式を採用しており、推論速度が非常に遅く、計算リソースの消費が大きいという構造的な限界があった。LocateAnything-3Bは、このようなボトルネックを克服するために、並列ボックスデコーディング(Parallel Box Decoding、PBD)方式を導入することで、高性能超音波診断装置が生体組織全体の明暗断面を一度にスキャンするように、たった1回の並列演算ステップで、大量の位置領域座標を超高速で抽出する。軽量化された3Bアーキテクチャにもかかわらず、並列演算メカニズムのおかげで、従来の自己回帰モデルと比較して、はるかに優れた処理速度を誇り、ComfyUIカスタムノードおよびggml C++移植を完全にサポートしており、一般的な研究環境やローカルワークステーションでも、軽量かつ高速に動作する優れた運用性を実現する。

バイオメディカルおよび生命工学研究の現場では、LocateAnything-3Bは、顕微鏡画像や組織学(Histology)スライド画像内の細胞、タンパク質複合体、蛍光染色領域などの微細構造を、自然言語の質問のみで検出する強力な自動化ツールとして活用される。研究者が「細胞核周辺の緑色の蛍光アポトーシス領域」または「細胞質内のミトコンドリア複合体」など、やや複雑な指示表現を入力すると、モデルはファインチューニングのプロセスなしに、対象オブジェクトの正確な座標を即座に指定する。これにより、高解像度バイオイメージデータセットから、研究者が関心のある領域(Region of Interest、ROI)をリアルタイムで自動的に選別し、その後の定量化分析パイプラインに接続する、効率的な事前スクリーニングの役割を果たす。

また、自動化された生命工学実験室(Automated Bio-Lab)および実験装置の自動制御システムの構築分野においても、重要な役割を担う。リアルタイムのカメラ映像やソフトウェアインターフェースのスクリーンショットから、試薬容器のラベル、ピペットチップボックス、装置制御ソフトウェアの操作ボタンの位置を高精度で推論し、ロボットアームや制御スクリプトに正確な座標を渡すことができる。実験現場の仮想化およびロボット制御の自動化との連携において、視覚的検知および位置追跡(UI/Object Grounding)エンジンとして機能し、実験の再現性と研究の生産性を最大化する。

💻 必要なスペック

🧠RAM

最小限の 8GB NVIDIA GPU(RTX 3060/4060 以上を推奨、FP16/BF16 ベースで約 6-8GB の消費)

💾ストレージ

モデルの重みは約6.5GB、全体環境構築用には10GB以内

⚡ インストール

4-1. クイックスタート

PyTorchおよびTransformersベースの基本実行パッケージのインストール

pip install torch torchvision transformers accelerate Pillow

4-2. 詳細なインストール

GitHub リポジトリのクローンとEmbodiedパッケージの移動

git clone https://github.com/NVlabs/Eagle.git cd Eagle/Embodied

依存関係ライブラリとFlash-Attentionのインストール

pip install -r requirements.txt pip install flash-attn --no-build-isolation

🧬 バイオ活用シナリオ

🔬

細胞顕微鏡画像内の微細構造の自動セグメンテーションとROI領域の抽出

高解像度蛍光/明視野細胞顕微鏡画像(1024x1024以上)から、「緑色の蛍光で表示されたアポトーシス細胞」または「細胞質内のミトコンドリア集合体」など、具体的な指示文を入力として、1〜2秒以内に正確なバウンディングボックス座標を生成し、定量的な定量化パイプラインに渡す。

🧬

自動化されたバイオテクノロジー実験装置のスクリーンショットとUI操作要素の制御

実験室ロボットアームとの連携と装置制御の自動化のために、試薬容器ラベル、ピペットチップの位置、ソフトウェア操作ボタンなど、GUI/実験装置要素を自然言語で検出し、座標を制御スクリプトに渡す。

💊

大規模なバイオメディカル論文内のスキーマとダイアグラムの位置検出

学術論文PDFおよび研究文書画像から、「実験手順フローチャート」、「ウェスタンブロットバンド領域」、「統計グラフの軸」などの視覚要素を自動的に分類および位置を推論し、研究知識ベースの構築に活用する。

FAQ

LocateAnything-3Bとは何ですか?

NVIDIAが2026年7月に公開したLocateAnything-3Bは、画像内の特定のオブジェクトやテキスト、ユーザーインターフェース(UI)要素の位置を、長方形座標(バウンディングボックス)で正確に特定する、30億パラメータ規模のオープンボキャブラリービジョン-言語モデル(Vision-Language Model、VLM)である。このモデルは、MoonViT-SO-400MビジョンエンコーダーとQwen2.5-3B-Instruct言語モデルを高度に組み合わせたアーキテクチャに基づいて構築されており、ユーザーが自然言語で指定した対象の視覚的な位置を即座に推論する。言語モデル特有の優れた文脈理解力と高解像度画像処理能力が組み合わさり、単なるオブジェクト検出を超えて、複雑な記述文に合致する視覚的な根拠の提示(Visual Grounding)やGUI要素の位置推論タスクにおいて、卓越した性能を発揮する。 従来の大型ビジョン-言語モデルは、対象の座標を導出する際に、テキストトークンを1つずつ逐次的に予測する自己回帰(Autoregressive)方式を採用しており、推論速度が非常に遅く、計算リソースの消費が大きいという構造的な限界があった。LocateAnything-3Bは、このようなボトルネックを克服するために、並列ボックスデコーディング(Parallel Box Decoding、PBD)方式を導入することで、高性能超音波診断装置が生体組織全体の明暗断面を一度にスキャンするように、たった1回の並列演算ステップで、大量の位置領域座標を超高速で抽出する。軽量化された3Bアーキテクチャにもかかわらず、並列演算メカニズムのおかげで、従来の自己回帰モデルと比較して、はるかに優れた処理速度を誇り、ComfyUIカスタムノードおよびggml C++移植を完全にサポートしており、一般的な研究環境やローカルワークステーションでも、軽量かつ高速に動作する優れた運用性を実現する。 バイオメディカルおよび生命工学研究の現場では、LocateAnything-3Bは、顕微鏡画像や組織学(Histology)スライド画像内の細胞、タンパク質複合体、蛍光染色領域などの微細構造を、自然言語の質問のみで検出する強力な自動化ツールとして活用される。研究者が「細胞核周辺の緑色の蛍光アポトーシス領域」または「細胞質内のミトコンドリア複合体」など、やや複雑な指示表現を入力すると、モデルはファインチューニングのプロセスなしに、対象オブジェクトの正確な座標を即座に指定する。これにより、高解像度バイオイメージデータセットから、研究者が関心のある領域(Region of Interest、ROI)をリアルタイムで自動的に選別し、その後の定量化分析パイプラインに接続する、効率的な事前スクリーニングの役割を果たす。 また、自動化された生命工学実験室(Automated Bio-Lab)および実験装置の自動制御システムの構築分野においても、重要な役割を担う。リアルタイムのカメラ映像やソフトウェアインターフェースのスクリーンショットから、試薬容器のラベル、ピペットチップボックス、装置制御ソフトウェアの操作ボタンの位置を高精度で推論し、ロボットアームや制御スクリプトに正確な座標を渡すことができる。実験現場の仮想化およびロボット制御の自動化との連携において、視覚的検知および位置追跡(UI/Object Grounding)エンジンとして機能し、実験の再現性と研究の生産性を最大化する。

LocateAnything-3Bはいつ使いますか?

NVIDIAが2026年7月に公開したLocateAnything-3Bは、画像内の特定のオブジェクトやテキスト、ユーザーインターフェース(UI)要素の位置を、長方形座標(バウンディングボックス)で正確に特定する、30億パラメータ規模のオープンボキャブラリービジョン-言語モデル(Vision-Language Model、VLM)である。このモデルは、MoonViT-SO-400MビジョンエンコーダーとQwen2.5-3B-Instruct言語モデルを高度に組み合わせたアーキテクチャに基づいて構築されており、ユーザーが自然言語で指定した対象の視覚的な位置を即座に推論する。言語モデル特有の優れた文脈理解力と高解像度画像処理能力が組み合わさり、単なるオブジェクト検出を超えて、複雑な記述文に合致する視覚的な根拠の提示(Visual Grounding)やGUI要素の位置推論タスクにおいて、卓越した性能を発揮する。

LocateAnything-3Bのバイオ研究での活用例は何ですか?

細胞顕微鏡画像内の微細構造の自動セグメンテーションとROI領域の抽出: 高解像度蛍光/明視野細胞顕微鏡画像(1024x1024以上)から、「緑色の蛍光で表示されたアポトーシス細胞」または「細胞質内のミトコンドリア集合体」など、具体的な指示文を入力として、1〜2秒以内に正確なバウンディングボックス座標を生成し、定量的な定量化パイプラインに渡す。

📄 公式ドキュメント🐙 GitHub

📝 アップデートノート

まだアップデートノートはありません。

🧪 関連「生命のコード」

関連する「生命のコード」記事はまだありません。

BioPlayground

閲覧・リンク・適法な引用は開放し、高速な一括収集と無断再配布は制限します。

別途表示がない限り、コンテンツの権利はBioPlaygroundまたは正当な権利者に帰属します。