browser-useは、大規模言語モデル（LLM）およびビジョン言語モデル（VLM）を、Web自動化ライブラリであるPlaywrightと組み合わせることで、Webブラウザを自律的に制御するオープンソースのAIエージェントフレームワークです。2024年11月に開発チームによって公開されたこのツールは、ユーザーが複雑なプログラミングコードやWeb要素セレクターを一つ一つ記述することなく、自然言語による指示だけで動的なWebサイトをナビゲートし、目標とするタスクを自律的に実行できるようにします。エージェントは、ブラウザのDOM（Document Object Model）構造とリアルタイムの画面スクリーンショットの視覚情報を同時に分析し、現在のページのステータスを正確に把握し、次に実行する最適なブラウザの動作を自律的に推論して適用します。 従来のSeleniumやPlaywrightベースのWebスクレイピングスクリプトは、WebページのCSSセレクターやHTML構造に強く依存しており、Webサイトのデザインがわずかに変更されたり、動的なレイアウトが適用されたりすると、スクリプト全体が機能しなくなるという重大な欠点がありました。人が自動運転車に乗り込み、目的地を伝えるだけで、車両が道路状況や標識をリアルタイムで視覚的に認識しながら自律的に運転するように、browser-useはWebブラウザ内にAIドライバーを搭載し、複雑なインタラクティブなWebインターフェース、フォーム入力、マルチタブの移動、ログインプロセスなどを人間のように認識し、柔軟に対応します。特に、単純なテキストプロンプティングを超えて、ブラウザ要素を大幅に削減するDOM精製ツリー構造と視覚的要素のタグ付け技術を適用することで、トークンの消費量を最小限に抑えながら、CAPTCHAやドロップダウンメニューなどの複雑な要素を正確にクリックして操作することができます。 生命工学およびバイオメディカル研究分野において、browser-useは、個別のREST APIが提供されていない、または複雑なセッションログインが必要な複数のデータベースから研究データを自動的に収集する際に、強力なパフォーマンスを発揮します。たとえば、研究者がNCBI PubMed、UniProt、ClinicalTrials.govなどの複数のWebポータルにアクセスし、特定の遺伝子変異や臨床3相試験情報を一つ一つ検索して収集する作業を、自然言語による指示だけで自動化することができます。OpenAI GPT-4o、Anthropic Claude 3.5 Sonnetだけでなく、ローカルのOllama環境のビジョンモデルとも完全に互換性があるため、セキュリティが重要な病院や研究所の内部ネットワークデータ探索時に、外部データ漏れなしに自律ブラウザエージェントを構築し、データ分析パイプラインに直接接続することができます。

browser-useは、大規模言語モデル（LLM）およびビジョン言語モデル（VLM）を、Web自動化ライブラリであるPlaywrightと組み合わせることで、Webブラウザを自律的に制御するオープンソースのAIエージェントフレームワークです。2024年11月に開発チームによって公開されたこのツールは、ユーザーが複雑なプログラミングコードやWeb要素セレクターを一つ一つ記述することなく、自然言語による指示だけで動的なWebサイトを操作し、目標とするタスクを自律的に実行できるようにします。エージェントは、ブラウザのDOM（

🔬 Webベースの生物学データベースの自律的な探索とメタデータの自動収集: NCBI PubMed、UniProt、ClinicalTrials.govなど、APIに制限がある生物医学データベースにアクセスし、ターゲット遺伝子変異および臨床第3相試験データを自然言語による指示で収集し、Pandas DataFrame形式で整理する。