browser-use는 대형 언어 모델(LLM; Large Language Model) 및 비전 언어 모델(VLM; Vision Language Model)을 웹 자동화 라이브러리인 Playwright와 결합하여 웹 브라우저를 자율적으로 제어하는 오픈소스 AI 에이전트 프레임워크입니다. 2024년 11월 개발진에 의해 공개된 이 도구는 사용자가 복잡한 프로그래밍 코드나 웹 요소 셀렉터를 일일이 작성하지 않고도 자연어 지시만으로 동적 웹사이트를 탐색하고 목표 과업을 자율 수행할 수 있도록 지원합니다. 에이전트는 브라우저의 DOM(Document Object Model; 문서 객체 모델) 구조와 실시간 화면 스크린샷 시각 정보를 동시에 분석하여 현재 페이지의 상태를 정밀하게 파악하고, 다음에 실행할 최적의 브라우저 동작을 스스로 추론하여 적용합니다. 기존의 Selenium이나 Playwright 기반 웹 스크래핑 스크립트는 웹페이지의 CSS 셀렉터나 HTML 구조에 강하게 의존하여, 웹사이트 디자인이 미세하게 변경되거나 동적 레이아웃이 적용되면 스크립트 전체가 파괴되는 치명적인 한계를 지니고 있었습니다. 사람이 자율주행 차량에 탑승하여 목적지만 말하면 차량이 도로 상황과 표지판을 실시간 시각 인식하며 스스로 운전하듯, browser-use는 웹 브라우저 내부에 AI 운전사를 탑재하여 복잡한 인터랙티브 웹 인터페이스, 폼 입력, 멀티탭 이동, 로그인 과정까지 사람처럼 인식하고 유연하게 대처합니다. 특히 단순 텍스트 프롬프팅을 넘어 브라우저 요소를 획기적으로 줄여주는 DOM 정제 트리 구조와 시각적 요소 태깅 기술을 적용함으로써 토큰 소비량을 최소화하면서도 캡차(CAPTCHA)나 드롭다운 메뉴와 같은 복잡한 요소를 정확히 클릭하고 조작할 수 있습니다. 생명공학 및 바이오 의학 연구 분야에서 browser-use는 별도의 REST API가 제공되지 않거나 복잡한 세션 로그인이 필요한 다수의 데이터베이스로부터 연구 데이터를 자동 수집하는 데 강력한 성능을 발휘합니다. 예를 들어 연구자가 NCBI PubMed, UniProt, ClinicalTrials.gov 등 여러 웹 포털에 접속하여 특정 유전자 변이나 임상 3상 시험 정보를 일일이 검색하고 수집하는 작업을 자연어 지시문만으로 자동화할 수 있습니다. OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet 뿐만 아니라 로컬 Ollama 환경의 비전 모델과도 완벽히 호환되므로, 보안이 중요한 병원이나 연구소 내부망 데이터 탐색 시 외부 데이터 유출 없이 자율 브라우저 에이전트를 구축하여 데이터 분석 파이프라인으로 직결시키는 작업이 가능해집니다.