마이크로소프트 리서치(Microsoft Research)가 2025년 2월에 발표한 OmniParser v2는 컴퓨터 화면 스크린샷을 기계가 읽을 수 있는 정형화된 데이터로 변환해 주는 범용 스크린 파싱(Screen Parsing) 도구입니다. 기존 대형 비전 언어 모델(Vision Language Model, VLM)들이 컴퓨터 화면 이미지만을 보고 마우스 클릭 좌표를 정확하게 계산하지 못해 겪던 위치 오차 문제를 근본적으로 해결하기 위해 개발되었습니다. 대규모 언어 모델(Large Language Model)이 자연어 텍스트를 토큰(Token)으로 쪼개어 정밀하게 처리하듯, OmniParser v2는 화면 속의 모든 그래픽 요소를 기하학적 좌표와 기능 설명이 매핑된 독립된 시각적 토큰으로 분할하여 처리합니다. 내부적으로는 화면 상의 모든 대화형 객체를 탐지하는 객체 인식(Object Detection) 모델과 탐지된 아이콘의 역할을 자연어로 설명해 주는 아이콘 캡셔닝(Icon Captioning) 모델을 이중 구조(Dual-stage Architecture)로 통합하여 완벽한 화면 해독 능력을 구현했으며, 이를 통해 다양한 운영체제 인터페이스 상에서의 에이전트 오동작률을 획기적으로 낮추었습니다. 기존의 스크린 제어 방식은 주로 애플리케이션 내부의 소스 코드나 웹 브라우저의 문서 객체 모델(Document Object Model, DOM) 트리에 전적으로 의존해 왔기 때문에, 소스 코드가 감추어진 폐쇄형 소프트웨어나 모바일 앱, 가상 머신 환경에서는 자동화 시나리오를 설계하기가 불가능에 가까웠습니다. 반면 OmniParser v2는 별도의 내부 시스템 API나 코드 소스 지원 없이 오직 화면 픽셀(Pixel) 값만을 기반으로 버튼, 입력 창, 체크박스 등의 위치를 밀리초 단위로 파악해 냅니다. 이 도구는 시각적 객체 경계 상자(Bounding Box) 탐지 기술을 극대화하여 해상도 변화나 윈도우 창 크기 변경 등의 환경 변수에도 왜곡 없이 실시간(Real-time)으로 대응합니다. 특히 아이콘의 시각적 형태를 파악한 뒤 세부 기능 묘사(Functional Description)를 텍스트로 보완함으로써 비전 언어 모델이 마우스 클릭 영역을 빗나가지 않도록 완벽하게 가이드하며, 웹사이트가 개편되거나 UI 레이아웃이 변경되어도 시각적 특징만으로 요소를 포착하여 중단 없는 자동화를 지속시킵니다. 실제 생명공학 연구 현장에서는 유전자 서열 분석이나 단백질 구조 시각화 과정에서 웹 브라우저와 로컬 레거시(Legacy) 분석 프로그램을 동시에 조작해야 하는 번거로운 GUI 반복 작업이 자주 일어납니다. OmniParser v2를 Windows 11 제어용 도구 모음인 OmniTool 및 고성능 시각 모델과 연동하면 단백질 구조 설계 자동화 파이프라인을 구축할 수 있습니다. 예를 들어, 1920x1080 크기의 분석 프로그램 화면 스크샷을 YOLOv9-E 기반 탐지기에 전달하면 화면 상의 수십 개 미세 단백질 렌더링 옵션 버튼들이 평균 1~2초 내에 탐지 완료됩니다. 이후 탐지된 타겟 클릭 지점 데이터를 바탕으로 자동화 에이전트가 단백질 데이터베이스(RCSB PDB)에서 표적 단백질을 자동으로 검색 및 선택하고, 다운로드된 분자 도킹(Molecular Docking) 데이터 파일을 열어 특정 활성 부위(Active Site)를 선점하는 마우스 조작을 실수 없이 정량적으로 수행함으로써 연구자들의 데이터 획득 시간과 분석 생산성을 극대화합니다.