엔비디아(NVIDIA)가 2026년 7월에 공개한 LocateAnything-3B는 이미지 내 특정 객체나 텍스트, 사용자 인터페이스(UI) 요소의 위치를 사각형 좌표(Bounding Box)로 정밀하게 찾아내는 30억 파라미터 규모의 오픈 보캐블러리 비전-언어 모델(Vision-Language Model, VLM)입니다. 이 모델은 MoonViT-SO-400M 시각 인코더(Vision Encoder)와 Qwen2.5-3B-Instruct 언어 모델을 고도로 결합한 아키텍처를 기반으로 구축되었으며, 사용자가 자연어로 지정한 대상의 시각적 위치를 즉각적으로 추론합니다. 언어 모델 특유의 뛰어난 문맥 이해력과 고해상도 이미지 처리 능력이 접목되어 단순 객체 감지를 넘어 복잡한 서술 문장에 부합하는 시각적 근거 제시(Visual Grounding) 및 GUI 요소 위치 추론 작업에서 탁월한 성능을 발휘합니다. 기존의 대형 시각-언어 모델들은 대상의 좌표를 도출할 때 텍스트 토큰을 하나씩 순차적으로 예측하는 아구토레그레시브(Autoregressive) 방식을 채택하여 추론 속도가 매우 느리고 컴퓨팅 자원 소모가 크다는 구조적 한계를 가지고 있었습니다. LocateAnything-3B는 이러한 병목을 극복하기 위해 병렬 박스 디코딩(Parallel Box Decoding, PBD) 방식을 도입함으로써, 마치 고성능 초음파 진단 장비가 생체 조직 전체의 명암 단면을 한 번에 스캔해내듯 단 한 번의 병렬 연산 단계만으로 다량의 위치 영역 좌표를 초고속 추출해냅니다. 경량화된 3B 아키텍처에도 불구하고 병렬 연산 메커니즘 덕분에 기존 Autoregressive 모델 대비 월등한 처리 속도를 자랑하며, ComfyUI 커스텀 노드 및 ggml C++ 포팅을 완벽히 지원하여 일반 연구 환경이나 로컬 워크스테이션에서도 가볍고 빠르게 동작할 수 있는 뛰어난 운용 접근성을 선사합니다. 바이오메디컬 및 생명공학 연구 현장에서 LocateAnything-3B는 현미경 영상이나 조직학(Histology) 슬라이드 이미지 내 세포, 단백질 집합체, 형광 염색 영역 등의 미세 구조를 자연어 질의만으로 탐지하는 강력한 자동화 도구로 활용됩니다. 연구자가 "세포핵 주변의 녹색 형광 사멸 영역" 또는 "세포질 내 미토콘드리아 집합체"와 같이 다소 복잡한 지칭 표현(Referring Expression)을 입력하면, 모델은 파인튜닝 과정 없이도 대상 객체의 정밀 좌표를 즉시 지정해냅니다. 이를 통해 고해상도 바이오 이미지 데이터셋에서 연구자가 관심 있는 영역(Region of Interest, ROI)을 실시간으로 자동 선별하고 후속 수량화 분석 파이프라인으로 연결해주는 효율적인 사전 스크리닝 역할을 수행합니다. 또한 자동화 생명공학 실험실(Automated Bio-Lab) 및 실험 장비의 자동 제어 시스템 구축 분야에서도 핵심적인 역할을 담당합니다. 실시간 카메라 영상이나 소프트웨어 인터페이스 스크린샷에서 시약 용기 라벨, 피펫 팁 박스, 장비 제어 소프트웨어의 조작 버튼 위치를 높은 정확도로 추론하여 로봇 팔이나 제어 스크립트에 정밀 좌표를 넘겨줄 수 있습니다. 실험 현장의 가상화 및 로봇 제어 자동화 연동 과정에서 시각적 감지 및 위치 추적(UI/Object Grounding) 엔진으로 기능하여 실험 재현성과 연구 생산성을 극대화합니다.

엔비디아(NVIDIA)가 2026년 7월에 공개한 LocateAnything-3B는 이미지 내 특정 객체나 텍스트, 사용자 인터페이스(UI) 요소의 위치를 사각형 좌표(Bounding Box)로 정밀하게 찾아내는 30억 파라미터 규모의 오픈 보캐블러리 비전-언어 모델(Vision-Language Model, VLM)입니다.

세포 현미경 이미지 내 미세 구조 자동 분할 및 ROI 영역 추출: 고해상도 형광/명시야 세포 현미경 이미지(1024x1024 이상)에서 "녹색 형광 표시된 사멸 세포" 또는 "세포질 내 미토콘드리아 집합체" 등 구체적 지칭 문장을 입력받아 1-2초 내 정밀한 바운딩 박스 좌표를 생성하고, 정량적 수량화 파이프라인으로 전달.