BioPlayground

🧬
← AI Tools
image_aiintermediate

LocateAnything-3B

<!

<!-- μ§€μ‹œμž λ…ΈνŠΈ (응닡에 μ ˆλŒ€ 포함 κΈˆμ§€ β€” 이 주석 μ•ˆμ˜ λ‚΄μš©μ€ Β§2 본문에 λ“±μž₯ν•˜λ©΄ μ•ˆ 됨): Β§2 본문은 μ‹€μ œ μ‚¬μ΄νŠΈ λ…ΈμΆœ λŒ€μƒμ΄λ―€λ‘œ μ•„λž˜ 룰을 λ°˜λ“œμ‹œ λ°˜μ˜ν•΄ 순수 description만 μž‘μ„±. 이 μ§€μ‹œλ¬Έ μžμ²΄λŠ” 좜λ ₯ν•˜μ§€ 말 것. - 3-4 단락 μ„œμˆ ν˜• (bullet μ ˆλŒ€ X β€” `-` μ‚¬μš© 0건) - `ꡡ게` 1-2개만 (λ‚¨λ°œ X β€” Markdown 가독성 파괴 사이클 λ°•μ œ, 2026-06-16) - λΉ„μœ  1개 이상 ("GPTκ°€ ν…μŠ€νŠΈ μ²˜λ¦¬ν•˜λ“―, XλŠ” ..." ν˜•νƒœ) - 정체성 β†’ ν•œκ³„+차별점 β†’ ν™œμš© μ‹œλ‚˜λ¦¬μ˜€ 흐름 - 1,500-3,000자 ν•œκ΅­μ–΄ (Cellpose baseline 788자 Β± λ§ˆμ§„ OK) - μ˜μ–΄ ν•™μˆ  μš©μ–΄ ν•œκΈ€ 병기 ("Vector flow", "U-Net μ•„ν‚€ν…μ²˜") - λ³Έ μ„Ήμ…˜ μžμ²΄μ— `##`/`###` ν—€λ”© X (단락 λΆ„λ¦¬λŠ” 곡백 ν•œ μ€„λ‘œ) --> <!-- λ£° μ°Έμ‘°λŠ” μœ„ 주석에 μžˆμœΌλ‹ˆ μ•„λž˜μ—” 아무 μ§€μ‹œλ¬Έλ„ λ°˜λ³΅ν•˜μ§€ 말고 κ³§λ°”λ‘œ tool description을 3-4 λ‹¨λ½μœΌλ‘œ μž‘μ„±. --> μ—”λΉ„λ””μ•„(NVIDIA)κ°€ 2026λ…„ 7월에 κ³΅κ°œν•œ LocateAnything-3BλŠ” 이미지 λ‚΄ νŠΉμ • κ°μ²΄λ‚˜ ν…μŠ€νŠΈ, μ‚¬μš©μž μΈν„°νŽ˜μ΄μŠ€(UI) μš”μ†Œμ˜ μœ„μΉ˜λ₯Ό μ‚¬κ°ν˜• μ’Œν‘œ(Bounding Box)둜 μ •λ°€ν•˜κ²Œ μ°Ύμ•„λ‚΄λŠ” 30μ–΅ νŒŒλΌλ―Έν„° 규λͺ¨μ˜ μ˜€ν”ˆ λ³΄μΊλΈ”λŸ¬λ¦¬ λΉ„μ „-μ–Έμ–΄ λͺ¨λΈ(Vision-Language Model, VLM)μž…λ‹ˆλ‹€. 이 λͺ¨λΈμ€ MoonViT-SO-400M μ‹œκ° 인코더(Vision Encoder)와 Qwen2.5-3B-Instruct μ–Έμ–΄ λͺ¨λΈμ„ κ³ λ„λ‘œ κ²°ν•©ν•œ μ•„ν‚€ν…μ²˜λ₯Ό 기반으둜 κ΅¬μΆ•λ˜μ—ˆμœΌλ©°, μ‚¬μš©μžκ°€ μžμ—°μ–΄λ‘œ μ§€μ •ν•œ λŒ€μƒμ˜ μ‹œκ°μ  μœ„μΉ˜λ₯Ό μ¦‰κ°μ μœΌλ‘œ μΆ”λ‘ ν•©λ‹ˆλ‹€. μ–Έμ–΄ λͺ¨λΈ 특유의 λ›°μ–΄λ‚œ λ¬Έλ§₯ 이해λ ₯κ³Ό 고해상도 이미지 처리 λŠ₯λ ₯이 μ ‘λͺ©λ˜μ–΄ λ‹¨μˆœ 객체 감지λ₯Ό λ„˜μ–΄ λ³΅μž‘ν•œ μ„œμˆ  λ¬Έμž₯에 λΆ€ν•©ν•˜λŠ” μ‹œκ°μ  κ·Όκ±° μ œμ‹œ(Visual Grounding) 및 GUI μš”μ†Œ μœ„μΉ˜ μΆ”λ‘  μž‘μ—…μ—μ„œ νƒμ›”ν•œ μ„±λŠ₯을 λ°œνœ˜ν•©λ‹ˆλ‹€. 기쑴의 λŒ€ν˜• μ‹œκ°-μ–Έμ–΄ λͺ¨λΈλ“€μ€ λŒ€μƒμ˜ μ’Œν‘œλ₯Ό λ„μΆœν•  λ•Œ ν…μŠ€νŠΈ 토큰을 ν•˜λ‚˜μ”© 순차적으둜 μ˜ˆμΈ‘ν•˜λŠ” μ•„κ΅¬ν† λ ˆκ·Έλ ˆμ‹œλΈŒ(Autoregressive) 방식을 μ±„νƒν•˜μ—¬ μΆ”λ‘  속도가 맀우 느리고 μ»΄ν“¨νŒ… μžμ› μ†Œλͺ¨κ°€ ν¬λ‹€λŠ” ꡬ쑰적 ν•œκ³„λ₯Ό κ°€μ§€κ³  μžˆμ—ˆμŠ΅λ‹ˆλ‹€. LocateAnything-3BλŠ” μ΄λŸ¬ν•œ 병λͺ©μ„ κ·Ήλ³΅ν•˜κΈ° μœ„ν•΄ 병렬 λ°•μŠ€ λ””μ½”λ”©(Parallel Box Decoding, PBD) 방식을 λ„μž…ν•¨μœΌλ‘œμ¨, 마치 κ³ μ„±λŠ₯ 초음파 진단 μž₯λΉ„κ°€ 생체 쑰직 μ „μ²΄μ˜ λͺ…μ•” 단면을 ν•œ λ²ˆμ— μŠ€μΊ”ν•΄λ‚΄λ“― 단 ν•œ 번의 병렬 μ—°μ‚° λ‹¨κ³„λ§ŒμœΌλ‘œ λ‹€λŸ‰μ˜ μœ„μΉ˜ μ˜μ—­ μ’Œν‘œλ₯Ό μ΄ˆκ³ μ† μΆ”μΆœν•΄λƒ…λ‹ˆλ‹€. κ²½λŸ‰ν™”λœ 3B μ•„ν‚€ν…μ²˜μ—λ„ λΆˆκ΅¬ν•˜κ³  병렬 μ—°μ‚° λ©”μ»€λ‹ˆμ¦˜ 덕뢄에 κΈ°μ‘΄ Autoregressive λͺ¨λΈ λŒ€λΉ„ μ›”λ“±ν•œ 처리 속도λ₯Ό μžλž‘ν•˜λ©°, ComfyUI μ»€μŠ€ν…€ λ…Έλ“œ 및 ggml C++ ν¬νŒ…μ„ μ™„λ²½νžˆ μ§€μ›ν•˜μ—¬ 일반 연ꡬ ν™˜κ²½μ΄λ‚˜ 둜컬 μ›Œν¬μŠ€ν…Œμ΄μ…˜μ—μ„œλ„ 가볍고 λΉ λ₯΄κ²Œ λ™μž‘ν•  수 μžˆλŠ” λ›°μ–΄λ‚œ 운용 접근성을 μ„ μ‚¬ν•©λ‹ˆλ‹€. λ°”μ΄μ˜€λ©”λ””μ»¬ 및 생λͺ…곡학 연ꡬ ν˜„μž₯μ—μ„œ LocateAnything-3BλŠ” ν˜„λ―Έκ²½ μ˜μƒμ΄λ‚˜ 쑰직학(Histology) μŠ¬λΌμ΄λ“œ 이미지 λ‚΄ 세포, λ‹¨λ°±μ§ˆ 집합체, ν˜•κ΄‘ 염색 μ˜μ—­ λ“±μ˜ λ―Έμ„Έ ꡬ쑰λ₯Ό μžμ—°μ–΄ 질의만으둜 νƒμ§€ν•˜λŠ” κ°•λ ₯ν•œ μžλ™ν™” λ„κ΅¬λ‘œ ν™œμš©λ©λ‹ˆλ‹€. μ—°κ΅¬μžκ°€ "세포핡 μ£Όλ³€μ˜ 녹색 ν˜•κ΄‘ 사멸 μ˜μ—­" λ˜λŠ” "μ„Έν¬μ§ˆ λ‚΄ λ―Έν† μ½˜λ“œλ¦¬μ•„ 집합체"와 같이 λ‹€μ†Œ λ³΅μž‘ν•œ μ§€μΉ­ ν‘œν˜„(Referring Expression)을 μž…λ ₯ν•˜λ©΄, λͺ¨λΈμ€ νŒŒμΈνŠœλ‹ κ³Όμ • 없이도 λŒ€μƒ 객체의 μ •λ°€ μ’Œν‘œλ₯Ό μ¦‰μ‹œ μ§€μ •ν•΄λƒ…λ‹ˆλ‹€. 이λ₯Ό 톡해 고해상도 λ°”μ΄μ˜€ 이미지 λ°μ΄ν„°μ…‹μ—μ„œ μ—°κ΅¬μžκ°€ 관심 μžˆλŠ” μ˜μ—­(Region of Interest, ROI)을 μ‹€μ‹œκ°„μœΌλ‘œ μžλ™ μ„ λ³„ν•˜κ³  후속 μˆ˜λŸ‰ν™” 뢄석 νŒŒμ΄ν”„λΌμΈμœΌλ‘œ μ—°κ²°ν•΄μ£ΌλŠ” 효율적인 사전 μŠ€ν¬λ¦¬λ‹ 역할을 μˆ˜ν–‰ν•©λ‹ˆλ‹€. λ˜ν•œ μžλ™ν™” 생λͺ…곡학 μ‹€ν—˜μ‹€(Automated Bio-Lab) 및 μ‹€ν—˜ μž₯λΉ„μ˜ μžλ™ μ œμ–΄ μ‹œμŠ€ν…œ ꡬ좕 λΆ„μ•Όμ—μ„œλ„ 핡심적인 역할을 λ‹΄λ‹Ήν•©λ‹ˆλ‹€. μ‹€μ‹œκ°„ 카메라 μ˜μƒμ΄λ‚˜ μ†Œν”„νŠΈμ›¨μ–΄ μΈν„°νŽ˜μ΄μŠ€ μŠ€ν¬λ¦°μƒ·μ—μ„œ μ‹œμ•½ 용기 라벨, ν”ΌνŽ« 팁 λ°•μŠ€, μž₯λΉ„ μ œμ–΄ μ†Œν”„νŠΈμ›¨μ–΄μ˜ μ‘°μž‘ λ²„νŠΌ μœ„μΉ˜λ₯Ό 높은 μ •ν™•λ„λ‘œ μΆ”λ‘ ν•˜μ—¬ λ‘œλ΄‡ νŒ”μ΄λ‚˜ μ œμ–΄ μŠ€ν¬λ¦½νŠΈμ— μ •λ°€ μ’Œν‘œλ₯Ό λ„˜κ²¨μ€„ 수 μžˆμŠ΅λ‹ˆλ‹€. μ‹€ν—˜ ν˜„μž₯의 가상화 및 λ‘œλ΄‡ μ œμ–΄ μžλ™ν™” 연동 κ³Όμ •μ—μ„œ μ‹œκ°μ  감지 및 μœ„μΉ˜ 좔적(UI/Object Grounding) μ—”μ§„μœΌλ‘œ κΈ°λŠ₯ν•˜μ—¬ μ‹€ν—˜ μž¬ν˜„μ„±κ³Ό 연ꡬ 생산성을 κ·ΉλŒ€ν™”ν•©λ‹ˆλ‹€.

πŸ’» ν•„μš”ν•œ 컴퓨터 사양

🧠RAM

μ΅œμ†Œ 8GB NVIDIA GPU (RTX 3060/4060 이상 ꢌμž₯, FP16/BF16 κΈ°μ€€ μ•½ 6-8GB μ†Œλͺ¨)

πŸ’Ύμ €μž₯곡간

λͺ¨λΈ κ°€μ€‘μΉ˜ μ•½ 6.5GB, 전체 ν™˜κ²½ κ΅¬μΆ•μš© 10GB 이내

⚑ μ„€μΉ˜λ²•

### 4-1. Quick Start

# PyTorch 및 Transformers 기반 κΈ°λ³Έ μ‹€ν–‰ νŒ¨ν‚€μ§€ μ„€μΉ˜
pip install torch torchvision transformers accelerate Pillow

### 4-2. 상세 μ„€μΉ˜

# GitHub μ €μž₯μ†Œ 클둠 및 Embodied νŒ¨ν‚€μ§€ 이동
git clone https://github.com/NVlabs/Eagle.git
cd Eagle/Embodied

# μ˜μ‘΄μ„± 라이브러리 및 Flash-Attention μ„€μΉ˜
pip install -r requirements.txt
pip install flash-attn --no-build-isolation

🧬 λ°”μ΄μ˜€ ν™œμš©

πŸ”¬

세포 ν˜„λ―Έκ²½ 이미지 λ‚΄ λ―Έμ„Έ ꡬ쑰 μžλ™ λΆ„ν•  및 ROI μ˜μ—­ μΆ”μΆœ

고해상도 ν˜•κ΄‘/λͺ…μ‹œμ•Ό 세포 ν˜„λ―Έκ²½ 이미지(1024x1024 이상)μ—μ„œ "녹색 ν˜•κ΄‘ ν‘œμ‹œλœ 사멸 세포" λ˜λŠ” "μ„Έν¬μ§ˆ λ‚΄ λ―Έν† μ½˜λ“œλ¦¬μ•„ 집합체" λ“± ꡬ체적 μ§€μΉ­ λ¬Έμž₯을 μž…λ ₯λ°›μ•„ 1-2초 λ‚΄ μ •λ°€ν•œ λ°”μš΄λ”© λ°•μŠ€ μ’Œν‘œλ₯Ό μƒμ„±ν•˜κ³ , μ •λŸ‰μ  μˆ˜λŸ‰ν™” νŒŒμ΄ν”„λΌμΈμœΌλ‘œ 전달.

🧬

μžλ™ν™” 생λͺ…곡학 μ‹€ν—˜ μž₯λΉ„ μŠ€ν¬λ¦°μƒ· 및 UI μ‘°μž‘ μš”μ†Œ μ œμ–΄

μ‹€ν—˜μ‹€ λ‘œλ΄‡ νŒ” 연동 및 μž₯λΉ„ μ œμ–΄ μžλ™ν™”λ₯Ό μœ„ν•΄ μ‹œμ•½ 용기 라벨, ν”ΌνŽ« 팁 μœ„μΉ˜, μ†Œν”„νŠΈμ›¨μ–΄ μ‘°μž‘ λ²„νŠΌ λ“± GUI/μ‹€ν—˜ μž₯λΉ„ μš”μ†Œλ₯Ό μžμ—°μ–΄λ‘œ μ°Ύμ•„λ‚΄μ–΄ μ’Œν‘œλ₯Ό μ œμ–΄ 슀크립트둜 전달.

πŸ’Š

λŒ€κ·œλͺ¨ λ°”μ΄μ˜€λ©”λ””μ»¬ λ…Όλ¬Έ λ‚΄ μŠ€ν‚€λ§ˆ 및 λ‹€μ΄μ–΄κ·Έλž¨ μœ„μΉ˜ κ²€μΆœ

ν•™μˆ  λ…Όλ¬Έ PDF 및 연ꡬ λ¬Έμ„œ μ΄λ―Έμ§€μ—μ„œ "μ‹€ν—˜ 절차 ν”Œλ‘œμš°μ°¨νŠΈ", "μ›¨μŠ€ν„΄ λΈ”λ‘― λ°΄λ“œ μ˜μ—­", "톡계 κ·Έλž˜ν”„ μΆ•" λ“±μ˜ μ‹œκ° μš”μ†Œλ₯Ό μžλ™ λΆ„λ₯˜ 및 μœ„μΉ˜ μΆ”λ‘ ν•˜μ—¬ 연ꡬ 지식 베이슀 ꡬ좕에 ν™œμš©.

πŸ“„ κ³΅μ‹λ¬Έμ„œπŸ™ GitHub

πŸ“ μ—…λ°μ΄νŠΈ λ…ΈνŠΈ

아직 μ—…λ°μ΄νŠΈ λ…ΈνŠΈκ°€ μ—†μŠ΅λ‹ˆλ‹€.

πŸ§ͺ κ΄€λ ¨ 생λͺ…μ˜ μ½”λ“œ

κ΄€λ ¨λœ 생λͺ…μ˜ μ½”λ“œ 글이 아직 μ—†μŠ΅λ‹ˆλ‹€.