LocateAnything-3B
<!
<!-- μ§μμ λ ΈνΈ (μλ΅μ μ λ ν¬ν¨ κΈμ§ β μ΄ μ£Όμ μμ λ΄μ©μ Β§2 λ³Έλ¬Έμ λ±μ₯νλ©΄ μ λ¨): Β§2 λ³Έλ¬Έμ μ€μ μ¬μ΄νΈ λ ΈμΆ λμμ΄λ―λ‘ μλ λ£°μ λ°λμ λ°μν΄ μμ descriptionλ§ μμ±. μ΄ μ§μλ¬Έ μ체λ μΆλ ₯νμ§ λ§ κ². - 3-4 λ¨λ½ μμ ν (bullet μ λ X β `-` μ¬μ© 0건) - `κ΅΅κ²` 1-2κ°λ§ (λ¨λ° X β Markdown κ°λ μ± νκ΄΄ μ¬μ΄ν΄ λ°μ , 2026-06-16) - λΉμ 1κ° μ΄μ ("GPTκ° ν μ€νΈ μ²λ¦¬νλ―, Xλ ..." νν) - μ μ²΄μ± β νκ³+μ°¨λ³μ β νμ© μλλ¦¬μ€ νλ¦ - 1,500-3,000μ νκ΅μ΄ (Cellpose baseline 788μ Β± λ§μ§ OK) - μμ΄ νμ μ©μ΄ νκΈ λ³κΈ° ("Vector flow", "U-Net μν€ν μ²") - λ³Έ μΉμ μ체μ `##`/`###` ν€λ© X (λ¨λ½ λΆλ¦¬λ 곡백 ν μ€λ‘) --> <!-- λ£° μ°Έμ‘°λ μ μ£Όμμ μμΌλ μλμ μ무 μ§μλ¬Έλ λ°λ³΅νμ§ λ§κ³ κ³§λ°λ‘ tool descriptionμ 3-4 λ¨λ½μΌλ‘ μμ±. --> μλΉλμ(NVIDIA)κ° 2026λ 7μμ 곡κ°ν LocateAnything-3Bλ μ΄λ―Έμ§ λ΄ νΉμ κ°μ²΄λ ν μ€νΈ, μ¬μ©μ μΈν°νμ΄μ€(UI) μμμ μμΉλ₯Ό μ¬κ°ν μ’ν(Bounding Box)λ‘ μ λ°νκ² μ°Ύμλ΄λ 30μ΅ νλΌλ―Έν° κ·λͺ¨μ μ€ν 보μΊλΈλ¬λ¦¬ λΉμ -μΈμ΄ λͺ¨λΈ(Vision-Language Model, VLM)μ λλ€. μ΄ λͺ¨λΈμ MoonViT-SO-400M μκ° μΈμ½λ(Vision Encoder)μ Qwen2.5-3B-Instruct μΈμ΄ λͺ¨λΈμ κ³ λλ‘ κ²°ν©ν μν€ν μ²λ₯Ό κΈ°λ°μΌλ‘ ꡬμΆλμμΌλ©°, μ¬μ©μκ° μμ°μ΄λ‘ μ§μ ν λμμ μκ°μ μμΉλ₯Ό μ¦κ°μ μΌλ‘ μΆλ‘ ν©λλ€. μΈμ΄ λͺ¨λΈ νΉμ μ λ°μ΄λ λ¬Έλ§₯ μ΄ν΄λ ₯κ³Ό κ³ ν΄μλ μ΄λ―Έμ§ μ²λ¦¬ λ₯λ ₯μ΄ μ λͺ©λμ΄ λ¨μ κ°μ²΄ κ°μ§λ₯Ό λμ΄ λ³΅μ‘ν μμ λ¬Έμ₯μ λΆν©νλ μκ°μ κ·Όκ±° μ μ(Visual Grounding) λ° GUI μμ μμΉ μΆλ‘ μμ μμ νμν μ±λ₯μ λ°νν©λλ€. κΈ°μ‘΄μ λν μκ°-μΈμ΄ λͺ¨λΈλ€μ λμμ μ’νλ₯Ό λμΆν λ ν μ€νΈ ν ν°μ νλμ© μμ°¨μ μΌλ‘ μμΈ‘νλ μꡬν λ κ·Έλ μλΈ(Autoregressive) λ°©μμ μ±ννμ¬ μΆλ‘ μλκ° λ§€μ° λλ¦¬κ³ μ»΄ν¨ν μμ μλͺ¨κ° ν¬λ€λ ꡬ쑰μ νκ³λ₯Ό κ°μ§κ³ μμμ΅λλ€. LocateAnything-3Bλ μ΄λ¬ν λ³λͺ©μ 극볡νκΈ° μν΄ λ³λ ¬ λ°μ€ λμ½λ©(Parallel Box Decoding, PBD) λ°©μμ λμ ν¨μΌλ‘μ¨, λ§μΉ κ³ μ±λ₯ μ΄μν μ§λ¨ μ₯λΉκ° μ체 μ‘°μ§ μ 체μ λͺ μ λ¨λ©΄μ ν λ²μ μ€μΊν΄λ΄λ― λ¨ ν λ²μ λ³λ ¬ μ°μ° λ¨κ³λ§μΌλ‘ λ€λμ μμΉ μμ μ’νλ₯Ό μ΄κ³ μ μΆμΆν΄λ λλ€. κ²½λνλ 3B μν€ν μ²μλ λΆκ΅¬νκ³ λ³λ ¬ μ°μ° λ©μ»€λμ¦ λλΆμ κΈ°μ‘΄ Autoregressive λͺ¨λΈ λλΉ μλ±ν μ²λ¦¬ μλλ₯Ό μλνλ©°, ComfyUI 컀μ€ν λ Έλ λ° ggml C++ ν¬ν μ μλ²½ν μ§μνμ¬ μΌλ° μ°κ΅¬ νκ²½μ΄λ λ‘컬 μν¬μ€ν μ΄μ μμλ κ°λ³κ³ λΉ λ₯΄κ² λμν μ μλ λ°μ΄λ μ΄μ© μ κ·Όμ±μ μ μ¬ν©λλ€. λ°μ΄μ€λ©λ컬 λ° μλͺ 곡ν μ°κ΅¬ νμ₯μμ LocateAnything-3Bλ νλ―Έκ²½ μμμ΄λ μ‘°μ§ν(Histology) μ¬λΌμ΄λ μ΄λ―Έμ§ λ΄ μΈν¬, λ¨λ°±μ§ μ§ν©μ²΄, νκ΄ μΌμ μμ λ±μ λ―ΈμΈ κ΅¬μ‘°λ₯Ό μμ°μ΄ μ§μλ§μΌλ‘ νμ§νλ κ°λ ₯ν μλν λκ΅¬λ‘ νμ©λ©λλ€. μ°κ΅¬μκ° "μΈν¬ν΅ μ£Όλ³μ λ Ήμ νκ΄ μ¬λ©Έ μμ" λλ "μΈν¬μ§ λ΄ λ―Έν μ½λ리μ μ§ν©μ²΄"μ κ°μ΄ λ€μ 볡μ‘ν μ§μΉ νν(Referring Expression)μ μ λ ₯νλ©΄, λͺ¨λΈμ νμΈνλ κ³Όμ μμ΄λ λμ κ°μ²΄μ μ λ° μ’νλ₯Ό μ¦μ μ§μ ν΄λ λλ€. μ΄λ₯Ό ν΅ν΄ κ³ ν΄μλ λ°μ΄μ€ μ΄λ―Έμ§ λ°μ΄ν°μ μμ μ°κ΅¬μκ° κ΄μ¬ μλ μμ(Region of Interest, ROI)μ μ€μκ°μΌλ‘ μλ μ λ³νκ³ νμ μλν λΆμ νμ΄νλΌμΈμΌλ‘ μ°κ²°ν΄μ£Όλ ν¨μ¨μ μΈ μ¬μ μ€ν¬λ¦¬λ μν μ μνν©λλ€. λν μλν μλͺ 곡ν μ€νμ€(Automated Bio-Lab) λ° μ€ν μ₯λΉμ μλ μ μ΄ μμ€ν κ΅¬μΆ λΆμΌμμλ ν΅μ¬μ μΈ μν μ λ΄λΉν©λλ€. μ€μκ° μΉ΄λ©λΌ μμμ΄λ μννΈμ¨μ΄ μΈν°νμ΄μ€ μ€ν¬λ¦°μ·μμ μμ½ μ©κΈ° λΌλ²¨, νΌν« ν λ°μ€, μ₯λΉ μ μ΄ μννΈμ¨μ΄μ μ‘°μ λ²νΌ μμΉλ₯Ό λμ μ νλλ‘ μΆλ‘ νμ¬ λ‘λ΄ νμ΄λ μ μ΄ μ€ν¬λ¦½νΈμ μ λ° μ’νλ₯Ό λκ²¨μ€ μ μμ΅λλ€. μ€ν νμ₯μ κ°μν λ° λ‘λ΄ μ μ΄ μλν μ°λ κ³Όμ μμ μκ°μ κ°μ§ λ° μμΉ μΆμ (UI/Object Grounding) μμ§μΌλ‘ κΈ°λ₯νμ¬ μ€ν μ¬νμ±κ³Ό μ°κ΅¬ μμ°μ±μ κ·Ήλνν©λλ€.
π» νμν μ»΄ν¨ν° μ¬μ
μ΅μ 8GB NVIDIA GPU (RTX 3060/4060 μ΄μ κΆμ₯, FP16/BF16 κΈ°μ€ μ½ 6-8GB μλͺ¨)
λͺ¨λΈ κ°μ€μΉ μ½ 6.5GB, μ 체 νκ²½ ꡬμΆμ© 10GB μ΄λ΄
β‘ μ€μΉλ²
### 4-1. Quick Start
# PyTorch λ° Transformers κΈ°λ° κΈ°λ³Έ μ€ν ν¨ν€μ§ μ€μΉ
pip install torch torchvision transformers accelerate Pillow
### 4-2. μμΈ μ€μΉ
# GitHub μ μ₯μ ν΄λ‘ λ° Embodied ν¨ν€μ§ μ΄λ
git clone https://github.com/NVlabs/Eagle.git
cd Eagle/Embodied
# μμ‘΄μ± λΌμ΄λΈλ¬λ¦¬ λ° Flash-Attention μ€μΉ
pip install -r requirements.txt
pip install flash-attn --no-build-isolation𧬠λ°μ΄μ€ νμ©
μΈν¬ νλ―Έκ²½ μ΄λ―Έμ§ λ΄ λ―ΈμΈ κ΅¬μ‘° μλ λΆν λ° ROI μμ μΆμΆ
κ³ ν΄μλ νκ΄/λͺ μμΌ μΈν¬ νλ―Έκ²½ μ΄λ―Έμ§(1024x1024 μ΄μ)μμ "λ Ήμ νκ΄ νμλ μ¬λ©Έ μΈν¬" λλ "μΈν¬μ§ λ΄ λ―Έν μ½λ리μ μ§ν©μ²΄" λ± κ΅¬μ²΄μ μ§μΉ λ¬Έμ₯μ μ λ ₯λ°μ 1-2μ΄ λ΄ μ λ°ν λ°μ΄λ© λ°μ€ μ’νλ₯Ό μμ±νκ³ , μ λμ μλν νμ΄νλΌμΈμΌλ‘ μ λ¬.
μλν μλͺ 곡ν μ€ν μ₯λΉ μ€ν¬λ¦°μ· λ° UI μ‘°μ μμ μ μ΄
μ€νμ€ λ‘λ΄ ν μ°λ λ° μ₯λΉ μ μ΄ μλνλ₯Ό μν΄ μμ½ μ©κΈ° λΌλ²¨, νΌν« ν μμΉ, μννΈμ¨μ΄ μ‘°μ λ²νΌ λ± GUI/μ€ν μ₯λΉ μμλ₯Ό μμ°μ΄λ‘ μ°Ύμλ΄μ΄ μ’νλ₯Ό μ μ΄ μ€ν¬λ¦½νΈλ‘ μ λ¬.
λκ·λͺ¨ λ°μ΄μ€λ©λ컬 λ Όλ¬Έ λ΄ μ€ν€λ§ λ° λ€μ΄μ΄κ·Έλ¨ μμΉ κ²μΆ
νμ λ Όλ¬Έ PDF λ° μ°κ΅¬ λ¬Έμ μ΄λ―Έμ§μμ "μ€ν μ μ°¨ νλ‘μ°μ°¨νΈ", "μ¨μ€ν΄ λΈλ‘― λ°΄λ μμ", "ν΅κ³ κ·Έλν μΆ" λ±μ μκ° μμλ₯Ό μλ λΆλ₯ λ° μμΉ μΆλ‘ νμ¬ μ°κ΅¬ μ§μ λ² μ΄μ€ ꡬμΆμ νμ©.
π μ λ°μ΄νΈ λ ΈνΈ
μμ§ μ λ°μ΄νΈ λ ΈνΈκ° μμ΅λλ€.
π§ͺ κ΄λ ¨ μλͺ μ μ½λ
κ΄λ ¨λ μλͺ μ μ½λ κΈμ΄ μμ§ μμ΅λλ€.