Cactus Compute가 2026년 5월 15일에 공개한 Needle은 스마트폰, 스마트 워치, AR 글래스 등 극도로 자원이 제한된 온디바이스 에지 환경에서 초고속으로 작동하도록 설계된 2600만 매개변수 크기의 초경량 함수 호출 전용 소형 언어 모델입니다. 마치 스마트 디바이스의 하드웨어 컨트롤러가 센서 인터럽트를 감지하고 지연 시간 없이 즉각 신호를 변환하듯이, Needle은 모바일 환경에서 사용자의 음성이나 텍스트 쿼리를 실시간으로 매핑하고 가용한 API 도구와 단일 포워드 패스로 연결해 주는 디지털 초소형 라우터 역할을 합니다. 어텐션 연산 외에 무거운 다층 퍼셉트론 레이어를 완전히 제거한 독창적인 단순 어텐션 네트워크 아키텍처를 도입하여 극도로 컴팩트한 용량을 구현하면서도, 단일 쿼리 목적의 지식 활용 성능을 보장하도록 설계되었습니다. 기존의 범용 소형 모델들은 에지 디바이스에서 실행하기에는 여전히 수십 억 개의 파라미터를 탑재하고 있어 추론 속도가 느리고, 연산 중에 상당한 기기 메모리와 전력을 소모하여 배터리 수명을 단축시키는 한계가 존재했습니다. Needle은 이러한 한계를 극복하기 위해 다층 퍼셉트론 레이어를 배제하는 과감한 아키텍처 최적화와 Gemini 3.1로부터 정밀한 증류 기법을 접목하여, 단 14MB 크기의 4비트 양자화 모델만으로 수십 배 더 거대한 범용 모델들보다 빠른 온디바이스 응답 속도를 보여줍니다. 스마트폰이나 스마트 안경의 저전력 프로세서에서도 수천 토큰 이상의 컨텍스트를 실시간으로 처리할 수 있는 속도를 보여주며, 복잡한 파이프라인 우회 없이 클라우드 서버의 지연을 겪지 않고 온디바이스만으로 완결성 있는 도구 호출을 수행하는 독보적인 실용성을 확보했습니다. 이 도구는 모바일 태블릿이나 웨어러블 디바이스를 양손이 자유롭지 않은 멸균 연구실 내부에서 활용해야 하는 생명공학 연구자들에게 매우 혁신적인 시나리오를 제공합니다. 예를 들어 연구원이 피펫팅이나 현미경 관찰을 수행하며 웨어러블 기기에 대고 '현재 가습기 온도 센서 값을 기록하고 어제 등록한 유전자 발현 시퀀스 비교 결과를 확인해줘'라고 자연어로 지시할 때 Needle이 백엔드에서 작동합니다. 디바이스 내부의 임베디드 코어에서 구동되는 Needle은 연구실 로컬 제어 함수와 단백질 분석 API 도구 정의 리스트를 입력받아 지연 시간 없이 즉각적으로 해당 호출 인자값과 결합한 구조화된 JSON 메시지를 생성합니다. 이를 통해 연구진은 복잡한 서버 가동이나 네트워크 상태 불안정성 없이 온디바이스만으로 실험 기기와 분석 분석 도구들을 직관적으로 제어할 수 있는 스마트 랩 에이전트 환경을 안정적으로 가동할 수 있습니다.