Needle
Modelo de lenguaje ultraligero de 26M especializado en function calling para dispositivos edge
Needle, publicado por Cactus Compute el 15 de mayo de 2026, está diseñado para teléfonos, relojes inteligentes y gafas AR con recursos limitados. Mapea consultas de voz o texto a herramientas API en un solo paso forward. Su red de atención simple elimina capas MLP pesadas y ofrece baja latencia, consumo reducido y enrutamiento de funciones para una sola intención. Puede actuar como router local para búsquedas de proteínas, control de incubadoras y alertas de pacientes sin depender de la nube.
💻 Requisitos del sistema
0 (inferencia en tiempo real con CPU edge, sin memoria gráfica); 2 GB o más con aceleración GPU
Menos de 100 MB (modelo cuantizado de 4 bits ~14 MB; checkpoint ~52 MB)
⚡ Instalación
4-1. Inicio rápido
git clone https://github.com/cactus-compute/needle.git && cd needle && source ./setup
4-2. Instalación detallada
git clone https://github.com/cactus-compute/needle.git cd needle source ./setup needle playground
from needle import SimpleAttentionNetwork, load_checkpoint, generate, get_tokenizer params, config = load_checkpoint("checkpoints/needle.pkl") model = SimpleAttentionNetwork(config) tokenizer = get_tokenizer() result = generate(model, params, tokenizer, query="Find homologues for sequence MGDVEK...", tools='[{"name":"protein_search","description":"Run BLAST search for sequence","parameters":{"type":"object","properties":{"sequence":{"type":"string"}},"required":["sequence"]}}]') print(result)
🧬 Casos de uso en biociencias
Vinculación de herramientas bioinformáticas en wearables
Reconoce órdenes naturales en gafas de laboratorio offline y mapea argumentos para herramientas de referencia genética como protein_search en menos de 0,1 s.
Router local para controlar equipos de laboratorio
Asigna APIs de humidificador e incubadora al contexto de Needle sin nube y logra respuestas de 0,05 s en el bucle de control.
Módulo edge para monitorización de pacientes
Vigila umbrales de signos vitales y activa llamadas de emergencia o registros en base de datos desde un único chip local.
FAQ
¿Qué es Needle?
Needle, publicado por Cactus Compute el 15 de mayo de 2026, está diseñado para teléfonos, relojes inteligentes y gafas AR con recursos limitados. Mapea consultas de voz o texto a herramientas API en un solo paso forward. Su red de atención simple elimina capas MLP pesadas y ofrece baja latencia, consumo reducido y enrutamiento de funciones para una sola intención. Puede actuar como router local para búsquedas de proteínas, control de incubadoras y alertas de pacientes sin depender de la nube.
¿Cuándo debería usar Needle?
Modelo de lenguaje ultraligero de 26M especializado en function calling para dispositivos edge
¿Cuál es un caso de uso biomédico de Needle?
Vinculación de herramientas bioinformáticas en wearables: Reconoce órdenes naturales en gafas de laboratorio offline y mapea argumentos para herramientas de referencia genética como protein_search en menos de 0,1 s.
📝 Notas de actualización
Aún no hay notas de actualización.
🧪 Código de la vida relacionado
Aún no hay publicaciones relacionadas de Código de la vida.