LEANN
Tecnología ultraligera de indexación vectorial RAG en el dispositivo, desarrollada por StarTrail-org con investigadores de Sky Computing Lab de UC Berkeley
LEANN es una tecnología ultraligera de indexación vectorial RAG (Retrieval-Augmented Generation) para ejecución en el dispositivo. Para resolver el problema de las bases vectoriales que almacenan permanentemente en disco vectores densos de alta dimensión y requieren más espacio que los datos originales, LEANN conserva únicamente la estructura del grafo y recalcula los embeddings de forma selectiva y en tiempo real durante la búsqueda.
Su funcionamiento se parece a una aplicación de mapas que conserva solo el esqueleto de las carreteras principales y renderiza en tiempo real los tramos necesarios al buscar una ruta, en lugar de guardar imágenes 3D de cada callejón. LEANN aplica poda preservando nodos de alto grado que actúan como hubs de navegación y comprime el grafo en formato CSR (Compressed Sparse Row), reduciendo el almacenamiento hasta un 97 %.
Esta eficiencia permite ejecutar RAG de alto rendimiento sobre millones de documentos incluso en portátiles personales offline, donde la privacidad es prioritaria o la conectividad es limitada. Durante el recorrido del grafo, solo recalcula dinámicamente los embeddings de los nodos necesarios mediante batching dinámico y aceleradores de hardware. Así implementa búsqueda semántica 100 % privada, sin enviar datos a servidores externos y con un consumo mínimo de disco.
💻 Requisitos del sistema
Puede funcionar solo con CPU; se recomienda una GPU NVIDIA de 4 GB o más, o memoria unificada de Apple Silicon, para acelerar el recálculo de embeddings.
Depende del tamaño del modelo y los datos. El índice ocupa hasta un 97 % menos que una base vectorial convencional; para millones de fragmentos suele ser de decenas a cientos de MB.
⚡ Instalación
4-1. Inicio rápido
uv tool install leann-core --with leann
4-2. Instalación detallada
# Clonar y acceder al repositorio de GitHub
git clone https://github.com/StarTrail-org/LEANN.git
cd LEANN
# Crear y activar un entorno virtual con uv
uv venv
source .venv/bin/activate
# Instalar leann y sus dependencias (se recomienda leann[cpu] en entornos solo CPU)
uv pip install leann
🧬 Casos de uso en biociencias
Aplicación práctica
LEANN es una tecnología ultraligera de indexación vectorial RAG (Retrieval-Augmented Generation) para ejecución en el dispositivo. Para resolver el problema de las bases vectoriales que almacenan permanentemente en disco vectores densos de alta dimensión y requieren más espacio que los datos originales, LEANN conserva únicamente la estructura del grafo y recalcula los embeddings de forma selectiva y en tiempo real durante la búsqueda.
Su funcionamiento se parece a una aplicación de mapas que conserva solo el esqueleto de las carreteras principales y renderiza en tiempo real los tramos necesarios al buscar una ruta, en lugar de guardar imágenes 3D de cada callejón. LEANN aplica poda preservando nodos de alto grado que actúan como hubs de navegación y comprime el grafo en formato CSR (Compressed Sparse Row), reduciendo el almacenamiento hasta un 97 %.
Esta eficiencia permite ejecutar RAG de alto rendimiento sobre millones de documentos incluso en portátiles personales offline, donde la privacidad es prioritaria o la conectividad es limitada. Durante el recorrido del grafo, solo recalcula dinámicamente los embeddings de los nodos necesarios mediante batching dinámico y aceleradores de hardware. Así implementa búsqueda semántica 100 % privada, sin enviar datos a servidores externos y con un consumo mínimo de disco.
FAQ
¿Qué es LEANN?
LEANN es una tecnología ultraligera de indexación vectorial RAG (Retrieval-Augmented Generation) para ejecución en el dispositivo. Para resolver el problema de las bases vectoriales que almacenan permanentemente en disco vectores densos de alta dimensión y requieren más espacio que los datos originales, LEANN conserva únicamente la estructura del grafo y recalcula los embeddings de forma selectiva y en tiempo real durante la búsqueda. Su funcionamiento se parece a una aplicación de mapas que conserva solo el esqueleto de las carreteras principales y renderiza en tiempo real los tramos necesarios al buscar una ruta, en lugar de guardar imágenes 3D de cada callejón. LEANN aplica poda preservando nodos de alto grado que actúan como hubs de navegación y comprime el grafo en formato CSR (Compressed Sparse Row), reduciendo el almacenamiento hasta un 97 %. Esta eficiencia permite ejecutar RAG de alto rendimiento sobre millones de documentos incluso en portátiles personales offline, donde la privacidad es prioritaria o la conectividad es limitada. Durante el recorrido del grafo, solo recalcula dinámicamente los embeddings de los nodos necesarios mediante batching dinámico y aceleradores de hardware. Así implementa búsqueda semántica 100 % privada, sin enviar datos a servidores externos y con un consumo mínimo de disco.
¿Cuándo debería usar LEANN?
Tecnología ultraligera de indexación vectorial RAG en el dispositivo, desarrollada por StarTrail-org con investigadores de Sky Computing Lab de UC Berkeley
¿Cuál es un caso de uso biomédico de LEANN?
Aplicación práctica: LEANN es una tecnología ultraligera de indexación vectorial RAG (Retrieval-Augmented Generation) para ejecución en el dispositivo. Para resolver el problema de las bases vectoriales que almacenan permanentemente en disco vectores densos de alta dimensión y requieren más espacio que los datos originales, LEANN conserva únicamente la estructura del grafo y recalcula los embeddings de forma selectiva y en tiempo real durante la búsqueda. Su funcionamiento se parece a una aplicación de mapas que conserva solo el esqueleto de las carreteras principales y renderiza en tiempo real los tramos necesarios al buscar una ruta, en lugar de guardar imágenes 3D de cada callejón. LEANN aplica poda preservando nodos de alto grado que actúan como hubs de navegación y comprime el grafo en formato CSR (Compressed Sparse Row), reduciendo el almacenamiento hasta un 97 %. Esta eficiencia permite ejecutar RAG de alto rendimiento sobre millones de documentos incluso en portátiles personales offline, donde la privacidad es prioritaria o la conectividad es limitada. Durante el recorrido del grafo, solo recalcula dinámicamente los embeddings de los nodos necesarios mediante batching dinámico y aceleradores de hardware. Así implementa búsqueda semántica 100 % privada, sin enviar datos a servidores externos y con un consumo mínimo de disco.
📝 Notas de actualización
Aún no hay notas de actualización.
🧪 Código de la vida relacionado
Aún no hay publicaciones relacionadas de Código de la vida.