LEANN은 UC Berkeley의 Sky Computing Lab 연구진이 주도하는 StarTrail-org에서 개발한 초경량 온디바이스(On-device) RAG(Retrieval-Augmented Generation) 전용 벡터 인덱싱 기술입니다. 기존의 벡터 데이터베이스가 수많은 문서 청크의 고차원 밀집 벡터(Dense vector)를 디스크에 영구 저장함으로써 원본 데이터보다 더 큰 저장 공간을 요구했던 문제를 해결하기 위해, LEANN은 그래프 구조만 유지하고 임베딩 자체는 검색 시점에만 실시간으로 '선택적 재연산(Selective Recomputation)'하는 아키텍처를 도입했습니다. 핵심 동작 방식은 마치 지도 앱이 전 세계 모든 골목길의 3D 위성 사진을 디스크에 보관하는 대신 주요 도로망의 뼈대(그래프)만 기억하고 있다가, 사용자가 특정 경로를 탐색할 때 필요한 구간만 실시간으로 렌더링하는 것과 유사합니다. LEANN은 근접 그래프에서 탐색 허브 역할을 하는 주요 노드들을 보존하는 '높은 중요도 노드 중심 프루닝(High-degree Preserving Pruning)'을 적용하여 그래프 자체의 엣지를 대폭 정리하고, 이를 CSR(Compressed Sparse Row) 포맷으로 압축해 저장 공간을 최대 97%까지 획기적으로 줄입니다. 이러한 효율성은 개인정보 보호가 최우선이거나 네트워크 연결이 제한된 오프라인 환경의 노트북 등 개인용 하드웨어에서도 수백만 개의 문서를 대상으로 고성능 RAG를 실행할 수 있게 해줍니다. 그래프 순회 중에 필요한 노드들만 동적 배치(Dynamic Batching)를 통해 하드웨어 가속기에서 순간적으로 임베딩을 재계산하므로, 외부 서버에 데이터를 전송하지 않는 100% 프라이빗 시맨틱 검색(Semantic Search)을 최소한의 디스크 소모로 구현할 수 있습니다.