NanoEuler는 개발자 Vincenzo(JustVugg)가 2026년에 공개한 GPT-2급 언어 모델 구현체로, PyTorch나 TensorFlow 같은 프레임워크 없이 순수 C와 CUDA만으로 역전파(backpropagation), 토크나이저, 어텐션까지 모두 직접 작성한 교육 및 연구용 LLM이다. 프로젝트 이름은 잔차 블록(residual block) x = x + f(x)를 오일러 전진법(forward-Euler method)으로 해석한 데서 유래하며, "깊이(depth)가 적분 시간"이라는 수학적 직관을 반영한다. 아키텍처는 RMSNorm(pre-norm, bias-free), 회전 위치 임베딩(Rotary Position Embedding, RoPE), SwiGLU 피드포워드, 그룹 쿼리 어텐션(Grouped-Query Attention, GQA), 그리고 직접 작성한 FlashAttention 커널로 구성되며, 약 116M 파라미터 모델을 단일 소비자급 GPU에서 학습할 수 있다. 대부분의 LLM 학습 프로젝트는 PyTorch의 autograd에 의존하기 때문에 역전파 과정에서 실제로 무슨 일이 일어나는지 블랙박스로 남는 경우가 많다. NanoEuler는 이 블랙박스를 완전히 걷어내고, C 레벨에서 그래디언트를 수동 계산하여 double-precision 검증(~1e-6 수준)까지 수행한다. 마치 자동차 엔진을 직접 한 부품씩 조립하면서 내연기관의 원리를 체득하는 것처럼, NanoEuler는 Transformer의 모든 연산을 베어메탈(bare-metal) 수준에서 이해할 수 있게 해준다. Andrej Karpathy의 llm.c에서 영감을 받았으나, 바이트 수준 BPE 토크나이저 자체 구현, 멀티 토큰 예측 헤드(multi-token prediction), 그리고 Alpaca 데이터셋 기반 SFT(Supervised Fine-Tuning)까지 포함하여 학습부터 미세조정, 추론까지 전 파이프라인을 하나의 바이너리로 완결짓는 점이 차별적이다. 생명공학 분야에서 NanoEuler의 가치는 도메인 특화 소형 언어 모델을 밑바닥부터 완전히 제어할 수 있다는 점에 있다. 예를 들어, 단백질 서열이나 SMILES 화학식 같은 도메인 특수 어휘로 BPE 토크나이저를 재학습하고, 기본 코퍼스(Project Gutenberg, FineWeb-Edu) 대신 PubMed 초록이나 UniProt 서열 데이터로 사전 학습하면 연구실 전용 소형 LM을 구축할 수 있다. CUDA 커널을 직접 수정할 수 있으므로 커스텀 어텐션 패턴(예: 서열 내 국소 상호작용에 가중치를 부여하는 변형 어텐션)을 실험하기에도 적합하다. 프레임워크 오버헤드 없이 C/CUDA를 직접 제어하므로, 임베디드 장비나 엣지 디바이스에서의 경량 추론 최적화 연구의 출발점이 될 수 있다. 다만, 현재 생성 품질은 "fluent-ish English" 수준으로 생산용이 아닌 교육 및 실험용임을 저자가 명시하고 있다.