HyenaDNA의 확장판이 아니라, 다음 세대
F18에서 HyenaDNA가 긴 컨볼루션으로 attention의 이차 비용을 줄이는 방식을 봤습니다. Evo(2024, Arc Institute)와 그 후속 Evo 2(2026)는 이 계열을 확장해, 단일 유전자나 오페론 수준이 아니라 게놈 전체 규모를 한 문맥 안에 담으려는 시도입니다. F19에서는 이 두 세대를 비교하며, "컨텍스트를 얼마나 길게 늘려야 진짜 유의미한 신호를 잡을 수 있는가"라는 질문을 마저 다룹니다.
원리 — 세대를 거치며 커진 문맥과 넓어진 학습 범위
Evo 1 — 박테리아·파지·플라스미드 게놈으로 사전학습
Evo 1은 StripedHyena 아키텍처를 기반으로, 단세포 생물의 게놈을 대규모로 사전학습했습니다. StripedHyena는 Hyena 긴 컨볼루션과 attention을 결합한 하이브리드 구조로, 긴 문맥 처리와 국소적인 정밀도를 함께 노립니다.
Evo 1은 단일 뉴클레오타이드 해상도를 유지하면서 수만~수십만 염기쌍 단위의 문맥을 다룰 수 있었고, 이는 오페론 하나 전체 또는 여러 유전자에 걸친 조절 구조를 한 번에 모델링할 수 있다는 의미였습니다.
Evo 2 — 진핵생물까지, 그리고 더 긴 문맥으로
Evo 2는 학습 데이터 범위를 박테리아·고세균·파지에서 사람·식물·그 밖의 진핵생물과 메타게놈까지 확장했고, 아키텍처도 StripedHyena 2로 갱신했습니다. 공식 발표 기준 7B와 40B 변형은 최대 100만 뉴클레오타이드 문맥을 단일 순전파에서 처리합니다.
왜 게놈 규모 문맥이 필요한가 — 손 계산으로 확인하기
F18의 Enformer가 다뤘던 약 20만bp 컨텍스트와, Evo 2가 노리는 100만bp 컨텍스트를 비교해봅시다. 개념 계산을 위해 유전자 하나가 인트론을 포함해 약 27kb(27,000bp)라고 가정하면
즉 이론적으로는 인접한 수십 개 유전자와 그 사이 조절 영역 전체를 한 문맥 안에 담을 수 있다는 뜻입니다. 이 정도 규모라야 원거리 인핸서-프로모터 상호작용이나 유전자 클러스터 단위의 조절 로직을 모델이 "한눈에" 볼 수 있다는 것이 Evo 계열의 핵심 논지입니다.
자기회귀 사전학습 — 다음 염기 예측
Evo 계열은 F16·F17의 masked language modeling과 달리, 왼쪽에서 오른쪽으로 다음 염기를 예측하는 자기회귀(autoregressive) 방식으로 사전학습됩니다.
이 목적함수는 서열을 그대로 생성할 수 있다는 부가적 장점을 줍니다 — 사전학습된 Evo 모델은 판별(분류) 과제뿐 아니라 새로운 DNA 서열을 생성하는 데도 쓰일 수 있습니다.
실습: 자기회귀 확률로 변이 영향 가늠하기 (개념 코드)
# 실제 Evo/Evo 2 추론은 대형 GPU가 필요합니다. Colab 무료 티어에서는# 공식 저장소가 제공하는 소규모 데모나 API 엔드포인트를 활용하는 것이 현실적입니다.# 여기서는 자기회귀 언어모델이 변이 영향을 가늠하는 개념만 재현합니다.
def log_likelihood_ratio(seq_ref: str, seq_alt: str, score_fn) -> float: """ 참조 서열과 변이 서열 각각의 모델 log-likelihood를 비교합니다. score_fn(seq) -> float 는 자기회귀 모델이 매기는 서열의 로그우도라고 가정합니다. """ ll_ref = score_fn(seq_ref) ll_alt = score_fn(seq_alt) return ll_alt - ll_ref # 음수로 클수록 "모델이 덜 자연스럽다고 본 변이"
# score_fn 자리에 실제 Evo 계열 모델의 log-likelihood 계산 함수를 연결하면# F20에서 다룰 BRCA1 zero-shot 병원성 실습과 동일한 원리로 작동합니다.이 원리는 F14에서 다룬 ESM 계열의 zero-shot 변이 효과 예측과 동일한 논리를 DNA 서열에 적용한 것입니다. 자연 서열에 더 가까운(모델이 더 높은 확률을 부여하는) 변이는 진화적으로 덜 파괴적일 가능성이 높다는 가정에 기반합니다.
CS 매핑
- 자기회귀 생성 모델: 다음 토큰 예측으로 학습하고 그 확률분포로 시퀀스를 생성하는 구조는 자연어 처리의 GPT 계열 언어모델과 동일한 계보입니다.
- 하이브리드 아키텍처의 반복 등장: F18의 Enformer, F19의 StripedHyena/StripedHyena 2 모두 순수 attention 하나에만 의존하지 않는 혼합 구조를 택했다는 공통점이 있습니다. 단일 연산으로 모든 요구를 만족시키기 어렵다는 것을 시스템 설계 관점에서 보여주는 사례입니다.
- 로그우도 비교를 통한 이상 탐지: 변이 서열의 로그우도가 참조 서열보다 낮다는 것을 "모델이 덜 자연스럽다고 판단한 신호"로 해석하는 방식은, 이상 탐지(anomaly detection)에서 정상 분포로부터의 이탈을 점수화하는 방법론과 동일합니다.
자주 만나는 결함
- 컨텍스트 길이를 곧 생물학적 통찰로 착각: 모델이 100만bp를 입력받을 수 있다는 것과, 그 전체 범위의 정보를 실제로 유의미하게 활용한다는 것은 별개입니다. 실제로 원거리 신호를 활용하는지는 검증 실험으로 확인해야 합니다.
- Evo 1과 Evo 2를 혼용: 두 모델은 학습 데이터 범위(원핵생물 전용 vs 진핵생물 포함)와 아키텍처가 다릅니다. 사람 관련 과제에는 Evo 2 계열을, 미생물 게놈 과제에는 원 논문의 벤치마크 범위를 확인 후 선택해야 합니다.
더 깊게 파고 싶다면
본문은 BPD 연구진이 직접 재구성한 서술입니다. 원 논문과 공식 자료로 심화해봅시다.
- Evo 1 원 논문: Nguyen et al. (2024), Sequence modeling and design from molecular to genome scale with Evo, Science 386(6723), 746. doi:10.1126/science.ado9336.
- Evo 2 원 논문: Brixi et al. (2026), Genome modelling and design across all domains of life with Evo 2, Nature 649, 749–758. doi:10.1038/s41586-026-10176-5.
- StripedHyena 아키텍처 배경: Poli et al., Hyena 계열 후속 연구.
다음 편(F20)에서는 Evo 2를 실제로 활용해 BRCA1 변이의 zero-shot 병원성 예측을 손으로 실습합니다.