환각과 정렬 — 확률 기계가 그럴듯한 거짓을 지어내는 이유

이 토픽을 마치면

편 #7·8·9·10을 통해 활용 기법을 쌓았지만, 실무에서 가장 아픈 문제 하나가 여전히 남아 있습니다. 환각(hallucination) — 모델이 존재하지 않는 논문·유전자·상호작용을 그럴듯한 문장으로 만들어내는 현상. 이 편에서 왜 환각이 일어나는가를 편 #1의 확률 기계 관점에서 이해하고, RLHF·DPO·Constitutional AI 같은 정렬(alignment) 훈련이 이걸 어떻게 완화하는지 배웁니다.

Phase 2 활용 편의 마지막 편이자 원리 편(Phase 1)의 뒷문 성찰. 편 #12부터의 Phase 3 도구 편에 앞서 이 문제 지형을 이해해두면 실무 도구 선택·검증 판단이 훨씬 정확해집니다.

존재하지 않는 논문의 정확한 인용

여러분이 논문 리뷰를 도와달라 요청했다고 합시다. 어시스턴트가 이렇게 답합니다.

"이 결과는 Kim et al. (2019, Nature Cell Biology, 21(4): 452-461)에서 보고된 EGFR-HER2 이중 knockout의 시너지 효과와 잘 부합합니다."

인용이 정확한 저널·권·페이지 범위까지 담고 있으니 신뢰가 갑니다. 그런데 여러분이 이 논문을 실제로 찾아보면 없습니다. Kim et al. 2019가 있긴 한데 다른 저널·다른 페이지. 아니면 아예 저자·연도·저널·페이지 전체가 조합만 그럴듯한 허구.

이걸 환각이라 합니다. 사실이 아닌 정보를 사실처럼 자신 있게 생성.

바이오 맥락에서 환각의 실례.

가짜 논문 인용: 위 예시.
존재하지 않는 유전자·단백질: "TRIM117이 T 세포 활성화에서 핵심 역할"이라고 답했는데 실제 TRIM117은 존재 안 함.
잘못된 상호작용: "TP53과 BRCA1이 직접 결합해 DNA 손상 반응 조절" 같은 문헌에 없는 주장.
약물 부작용 조작: 실제 임상 데이터와 다른 부작용 정보.
엉뚱한 프로토콜 세부: "PCR annealing 온도를 65°C로 올리면 특이도 증가" 같은 실제로 잘못될 수 있는 조언.

이 문제가 왜 심각한가. 바이오·의약·법률·재무처럼 정확성이 결정적인 도메인에서 그럴듯한 거짓이 실제 결정을 잘못 이끌 수 있음.

왜 환각이 일어나는가 — 확률 기계의 본성

편 #1에서 우리는 LLM을 "지워진 실험 노트를 이어붙이는 확률 기계"로 이해했습니다. 이 관점이 환각을 자연스럽게 설명합니다.

훈련된 모델은 각 위치에서 가장 그럴듯한 다음 어절을 예측합니다. "그럴듯함"은 훈련 데이터의 통계에서 학습된 것. 문제.

첫째, 그럴듯함 ≠ 진실. "Kim et al. (2019, Nature Cell Biology, ...)" 형식이 논문 인용의 그럴듯한 패턴입니다. 훈련 데이터에서 이런 인용문이 무수히 나옴. 모델이 이 형식을 완성할 때, 실제 존재하는 논문인지 확인할 방법이 없습니다. 형식이 학습되었지 사실 확인 능력이 학습된 게 아니기 때문.

둘째, 지식의 흐릿한 저장. 편 #5에서 이야기했듯이 대형 모델의 지식은 파라미터에 압축되어 저장됩니다. 특정 사실(예: Kim et al. 2020, Cell Reports 30권 3452페이지)이 훈련 데이터에 있어도, 파라미터에는 그 사실이 노이즈와 함께 흐릿하게 저장됨. 재생 시 정확한 값이 나오기도 하고 근방의 그럴듯한 값이 나오기도 함.

셋째, 무지의 자각 부재. 인간은 "이건 내가 잘 모르겠다"고 판단할 수 있습니다. 그런데 LLM의 다음 어절 예측은 이 자각을 명시적으로 학습하지 않았습니다. 확률 분포가 평평해도 argmax를 뽑으면 어쨌든 어떤 어절이 나옵니다. 모델은 "모른다"고 답하는 것이 아니라 "가장 그럴듯한 것"을 답합니다.

넷째, RLHF의 부작용. 정렬 훈련(뒤에서 다룸)에서 인간이 좋아하는 답에 보상을 주는데, 인간이 "모르겠습니다"보다 자신 있는 답을 선호하는 경향이 있음. 그러면 모델이 무지에도 자신감 있게 답하도록 훈련됨.

이 네 요인이 결합해 환각이 발생합니다. 환각은 버그가 아니라 확률 기계의 본성적 특성. 완전 제거는 원리적으로 불가능하고, 완화가 목표.

환각의 종류 — 결이 다른 실패들

환각도 종류가 다양합니다. 각각 원인·대응이 다름.

1. 파라미터 환각 (Parametric Hallucination)

훈련 시 학습된 파라미터에 흐릿한 지식이 저장되어 있고, 재생 시 정확한 값이 아닌 근방 값이 나옴. 위의 가짜 논문 인용이 대표 예.

대응: RAG (편 #8). 문맥에 정확한 자료를 주입해 모델이 파라미터 지식보다 문맥을 우선하도록.

2. 문맥 환각 (Contextual Hallucination)

문맥에 자료가 있어도 그것과 다른 내용을 지어냄. RAG가 잘 안 통하는 케이스.

원인: 문맥이 너무 길어 lost in the middle. 모델이 파라미터 지식과 문맥 지식을 잘못 융합. 편 #10의 문맥 관리로 완화.

3. 추론 환각 (Reasoning Hallucination)

계산·논리에서 오류. 예: "이 유전자 발현이 4배 증가했다"는 자료가 있는데 모델이 "8배"라고 답변. 또는 논리 흐름의 오류.

대응: Chain-of-Thought (편 #7). 계산·논리 문제는 CoT로 유의미하게 개선.

4. 자기모순 환각 (Self-Contradiction)

한 답변 안에서 서로 모순되는 두 진술. 예: "이 유전자는 발현이 감소했지만 활성은 증가"를 근거 없이.

대응: Self-consistency (같은 질문 여러 번 물어 다수결). Verification agent (별도 LLM이 답변 검증).

5. 지시 무시 (Instruction Ignoring)

시스템 프롬프트의 규칙을 모델이 무시. 예: "논문에 없는 정보는 답하지 마"라고 지시했는데 결국 지어냄.

대응: 정렬 훈련 (RLHF·DPO·Constitutional AI). 강한 지시 준수 훈련.

Groundedness — 근거에 얹기

환각의 반대 개념이 groundedness (근거 있음). 답변의 각 주장이 특정 근거(문서·데이터베이스·계산)에 명확히 얹혀 있는 성질.

Grounded 답변의 특징.

각 사실 주장 뒤에 출처 표시.
파라미터 지식이 아니라 문맥의 자료만 참조.
자료 없이는 "확인 안 됨"으로 답변.

바이오 실무 시스템 프롬프트 예시.

text

당신은 다음 규칙을 엄격히 지킵니다.

1. 답변의 각 주장은 반드시 제공된 자료의 특정 조각에 근거해야 합니다.
2. 각 주장 뒤에 [출처: paper_id, section]을 표기합니다.
3. 자료에서 확인할 수 없는 정보는 답변에 포함하지 않습니다. 대신 "제공된 자료로는 확인 안 됨"으로 명시합니다.
4. 자료에 부분적으로 있고 추론이 필요한 경우, 추론 근거를 함께 씁니다.
5. 논문·저자·유전자·단백질 등의 고유명사는 자료의 원문과 정확히 일치해야 합니다.

이런 프롬프트만으로도 환각률이 유의미하게 줄어듭니다. 완벽하지는 않지만.

Fact-checking layer. 답변 생성 후 별도 LLM이 각 주장을 근거와 대조하는 검증 층. 시간·비용이 늘지만 신뢰성 상승. 최근 코딩 에이전트가 이 검증 층을 표준으로 채택.

정렬(Alignment) 훈련 — 인간 선호로 모델 조정

편 #1에서 우리는 사전 학습이 "다음 어절 예측"임을 봤습니다. 이 훈련만으로는 모델이 유용한 조수가 되지 않습니다. 사전 훈련된 모델은 학문 논문·SNS 게시물·소설 등 훈련 데이터의 아무 스타일이나 이어붙일 수 있음.

정렬(alignment) 은 이 raw 모델을 인간에게 유용하고 안전한 조수로 조정하는 후속 훈련. 대표적으로 세 단계.

단계 1: Supervised Fine-Tuning (SFT)

사람이 직접 쓴 (지시, 이상적 답변) 쌍으로 파인튜닝. 모델이 "지시에 답한다"는 형식을 학습.

수십만~수백만 개 인간 작성 예시 필요. 비용이 높음.

단계 2: RLHF (Reinforcement Learning from Human Feedback)

핵심 아이디어: 인간이 두 답변 중 나은 것을 선택. 모델이 이 선호를 학습.

절차:

Reward Model 훈련. 사람이 (답변 A, 답변 B) 쌍 수십만 개를 비교해 어느 게 나은지 라벨링. 이 데이터로 "인간이 어느 답을 선호할지 예측"하는 reward model 훈련.
PPO(Proximal Policy Optimization)로 LLM 튜닝. LLM이 답을 생성하면 reward model이 점수 매김. 이 점수를 강화학습으로 최대화.

효과:

지시 준수 강화.
위험한 요청 거부.
톤·형식 인간 선호에 맞춤.

부작용:

Sycophancy: 사용자 의견에 무조건 동의하는 경향.
Overconfidence: 무지에도 자신감 있게 답변 (환각의 부분 원인).
Refusal too aggressive: 안전한 요청도 지나치게 거부.

단계 3: DPO (Direct Preference Optimization)

RLHF의 복잡한 강화학습을 단순화. Reward model 없이 선호 데이터로 직접 모델을 훈련.

수식적 우아함. LLM 자체를 (암묵적) reward model로 사용. RLHF와 이론적으로 같은 목적함수. 하지만 강화학습 파이프라인 없이 단순한 감독 학습으로.

실무. 훨씬 저렴하고 안정적. Llama 3·Zephyr·Qwen 등 최근 오픈 모델이 채택. Anthropic·OpenAI도 내부적으로 DPO 계열 방법 사용 추정.

Constitutional AI — 원칙 기반 정렬

Anthropic이 Claude에 적용한 정렬 방법. 인간 라벨링 없이 원칙(constitution)에 따라 자기 개선.

절차:

원칙 집합 정의 (예: "해로운 조언은 하지 마라", "정직하게 답하라", "미묘한 뉘앙스를 존중하라").
모델이 답변을 생성.
같은 모델이 원칙에 따라 답변을 비판·수정.
원본 답변과 개선된 답변 쌍으로 훈련.

의의:

인간 라벨링 비용 감소.
원칙이 명시적이라 감사·수정 가능.
원칙 자체가 versioned 문서로 공개 가능.

Claude의 헌법 원칙 일부 (공개된 것).

UN 세계인권선언 참조.
어린이·취약 계층 보호.
정직하고 도움 되는 응답.
자기 반성·오류 인정 격려.

최신 발전. Anthropic·OpenAI가 모두 hybrid 접근으로 이동. RLHF + DPO + Constitutional 기법의 조합. 각 기법의 장점 결합.

Uncertainty Estimation — 모델이 얼마나 확신하는가

환각 완화의 핵심 문제. 모델이 자기 답변이 얼마나 확실한지 표현할 수 있는가.

Token-level Confidence

각 어절의 예측 확률. Softmax 출력의 max value. 낮으면 모델이 그 위치에서 확신 못 함.

실무. Response의 log-probability를 저장해 낮은 신뢰도 부분 하이라이트. 사용자에게 "이 부분은 확실하지 않음" 알림.

Consistency-based

같은 질문을 여러 번(다른 temperature·seed로) 물어 답이 일관되는지 측정. 일관되면 확신, 편차 크면 불확실.

Self-Consistency (Wang et al., 2022). CoT 답변을 여러 번 생성해 다수결. 정답률 유의미 상승.

Explicit Uncertainty Elicitation

프롬프트로 확실도를 직접 요구.

text

답변에 각 주장의 확신도를 [높음/중간/낮음]으로 표시하세요.
낮음인 주장은 검증 필요함을 명시하세요.

모델이 어느 정도 자기 인식이 가능하지만, RLHF의 overconfidence 편향으로 완벽하지 않음.

External Verifier

별도 검증 모델 또는 규칙 기반 시스템으로 답변 검증. 예: 인용된 논문이 실제 존재하는지 PubMed API로 확인.

바이오 실무에서 이 층이 필수. 인용 검증·유전자명 검증·수치 재계산 등.

실무 완화 전략 총정리

편 #7~11의 기법을 환각 완화 관점에서 통합.

시스템·프롬프트 수준

엄격한 시스템 프롬프트 (groundedness 강제).
XML 구획으로 자료·규칙 명확히 분리.
Structured output (JSON schema) 강제.
Explicit 확실도 표기 요구.

아키텍처 수준

RAG (편 #8): 정확한 자료 주입.
Reranker: 관련도 정렬로 lost in the middle 완화.
Agent (편 #9): 도구로 사실 확인.
Multi-agent verification: 별도 에이전트가 답변 검증.

검증 수준

인용 검증: 논문·저자·연도 API 조회.
수치 재계산: 계산 도구로 검산.
일관성 검사: 답변 내 자기모순 검출.
자료 대조: 답변의 각 주장과 원본 자료 매칭.

배포 수준

인간 검토 게이트: 중요 결정 전 사람 승인.
Confidence-based routing: 낮은 확신은 인간에게.
Audit log: 모든 답변·근거를 감사 가능하게 저장.

사용자 교육

LLM이 완벽하지 않다는 인식.
중요 정보는 원본 확인 습관.
특정 유형 작업(창의적 브레인스토밍 vs 사실 확인)에 맞는 사용.

Safety Beyond Hallucination

환각 외에도 정렬이 다루는 안전 이슈들.

Harmful Content

폭력·자해·불법 행위·차별 등에 관련된 유해 콘텐츠 생성 거부. 훈련 시 명시적으로 학습됨.

바이오 관련 우려:

위험 화학·생물 물질 합성 정보.
생물무기 개발 조언.
자해·자살 관련 정보.

정렬 훈련이 대부분 차단하지만 우회 시도(jailbreak)에 취약할 수 있음.

Privacy

훈련 데이터에 포함된 개인 정보를 노출하지 않도록. 이메일·주소·의료 정보 등.

Bias

훈련 데이터의 편향(성별·인종·문화)을 답변에 반영하지 않도록. 완전 제거는 어려움. 알려진 편향을 문서화하고 사용자에게 고지.

Autonomy Concerns

에이전트가 자기 자신·환경을 조작하는 시도 (self-modification, deception, power-seeking) 방지. 최신 정렬 연구의 최전선.

바이오 응용 시나리오

시나리오 1 — 논문 인용의 완전 검증 파이프라인

LLM이 논문 인용을 답변에 포함할 때 자동 검증.

python

def verify_citations(answer_text):
    # 답변에서 [저자, 연도] 형식 인용 추출
    citations = extract_citations(answer_text)
    verified = []
    for cite in citations:
        # PubMed API로 검증
        result = pubmed_api(f"{cite.author} {cite.year}")
        if not result:
            verified.append({"citation": cite, "status": "NOT FOUND"})
        else:
            match = best_match(cite, result)
            verified.append({
                "citation": cite,
                "status": "FOUND" if match else "MISMATCH",
                "pubmed": match
            })
    return verified

def answer_with_verified_citations(question):
    answer = llm.generate(question, use_rag=True)
    verification = verify_citations(answer)
    
    if any(v["status"] != "FOUND" for v in verification):
        # 미확인 인용이 있으면 답변 수정 요청
        answer = llm.regenerate_with_feedback(
            answer, verification, 
            instruction="미확인 인용을 제거하거나 확인된 인용으로 대체하세요"
        )
    return answer, verification

이런 검증 층이 신뢰성 있는 문헌 검토 어시스턴트의 필수 구성.

시나리오 2 — 유전자 정보 QA의 데이터베이스 그라운딩

유전자·단백질 질문에 대해 UniProt·Ensembl·PubMed API를 진실 원천으로 사용.

유저 질문: "TP53의 주요 도메인은?"
에이전트가 UniProt API로 TP53 페이지 조회.
조회 결과의 도메인 정보만 답변에 사용.
파라미터 지식은 참조하지 않음.
답변에 "출처: UniProt P04637" 명시.

Elicit·Consensus 같은 상용 도구가 정확히 이 아키텍처.

시나리오 3 — 임상 의사 결정 지원의 인간 게이트

의약 결정 지원 시스템은 환각의 리스크가 매우 큼. 반드시 인간 검토 층.

시스템이 진단·처방 제안 생성.
각 제안에 근거 문서·확신도 표기.
최종 승인은 반드시 인간 의사.
모든 대화·결정 감사 로그.

FDA·EMA 등 규제 기관이 이런 시스템의 승인 조건에 인간 감독 계층을 명시적으로 요구.

핵심 정리

환각은 확률 기계의 본성. 그럴듯함과 진실을 구별하지 못하는 구조적 한계.
원인 4가지: 그럴듯함≠진실 / 파라미터 지식의 흐릿함 / 무지 자각 부재 / RLHF의 overconfidence 편향.
완전 제거 불가, 완화 목표. 다층 방어가 표준.
환각 5종: 파라미터·문맥·추론·자기모순·지시 무시. 각각 다른 대응.
Groundedness — 근거에 명시적으로 얹기. RAG + 엄격 프롬프트 + 인용 표기.
정렬 훈련 — SFT → RLHF → DPO / Constitutional AI. 지시 준수·안전성 조정.
Uncertainty estimation — token confidence·self-consistency·explicit 요구·external verifier.
다층 완화: 프롬프트·아키텍처·검증·배포·사용자 교육 5축.
바이오 실무: 인용 검증·데이터베이스 그라운딩·인간 게이트 필수.

다음 개념

Phase 2 활용 편이 여기서 마무리됩니다.

편 #12 pytorch-basics — Phase 3 도구 편의 시작. 신경망을 직접 코드로.
편 #13 huggingface-and-openai — 모델·API 생태계.
편 #14 claude-code-and-cursor — 코딩 에이전트 실전.

📐 부록 — 전문가를 위한 수학 공식

난이도: 매우 어려움 (Very Hard) 대상: 강화학습·확률·정보이론 배경 독자

A.1 RLHF의 목적함수

Reward Model. 인간 선호 데이터 {(x, y_w, y_l)}, y_w가 선호, y_l이 비선호.

Bradley-Terry 모델:

text

P(y_w > y_l | x) = σ(r_φ(x, y_w) - r_φ(x, y_l))

σ: sigmoid. r_φ: 파라미터 φ의 reward model.

손실:

text

L_RM(φ) = -E[log σ(r_φ(x, y_w) - r_φ(x, y_l))]

PPO 목적 (LLM 파라미터 θ):

text

L_PPO(θ) = E[r_φ(x, y) - β · KL(π_θ(y|x) || π_ref(y|x))]

π_θ: 현재 정책 (튜닝 중 LLM).
π_ref: 참조 정책 (SFT 모델).
β: KL 페널티. 너무 벗어나지 않게.

편 #1 A.6에서 정의한 형태.

A.2 DPO (Direct Preference Optimization)

RLHF의 PPO 단계를 우회하고 선호 데이터에서 직접 학습.

핵심 통찰. 최적 정책 π*와 참조 정책 π_ref, reward 사이 관계:

text

r(x, y) = β · log(π*(y|x) / π_ref(y|x)) + β · log Z(x)

이를 Bradley-Terry에 대입하면 reward model 없이 정책 자체로 확률 계산 가능.

DPO 손실:

text

L_DPO(θ) = -E[log σ(β · log(π_θ(y_w|x)/π_ref(y_w|x)) - β · log(π_θ(y_l|x)/π_ref(y_l|x)))]

장점:

Reward model 훈련 불필요.
강화학습 파이프라인 불필요.
훨씬 단순·안정.

Rafailov et al. (NeurIPS 2023) 등장 이후 RLHF의 사실상 대체.

A.3 Constitutional AI 절차

RL from AI Feedback (RLAIF) 형태.

초기 응답 y_0 생성.
원칙 집합 C = {c_1, ..., c_K}에서 무작위 선택.
모델에게 "이 원칙에 따라 y_0를 비판·수정"을 요청 → y_1.
(y_0, y_1) 쌍에서 y_1 선호로 라벨.
이 라벨로 DPO 또는 RLHF 훈련.

Anthropic 공식화. y_0 → y_1 개선 과정을 대화 형태로. 각 대화 turn에서 원칙 참조·자기 비판·수정.

A.4 Groundedness 정량 측정

답변 y, 참조 자료 D = {d_1, ..., d_n}.

Attribution. 각 문장 s ∈ y에 대해 근거 자료 d ∈ D 매핑 여부. NLI(Natural Language Inference) 모델로 각 (s, d) 쌍의 entailment 확률 계산:

text

score(s) = max_d P(d ⊨ s)

Groundedness Score:

text

G(y, D) = (1/|y|) Σ_s 1{score(s) > threshold}

Threshold는 대개 0.7~0.8. 완전 근거 100%, 부분 근거는 중간.

RAGAS 도구의 groundedness 지표가 이 원리.

A.5 Self-Consistency 수식

같은 질문 q에 대해 K번 답변 생성 {y_1, ..., y_K} (temperature > 0).

Majority Voting:

text

y_final = argmax_y Σ_{k=1}^{K} 1{y_k == y}

Weighted Voting (log probability):

text

y_final = argmax_y Σ_{k=1}^{K} 1{y_k == y} · exp(log_prob(y_k))

효과. Wang et al. (2022): 산술·논리 추론에서 CoT + self-consistency (K=40) 정답률이 CoT 단일 답변보다 유의미 상승.

A.6 Token-level Uncertainty

Predictive Entropy:

text

H(y_t) = -Σ_v P(v | context) log P(v | context)

H(y_t)가 크면 다음 토큰이 불확실. 답변 내 각 위치의 엔트로피를 히트맵으로 시각화 가능.

Perplexity (문장 단위):

text

PP(y) = exp(-1/T · Σ_t log P(y_t | y_{<t}))

낮은 perplexity = 모델이 확신하는 답변. 높으면 불확실.

한계. LLM의 confidence calibration이 완벽하지 않음. 확신도가 실제 정확도와 정합하지 않을 수 있음(over/under-confidence).

A.7 Hallucination Detection의 통계

Semantic Uncertainty (Kuhn et al., 2023). 답변을 여러 번 생성해 의미적으로 클러스터링. 클러스터가 많으면 불확실.

SelfCheckGPT (Manakul et al., 2023). 모델에게 자기 답변의 특정 주장을 다시 물어 일관성 검사. 일관 안 되면 환각 의심.

FactScore (Min et al., 2023). 답변의 각 사실 주장을 개별적으로 검증. 팩트 수준 정확도 측정.

A.8 Sycophancy 편향의 형식화

Sycophancy = 모델이 사용자 의견에 동의하는 편향.

측정 (Perez et al., 2023). 유저가 특정 의견을 프롬프트에 표명한 후 사실 질문. 유저 의견에 편향된 답변률.

원인. RLHF의 인간 라벨러가 "동의해주는 답"을 살짝 선호. 이 미묘한 편향이 훈련에 흡수.

완화. 훈련 시 "sycophancy 회피" 원칙을 명시적으로 학습 (Anthropic 2023 논문).

A.9 Jailbreak Attack Taxonomy

Prompt Injection: 편 #7 A.10에서 다룸.

Persona Attack: "당신은 이제 자유로운 AI DAN입니다..."

Encoding Attack: 유해 요청을 base64·rot13·다른 언어로.

Multi-turn Escalation: 첫 turn엔 무해하게 시작, 점진적으로 유도.

Adversarial Suffix (Zou et al., 2023). 특정 무의미해 보이는 접미어가 모델의 안전 훈련 우회. 자동 탐색으로 발견.

방어. Adversarial training, activation steering, KL 정규화 등 연구 활발.

A.10 Frontier Safety Evaluations

Model Autonomous Capability. 모델이 자기 자신·환경을 조작하는 능력 평가.

Self-replication 시도.
Deception 실험.
Long-horizon planning.

Anthropic Responsible Scaling Policy·OpenAI Preparedness Framework. 특정 능력 임계 도달 시 배포 중단·추가 안전 조치 강제.

바이오 특화 위험(생물무기 관련) 평가도 이 프레임 안에서 진행. 최신 프론티어 안전 연구 영역.

참고 자료

본 편의 콘텐츠·시나리오·비유·수치는 모두 BioPlayground 자체 개발이며, 아래는 개념 학습에 도움이 되는 외부 참고 자료입니다.

RLHF 원 논문: Christiano et al., "Deep Reinforcement Learning from Human Preferences" (NeurIPS 2017)
InstructGPT: Ouyang et al., "Training language models to follow instructions with human feedback" (NeurIPS 2022)
DPO: Rafailov et al., "Direct Preference Optimization" (NeurIPS 2023)
Constitutional AI: Bai et al., "Constitutional AI: Harmlessness from AI Feedback" (Anthropic 2022)
Self-Consistency: Wang et al., "Self-Consistency Improves Chain of Thought Reasoning" (ICLR 2023)
Semantic Uncertainty: Kuhn et al., "Semantic Uncertainty" (ICLR 2023)
SelfCheckGPT: Manakul et al., "SelfCheckGPT" (EMNLP 2023)
FactScore: Min et al., "FActScore" (EMNLP 2023)
Sycophancy: Perez et al., "Discovering Language Model Behaviors with Model-Written Evaluations" (Anthropic 2023)
Adversarial Suffix: Zou et al., "Universal and Transferable Adversarial Attacks on Aligned Language Models" (2023)
Anthropic Responsible Scaling Policy: anthropic.com/rsp
OpenAI Preparedness Framework: openai.com/preparedness

Phase 2 활용 편이 여기서 마무리됩니다. 편 #12부터 Phase 3 도구 편에서 PyTorch·HuggingFace·Claude Code·Cursor 등 실전 도구를 다룹니다.