BioPlayground

🧬
목록으로

RLHF — 인간의 선호로 모델 행동을 조정하는 법

RLHF의 시연 수집, 선호 비교, 보상 모델, 정책 최적화 과정과 DPO·RLAIF 등 변형 및 한계를 설명합니다.

중급
|
11분
|
검증 완료 (2026-07)
진행률0/48 (0%)

RLHF — 인간의 선호로 모델 행동을 조정하는 법

이 토픽을 마치면

  • RLHF(Reinforcement Learning from Human Feedback)의 개념과 존재 이유를 정확히 설명할 수 있습니다.
  • 무가공 AI(Base LLM)와 RLHF 과정을 거친 AI의 대화 방식 차이를 이해하게 됩니다.
  • 사람이 AI를 다듬는 3단계 보상 학습 원리를 파악할 수 있습니다.

AI에게 짓궂고 무례한 질문을 던져봤습니다

ChatGPT나 Claude에게 비꼬는 투로 공격적인 질문을 하거나 불쾌한 어조로 시비를 걸어봅니다.

사람이라면 화를 내거나 비아냥거릴 법한 상황이지만, AI는 결코 상처받거나 맞대응하지 않고 "조심스럽지만 이런 관점도 있습니다"라며 단정하고 친절한 태도를 유지합니다.

원래 문장만 연결하던 AI에게 도대체 무슨 일이 일어났길래 이렇게 예의 바르고 유용한 대화 상대가 된 걸까요? 바로 RLHF(인간 피드백 기반 강화학습, Reinforcement Learning from Human Feedback) 덕분입니다.

야생의 AI vs 예절 교육을 받은 AI

인터넷의 수많은 문서만 읽고 학습을 마친 '초기 상태의 LLM(Base Model)'은 사실 거친 야생마와 같습니다.

1. 야생 상태의 LLM (Base Model)

  • 작동 방식: 후속 정렬이 없는 상태에서 학습된 분포에 따라 다음 토큰을 생성합니다.
  • 문제점: 훈련 데이터의 편향과 유해한 패턴을 반영할 수 있고, 사용자의 지시를 안정적으로 따르거나 안전하게 거절하도록 충분히 조정되지 않았습니다.

2. RLHF를 거친 AI (Instruct / Chat Model)

  • 작동 방식: 사람이 선호하는 대화 양식, 유용성, 안전 기준을 별도의 보상 시스템으로 학습합니다.
  • 혁신: 무례하거나 위험한 질문은 유연하고 안전하게 우회하며, 사용자가 실제로 원했던 친절하고 유용한 답을 내놓습니다.

한 줄 비유:

Base LLM이 *'세상의 온갖 글을 다 읽었지만 사회성이 전혀 없는 천재 초등학생'*이라면, RLHF는 *'사회생활 규범과 예절 교육을 수료하여 친절한 전문가로 거듭난 대화 상대'*입니다.

RLHF는 어떻게 작동할까? (3단계 원리)

사람이 일일이 수십억 개의 대화를 하나하나 수정해 줄 수는 없습니다. 대신 RLHF는 '선호도 점수 시스템'을 활용합니다.

  1. 사람의 선호 데이터 수집 (Human Preference Data):
    • 하나의 질문에 대해 AI가 여러 개의 답변 후보를 생성합니다.
    • 사람이 직접 읽어보고 "A 답변이 B 답변보다 더 친절하고 정확해"라며 순위를 매깁니다.
  2. 보상 모델(Reward Model) 구축:
    • 사람이 평가한 데이터를 바탕으로 "어떤 답변이 좋은 답변인가?"를 채점하는 평가 전용 AI(보상 모델)를 따로 만듭니다.
  3. 강화학습을 통한 미세조정 (PPO 등):
    • AI가 답변을 내놓을 때마다 보상 모델에게 점수를 받습니다.
    • 높은 점수를 받는 방향으로 스스로 답변 구조를 다듬어 가며 최종적으로 친절하고 유용한 챗봇으로 탈바꿈합니다.

어디서 쓰이나

RLHF는 대화형 AI의 후속학습에 널리 알려진 접근이지만, 실제 제품은 SFT·DPO·RLAIF·Constitutional AI 등 여러 방법을 단독 또는 조합해 사용합니다.

  • 안전한 서비스 제공: 자해, 범죄, 해킹 등 유해한 질문을 필터링하고 안전하게 거절
  • 챗봇의 톤앤매너 설정: 지나치게 기계적이지 않고 공감과 예의를 갖춘 대화 스타일 유지
  • 지시 이행 능력 향상: 사용자의 애매한 질문 속 의도를 파악하여 정확한 서식과 어조로 답변

자주 하는 오해와 주의할 점

❌ 1. "RLHF를 거치면 AI의 지식이나 암기량이 늘어난다?"

아닙니다. RLHF는 새로운 지식을 주입하는 과정이 아닙니다. 이미 알고 있는 지식을 **'어떤 말투와 형식으로 출력할 것인가'**를 교정하는 일종의 사회화 및 예절 교육 과정입니다.

❌ 2. "RLHF만 적용하면 AI가 완벽해져서 절대 거짓말을 안 한다?"

아닙니다. RLHF는 사람이 좋아하는 대화 스타일을 학습하기 때문에, 가끔은 실제 사실과 다르더라도 '너무나 당당하고 그럴듯하고 친절한 어조로' 거짓말(환각 현상)을 내놓을 수 있습니다.

실제 파이프라인은 한 단계가 아닙니다

대표적인 InstructGPT 계열 절차는 다음과 같습니다.

text
사람의 모범 답변 → 지도 미세조정(SFT)
질문별 복수 답변 → 사람의 선호 순위
선호 데이터 → 보상 모델
보상 모델 점수 → PPO 등으로 정책 최적화

따라서 RLHF를 “예절만 가르치는 방법”으로 한정하면 부족합니다. 지시 이행, 유용성, 안전성, 형식 준수처럼 사람이 원하는 행동 분포를 학습시키는 방법입니다. 지식을 넣는 것이 주목적은 아니지만, 후속학습 데이터에 따라 사실 응답과 과업 능력도 변할 수 있습니다.

PPO만이 유일한 방법은 아닙니다

PPO는 역사적으로 널리 알려진 방식이지만, 최근에는 선호 쌍으로 정책을 직접 최적화하는 DPO 계열, AI가 선호를 평가하는 RLAIF, 자연어 원칙을 이용하는 Constitutional AI 등 여러 접근이 병존합니다. 제품이 “RLHF를 했다”는 한 문장만으로 정확한 학습법을 단정하면 안 됩니다.

실패하는 방식

평가자 편향: 평가자의 문화·언어·전문성에 따라 “좋은 답”의 기준이 달라집니다.

보상 해킹: 모델이 실제로 유용해지기보다 평가자가 좋아할 표면 특징을 학습할 수 있습니다.

아첨(sycophancy): 사실보다 사용자의 믿음에 맞추는 답이 높은 선호를 받을 수 있습니다.

과도한 거절: 안전 점수를 높이려다 정상 요청까지 거부할 수 있습니다.

분포 밖 행동: 훈련에서 보지 못한 도구 사용이나 긴 작업에서는 정렬 효과가 약해질 수 있습니다.

평가 체크리스트

  1. 정답성과 선호도를 분리해 측정합니다.
  2. 서로 다른 평가자 집단과 언어로 재평가합니다.
  3. 거절률·아첨·장황함을 별도 지표로 둡니다.
  4. 공격적 프롬프트와 도구 사용 환경에서 레드팀 테스트를 합니다.
  5. 학습 후에도 외부 하네스와 정책 검증을 유지합니다.

핵심 정리

  • 이 용어는 AI 모델 하나가 아니라 데이터·소프트웨어·운영 절차와 연결해서 이해해야 합니다.
  • 제품 설명보다 입력·출력·권한·평가 기준을 구체적으로 확인합니다.
  • 중요한 결과와 행동은 근거, 검증기, 사람 승인으로 다시 확인합니다.

다음 개념

→ 더 깊게 보기: AI Native — 환각과 정렬

공식 참고