RAG — 검색 결과를 근거로 답하게 만드는 법
이 토픽을 마치면
- RAG(Retrieval-Augmented Generation)의 정확한 정의와 동작 원리를 설명할 수 있습니다.
- 파인튜닝(Fine-Tuning)과 RAG의 근본적인 차이점 및 장단점을 비교할 수 있습니다.
- 지식 베이스(Knowledge Base)와 RAG가 어떻게 결합하여 AI의 환각 현상(거짓말)을 줄이는지 이해하게 됩니다.
시험장에 들어간 두 학생 이야기
어려운 오픈북 시험에 들어간 두 학생이 있습니다.
- 학생 A (파인튜닝 방식): 밤을 새워 수천 페이지짜리 전공 서적을 모조리 암기해서 시험장에 들어갔습니다. 기억력이 아무리 좋아도 세세한 수치나 최근 바뀐 개정 법률을 착각해 틀린 답을 쓸 위험이 있습니다.
- 학생 B (RAG 방식): 서적 전체를 암기하진 않았지만, 책장이 잘 정리된 '참고서'와 빠른 '색인(Index) 능력'을 가지고 시험장에 들어갔습니다. 질문을 받자마자 필요한 페이지를 척척 찾아 펼쳐놓고, 그 내용을 바탕으로 정답을 깔끔하게 작성해 냅니다.
RAG는 학생 B와 같습니다. AI의 머릿속 기억에만 의존하지 않고, 외부 문서(지식 베이스)에서 필요한 정보를 검색해 와서 근거 기반으로 답변을 생성하는 기술입니다.
RAG란 무엇인가?
RAG는 Retrieval-Augmented Generation의 약자로, 우리말로 '검색 증강 생성'이라고 부릅니다. 세 단어를 나눠보면 원리가 명확해집니다.
- Retrieval (검색): 질문과 가장 관련 있는 문서를 지식 베이스에서 찾아옵니다.
- Augmented (증강/보강): 찾아온 문서의 핵심 내용을 질문(프롬프트) 속에 쏙 넣어 맥락을 풍부하게 보강합니다.
- Generation (생성): LLM이 보강된 문맥을 바탕으로 정확하고 자연스러운 답변을 만들어냅니다.
한 줄 비유:
RAG는 AI의 기억력에만 의존해 답하게 하는 것이 아니라, 질문을 받자마자 사내 도서관에서 관련 책을 꺼내 옆에 펼쳐두고 읽어주며 답하는 방식입니다.
지식 베이스 vs 파인튜닝 vs RAG 확실하게 구분하기
많은 사람들이 세 개념을 헷갈려 하지만, 역할이 완전히 다릅니다.
| 구분 | 지식 베이스 (Knowledge Base) | 파인튜닝 (Fine-Tuning) | RAG (검색 증강 생성) |
|---|---|---|---|
| 비유 | 사내 보안 문서가 보관된 문서 창고 | 사원 교육을 통해 뇌 자체를 개조/암기 | 필요한 문서만 창고에서 찾아 꺼내주는 검색 시스템 |
| 주요 역할 | 신뢰할 수 있는 데이터 보관 | 고정된 말투, 서식, 특정 영역의 스타일 습득 | 최신/외부 문서를 참조하여 거짓말 없는 정확한 답 생성 |
| 최신성 반영 | 문서 업데이트만 하면 즉시 가능 | 매번 모델을 재학습해야 함 (비용·시간 발생) | 지식 베이스만 바꾸면 별도 학습 없이 즉시 최신 정보 답함 |
RAG의 핵심 작동 4단계
- 질문 수신: 사용자가 "이번 달 경조사 휴가 신청 절차 알려줘"라고 물어봅니다.
- 문서 검색 (Retrieval): RAG 시스템이 사내 '지식 베이스'로 달려가 '경조사 휴가 규정.pdf'에서 관련 문단을 찾아냅니다.
- 프롬프트 합성 (Augmentation): AI 두뇌(LLM)에게 다음과 같이 지시를 합성해 전달합니다.
- "아래 검색된 사내 규정 문단을 바탕으로 답변해줘: [검색된 경조사 규정 내용]"
- 답변 생성 (Generation): LLM이 해당 문단을 바탕으로 환각 없이 정확한 절차를 요약해서 알려줍니다.
어디서 쓰이나
- 기업용 사내 Q&A 챗봇: 복지, HR, 취업규칙, 법률 가이드 안내
- 실시간 최신 정보 AI 검색: 최신 뉴스, 금융 데이터, 시장 동향을 반영하는 검색 엔진
- 고객지원(CS) 자동화: 매일 최신화되는 제품 매뉴얼 및 FAQ에 기반한 즉각 응대
자주 하는 오해와 주의할 점
❌ 1. "RAG를 도입하면 AI가 절대로 거짓말(환각)을 안 한다?"
아닙니다. 지식 베이스 내에 오타나 잘못된 규정이 들어있다면 AI는 잘못된 문서를 근거로 당당하게 오답을 냅니다(Garbage In, Garbage Out). 또한, 질문과 상관없는 잘못된 문서 문단을 찾아오면 AI가 혼란을 겪을 수 있습니다.
❌ 2. "RAG만 있으면 파인튜닝은 전혀 필요 없다?"
아닙니다. RAG는 '정확한 사실 정보'를 가져오는 데 탁월하고, 파인튜닝은 '특정한 대화 말투, 답변 서식(JSON 등), 고유한 행동 양식'을 고정하는 데 탁월합니다. 두 기술은 서로 대체하는 것이 아니라 함께 조합할 때 가장 강력합니다.
RAG는 검색 한 번이 아니라 파이프라인입니다
문서 수집 → 정제 → chunking → 임베딩·색인
질문 → 검색 → 재순위 → 문맥 조립 → 생성 → 인용 검증검색 실패를 생성 모델이 복구해 줄 것이라고 기대하면 안 됩니다. 정답 근거가 문맥에 들어오지 않으면 유창한 오답이 만들어질 가능성이 커집니다.
Dense·Sparse·Hybrid
임베딩 기반 dense 검색은 의미가 비슷한 표현을 찾는 데 강합니다. BM25 같은 sparse 검색은 정확한 제품명·유전자명·오류 코드에 강합니다. 실무에서는 두 결과를 합친 hybrid search와 reranker를 함께 쓰는 경우가 많습니다.
Chunking의 선택
고정 글자 수로 무조건 자르기보다 제목·문단·표·코드·페이지 관계를 보존합니다. 작은 조각은 정확한 검색에 유리하지만 문맥이 부족하고, 큰 조각은 문맥이 풍부하지만 검색 신호가 흐려집니다. 문서 유형별 평가로 크기를 정합니다.
답변 생성 규칙
- 제공한 근거만 사용하도록 지시합니다.
- 근거가 없으면 “찾지 못했다”고 답하게 합니다.
- 인용에 문서 ID·버전·페이지나 섹션을 포함합니다.
- 서로 충돌하는 문서는 충돌 사실을 노출합니다.
- 검색 문서 안의 지시문을 신뢰하지 않는 데이터로 취급합니다.
RAG 평가를 둘로 나눕니다
검색 평가: 정답 근거가 top-k에 들어왔는가, 순위는 적절한가.
생성 평가: 답이 근거에 충실한가, 인용이 맞는가, 질문을 해결했는가.
두 점수를 분리해야 임베딩·chunking 문제와 프롬프트·모델 문제를 정확히 고칠 수 있습니다.
핵심 정리
- 이 용어는 AI 모델 하나가 아니라 데이터·소프트웨어·운영 절차와 연결해서 이해해야 합니다.
- 제품 설명보다 입력·출력·권한·평가 기준을 구체적으로 확인합니다.
- 중요한 결과와 행동은 근거, 검증기, 사람 승인으로 다시 확인합니다.
다음 개념
→ 더 깊게 보기: AI Native 장편 — RAG와 문맥 확장