1. 설명서를 펼쳐 보고 대답한다면
새로 산 가전제품의 예약 기능이 헷갈릴 때를 떠올려 보세요. 비슷한 제품을 써 본 사람의 기억보다, 내 제품의 설명서를 찾아 읽은 답이 더 도움이 될 때가 있습니다. AI도 질문과 관련된 자료를 먼저 찾아서 답을 만들도록 구성할 수 있습니다.
이 방식을 RAG라고 부릅니다. 영어로는 Retrieval-Augmented Generation, 우리말로는 보통 ‘검색 증강 생성’이라고 합니다. 이름은 어렵지만, 핵심은 필요한 자료를 찾아 AI가 답할 때 참고하도록 건네는 것입니다. NIST도 질문과 관련된 정보를 지식 저장소에서 찾아 모델에 제공하는 방식으로 설명합니다. NIST 공식 용어 설명
2. 자료 찾기부터 답변까지 세 단계
설명서에 답하는 AI를 예로 들어 보겠습니다. 사용자가 “이 제품의 예약 설정은 어떻게 해?”라고 물으면, RAG 시스템은 대체로 다음 순서로 움직입니다.
- 찾기: 준비된 설명서 중 질문과 관련된 부분을 찾습니다.
- 함께 전달하기: 질문과 찾아낸 내용을 묶어 AI에 건넵니다.
- 답 만들기: AI가 그 내용을 참고해 읽기 쉬운 설명을 작성합니다.
여기서 찾는 대상은 인터넷 전체가 아닐 수 있습니다. 회사 내부 문서나 미리 모아 둔 설명서처럼, 정해진 자료 모음일 수도 있습니다. 따라서 ‘RAG를 쓴다’는 말만으로 실시간 웹 검색이나 최신 정보 확인까지 이루어졌다고 생각하면 곤란합니다.
우리가 눈여겨볼 점은 검색 결과가 답변을 만드는 재료로 들어간다는 것입니다. 검색 목록을 보여 주고 끝내는 것과도 차이가 있습니다. Microsoft의 RAG 작동 과정
3. 어제 배운 파인튜닝과는 어떻게 다를까요
지난 글의 파인튜닝은 추가 학습으로 모델을 특정 작업이나 응답 방식에 맞추는 방법이었습니다. RAG는 답할 때 사용할 참고 자료를 찾아 입력에 더하는 방식입니다. 자료를 참고하게 하려고 모델 자체를 매번 다시 학습시킬 필요는 없습니다.
설명서 내용이 바뀌었다면 RAG에서는 연결된 자료를 최신 내용으로 관리하는 일이 중요합니다. 오래된 설명서만 연결해 놓고 AI가 알아서 새 규칙을 알 것이라고 기대할 수는 없습니다.
파인튜닝과 RAG는 함께 쓸 수도 있습니다. 오늘은 어느 쪽이 무조건 더 좋다고 외우기보다, ‘추가로 학습시키는가, 답할 때 자료를 제공하는가’를 구분해 보세요. AWS의 RAG 설명
4. 자료를 찾아도 틀릴 수 있습니다
설명서를 찾았어도 다른 모델의 설명서라면 답이 맞지 않을 수 있습니다. 필요한 주의사항이 빠진 부분만 찾아왔다면 중요한 조건을 놓칠 수도 있습니다. 올바른 자료를 받아도 AI가 내용을 잘못 해석하거나 근거 없는 설명을 보탤 가능성은 남습니다.
그래서 답변을 읽을 때는 다음을 확인해 보세요.
- 맞는 자료인가: 제품명이나 적용 대상이 내 질문과 같은가요?
- 유효한 자료인가: 작성일과 개정일을 확인했나요?
- 답을 뒷받침하는가: 표시된 출처를 열었을 때 실제로 그 내용이 있나요?
출처가 붙어 있다는 사실과 답변이 정확하다는 판단은 별개입니다. Microsoft도 검색된 내용이 관련 없거나 불완전하면 부정확한 답이 나올 수 있고, RAG가 환각을 완전히 없애지는 못한다고 안내합니다. Microsoft의 한계 설명
5. 이렇게 요청해 보세요
자료를 참고할 수 있는 AI 기능을 이용한다면, 답만 요청하지 말고 확인할 근거도 함께 요청해 보세요.
“이 설명서에서 예약 설정과 관련된 부분을 찾아 순서대로 설명해 줘. 근거가 되는 절 제목이나 페이지도 표시해 줘. 자료에서 확인되지 않는 내용은 추측하지 말고, 확인되지 않는다고 말해 줘.”
이 요청 자체가 RAG 기능을 켜 주는 것은 아닙니다. 파일을 올렸다는 사실만으로 그 서비스의 내부 방식이 RAG라고 단정할 수도 없습니다. 실제로 어떤 자료를 참고할 수 있는지는 이용하는 기능을 확인해야 합니다.
답을 받았다면 표시된 원문을 한 번 열어 보세요. 페이지 번호가 맞는지, 빠진 조건은 없는지 비교하는 습관이 도움이 됩니다. 오늘 기억할 한 가지는 이것입니다. RAG는 참고 자료를 활용해 답하도록 돕는 방식이며, 자료의 품질과 답변 확인은 여전히 중요합니다.
공식 자료 확인일: 2026년 10월 29일. NIST와 AWS 페이지는 게시일 표시 없음, Microsoft 문서는 2026년 8월 21일 갱신.
답글 남기기