본문으로 건너뛰기
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
AI 에이전트 기초

RAG로 고객 응대 품질 높이기: 지식 베이스 기반 AI 상담 가이드

AI SNS CHAT 편집팀게시 8분 읽기

RAG(검색 증강 생성)의 원리, 답변이 만들어지는 과정, 오답을 막는 방법과 지식 베이스 작성법을 고객지원 관점에서 정리했습니다.

AI 상담원을 도입했는데 "우리 회사 환불 규정"을 물으면 그럴듯하지만 틀린 답을 하거나, 반대로 아무것도 모른다고 하는 경우가 많습니다. 원인은 대부분 AI가 우리 회사의 최신 정보를 참고하지 못하기 때문입니다. 이 글에서는 이 문제를 푸는 대표적인 방식인 RAG(검색 증강 생성)가 무엇인지, 고객지원에서 어떻게 작동하는지, 어디서 실패하고 어떻게 예방하는지를 실무 관점에서 설명드립니다.

RAG, 쉬운 말로 풀면

RAG는 Retrieval-Augmented Generation의 약자로, 우리말로는 검색 증강 생성이라고 합니다. 이름은 어렵지만 개념은 단순합니다. AI가 답하기 전에 먼저 관련 자료를 찾아보고, 그 자료를 근거로 답하게 하는 방식입니다.

시험에 비유하면 이해가 쉽습니다. 일반적인 AI는 암기한 지식만으로 푸는 "클로즈드북 시험"을 봅니다. RAG는 교재를 펼쳐 놓고 푸는 "오픈북 시험"입니다. 질문이 들어오면 교재에서 해당 페이지를 먼저 찾고, 그 내용을 읽은 뒤 고객이 이해하기 쉬운 말로 정리해 답합니다.

여기서 교재에 해당하는 것이 지식 베이스입니다. 상품 안내, 배송·환불 정책, 요금표, 자주 묻는 질문, 이용 가이드 같은 문서가 여기에 들어갑니다. RAG의 품질은 AI 모델의 성능만큼이나 지식 베이스의 품질에 좌우됩니다.

고객지원에서 RAG를 쓰는 이유

AI에게 회사 지식을 알려 주는 방법은 크게 세 가지로 나눌 수 있습니다. 각각 장단점이 뚜렷합니다.

방법
고객지원에서의 특징
프롬프트에 전부 붙여넣기
시작은 빠르지만 분량이 늘면 관리가 어렵고, 어떤 내용이 답에 쓰였는지 추적하기 힘듭니다
모델을 따로 학습시키기(파인튜닝)
말투와 형식을 맞추는 데는 유리하지만, 정책이 바뀔 때마다 다시 학습해야 하고 비용과 시간이 듭니다
RAG(검색 후 답변)
문서를 고치면 바로 답이 바뀌고, 근거가 된 문서를 확인할 수 있어 운영과 점검이 쉽습니다
AI에게 우리 회사 지식을 알려 주는 세 가지 방법설명용 예시

고객지원 현장에서 RAG가 선호되는 이유는 크게 네 가지입니다.

  • 최신성: 배송 일정이나 프로모션 조건은 자주 바뀝니다. RAG는 문서만 수정하면 다음 질문부터 새 내용이 반영됩니다.
  • 근거 추적: 답이 이상할 때 어떤 문서를 참고했는지, 혹은 참고할 문서가 없었는지 따져 볼 수 있습니다.
  • 담당자 중심 운영: 개발자가 아니라 상담 팀이 문서를 직접 고치고 추가할 수 있습니다.
  • 범위 통제: "지식 베이스에 있는 내용만 답한다"는 원칙을 세우기 쉬워, 없는 내용을 지어내는 일을 줄일 수 있습니다.

RAG 답변 한 건이 만들어지는 과정

고객이 카카오톡 채널에 "주문한 지 이틀 됐는데 배송 조회는 어디서 하나요?"라고 물었다고 가정해 보겠습니다. 내부에서는 대략 다음 순서로 일이 진행됩니다.

  1. 01고객 질문 접수
  2. 02관련 문서 검색
  3. 03근거와 질문을 함께 AI에 전달
  4. 04답변 생성 후 발송
RAG 답변 한 건이 만들어지는 경로설명용 예시

1단계. 질문 이해

AI는 질문이 무엇을 묻는지 파악합니다. 이 예시에서는 "배송 조회 방법"이 핵심입니다. 고객은 "택배 어디쯤이에요?", "송장 번호 어디서 봐요?"처럼 표현이 제각각이므로, 단어가 똑같지 않아도 의미가 가까운 문서를 찾아내는 것이 중요합니다.

2단계. 관련 문서 검색

지식 베이스에서 질문과 가장 관련 있는 문단을 몇 개 골라 옵니다. 이 단계가 RAG의 핵심입니다. 여기서 엉뚱한 문서를 가져오면 뒤의 모든 단계가 틀어집니다.

3단계. 근거와 질문을 함께 전달

찾은 문단과 고객의 질문, 그리고 상담원의 지침(말투, 하지 말아야 할 말 등)을 한 묶음으로 AI 모델에 전달합니다. "아래 자료에 근거해서만 답하라"는 지시가 여기서 작동합니다.

4단계. 답변 생성

모델이 자료를 읽고 고객에게 맞는 문장으로 답을 만듭니다. 자료에 답이 없다면 지어내는 대신 "정확한 확인이 필요하니 담당자에게 연결해 드리겠습니다"처럼 안내하도록 설계하는 것이 좋습니다.

RAG가 실패하는 지점과 예방법

RAG를 쓴다고 해서 오답이 완전히 사라지는 것은 아닙니다. 실패 유형을 알면 대부분 예방할 수 있습니다.

1. 문서에 답이 아예 없는 경우

가장 흔한 원인입니다. 고객은 "주말에도 교환 접수되나요?"처럼 아주 구체적으로 묻는데 문서에는 "교환은 7일 이내 가능"이라는 한 줄뿐이라면, AI는 빈틈을 추측으로 채우려 할 수 있습니다.

예방: 상담 기록에서 답하지 못한 질문을 주기적으로 모아 문서에 추가합니다. 지식 베이스에 없는 질문은 추측하지 말고 상담원 연결로 넘기도록 지침을 정해 둡니다.

2. 오래된 문서와 새 문서가 함께 있는 경우

2023년 환불 규정과 올해 환불 규정이 모두 들어 있으면 AI는 어느 쪽이 맞는지 알 수 없습니다.

예방: 개정 시 기존 문서를 수정하거나 삭제하고, 문서마다 적용 시점을 적어 둡니다. 예전 안내문을 "보관용"으로 같이 올려 두는 습관은 피하는 것이 좋습니다.

3. 검색이 엉뚱한 문서를 가져오는 경우

한 문서에 배송, 환불, 회원 탈퇴가 뒤섞여 있으면 질문과 관련 없는 부분까지 딸려 오기 쉽습니다.

예방: 문서를 주제별로 나누고, 제목을 고객이 실제로 쓰는 표현으로 짓습니다.

4. 정보가 서로 충돌하는 경우

상품 페이지에는 "무료 배송", 정책 문서에는 "3만 원 이상 무료 배송"이라고 적혀 있다면 답이 흔들립니다.

예방: 기준이 되는 문서를 하나로 정하고, 다른 문서는 그것을 따르도록 정리합니다.

5. 개인정보나 민감한 내용이 섞이는 경우

내부 메모나 고객 정보가 지식 베이스에 들어가면 낯선 고객에게 노출될 위험이 있습니다.

예방: 지식 베이스에는 공개해도 되는 내용만 넣고, 업로드 전에 한 번 더 확인합니다.

검색이 잘 되는 지식 베이스 만들기

좋은 지식 베이스는 "사람이 읽기 좋은 문서"와 조금 다릅니다. AI가 필요한 부분만 정확히 집어 가려면 다음 원칙이 도움이 됩니다.

질문 단위로 쓰기

"배송은 얼마나 걸리나요?", "해외 배송도 가능한가요?"처럼 고객이 실제로 던지는 질문을 제목으로 삼고, 바로 아래에 답을 적습니다. Q&A 형식은 검색과 답변 모두에 유리합니다.

한 문서에 한 주제

문서가 길수록 좋은 것이 아니라 주제가 선명할수록 좋습니다. 환불 정책과 포인트 적립 규정은 따로 두는 편이 낫습니다.

조건과 예외를 명시하기

"환불 가능"이라고만 쓰지 말고, "수령 후 7일 이내, 미개봉 상품에 한해, 단순 변심의 경우 반품 배송비는 고객 부담"처럼 조건을 구체적으로 적습니다. AI는 문서에 쓰인 만큼만 정확하게 답할 수 있습니다.

고객의 말투를 반영하기

공식 용어와 고객이 쓰는 말이 다르면 검색이 어긋납니다. "청약 철회"라고만 적기보다 "환불, 취소, 반품"이라는 표현도 함께 넣어 줍니다.

시작 규모는 작게

처음부터 모든 문서를 넣을 필요는 없습니다. 예를 들어 한 달에 300건의 문의가 들어오는 가게라면, 그중 반복되는 상위 질문 20~30개만 정리해도 상당수를 커버할 수 있는 경우가 많습니다(가정 예시입니다). 이후 실제 대화 기록을 보며 빠진 질문을 보강해 나가는 방식이 효율적입니다.

채널이 달라도 지식은 하나로

한국 고객은 카카오톡 채널, 홈페이지 채팅, Instagram DM 등 여러 경로로 문의합니다. 채널마다 문서를 따로 만들면 내용이 어긋나기 쉽습니다. 지식 베이스를 한 곳에서 관리하고 여러 채널에서 같은 상담원이 참조하게 하면, 어디서 물어도 같은 기준으로 답할 수 있습니다.

다만 채널마다 말투와 길이에 대한 기대는 다릅니다. 카카오톡에서는 짧고 친근한 문장이, 홈페이지 채팅에서는 링크와 단계별 안내가 어울리는 경우가 많습니다. 지식은 공유하되 말투와 답변 길이는 상담원 지침에서 조정하는 방식이 좋습니다.

AI SNS CHAT에서 RAG 방식 적용하기

AI SNS CHAT에서는 상담원(에이전트)에게 지식을 연결하는 작업을 별도의 개발 없이 대시보드에서 진행할 수 있습니다.

1. 지식 소스 추가

사이드바의 Data sources에서 Files, Text snippets, Website, Q&A, Notion 등의 형태로 지식을 추가합니다. 자주 묻는 질문은 Q&A로, 정책 문서는 파일이나 텍스트로, 기존 안내 페이지는 Website로 연결하는 식으로 나누면 관리하기 편합니다. 이미 Confluence, GitBook, Zendesk Guide, Google Drive 같은 곳에 문서를 두고 있다면 Channels 아래의 커넥터로 불러올 수 있습니다. 위키 커넥터는 한 번 동기화할 때 150만 자, 400페이지까지 읽으며, 잘린 경우에는 그 사실을 알려 줍니다. 저장 용량은 플랜별로 다르며 Free는 30MB, Hobby는 200MB부터 시작합니다.

2. 페르소나와 가드레일 설정

에이전트의 페르소나와 가드레일에서 말투, 답변 범위, 모를 때의 행동을 정해 둡니다. "자료에 없는 내용은 추측하지 않고 담당자 연결을 안내한다"는 원칙을 여기에 적어 두면 오답 위험을 줄이는 데 도움이 됩니다.

3. Playground에서 먼저 확인

Playground에서 실제 고객이 할 법한 질문을 던져 봅니다. 같은 질문을 표현만 바꿔 여러 번 물어보면 검색이 잘 되는지 가늠할 수 있습니다. Playground에서는 모델을 나란히 비교하는 A/B 비교도 사용할 수 있습니다.

4. 채널에 연결

Channels에서 홈페이지 채팅 위젯, Instagram, Messenger, WhatsApp, KakaoTalk 등을 연결합니다. 하나의 에이전트가 같은 지식으로 여러 채널에 응답합니다. 다만 채널별로 연결 절차와 조건이 다르므로 각 채널 안내를 확인해 주세요. 연결 가능한 채널은 연결 목록에서 볼 수 있습니다.

5. 대화 기록을 보며 개선

Activity → Chat logs에서 대화를 확인하고 좋아요/싫어요 평가를 살펴봅니다. 답이 아쉬웠던 대화는 상담원이 답변을 이상적인 형태로 고쳐 에이전트를 학습시킬 수 있습니다. 이메일은 Inbox, 그 외 채널은 Chat logs에서 확인합니다. 분석 메뉴의 Topics와 Question history는 어떤 질문이 많은지 파악해 문서를 보강할 우선순위를 정할 때 유용합니다.

6. 사람에게 넘기기

지식 베이스로 해결되지 않는 문의는 Helpdesk의 근무 일정(Scheduling)에 따라 근무 중인 담당자에게 자동 배정할 수 있습니다. Helpdesk는 Standard 플랜 이상에서 사용할 수 있습니다. 고객에게 안내하는 "다음 절차" 문구는 서버가 근무표를 읽어 붙이며, 대기 시간을 임의로 만들어 내지 않습니다.

답변은 1건당 1크레딧으로 계산됩니다. 플랜별 크레딧과 기능은 요금제와 기능 소개에서 확인하실 수 있고, 처음 사용해 보실 때는 가입 페이지에서 시작하시면 됩니다. 데이터 취급 방식은 보안 안내에 정리되어 있습니다.

자주 묻는 질문

RAG는 내 데이터로 AI를 학습시키는 것과 같은가요?

다릅니다. 학습(파인튜닝)은 모델 자체를 바꾸는 작업이고, RAG는 모델은 그대로 두고 답하기 직전에 관련 문서를 찾아 참고하게 하는 방식입니다. 그래서 문서를 고치면 바로 답에 반영되는 장점이 있습니다.

RAG를 써도 틀린 답이 나올 수 있나요?

나올 수 있습니다. 문서에 답이 없거나, 오래된 내용과 새 내용이 섞여 있거나, 엉뚱한 문서가 검색되면 오답 가능성이 생깁니다. 문서를 주제별로 정리하고, 모르는 질문은 담당자 연결로 넘기도록 지침을 두고, 대화 기록으로 꾸준히 점검하면 위험을 크게 줄일 수 있습니다.

시작하려면 콘텐츠가 얼마나 필요한가요?

처음에는 반복해서 들어오는 상위 질문 수십 개만 정리해도 충분히 시작할 수 있습니다. 이후 Chat logs에서 답하지 못한 질문을 확인하며 조금씩 늘려 가는 방식을 권합니다.

웹사이트 채팅, WhatsApp, Messenger에서 같은 지식 베이스를 쓸 수 있나요?

AI SNS CHAT에서는 하나의 에이전트에 지식을 연결하고 그 에이전트를 여러 채널에 배포할 수 있으므로, 채널이 달라도 같은 지식으로 응답합니다. KakaoTalk과 Instagram도 연결 가능한 채널 목록에 있으며, 채널별 연결 조건은 각 안내를 확인해 주세요.

지식 베이스를 만드는 대신 웹 검색을 쓰면 안 되나요?

웹 검색은 공개된 일반 정보에는 도움이 되지만, 우리 회사의 정책과 가격처럼 내부 기준이 필요한 질문에는 맞지 않습니다. AI SNS CHAT에서 지식 베이스에 답이 없을 때 웹에서 답하는 기능은 LINE WORKS에서만 제공되고, 다른 에이전트에는 Tavily 액션으로 실시간 웹 검색을 추가할 수 있습니다. 핵심 응대 내용은 지식 베이스로 관리하고, 웹 검색은 보조 수단으로 쓰시길 권합니다.

#RAG#지식 베이스#AI 상담#고객지원#카카오톡

AI SNS CHAT으로 바로 실천해 보세요

자사 콘텐츠로 학습한 AI 에이전트를 만들고 웹사이트, LINE, WhatsApp 등에 연결하세요. 무료로 시작하며 신용카드가 필요 없습니다.