AI 상담이 엉뚱한 답을 하는 이유는 대개 지식베이스에 있습니다. 질문 정리, 작성 요령, 충돌 해결, 테스트, 운영 방법을 정리했습니다.
AI 상담을 도입했는데 답변이 어긋나는 경우, 원인은 모델이 아니라 지식베이스인 경우가 많습니다. 사람에게 맞춰 쓴 문서를 그대로 넣으면 AI는 필요한 부분을 찾지 못하거나 서로 다른 내용을 섞어 답합니다. 이 글에서는 질문에서 출발해 문서를 쓰고, 충돌을 정리하고, 출시 전에 시험하고, 출시 후에 개선하는 순서를 설명합니다.
문서가 아니라 질문에서 시작합니다
지식베이스를 만들 때 가장 흔한 실수는 "가진 문서를 전부 올리는 것"에서 시작하는 일입니다. 먼저 고객이 실제로 묻는 질문을 모으십시오. 고객이 묻지 않는 내용은 나중에 넣어도 늦지 않습니다.
질문은 다음 경로에서 모을 수 있습니다.
- 카카오톡 채널, 웹사이트 채팅, Instagram DM에 쌓인 최근 문의
- 이메일 문의함과 전화 상담 메모
- 상담원이 "또 이 질문이네" 하고 느끼는 항목
- 영업 담당자가 자주 받는 도입 전 질문
모은 질문은 주제별로 묶습니다. 배송, 교환·환불, 결제, 회원 정보, 이용 방법, 요금, 영업시간처럼 5~10개 범주면 충분합니다. 그다음 범주마다 "이 질문에 정답이 적힌 곳이 어디인가"를 확인합니다. 답이 문서에 없다면 지식베이스를 늘리기 전에 먼저 답을 정해야 합니다.
질문의 우선순위를 정합니다
질문을 모두 같은 비중으로 다룰 필요는 없습니다. 자주 묻는 질문, 틀리면 피해가 큰 질문(환불 조건, 요금, 개인정보), 사람이 반드시 확인해야 하는 질문으로 나눠 두십시오. 세 번째 유형은 AI가 답하지 않고 담당자에게 넘기도록 설계하는 편이 안전합니다.
검색되기 쉽게 씁니다: 한 구절에 한 가지 생각
AI는 문서를 처음부터 끝까지 읽고 외우는 존재가 아니라, 질문과 관련 있는 구절을 찾아 읽고 답을 만드는 쪽에 가깝습니다. 그래서 각 구절이 따로 떼어 읽어도 뜻이 통해야 합니다. "위 표를 참고하십시오", "앞서 말씀드린 대로" 같은 표현은 구절이 분리되는 순간 의미를 잃습니다.
작성 원칙은 다음과 같습니다.
- 제목에 고객이 쓰는 말을 넣습니다. 내부 용어인 "RMA 절차" 대신 "교환·반품 신청 방법"이라고 씁니다.
- 한 구절에는 한 가지 주제만 담습니다. 환불과 교환을 한 문단에 섞지 않습니다.
- 결론부터 씁니다. "환불은 수령 후 7일 이내에 신청할 수 있습니다"를 먼저 쓰고 예외는 그다음에 붙입니다.
- 대명사와 생략을 줄입니다. "이 경우"가 아니라 "단순 변심으로 반품하는 경우"라고 씁니다.
- 조건과 예외는 같은 구절 안에 둡니다. 예외가 다른 페이지에 있으면 AI가 예외 없이 답할 수 있습니다.
예시로 보는 고쳐 쓰기
원문이 "반품은 규정에 따라 처리되며 자세한 사항은 고객센터로 문의하십시오"라면, AI는 아무 정보도 얻지 못합니다. 이렇게 고칩니다.
- 반품 가능 기간: 상품을 받은 날부터 7일 이내입니다.
- 반품 배송비: 단순 변심이면 고객이 부담하고, 상품 불량이면 판매자가 부담합니다.
- 반품이 어려운 경우: 포장을 개봉해 재판매가 어려운 상품은 반품할 수 없습니다.
위 숫자는 이해를 돕기 위한 가상의 예시입니다. 실제 정책에 맞는 값으로 바꿔 쓰십시오.
충돌, 공백, 오래된 내용을 다룹니다
지식베이스가 커질수록 문제는 분량이 아니라 일관성에서 생깁니다. 세 가지를 따로 점검하십시오.
충돌
2024년 가격표와 올해 가격표가 둘 다 올라가 있으면 AI는 둘 중 어느 쪽으로든 답할 수 있습니다. 같은 질문에 답이 둘이면 하나를 지우거나, 적용 기간을 문장에 명시하십시오. "2026년 4월 1일부터 적용되는 요금입니다"처럼 날짜를 써 두면 사람이 검토할 때도 도움이 됩니다.
공백
질문 목록을 문서와 대조하면 답이 없는 질문이 드러납니다. 이 질문들은 두 갈래로 나눕니다.
- 답을 정할 수 있는 질문: 문서를 새로 씁니다.
- 사람이 판단해야 하는 질문: AI가 "확인 후 담당자가 안내드리겠습니다"라고 말하고 넘기도록 지침에 적습니다.
모르는 것을 모른다고 말하게 하는 일은 지식베이스만큼 중요합니다. 답이 없을 때 추측해서 말하게 두면 그럴듯한 오답이 나옵니다.
오래된 내용
프로모션, 휴무일, 이벤트 종료일처럼 기한이 있는 내용은 가장 빨리 낡습니다. 기한이 있는 구절에는 종료일을 적고, 달력에 점검 날짜를 넣어 두십시오. 연말연시 휴무 안내가 3월까지 남아 있는 상황은 흔합니다.
내용의 종류별로 알맞은 소스를 고릅니다
모든 내용을 같은 방식으로 넣을 필요는 없습니다. 성격에 따라 맞는 입구가 다릅니다.
| 내용의 성격 | 어울리는 방식 |
|---|---|
| 정확한 문구로 답해야 하는 짧은 질문 (영업시간, 배송비) | Q&A 형태로 직접 작성 |
| 정책 문서, 매뉴얼, 제품 사양서 | 파일 업로드 |
| 공개된 도움말 페이지, 회사 소개 | 웹사이트 가져오기 |
| 사내 위키에서 관리하는 문서 | Notion, Confluence 같은 문서 커넥터 |
| 짧은 공지, 임시 안내 | 텍스트 스니펫 |
| 과거 상담에서 검증된 답변 | 상담 로그에서 수정한 답변 |
선택 기준은 "누가, 어디에서 고치는가"입니다. 이미 위키에서 담당자가 관리하는 문서라면 파일로 복사해 올리기보다 커넥터로 연결하는 편이 낡을 위험이 작습니다. 반대로 한 번 정하면 거의 바뀌지 않는 문구는 Q&A로 고정해 두는 편이 안정적입니다.
출시 전에 실제 질문으로 시험합니다
지식베이스가 잘 만들어졌는지는 직접 물어봐야 알 수 있습니다. 앞에서 모은 질문 목록을 시험 문제로 사용합니다.
시험 방법은 다음과 같습니다.
- 질문 목록에서 범주별로 고르게 20~30개를 뽑습니다.
- 같은 질문을 말투를 바꿔 다시 물어봅니다. "환불 되나요?", "돈 돌려받고 싶어요", "취소하면 언제 입금돼요?"처럼 표현을 달리합니다.
- 오타, 줄임말, 한 문장에 질문 두 개가 섞인 경우도 넣습니다.
- 지식베이스에 일부러 없는 질문도 던져 AI가 모른다고 답하는지 봅니다.
- 답이 틀리면 원인을 구분합니다. 문서에 없었는지, 문서가 모호했는지, 문서끼리 충돌했는지를 기록합니다.
확인할 항목은 정확성, 근거가 된 내용과의 일치, 말투, 넘겨야 할 때 넘기는지 여부입니다. 점수를 매길 필요는 없고, 고칠 곳 목록이 나오면 충분합니다.
예를 들어 가상의 쇼핑몰에 월 300건의 채팅이 들어온다면, 시험 단계에서 30개 질문만 점검해도 반복적으로 틀리는 유형이 두세 가지로 좁혀지는 경우가 많습니다. 이 숫자는 설명을 위한 가정입니다.
출시 후에도 살아 있게 관리합니다
지식베이스는 한 번 만들고 끝나는 자료가 아니라 운영하는 자산입니다. 출시 직후가 오히려 가장 많은 정보를 얻는 시점입니다. 실제 고객은 사내 사람이 상상하지 못한 방식으로 묻기 때문입니다.
- 01대화 기록 검토
- 02틀리거나 못 답한 질문 분류
- 03문서 수정·추가
- 04같은 질문으로 재시험
운영 습관으로 정착시킬 만한 항목은 다음과 같습니다.
- 주기적인 점검: 처음 한 달은 주 1회, 안정되면 월 1회 정도로 대화 기록을 훑어봅니다.
- 부정적 평가 우선 확인: 고객이 낮은 평가를 남긴 대화부터 봅니다.
- 정책 변경과 연동: 요금, 약관, 휴무일이 바뀌면 같은 날 지식베이스도 고친다는 규칙을 둡니다.
- 담당자 지정: 주제별로 수정 책임자를 정합니다. 책임자가 없으면 고쳐지지 않습니다.
- 변경 이력 남기기: 누가 언제 무엇을 바꿨는지 기록해야 답변이 갑자기 달라졌을 때 원인을 찾을 수 있습니다.
AI SNS CHAT에서 적용하는 방법
AI SNS CHAT에서는 사이드바의 Data sources 메뉴에서 지식을 추가합니다. 입구는 Files, Text snippets, Website, Q&A, Notion, Social, Tickets, Suggestions로 나뉘어 있어, 앞서 정리한 내용의 성격에 맞춰 고를 수 있습니다. 정확한 문구가 필요한 짧은 답은 Q&A에, 정책 문서는 Files에, 공개 도움말은 Website에 넣는 식입니다.
사내 문서 도구를 쓴다면 Channels 아래의 커넥터를 검토하십시오. Confluence, GitBook, Guru, Google Drive, OneDrive, Dropbox, Box, SharePoint, Notion 등을 연결할 수 있고, 위키형 커넥터는 한 번의 동기화에서 150만 자와 400페이지까지 읽습니다. 그 범위를 넘으면 잘린 사실이 사용자에게 표시되므로, 큰 위키는 필요한 영역만 연결하는 편이 좋습니다. 사용 가능한 연결 대상은 /connections에서 확인하실 수 있습니다.
시험은 Playground에서 합니다. 질문 목록을 그대로 입력해 보고, 모델을 비교하고 싶다면 Playground의 A/B 모델 비교를 사용할 수 있습니다. 모르는 질문에 대한 동작은 Agent의 페르소나와 가드레일에 "확인되지 않은 내용은 추측하지 말고 담당자 연결을 안내한다"는 식으로 적어 둡니다. 사람이 이어받아야 하는 경우를 위해 Escalations 액션과 Helpdesk의 근무 일정 기능도 있으며, 담당자 알림은 Slack, Teams, 이메일 등으로 보낼 수 있습니다.
출시 후 개선은 Activity → Chat logs에서 시작합니다. 고객의 좋아요/싫어요 평가, 플래그, 필터를 활용해 문제 대화를 찾고, 상담원이 답변을 이상적인 답으로 고쳐 에이전트를 학습시킬 수 있습니다. 이메일 문의는 Inbox에서 같은 방식으로 처리합니다. Analytics의 Topics와 Question history는 어떤 주제가 많이 묻히는지 보여 주므로 문서를 보강할 순서를 정하는 데 쓸 수 있습니다.
운영 측면에서는 Workspace settings → Activity에서 누가 어떤 자료를 추가하고 수정했는지 확인할 수 있고, 각 데이터 소스에도 추가한 사람과 마지막 수정자가 표시됩니다. 또 에이전트에는 복원 지점(에이전트당 최대 40개)이 있어, 큰 수정 전에 되돌릴 지점을 확보해 둘 수 있습니다.
저장 용량은 플랜별로 다릅니다. Free는 30MB, Hobby는 200MB, Standard는 500MB, Pro는 1GB입니다. 큰 파일을 올리기 전에 꼭 필요한 문서인지 먼저 따져 보십시오. 자세한 플랜은 /pricing에서, 기능 전체는 /features에서 확인하실 수 있습니다. 웹사이트 채팅, KakaoTalk 채널, Instagram 등 여러 채널에 같은 에이전트를 배포하므로, 지식베이스를 한 곳에서 고치면 채널 전체의 답이 함께 좋아집니다.
자주 묻는 질문
AI가 잘 답하려면 콘텐츠가 얼마나 있어야 합니까?
분량보다 질문 범위를 덮고 있는지가 중요합니다. 자주 묻는 질문 20~30개에 정확한 답이 있는 상태에서 시작해도 충분히 쓸 만하고, 이후 대화 기록에서 드러난 공백을 채워 가는 방식이 효율적입니다.
가지고 있는 자료를 전부 올려도 됩니까?
권하지 않습니다. 오래된 버전, 내부 메모, 서로 충돌하는 문서가 섞이면 오답의 원인이 됩니다. 고객 질문과 관련 있고 현재 유효한 자료만 올리고, 같은 내용은 원본 한 곳에만 두십시오.
지식베이스에 답이 없을 때 AI는 어떻게 해야 합니까?
추측하지 않고 확인되지 않았다고 알린 뒤 담당자 연결을 안내하도록 하는 것이 안전합니다. 이 동작은 페르소나와 가드레일 지침에 명확히 적어 두고, Playground에서 일부러 답이 없는 질문을 던져 확인하십시오.
지식베이스는 얼마나 자주 검토해야 합니까?
출시 직후 한 달은 주 1회 정도 대화 기록을 보는 것이 좋고, 안정되면 월 1회로 줄여도 됩니다. 요금, 약관, 휴무일 같은 정책이 바뀔 때는 주기와 상관없이 즉시 고치는 규칙을 두십시오.


