본문으로 건너뛰기
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
지식 베이스

지식 베이스 최신 상태 유지하기: AI 상담 답변을 지키는 운영 루틴

AI SNS CHAT 편집팀게시 7분 읽기

AI 상담 에이전트의 지식 베이스가 낡지 않도록 점검, 담당자 지정, 대화 기반 개선, 안전한 변경 방법을 정리했습니다.

AI 상담 에이전트를 처음 열었을 때는 답변이 정확했는데, 몇 달 뒤 고객이 "그 이벤트는 이미 끝났잖아요"라고 말하는 일이 생깁니다. 에이전트가 갑자기 나빠진 것이 아니라 지식 베이스가 현실을 따라가지 못한 것입니다. 이 글에서는 큰 공사 없이 유지할 수 있는 점검, 담당 지정, 개선 루틴을 단계별로 정리합니다.

지식 베이스는 왜 낡을까요

지식 베이스는 한 번 만들고 끝나는 문서가 아니라 회사의 현재 상태를 비추는 거울입니다. 거울이 낡는 이유는 대개 비슷합니다.

  • 정책 변경이 전달되지 않습니다. 배송비, 환불 기간, 영업시간이 바뀌었는데 상담 담당자만 알고 지식 베이스는 그대로입니다.
  • 같은 내용이 여러 곳에 있습니다. 웹사이트 FAQ, 노션 문서, 업로드한 PDF에 같은 내용이 따로 있으면 하나만 고쳐도 나머지가 예전 답을 냅니다.
  • 기한이 있는 정보가 남아 있습니다. 시즌 프로모션, 임시 휴무 안내, 지난 신제품 출시 공지가 대표적입니다.
  • 주인이 없습니다. 모두가 "누군가 고치겠지"라고 생각하면 아무도 고치지 않습니다.

한 가지 알아 둘 점이 있습니다. 낡은 정보는 에이전트가 모른다고 답하는 경우보다 자신 있게 틀리게 답하는 경우가 더 위험합니다. 그래서 답이 없는 질문만 볼 것이 아니라 틀린 답도 정기적으로 찾아야 합니다.

다시 쓰기 전에 먼저 목록을 만드세요

지식 베이스가 엉망이라고 느끼면 처음부터 다시 쓰고 싶어집니다. 하지만 대부분은 목록을 먼저 만드는 편이 빠르고 안전합니다.

소스 인벤토리 만들기

스프레드시트 한 장이면 충분합니다. 소스마다 아래 항목을 적습니다.

  1. 소스 이름과 종류 (파일, 텍스트, 웹사이트, Q&A, 외부 문서 연동 등)
  2. 다루는 주제 (배송, 환불, 회원, 제품 사양 등)
  3. 마지막으로 내용을 확인한 날짜
  4. 담당자
  5. 판정: 유지 / 수정 / 통합 / 삭제

판정 기준

  • 같은 주제가 두 곳 이상에 있으면 가장 최신이고 신뢰할 수 있는 한 곳만 남깁니다.
  • 날짜가 지난 안내는 삭제하거나 "종료됨"을 명시한 내용으로 바꿉니다.
  • 아무도 내용을 설명하지 못하는 소스는 일단 보류하고, 대화 기록에서 실제로 쓰이는지 확인합니다.

담당자와 검토 리듬을 정하세요

점검표는 사람이 정해져야 돌아갑니다. 규모가 작아도 역할은 나누는 편이 좋습니다.

역할하는 일
총괄 담당전체 소스 구조와 한도를 관리하고 월간 정리를 진행합니다
주제별 담당배송은 물류팀, 결제는 CS팀처럼 해당 정책을 아는 사람이 내용을 확인합니다
변경 알림 담당정책, 가격, 이벤트가 바뀔 때 지식 베이스 수정 요청을 올립니다

현실적인 검토 주기

  • 매주 30분: 틀린 답변이나 답하지 못한 질문을 보고 고칠 항목을 처리합니다.
  • 매월: 기한이 있는 정보와 가격, 정책 문서를 확인합니다.
  • 분기별: 소스 전체를 인벤토리와 맞춰 보고 중복과 오래된 파일을 정리합니다.
  • 수시: 가격 개편, 신제품, 약관 변경처럼 큰 변화가 있으면 공지와 같은 날 반영합니다.

주기는 문의 규모에 맞게 조정하시면 됩니다. 중요한 것은 달력에 고정해 두는 것입니다.

실제 대화가 무엇을 고칠지 알려 줍니다

무엇을 고칠지 회의실에서 추측하기보다, 고객이 실제로 나눈 대화를 보는 편이 정확합니다. 웹사이트 채팅이든 카카오톡 채널이든 인스타그램 문의든, 고객은 같은 지식 베이스에 질문하기 때문입니다.

예를 들어 한 쇼핑몰의 카카오톡 채널에서 "교환 신청은 어디서 하나요?"라는 질문에 에이전트가 옛 게시판 주소를 안내하고 있다고 가정해 보겠습니다. 웹사이트 채팅에서는 같은 질문에 맞게 답하는데도 말입니다. 이 경우 채널이 문제가 아니라 두 소스가 서로 다른 내용을 담고 있다는 신호입니다.

대화를 볼 때 확인할 신호

  • 고객이 낮은 평가(싫어요)를 남긴 대화
  • 상담원에게 넘어간 대화와 그 이유
  • 같은 질문이 여러 번 반복되는 주제
  • 에이전트가 모른다고 답했거나 답이 흔들린 질문
  • 상담원이 직접 고쳐 쓴 답변
  1. 01대화 기록 확인
  2. 02틀린 답과 빈틈 표시
  3. 03소스 수정 또는 이상적 답변 등록
  4. 04테스트 후 반영
매주 반복하는 개선 루프설명용 예시

이 루프를 매주 한 번만 돌려도 지식 베이스는 실제 문의에 맞춰 조금씩 다듬어집니다. 틀린 답을 가장 빨리 고치는 방법은 대부분 해당 질문에 대한 정답을 직접 등록하는 것입니다. 원인이 소스 중복이라면 그 뒤에 근본 정리를 하면 됩니다.

소스는 깔끔하게, 한도 안에서 관리하세요

소스가 많을수록 좋은 것은 아닙니다. 오래된 문서가 섞이면 에이전트가 참조할 후보가 늘어나 엇갈린 답이 나올 수 있고, 저장 용량도 소모됩니다.

정리 원칙

  • 한 주제에 한 소스를 원칙으로 합니다.
  • 긴 PDF 한 권보다 주제별로 나눈 짧은 문서가 관리하기 쉽습니다.
  • 자주 바뀌는 정보(가격, 재고 안내, 영업시간)는 별도 소스로 분리해 그 부분만 갱신하게 합니다.
  • 외부 문서 도구를 연동한 경우, 한 번에 가져올 수 있는 분량에 한도가 있으므로 꼭 필요한 공간만 연결합니다.

플랜별 저장 용량도 다릅니다. 예를 들어 Free는 30MB, Standard는 500MB입니다. 한도에 닿기 전에 정리하는 습관이 필요합니다.

정리 전 전체 소스
42
중복 소스
11
기한 지난 소스
7
정리 후 전체 소스
24
예시: 분기 정리 전후의 소스 수 (가상의 수치)설명용 예시

위 숫자는 이해를 돕기 위한 가상의 예시입니다. 실제 사례가 아니라, 정리 과정에서 중복과 기한 지난 항목이 얼마나 쉽게 쌓이는지 보여 주려는 그림입니다.

안전하게 바꾸세요: 테스트, 기록, 되돌리기

지식 베이스를 고치다가 다른 답이 망가지는 일이 있습니다. 그래서 변경에는 세 가지 안전장치가 필요합니다.

1. 반영 전에 시험해 보기

수정한 뒤에는 고객이 쓰는 채널에 내보내기 전에 테스트 화면에서 같은 질문을 던져 봅니다. 고친 질문 하나만 보지 말고, 관련된 질문 서너 개를 함께 확인하세요. 예를 들어 환불 정책을 고쳤다면 "환불 기간", "교환 가능 여부", "배송비 부담"을 모두 물어봅니다.

2. 누가 무엇을 바꿨는지 남기기

변경 기록이 없으면 문제가 생겼을 때 원인을 찾기 어렵습니다. 변경 이력을 확인할 수 있는 곳을 팀이 알고 있어야 합니다.

3. 되돌릴 방법 확보하기

큰 변경 전에는 현재 상태를 저장해 두고, 결과가 나쁘면 되돌립니다. 위험한 변경을 운영 중인 에이전트에 바로 하기 불안하다면, 복제본에서 먼저 시험하는 방법도 있습니다.

한 장짜리 점검표와 마무리

복사해서 팀 문서에 붙여 두기 좋은 점검표입니다.

매주

  • 낮은 평가와 상담원 연결 대화를 확인했습니다.
  • 틀린 답은 정답을 등록하거나 소스를 수정했습니다.
  • 수정 후 관련 질문 몇 개를 테스트했습니다.

매월

  • 가격, 정책, 영업시간 문서를 확인했습니다.
  • 기한이 지난 이벤트와 공지를 정리했습니다.
  • 외부 문서 연동 소스를 다시 불러와 최신 상태인지 확인했습니다.

분기마다

  • 인벤토리와 실제 소스를 대조했습니다.
  • 중복 소스를 통합하고 오래된 파일을 삭제했습니다.
  • 담당자 목록과 저장 용량을 점검했습니다.

지식 베이스 운영은 거창한 프로젝트가 아니라 작은 습관의 반복입니다. 매주 30분, 매월 한 번의 점검, 분기마다 한 번의 정리만 지켜도 에이전트의 답변은 회사의 현재와 가까운 상태를 유지합니다.

AI SNS CHAT에서 운영하는 방법

앞의 루틴은 AI SNS CHAT의 화면 구성과 자연스럽게 이어집니다. 아래는 제품에 실제로 있는 기능만 기준으로 한 순서입니다.

소스 확인과 정리

사이드바의 Data sources에는 파일, 텍스트 스니펫, 웹사이트, Q&A, Notion, Social, Tickets, Suggestions가 있습니다. 인벤토리를 만들 때 이 항목별로 훑어보면 됩니다. 각 데이터 소스에는 누가 추가했고 누가 마지막으로 수정했는지가 표시되므로, 담당자를 찾기가 쉽습니다.

Confluence, GitBook, Google Drive, SharePoint 같은 문서 도구는 Channels의 커넥터로 연결합니다. 위키 계열 커넥터는 한 번의 동기화에서 최대 150만 자, 400페이지까지 읽으며, 한도를 넘어 잘리면 그 사실이 알려집니다. Notion은 필요할 때 다시 읽어 오는 방식이므로, 문서를 고친 뒤에는 다시 불러오고 결과를 확인하는 습관을 들이세요.

대화에서 개선점 찾기

Activity → Chat logs에서 필터, 깃발 표시, 에스컬레이션, 해결 처리, 엄지 평가를 볼 수 있습니다. 이메일은 Inbox에서, 그 외 채널의 대화는 Chat logs에서 확인합니다. 상담원이 직접 개입해 답을 고쳐 쓴 뒤 그 답변을 이상적인 답으로 에이전트에게 학습시킬 수도 있습니다. 카카오톡 채널(KakaoTalk 연결 지원), 웹사이트 채팅 위젯, Instagram 문의가 같은 에이전트를 쓴다면 개선 효과가 채널 전체에 반영됩니다. Analytics의 Topics, Question history, Sentiment도 반복 주제를 찾는 데 도움이 되며, 고급 분석은 Pro 플랜이 필요합니다.

안전하게 바꾸기

  • Playground: 반영 전에 같은 질문을 던져 답을 확인합니다. A/B 모델 비교 화면도 있습니다.
  • 복원 지점: 에이전트당 최대 40개까지 만들어 두고 되돌릴 수 있습니다.
  • Duplicate: 페르소나, 모델, 학습 데이터를 복사해 시험용 에이전트를 만들 수 있습니다. 대화 기록은 복사되지 않습니다.
  • 백업: 매일 밤 내려받을 수 있는 스냅숏이 만들어지며 최근 7개가 보관됩니다.
  • Workspace settings → Activity: 소유자와 관리자가 생성, 수정, 삭제, 업로드 기록을 이름, 이메일, 기능, 시간과 함께 확인합니다.

운영 도우미 Synthia

화면 위치가 헷갈리면 Synthia에게 물어보세요. 음성이나 텍스트로 안내하고, 해당 화면으로 이동해 조작할 위치를 강조해 줍니다.

저장 용량이 부족하면 플랜을 올리거나 추가 용량을 구매할 수 있습니다. 자세한 내용은 요금제와 기능 소개에서 확인하세요.

자주 묻는 질문

AI 에이전트의 지식 베이스는 얼마나 자주 점검해야 하나요?

문의량이 많지 않아도 매주 30분 정도 대화 기록을 보고, 월 단위로 가격과 정책을 확인하며, 분기마다 소스를 정리하는 리듬을 권합니다. 가격 개편이나 약관 변경 같은 큰 변화는 공지와 같은 날 반영하세요. 문의가 많은 조직이라면 주간 점검의 시간을 늘리는 방식으로 조정하시면 됩니다.

틀린 답변을 가장 빨리 고치는 방법은 무엇인가요?

해당 대화를 Chat logs에서 찾아 올바른 답으로 고쳐 쓰고, 이상적인 답변으로 에이전트에게 학습시키는 방법이 가장 빠릅니다. 그다음 원인이 오래된 소스나 중복 소스라면 해당 소스를 수정하거나 정리하세요. 수정 후에는 Playground에서 같은 질문을 다시 확인하는 것이 좋습니다.

지식 소스를 누가 바꿨는지 확인할 수 있나요?

네. 각 데이터 소스에 추가한 사람과 마지막으로 수정한 사람이 표시되고, 소유자와 관리자는 Workspace settings의 Activity에서 생성, 수정, 삭제, 업로드 기록을 이름과 시간 기준으로 볼 수 있습니다.

업데이트 후 답변이 오히려 나빠지면 어떻게 하나요?

큰 변경 전에 복원 지점을 만들어 두었다면 그 시점으로 되돌릴 수 있습니다. 복원 지점은 에이전트당 최대 40개까지 보관됩니다. 변경 전에 Playground에서 시험하거나 Duplicate로 만든 복제 에이전트에서 먼저 확인하면 문제를 더 일찍 발견할 수 있습니다.

문서 도구에서 내용을 고치면 에이전트가 자동으로 알게 되나요?

자동으로 반영된다고 가정하지 않는 편이 안전합니다. Notion은 필요할 때 다시 읽어 오는 방식이고, 위키 계열 커넥터는 동기화 때마다 읽는 분량에 한도가 있습니다. 문서를 고친 뒤에는 다시 불러오고, 질문을 던져 새 내용이 반영되었는지 확인하세요.

#지식 베이스#운영 루틴#AI 상담#카카오톡#품질 관리

AI SNS CHAT으로 바로 실천해 보세요

자사 콘텐츠로 학습한 AI 에이전트를 만들고 웹사이트, LINE, WhatsApp 등에 연결하세요. 무료로 시작하며 신용카드가 필요 없습니다.