본문으로 건너뛰기
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
지식 베이스

환불·요금 약관 답변, AI가 틀리지 않게 하는 지식 관리법

AI SNS CHAT 편집팀게시 8분 읽기

환불, 배송비, 요금 같은 약관 질문에 AI가 정확히 답하게 하려면 어떻게 해야 할까요? 기준 문서, 작성법, 가드레일, 테스트, 점검 루틴을 정리했습니다.

환불 기간, 배송비, 구독 해지 수수료처럼 돈과 직결되는 질문은 AI 상담에서 가장 실수가 아프게 돌아오는 영역입니다. 한 번 잘못 안내하면 고객 불만으로 끝나지 않고, 약속을 지켜야 하는지를 두고 분쟁이 될 수도 있습니다. 이 글에서는 약관 답변이 틀리는 이유를 짚고, 문서 정리부터 가드레일, 테스트, 점검 루틴까지 바로 적용할 수 있는 순서를 설명합니다.

약관 답변이 틀리는 이유

AI가 약관을 틀리게 답하는 원인은 대부분 모델의 성능보다 AI에게 준 자료에 있습니다. 자주 보이는 패턴은 다음과 같습니다.

  • 같은 정책이 여러 곳에 다르게 적혀 있습니다. 이용약관, 상품 상세 페이지, 공지사항, 예전 FAQ에서 환불 기한이 각각 7일, 14일, "수령 후 일주일 이내"로 되어 있는 경우입니다.
  • 문장이 모호합니다. "합리적인 기간 내 환불 가능"이라고 쓰면 사람도 해석이 갈리는데, AI는 그럴듯한 숫자를 채워 넣을 수 있습니다.
  • 예외가 빠져 있습니다. 맞춤 제작 상품, 개봉한 식품, 할인 쿠폰 사용 건 같은 예외가 본문에 없으면 AI는 원칙만 안내합니다.
  • 오래된 내용이 남아 있습니다. 정책을 바꿨는데 예전 PDF가 그대로 학습 자료에 남아 있는 경우입니다.
  • 자료에 없는 질문에 억지로 답합니다. 근거가 없을 때 일반 상식으로 채우는 것이 가장 위험합니다.

예를 들어 한 온라인 쇼핑몰에서 월 300건의 채팅이 들어오고 그중 환불·교환 질문이 3분의 1이라고 가정해 보겠습니다(가정 예시입니다). 이 100건에 대한 답이 서로 다른 문서에서 나온다면, 같은 질문에 다른 답이 나갈 가능성이 그만큼 커집니다. 문제의 출발점은 "AI가 틀렸다"가 아니라 "기준이 하나가 아니었다"입니다.

기준 문서는 하나만 둡니다

첫 번째 작업은 정책의 원본, 즉 기준 문서(source of truth)를 하나로 정하는 것입니다.

정리하는 순서

  1. 환불·교환, 배송비, 요금제, 해지·위약금, 개인정보처럼 질문이 많은 정책 주제를 나열합니다.
  2. 주제별로 현재 존재하는 모든 문서(약관 페이지, 상품 페이지, 공지, 내부 매뉴얼, 과거 FAQ)를 찾아 비교합니다.
  3. 내용이 충돌하면 실제로 운영하는 규칙을 담당자가 확정합니다.
  4. 확정된 내용만 AI 지식 자료로 남기고, 낡은 문서는 제거하거나 보관용으로 분리합니다.
  5. 각 정책 문서에 "시행일"과 "담당자"를 적어 둡니다.

카카오톡 채널, 웹사이트 채팅, 인스타그램 DM에서 같은 질문을 받더라도 답의 근거는 같은 문서여야 합니다. 채널별로 안내문을 따로 만들기 시작하면 수정할 때 한 곳이 빠지기 쉽습니다.

AI가 적용할 수 있게 정책을 씁니다

사람은 맥락으로 빈틈을 메우지만, AI는 적힌 문장을 근거로 삼습니다. 그래서 정책은 조건, 결과, 예외, 기한, 문의 경로가 한눈에 보이게 써야 합니다.

모호한 문장
답변하기 좋은 문장
상품에 문제가 있으면 합리적인 기간 내 환불 가능
상품 하자는 수령일로부터 7일 이내에 신청하면 전액 환불됩니다
단순 변심은 조건에 따라 환불이 제한될 수 있음
단순 변심은 수령 후 7일 이내, 미개봉 상태일 때만 가능하며 왕복 배송비는 고객 부담입니다
특별 상품은 별도 안내
맞춤 제작 상품과 개봉한 식품은 하자가 없는 한 환불이 불가합니다
자세한 사항은 문의 바랍니다
예외 사례는 상담원이 확인합니다. 주문번호를 준비해 주세요
모호한 정책 문장 vs. 답변하기 좋은 정책 문장설명용 예시

작성할 때 지킬 원칙

  • 숫자와 단위를 명확히 씁니다. "며칠", "영업일 기준인지 달력일 기준인지", "부가세 포함 여부"를 적습니다.
  • 조건은 "만약 ~라면 ~입니다" 형태로 씁니다. 한 문장에 조건을 여러 개 섞지 말고 항목으로 나눕니다.
  • 예외를 본문 바로 아래에 둡니다. 예외가 다른 페이지에 있으면 AI가 함께 찾지 못할 수 있습니다.
  • 질문 형태로도 적어 둡니다. 고객은 "환불 돼요?", "취소하면 돈 언제 들어와요?"처럼 묻습니다. Q&A 형식으로 자주 쓰는 표현을 함께 넣으면 매칭이 쉬워집니다.
  • 모르면 모른다고 쓰는 영역을 정합니다. "이 문서에 없는 사례는 상담원에게 연결합니다"라는 원칙도 문서에 명시합니다.

요금 정책도 같습니다. "월 구독료는 매월 결제일에 청구되며, 해지는 다음 결제일 전날까지 신청하면 다음 달부터 청구되지 않습니다"처럼 날짜 기준을 문장 안에 넣어 두면 AI가 계산을 임의로 하지 않습니다.

AI가 결정하면 안 되는 영역을 정합니다

정확한 문서가 있어도 AI에게 맡기면 안 되는 일이 있습니다. 가드레일은 "무엇을 아는가"가 아니라 "무엇을 결정하는가"의 경계입니다.

사람에게 넘길 대표 사례

  • 정책 예외 승인(기한이 하루 지난 환불, 쿠폰 사용 건의 부분 환불 등)
  • 법적 해석이나 분쟁에 대한 판단
  • 개별 할인, 보상, 포인트 지급 약속
  • 문서에 없는 사례에 대한 추측
  • 고객의 감정이 격해져 있는 불만 접수

AI는 "해드릴 수 있습니다"라고 약속하는 대신, 확인된 규칙을 안내한 뒤 "예외 여부는 담당자가 확인합니다"로 이어 가야 합니다. 이때 대기 시간을 AI가 임의로 말하지 않는 것도 중요합니다. 지킬 수 없는 시간 약속이 가장 큰 불만의 씨앗이기 때문입니다.

  1. 01고객이 환불·요금 질문
  2. 02기준 문서에서 근거 확인
  3. 03근거가 있으면 조건과 예외까지 안내
  4. 04근거가 없거나 예외 요청이면 상담원 연결
정책 질문을 처리하는 흐름설명용 예시

이 흐름에서 핵심은 세 번째와 네 번째 단계의 분기입니다. "근거가 있다"는 말은 문서에 적힌 그대로 답할 수 있다는 뜻이고, 그렇지 않으면 추측하지 않고 넘긴다는 뜻입니다.

공개 전과 변경 때마다 테스트합니다

정책 답변은 한 번 잘 나왔다고 안심할 수 없습니다. 문서를 하나 고치면 다른 질문의 답이 달라질 수 있기 때문입니다. 테스트용 질문 세트를 만들어 두고 반복해서 돌려 보세요.

질문 세트 구성 예시

  1. 기본 질문: "환불 기한이 어떻게 되나요?"
  2. 경계 질문: "받은 지 8일째인데 환불 되나요?"
  3. 예외 질문: "맞춤 제작한 상품인데 마음이 바뀌었어요."
  4. 조합 질문: "쿠폰 쓰고 샀는데 일부만 반품하면 얼마가 돌아오나요?"
  5. 말투 변형: 카카오톡에서 쓰는 짧은 말투, "환불ㄱㄴ?", "취소하면 돈 언제 줘요?"
  6. 함정 질문: 문서에 없는 내용, 예를 들어 "해외 배송도 무료 반품 되죠?"처럼 전제를 깔고 묻는 경우
  7. 압박 질문: "지난번 상담원은 된다고 했는데요."

각 질문마다 기대하는 답을 한 줄로 적어 두고, 실제 답과 비교합니다. 함정 질문과 압박 질문에서는 AI가 추측하거나 약속하지 않고 확인 절차로 넘기는지를 봐야 합니다.

테스트는 정책을 바꿀 때마다 같은 세트로 다시 합니다. 새 문서가 기존 답을 망가뜨리는 경우를 이 단계에서 걸러 낼 수 있습니다.

간단한 루틴으로 최신 상태를 유지합니다

정책 관리는 거창한 프로젝트보다 작은 루틴이 낫습니다.

  • 정책이 바뀌는 날: 기준 문서를 먼저 고치고, 이어서 AI 지식 자료를 갱신한 뒤 테스트 세트를 돌립니다. 이 순서를 업무 체크리스트에 넣습니다.
  • 매주: 낮은 평가를 받은 대화와 상담원으로 넘어간 대화를 훑어봅니다. 같은 주제에서 반복되는 실수가 있는지 봅니다.
  • 매월: 자주 들어온 질문 주제를 보고, 문서가 없는 주제에 새 항목을 추가합니다.
  • 분기마다: 모든 정책 문서의 시행일과 담당자를 확인하고, 시즌 이벤트나 명절 배송 같은 한시 정책이 남아 있는지 점검합니다.

틀린 답을 발견했을 때는 그 대화만 고치지 말고 원인을 찾아야 합니다. 문서가 모호했는지, 예외가 빠졌는지, 낡은 자료가 남아 있었는지를 확인하고 근본 자료를 수정합니다. 그래야 같은 오류가 다시 나오지 않습니다. 고친 뒤에는 그 질문을 테스트 세트에 추가하세요.

수정 권한도 정해 두는 것이 좋습니다. 약관 내용은 소수의 담당자만 편집하고, 나머지 팀원은 읽기나 대화 확인 위주로 두면 실수로 정책이 바뀌는 일을 줄일 수 있습니다.

AI SNS CHAT에서 실행하는 방법

AI SNS CHAT에서는 위 순서를 다음 기능으로 옮길 수 있습니다.

1. 지식 자료 정리. 사이드바의 Data sources에서 Files, Text snippets, Website, Q&A, Notion 등을 추가할 수 있습니다. 환불·요금처럼 답이 정해진 항목은 Q&A나 Text snippets로 짧고 명확하게 넣고, 긴 약관 원문은 Files나 Website로 연결하는 구성이 관리하기 편합니다. Confluence, GitBook, Google Drive 같은 문서 커넥터는 Channels 아래에서 연결합니다. 위키 커넥터는 한 번의 동기화에 150만 자, 400페이지까지 읽으며 잘렸을 때는 알려 줍니다. 각 데이터 소스에는 누가 추가했고 마지막으로 누가 수정했는지가 표시되어 낡은 자료를 찾기 쉽습니다.

2. 가드레일 설정. 에이전트의 페르소나와 가드레일에 "문서에 없는 정책은 추측하지 않는다", "예외 승인과 보상 약속은 하지 않는다"를 적어 둡니다. 사람에게 넘기는 경로는 Escalations 액션으로 구성합니다. 넘길 때 안내되는 "다음에 어떻게 진행되는지"는 서버가 근무 일정을 읽고 붙이며, 대기 시간을 지어내지 않습니다. Helpdesk의 Scheduling으로 교대 근무를 설정하면 담당자가 자동 배정되는데, Helpdesk는 Standard 이상 플랜에서 사용합니다.

3. 테스트. 에이전트를 공개하기 전에 Playground에서 앞서 만든 질문 세트를 입력해 확인합니다. 설정을 크게 바꾸기 전에는 복원 지점(에이전트당 최대 40개)을 두면 문제가 생겼을 때 되돌릴 수 있습니다.

4. 오답 교정. Activity의 Chat logs에서 필터와 👍/👎 평가로 문제 대화를 찾고, 답변을 이상적인 답으로 고쳐 에이전트를 학습시킬 수 있습니다. 이메일은 Inbox에서 같은 방식으로 처리합니다. 그다음 근본 원인이 되는 문서도 함께 고칩니다.

5. 권한과 이력. 역할은 Owner, Co-owner, Member, Support, Viewer로 나뉘고 멤버별 권한을 조정할 수 있습니다. Workspace settings → Activity에서는 생성, 수정, 삭제, 업로드 기록을 이름, 이메일, 기능, 시간과 함께 볼 수 있어 정책 변경 이력을 추적하는 데 도움이 됩니다.

6. 채널. 같은 지식 자료로 웹사이트 채팅 위젯, KakaoTalk, Instagram 등 여러 채널을 연결할 수 있습니다. 연결 가능한 채널은 /connections에서 확인하세요. 플랜별 한도는 /pricing에, 기능 전체는 /features에 정리되어 있습니다.

참고로 지식 베이스에 답이 없을 때 웹에서 답을 찾는 기능은 LINE WORKS에서만 제공되므로, 한국 고객 채널에서는 자체 문서를 충실히 채우는 것이 정확도의 핵심입니다.

자주 묻는 질문

문서에 없는 정책 질문에 AI가 추측해서 답해도 되나요?

권장하지 않습니다. 가드레일에 "근거 문서가 없으면 추측하지 않고 상담원에게 연결한다"를 명시하고, Playground에서 문서에 없는 함정 질문으로 실제 동작을 확인하세요. 자주 나오는 미등록 질문은 Q&A로 추가하면 됩니다.

틀린 답을 고쳤는데 다시 나오지 않게 하려면 어떻게 하나요?

해당 대화의 답만 고치지 말고 원인이 된 문서를 함께 수정해야 합니다. 모호한 문장, 빠진 예외, 낡은 자료 중 무엇인지 확인한 뒤 그 질문을 테스트 세트에 넣어 두고, 정책을 바꿀 때마다 다시 실행하세요.

정책 내용은 누가 편집하도록 해야 하나요?

약관 담당자 등 소수에게만 편집 권한을 주고, 나머지는 Support나 Viewer 같은 역할로 대화 확인 위주로 쓰게 하는 것이 안전합니다. 변경 이력은 Workspace settings의 Activity에서 확인할 수 있습니다.

정책 답변은 얼마나 자주 점검해야 하나요?

정책이 바뀔 때는 즉시, 평소에는 주 단위로 낮은 평가 대화를 보고 월 단위로 질문 주제를 살피는 정도를 권합니다. 분기마다 시행일이 지난 한시 정책이 남아 있는지도 확인하세요.

#약관 답변#지식 베이스#환불 정책#AI 상담 정확도#가드레일

AI SNS CHAT으로 바로 실천해 보세요

자사 콘텐츠로 학습한 AI 에이전트를 만들고 웹사이트, LINE, WhatsApp 등에 연결하세요. 무료로 시작하며 신용카드가 필요 없습니다.