AI 상담의 자체 해결률이 부풀려지는 이유와, 용어 정의·표본 검수·에스컬레이션 처리까지 믿을 수 있는 측정 방법을 정리합니다.
"AI가 상담의 70%를 처리하고 있습니다." 보고서에 이런 숫자가 적혀 있다면, 그 70%가 정말 문제가 해결된 비율인지 확인해 보셨습니까? 많은 팀이 "사람에게 넘어가지 않은 대화"를 곧바로 "해결된 대화"로 계산하고, 그 결과 숫자는 실제보다 높게 나옵니다.
이 글에서는 자체 해결률이 왜 과대평가되기 쉬운지, 어떤 순서로 정의하고 표본을 뽑아 검증해야 하는지, 그리고 경영진이 신뢰할 수 있는 형태로 보고하는 방법을 정리합니다. 웹사이트 채팅, 카카오톡 채널, Instagram DM 어디에나 적용할 수 있는 방식입니다.
눈에 보이는 해결률이 왜 오해를 부르는가
가장 흔한 계산식은 다음과 같습니다.
이 숫자는 정확히 말하면 해결률이 아니라 봉쇄율(containment rate), 즉 AI 안에서 대화가 끝난 비율입니다. 대화가 사람에게 넘어가지 않았다는 사실만 알려 줄 뿐, 고객이 원하는 답을 얻었는지는 말해 주지 않습니다.
봉쇄율이 높아 보이는 대표적인 이유는 다음과 같습니다.
- 고객이 포기한 경우: 답이 마음에 들지 않아 창을 닫았지만 기록상으로는 "AI가 끝낸 대화"입니다.
- 다른 경로로 이동한 경우: 채팅을 닫고 전화나 이메일로 다시 문의했다면, 같은 문제가 두 번 집계됩니다.
- 인사만 오간 대화: "안녕하세요"만 보내고 떠난 대화가 분모와 분자에 모두 들어갑니다.
- 틀린 답을 자신 있게 한 경우: 고객이 만족한 듯 보여도 안내가 잘못되었을 수 있습니다.
카카오톡 채널처럼 대화가 이어지는 환경에서는 고객이 답이 없는 채로 며칠 뒤 다시 말을 거는 일도 흔합니다. 이런 대화를 하나의 건으로 볼지, 둘로 볼지부터 정해야 합니다.
세기 전에 용어부터 정의합니다
지표가 흔들리는 가장 큰 원인은 팀마다 "해결"의 기준이 다르다는 점입니다. 숫자를 세기 전에 다음 항목을 문서로 정해 두십시오.
1. 집계 단위
- 대화(conversation): 한 번의 연속된 대화 흐름
- 문의(issue): 고객이 해결하려는 하나의 용건
한 대화에 배송 문의와 환불 문의가 함께 들어 있다면 문의 단위로 나누는 편이 정확합니다. 처음에는 대화 단위로 시작하되, 어느 쪽을 쓰는지 명시하십시오.
2. 분모에서 제외할 대화
- 스팸, 테스트 대화, 의미 없는 입력
- 인사만 하고 끝난 대화
- 회사가 AI의 범위 밖으로 정한 문의(예: 법률 판단이 필요한 건)
제외 기준은 한 번 정하면 월별로 바꾸지 않아야 추이를 비교할 수 있습니다.
3. "해결"의 정의
예를 들어 다음과 같이 쓸 수 있습니다. "고객이 요청한 정보를 정확하게 받았거나 요청한 처리가 완료되었으며, 같은 용건으로 7일 이내에 재문의하지 않은 경우." 정확성, 완결성, 재문의 여부 세 가지가 들어가야 합니다. 재문의 확인 기간은 업종에 맞게 3일, 7일, 14일 중에서 고르면 됩니다.
지표를 층층이 쌓아 만듭니다
하나의 숫자 대신 여러 층으로 나누면 어디에서 새는지 보입니다.
- 01전체 대화 수집
- 02제외 대상 걸러내기
- 03봉쇄율 계산
- 04표본 검수·재문의 확인으로 검증 해결률 산출
1층: 봉쇄율
분모에서 제외 대상을 뺀 뒤, 사람에게 넘어가지 않은 대화의 비율을 구합니다. 이 숫자는 "상한선"으로만 취급하십시오.
2층: 포기·이탈 보정
AI가 답한 뒤 고객이 아무 반응 없이 떠난 대화를 별도로 표시합니다. 이 대화는 해결로 단정할 수 없으므로, 표본 검수에서 따로 살펴봅니다.
3층: 재문의 보정
같은 고객이 정한 기간 안에 같은 용건으로 다시 연락했다면 해결에서 제외합니다. 채널이 달라도(웹 채팅에서 카카오톡으로) 같은 고객이면 연결해서 보는 편이 좋습니다.
4층: 검수 기반 정확도
사람이 직접 대화를 읽고 "정확하고 완결된 답이었는가"를 판정합니다. 최종 숫자는 이 검수 결과를 전체에 적용해 얻습니다.
가상의 예를 들어 보겠습니다. 월 300건의 대화 중 제외 대상을 뺀 뒤 봉쇄율이 70%였다고 하겠습니다. 이 중 일부는 포기·이탈이고 일부는 재문의, 일부는 오답이었다고 가정하면 검증 해결률은 56%로 내려갈 수 있습니다.
숫자가 줄어든 것은 실패가 아닙니다. 이제부터 개선할 대상이 어디인지 알 수 있다는 뜻입니다.
편한 표본이 아니라 제대로 된 표본을 뽑습니다
검수할 대화를 고를 때 흔히 저지르는 실수는 눈에 띄는 대화, 즉 불만이 있거나 길이가 긴 대화만 읽는 것입니다. 이렇게 하면 결과가 한쪽으로 치우칩니다.
표본 추출 원칙
- 무작위로 뽑습니다. 전체 목록에서 일정 간격으로 추출하거나 무작위 선택을 합니다.
- 채널별로 나눕니다. 웹사이트 채팅, 카카오톡, Instagram은 고객의 말투와 문의 유형이 다릅니다. 각 채널에서 뽑으십시오.
- 주제별로 나눕니다. 배송, 결제, 환불, 제품 사양처럼 주제별로 최소한의 건수를 확보합니다.
- 판정 기준을 문서화합니다. 검수자가 둘 이상이면 같은 대화를 함께 판정해 보고 기준이 일치하는지 점검합니다.
몇 건을 볼지는 대화량에 따라 다릅니다. 월 300건 규모라면 가능한 범위에서 상당 비율을 읽어 보는 것이 좋고, 대화량이 수천 건이라면 주제별로 수십 건씩 정기적으로 뽑는 방식이 현실적입니다. 정해진 정답은 없으니, 팀이 매달 꾸준히 지킬 수 있는 분량으로 시작하십시오. 표본이 작을수록 숫자의 오차가 크다는 점은 보고서에 함께 적어야 합니다.
고객 신호를 활용하되 편향을 알고 쓰십시오
좋아요·싫어요 평가, 감사 인사, 재문의 여부는 유용한 단서입니다. 다만 각각 편향이 있습니다.
| 신호 | 장점 | 편향 |
|---|---|---|
| 엄지 척/평가 | 고객의 직접 의견 | 평가하는 고객이 소수이고, 극단적인 경험에 몰립니다 |
| "감사합니다" 같은 인사 | 대화 내용에서 바로 확인 | 예의상의 인사일 수 있고, 오답에도 감사하는 경우가 있습니다 |
| 재문의 없음 | 객관적으로 확인 가능 | 포기한 고객도 재문의하지 않습니다 |
| 상담원 연결 요청 | 불만의 명확한 신호 | 연결 버튼을 못 찾은 고객은 집계되지 않습니다 |
결론적으로 어떤 신호도 단독으로 "해결"의 증거가 되지 못합니다. 엄지 척을 받은 대화를 곧바로 해결로 세기보다, 검수 표본에 포함해 실제 정확도와 비교하는 보조 지표로 쓰는 편이 안전합니다.
에스컬레이션을 공정하게 처리합니다
사람에게 넘어간 대화를 모두 AI의 실패로 보면 AI가 위험한 질문까지 억지로 붙잡도록 유도하게 됩니다. 반대로 에스컬레이션을 무조건 정상으로 보면 개선 기회를 놓칩니다. 유형을 나눠 보십시오.
- 의도된 에스컬레이션: 환불 승인, 계약 변경처럼 정책상 사람이 처리해야 하는 건. 이는 실패가 아니라 설계된 동작입니다. 분모에서 별도 분류하거나 "정상 이관"으로 표시합니다.
- AI 한계로 인한 에스컬레이션: 지식이 없거나 답이 틀려서 넘어간 건. 해결 실패로 집계하되, 부족한 지식을 채우는 과제로 연결합니다.
- 고객 요청에 의한 에스컬레이션: 처음부터 사람을 원한 경우. 사유를 기록해 두고 별도로 봅니다.
또 한 가지, 사람에게 넘어간 뒤 해결된 건과 해결되지 않은 건을 구분해야 합니다. 이관 이후의 결과까지 보아야 고객 경험 전체가 보입니다.
신뢰받는 보고서를 만드는 방법
숫자가 신뢰를 얻으려면 계산 방식이 투명해야 합니다. 보고서에 다음 내용을 포함하십시오.
- 정의: 해결, 제외 대상, 재문의 확인 기간
- 기간과 대화 수: 분모가 몇 건인지
- 표본 크기와 추출 방법: 몇 건을, 어떻게 뽑아 검수했는지
- 봉쇄율과 검증 해결률을 나란히: 두 숫자의 차이가 곧 개선 여지입니다
- 채널·주제별 분해: 평균 하나로 뭉뚱그리지 않습니다
- 실패 사례 몇 건: 숫자 옆에 구체적인 대화 요약을 붙입니다
정의를 중간에 바꾸었다면 반드시 표시하십시오. 해결률이 갑자기 올랐는데 정의가 바뀐 것이었다면, 그 보고서는 이후 모든 숫자의 신뢰를 잃습니다.
AI SNS CHAT에서 이 측정을 실행하는 방법
AI SNS CHAT은 해결률을 자동으로 계산해 주는 기능을 제공하지 않습니다. 대신 위에서 설명한 검수 중심의 측정을 뒷받침하는 기능이 있습니다.
대화 모으기와 표본 검수
모든 채널의 대화는 사이드바의 Activity → Chat logs에서 볼 수 있습니다. 이메일 채널만 별도의 Inbox에 있습니다. Chat logs에는 필터와 내보내기 기능이 있어서, 기간이나 채널별로 대화를 추려 CSV 등으로 내보낸 뒤 스프레드시트에서 무작위 표본을 뽑을 수 있습니다. 웹사이트 채팅 위젯, KakaoTalk 채널, Instagram 등 연결한 채널이 같은 곳에 모이므로 채널별 표본 추출이 수월합니다. 지원하는 채널은 /connections 에서 확인하실 수 있습니다.
검수 결과 기록
Chat logs에서는 대화를 선택해 표시(flag), 에스컬레이션, 해결 처리, 삭제를 한꺼번에 할 수 있습니다. 검수 중 문제가 있는 대화는 flag로 표시하고, 판정 결과 자체는 팀의 스프레드시트에 기록하는 방식을 권합니다. 고객이 남긴 좋아요·싫어요 평가도 같은 화면에서 확인되므로, 앞서 설명한 보조 신호로 쓸 수 있습니다.
오답을 개선으로 연결하기
검수 중 틀린 답을 발견하면 Inbox와 Chat logs에서 답변을 이상적인 답으로 고쳐 에이전트를 학습시킬 수 있습니다. 부족한 지식은 Data sources(파일, 텍스트, 웹사이트, Q&A 등)에 추가합니다. 수정 후에는 Playground에서 같은 질문을 다시 시험해 보십시오.
에스컬레이션 설계
Helpdesk → Scheduling에서 근무 시간을 설정하면 이관이 근무 중인 담당자에게 자동 배정됩니다. Helpdesk는 Standard 이상 플랜에서 사용할 수 있습니다. 이관 알림은 Slack, Teams, 이메일 등으로 받을 수 있어, 이관 사유를 분류하는 기록과 함께 운영하기에 좋습니다.
분석 화면
Analytics의 Chats, Topics, Question history, Sentiment는 주제별 분해와 추이 확인에 도움이 됩니다. 고급 분석은 Pro 플랜에서 제공됩니다. 플랜별 상세 내용은 /pricing 에서 확인하십시오. 다만 이 화면들은 검증 해결률 자체를 산출하지 않으므로, 최종 계산은 위의 정의와 표본 검수를 바탕으로 직접 하셔야 합니다.
마치며
자체 해결률은 쉽게 부풀려지는 숫자입니다. 봉쇄율은 상한선일 뿐이고, 진짜 해결률은 명확한 정의, 무작위 표본 검수, 재문의 확인, 공정한 에스컬레이션 분류를 거쳐야 얻어집니다. 처음 측정한 숫자가 기대보다 낮더라도 괜찮습니다. 그 차이가 바로 다음 달에 고칠 목록이기 때문입니다. 먼저 정의 문서 한 장을 작성하고, 이번 달 대화에서 표본을 뽑아 검수하는 것부터 시작해 보십시오.
자주 묻는 질문
봉쇄율과 해결률은 같은 지표입니까?
같지 않습니다. 봉쇄율은 대화가 사람에게 넘어가지 않고 AI 안에서 끝난 비율이고, 해결률은 고객의 문제가 실제로 해결된 비율입니다. 포기한 고객이나 오답을 받은 고객도 봉쇄율에는 포함되므로, 봉쇄율은 해결률의 상한선으로만 보십시오.
매달 몇 건의 대화를 검수해야 합니까?
정해진 정답은 없습니다. 월 대화가 수백 건 정도라면 가능한 많은 비율을 읽고, 대화량이 많다면 채널과 주제별로 무작위 표본을 꾸준히 뽑는 방식이 현실적입니다. 표본이 작을수록 오차가 커지므로 보고서에 표본 크기를 함께 적으십시오.
고객의 엄지 척 평가를 해결로 세어도 됩니까?
단독 근거로 삼는 것은 권하지 않습니다. 평가를 남기는 고객은 소수이고 극단적인 경험에 치우치는 경향이 있습니다. 검수 표본에 포함해 실제 정확도와 비교하는 보조 지표로 쓰는 것이 안전합니다.
AI SNS CHAT이 해결률을 자동으로 계산해 줍니까?
자동 계산 기능은 없습니다. Chat logs의 필터, 내보내기, flag, 평가 확인과 Analytics 화면을 활용해 직접 정의하고 표본을 검수하여 산출하는 방식을 권합니다.


