디플렉션율과 컨테인먼트율의 정의와 계산식, 숫자가 부풀려지는 함정, 신뢰할 수 있는 측정 방법을 카카오톡과 웹 채팅 예시로 정리합니다.
AI 상담을 도입하면 보고서에 "디플렉션율"과 "컨테인먼트율"이 함께 등장하는데, 두 용어를 같은 뜻으로 쓰다 보니 팀마다 숫자가 달라지곤 합니다. 이 글에서는 두 지표의 정의와 계산식, 각각의 쓰임새를 구분합니다. 숫자를 부풀리는 흔한 함정과, 경영진에게 보고해도 흔들리지 않는 측정 방식도 정리합니다.
왜 두 용어가 자주 혼동되는가
두 지표는 모두 "사람 상담원이 개입하지 않고 끝난 문의"를 가리키는 것처럼 들립니다. 도입 초기에는 실제로 비슷한 숫자가 나오기도 해서 같은 말로 쓰기 쉽습니다. 하지만 두 지표는 측정하는 대상이 다릅니다.
- 컨테인먼트율은 AI와 대화를 시작한 사람 중 AI 안에서 끝난 비율입니다.
- 디플렉션율은 지원이 필요했을 사람 중 상담원 문의(전화, 이메일, 티켓)로 넘어가지 않은 비율입니다.
예를 들어 카카오톡 채널에서 AI와 대화를 시작한 고객이 답을 못 받고 그냥 나가면, 상담원은 부르지 않았으니 컨테인먼트로 잡히는 경우가 많습니다. 그런데 이 고객이 10분 뒤 전화로 같은 문의를 하면 디플렉션은 실패입니다. 같은 사건이 지표에 따라 성공도 되고 실패도 됩니다.
회의에서 "자동화율 70%입니다"라고 말할 때 어느 쪽을 가리키는지 합의하지 않으면, 다음 분기에 계산 방식을 바꾼 것만으로 성과가 오르거나 내리는 것처럼 보일 수 있습니다.
정의와 계산식
먼저 두 지표를 나란히 놓고 보겠습니다.
컨테인먼트율 계산식
가상의 예로 한 쇼핑몰이 한 달 동안 웹사이트 채팅과 카카오톡으로 300건의 AI 세션을 받았고, 그중 60건이 상담원에게 인계되었다고 하겠습니다. 이 경우 240÷300, 즉 80%입니다. 이 80%에는 "해결된 건"과 "그냥 떠난 건"이 섞여 있다는 점이 중요합니다.
디플렉션율 계산식
분모를 정확히 아는 것이 어렵습니다. 같은 가상 쇼핑몰에서 AI 도입 전 월평균 상담원 접수가 500건이었고 도입 후 350건이라면, 단순 비교로는 30%가 줄었다고 말할 수 있습니다. 다만 같은 기간에 고객 수나 판매량이 달라졌다면 이 숫자는 비교 기준으로 부족합니다. 주문 1,000건당 접수 건수처럼 정규화한 값으로 보아야 합니다.
각 지표는 어디에 쓰이는가
컨테인먼트율이 잘 맞는 곳
- AI 에이전트의 개선 작업을 매주 점검할 때
- 질문 주제별로 AI가 어디서 막히는지 찾을 때
- 지식 베이스를 고친 뒤 효과를 비교할 때
- 채널별(웹 위젯, 카카오톡, Instagram DM) 차이를 볼 때
채팅 로그만으로 계산할 수 있어서 운영팀이 직접 매주 추적하기에 적합합니다.
디플렉션율이 잘 맞는 곳
- 상담 인력 계획과 비용 논의
- 전화, 이메일, 채팅을 아우르는 지원 구조 전체의 효과 검토
- 도입 전후 비교 보고
디플렉션은 "상담 조직이 실제로 덜 바빠졌는가"에 답합니다. 반면 AI가 대화를 얼마나 잘 처리했는지는 알려주지 않습니다.
한 문장으로 구분하면
컨테인먼트율은 AI 운영 지표, 디플렉션율은 지원 조직 성과 지표입니다. 용도가 다르므로 둘 중 하나가 "진짜"인 것이 아니라 질문이 다른 것입니다.
두 숫자를 부풀리는 함정
1. 이탈을 해결로 세는 함정
고객이 답을 못 받고 창을 닫아도 "인계가 없었다"는 이유로 컨테인먼트로 잡히면, 숫자는 높지만 경험은 나쁩니다. 대화 마지막에 해결 여부를 확인하거나, 고객 평가(좋아요/싫어요)를 함께 보는 것이 필요합니다.
2. 인계 버튼을 숨기는 함정
상담원 연결 경로를 찾기 어렵게 만들면 컨테인먼트율은 오릅니다. 그러나 고객은 다른 채널로 재문의하고, 디플렉션율은 오히려 나빠집니다. 숫자를 올리기 위해 출구를 막는 것은 지표 조작에 가깝습니다.
3. 재문의를 별개 건으로 세는 함정
카카오톡에서 어제 문의한 고객이 오늘 같은 내용으로 다시 물으면, 두 건 모두 "해결"로 기록될 수 있습니다. 동일 고객의 동일 주제 재문의는 일정 기간 안에서 묶어서 보아야 합니다.
4. 분모를 바꾸는 함정
단순 인사나 테스트 메시지, 봇 점검용 대화를 분모에 넣으면 컨테인먼트율이 올라갑니다. 반대로 영업시간 외에 들어온 문의를 빼면 오르거나 내립니다. 무엇을 분모에 넣는지 문서로 고정해야 합니다.
5. 운영시간 효과를 AI 효과로 착각하는 함정
야간에는 상담원이 없어서 인계가 불가능한 경우가 많습니다. 이때 컨테인먼트율이 높아 보이는 것은 AI 실력이 아니라 구조 때문일 수 있습니다. 시간대별로 나누어 보면 차이가 드러납니다.
믿을 수 있는 측정 방식
핵심은 정의를 먼저 고정하고, 그 뒤에 숫자를 계산하는 것입니다.
- 01대화 단위 정하기
- 02해결 여부 판정
- 03재문의 묶기
- 04주간 추이로 보고
1단계: 대화 단위와 분모를 정합니다
"세션"이 무엇인지 정합니다. 예를 들어 같은 고객의 메시지 사이 간격이 일정 시간 이상 벌어지면 새 세션으로 본다는 식입니다. 테스트, 인사만 한 대화, 내부 점검 대화는 제외 규칙을 문서로 남깁니다.
2단계: 해결 판정 기준을 나눕니다
대화 종료를 세 가지로 구분하면 정확도가 올라갑니다.
- 명시적 해결: 고객이 "감사합니다", 좋아요 평가 등으로 해결을 알린 경우
- 묵시적 해결: 마지막 AI 답변 후 일정 시간 동안 추가 문의가 없는 경우
- 미해결 이탈: AI가 답을 못 찾았거나 싫어요 평가를 받고 대화가 끝난 경우
컨테인먼트율은 1번과 2번만 "성공"으로 보고, 3번은 따로 보고하는 방식이 안전합니다.
3단계: 재문의 창을 둡니다
같은 고객이 같은 주제로 일정 기간(예: 24시간 또는 3일) 안에 다시 문의하면, 앞선 건을 "해결 아님"으로 되돌리는 규칙을 둡니다. 이 기간은 사업 특성에 맞게 정하되, 한 번 정하면 바꾸지 않아야 추이를 비교할 수 있습니다.
4단계: 채널별, 시간대별로 나눕니다
웹사이트 채팅, 카카오톡, Instagram DM은 고객의 기대와 응답 속도가 다릅니다. 합산 숫자 하나보다 채널별 숫자가 개선 방향을 더 잘 알려줍니다.
5단계: 표본을 직접 읽습니다
숫자를 믿기 전에, 매주 무작위로 20~30건의 "해결" 대화를 직접 읽어 봅니다. 실제로 해결된 대화가 대부분이면 정의가 맞는 것이고, 이탈이 섞여 있으면 판정 규칙을 고쳐야 합니다.
경험을 해치지 않고 컨테인먼트 높이기
숫자를 올리는 올바른 방법은 AI가 실제로 더 많은 질문에 정확히 답하게 만드는 것입니다.
인계된 대화에서 배우기
상담원에게 넘어간 대화는 AI가 모르는 주제의 목록입니다. 인계 사유를 모아서 반복되는 질문부터 지식 베이스에 추가하면, 같은 유형이 다시 인계되는 일이 줄어듭니다.
상담원의 답을 AI의 정답으로 만들기
상담원이 고친 답변을 이상적인 답으로 AI에 학습시키면 같은 질문에 더 일관되게 답하게 됩니다. 이런 작업은 매주 조금씩 하는 편이 한 번에 몰아서 하는 것보다 효과적입니다.
인계 경로는 명확하게 유지하기
컨테인먼트율을 올리려고 상담원 연결을 숨기지 않습니다. 대신 인계 시점에 고객이 무엇을 기다리면 되는지 안내해야 합니다. 영업시간 밖이라면 다음 영업일에 연락드린다는 식으로 정직하게 알립니다.
함께 봐야 하는 보조 지표
- 고객 평가(좋아요/싫어요) 비율
- 인계 후 재문의 비율
- 주제별 인계 건수
- 감정(Sentiment) 추이
컨테인먼트율이 오르는데 싫어요 비율도 오른다면, 숫자만 좋아진 것입니다.
AI SNS CHAT에서 실천하기
AI SNS CHAT에는 컨테인먼트율이나 디플렉션율을 자동으로 계산해 주는 전용 지표 화면은 없습니다. 대신 위에서 설명한 방식으로 직접 계산할 수 있는 재료가 대화 기록 화면에 모여 있습니다. 계산식과 판정 기준은 팀에서 정한 대로 적용하시면 됩니다.
대화 기록에서 재료 모으기
Activity → Chat logs에서 웹사이트 채팅, 카카오톡, Instagram 등 이메일을 제외한 모든 채널의 대화를 확인합니다. 이메일 대화는 Inbox에 있습니다. 대화 기록에서는 다음 작업이 가능합니다.
- 필터로 채널이나 기간을 좁혀 보기
- 대화를 플래그, 에스컬레이션, 해결 처리하기 (여러 건 일괄 선택 가능)
- 좋아요/싫어요 평가 확인하기
- 내보내기(export)로 스프레드시트에서 분모와 분자를 직접 계산하기
가상의 예로 월 300건을 내보낸 뒤, 에스컬레이션 표시가 없고 싫어요 평가도 없는 대화를 "컨테인먼트 후보"로 분류하는 식입니다. 정확한 기준은 팀이 정합니다.
인계 체계 정리하기
상담원이 대화를 이어받으면 봇은 멈춥니다. Helpdesk → Scheduling(Standard 이상)에서 사람과 시간대별로 근무 일정을 설정하면, 인계 건이 근무 중인 담당자에게 자동 배정됩니다. 알림은 Slack, Teams, LINE WORKS, WhatsApp, 이메일, 웹훅으로 보낼 수 있습니다. 고객에게 나가는 "다음 단계" 안내는 서버가 근무표를 읽어 넣으며, 대기 시간을 임의로 지어내지 않습니다.
AI의 정답률 높이기
인계된 대화에서 상담원이 고친 답을 이상적인 답으로 학습시킬 수 있습니다. 자주 나오는 질문은 Data sources의 Q&A나 Files, Website 등으로 보강합니다. 수정 후에는 Playground에서 같은 질문을 다시 시험해 보고 나서 배포하는 흐름을 권합니다.
추이 확인하기
Analytics에서 Chats, Topics, Question history, Sentiment를 확인해 어떤 주제에서 막히는지 살필 수 있습니다. 고급 분석은 Pro 플랜에서 제공됩니다. 어디서부터 보면 좋을지 막막하다면 대시보드의 Synthia에게 화면 안내를 요청할 수도 있습니다.
카카오톡 채널 연결을 포함한 지원 채널은 연결 가능한 채널 목록에서 확인하실 수 있고, 기능 전반은 기능 소개, 플랜별 조건은 요금제에서 볼 수 있습니다. 먼저 직접 써 보고 싶다면 가입 페이지에서 시작하십시오.
자주 묻는 질문
컨테인먼트율은 높을수록 항상 좋은가요?
그렇지 않습니다. 인계 경로를 막거나 이탈을 해결로 세면 숫자는 올라가지만 고객 경험은 나빠집니다. 컨테인먼트율은 싫어요 평가, 재문의 비율, 감정 추이와 함께 보아야 하며, 사람이 꼭 필요한 문의(결제 분쟁, 민감한 불만 등)는 인계되는 것이 오히려 정상입니다.
경영진에게는 어떤 지표를 보고해야 하나요?
경영진의 관심은 보통 "상담 부담이 줄었는가"이므로 디플렉션 관점의 숫자, 즉 주문 1,000건당 상담원 접수 건수 같은 정규화된 값이 적합합니다. 컨테인먼트율은 AI 운영 지표로 함께 제시하되, 정의와 분모를 한 줄로 설명해 두십시오. 두 숫자를 구분해서 보고하면 해석 논쟁이 줄어듭니다.
채팅 로그만으로 디플렉션율을 측정할 수 있나요?
엄밀하게는 어렵습니다. 디플렉션은 전화, 이메일, 티켓 같은 다른 채널의 접수 데이터까지 필요하기 때문입니다. 채팅 로그만으로는 컨테인먼트율과 인계율을 계산할 수 있고, 디플렉션은 다른 채널의 접수 건수를 가져와 도입 전후를 비교하는 방식으로 추정해야 합니다.
카카오톡이나 Messenger 대화는 얼마나 기다린 뒤 해결로 봐야 하나요?
정답이 정해져 있지는 않으며, 문의 성격에 따라 정합니다. 배송 조회처럼 즉시 끝나는 문의는 24시간, 교환이나 환불처럼 후속 문의가 잦은 주제는 2~3일처럼 주제별로 다르게 둘 수도 있습니다. 중요한 것은 한 번 정한 대기 기간을 바꾸지 않고, 그 안의 재문의를 해결 취소로 처리하는 것입니다.


