채팅 상담에서 CSAT를 제대로 측정하는 방법을 정리했습니다. 평가 대상, 척도, 발송 시점, 문구 편향, 결과 해석까지 다룹니다.
채팅 상담이 끝난 뒤 별점 설문을 보냈는데 응답이 거의 없거나, 응답이 있어도 점수가 무엇을 뜻하는지 알 수 없었던 경험이 있으실 겁니다. 설문 자체보다 무엇을 점수화할지, 언제 어떤 말투로 물을지가 결과를 좌우합니다. 이 글에서는 채팅 환경에 맞는 CSAT 설문의 설계 순서와 해석 방법, 그리고 AI SNS CHAT에서 바로 적용할 수 있는 부분을 정리합니다.
CSAT가 채팅에서 측정하는 것과 측정하지 못하는 것
CSAT(Customer Satisfaction Score)는 "방금 받은 상담에 만족하셨습니까?"라는 질문에 대한 고객의 즉각적인 반응입니다. 특정 상호작용 하나에 대한 평가이므로, 상담 품질을 빠르게 점검하는 데 적합합니다.
반대로 CSAT가 말해 주지 못하는 것도 분명합니다.
- 브랜드 전체에 대한 충성도: 이것은 NPS나 재구매율 같은 다른 지표의 영역입니다.
- 응답하지 않은 고객의 생각: 불만이 큰 고객은 답을 남기지 않고 조용히 떠나기도 합니다.
- 점수가 낮은 이유: 숫자는 결과일 뿐, 원인은 별도의 질문이나 대화 내용을 봐야 알 수 있습니다.
- 상품이나 정책에 대한 불만: 상담은 훌륭했는데 환불 규정이 마음에 들지 않아 낮은 점수를 주는 경우가 흔합니다.
채팅은 전화와 달리 대화가 기록으로 남고, 고객이 다른 일을 하며 간헐적으로 응답합니다. 그래서 "끝났다"는 순간이 모호하고, 설문도 이 특성에 맞춰 설계해야 합니다.
무엇을 점수화할지 먼저 정합니다
AI 에이전트와 사람 상담원이 함께 일하는 환경에서는 같은 설문 하나가 서로 다른 것을 평가하게 됩니다. 설문을 만들기 전에 대상을 정하십시오.
세 가지 선택지
- 봇 응대만: AI가 혼자 해결한 대화를 대상으로 합니다. 지식 베이스의 품질과 답변 톤을 점검할 수 있습니다.
- 사람 상담원만: 인계(핸드오프) 이후 사람이 마무리한 대화를 대상으로 합니다.
- 전체 여정: 봇에서 시작해 사람으로 넘어가 해결되기까지의 경험 전체를 한 번에 평가합니다.
가장 권장하는 방식은 대화의 종료 방식에 따라 설문을 구분해 기록하는 것입니다. 봇이 끝낸 대화와 사람에게 넘어간 대화를 한데 섞어 평균을 내면, 어려운 문의일수록 사람에게 넘어간다는 구조 때문에 사람 상담원의 점수가 불리하게 나올 수 있습니다. 두 집단은 난이도가 다르므로 따로 보아야 공정합니다.
- 01대화 해결 또는 종료
- 02짧은 질문 1개 발송
- 03선택 사항: 이유 한 줄
- 04집계 후 낮은 점수 대화 검토
질문과 척도를 고릅니다
질문은 짧고 한 가지만 묻는 것이 원칙입니다. 예를 들어 "상담에 만족하셨습니까?"처럼 대상이 분명한 문장이 좋습니다. "응대 속도와 친절도와 해결 여부는 어떠셨나요?"처럼 여러 가지를 묶으면 고객이 무엇에 답해야 할지 몰라 포기합니다.
척도 비교
| 척도 | 장점 | 단점 |
|---|---|---|
| 좋아요/아쉬워요 (2단계) | 한 번의 탭으로 끝나 응답률이 높습니다 | 세밀한 구분이 어렵습니다 |
| 1~5점 | 업계에서 널리 쓰여 비교와 해석이 쉽습니다 | 모바일 채팅에서는 탭 수가 늘어납니다 |
| 이모티콘 3~5단계 | 직관적이고 부담이 적습니다 | 이모티콘마다 받아들이는 의미가 다를 수 있습니다 |
카카오톡이나 인스타그램 DM처럼 화면이 작고 대화체가 중심인 채널에서는 2단계나 3단계가 부담이 적습니다. 반면 웹사이트 채팅 위젯은 별점을 보여 줄 공간이 있어 1~5점도 무리가 없습니다. 중요한 것은 한 번 정한 척도를 최소 몇 달은 바꾸지 않는 것입니다. 척도를 바꾸면 이전 수치와 비교할 수 없게 됩니다.
CSAT 비율은 보통 "4점 이상(만족)으로 답한 수 ÷ 전체 응답 수"로 계산합니다. 2단계 척도라면 "좋아요" 비율이 곧 만족률입니다. 어떤 방식으로 계산하든 사내에서 정의를 문서로 남겨 두십시오.
채널별 발송 시점과 방식
타이밍은 응답률을 가장 크게 좌우하는 요소 중 하나입니다. 너무 일찍 보내면 문제가 해결되기 전에 설문이 끼어들고, 너무 늦으면 고객이 이미 대화를 잊습니다.
시점 원칙
- 고객이 "해결됐어요", "감사합니다" 같은 종료 신호를 보낸 직후가 가장 좋습니다.
- 일정 시간 동안 새 메시지가 없을 때 종료로 간주하고 보내는 방식도 있습니다. 이때는 대기 시간을 너무 짧게 잡지 마십시오. 고객이 자료를 찾으러 간 사이에 설문이 도착하면 오히려 불쾌합니다.
- 상담이 진행 중이거나 사람에게 인계를 기다리는 동안에는 보내지 않습니다.
채널별 고려 사항
- 웹사이트 채팅: 대화 창 안에서 바로 응답할 수 있어 가장 자연스럽습니다. 창을 닫기 전에 보여 주는 것이 효과적입니다.
- 카카오톡: 한국 고객에게 가장 익숙한 채널이지만, 메시지가 쌓이는 방식이라 설문이 다른 알림에 묻히기 쉽습니다. 질문은 한 문장으로 짧게 하고 선택지를 버튼형으로 제시하는 편이 낫습니다.
- 인스타그램 DM: 가볍고 비공식적인 분위기이므로 이모티콘이나 짧은 텍스트로 답하게 하는 것이 어울립니다. 긴 설문은 맞지 않습니다.
- 이메일: 답장 속도가 느린 채널이므로 해결 후 하루 이내 정도의 여유를 두고 한 번만 보냅니다.
모든 채널에 같은 설문을 강요하기보다, 채널의 대화 습관에 맞춰 형식을 조정하되 질문 문장과 점수 기준은 통일해야 채널 간 비교가 가능합니다.
응답을 왜곡하지 않도록 문구를 씁니다
문구 하나가 점수를 크게 움직입니다. 다음과 같은 함정을 피하십시오.
- 유도 질문: "저희의 친절한 상담은 만족스러우셨죠?"처럼 정답을 암시하는 표현은 점수를 부풀립니다.
- 상담원 압박: "5점을 주셔야 담당자에게 도움이 됩니다" 같은 안내는 응답의 신뢰도를 해칩니다.
- 이중 질문: 속도와 정확성을 한 번에 묻지 않습니다.
- 모호한 척도 이름: "매우 좋음"과 "좋음"의 차이를 고객이 알 수 없다면 양끝과 중간만 명확히 표시합니다.
낮은 점수를 준 고객에게만 "어떤 점이 아쉬우셨나요?"라는 선택형 이유(속도, 답변 내용, 해결되지 않음, 기타)를 한 번 더 묻는 방식은 부담을 줄이면서 원인을 파악하는 좋은 방법입니다. 높은 점수를 준 고객에게까지 이유를 묻는 것은 필수가 아닙니다.
결과를 정직하게 읽습니다
숫자를 해석할 때 가장 먼저 확인할 것은 응답 수입니다. 아래는 어디까지나 가정한 예시입니다.
이 가상 데이터에서 4점 이상은 56건이므로 CSAT는 70%(56÷80)입니다. 그런데 평균만 보면 가운데가 두툼한 분포처럼 보이지만, 실제로는 1점이 2점보다 많다는 점이 눈에 띕니다. 이런 양극화는 "아예 해결이 안 된 대화"가 일정 비율 존재한다는 신호일 수 있습니다. 평균 하나로는 보이지 않는 부분입니다.
읽을 때 지켜야 할 원칙은 다음과 같습니다.
- 응답 수를 함께 표시합니다. 응답이 10건인 주와 200건인 주의 퍼센트는 같은 무게가 아닙니다.
- 응답 편향을 의식합니다. 매우 만족했거나 매우 불만인 사람이 더 많이 답하는 경향이 있습니다.
- 봇과 사람, 채널, 문의 유형으로 나눠 봅니다. 전체 평균은 문제를 숨깁니다.
- 짧은 기간의 등락에 일희일비하지 않습니다. 월 단위 추세가 더 믿을 만합니다.
점수를 행동으로 바꿉니다
점수는 보고서에 넣기 위한 것이 아니라 고칠 대상을 찾기 위한 것입니다.
- 낮은 점수 대화를 직접 읽습니다. 매주 정해진 수의 대화를 열어 원인을 분류하십시오. 지식 베이스에 답이 없었는지, 답은 있었는데 표현이 어려웠는지, 인계가 늦었는지가 구분됩니다.
- 지식 베이스를 보완합니다. 같은 질문에서 반복적으로 점수가 낮다면 자료를 추가하거나 기존 문서를 수정합니다.
- 답변을 개선합니다. 이상적인 답변을 정리해 에이전트가 배우도록 하는 것이 장기적으로 가장 효과적입니다.
- 인계 규칙을 점검합니다. 봇이 끝까지 붙잡고 있다가 점수가 낮아졌다면, 더 일찍 사람에게 넘기는 조건을 검토합니다.
- 개선 후 다시 측정합니다. 변경 전후의 같은 유형 문의를 비교해야 효과를 확인할 수 있습니다.
흔히 하는 실수
- 모든 메시지 뒤에 설문을 붙여 고객을 피곤하게 만드는 것
- 척도와 정의를 수시로 바꿔 추세를 볼 수 없게 만드는 것
- 점수를 상담원 개인의 평가 지표로만 사용해 눈치 보기식 응답을 유도하는 것
- 봇이 해결한 대화와 사람이 해결한 대화를 구분하지 않고 섞는 것
- 응답 수가 적은데도 소수점 단위의 변화를 해석하는 것
- 낮은 점수를 받고도 아무 후속 조치를 하지 않는 것
AI SNS CHAT에서 적용하는 방법
AI SNS CHAT에서는 대화 기록을 모아 보는 Activity → Chat logs 화면에서 고객이 남긴 좋아요/아쉬워요(thumbs up/down) 평가를 확인할 수 있습니다. 이 화면에서는 필터로 대화를 추려 보고, 여러 대화를 선택해 플래그를 달거나 에스컬레이션, 해결 처리를 할 수 있으며 내보내기도 지원합니다. 낮은 평가를 받은 대화를 모아 매주 검토하는 운영 방식에 알맞습니다.
실무 순서는 다음과 같습니다.
- 채널을 연결합니다. 웹사이트 채팅 위젯, 카카오톡(KakaoTalk), 인스타그램(Instagram) 등 Channels 메뉴의 배포 목록에서 필요한 채널을 연결합니다. 연결 가능한 채널은 /connections에서 확인하십시오.
- 낮은 평가 대화를 검토합니다. Chat logs에서 해당 대화를 열어 원인을 분류하고, 플래그나 에스컬레이션으로 표시해 담당자에게 넘깁니다.
- 답변을 고쳐 학습시킵니다. 대화에 사람이 개입해 응답을 이상적인 답변으로 수정하면 에이전트가 이를 학습 자료로 활용할 수 있습니다. 부족한 내용은 Data sources 메뉴의 Q&A나 텍스트 스니펫으로 보강합니다.
- 인계 흐름을 점검합니다. 사람 상담원이 대화를 인수하면 봇은 일시 중지됩니다. Helpdesk → Scheduling에서 근무 시간대를 설정해 두면 인계가 근무 중인 담당자에게 자동 배정됩니다. 인계 대기 시간 때문에 평가가 나빠졌다면 이 설정을 먼저 살펴보십시오.
- 추세를 함께 봅니다. Analytics의 Sentiment 등을 참고하면 평가 외의 대화 분위기도 가늠할 수 있습니다. 고급 분석은 Pro 플랜부터 제공됩니다.
더 구체적인 질문 문구를 직접 구성하고 싶다면 Custom form이나 Suggested messages 같은 Actions를 활용해 대화 흐름에 간단한 질문을 넣는 방법을 검토할 수 있습니다. 다만 Actions는 Hobby 이상 플랜에서 쓸 수 있고, 플랜별 에이전트당 개수 제한이 있습니다. 요금과 기능 범위는 /pricing과 /features에서 확인하십시오. 별도의 CSAT 퍼센트 자동 계산 기능은 현재 확인된 기능 목록에 없으므로, 내보낸 데이터를 바탕으로 앞서 설명한 방식으로 직접 계산하시기 바랍니다.
결론
좋은 CSAT 설문은 정교한 질문 수십 개가 아니라, 평가 대상을 분명히 하고, 적절한 순간에, 편향 없는 한두 문장으로 묻는 설문입니다. 그리고 그 점수를 낮은 평가 대화 검토와 지식 보완, 인계 규칙 개선으로 이어 가는 운영이 뒤따라야 합니다. 작게 시작해 정의를 고정하고, 매주 낮은 점수의 대화를 읽는 습관부터 만들어 보십시오.
자주 묻는 질문
채팅 CSAT의 적절한 응답률은 어느 정도입니까?
업종, 채널, 고객층에 따라 크게 달라 모든 곳에 통용되는 기준 수치는 말씀드리기 어렵습니다. 처음 측정한 값을 기준선으로 삼고, 질문을 줄이거나 발송 시점을 조정한 뒤 변화를 비교하는 것이 현실적입니다. 응답률보다 응답 수가 충분한지, 특정 유형에 치우치지 않았는지도 함께 보십시오.
AI 에이전트와 사람 상담원은 따로 점수를 매겨야 합니까?
따로 기록하는 것을 권장합니다. 사람에게 넘어가는 대화는 대체로 더 어렵고 복잡하기 때문에 한데 섞으면 비교가 공정하지 않습니다. 봇이 끝낸 대화, 사람이 인수한 대화, 전체 여정으로 나눠 보면 각각의 개선점이 더 분명해집니다.
좋아요/아쉬워요만으로 충분합니까, 1~5점이 필요합니까?
목적에 따라 다릅니다. 응답률과 간편함이 중요하고 낮은 평가 대화를 찾는 것이 목표라면 2단계로 충분합니다. 세밀한 추세나 외부 기준과의 비교가 필요하다면 1~5점이 유리합니다. 어느 쪽이든 한 번 정한 척도를 오래 유지하는 것이 중요합니다.
AI SNS CHAT이 CSAT 퍼센트를 자동으로 계산해 줍니까?
확인된 기능으로는 Chat logs에서 좋아요/아쉬워요 평가를 보고 필터링하고 내보내는 것까지입니다. CSAT 퍼센트를 자동으로 산출하는 기능은 확인되지 않았으므로, 내보낸 데이터를 바탕으로 만족 응답 수를 전체 응답 수로 나누어 직접 계산하시기 바랍니다.


