본문으로 건너뛰기
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
KPI

대화 분석 대시보드 읽는 법: 차트에서 개선 과제까지

AI SNS CHAT 편집팀게시 8분 읽기

대화량, 주제, 질문 기록, 감정 분석을 어떻게 읽고 고객 응대 개선으로 연결할지 단계별로 설명합니다.

대시보드를 열면 숫자와 그래프는 가득한데, 그래서 오늘 무엇을 고쳐야 하는지는 막막한 경험을 한 번쯤 해보셨을 것입니다. 대화 분석은 보고용 숫자를 만드는 도구가 아니라, 고객이 실제로 무엇을 궁금해하고 어디에서 막히는지 알려 주는 도구입니다. 이 글에서는 각 지표가 말해 주는 것과 말해 주지 않는 것을 구분하고, 매주 반복할 수 있는 개선 루틴으로 연결하는 방법을 정리합니다.

차트보다 질문에서 시작합니다

분석 화면을 열기 전에 먼저 적어 두면 좋은 것이 있습니다. "이번 주에 무엇을 알고 싶은가"입니다. 질문 없이 차트를 보면 눈에 띄는 그래프만 따라가다가 아무 결정도 내리지 못한 채 창을 닫게 됩니다.

질문은 작고 구체적일수록 좋습니다.

  • 고객이 가장 자주 묻는 것은 무엇이고, 지식 베이스에 답이 충분히 있습니까?
  • 같은 질문을 다른 말로 반복해서 묻는 고객이 있습니까?
  • 상담원에게 넘어간 대화는 어떤 주제에 몰려 있습니까?
  • 지난주에 문서를 고친 뒤 해당 주제의 문의가 달라졌습니까?

이렇게 질문을 정하면 어떤 탭을 열어야 하는지도 자연스럽게 정해집니다. 대화량은 "얼마나 오는가", 주제는 "무엇이 오는가", 질문 기록은 "어떤 표현으로 오는가", 감정은 "기분이 어떤가"에 답합니다. 이 네 가지를 한 번에 해석하려 하지 말고, 질문에 맞는 신호 하나로 시작하십시오.

대화량: 기준선일 뿐 판결이 아닙니다

대화량은 가장 먼저 눈에 들어오지만, 그 자체로는 좋고 나쁨을 말해 주지 않습니다. 대화가 늘었다면 마케팅이 성공했을 수도 있고, 배송 지연 공지가 없어서 불안한 고객이 몰렸을 수도 있습니다. 반대로 대화가 줄었다면 문서가 좋아져 문의가 줄었을 수도 있고, 위젯이 보이지 않게 바뀌어 고객이 접근하지 못하는 것일 수도 있습니다.

그래서 대화량은 "판결"이 아니라 "기준선"으로 씁니다. 평소의 요일별, 시간대별 리듬을 알아 두면 그 리듬에서 벗어난 날이 곧 살펴볼 날이 됩니다.

대화량을 볼 때 함께 확인할 것

  1. 이벤트와 겹치는지: 프로모션, 배송 마감, 시스템 점검 같은 일정과 비교합니다.
  2. 채널별로 다른지: 웹사이트 채팅, 카카오톡 채널, Instagram DM은 고객의 성격이 다릅니다. 카카오톡은 주문 후 확인성 문의가, Instagram은 상품 발견 단계의 질문이 많은 식으로 패턴이 갈리는 경우가 흔합니다.
  3. 증감이 한 주제에 몰려 있는지: 총량이 같아도 구성이 바뀌었다면 그쪽이 진짜 변화입니다.

주제: 진짜 정보가 있는 곳

주제 분포는 분석에서 가장 실용적인 화면입니다. 고객 문의가 어떤 덩어리로 나뉘는지 보여 주기 때문에, 문서를 어디부터 보강해야 할지 우선순위가 바로 나옵니다.

아래는 한 달에 300건의 채팅을 받는 가상의 온라인 쇼핑몰을 가정한 예시입니다. 실제 수치가 아니라 읽는 방법을 설명하기 위한 예입니다.

배송 조회
32
교환·반품
24
상품 문의
18
결제 오류
14
기타
12
예시: 주제별 채팅 비중 (월 300건 가상 쇼핑몰, %)설명용 예시

이 예시에서 눈여겨볼 점은 세 가지입니다.

  • 상위 두 주제가 절반 이상을 차지합니다. 배송 조회와 교환·반품만 잘 정리해도 전체 응대 품질이 크게 달라집니다. 문서 100개를 고르게 다듬는 것보다 이 두 주제의 답변 3개를 정확히 고치는 편이 효과가 큽니다.
  • 배송 조회는 자동화하기 좋은 주제입니다. 송장 조회 방법과 평균 배송 기간을 명확히 안내하고, 주문 시스템 조회 도구를 연결할 수 있다면 사람이 개입할 일이 크게 줄어듭니다.
  • "기타"가 클수록 분류 체계를 의심해야 합니다. 기타가 계속 커진다면 새로운 유형의 문의가 생겼다는 신호일 수 있습니다. 기타 안의 대화를 직접 열어 보고 새 주제로 승격할지 판단하십시오.

주제 비중은 "많이 묻는 것"을 알려 줄 뿐, "잘 답하고 있는 것"을 알려 주지는 않습니다. 비중이 큰 주제일수록 답변 품질을 따로 확인해야 합니다. 이 부분은 뒤에서 다룰 평점과 핸드오프가 보완합니다.

질문 기록: 고객이 실제로 쓰는 말

주제가 "무엇"을 알려 준다면, 질문 기록은 "어떤 말로"를 알려 줍니다. 이 차이는 생각보다 큽니다. 운영팀은 "교환"이라고 쓰는데 고객은 "바꿔 주세요", "사이즈가 안 맞아요", "다른 걸로 받고 싶어요"라고 말합니다. 지식 베이스가 내부 용어로만 쓰여 있으면 AI 에이전트가 답을 찾기 어려워지고, 고객도 어색한 답을 받게 됩니다.

질문 기록에서 찾아볼 만한 것은 다음과 같습니다.

1. 같은 의도의 다양한 표현

한 주제에 속한 질문들을 나란히 읽어 보십시오. 고객이 쓰는 단어, 줄임말, 오타, 반말과 존댓말의 비율까지 보입니다. 카카오톡에서는 짧고 구어체인 문장이, 웹사이트 채팅에서는 비교적 완결된 문장이 많은 식의 차이도 확인할 수 있습니다. 이 표현들을 Q&A 항목의 질문 문구에 반영하면 답변의 적중률을 높이는 데 도움이 됩니다.

2. 문서에 없는 질문

"이 제품은 세탁기에 돌려도 되나요?"처럼 문서 어디에도 없는 질문이 반복된다면 지식 베이스의 빈틈입니다. 질문 기록은 이 빈틈의 목록 역할을 합니다.

3. 한 번에 해결되지 않는 질문

같은 고객이 표현만 바꿔 두 번, 세 번 묻고 있다면 첫 답변이 의도를 비껴갔다는 뜻입니다. 이런 대화는 개선 효과가 큰 사례이므로 따로 표시해 두십시오.

감정: 화재경보기처럼 읽습니다

감정 분석은 대화의 분위기를 긍정, 부정 같은 방향으로 보여 줍니다. 이 지표를 성적표처럼 읽으면 오해가 생깁니다. 환불 문의 중인 고객이 불만스러운 어조인 것은 AI 에이전트의 잘못이 아니라 상황 때문일 수 있기 때문입니다.

감정은 화재경보기에 비유하면 이해하기 쉽습니다. 경보가 울렸다고 해서 반드시 불이 난 것은 아니지만, 울렸다면 확인하러 가야 합니다. 감정 지표의 역할은 "어디를 먼저 열어 볼지"를 정해 주는 것입니다.

신호
알려 주는 것 / 주의할 점
대화량
수요의 크기. 좋고 나쁨은 알 수 없음
주제
문의의 구성. 답변 품질은 별도 확인 필요
질문 기록
고객의 실제 표현. 개인정보 취급 주의
감정
확인이 필요한 대화의 위치. 원인은 직접 읽어야 알 수 있음
평점
고객의 직접적인 판단. 응답 수가 적으면 편향될 수 있음
핸드오프
자동화가 닿지 못한 영역. 정책상 사람이 맡아야 하는 경우도 포함
신호별로 알 수 있는 것과 주의할 점설명용 예시

감정을 읽는 순서는 이렇게 권합니다.

  1. 부정 감정이 몰린 주제나 날짜를 찾습니다.
  2. 그 구간의 대화를 몇 건 직접 엽니다.
  3. 원인을 세 가지로 분류합니다. 상황 자체에 대한 불만(예: 배송 지연), 답변이 부정확해서 생긴 불만, 응대 방식에 대한 불만(예: 같은 안내 반복).
  4. 두 번째와 세 번째 원인만 에이전트 설정이나 문서 수정으로 해결 대상에 올립니다.

첫 번째 유형은 에이전트가 아니라 운영의 문제이므로, 선제적인 공지나 정책 조정으로 풀어야 합니다.

평점과 핸드오프: 사람의 검증

자동으로 계산된 지표만으로는 부족합니다. 고객이 남긴 좋아요, 싫어요 평점과 상담원에게 넘어간 대화는 "사람이 직접 내린 판단"이라는 점에서 다른 신호의 정확성을 점검해 줍니다.

평점

싫어요 평점이 붙은 대화는 가장 값진 학습 자료입니다. 다만 평점을 남기는 고객은 전체의 일부이므로, 평점 개수가 적을 때는 비율보다 내용을 읽는 편이 낫습니다. 싫어요를 받은 대화 다섯 건만 읽어도 공통된 원인이 보이는 경우가 많습니다.

핸드오프

상담원에게 넘어간 대화는 자동화의 경계를 보여 줍니다. 이를 두 종류로 나누어 보십시오.

  • 정책상 사람이 맡아야 하는 대화: 환불 승인, 예외 처리, 민감한 불만 등입니다. 이 경우 핸드오프는 정상 동작입니다.
  • 지식이 부족해서 넘어간 대화: 문서를 보강하면 에이전트가 직접 답할 수 있었던 대화입니다. 개선 대상은 이쪽입니다.

핸드오프 비중이 높은 주제가 있다면, 그 주제의 대화를 열어 어느 쪽에 해당하는지 구분하는 것이 첫걸음입니다.

패턴을 개선으로 바꾸기

지금까지의 신호를 하나의 루틴으로 묶으면 다음과 같습니다. 핵심은 한 번에 많이 고치지 않고, 한 주에 한두 가지만 고쳐서 효과를 확인하는 것입니다.

  1. 01주제와 감정 확인
  2. 02대화 샘플 읽기
  3. 03문서·답변 수정
  4. 04다음 주 같은 지표 비교
주간 개선 루프설명용 예시

실제 적용 예시

가상의 사례로 생각해 보겠습니다. 어느 주에 교환·반품 주제에서 부정 감정과 핸드오프가 함께 늘었다고 가정합니다. 대화를 열어 보니 고객들이 "교환 기간이 며칠인가요"를 묻는데, 문서에는 "수령 후 7일 이내"라고만 적혀 있고 "개봉 후에도 가능한지"는 없었습니다. 이 경우 해결책은 다음과 같습니다.

  1. 개봉 여부에 따른 교환 가능 조건을 문서에 추가합니다.
  2. 고객이 쓰는 표현("뜯었는데도 되나요")을 Q&A 질문 문구에 반영합니다.
  3. 수정 후 한 주 동안 같은 주제의 핸드오프와 감정을 다시 봅니다.

변화가 없다면 가설이 틀렸다는 뜻이므로 다른 원인을 찾으면 됩니다. 이렇게 작게 실험하고 확인하는 것이 대시보드를 쓰는 가장 확실한 방법입니다.

흔한 오독

  • 총량만 보고 결론 내리기: 대화량이 줄었다고 곧바로 성과로 해석하지 마십시오. 접근 경로가 막혔을 가능성도 확인해야 합니다.
  • 감정을 AI의 성적으로 보기: 상황에서 비롯된 불만은 에이전트가 해결할 수 없습니다.
  • 적은 표본으로 일반화하기: 평점이 열 건 남짓일 때의 비율은 쉽게 흔들립니다.
  • 한 번에 여러 곳을 고치기: 무엇이 효과를 냈는지 알 수 없게 됩니다.
  • 채널 차이를 무시하기: 카카오톡, 웹사이트 채팅, Instagram은 고객의 말투와 기대가 다르므로 합쳐서만 보면 특징이 묻힙니다.

AI SNS CHAT에서 실행하는 방법

AI SNS CHAT에서는 사이드바의 분석 메뉴에서 Chats(대화), Topics(주제), Question history(질문 기록), Sentiment(감정) 를 확인할 수 있고, 음성 에이전트를 쓴다면 Voice 메뉴의 Analytics에서 통화 분석도 볼 수 있습니다. 고급 분석은 Pro 플랜 이상에서 제공됩니다.

실제 작업 흐름은 다음과 같습니다.

  1. 분석에서 단서를 찾습니다. Topics에서 비중이 큰 주제나 최근 늘어난 주제를 고르고, Sentiment에서 부정 감정이 몰린 구간을 확인합니다.
  2. 대화 원문을 읽습니다. Activity → Chat logs에서 해당 대화를 열어 봅니다. 여기서는 필터, 플래그 지정, 에스컬레이션, 해결 처리, 내보내기를 할 수 있고, 고객이 남긴 좋아요, 싫어요 평점도 확인할 수 있습니다. 이메일 대화는 별도의 Inbox에서 다루며, 이메일을 제외한 다른 채널의 대화는 Chat logs에 모입니다.
  3. 답변을 바로잡습니다. 부정확했던 답변은 Inbox나 Chat logs에서 이상적인 답변으로 고쳐 에이전트를 학습시킬 수 있습니다. 문서가 부족하다면 Data sources에서 Q&A나 텍스트 스니펫을 추가합니다.
  4. 고치기 전에 시험합니다. Playground에서 같은 질문을 던져 답이 개선되었는지 확인한 뒤 반영합니다.
  5. 핸드오프 구조를 점검합니다. Helpdesk → Scheduling에서 담당자별, 시간대별 근무를 설정하면 핸드오프가 근무 중인 사람에게 자동 배정됩니다. 알림은 Slack, Teams, LINE WORKS, WhatsApp, 이메일 또는 웹훅으로 받을 수 있습니다. Helpdesk는 Standard 플랜 이상이 필요합니다.

채널은 Channels 메뉴에서 웹 채팅 위젯, KakaoTalk, Instagram 등을 연결해 둔 상태에서 분석을 시작하면 됩니다. 연결 가능한 채널은 /connections 에서, 플랜별 차이는 /pricing 에서 확인하실 수 있습니다. 기능 전체는 /features 에서 볼 수 있습니다. 초기에는 Pro가 아니어도 대화 원문을 직접 읽고 주간 루틴을 돌리는 것만으로 충분히 개선을 시작할 수 있습니다.

자주 묻는 질문

대화 분석은 얼마나 자주 확인해야 합니까?

대부분의 팀에는 주 1회, 같은 요일에 30분 정도 확인하는 방식을 권합니다. 매일 보면 일시적인 변동에 흔들리고, 한 달에 한 번이면 문제를 늦게 발견합니다. 프로모션이나 신제품 출시처럼 문의가 급증할 만한 시기에는 며칠간 더 자주 살펴보십시오.

부정 감정이 많으면 AI 에이전트가 실패하고 있다는 뜻입니까?

꼭 그렇지는 않습니다. 배송 지연이나 환불처럼 고객이 이미 불만을 가진 상황에서는 에이전트의 답변과 상관없이 부정 감정이 나타납니다. 감정은 확인할 대화를 찾는 경보로 쓰고, 대화를 직접 읽어 답변이 부정확해서 생긴 불만인지 먼저 구분하십시오.

분석에서 가치를 얻으려면 Pro 플랜이 필요합니까?

고급 분석은 Pro 플랜 이상에서 제공되지만, Pro가 아니어도 Chat logs에서 대화 원문과 평점을 읽고 문서를 보강하는 개선 루프는 충분히 운영할 수 있습니다. 문의량이 늘고 주제별, 감정별로 더 체계적으로 보고 싶어질 때 Pro를 검토하셔도 늦지 않습니다.

이메일 대화는 WhatsApp이나 Messenger 대화와 어디가 다르게 보입니까?

이메일 대화는 Inbox에서 다루고, 이메일을 제외한 WhatsApp, Messenger, KakaoTalk, Instagram, 웹 채팅 등의 대화는 Activity → Chat logs에 모입니다. 두 화면 모두 상담원이 대화를 넘겨받거나 답변을 이상적인 답으로 고쳐 에이전트를 학습시키는 기능을 쓸 수 있습니다.

#대화 분석#KPI#고객 지원#AI 에이전트#카카오톡

AI SNS CHAT으로 바로 실천해 보세요

자사 콘텐츠로 학습한 AI 에이전트를 만들고 웹사이트, LINE, WhatsApp 등에 연결하세요. 무료로 시작하며 신용카드가 필요 없습니다.