웹사이트 채팅, 카카오톡, Instagram 챗봇의 대화 흐름을 감이 아닌 데이터로 개선하는 A/B 테스트 방법을 단계별로 설명합니다.
인사말을 바꾸고, 질문 순서를 고치고, 상담원 연결 시점을 조정했는데 정말 나아졌는지 확신하기 어려운 경우가 많습니다. 어제보다 오늘 문의가 적었다는 이유만으로 "개선됐다"고 말하기도 어렵습니다. 이 글에서는 고객지원 팀이 대화 흐름을 A/B 테스트로 검증하는 방법을 순서대로 정리합니다. 무엇을 테스트할지, 어떤 지표를 볼지, 대화가 몇 건쯤 쌓여야 판단할 수 있는지, 결과가 나쁠 때 어떻게 되돌릴지까지 다룹니다.
테스트할 가치가 있는 "대화 흐름"이란
대화 흐름은 고객이 채팅을 시작해서 문제가 해결되거나 담당자에게 넘어가기까지 거치는 일련의 응답 구조를 말합니다. 모든 문구가 테스트 대상은 아닙니다. 고객의 결과에 영향을 줄 만한 지점부터 고르는 편이 효율적입니다.
테스트 후보로 좋은 지점
- 첫 인사말과 안내 문구: 고객이 무엇을 물어볼 수 있는지 알려 주는 방식에 따라 첫 질문의 질이 달라집니다.
- 되묻기 질문: 주문번호나 이메일을 처음에 요구할지, 답변 중간에 요구할지에 따라 이탈 양상이 달라질 수 있습니다.
- 상담원 연결 시점: 몇 번 되물어도 해결되지 않으면 넘길지, 고객이 요청할 때만 넘길지를 정하는 기준입니다.
- 답변 길이와 어조: 짧고 단정한 답변과 단계별 안내형 답변 중 어느 쪽이 재문의를 줄이는지 확인합니다.
- 추천 질문 버튼: 첫 화면에 보여 줄 질문의 종류와 순서입니다.
- 리드 수집 위치: 이름과 연락처를 대화 초반에 받을지, 문제를 해결한 뒤에 받을지입니다.
테스트하지 않는 편이 좋은 것
환불 규정처럼 사실관계가 정해진 내용은 A/B 테스트 대상이 아닙니다. 어느 쪽이 "더 잘 팔리는지"가 아니라 어느 쪽이 "맞는지"의 문제이기 때문입니다. 정확성은 테스트가 아니라 지식 베이스를 점검해서 확보해야 합니다.
바꾸기 전에 주요 지표를 하나만 정하세요
A/B 테스트에서 가장 흔한 실패는 결과가 나온 뒤에 지표를 고르는 것입니다. 지표가 여러 개면 그중 하나는 좋아 보이기 마련입니다. 그러면 그 수치를 근거로 이미 내리고 싶었던 결론을 정당화하게 됩니다. 시작 전에 주요 지표 하나를 글로 적어 두십시오.
| 목표 | 주요 지표 후보 | 어디서 확인하는가 |
|---|---|---|
| 자동 해결률 향상 | 상담원 인계 없이 끝난 대화의 비율 | 대화 로그의 해결 처리 상태 |
| 답변 품질 향상 | 좋아요/싫어요 평가 비율 | 대화 로그의 평가 |
| 리드 확보 | 대화 대비 수집된 리드 수 | 리드 목록 |
| 불필요한 인계 감소 | 인계 요청 비율 | 대화 로그의 에스컬레이션 표시 |
보조 지표는 "나빠지지 않았는지" 확인하는 용도로만 씁니다. 예를 들어 자동 해결률을 올리는 테스트라면 싫어요 비율이 함께 늘지 않았는지를 가드레일로 봅니다. 해결로 처리된 대화가 늘었더라도 고객이 불만을 안고 떠난 결과라면 개선이 아닙니다.
한 번에 하나만 바꾸세요
B안에서 인사말, 되묻기 순서, 인계 조건을 모두 바꿨다고 해 보겠습니다. 결과가 좋아져도 어느 변경 덕분인지 알 수 없습니다. 나빠졌을 때도 마찬가지입니다. 변경은 하나로 제한해야 원인을 설명할 수 있습니다.
가설을 문장으로 만들기
좋은 가설은 변경 내용, 기대 효과, 측정 지표를 모두 담고 있습니다.
- 나쁜 예: "인사말을 더 친근하게 바꿔 보겠습니다."
- 좋은 예: "인사말에 자주 묻는 질문 세 가지를 안내하면, 첫 질문이 명확해져 상담원 인계 없이 끝나는 대화 비율이 오를 것입니다."
테스트의 전체 순환은 아래와 같이 단순합니다.
- 01가설과 지표 정하기
- 02B안 하나만 수정하기
- 03같은 조건에서 병행 운영
- 04결과 비교 후 채택 또는 롤백
변경을 하나로 제한하는 일은 번거롭게 느껴질 수 있습니다. 그래도 작은 테스트를 여러 번 하는 편이 큰 변경을 한 번 하는 것보다 배우는 것이 많습니다. 어떤 변경이 효과가 있었는지가 팀의 지식으로 남기 때문입니다.
고객을 공정하게 나누세요
A안과 B안은 가능한 한 같은 조건에서 비교해야 합니다. 월요일에는 A안, 화요일에는 B안을 돌리면 요일 차이가 결과에 섞입니다. 프로모션 기간과 평소 기간을 비교하는 것도 마찬가지입니다.
현실적인 분할 방법
- 동시 운영: 같은 기간에 A안과 B안을 병행합니다. 가장 권장하는 방식입니다.
- 페이지나 채널 단위 분할: 웹사이트의 특정 페이지에는 A안, 다른 유사한 페이지에는 B안을 배치합니다. 페이지 성격이 비슷해야 비교가 의미 있습니다.
- 채널 단위 분할: 예를 들어 같은 문의 유형이 들어오는 두 개의 Instagram 계정 사이에서 나눕니다. 다만 고객층이 다르다면 공정한 비교가 아닙니다.
- 교대 운영: 병행이 어렵다면 하루 또는 한 주씩 번갈아 운영합니다. 요일 효과가 큰 업종에서는 신뢰도가 떨어집니다.
한국 환경에서는 카카오톡 채널과 웹사이트 채팅의 고객 행동이 꽤 다릅니다. 카카오톡은 대화가 이어지는 경우가 많고, 웹사이트 채팅은 짧은 질문 한 번으로 끝나는 경우가 많습니다. 그래서 채널이 다른 결과를 합쳐서 비교하지 말고, 채널별로 따로 보는 편이 안전합니다. 웹사이트에서 이긴 안이 카카오톡에서도 이긴다고 가정하지 마십시오.
얼마나 오래, 몇 건이나 필요한가
모든 상황에 통하는 정답 숫자는 없습니다. 다만 판단의 방향은 있습니다.
- 차이가 클수록 적은 대화로도 알 수 있습니다. 12포인트 차이는 150건 안팎에서도 의미 있게 볼 수 있지만, 2~3포인트 차이는 훨씬 많은 대화가 필요합니다.
- 기준이 되는 비율이 극단적일 때는 더 유리합니다. 이미 95%가 해결되는 흐름에서는 작은 차이가 분명히 드러납니다.
- 최소 한 주 이상은 돌리십시오. 평일과 주말, 오전과 야간의 문의 유형이 다르기 때문입니다.
가상의 예를 들어 보겠습니다. 한 쇼핑몰이 한 달에 채팅 300건을 받는다면, A안과 B안에 각각 150건 정도가 쌓이는 데 한 달이 걸립니다. 이 규모에서는 몇 포인트 정도의 차이는 우연으로도 생길 수 있습니다. 따라서 큰 변경 위주로 테스트하고, 작은 차이는 "참고"로만 받아들이는 편이 현실적입니다.
중간에 결과를 들여다보지 마세요
이틀째에 B안이 앞서 있다고 해서 바로 종료하면 우연한 격차를 결론으로 착각하게 됩니다. 시작 전에 정한 대화 수나 기간이 채워질 때까지 기다리십시오. 다만 B안이 명백히 고객에게 해를 주고 있다면 기다리지 말고 즉시 중단해야 합니다. 이 경우를 위해 되돌리는 방법을 미리 준비해 두는 것이 중요합니다.
결과를 읽을 때 스스로 속지 않기
숫자가 모이면 표로 정리합니다. 주요 지표를 먼저 보고, 그다음에 가드레일 지표를 확인합니다.
이 가상 예시에서는 A안이 96건(64%), B안이 114건(76%)입니다. 차이는 12포인트입니다. 각각 150건 정도의 표본에서는 몇 포인트 정도의 변동이 우연으로도 생길 수 있으므로, 12포인트라면 B안 채택을 긍정적으로 검토할 만한 격차입니다. 반면 같은 표본에서 차이가 3포인트였다면 "효과가 있다"고 단정하기 어렵습니다.
숫자 이후에 할 일
- 대화 내용을 직접 읽으십시오. 해결로 처리된 대화 중 일부와 싫어요를 받은 대화를 열어 보면, 숫자가 말해 주지 않는 이유가 드러납니다.
- 세그먼트별로 나눠 보십시오. 전체로는 비슷해도 신규 고객에게는 B안이 낫고 기존 고객에게는 A안이 나을 수 있습니다.
- 결과를 기록하십시오. 이긴 안뿐 아니라 졌거나 차이가 없었던 테스트도 기록해 두면 같은 실험을 반복하지 않습니다.
자주 하는 실수
- 지표를 사후에 바꾸기: 앞서 말한 대로, 결과를 본 뒤 유리한 지표를 고르는 일입니다.
- 너무 일찍 끝내기: 며칠 만에 결론을 내리면 요일과 시간대 편향이 그대로 남습니다.
- 여러 가지를 한꺼번에 바꾸기: 원인을 알 수 없는 승리는 재현하기도 어렵습니다.
- 지식 베이스 변경이 끼어들기: 테스트 도중에 FAQ 문서나 학습 자료를 고치면 A안과 B안 모두에 영향이 가서 비교가 흐려집니다. 테스트 기간에는 지식 자료를 고정하십시오.
- 이벤트 기간과 겹치기: 대규모 프로모션이나 서비스 장애가 있던 기간의 데이터는 따로 분리하거나 제외해야 합니다.
- 채널 혼합: 카카오톡, 웹사이트, Instagram 결과를 섞어서 평균을 내면 어느 채널에서도 맞지 않는 결론이 나옵니다.
AI SNS CHAT에서 A/B 테스트 진행하기
먼저 짚어 둘 점이 있습니다. 제품 사양에서 방문자를 두 가지 흐름으로 자동 분할해 주는 전용 기능은 확인되지 않습니다. 따라서 분할은 운영자가 직접 설계하는 방식으로 진행합니다. AI SNS CHAT에서는 다음과 같이 준비할 수 있습니다.
1. B안 에이전트 만들기
기존 에이전트를 Duplicate(복제)하면 페르소나, 모델, 학습 데이터가 그대로 복사됩니다. 대화 기록은 복사되지 않으므로 B안의 데이터가 깨끗하게 쌓입니다. 이 복제본에서 인사말, 페르소나의 지침, 추천 질문 중 하나만 수정합니다. 에이전트 수에는 요금제별 한도가 있으니 확인이 필요합니다. 제품 기본값 기준으로 Free는 에이전트 1개, Hobby는 2개, Standard는 3개이고, 추가 에이전트는 월 $10에 구매할 수 있습니다. 최신 요금은 요금 페이지에서 확인하십시오.
2. 배포 위치로 나누기
두 에이전트를 서로 다른 위치에 배포합니다. 웹사이트 채팅 위젯을 비슷한 성격의 두 페이지에 나눠 넣거나, 공유 링크를 두 고객군에 각각 안내할 수 있습니다. 카카오톡이나 Instagram 같은 채널은 계정 단위로 연결되므로, 동일한 조건의 계정이 둘 있을 때만 분할이 의미 있습니다. 지원 채널은 연결 페이지에서 볼 수 있습니다.
3. 대화 로그로 측정하기
Activity → Chat logs에서 대화를 필터링하고, 해결 처리와 에스컬레이션 표시, 좋아요/싫어요 평가를 확인할 수 있습니다. 로그를 내보내 스프레드시트에서 A안과 B안을 비교해도 됩니다. 리드 수집이 지표라면 Activity → Leads를 사용합니다. 분석 화면의 고급 분석은 Pro 요금제부터 이용할 수 있습니다.
4. 변경 이력과 롤백
Workspace settings → Activity에는 누가 언제 무엇을 수정했는지가 기록되어, 테스트 중 변경이 끼어들었는지 점검할 때 도움이 됩니다. 에이전트에는 복원 지점(restore points)이 있고 봇당 최대 40개까지 저장됩니다. 변경 전에 복원 지점을 만들어 두면 B안이 나쁠 때 이전 상태로 돌아갈 수 있습니다. 삭제한 에이전트는 휴지통에 30일간 보관됩니다.
모델 비교는 따로
대화 흐름이 아니라 AI 모델 자체를 비교하고 싶다면 Playground의 A/B 모델 비교 화면을 이용할 수 있습니다. 같은 질문에 대한 답변을 나란히 볼 수 있어, 실제 고객 트래픽에 노출하기 전의 사전 점검용으로 좋습니다. 모델 설정은 Agent → Settings → AI에 있으며, 고급 모델과 모델 폴백은 Hobby 이상에서 이용할 수 있습니다. 실제 사용 가능한 기능은 기능 페이지에서 확인하십시오.
자주 묻는 질문
AI SNS CHAT이 방문자를 두 가지 흐름으로 자동 분할해 주나요?
제품 사양에서 자동 트래픽 분할 기능은 확인되지 않습니다. 에이전트를 복제해 B안을 만들고, 배포 페이지나 채널로 고객을 나누어 운영하는 방식으로 진행합니다. 대화 로그와 리드 목록으로 두 안을 비교할 수 있습니다.
신뢰할 만한 결과를 얻으려면 대화가 몇 건 필요한가요?
정해진 숫자는 없고, 기대하는 차이가 클수록 적은 대화로도 판단할 수 있습니다. 가상의 예로 각 150건 정도에서는 12포인트 차이를 긍정적으로 검토할 수 있지만, 2~3포인트 차이는 우연일 가능성이 큽니다. 최소 일주일 이상, 평일과 주말을 모두 포함해 운영하시기를 권장합니다.
WhatsApp이나 Messenger 흐름에는 어떤 지표를 쓰면 좋을까요?
가장 무난한 지표는 상담원 인계 없이 끝난 대화의 비율이며, 보조 지표로 싫어요 평가 비율을 함께 보십시오. 리드 수집이 목적이라면 대화 대비 리드 수가 적합합니다. 이 채널들은 고객이 먼저 말을 걸어야 대화가 시작되므로, 인사말 수정의 효과는 첫 응답 이후의 진행에서 측정하는 편이 정확합니다.
B안 성과가 더 나쁘면 안전하게 되돌릴 수 있나요?
네, 변경 전에 복원 지점을 만들어 두면 이전 상태로 되돌릴 수 있습니다. 복원 지점은 봇당 최대 40개까지 저장됩니다. B안을 별도 복제본으로 운영했다면 기존 에이전트는 건드리지 않았으므로, 복제본의 배포만 내리면 됩니다.


