고객 응대용 AI 모델을 정확도, 응답 속도, 비용 세 가지 기준으로 비교하고 채널별로 배치하며 실제 질문으로 검증하는 방법을 설명합니다.
새 모델이 나올 때마다 "이번에는 어떤 모델이 가장 좋은가"를 두고 고민하는 팀이 많습니다. 하지만 고객 응대에서 좋은 모델이란 벤치마크 순위가 높은 모델이 아니라, 우리 고객의 질문에 충분히 정확하고, 기다리게 하지 않으며, 감당할 수 있는 비용으로 돌아가는 모델입니다. 이 글에서는 모델을 고르는 기준, 채널별 배치 방법, 장애에 대비하는 방법, 그리고 고객에게 영향을 주지 않고 비교 테스트하는 절차를 정리합니다.
모델보다 업무부터 정하세요
모델 이름부터 검색하기 전에 먼저 이 AI가 맡을 일을 적어 보시기 바랍니다. 같은 "고객 응대"라도 업무의 성격은 크게 다릅니다.
- 반복 질문 응대: 영업시간, 배송 일정, 반품 절차처럼 답이 문서에 이미 있는 질문입니다. 지식 베이스에서 정확히 찾아 옮겨 말하는 능력이 중요합니다.
- 조건이 얽힌 안내: 요금제 비교, 환불 가능 여부, 예약 변경 규정처럼 여러 조건을 조합해야 하는 질문입니다. 추론 능력과 지시를 정확히 따르는 능력이 필요합니다.
- 정보 수집: 이름, 연락처, 문의 유형을 자연스럽게 물어보고 정리하는 일입니다. 대화 흐름을 유지하는 능력이 중요합니다.
- 민감한 상황: 불만, 결제 분쟁, 개인정보가 얽힌 문의입니다. 이 경우 AI의 창의성보다 신중함과 상담원 인계 판단이 더 중요합니다.
업무를 이렇게 나누어 보면 대부분의 문의가 첫 번째 유형에 몰려 있다는 사실을 발견하는 경우가 많습니다. 그렇다면 가장 비싼 모델을 모든 대화에 쓸 이유는 줄어듭니다. 반대로 세 번째, 네 번째 유형이 많다면 응답이 조금 느리더라도 더 유능한 모델을 쓰는 편이 안전합니다.
세 가지 트레이드오프
정확도, 속도, 비용은 서로 당기는 방향이 다릅니다. 하나를 올리면 다른 하나가 불편해지는 경우가 일반적입니다.
정확도
정확도는 단순히 "똑똑하다"가 아닙니다. 고객 응대에서는 다음 네 가지로 쪼개어 보는 것이 유용합니다.
- 지식 베이스에 있는 내용을 틀리지 않고 전달하는가
- 지식 베이스에 없는 내용을 지어내지 않고 모른다고 말하는가
- 페르소나와 금지 사항 같은 지시를 일관되게 지키는가
- 한국어의 존댓말과 어투를 자연스럽게 유지하는가
특히 두 번째 항목이 중요합니다. 고객 응대에서 가장 큰 사고는 답을 못 하는 것이 아니라, 그럴듯하지만 틀린 답을 자신 있게 하는 것입니다.
속도
속도는 채널의 기대치와 연결됩니다. 웹사이트 채팅 위젯에서 고객은 화면 앞에서 기다리고 있으므로 응답이 몇 초만 늦어져도 체감이 큽니다. 반면 이메일 응대는 몇 분이 걸려도 문제가 되지 않습니다. 같은 모델이라도 채널에 따라 "느리다"의 기준이 달라진다는 점을 기억하시기 바랍니다.
비용
비용은 모델 단가만이 아니라 대화량과 함께 봐야 합니다. 예를 들어 한 가게가 한 달에 채팅 300건을 받는다고 가정해 보겠습니다. 이 규모에서는 모델 등급을 한 단계 올려도 부담이 크지 않을 수 있습니다. 하지만 같은 가게가 캠페인 때문에 문의량이 몇 배로 늘어난다면 같은 선택이 전혀 다른 결과를 낳을 수 있습니다. 위 숫자는 설명을 위한 가정이며, 실제 비용은 사용하는 요금제와 공급사 조건에 따라 달라집니다.
채널별로 모델 등급을 나누세요
모든 채널에 같은 모델을 쓸 필요는 없습니다. 채널마다 고객의 기대와 문의 성격이 다르기 때문입니다.
웹사이트 채팅
방문자가 구매를 고민하는 순간에 말을 거는 채널입니다. 응답이 빨라야 하고, 대부분 상품과 정책에 관한 질문입니다. 빠르고 가벼운 모델로 시작해 보고, 오답이 보이는 주제만 더 유능한 모델로 올리는 접근이 현실적입니다.
카카오톡 채널
한국 고객에게 카카오톡은 사실상 기본 연락 수단입니다. 고객은 메신저처럼 짧게 여러 번 말을 걸고, 앞선 대화를 기억해 주기를 기대합니다. 문장이 짧고 맥락이 생략되는 경우가 많아서, 말 줄임이나 대화 흐름을 잘 이해하는지 직접 확인해 볼 필요가 있습니다. 또한 존댓말 어투가 흔들리지 않는지도 꼼꼼히 보시기 바랍니다.
Instagram 메시지는 상품 사진을 보고 들어온 가벼운 문의가 많습니다. "이거 재고 있어요?", "배송 얼마나 걸려요?" 같은 짧은 질문이 대부분이어서 속도와 비용 효율이 중요합니다. 다만 단골 고객의 교환·환불 문의처럼 조건이 복잡한 대화가 섞이면 그 부분만 상담원에게 넘기는 설계가 더 효율적입니다.
이메일
이메일은 길고 구체적인 문의가 많고, 몇 분의 지연은 문제가 되지 않습니다. 정확도를 우선해도 되는 대표적인 채널입니다.
실패를 전제로 설계하세요
모델 선택은 잘 동작할 때만이 아니라 잘못될 때를 포함해서 생각해야 합니다.
- 공급사 장애: AI 공급사의 서비스가 일시적으로 느려지거나 응답하지 않을 수 있습니다. 한 곳에만 의존하면 그동안 고객 응대가 멈춥니다.
- 모델 변경: 공급사가 모델을 갱신하거나 종료하면 어제까지 잘 되던 답변의 어투와 품질이 달라질 수 있습니다.
- 모르는 질문: 어떤 모델이든 지식 베이스에 없는 질문은 만납니다. 이때 지어내지 않고 상담원에게 넘기는 경로가 있어야 합니다.
- 되돌리기: 설정을 바꾼 뒤 품질이 떨어졌다면 곧바로 이전 상태로 돌아갈 수 있어야 합니다.
따라서 모델을 고를 때는 "대체 경로가 있는가", "인계 규칙이 있는가", "되돌릴 수 있는가"를 함께 점검해야 합니다. 이 세 가지가 갖추어져 있으면 모델 하나의 약점이 곧바로 고객 불만으로 이어지지 않습니다.
실용적인 테스트 방법
감이나 데모 몇 번으로 모델을 정하면 나중에 후회하기 쉽습니다. 아래 순서로 반복해서 검증하는 편이 좋습니다.
- 01실제 질문 모으기
- 02후보 모델 둘 비교하기
- 03오답과 어투 점검하기
- 04채널에 적용하기
- 05로그 보며 재평가하기
1. 실제 질문으로 시험지를 만듭니다
가상의 질문이 아니라 지난 대화 기록에서 뽑은 실제 질문을 사용하세요. 다음 유형을 골고루 섞으시기 바랍니다.
- 자주 오는 쉬운 질문
- 조건이 얽힌 어려운 질문
- 지식 베이스에 답이 없는 질문
- 불만이 섞인 감정적인 질문
- 오타나 줄임말이 많은 카카오톡식 질문
2. 같은 조건에서 나란히 비교합니다
모델만 바꾸고 지식 베이스, 페르소나, 지시문은 동일하게 둡니다. 그래야 차이가 모델에서 나온 것인지 설정에서 나온 것인지 분명해집니다.
3. 점수 기준을 미리 정합니다
각 답변을 "정확함 / 부분적으로 맞음 / 틀림 / 지어냄"처럼 단순한 기준으로 평가하세요. 평가 항목이 많을수록 일관성이 떨어집니다. 특히 "지어냄"은 별도 항목으로 두고 가장 무겁게 보는 것을 권합니다.
4. 적은 범위부터 적용합니다
결과가 만족스러워도 한 번에 모든 채널에 적용하지 말고, 위험이 낮은 채널이나 일부 주제부터 적용한 뒤 실제 대화 기록과 고객 평가를 확인합니다.
흔한 실수
- 항상 최고 등급만 고집합니다. 쉬운 질문까지 가장 무거운 모델이 처리하면 비용과 대기 시간만 늘고 고객이 체감하는 이득은 작을 수 있습니다.
- 가장 저렴한 모델로 시작해 끝까지 둡니다. 초기에는 비용이 줄어 보여도 오답으로 인한 재문의와 상담원 부담이 커질 수 있습니다.
- 모델을 탓하기 전에 지식 베이스를 확인하지 않습니다. 답변이 이상할 때 원인은 모델이 아니라 오래되었거나 모호한 문서인 경우가 많습니다.
- 시험 없이 바꿉니다. 새 모델이 나왔다는 이유만으로 운영 중인 에이전트의 모델을 바꾸면 어투나 판단이 달라질 수 있습니다.
- 한 번 정하고 잊어버립니다. 문의 유형, 상품, 모델 라인업은 계속 변하므로 주기적인 재평가가 필요합니다.
- 채널 특성을 무시합니다. 이메일에서 적합했던 설정이 카카오톡이나 Instagram에서는 지나치게 길거나 딱딱하게 느껴질 수 있습니다.
AI SNS CHAT에서 모델 선택 적용하기
AI SNS CHAT에서는 위에서 설명한 순환 구조를 다음과 같이 진행할 수 있습니다.
모델 설정 위치
에이전트별 모델은 Agent → Settings → AI에서 선택합니다. 텍스트 대화에는 Anthropic(Claude), OpenAI, Google(Gemini), OpenRouter가 공급사로 연결됩니다. 각 공급사의 모델 목록은 실시간으로 조회되며 6시간 동안 캐시되므로, 새 모델이 공개되면 목록에 반영되는 데 시간이 걸릴 수 있습니다. 참고로 Grok(xAI)은 음성 전용이며 텍스트 채팅에는 사용되지 않습니다.
Playground에서 먼저 비교하기
고객 대화에 영향을 주지 않고 비교하려면 Playground의 A/B 모델 비교를 사용하세요. 같은 질문을 두 모델에 보내고 답변을 나란히 확인할 수 있습니다. 앞서 만든 시험 질문 목록을 그대로 넣어 보면 됩니다.
장애 대비: 자동 전환
모델 전환(fallback) 기능은 Hobby 이상 요금제에서 사용할 수 있습니다. 기본 동작은 먼저 해당 에이전트에 지정된 공급사를 시도하고, 이어서 Anthropic → OpenAI → Google → OpenRouter 순서로 넘어가는 방식입니다. 공급사를 한 곳으로 고정하고 싶은 경우를 위해 플랫폼 관리자 설정(ai_provider_fallback=same)도 있으며, 이는 고객 화면이 아니라 관리자 설정입니다. 고급 모델도 Hobby 이상에서 선택할 수 있고, 낮은 요금제에서는 같은 공급사의 표준 모델로 대체됩니다.
안전하게 바꾸고 되돌리기
- Duplicate: 에이전트를 복제하면 페르소나, 모델, 학습 데이터가 함께 복사되고 대화 기록은 복사되지 않습니다. 복제본에 새 모델을 적용해 시험해 볼 수 있습니다.
- 복원 지점: 에이전트당 최대 40개까지 저장되어, 변경 후 품질이 떨어지면 이전 상태로 되돌릴 수 있습니다.
결과 확인과 비용 관리
Activity → Chat logs에서 실제 대화를 열어 확인하고, 고객이 남긴 좋아요/싫어요 평가를 필터와 함께 살펴보세요. 상담원이 답변을 이상적인 답으로 고쳐 에이전트를 학습시키는 기능도 있습니다. 크레딧 사용량은 Usage 페이지에서 에이전트별로 확인할 수 있습니다. 요금제 기준으로는 답변 1건이 1크레딧이며, 공급사별 원가를 보여 주는 고객용 화면은 별도로 제공되지 않으므로, 모델 변경 전후의 대화량과 크레딧 소모를 직접 비교해 보시기 바랍니다.
채널 연결
위젯, KakaoTalk 채널, Instagram 등은 Channels에서 연결하며, 지원 채널 전체는 연결 목록에서 볼 수 있습니다. 요금제별 한도는 요금 안내에서 확인하시기 바랍니다.
자주 묻는 질문
항상 가장 높은 성능의 모델을 쓰는 것이 좋을까요?
꼭 그렇지는 않습니다. 대부분의 문의가 문서에 답이 있는 반복 질문이라면 더 가볍고 빠른 모델로도 충분한 경우가 많습니다. 조건이 복잡하거나 민감한 문의가 많은 에이전트에만 상위 모델을 쓰는 방식이 비용과 응답 속도 면에서 합리적입니다.
시험 질문은 몇 개나 필요한가요?
정해진 정답은 없지만, 쉬운 질문부터 어려운 질문, 답이 없는 질문, 감정적인 질문까지 유형별로 골고루 담는 것이 숫자보다 중요합니다. 처음에는 수십 개 정도의 실제 질문으로 시작하고, 운영하면서 잘못 답한 사례를 계속 추가해 나가면 좋습니다.
고객에게 영향을 주지 않고 두 모델을 비교할 수 있나요?
네. AI SNS CHAT의 Playground에서 A/B 모델 비교를 사용하면 같은 질문에 대한 두 모델의 답변을 나란히 볼 수 있고, 이 과정은 실제 고객 대화와 분리되어 있습니다. 에이전트를 Duplicate해서 복제본에 새 모델을 적용해 보는 방법도 있습니다.
AI 공급사에 장애가 나면 어떻게 되나요?
Hobby 이상 요금제에서는 모델 전환 기능이 에이전트에 지정된 공급사를 먼저 시도하고, 이어서 Anthropic, OpenAI, Google, OpenRouter 순으로 넘어갑니다. 전환이 이루어지는 동안 답변의 어투가 조금 달라질 수 있으므로, 대체 모델로도 시험해 두면 안심할 수 있습니다.
모델 선택은 얼마나 자주 다시 검토해야 하나요?
정해진 주기보다는 계기를 기준으로 삼는 것이 좋습니다. 새 상품이나 정책이 추가되었을 때, 문의량이 크게 달라졌을 때, 공급사가 새 모델을 내놓았을 때, 그리고 Chat logs에서 부정적인 평가가 늘어났을 때 다시 점검해 보시기 바랍니다.


