음성 AI 에이전트의 구성 요소와 두 가지 구조, 설계 원칙, 안전한 도입 순서와 측정 방법을 한국 기업 상황에 맞게 정리했습니다.
카카오톡이나 웹사이트 채팅은 이미 자동화했는데, 전화만 여전히 사람이 모두 받고 있는 곳이 많습니다. 음성 AI 에이전트를 검토하고 싶어도 어떤 기술로 구성되는지, 어디까지 맡겨도 되는지 기준이 없으면 시작하기 어렵습니다. 이 글에서는 음성 에이전트의 기본 구조와 잘 맞는 상황, 대화 설계 원칙, 단계별 도입 방법과 측정 지표를 순서대로 설명합니다.
음성 AI 에이전트란 무엇인가
음성 AI 에이전트는 사람이 말하는 내용을 듣고, 의도를 파악하고, 필요한 정보를 찾아 다시 목소리로 답하는 소프트웨어입니다. 흔히 떠올리는 "1번을 누르세요" 방식의 ARS와는 다릅니다. ARS는 정해 둔 메뉴 트리를 따라가지만, 음성 에이전트는 고객이 "지난주에 주문한 거 배송이 언제쯤 되나요?"처럼 자유롭게 말해도 의미를 해석합니다.
핵심은 텍스트 상담에서 쓰는 두뇌를 그대로 두고, 입력과 출력만 음성으로 바꾸는 것입니다. 그래서 채팅용으로 정리해 둔 FAQ, 제품 문서, 정책 자료가 음성 상담에서도 같은 근거가 됩니다. 반대로 말하면, 채팅에서 답변이 부정확한 에이전트는 전화에서도 부정확합니다. 음성은 지식의 품질을 가려 주지 않고 오히려 더 크게 드러냅니다.
세 가지 구성 요소
음성 상담은 크게 세 가지 부품으로 이루어집니다.
- 음성 인식(STT): 고객의 목소리를 글자로 바꿉니다. 소음, 억양, 사투리, 숫자와 고유명사 인식이 품질을 좌우합니다.
- 언어 모델(두뇌): 글자가 된 질문을 이해하고 지식 자료를 바탕으로 답을 만듭니다. 페르소나와 가드레일도 여기서 적용됩니다.
- 음성 합성(TTS): 만들어진 답을 자연스러운 목소리로 읽어 줍니다. 목소리의 톤, 속도, 끊어 읽기가 첫인상을 결정합니다.
여기에 전화망과 연결하는 통신 계층이 더해집니다. 고객이 거는 전화는 번호를 거쳐 에이전트로 들어오고, 에이전트의 답은 다시 같은 경로로 돌아갑니다.
- 01고객이 말함
- 02음성 인식으로 글자 변환
- 03언어 모델이 답변 생성
- 04음성 합성으로 읽어 줌
각 단계마다 지연이 조금씩 쌓입니다. 사람은 대화에서 1초 안팎의 침묵도 길게 느끼기 때문에, 단계별 속도가 곧 통화 품질입니다.
두 가지 구조: 파이프라인과 음성 직접 처리
음성 에이전트를 만드는 방식은 크게 둘로 나뉩니다.
파이프라인 방식은 위에서 본 것처럼 인식, 사고, 합성을 따로 이어 붙입니다. 각 부품을 따로 고를 수 있어서 목소리를 바꾸거나 모델을 교체하기 쉽고, 중간 단계의 글자 기록이 남아 검토하기도 편합니다.
음성 직접 처리(speech-to-speech) 방식은 하나의 모델이 소리를 듣고 곧바로 소리로 답합니다. 중간에 글자로 바꾸는 단계가 없어서 반응이 빠르고, 말을 끊고 끼어드는 상황에도 자연스럽게 대응하는 편입니다. 대신 부품을 마음대로 바꾸기 어렵고 특정 공급자에 묶이기 쉽습니다.
어느 쪽이 항상 낫다고 말할 수는 없습니다. 일반 문의 응대처럼 기록 검토와 비용 관리가 중요하면 파이프라인이, 대화의 자연스러움이 가장 중요한 체험형 상담이라면 직접 처리 방식이 어울립니다. 처음에는 두 방식을 같은 질문으로 비교해 보는 것이 가장 정확합니다.
음성이 잘 맞는 곳과 맞지 않는 곳
음성이 도움이 되는 경우
- 매장, 병원, 미용실, 학원 등의 영업시간, 위치, 예약 문의처럼 짧고 반복적인 질문
- 운전 중이거나 손이 바쁜 고객, 타자 입력이 불편한 고객
- 업무 시간 외 걸려 오는 전화를 받아서 용건을 정리해 두는 경우
- 어르신 고객층처럼 앱이나 채팅보다 전화가 익숙한 경우
음성이 맞지 않는 경우
- 주문번호, 이메일 주소, 긴 주소처럼 정확한 문자열을 받아 적어야 하는 경우. 이런 건 카카오톡이나 웹 채팅이 훨씬 정확합니다.
- 표, 사진, 링크를 보여 줘야 하는 안내
- 결제, 개인정보 변경처럼 오류의 비용이 큰 절차
- 감정이 격해진 고객, 분쟁과 민원처럼 사람의 판단이 필요한 상황
실무에서는 "전화로 받아서 카카오톡으로 마무리"하는 혼합 흐름이 효과적인 경우가 많습니다. 통화에서는 용건을 파악하고, 길거나 정확해야 하는 정보는 문자 채널로 넘기는 식입니다.
음성 대화 설계 원칙
글로 읽는 답변을 그대로 읽어 주면 어색합니다. 말로 듣는 대화에는 다른 규칙이 필요합니다.
- 답은 짧게, 한 번에 하나만 묻습니다. 듣는 사람은 앞의 내용을 되돌려 볼 수 없습니다. 선택지는 두세 개 이상 읽지 않습니다.
- 첫 문장에서 신분을 밝힙니다. "AI 상담원입니다"처럼 사람이 아님을 알리고, 필요하면 상담원 연결이 가능하다고 안내합니다.
- 복창으로 확인합니다. "내일 오후 3시, 두 분 예약으로 확인해도 될까요?"처럼 중요한 정보는 다시 말해 줍니다.
- 숫자와 날짜는 말하기 쉬운 형태로 씁니다. 지식 자료에 적힌 기호나 표기를 그대로 읽으면 어색해질 수 있으니, 시험 통화로 읽는 방식을 확인합니다.
- 막혔을 때의 출구를 만듭니다. 두세 번 되물어도 이해하지 못하면 사람 연결이나 콜백 접수로 넘어가도록 정합니다.
- 모르는 것은 모른다고 말합니다. 근거가 없는 질문에 그럴듯한 답을 지어내지 않도록 가드레일을 정해 둡니다.
안전한 도입 순서
처음부터 대표 번호를 바꾸는 것은 위험합니다. 다음처럼 범위를 점차 넓히는 편이 안전합니다.
- 연습 단계: 전화번호 없이 내부에서 시험 대화를 하며 말투와 지식의 빈틈을 찾습니다.
- 내부 파일럿: 직원만 아는 시험 번호를 연결하고 실제 질문 목록으로 통화합니다.
- 제한된 공개: 영업시간 외나 특정 문의 유형처럼 범위를 좁혀서 운영합니다.
- 검토와 개선: 통화 기록을 보고 답변 자료와 가드레일을 고칩니다.
- 확대: 기준 지표가 안정되면 범위를 넓힙니다.
파일럿 기간에 어떤 통화를 우선 검토할지도 미리 정해 둡니다. 아래는 가상의 예시입니다.
이 수치는 설명을 위한 가정입니다. 실제 분포는 업종과 질문 유형에 따라 크게 달라집니다. 중요한 것은 해결된 통화보다 "사람 연결"과 "이해 실패"를 먼저 듣는 습관입니다. 이 구간에서 개선할 거리가 가장 많이 나옵니다.
효과를 어떻게 측정할까
음성 에이전트의 성과는 통화 수만으로 판단할 수 없습니다. 다음 지표를 함께 봅니다.
- 해결률: 사람 도움 없이 용건이 끝난 통화의 비율
- 사람 연결 비율과 사유: 연결이 많다면 지식이 부족한지, 범위가 너무 넓은지 원인을 나눠 봅니다.
- 통화 길이: 너무 길면 되묻기가 많다는 신호입니다.
- 중도 이탈: 에이전트와 말하다 전화를 끊은 경우
- 고객 평가와 재문의: 같은 용건으로 다시 전화하거나 채팅하는 비율
- 비용: 통화 분당 소비되는 크레딧과 처리 건수의 균형
가정의 예를 들어 보겠습니다. 한 달에 300통을 받는 가게가 있고 그중 영업시간과 위치 문의가 절반을 차지한다면, 먼저 그 유형만 맡겨도 직원의 전화 부담은 눈에 띄게 줄어듭니다. 이 숫자 역시 설명용 가정입니다. 자기 가게의 통화 유형부터 세어 보는 것이 출발점입니다.
AI SNS CHAT에서 음성 에이전트 만들기
AI SNS CHAT의 사이드바에는 Voice 메뉴가 따로 있고, 개요, 분석, Voice agent, Avatar, Voice Playground, Inbound calls, Call history, Outbound calls 등이 모여 있습니다. 순서대로 따라가면 위의 도입 순서를 그대로 밟을 수 있습니다.
- Voice Playground에서 먼저 시험합니다. 전화번호를 연결하기 전에 말투와 답변을 확인합니다. 지식 자료는 Data sources에서 파일, 웹사이트, Q&A 등으로 채워 둡니다.
- 목소리를 고릅니다. 음성 합성은 Grok/xAI(기본값), OpenAI(gpt-4o-mini-tts), ElevenLabs, 브라우저 음성 중에서 선택합니다. ElevenLabs는 음성 라이브러리, 음성 디자인, 클로닝을 지원합니다.
- 구조를 선택합니다. 단계별 파이프라인과 함께, Synthia 음성 대화에는 OpenAI Realtime API 기반의 음성 직접 처리가 쓰입니다. 이 경로는 OpenAI만 사용하며 대체 공급자가 없습니다. Grok 음성 대 음성도 제공되지만 기본 설정에서는 계정 소유자에게만 응답합니다.
- Inbound calls에서 전화를 연결합니다. 에이전트마다 Twilio 번호를 연결하며, 웹훅 자체 점검과 자동 복구 기능이 있습니다. 연결 후에는 Call history에서 통화를 확인합니다.
- Outbound calls로 일괄 발신을 합니다. 일괄 발신 캠페인에는 Twilio 번호가 필요하고, 시작 전에 시험 통화를 먼저 하며 진행 중에도 중단할 수 있습니다.
- 분석을 봅니다. Analytics의 음성 분석에서 통화 흐름을 확인하고, 필요하면 Avatar 메뉴에서 립싱크 아바타(Simli 또는 직접 올린 영상)도 만들 수 있습니다.
음성 스택은 22개 언어를 지원합니다. 한국어, 일본어, 영어 외에 포르투갈어, 독일어, 베트남어 등이 포함되며, 일부 언어는 전화 음성에서 영어 음성으로 대체되기도 합니다. 반드시 사용할 언어로 시험 통화를 해 보십시오.
음성만 고집할 필요는 없습니다. 같은 지식으로 웹사이트 채팅 위젯, 카카오톡 채널(KakaoTalk), Instagram 등 다른 채널도 연결할 수 있습니다. 채널 목록은 연결 페이지에서, 요금은 요금제 페이지에서 확인할 수 있습니다. 음성 요금은 분 단위로 크레딧이 차감되며, 분당 크레딧은 관리자가 설정하므로 사용 전에 Usage 페이지에서 소모량을 확인하십시오. 상담원 연결이 필요한 경우에는 Helpdesk의 근무 일정 기반 자동 배정을 활용할 수 있습니다(Helpdesk는 Standard 이상). 기능 전체는 기능 페이지에서 볼 수 있습니다.
자주 묻는 질문
음성 에이전트를 시험하려면 전화번호가 꼭 필요한가요?
시험 단계에서는 필요하지 않습니다. Voice Playground에서 번호 없이 대화를 먼저 확인할 수 있습니다. 실제 전화를 받으려면 에이전트에 Twilio 번호를 연결해야 합니다.
같은 에이전트로 채팅과 음성을 함께 운영할 수 있나요?
지식 자료와 페르소나를 공유하는 방식으로 운영할 수 있습니다. 웹 채팅, 카카오톡, Instagram 같은 채널과 전화를 각각 연결해 일관된 답변을 유지하는 것이 좋습니다. 다만 음성은 답변을 짧게 다듬어야 하므로 시험 통화로 따로 확인하십시오.
음성은 어떤 언어를 지원하나요?
음성 스택은 22개 언어를 지원합니다. 일부 언어는 전화 음성에서 영어 음성으로 대체될 수 있으므로, 사용할 언어로 먼저 시험 통화를 해 보는 것이 안전합니다.
자체 SIP 트렁크나 WhatsApp 음성 통화로 전화를 받을 수 있나요?
현재는 권장하지 않습니다. SIP 트렁크 설정은 저장되지만 이를 사용하는 통화 경로는 확인되지 않았고, WhatsApp 음성과 관리형 전화번호는 대기자 등록과 "Coming soon" 단계입니다. 지금은 Twilio 번호 연결 방식을 기준으로 계획하십시오.
발신 안내 전화에 음성을 써도 안전한가요?
일괄 발신은 시험 통화를 먼저 하고 도중에 중단할 수 있도록 되어 있습니다. 다만 발신 대상의 동의와 관련 법규는 사업자가 직접 확인해야 하며, 처음에는 소수의 대상으로 시작해 통화 기록을 검토하는 것이 좋습니다.

