본문으로 건너뛰기
AI-SNS.IO — CHAT SUPPORTAI-SNS.IO — CHAT SUPPORT
음성·아바타

음성 에이전트 구조 선택: speech-to-speech와 TTS 파이프라인 비교

AI SNS CHAT 편집팀게시 7분 읽기

음성 상담 에이전트를 도입할 때 speech-to-speech와 TTS 파이프라인 중 무엇을 고를지, 지연·통제·비용 기준으로 정리합니다.

음성 상담을 도입하려는 팀이 가장 먼저 마주치는 질문은 "말하는 AI를 어떤 구조로 만들 것인가"입니다. 자연스러운 대화를 위해 speech-to-speech를 쓸지, 검증된 텍스트 에이전트에 음성만 입히는 TTS 파이프라인을 쓸지에 따라 응답 속도, 답변 통제력, 운영 비용이 크게 달라집니다. 이 글에서는 두 구조의 차이를 정리하고, 고객 지원 현장에서 어떤 기준으로 선택하면 좋을지 체크리스트까지 안내합니다.

목표는 같지만 구조가 다른 두 방식

두 방식 모두 고객이 말하면 AI가 말로 답한다는 목표는 같습니다. 차이는 그 사이에서 일어나는 일입니다.

  • TTS 파이프라인(캐스케이드 방식): 음성을 글자로 바꾸고, 텍스트 에이전트가 답을 쓰고, 그 글자를 다시 음성으로 읽어 줍니다. 단계가 나뉘어 있습니다.
  • speech-to-speech: 음성을 입력으로 받아 음성을 바로 출력하는 하나의 모델이 처리합니다. 중간에 글자 단계가 눈에 띄게 드러나지 않습니다.

비유하면 TTS 파이프라인은 통역사, 작성자, 낭독자가 릴레이로 일하는 팀이고, speech-to-speech는 한 사람이 듣고 곧바로 대답하는 대화입니다. 릴레이는 각 단계를 점검하고 교체할 수 있다는 장점이 있고, 한 사람의 대화는 리듬이 자연스럽다는 장점이 있습니다. 어느 쪽이 더 낫다기보다 무엇을 우선하느냐의 문제입니다.

TTS 파이프라인은 이렇게 동작합니다

TTS 파이프라인은 보통 네 단계로 이루어집니다.

  1. 01음성 인식(STT)
  2. 02텍스트 에이전트 응답
  3. 03음성 합성(TTS)
  4. 04고객에게 재생
TTS(캐스케이드) 음성 파이프라인설명용 예시

1단계: 음성 인식

고객의 말을 글자로 바꿉니다. 이 단계의 정확도가 전체 품질의 출발점입니다. 상품명, 주문번호, 지명처럼 고유한 말은 인식 오류가 나기 쉬워서, 통화 환경(소음, 전화 회선 품질)도 함께 고려해야 합니다.

2단계: 텍스트 에이전트

글자로 바뀐 질문을 기존 텍스트 에이전트가 처리합니다. 지식베이스를 검색하고, 페르소나와 가드레일을 적용하고, 필요하면 상담원 연결이나 리드 수집 같은 동작을 실행합니다. 웹사이트 채팅이나 카카오톡 채널에서 이미 다듬어 온 에이전트를 그대로 활용할 수 있다는 점이 가장 큰 장점입니다.

3단계: 음성 합성

완성된 답변 텍스트를 목소리로 읽어 줍니다. 공급자와 목소리를 바꿔 가며 브랜드 이미지에 맞는 톤을 고를 수 있습니다.

4단계: 재생

생성된 음성을 전화 또는 웹 화면으로 내보냅니다.

이 구조의 핵심은 중간에 "텍스트"라는 점검 가능한 결과물이 남는다는 것입니다. 무슨 질문을 들었고 무슨 답을 했는지 글자로 남으니 로그 검토, 품질 개선, 잘못된 답변 수정이 쉽습니다. 반면 단계가 나뉜 만큼 각 단계의 지연이 쌓이고, 말 사이사이의 억양이나 끼어들기 같은 미묘한 대화 리듬은 약해질 수 있습니다.

speech-to-speech는 이렇게 동작합니다

speech-to-speech는 음성을 입력받아 음성으로 응답하는 모델을 실시간 연결로 사용합니다. 글자로 변환하고 다시 읽는 과정을 별도로 거치지 않으므로 다음과 같은 특징이 생깁니다.

  • 짧은 반응 시간: 단계 사이의 대기가 줄어 대화가 빠르게 이어집니다.
  • 자연스러운 말투: 웃음, 망설임, 말끝의 높낮이처럼 글자로 옮기기 어려운 요소를 살릴 수 있습니다.
  • 끼어들기 대응: 고객이 말을 자르고 들어와도 비교적 자연스럽게 흐름을 바꿀 수 있습니다.

대신 감수해야 할 점도 있습니다.

  • 특정 공급자의 실시간 모델에 의존하는 경우가 많아 장애 시 대체 경로를 두기 어렵습니다.
  • 답변이 만들어지는 과정을 단계별로 들여다보기 어렵습니다.
  • 지식베이스 기반의 엄격한 답변 통제나 기존 텍스트 에이전트의 동작 연결이 TTS 방식보다 까다로울 수 있습니다.
  • 분당 비용이 텍스트 중심 구성과 다르게 책정되는 경우가 많습니다.

한눈에 보는 비교

TTS 파이프라인
speech-to-speech
단계가 나뉘고 지연이 누적됩니다
입력에서 출력까지 한 번에 처리해 반응이 빠릅니다
중간 텍스트로 로그와 검수가 쉽습니다
처리 과정을 단계별로 확인하기 어렵습니다
기존 텍스트 에이전트와 지식베이스를 그대로 씁니다
음성 전용 구성이 따로 필요할 수 있습니다
목소리와 공급자를 자유롭게 교체합니다
모델 공급자에 묶이는 경향이 있습니다
말투는 안정적이지만 다소 기계적일 수 있습니다
억양과 끼어들기가 자연스럽습니다
TTS 파이프라인과 speech-to-speech 비교설명용 예시

고객 지원에서 정말 중요한 것

화려한 데모보다 운영 현장에서 따져 볼 항목은 따로 있습니다.

답변의 정확성과 통제

고객 지원에서 가장 큰 위험은 그럴듯하지만 틀린 답변입니다. 환불 규정, 배송 기간, 요금 같은 정보는 승인된 지식베이스에서만 가져와야 합니다. 텍스트 에이전트를 거치는 TTS 파이프라인은 기존에 설정한 지식 소스와 가드레일을 그대로 적용하기 쉽습니다.

지연 시간

전화 통화에서는 대답이 늦으면 고객이 "여보세요?"를 반복하게 됩니다. 반면 웹사이트 채팅에 음성 안내를 붙이는 정도라면 1~2초의 차이가 결정적이지 않을 수 있습니다. 접점의 성격에 따라 허용 지연이 다릅니다.

장애 대응

한 공급자가 멈췄을 때 대체 경로가 있는지 확인해야 합니다. 텍스트 모델은 공급자를 바꿔 이어 갈 수 있는 구성이 흔하지만, 실시간 음성 모델은 대체가 어려운 경우가 많습니다.

비용 예측

음성은 분 단위로 과금되는 구조가 많아서 통화량이 늘수록 비용이 직접 늘어납니다. 예를 들어 한 달에 통화가 300건이고 평균 4분이라면 총 1,200분입니다. 이런 식으로 월 통화 분수를 먼저 추산해야 구조별 비용을 비교할 수 있습니다. (가정 예시이며 실제 수치가 아닙니다.)

다국어와 발음

국내 기업이라면 한국어 품질은 기본이고, 일본어나 영어 고객 응대가 필요한지도 확인해야 합니다. 언어에 따라 사용할 수 있는 목소리 품질이 다를 수 있습니다.

사람에게 넘기는 흐름

음성 에이전트가 해결하지 못하는 문의는 담당자에게 매끄럽게 넘겨야 합니다. 이때 대화 내용이 글자로 남아 있으면 상담원이 맥락을 빠르게 파악할 수 있습니다.

사용 사례별로 고르기

  • 환불, 배송, 영업시간 등 정형 문의 전화: TTS 파이프라인이 적합합니다. 답변을 통제하기 쉽고 로그가 남습니다.
  • 예약 확인이나 일정 안내 아웃바운드 전화: 스크립트와 흐름이 정해져 있으므로 TTS 파이프라인이 안정적입니다.
  • 브랜드 체험이나 컨시어지형 상담: 자연스러운 대화가 핵심이면 speech-to-speech를 검토할 만합니다.
  • 웹사이트 채팅에 음성 답변 추가: 텍스트 에이전트에 음성 출력만 붙이는 TTS 방식이 간단합니다.
  • 카카오톡이나 Instagram DM 상담: 이 채널의 고객은 대부분 글로 문의합니다. 음성 구조를 고민하기 전에 텍스트 응대 품질부터 다지는 것이 먼저입니다.
  • 내부 직원용 음성 도우미: 대화 느낌이 중요하고 정답 통제 부담이 상대적으로 낮다면 speech-to-speech가 어울립니다.

도입 전 실무 체크리스트

  1. 음성이 필요한 접점을 전화, 웹, 모바일 앱 중에서 먼저 정합니다.
  2. 월 통화 건수와 평균 통화 시간을 추산합니다.
  3. 답변을 반드시 지식베이스에서만 가져와야 하는 문의 비율을 확인합니다.
  4. 허용 가능한 응답 지연을 정합니다.
  5. 사용할 언어와 목소리 톤을 정하고 시험 통화로 들어 봅니다.
  6. 상담원 연결 조건과 근무 시간대를 정리합니다.
  7. 공급자 장애 시 대체 경로가 있는지 확인합니다.
  8. 소규모로 시작해 통화 기록을 보고 개선하는 일정을 잡습니다.

AI SNS CHAT에서 구현하기

AI SNS CHAT은 두 방식을 모두 다룰 수 있는 구성 요소를 제공합니다. 모든 메뉴는 사이드바의 Voice 아래에 있습니다.

TTS 파이프라인 구성

  • Voice agent에서 기존 텍스트 에이전트에 음성을 연결합니다. 지식 소스, 페르소나, 가드레일은 텍스트 에이전트에서 설정한 내용을 기반으로 합니다.
  • 음성 합성 공급자는 Grok/xAI(기본값), OpenAI(gpt-4o-mini-tts), ElevenLabs, 브라우저 음성 중에서 고를 수 있습니다. ElevenLabs를 쓰면 보이스 라이브러리, 보이스 디자인, 클로닝도 활용할 수 있습니다.
  • Voice Playground에서 실제 고객에게 연결하기 전에 목소리와 응답을 시험해 볼 수 있습니다.
  • 음성 스택은 22개 언어를 지원하며, 일부 언어는 전화 음성에서 영어 음성으로 대체될 수 있으므로 한국어를 포함해 필요한 언어는 시험 통화로 확인하시기 바랍니다.

전화 연결

  • Inbound calls: 에이전트마다 Twilio 번호를 연결하며, 웹훅 자체 점검과 자동 복구 기능이 있습니다.
  • Outbound calls: 일괄 발신 캠페인을 만들 수 있습니다. Twilio 번호가 필요하고, 먼저 테스트 통화를 해 보며, 진행 중에도 중단할 수 있습니다.
  • 통화 내역은 Call history와 음성 분석 화면에서 확인합니다.
  • SIP 트렁크 설정 화면은 있지만 현재 이를 사용하는 통화 경로는 확인되지 않았으므로 도입 계획에 넣지 않는 편이 안전합니다. WhatsApp 음성과 관리형 전화번호는 대기자 등록 단계입니다.

speech-to-speech

Synthia(대시보드의 AI 운영 도우미)는 OpenAI Realtime API를 사용하는 speech-to-speech로 음성 대화를 지원합니다. 이 경로는 OpenAI 전용이며 대체 공급자가 없습니다. Grok 음성 대 음성도 제공되지만 기본 설정에서는 계정 소유자에게만 응답합니다.

비용과 요금제

음성은 1분에 4크레딧으로 안내되며(Private AI 견적 기준), 분당 크레딧은 관리자가 설정합니다. 텍스트 응답은 1회 답변당 1크레딧입니다. 플랜별 크레딧과 한도는 요금제 페이지에서 확인하세요. 텍스트 모델은 Hobby 이상에서 공급자 장애 시 Anthropic, OpenAI, Google, OpenRouter 순으로 대체 경로를 쓸 수 있습니다.

텍스트 채널과 함께 쓰기

같은 에이전트를 웹사이트 채팅 위젯, KakaoTalk, Instagram 등 연결 가능한 채널에 배포하고, 전화는 Voice로 받는 식의 운영이 가능합니다. 사람 상담원 연결은 Helpdesk의 근무 일정과 알림 설정을 활용합니다. 전체 기능은 기능 소개에서 확인할 수 있고, 시작은 무료 가입으로 하시면 됩니다.

자주 묻는 질문

speech-to-speech가 항상 TTS보다 좋은가요?

그렇지 않습니다. 대화의 자연스러움과 반응 속도는 speech-to-speech가 유리하지만, 답변 통제, 로그 검수, 공급자 교체는 TTS 파이프라인이 유리합니다. 환불이나 요금처럼 정확성이 중요한 문의가 많다면 TTS 파이프라인이 더 안전한 선택일 수 있습니다.

기존 텍스트 에이전트를 음성에도 쓸 수 있나요?

TTS 파이프라인은 텍스트 에이전트를 중간 단계로 그대로 활용하는 구조이므로 가능합니다. AI SNS CHAT에서는 Voice agent 메뉴에서 에이전트에 음성을 연결하고, Voice Playground에서 먼저 시험해 보시면 됩니다.

AI SNS CHAT은 speech-to-speech의 대체 경로를 제공하나요?

Synthia의 speech-to-speech는 OpenAI Realtime API만 사용하며 대체 공급자가 없습니다. 이 점을 감안해 중요한 고객 응대는 대체 경로를 둘 수 있는 구성과 사람 상담원 연결 흐름을 함께 설계하시기를 권합니다.

카카오톡이나 Messenger 상담에도 음성이 필요한가요?

대부분의 경우 필요하지 않습니다. 이런 채널의 고객은 글로 문의하므로 텍스트 응대 품질이 우선입니다. 음성은 전화 문의가 실제로 많은 업종이나 웹사이트에서 음성 안내가 필요한 경우에 추가하는 것이 효율적입니다.

음성 비용은 어떻게 추산하면 좋을까요?

월 통화 건수에 평균 통화 시간을 곱해 총 분수를 구한 뒤, 분당 크레딧을 곱해 계산합니다. 예를 들어 월 1,000분이고 분당 4크레딧이라면 4,000크레딧입니다. 가정 예시이므로 실제 분당 크레딧은 계정 설정에서 확인하시기 바랍니다.

#음성 에이전트#TTS#speech-to-speech#고객 지원#AI 상담

AI SNS CHAT으로 바로 실천해 보세요

자사 콘텐츠로 학습한 AI 에이전트를 만들고 웹사이트, LINE, WhatsApp 등에 연결하세요. 무료로 시작하며 신용카드가 필요 없습니다.