Speech-to-speech 모델은 음성을 듣고 음성으로 답합니다. 듣고, 생각하고, 말하는 일을 모두 한 모델이 맡습니다. 캐스케이드 음성 에이전트는 이 일을 셋으로 나눕니다. 음성 인식(STT)이 상대의 말을 글로 옮기고, 대규모 언어 모델(LLM)이 무엇을 말할지 정하고, 음성 합성(TTS)이 그것을 말합니다. 둘 다 음성 에이전트를 만드는 방법이며, 어느 쪽을 고르느냐에 따라 응답 속도, 비용, 쓸 수 있는 목소리, 그리고 통화를 나중에 얼마나 검토할 수 있는지가 달라집니다.
요약하면, speech-to-speech는 데모까지 가는 가장 빠른 길입니다. 주문을 조회하거나 보험 증권 번호를 다시 읽어 주거나 컴플라이언스 팀이 승인한 스크립트를 따라야 하는 등, 에이전트가 실제로 일을 해야 하는 순간부터는 캐스케이드가 더 잘 맞습니다. 예전에 이 선택을 좌우하던 지연시간 차이는 거의 사라졌습니다.
한 목소리를 다른 목소리로 바꾸는 음성 변환을 찾고 있다면, 그것은 다른 도구입니다. 음성 변환을 참고하세요.
세 가지 아키텍처
| 아키텍처 | 실행되는 것 | 예시 |
|---|---|---|
| 캐스케이드 (STT → LLM → TTS) | 세 모델이 서로 스트리밍으로 연결됨 | 어떤 STT, LLM, TTS든 가능, Cartesia Managed Agents |
| 네이티브 speech-to-speech | 한 모델이 음성을 받고 음성을 돌려줌 | gpt-realtime-2, Gemini 3.8 Live, Qwen3.8 Omni Flash Realtime |
| 위임형 음성 프런트엔드 | 대화는 음성 모델이, 추론과 도구는 텍스트 모델이 맡음 | OpenAI GPT-Live 1 |
OpenAI의 음성 에이전트 가이드도 세 가지를 모두 소개하며, 단계 사이에서 “텍스트를 검사하거나 변환하고 싶을 때” 고르는 길로 캐스케이드를 설명합니다. 이 트레이드오프를 한 줄로 요약한 설명으로 적절합니다.
지연시간: 벤치마크가 보여 주는 것
중요한 숫자는 상대가 듣는 공백, 즉 말을 마친 순간부터 응답의 첫 소리가 들릴 때까지의 시간입니다. Coval은 speech-to-speech 모델에 대해 바로 이 값을 측정합니다. 공급업체의 이벤트가 아니라 통화 녹음에서 재며, 모든 모델에 같은 다중 턴 모의 통화를 씁니다. 2026년 10월 16일 기준 30일 순위표는 다음과 같습니다.
| 모델 (Coval S2S 순위표) | 중앙값 | P95 | 샘플 수 |
|---|---|---|---|
| Gemini 3.8 Live | 1,000 ms | 1,192 ms | 50 |
| GPT-Live 1 | 1,163 ms | 1,572 ms | 290 |
| Gemini 3.1 Flash Live (preview) | 1,175 ms | 1,375 ms | 290 |
| GPT Realtime 2 | 1,420 ms | 1,944 ms | 290 |
| Qwen3.8 Omni Flash Realtime | 1,450 ms | 1,526 ms | 79 |
그러니 “모델 하나, 중간 단계 없음”이 즉각적이라는 뜻은 아닙니다. 매 턴마다 상대가 말을 마쳤는지 감지하고, 추론하고, 음성을 토큰 단위로 생성해야 하는 것은 같고, 그 일이 한 모델 안에서 일어날 뿐입니다.
캐스케이드는 시간이 다르게 쌓입니다. 공백은 턴 감지, LLM의 첫 토큰까지의 시간, TTS의 첫 오디오까지의 시간, 그 사이의 네트워크 왕복을 모두 더한 값입니다. 캐스케이드를 처음부터 구축한 2026년 연구는 클라우드 LLM을 썼을 때 종단 간 중앙값을 958 ms로 추정했고, 최종 전사 결과부터 첫 오디오까지 755 ms를 측정했습니다. 결론은 함수 호출을 쓰는 자체 호스팅 에이전트에는 스트리밍 캐스케이드가 “여전히 실용적인 아키텍처”라는 것이었습니다.
캐스케이드가 시간을 잃는 곳:
- 턴 감지. 상대가 말을 마쳤다고 확신하려고 700 ms를 기다리는 무음 타이머는 매 턴 700 ms를 씁니다. 문장이 끝났는지를 읽는 의미 기반 턴 감지는 더 일찍 판단할 수 있습니다. Ink-2는 상대가 아마 말을 마쳤을 때
turn.eager_end이벤트를 보내 LLM이 일찍 시작하게 하고, 아니었다면turn.resume을 보냅니다. - 스트리밍하지 않음. TTS가 시작하기 전에 LLM이 답변 전체를 끝내면 생성 시간 전체가 공백에 더해집니다. 토큰을 문장 단위로 TTS에 흘려보내세요.
- LLM 자체. 첫 토큰까지의 시간은 보통 가장 길고 가장 예측하기 어려운 단계입니다. 위 연구에서는 같은 클라우드 모델이 278~784 ms를 보였습니다.
가장 줄이기 쉬운 단계는 TTS입니다. Sonic은 90ms 미만에 첫 오디오를 돌려주므로, 예산 대부분을 추론하는 모델에 남겨 둘 수 있습니다.
어떤 아키텍처를 고르든 중앙값이 아니라 P95로 평가하세요. 대화에는 수십 개의 턴이 있으므로, 스무 번에 한 번 오는 느린 턴은 모든 상대가 결국 듣게 됩니다. 이유는 P95 지연시간 가이드에서 설명합니다.
비용: 세 가지 계량 방식
Speech-to-speech API는 과금 방식이 서로 다르므로, 요금표가 아니라 현실적인 통화를 기준으로 비교하세요.
- OpenAI gpt-realtime-2는 토큰으로 과금합니다. 오디오 입력 토큰 100만 개당 32달러, 오디오 출력 토큰 100만 개당 64달러이고, 텍스트는 100만 개당 4달러와 24달러입니다(OpenAI 요금). 상대의 음성은 100 ms마다 1토큰, 모델의 음성은 50 ms마다 1토큰이므로, 상대가 1분 말하면 입력 600토큰(0.019달러), 에이전트가 1분 말하면 출력 1,200토큰(0.077달러)입니다. 함정은 비용 가이드에 있습니다. “응답할 때마다 대화 전체가 모델로 전송됩니다.” 20번째 턴은 1~19번째 턴을 다시 지불하며, 캐시가 적용되면 100만 개당 0.40달러의 캐시 요금이 붙습니다.
- Gemini 3.8 Live는 오디오를 분 단위로 과금합니다. 입력은 1분당 약 0.005달러, 출력은 1분당 약 0.018달러이고, 텍스트 토큰은 100만 개당 0.75달러와 4.50달러입니다(Gemini 요금).
- OpenAI GPT-Live 1은 세션 시간으로 과금합니다. 1분당 0.05달러를 초 단위로 받으며, 양쪽 모두 말이 없는 시간도 포함됩니다. 추론을 맡는 백엔드 모델은 별도 요금입니다.
캐스케이드는 단계마다 각자의 계량 방식으로 과금됩니다. STT는 오디오 분 단위, LLM은 텍스트 토큰 단위, TTS는 글자 단위입니다. 텍스트 토큰은 오디오 토큰보다 훨씬 싸고, LLM은 오디오가 아니라 전사된 텍스트만 봅니다. Cartesia Managed Agents는 음성 인식, 에이전트 실행 환경, Sonic 목소리를 묶어 1분당 0.06달러의 단일 요금으로 청구합니다.
제어: 무엇을 보고 무엇을 바꿀 수 있나
두 방식이 가장 크게 갈리는 지점이고, 실제 서비스를 운영하는 팀 대부분이 여기서 결정합니다.
캐스케이드에서는 모든 단계가 텍스트를 남깁니다. LLM이 실제로 추론에 쓴 전사 텍스트, LLM이 말하기로 한 텍스트, 그리고 오디오가 남습니다. 통화가 잘못되면 어느 단계가 틀렸는지 알 수 있습니다. 상대는 “15”라고 했는데 STT가 “50”으로 들었는지, LLM이 환불 정책을 지어냈는지, TTS가 “Dr.”를 잘못 읽었는지 말입니다. 다른 단계를 다시 학습시키거나 교체하지 않고 한 단계만 고칠 수 있습니다.
- STT 모델에 업계 용어를 추가합니다(Ink-2는 세션당 최대 100개의 키텀을 받습니다)
- 더 나은 LLM이 나오면 바꾸거나, 어려운 턴만 더 큰 모델로 보냅니다
- 누군가 듣기 전에 LLM의 텍스트에 가드레일을 적용합니다
- TTS 계층에서 사전으로 발음을 바로잡습니다
Speech-to-speech 모델에서는 추론이 오디오 위에서 일어납니다. 전사 텍스트는 Gemini Live의 output_audio_transcription처럼 켜서 받는 부수적인 출력일 뿐, 모델이 추론에 쓴 텍스트가 아닙니다. 동작은 프롬프트와 세션 설정으로 바꿉니다. 모델 자체가 언어 모델이기 때문에 언어 모델을 바꿀 수는 없습니다.
OpenAI의 해법이 위임입니다. GPT-Live가 대화를 이어 가는 동안 직접 고른 백엔드가 추론과 도구 실행을 맡고, “백엔드 작업이 실행되는 동안에도 사용자는 계속 말할 수 있습니다”. 목소리는 여전히 OpenAI 모델에서 나오며, 두 가지 모두 비용을 냅니다.
목소리와 언어
Speech-to-speech 모델은 기본으로 제공되는 목소리로 말합니다. 캐스케이드에서는 브랜드에 맞춘 복제 음성을 포함해 어떤 TTS 목소리든 쓸 수 있고, TTS와 STT 모델이 지원하는 어떤 언어든 쓸 수 있습니다. Sonic은 하나의 모델로 44개 언어를 지원하며, 전화번호, 주소, ID를 사람이 말하듯 읽습니다.
Speech-to-speech 공급업체들은 운율을 내세웁니다. 상대의 어조를 듣는 모델이라면 상대가 화가 났을 때는 조용하게, 급할 때는 빠르게 맞춰 답할 수 있다는 것입니다. 캐스케이드는 어조를 텍스트로 전달합니다. LLM이 답변마다 감정이나 말하기 속도를 고르고, TTS 모델이 그것을 표현합니다. Sonic은 요청마다 감정과 속도 제어를 받으므로, 말투는 모델이 즉흥으로 정하는 것이 아니라 직접 설정하고 테스트할 수 있는 것이 됩니다.
무엇을 고를까
다음과 같을 때 speech-to-speech 모델을 고르세요.
- API 키 하나로 오늘 오후 안에 동작하는 프로토타입이 필요할 때
- 에이전트가 대화만 할 때: 도구도, 기록 조회도, 정확해야 하는 숫자도 없을 때
- 모델 내장 목소리로 충분하고 추론 과정의 전사 기록이 필요 없을 때
다음과 같을 때 캐스케이드를 고르세요.
- 에이전트가 도구를 호출하거나, 기록을 조회하거나, 결제를 받을 때
- 컴플라이언스나 디버깅을 위해 에이전트가 무엇을 들었고 왜 그렇게 답했는지 기록이 필요할 때
- 이름, 숫자, 코드, 주소가 정확해야 할 때
- 특정 LLM을 쓰고 싶거나 바꿀 자유가 필요할 때
- 브랜드 목소리, 복제 음성, 또는 speech-to-speech 모델이 지원하지 않는 언어가 필요할 때
고객 응대 전화 에이전트 대부분은 두 번째 목록에 해당합니다. Managed Agents는 바로 이 일을 위해 만들어졌습니다. Ink-2, 선택한 LLM, Sonic 3.6이 하나의 스트리밍 파이프라인으로 실행되고 턴 전환과 끼어들기도 처리되므로, 세 공급업체를 이어 붙이지 않고도 캐스케이드의 제어력을 얻을 수 있습니다. 플레이그라운드에서 하나 만들어 위 숫자와 비교해 시간을 재 보세요.
결정하기 전에 테스트하는 방법
같은 20턴짜리 대본 통화를 각 선택지로 돌리고 녹음하세요. Coval처럼 상대의 발화가 끝난 시점부터 각 응답의 첫 소리가 들리는 시점까지 측정하고, 중앙값, P95, 턴 수를 기록합니다. 도구 호출이 있는 턴도 넣으세요. 두 아키텍처 모두 거기서 느려집니다. 그다음 녹음을 들으며 잘못 들은 숫자, 틀린 이름, 상대의 말을 끊은 응답을 세어 보세요. 이런 실패는 200 ms보다 비쌉니다.