Un modelo speech-to-speech oye audio y responde con audio: un solo modelo escucha, piensa y habla. Un agente de voz en cascada divide ese trabajo en tres: la transcripción de voz a texto (STT) recoge lo que dice el interlocutor, un modelo de lenguaje grande (LLM) decide qué responder y la síntesis de texto a voz (TTS) lo dice. Las dos son formas de construir un agente de voz, y la elección determina lo rápido que contesta, lo que cuesta, qué voces puede usar y cuánto de cada llamada puedes revisar después.
En resumen: speech-to-speech es el camino más rápido hacia una demo. Una cascada encaja mejor en cuanto el agente tiene que hacer cosas, como consultar un pedido, repetir un número de póliza o seguir un guion que aprobó el equipo de cumplimiento. La diferencia de latencia que antes decidía esto casi ha desaparecido.
Si buscabas conversión de voz (convertir una voz en otra), es otra herramienta. Consulta conversión de voz.
Las tres arquitecturas
| Arquitectura | Qué se ejecuta | Ejemplos |
|---|---|---|
| Cascada (STT → LLM → TTS) | Tres modelos, en streaming de uno a otro | Cualquier STT, LLM y TTS; Cartesia Managed Agents |
| Speech-to-speech nativo | Un modelo, entra audio y sale audio | gpt-realtime-2, Gemini 3.8 Live, Qwen3.8 Omni Flash Realtime |
| Capa de voz con delegación | Un modelo de voz para la conversación y uno de texto para razonar y usar herramientas | OpenAI GPT-Live 1 |
La propia guía de agentes de voz de OpenAI recoge las tres y describe la cascada como el camino para cuando quieres «inspeccionar o transformar el texto» entre etapas. Es un buen resumen del compromiso en una línea.
Latencia: lo que muestran los benchmarks
El número que importa es la pausa que oye el interlocutor: desde que deja de hablar hasta el primer sonido de la respuesta. Coval mide exactamente eso para los modelos speech-to-speech, a partir de grabaciones de llamadas y no de eventos del proveedor, con las mismas llamadas simuladas de varios turnos para cada modelo. Su clasificación de 30 días el 16 de octubre de 2026:
| Modelo (clasificación S2S de Coval) | Mediana | P95 | Muestras |
|---|---|---|---|
| Gemini 3.8 Live | 1000 ms | 1192 ms | 50 |
| GPT-Live 1 | 1163 ms | 1572 ms | 290 |
| Gemini 3.1 Flash Live (preview) | 1175 ms | 1375 ms | 290 |
| GPT Realtime 2 | 1420 ms | 1944 ms | 290 |
| Qwen3.8 Omni Flash Realtime | 1450 ms | 1526 ms | 79 |
Así que «un modelo, sin saltos» no significa instantáneo. Cada turno sigue teniendo que detectar que el interlocutor ha terminado, razonar y generar audio token a token, solo que dentro de un único modelo.
Una cascada suma de otra forma. La pausa es la detección de turno, más el tiempo hasta el primer token del LLM, más el tiempo hasta el primer audio del TTS, más los saltos de red entre ellos. Un estudio de 2026 que construyó una cascada desde cero estimó una mediana de 958 ms de extremo a extremo con un LLM en la nube y midió 755 ms desde la transcripción final hasta el primer audio. Su conclusión fue que la cascada en streaming «sigue siendo la arquitectura práctica» para agentes autoalojados con llamadas a funciones.
Dónde pierde tiempo una cascada:
- Detección de turno. Un temporizador de silencio que espera 700 ms para asegurarse de que el interlocutor terminó cuesta 700 ms en cada turno. La detección semántica, que lee si la frase está completa, puede decidir antes. Ink-2 emite un evento
turn.eager_endcuando el interlocutor probablemente ha terminado, para que el LLM empiece antes, y unturn.resumesi no era así. - No usar streaming. Si el LLM termina toda la respuesta antes de que empiece el TTS, sumas el tiempo de generación completo a la pausa. Envía los tokens al TTS frase a frase.
- El propio LLM. El tiempo hasta el primer token suele ser la etapa más larga y menos predecible. El estudio citado vio de 278 a 784 ms con un mismo modelo en la nube.
La etapa de TTS es la más fácil de reducir. Sonic devuelve el primer audio en menos de 90 ms, lo que deja casi todo el margen para el modelo que razona.
Elijas la arquitectura que elijas, júzgala por el P95, no por la mediana. Una conversación tiene docenas de turnos, así que el turno lento de cada veinte es el que oye cada interlocutor. Nuestra guía de latencia P95 explica por qué.
Coste: tres contadores distintos
Las API speech-to-speech no facturan igual, así que compara con una llamada realista, no con una tarifa.
- OpenAI gpt-realtime-2 factura tokens: 32 $ por millón de tokens de audio de entrada y 64 $ por millón de tokens de audio de salida, más 4 $ y 24 $ por millón para texto (precios de OpenAI). El audio del interlocutor es un token cada 100 ms y el del modelo un token cada 50 ms, así que un minuto de voz del interlocutor son 600 tokens de entrada (0,019 $) y un minuto de voz del agente son 1200 tokens de salida (0,077 $). La trampa está en la guía de costes: «La conversación completa se envía al modelo en cada respuesta». El turno 20 vuelve a pagar los turnos 1 a 19, a la tarifa en caché de 0,40 $ por millón cuando se aplica la caché.
- Gemini 3.8 Live factura el audio por minuto: unos 0,005 $ por minuto de entrada y 0,018 $ por minuto de salida, más 0,75 $ y 4,50 $ por millón de tokens de texto (precios de Gemini).
- OpenAI GPT-Live 1 factura el tiempo de sesión: 0,05 $ por minuto, por segundos, incluido el tiempo en que ambos lados callan. El modelo de backend que razona se factura aparte.
Una cascada factura cada etapa con su propio contador: STT por minuto de audio, LLM por token de texto, TTS por carácter. Los tokens de texto son mucho más baratos que los de audio, y el LLM solo ve la transcripción, no el audio. Cartesia Managed Agents cobra una sola tarifa, 0,06 $ por minuto, por el reconocimiento de voz, el entorno del agente y las voces de Sonic juntos.
Control: qué puedes ver y cambiar
Aquí es donde más se separan las dos, y donde la mayoría de los equipos en producción toman la decisión.
En una cascada, cada etapa deja texto. Tienes la transcripción sobre la que razonó el LLM, el texto que decidió decir y el audio. Cuando una llamada sale mal puedes saber qué etapa falló: el interlocutor dijo «quince» y el STT oyó «cincuenta», o el LLM se inventó una política de reembolsos, o el TTS leyó «Dr.» como otra cosa. Puedes corregir una etapa sin reentrenar ni sustituir las demás:
- añadir términos del sector al modelo de STT (Ink-2 acepta hasta 100 keyterms por sesión)
- cambiar de LLM cuando salga uno mejor, o enviar los turnos difíciles a uno más grande
- aplicar controles al texto del LLM antes de que nadie lo oiga
- corregir pronunciaciones en la capa de TTS con un diccionario
En un modelo speech-to-speech, el razonamiento ocurre sobre el audio. Las transcripciones son una salida secundaria que activas, como output_audio_transcription en Gemini Live, no el texto sobre el que razonó el modelo. Cambias el comportamiento con el prompt y la configuración de la sesión. No puedes cambiar el modelo de lenguaje, porque es el modelo de lenguaje.
La delegación es la respuesta de OpenAI a eso. GPT-Live mantiene la conversación mientras un backend que tú eliges razona y ejecuta herramientas, y «los usuarios pueden seguir hablando mientras se ejecuta el trabajo del backend». La voz sigue saliendo del modelo de OpenAI, y pagas por los dos.
Voces e idiomas
Un modelo speech-to-speech habla con las voces que trae. Una cascada puede usar cualquier voz de TTS, incluida una voz clonada que encaje con tu marca, y cualquier idioma que cubran tus modelos de TTS y STT. Sonic cubre 44 idiomas con un solo modelo y lee números de teléfono, direcciones e identificadores como los diría una persona.
Los proveedores speech-to-speech destacan la prosodia: un modelo que oye el tono del interlocutor puede responder igual, más bajo si está molesto y más rápido si tiene prisa. Una cascada transmite el tono a través del texto. El LLM elige una emoción o una velocidad para cada respuesta, y el modelo de TTS la reproduce. Sonic acepta controles de emoción y velocidad en cada petición, así que la entonación es algo que configuras y puedes probar, no algo que el modelo improvisa.
Cuál elegir
Elige un modelo speech-to-speech cuando:
- quieres un prototipo funcionando esta tarde con una sola clave de API
- el agente solo conversa: sin herramientas, sin registros, sin números que acertar
- te bastan las voces integradas del modelo y no necesitas una transcripción de su razonamiento
Elige una cascada cuando:
- el agente llama a herramientas, consulta registros o cobra pagos
- necesitas una transcripción de lo que oyó el agente y de por qué respondió, para cumplimiento o depuración
- los nombres, números, códigos y direcciones tienen que salir bien
- quieres un LLM concreto, o libertad para cambiarlo
- necesitas una voz de marca, una voz clonada o un idioma que los modelos speech-to-speech no cubren
La mayoría de los agentes telefónicos de atención al cliente caen en la segunda lista. Para eso se creó Managed Agents: Ink-2, el LLM que elijas y Sonic 3.6 funcionan como un único pipeline en streaming, con los turnos y las interrupciones resueltos por ti, así que tienes el control de una cascada sin unir tres proveedores. Crea uno en el playground y mide su tiempo frente a las cifras de arriba.
Cómo probar antes de decidir
Pasa la misma llamada guionizada de veinte turnos por cada opción y grábala. Mide desde el final de la voz del interlocutor hasta el primer sonido audible de cada respuesta, como hace Coval, e informa la mediana, el P95 y el número de turnos. Incluye turnos con una llamada a herramienta; ahí es donde se ralentizan las dos arquitecturas. Después escucha las grabaciones: cuenta los números mal entendidos, los nombres equivocados y las respuestas que pisan al interlocutor. Esos fallos cuestan más que 200 ms.