Um modelo speech-to-speech ouve áudio e responde em áudio: um único modelo escuta, pensa e fala. Um agente de voz em cascata divide esse trabalho em três: a transcrição de fala para texto (STT) registra o que a pessoa diz, um modelo de linguagem grande (LLM) decide o que responder e a síntese de texto para fala (TTS) fala a resposta. As duas são formas de construir um agente de voz, e a escolha define a rapidez da resposta, o custo, as vozes disponíveis e quanto de cada chamada você consegue inspecionar depois.
Resumindo: speech-to-speech é o caminho mais rápido para uma demo. Uma cascata se encaixa melhor quando o agente precisa fazer coisas, como consultar um pedido, repetir um número de apólice ou seguir um roteiro aprovado pela equipe de compliance. A diferença de latência que antes decidia isso quase desapareceu.
Se você procurava conversão de voz (transformar uma voz em outra), é outra ferramenta. Veja conversão de voz.
As três arquiteturas
| Arquitetura | O que roda | Exemplos |
|---|---|---|
| Cascata (STT → LLM → TTS) | Três modelos, em streaming de um para o outro | Qualquer STT, LLM e TTS; Cartesia Managed Agents |
| Speech-to-speech nativo | Um modelo, entra áudio e sai áudio | gpt-realtime-2, Gemini 3.8 Live, Qwen3.8 Omni Flash Realtime |
| Camada de voz com delegação | Um modelo de voz para a conversa e um de texto para raciocinar e usar ferramentas | OpenAI GPT-Live 1 |
O próprio guia de agentes de voz da OpenAI lista as três e descreve a cascata como o caminho para quando você quer “inspecionar ou transformar o texto” entre etapas. É um bom resumo do trade-off em uma linha.
Latência: o que os benchmarks mostram
O número que importa é a pausa que a pessoa ouve: do momento em que ela para de falar até o primeiro som da resposta. A Coval mede exatamente isso para modelos speech-to-speech, a partir de gravações de chamadas e não de eventos do fornecedor, com as mesmas chamadas simuladas de vários turnos para todos os modelos. O ranking de 30 dias em 16 de outubro de 2026:
| Modelo (ranking S2S da Coval) | Mediana | P95 | Amostras |
|---|---|---|---|
| Gemini 3.8 Live | 1.000 ms | 1.192 ms | 50 |
| GPT-Live 1 | 1.163 ms | 1.572 ms | 290 |
| Gemini 3.1 Flash Live (preview) | 1.175 ms | 1.375 ms | 290 |
| GPT Realtime 2 | 1.420 ms | 1.944 ms | 290 |
| Qwen3.8 Omni Flash Realtime | 1.450 ms | 1.526 ms | 79 |
Ou seja, “um modelo, sem saltos” não significa instantâneo. Cada turno ainda precisa detectar que a pessoa terminou, raciocinar e gerar áudio token por token, só que dentro de um único modelo.
Uma cascata soma de outro jeito. A pausa é a detecção de turno, mais o tempo até o primeiro token do LLM, mais o tempo até o primeiro áudio do TTS, mais os saltos de rede entre eles. Um estudo de 2026 que montou uma cascata do zero estimou uma mediana de 958 ms de ponta a ponta com um LLM na nuvem e mediu 755 ms da transcrição final até o primeiro áudio. A conclusão foi que a cascata em streaming “continua sendo a arquitetura prática” para agentes auto-hospedados com chamada de funções.
Onde uma cascata perde tempo:
- Detecção de turno. Um temporizador de silêncio que espera 700 ms para ter certeza de que a pessoa terminou custa 700 ms em todo turno. A detecção semântica, que avalia se a frase está completa, pode decidir antes. O Ink-2 emite um evento
turn.eager_endquando a pessoa provavelmente terminou, para o LLM começar antes, e umturn.resumese não era o caso. - Não usar streaming. Se o LLM termina a resposta inteira antes de o TTS começar, você soma todo o tempo de geração à pausa. Envie os tokens ao TTS frase por frase.
- O próprio LLM. O tempo até o primeiro token costuma ser a etapa maior e menos previsível. O estudo acima viu de 278 a 784 ms em um mesmo modelo na nuvem.
A etapa de TTS é a mais fácil de reduzir. O Sonic devolve o primeiro áudio em menos de 90 ms, o que deixa quase toda a margem para o modelo que raciocina.
Seja qual for a arquitetura, avalie pelo P95, não pela mediana. Uma conversa tem dezenas de turnos, então o turno lento a cada vinte é o que toda pessoa ouve. Nosso guia de latência P95 explica por quê.
Custo: três medidores diferentes
As APIs speech-to-speech não cobram do mesmo jeito, então compare com uma chamada realista, não com a tabela de preços.
- OpenAI gpt-realtime-2 cobra por tokens: US$ 32 por milhão de tokens de áudio de entrada e US$ 64 por milhão de tokens de áudio de saída, mais US$ 4 e US$ 24 por milhão para texto (preços da OpenAI). O áudio de quem liga é um token a cada 100 ms e o do modelo um token a cada 50 ms, então um minuto de fala da pessoa são 600 tokens de entrada (US$ 0,019) e um minuto de fala do agente são 1.200 tokens de saída (US$ 0,077). O detalhe está no guia de custos: “A conversa inteira é enviada ao modelo a cada resposta.” O turno 20 paga de novo pelos turnos 1 a 19, à tarifa em cache de US$ 0,40 por milhão quando o cache se aplica.
- Gemini 3.8 Live cobra o áudio por minuto: cerca de US$ 0,005 por minuto de entrada e US$ 0,018 por minuto de saída, mais US$ 0,75 e US$ 4,50 por milhão de tokens de texto (preços do Gemini).
- OpenAI GPT-Live 1 cobra o tempo de sessão: US$ 0,05 por minuto, por segundo, incluindo o tempo em que os dois lados ficam em silêncio. O modelo de backend que raciocina é cobrado à parte.
Uma cascata cobra cada etapa no seu próprio medidor: STT por minuto de áudio, LLM por token de texto, TTS por caractere. Tokens de texto são muito mais baratos que tokens de áudio, e o LLM só vê a transcrição, não o áudio. O Cartesia Managed Agents cobra uma tarifa única, US$ 0,06 por minuto, pelo reconhecimento de fala, pelo ambiente do agente e pelas vozes do Sonic juntos.
Controle: o que você pode ver e mudar
É aqui que as duas mais se afastam, e onde a maioria das equipes em produção decide.
Numa cascata, cada etapa deixa texto. Você tem a transcrição sobre a qual o LLM raciocinou, o texto que ele decidiu falar e o áudio. Quando uma chamada dá errado, dá para saber qual etapa falhou: a pessoa disse “quinze” e o STT ouviu “cinquenta”, ou o LLM inventou uma política de reembolso, ou o TTS leu “Dr.” de outro jeito. Você pode corrigir uma etapa sem retreinar nem trocar as outras:
- adicionar termos do setor ao modelo de STT (o Ink-2 aceita até 100 keyterms por sessão)
- trocar o LLM quando sair um melhor, ou mandar os turnos difíceis para um maior
- aplicar controles ao texto do LLM antes que alguém o ouça
- corrigir pronúncias na camada de TTS com um dicionário
Num modelo speech-to-speech, o raciocínio acontece sobre o áudio. As transcrições são uma saída secundária que você ativa, como output_audio_transcription no Gemini Live, e não o texto sobre o qual o modelo raciocinou. Você muda o comportamento pelo prompt e pelas configurações da sessão. Não dá para trocar o modelo de linguagem, porque ele é o modelo de linguagem.
A delegação é a resposta da OpenAI a isso. O GPT-Live mantém a conversa enquanto um backend que você escolhe raciocina e executa ferramentas, e “os usuários podem continuar falando enquanto o trabalho do backend é executado”. A voz continua vindo do modelo da OpenAI, e você paga pelos dois.
Vozes e idiomas
Um modelo speech-to-speech fala com as vozes que já vêm com ele. Uma cascata pode usar qualquer voz de TTS, incluindo uma voz clonada alinhada à sua marca, e qualquer idioma que seus modelos de TTS e STT cubram. O Sonic cobre 44 idiomas com um único modelo e lê números de telefone, endereços e identificadores como uma pessoa diria.
Os fornecedores de speech-to-speech destacam a prosódia: um modelo que ouve o tom de quem liga pode responder no mesmo tom, mais baixo se a pessoa está chateada e mais rápido se ela está com pressa. Uma cascata leva o tom pelo texto. O LLM escolhe uma emoção ou velocidade para cada resposta, e o modelo de TTS a reproduz. O Sonic aceita controles de emoção e velocidade em cada requisição, então a entonação é algo que você define e pode testar, não algo que o modelo improvisa.
Qual escolher
Escolha um modelo speech-to-speech quando:
- você quer um protótipo funcionando hoje à tarde com uma única chave de API
- o agente só conversa: sem ferramentas, sem registros, sem números para acertar
- as vozes nativas do modelo bastam e você não precisa de uma transcrição do raciocínio
Escolha uma cascata quando:
- o agente chama ferramentas, consulta registros ou recebe pagamentos
- você precisa de uma transcrição do que o agente ouviu e por que respondeu, para compliance ou depuração
- nomes, números, códigos e endereços precisam sair certos
- você quer um LLM específico, ou liberdade para trocá-lo
- você precisa de uma voz de marca, uma voz clonada ou um idioma que os modelos speech-to-speech não cobrem
A maioria dos agentes telefônicos de atendimento cai na segunda lista. Foi para isso que o Managed Agents foi criado: Ink-2, o LLM que você escolher e o Sonic 3.6 rodam como um único pipeline em streaming, com turnos e interrupções resolvidos para você, então você tem o controle de uma cascata sem juntar três fornecedores. Crie um no playground e meça o tempo dele contra os números acima.
Como testar antes de decidir
Passe a mesma chamada roteirizada de vinte turnos por cada opção e grave. Meça do fim da fala da pessoa até o primeiro som audível de cada resposta, como a Coval faz, e informe a mediana, o P95 e o número de turnos. Inclua turnos com chamada de ferramenta; é aí que as duas arquiteturas ficam mais lentas. Depois ouça as gravações: conte números mal entendidos, nomes errados e respostas que atropelam a pessoa. Essas falhas custam mais que 200 ms.