Definição
Um modelo de fala para fala é um único modelo que recebe áudio falado como entrada e produz áudio falado como saída, sem uma etapa separada de fala para texto ou de texto para fala. O mesmo modelo ouve quem liga, decide o que dizer e fala.
Leia o guia completo: Modelos speech-to-speech vs agentes de voz em cascata
Como um modelo de fala para fala funciona
O modelo lê áudio, na forma de tokens que representam fatias curtas de som, e escreve áudio do mesmo modo. Como não converte para texto no meio, pode em princípio usar informações que uma transcrição descarta, como tom, hesitação e ênfase, e pode responder com uma entrega correspondente. Alguns modelos também escrevem texto junto com o áudio, o que dá aos desenvolvedores uma transcrição para registrar, mas esse texto é um subproduto do raciocínio sobre o áudio e não sua entrada.
Muitos modelos comerciais de fala para fala são oferecidos por APIs em tempo real que mantêm uma conexão de áudio aberta, de modo que o áudio flui de entrada e de saída ao mesmo tempo. O desenvolvedor define instruções e, em geral, escolhe entre um conjunto fixo de vozes.
Um agente de voz em cascata faz o mesmo trabalho em três etapas, com texto entre elas. A troca é sobre controle. Com uma cascata, você vê o texto a cada passo, escolhe cada modelo separadamente e filtra a resposta antes de ela ser falada. Com um único modelo de fala para fala, há menos peças móveis e um primeiro protótipo mais fácil, mas não dá para usar o seu próprio LLM, e conferir exatamente sobre o que ele raciocinou é mais difícil.
A velocidade não é decidida só pelo desenho. O guia ligado abaixo relata que medições independentes em chamadas reais desses modelos colocam a pausa mediana perto de um segundo ou mais, na mesma faixa que uma cascata bem construída pode alcançar.
Por que importa para agentes de voz
Agentes que chamam ferramentas, leem números de volta ou seguem um roteiro aprovado por uma equipe de conformidade precisam poder ser inspecionados e limitados. Isso favorece desenhos em que o texto é visível. Agentes que sobretudo conversam podem valorizar mais a entrega natural.
Leia a comparação completa antes de escolher.