Definición
Un modelo de voz a voz es un único modelo que toma audio hablado como entrada y produce audio hablado como salida, sin un paso aparte de voz a texto ni de texto a voz. El mismo modelo oye a quien llama, decide qué decir y habla.
Lee la guía completa: Speech-to-speech frente a agentes de voz en cascada
Cómo funciona un modelo de voz a voz
El modelo lee audio, en forma de tokens que representan fragmentos cortos de sonido, y escribe audio del mismo modo. Como no convierte a texto en medio, puede en principio usar información que una transcripción descarta, como el tono, la vacilación y el énfasis, y puede responder con un tono acorde. Algunos modelos también escriben texto junto al audio, lo que da a los desarrolladores una transcripción que registrar, pero ese texto es un subproducto del razonamiento sobre el audio y no su entrada.
Muchos modelos comerciales de voz a voz se ofrecen mediante API en tiempo real que mantienen abierta una conexión de audio, de modo que el audio fluye de entrada y de salida a la vez. El desarrollador fija instrucciones y, normalmente, elige entre un conjunto fijo de voces.
Un agente de voz en cascada hace el mismo trabajo en tres etapas, con texto entre ellas. La diferencia es de control. Con una cascada se puede ver el texto en cada paso, elegir cada modelo por separado y filtrar la respuesta antes de que se diga. Con un único modelo de voz a voz se tienen menos piezas móviles y un primer prototipo más sencillo, pero no se puede usar un LLM propio, y comprobar exactamente sobre qué razonó resulta más difícil.
La velocidad no la decide el diseño por sí solo. La guía enlazada abajo informa de que las mediciones independientes en llamadas reales de estos modelos sitúan la pausa mediana en torno a un segundo o más, en el mismo rango que puede alcanzar una cascada bien construida.
Por qué importa para los agentes de voz
Los agentes que llaman a herramientas, leen números de vuelta o siguen un guion aprobado por un equipo de cumplimiento necesitan poder inspeccionarse y acotarse. Eso favorece los diseños en los que el texto es visible. Los agentes que sobre todo conversan pueden valorar más la entrega natural.
Lee la comparación completa antes de elegir.