Un modèle speech-to-speech entend de l’audio et répond en audio : un seul modèle écoute, réfléchit et parle. Un agent vocal en cascade répartit ce travail en trois : la transcription (STT) capte ce que dit l’appelant, un grand modèle de langage (LLM) décide quoi répondre et la synthèse vocale (TTS) le dit. Les deux permettent de construire un agent vocal, et le choix détermine sa vitesse de réponse, son coût, les voix qu’il peut utiliser et ce que vous pouvez examiner de chaque appel après coup.
En bref : le speech-to-speech est le chemin le plus court vers une démo. Une cascade convient mieux dès que l’agent doit agir, par exemple consulter une commande, relire un numéro de police ou suivre un script validé par l’équipe conformité. L’écart de latence qui tranchait autrefois la question s’est presque refermé.
Si vous cherchiez la conversion de voix (transformer une voix en une autre), c’est un autre outil. Voir conversion de voix.
Les trois architectures
| Architecture | Ce qui tourne | Exemples |
|---|---|---|
| Cascade (STT → LLM → TTS) | Trois modèles, en streaming de l’un à l’autre | N’importe quel STT, LLM et TTS ; Cartesia Managed Agents |
| Speech-to-speech natif | Un modèle, audio en entrée et audio en sortie | gpt-realtime-2, Gemini 3.8 Live, Qwen3.8 Omni Flash Realtime |
| Couche vocale avec délégation | Un modèle vocal pour la conversation, un modèle texte pour le raisonnement et les outils | OpenAI GPT-Live 1 |
Le guide des agents vocaux d’OpenAI liste les trois et présente la cascade comme la voie à suivre quand on veut « inspecter ou transformer le texte » entre les étapes. C’est un bon résumé du compromis en une ligne.
Latence : ce que montrent les benchmarks
Le chiffre qui compte est la pause qu’entend l’appelant : du moment où il cesse de parler au premier son de la réponse. Coval mesure exactement cela pour les modèles speech-to-speech, à partir d’enregistrements d’appels et non d’événements du fournisseur, avec les mêmes appels simulés à plusieurs tours pour chaque modèle. Son classement sur 30 jours au 16 octobre 2026 :
| Modèle (classement S2S de Coval) | Médiane | P95 | Échantillons |
|---|---|---|---|
| Gemini 3.8 Live | 1 000 ms | 1 192 ms | 50 |
| GPT-Live 1 | 1 163 ms | 1 572 ms | 290 |
| Gemini 3.1 Flash Live (preview) | 1 175 ms | 1 375 ms | 290 |
| GPT Realtime 2 | 1 420 ms | 1 944 ms | 290 |
| Qwen3.8 Omni Flash Realtime | 1 450 ms | 1 526 ms | 79 |
« Un modèle, sans saut » ne veut donc pas dire instantané. Chaque tour doit toujours détecter que l’appelant a fini, raisonner et générer l’audio token par token, simplement à l’intérieur d’un seul modèle.
Une cascade s’additionne autrement. La pause, c’est la détection de tour, plus le temps jusqu’au premier token du LLM, plus le temps jusqu’au premier audio du TTS, plus les sauts réseau entre eux. Une étude de 2026 qui a construit une cascade de zéro a estimé une médiane de 958 ms de bout en bout avec un LLM cloud, et mesuré 755 ms entre la transcription finale et le premier audio. Sa conclusion : la cascade en streaming « reste l’architecture pratique » pour les agents auto-hébergés avec appels de fonctions.
Là où une cascade perd du temps :
- Détection de tour. Un minuteur de silence qui attend 700 ms pour être sûr que l’appelant a fini coûte 700 ms à chaque tour. La détection sémantique, qui juge si la phrase est terminée, peut trancher plus tôt. Ink-2 émet un événement
turn.eager_endquand l’appelant a probablement fini, pour que le LLM démarre plus tôt, et unturn.resumesi ce n’était pas le cas. - Pas de streaming. Si le LLM termine toute sa réponse avant que le TTS démarre, vous ajoutez tout le temps de génération à la pause. Envoyez les tokens au TTS phrase par phrase.
- Le LLM lui-même. Le temps jusqu’au premier token est généralement l’étape la plus longue et la moins prévisible. L’étude citée a observé de 278 à 784 ms pour un même modèle cloud.
L’étape TTS est la plus facile à réduire. Sonic renvoie le premier audio en moins de 90 ms, ce qui laisse l’essentiel du budget au modèle qui raisonne.
Quelle que soit l’architecture, jugez-la au P95, pas à la médiane. Une conversation compte des dizaines de tours, donc le tour lent sur vingt est celui que chaque appelant entend. Notre guide sur la latence P95 explique pourquoi.
Coût : trois compteurs différents
Les API speech-to-speech ne facturent pas de la même façon. Comparez sur un appel réaliste, pas sur une grille tarifaire.
- OpenAI gpt-realtime-2 facture des tokens : 32 $ par million de tokens audio en entrée et 64 $ par million de tokens audio en sortie, plus 4 $ et 24 $ par million pour le texte (tarifs OpenAI). L’audio de l’appelant représente un token toutes les 100 ms et celui du modèle un token toutes les 50 ms : une minute de parole de l’appelant fait 600 tokens d’entrée (0,019 $) et une minute de parole de l’agent 1 200 tokens de sortie (0,077 $). Le piège est dans le guide des coûts : « La conversation entière est envoyée au modèle à chaque réponse. » Le tour 20 repaie les tours 1 à 19, au tarif en cache de 0,40 $ par million quand le cache s’applique.
- Gemini 3.8 Live facture l’audio à la minute : environ 0,005 $ par minute en entrée et 0,018 $ par minute en sortie, plus 0,75 $ et 4,50 $ par million de tokens texte (tarifs Gemini).
- OpenAI GPT-Live 1 facture le temps de session : 0,05 $ par minute, à la seconde, y compris quand les deux côtés se taisent. Le modèle backend qui raisonne est facturé en plus.
Une cascade facture chaque étape sur son propre compteur : STT à la minute d’audio, LLM au token de texte, TTS au caractère. Les tokens texte coûtent bien moins cher que les tokens audio, et le LLM ne voit que la transcription, pas l’audio. Cartesia Managed Agents facture un tarif unique, 0,06 $ par minute, pour la reconnaissance vocale, l’exécution de l’agent et les voix Sonic ensemble.
Contrôle : ce que vous pouvez voir et modifier
C’est là que les deux divergent le plus, et que la plupart des équipes en production tranchent.
Dans une cascade, chaque étape laisse du texte. Vous avez la transcription sur laquelle le LLM a raisonné, le texte qu’il a décidé de dire et l’audio. Quand un appel tourne mal, vous savez quelle étape s’est trompée : l’appelant a dit « quinze » et le STT a entendu « cinquante », ou le LLM a inventé une politique de remboursement, ou le TTS a mal lu « Dr. ». Vous pouvez corriger une étape sans réentraîner ni remplacer les autres :
- ajouter des termes métier au modèle STT (Ink-2 accepte jusqu’à 100 keyterms par session)
- changer de LLM quand un meilleur sort, ou envoyer les tours difficiles à un plus grand
- appliquer des garde-fous au texte du LLM avant que quiconque l’entende
- corriger les prononciations dans la couche TTS avec un dictionnaire
Dans un modèle speech-to-speech, le raisonnement se fait sur l’audio. Les transcriptions sont une sortie annexe que vous activez, comme output_audio_transcription dans Gemini Live, et non le texte sur lequel le modèle a raisonné. Vous modifiez le comportement par le prompt et les réglages de session. Vous ne pouvez pas changer de modèle de langage, puisque c’est lui le modèle de langage.
La délégation est la réponse d’OpenAI. GPT-Live tient la conversation pendant qu’un backend de votre choix raisonne et exécute les outils, et « les utilisateurs peuvent continuer à parler pendant que le backend travaille ». La voix vient toujours du modèle d’OpenAI, et vous payez les deux.
Voix et langues
Un modèle speech-to-speech parle avec les voix fournies. Une cascade peut utiliser n’importe quelle voix TTS, y compris une voix clonée adaptée à votre marque, et n’importe quelle langue couverte par vos modèles TTS et STT. Sonic couvre 44 langues avec un seul modèle et lit les numéros de téléphone, adresses et identifiants comme le ferait une personne.
Les fournisseurs de speech-to-speech mettent en avant la prosodie : un modèle qui entend le ton de l’appelant peut répondre sur le même ton, plus doucement s’il est contrarié et plus vite s’il est pressé. Une cascade transmet le ton par le texte. Le LLM choisit une émotion ou un débit pour chaque réponse, et le modèle TTS la restitue. Sonic accepte des réglages d’émotion et de vitesse à chaque requête : l’intonation devient un paramètre que vous fixez et testez, pas une improvisation du modèle.
Lequel choisir
Choisissez un modèle speech-to-speech quand :
- vous voulez un prototype fonctionnel cet après-midi avec une seule clé d’API
- l’agent ne fait que parler : pas d’outils, pas de dossiers, pas de chiffres à ne pas rater
- les voix intégrées du modèle vous suffisent et vous n’avez pas besoin d’une transcription de son raisonnement
Choisissez une cascade quand :
- l’agent appelle des outils, consulte des dossiers ou encaisse des paiements
- vous avez besoin d’une transcription de ce que l’agent a entendu et de pourquoi il a répondu, pour la conformité ou le débogage
- les noms, chiffres, codes et adresses doivent être exacts
- vous voulez un LLM précis, ou la liberté d’en changer
- vous avez besoin d’une voix de marque, d’une voix clonée ou d’une langue que les modèles speech-to-speech ne couvrent pas
La plupart des agents téléphoniques de service client relèvent de la seconde liste. C’est pour ce travail que Managed Agents a été conçu : Ink-2, le LLM de votre choix et Sonic 3.6 tournent comme un seul pipeline en streaming, avec la prise de parole et les interruptions gérées pour vous, donc vous avez le contrôle d’une cascade sans assembler trois fournisseurs. Créez-en un dans le playground et chronométrez-le face aux chiffres ci-dessus.
Comment tester avant de vous engager
Faites passer le même appel scénarisé de vingt tours par chaque option et enregistrez-le. Mesurez de la fin de la parole de l’appelant au premier son audible de chaque réponse, comme le fait Coval, et indiquez la médiane, le P95 et le nombre de tours. Incluez des tours avec un appel d’outil : c’est là que les deux architectures ralentissent. Puis écoutez les enregistrements : comptez les chiffres mal compris, les noms erronés et les réponses qui coupent la parole à l’appelant. Ces erreurs coûtent plus cher que 200 ms.