Définition
Un modèle voix à voix est un modèle unique qui prend de l'audio parlé en entrée et produit de l'audio parlé en sortie, sans étape distincte de reconnaissance vocale ni de synthèse vocale. Le même modèle entend l'appelant, décide quoi dire et parle.
Lire le guide complet : Modèles speech-to-speech ou agents vocaux en cascade
Comment fonctionne un modèle voix à voix
Le modèle lit de l’audio, sous forme de jetons qui représentent de courtes tranches de son, et écrit de l’audio de la même façon. Comme il ne convertit pas en texte au milieu, il peut en principe utiliser des informations qu’une transcription perd, comme le ton, l’hésitation et l’emphase, et peut répondre avec une diction assortie. Certains modèles écrivent aussi du texte à côté de l’audio, ce qui donne aux développeurs une transcription à consigner, mais ce texte est un sous-produit du raisonnement sur l’audio et non son entrée.
Beaucoup de modèles voix à voix commerciaux sont proposés par des API temps réel qui gardent une connexion audio ouverte, de sorte que l’audio circule en entrée et en sortie en même temps. Le développeur fixe des instructions et, en général, choisit parmi un ensemble fixe de voix.
Un agent vocal en cascade fait le même travail en trois étapes, avec du texte entre elles. L’arbitrage porte sur le contrôle. Avec une cascade, on voit le texte à chaque étape, on choisit chaque modèle séparément et on filtre la réponse avant qu’elle soit prononcée. Avec un seul modèle voix à voix, on a moins de pièces mobiles et un premier prototype plus facile, mais on ne peut pas y brancher son propre LLM, et vérifier exactement sur quoi il a raisonné est plus difficile.
La vitesse n’est pas tranchée par la seule conception. Le guide lié ci-dessous indique que des mesures indépendantes sur des appels réels de ces modèles situent la pause médiane autour d’une seconde ou plus, dans la même fourchette qu’une cascade bien construite peut atteindre.
Pourquoi c’est important pour les agents vocaux
Les agents qui appellent des outils, relisent des nombres ou suivent un script approuvé par une équipe de conformité doivent pouvoir être inspectés et encadrés. Cela favorise les conceptions où le texte est visible. Les agents qui discutent surtout peuvent valoriser davantage la diction naturelle.
Lisez la comparaison complète avant de choisir.