Définition
Un grand modèle de langage (LLM) est un réseau de neurones entraîné sur d'énormes quantités de texte pour prédire le jeton suivant dans une séquence. En répétant cette étape, il écrit du texte, suit les instructions données dans un prompt et peut décider d'appeler des outils.
Comment fonctionne un grand modèle de langage
Un LLM lit le texte sous forme de jetons, qui sont des morceaux de mots, et produit une probabilité pour chaque jeton suivant possible. Il en choisit un, l’ajoute et recommence jusqu’à ce que la réponse soit complète. C’est pourquoi les premiers mots d’une réponse peuvent s’entendre bien avant que les derniers existent, et pourquoi le temps de génération augmente avec la longueur de la réponse.
La plupart des modèles actuels utilisent l’architecture Transformer introduite par Vaswani et ses collègues en 2017, qui s’appuie sur l’attention pour relier chaque jeton aux autres de son contexte. La fenêtre de contexte est la limite de texte que le modèle peut considérer à la fois, ce qui couvre les instructions, l’historique de la conversation et les documents ou résultats d’outils qui lui sont ajoutés.
Brown et ses collègues ont montré en 2020 qu’un modèle de 175 milliards de paramètres pouvait réaliser de nouvelles tâches à partir d’instructions et de quelques exemples écrits dans le prompt, sans réentraînement. C’est la base de la construction d’agents par l’écriture d’instructions plutôt que par l’entraînement d’un modèle par tâche.
Deux autres limites comptent. Le modèle n’a aucun accès intégré aux faits postérieurs à son entraînement : les applications ajoutent donc de l’information par le prompt ou par des outils. Et il peut produire un texte fluide mais faux, un défaut appelé hallucination.
Pourquoi c’est important pour les agents vocaux
Dans un agent vocal en cascade, le LLM est l’étape qui décide quoi dire, et généralement la plus lente et la moins prévisible. Le chiffre qui compte est le délai avant le premier jeton, car la parole peut commencer dès que la première phrase est prête si la sortie est diffusée en flux. Le temps total de génération compte moins.
La voix impose des exigences supplémentaires. Les réponses doivent être courtes et écrites pour l’oreille, sans listes ni markdown. Le modèle doit suivre son prompt système face à des appelants qui changent de sujet en pleine phrase. Et toute affirmation de sa part sur un prix, une politique ou un compte est prononcée avec assurance, si bien qu’il importe davantage de l’appuyer sur des outils et des enregistrements que dans une fenêtre de chat où le lecteur peut vérifier.
Un modèle voix à voix intègre cette étape au modèle audio, si bien que le LLM et la voix ne sont plus deux choix séparés.