Définition
L'hallucination de l'IA, c'est quand un LLM génère un texte absurde ou infidèle à la source fournie, ou affirme des choses sans fondement. Dans un agent vocal, c'est une réponse prononcée avec aplomb que l'appelant ne peut pas vérifier.
Comment fonctionne l’hallucination de l’IA
Un LLM produit du texte en prédisant ce qui vient plausiblement ensuite. Il est entraîné à écrire un texte fluide et probable, pas à vérifier des faits : lorsqu’il manque d’information, il peut donc quand même produire une réponse qui sonne juste.
L’étude de Ji et ses collègues décrit le texte halluciné comme absurde ou infidèle au contenu source fourni. Elle sépare le problème en deux.
- Intrinsèque. La sortie contredit la source. Un document dit que les retours sont acceptés pendant 45 jours et le modèle dit 30.
- Extrinsèque. La sortie ne peut pas être vérifiée à partir de la source. Le modèle ajoute une règle que le document ne mentionne jamais. L’étude note que ce texte n’est pas toujours faux, mais qu’on le traite en général avec prudence.
Parmi les causes figurent des lacunes dans les données d’entraînement, des questions ambiguës, une recherche qui a renvoyé le mauvais passage, et des instructions qui poussent le modèle à toujours donner une réponse. Un modèle ne ment pas. Il n’a aucun sens intégré de ce qu’il ne sait pas.
La réduire demande plusieurs mesures ensemble. Donnez au modèle les faits à utiliser, au moyen d’une base de connaissances ou d’un appel d’outil, et demandez-lui de dire quand il ne sait pas. Gardez les faits sensibles dans des systèmes de référence et non dans la mémoire du modèle. Testez avec des questions dont la réponse ne figure pas dans votre documentation.
Pourquoi c’est important pour les agents vocaux
Un appelant ne voit pas la source, ne peut pas remonter en arrière et peut difficilement tenir l’agent à ce qu’il a dit. Une réponse orale fausse sur un prix, un délai ou un médicament s’entend une fois et peut être suivie d’effet. La voix invite aussi à la confiance : une parole fluide fait paraître une réponse inventée aussi sûre qu’une réponse correcte.
La reconnaissance vocale ajoute une seconde voie vers les mauvaises réponses. Si le moteur entend « cinquante » à la place de « quinze », le modèle peut répondre parfaitement à la mauvaise question. Confirmer les détails à fort enjeu en les relisant permet de le repérer.
Contrôles pratiques pour les agents vocaux :
- Dites à l’agent de répondre « je n’ai pas cette information » et de proposer un transfert, au lieu de deviner.
- Récupérez les faits en direct, comme l’état d’une commande, avec un outil, et ne vous fiez pas à la mémoire.
- Ajoutez des garde-fous pour les sujets où une mauvaise réponse a un coût réel, comme le conseil juridique ou médical.
- Examinez les appels enregistrés pour y repérer les réponses absentes de vos documents.
Exemple
Un échec illustratif. Un appelant demande si un contrat de service couvre les dégâts des eaux. Les documents n’en parlent pas. Un agent à qui l’on a dit d’être toujours utile répond : « Oui, les dégâts des eaux sont couverts. » Un agent à qui l’on a dit de signaler quand il ne sait pas répond : « Je ne peux pas le confirmer. Je peux vous passer quelqu’un qui le peut. »