Definizione
L'allucinazione dell'IA è quando un LLM genera un testo privo di senso o infedele alla fonte che gli è stata data, o afferma cose senza fondamento. In un agente vocale è una risposta pronunciata con sicurezza che chi chiama non può verificare.
Come funziona l’allucinazione dell’IA
Un LLM produce testo prevedendo ciò che plausibilmente viene dopo. È addestrato a scrivere testo fluido e probabile, non a verificare i fatti, quindi quando gli mancano le informazioni può comunque produrre una risposta che suona giusta.
La rassegna di Ji e colleghi descrive il testo allucinato come privo di senso o infedele al contenuto della fonte fornita. Divide il problema in due.
- Intrinseca. L’output contraddice la fonte. Un documento dice che i resi sono accettati entro 45 giorni e il modello dice 30.
- Estrinseca. L’output non può essere verificato dalla fonte. Il modello aggiunge una regola che il documento non menziona mai. La rassegna osserva che tale testo non è sempre sbagliato, ma che di solito viene trattato con cautela.
Tra le cause ci sono lacune nei dati di addestramento, domande ambigue, un recupero che ha restituito il passaggio sbagliato e istruzioni che spingono il modello a dare sempre una risposta. Un modello non mente. Non ha un senso incorporato di ciò che non sa.
Ridurla richiede più misure insieme. Si diano al modello i fatti da usare, tramite una knowledge base o una chiamata a uno strumento, e gli si dica di segnalare quando non sa. Si tengano i fatti sensibili nei sistemi di riferimento e non nella memoria del modello. Si testi con domande che non hanno risposta nel proprio materiale.
Perché conta per gli agenti vocali
Chi chiama non vede la fonte, non può scorrere indietro e può difficilmente tenere l’agente a ciò che ha detto. Una risposta parlata sbagliata su un prezzo, una scadenza o un farmaco si sente una volta e può essere messa in pratica. La voce invita anche alla fiducia: un parlato fluido fa sembrare una risposta inventata sicura quanto una corretta.
Il riconoscimento vocale aggiunge una seconda via verso risposte sbagliate. Se il riconoscitore sente «cinquanta» invece di «quindici», il modello può rispondere perfettamente alla domanda sbagliata. Confermare i dettagli ad alto rischio rileggendoli lo intercetta.
Controlli pratici per gli agenti vocali:
- Si dica all’agente di dire «non ho questa informazione» e di offrire un trasferimento, invece di tirare a indovinare.
- Si recuperino i fatti in tempo reale, come lo stato di un ordine, con uno strumento, senza affidarsi alla memoria.
- Si aggiungano guardrail per gli argomenti in cui una risposta sbagliata ha un costo reale, come la consulenza legale o medica.
- Si rivedano le chiamate registrate per trovare risposte che non sono nei propri documenti.
Esempio
Un errore illustrativo. Chi chiama chiede se un piano di assistenza copre i danni da acqua. I documenti non lo menzionano. Un agente a cui è stato detto di essere sempre utile dice: «Sì, i danni da acqua sono coperti.» Uno a cui è stato detto di segnalare quando non sa risponde: «Non posso confermarlo. Posso metterla in contatto con qualcuno che può.»