Definición
La alucinación de IA es cuando un LLM genera texto absurdo o infiel a la fuente que se le dio, o afirma cosas sin respaldo. En un agente de voz, es una respuesta hablada con aplomo que quien llama no puede comprobar.
Cómo funciona la alucinación de IA
Un LLM produce texto prediciendo lo que plausiblemente viene a continuación. Está entrenado para escribir texto fluido y probable, no para comprobar hechos, así que cuando le falta información aún puede producir una respuesta que suena bien.
El estudio de Ji y colegas describe el texto alucinado como absurdo o infiel al contenido fuente proporcionado. Divide el problema en dos.
- Intrínseca. La salida contradice la fuente. Un documento dice que se aceptan devoluciones durante 45 días y el modelo dice 30.
- Extrínseca. La salida no se puede verificar a partir de la fuente. El modelo añade una política que el documento nunca menciona. El estudio señala que ese texto no siempre es erróneo, pero que suele tratarse con cautela.
Entre las causas están las lagunas en los datos de entrenamiento, las preguntas ambiguas, una recuperación que devolvió el pasaje equivocado y unas instrucciones que empujan al modelo a dar siempre una respuesta. Un modelo no miente. No tiene un sentido incorporado de lo que no sabe.
Reducirla exige varias medidas a la vez. Dé al modelo los datos que debe usar, mediante una base de conocimiento o una llamada a herramienta, e indíquele que diga cuándo no sabe. Mantenga los datos sensibles en sistemas de registro y no en la memoria del modelo. Pruebe con preguntas que no tengan respuesta en su material.
Por qué importa para los agentes de voz
Quien llama no ve la fuente, no puede retroceder en la pantalla y difícilmente puede exigir al agente lo que dijo. Una respuesta hablada errónea sobre un precio, un plazo o un medicamento se oye una vez y puede actuarse según ella. La voz también invita a la confianza: un habla fluida hace que una respuesta inventada suene tan segura como una correcta.
El reconocimiento de voz añade una segunda vía hacia respuestas erróneas. Si el reconocedor oye «cincuenta» donde se dijo «quince», el modelo puede responder perfectamente a la pregunta equivocada. Confirmar los datos de alto riesgo leyéndolos de vuelta lo detecta.
Controles prácticos para agentes de voz:
- Indique al agente que diga «no tengo ese dato» y ofrezca una transferencia, en lugar de adivinar.
- Obtenga datos en vivo, como el estado de un pedido, con una herramienta, y no confíe en la memoria.
- Añada salvaguardas para temas en los que una respuesta errónea tiene un coste real, como el asesoramiento jurídico o médico.
- Revise llamadas grabadas en busca de respuestas que no estén en sus documentos.
Ejemplo
Un fallo ilustrativo. Quien llama pregunta si un plan de servicio cubre daños por agua. Los documentos no lo mencionan. Un agente al que se dijo que fuera siempre útil responde: «Sí, los daños por agua están cubiertos». Uno al que se dijo que indique cuándo no sabe responde: «No puedo confirmarlo. Puedo ponerle con alguien que sí».
Términos relacionados
- Generación aumentada por recuperación
- Base de conocimiento
- Salvaguardas
- Prompt del sistema
- Llamada a herramientas