Definição
Alucinação de IA é quando um LLM gera um texto sem sentido ou infiel à fonte que recebeu, ou afirma coisas sem respaldo. Em um agente de voz, é uma resposta falada com confiança que quem liga não consegue verificar.
Como a alucinação de IA funciona
Um LLM produz texto prevendo o que plausivelmente vem a seguir. Ele é treinado para escrever texto fluente e provável, não para checar fatos, então, quando lhe falta informação, ainda pode produzir uma resposta que soa certa.
O levantamento de Ji e colegas descreve o texto alucinado como sem sentido ou infiel ao conteúdo da fonte fornecida. Divide o problema em dois.
- Intrínseca. A saída contradiz a fonte. Um documento diz que devoluções são aceitas por 45 dias e o modelo diz 30.
- Extrínseca. A saída não pode ser verificada pela fonte. O modelo acrescenta uma política que o documento nunca menciona. O levantamento observa que esse texto nem sempre é errado, mas que costuma ser tratado com cautela.
As causas incluem lacunas nos dados de treinamento, perguntas ambíguas, uma busca que devolveu o trecho errado e instruções que empurram o modelo a sempre dar uma resposta. Um modelo não mente. Ele não tem um senso embutido do que não sabe.
Reduzi-la exige várias medidas em conjunto. Dê ao modelo os fatos a usar, por meio de uma base de conhecimento ou de uma chamada de ferramenta, e instrua-o a dizer quando não souber. Mantenha fatos sensíveis em sistemas de registro e não na memória do modelo. Teste com perguntas sem resposta no seu material.
Por que importa para agentes de voz
Quem liga não vê a fonte, não pode rolar para trás e dificilmente consegue cobrar do agente o que ele disse. Uma resposta falada errada sobre um preço, um prazo ou um medicamento é ouvida uma vez e pode ser seguida. A voz também convida à confiança: uma fala fluida faz uma resposta inventada soar tão segura quanto uma correta.
O reconhecimento de fala acrescenta um segundo caminho para respostas erradas. Se o reconhecedor entende “cinquenta” onde se disse “quinze”, o modelo pode responder perfeitamente à pergunta errada. Confirmar detalhes de alto risco lendo-os de volta pega isso.
Controles práticos para agentes de voz:
- Diga ao agente para dizer “não tenho essa informação” e oferecer uma transferência, em vez de chutar.
- Busque fatos em tempo real, como o status de um pedido, com uma ferramenta, e não confie na memória.
- Adicione guardrails para assuntos em que uma resposta errada tem custo real, como aconselhamento jurídico ou médico.
- Revise chamadas gravadas em busca de respostas que não estão nos seus documentos.
Exemplo
Uma falha ilustrativa. Quem liga pergunta se um plano de serviço cobre danos por água. Os documentos não mencionam. Um agente instruído a ser sempre prestativo diz “Sim, danos por água estão cobertos”. Um instruído a dizer quando não sabe responde “Não consigo confirmar isso. Posso transferi-lo para alguém que consiga”.
Termos relacionados
- Geração aumentada por recuperação
- Base de conhecimento
- Guardrails
- Prompt de sistema
- Chamada de ferramentas