정의
AI 환각은 LLM이 의미 없거나 주어진 출처에 충실하지 않은 텍스트를 생성하거나, 근거 없는 내용을 말하는 것입니다. 음성 에이전트에서는 발신자가 확인할 수 없는, 자신 있게 말해진 답변입니다.
AI 환각의 작동 방식
LLM은 그럴듯하게 이어질 내용을 예측해 텍스트를 만듭니다. 유창하고 확률 높은 텍스트를 쓰도록 훈련되었지 사실을 확인하도록 훈련되지 않았으므로, 정보가 없을 때도 맞는 것처럼 들리는 답을 만들어 낼 수 있습니다.
Ji 등의 서베이 논문은 환각된 텍스트를 의미가 없거나 제공된 출처 내용에 충실하지 않은 것으로 설명합니다. 문제를 두 가지로 나눕니다.
- 내재적. 출력이 출처와 모순됩니다. 문서에는 반품을 45일간 받는다고 되어 있는데 모델이 30일이라고 말하는 경우입니다.
- 외재적. 출력을 출처로 검증할 수 없습니다. 모델이 문서에 전혀 없는 정책을 덧붙입니다. 논문은 이런 텍스트가 항상 틀린 것은 아니지만 대개 신중하게 다뤄진다고 말합니다.
원인에는 학습 데이터의 공백, 모호한 질문, 엉뚱한 구절을 가져온 검색, 항상 답을 내놓도록 모델을 부추기는 지시문이 있습니다. 모델은 거짓말을 하는 것이 아닙니다. 자신이 무엇을 모르는지에 대한 내장된 감각이 없을 뿐입니다.
줄이려면 여러 조치가 함께 필요합니다. 지식 베이스나 도구 호출로 사용할 사실을 모델에 주고, 모를 때는 모른다고 말하도록 지시하세요. 민감한 사실은 모델의 기억이 아니라 기록 시스템에 두세요. 자료에 답이 없는 질문으로 테스트하세요.
음성 에이전트에게 중요한 이유
발신자는 출처를 볼 수 없고, 앞으로 스크롤할 수 없고, 에이전트가 한 말을 따지기도 쉽지 않습니다. 가격, 기한, 약에 대한 틀린 음성 답변은 한 번 들리고 그에 따라 행동할 수도 있습니다. 음성은 확신도 불러일으킵니다. 매끄러운 말투는 지어낸 답을 올바른 답만큼 확실하게 들리게 합니다.
음성 인식은 틀린 답으로 가는 두 번째 경로를 더합니다. 인식기가 “열다섯”을 “쉰”으로 잘못 들으면 모델은 잘못된 질문에 완벽하게 답할 수 있습니다. 중요한 세부 사항을 다시 읽어 확인하면 이를 잡아낼 수 있습니다.
음성 에이전트를 위한 실용적인 통제는 다음과 같습니다.
- 추측하는 대신 “그 정보는 없습니다”라고 말하고 전환을 제안하도록 에이전트에게 지시합니다.
- 주문 상태 같은 실시간 사실은 기억에 의존하지 말고 도구로 가져옵니다.
- 법률이나 의료 조언처럼 틀린 답의 비용이 큰 주제에는 가드레일을 추가합니다.
- 녹음된 통화를 검토해 문서에 없는 답변을 찾습니다.
예시
실패 사례입니다(설명용). 발신자가 서비스 플랜이 누수 피해를 보장하는지 묻습니다. 문서에는 언급이 없습니다. 항상 도움이 되라고 지시받은 에이전트는 “네, 누수 피해는 보장됩니다”라고 말합니다. 모를 때는 모른다고 말하도록 지시받은 에이전트는 “확인해 드릴 수 없습니다. 확인할 수 있는 분께 연결해 드리겠습니다”라고 답합니다.