정의
지식 베이스는 FAQ, 정책, 제품 페이지 같은 문서 모음으로, 음성 에이전트가 발신자에게 답하는 동안 검색할 수 있습니다. 학습에도 지시문에도 없던 사실을 LLM에 제공합니다.
지식 베이스의 작동 방식
LLM이 아는 것은 학습한 내용과 지시문에 들어 있는 내용뿐입니다. 반품 정책, 이번 달 가격, 공유기를 초기화하는 절차는 둘 중 어디에도 없습니다. 지식 베이스가 그 자료를 보관해서 에이전트가 찾아볼 수 있게 합니다.
일반적인 흐름은 두 부분입니다.
- 준비. 문서를 구절로 나누고, 나중에 찾을 수 있도록 각 구절에 색인을 붙입니다. 많은 시스템이 숫자 임베딩을 사용해 의미로 색인하므로, 질문이 다른 단어를 쓴 구절과도 일치할 수 있습니다.
- 답변할 때. 발신자의 질문 또는 그것을 다시 쓴 형태로 색인을 검색합니다. 가장 잘 일치하는 구절이 LLM의 입력에 추가되고, 모델은 그것을 바탕으로 답합니다. 이 패턴은 검색 증강 생성에서 설명합니다.
Cartesia의 Managed Agents에서는 지식 베이스 콘텐츠를 폴더로 정리하고, 폴더를 에이전트에 연결합니다.
지식 베이스는 바뀌는 사실이나 지시문에 넣기에는 너무 긴 사실을 위한 것입니다. 모든 통화에 적용되는 짧은 규칙은 시스템 프롬프트에 두세요. 주문 상태 같은 특정 고객의 실시간 데이터는 문서 저장소가 마지막 갱신 시점까지만 최신이므로, 기록 시스템에서 도구로 가져오는 편이 낫습니다.
음성 에이전트에게 중요한 이유
지식 베이스는 지어낸 답을 줄이지만, 제대로 작동할 때만 그렇습니다. 통화에서는 텍스트에서 좀처럼 나타나지 않는 세 가지 문제가 생깁니다.
첫째, 검색이 발신자가 기다리는 동안 실행되므로 음성 지연에 더해집니다. 둘째, 질문이 전사로 도착하므로 잘못 들은 단어 하나 때문에 검색이 맞는 구절을 놓칠 수 있습니다. 셋째, 읽으라고 쓴 구절은 길어서 소리 내어 읽으면 끝없이 이어집니다. 원문을 짧고 말하기 쉬운 답으로 다시 쓰거나, 한두 문장으로 요약하도록 모델에 지시하세요.
콘텐츠의 질이 결과를 정합니다. 오래되었거나, 서로 모순되거나, 중복된 문서는 자신 있게 말해진 틀린 답을 낳습니다. 담당자를 정하고, 페이지에 날짜를 적고, 낡은 것을 지우세요. 관련된 것을 찾지 못했을 때 에이전트가 무슨 말을 할지도 정하세요. “그 정보는 없습니다, 연결해 드리겠습니다”가 추측보다 낫습니다. 환각을 참고하세요.
예시
설명용 대화입니다.
- 발신자: “30일이 지나도 반품할 수 있나요?”
- 에이전트의 검색이 반품 페이지를 찾습니다: “영수증이 있으면 45일 이내에 반품을 받습니다.”
- 에이전트: “네. 영수증이 있으시면 45일 이내 반품을 받습니다.”