정의
대규모 언어 모델(LLM)은 방대한 텍스트로 학습해 시퀀스의 다음 토큰을 예측하는 신경망입니다. 이 단계를 반복해 글을 쓰고, 프롬프트에 주어진 지시를 따르며, 도구를 호출할지도 결정할 수 있습니다.
대규모 언어 모델의 작동 방식
LLM은 텍스트를 단어 조각인 토큰으로 읽고, 다음에 올 수 있는 각 토큰의 확률을 출력합니다. 하나를 골라 덧붙이고, 답변이 완성될 때까지 반복합니다. 그래서 답변의 첫 부분은 마지막 부분이 생기기 훨씬 전에 들릴 수 있고, 생성 시간은 답변 길이에 따라 늘어납니다.
현재 대부분의 모델은 2017년 Vaswani 등이 소개한 Transformer 설계를 씁니다. 이 설계는 어텐션으로 각 토큰을 문맥 속 다른 토큰들과 연결합니다. 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 텍스트의 한도이며, 지시문, 대화 기록, 추가된 문서나 도구 결과를 포함합니다.
Brown 등은 2020년에, 1,750억 개의 매개변수를 가진 모델이 프롬프트에 적힌 지시와 몇 가지 예시만으로 재학습 없이 새로운 작업을 수행할 수 있음을 보였습니다. 작업마다 모델을 학습하는 대신 지시문을 써서 에이전트를 만드는 방식의 바탕이 이것입니다.
두 가지 한계가 더 중요합니다. 모델은 학습 이후의 사실에 기본적으로 접근할 수 없으므로 애플리케이션이 프롬프트나 도구로 정보를 추가합니다. 그리고 유창하지만 거짓인 텍스트를 만들 수 있는데, 이 결함을 환각이라 부릅니다.
음성 에이전트에게 중요한 이유
캐스케이드 음성 에이전트에서 LLM은 무엇을 말할지 결정하는 단계이며, 대개 가장 느리고 가장 예측하기 어렵습니다. 중요한 숫자는 첫 토큰까지의 시간입니다. 출력을 스트리밍하면 첫 문장이 준비되는 즉시 말을 시작할 수 있기 때문입니다. 전체 생성 시간은 그보다 덜 중요합니다.
음성은 추가적인 요구를 합니다. 답변은 짧고 귀를 위해 쓰여야 하며 목록이나 마크다운이 없어야 합니다. 모델은 문장 중간에 화제를 바꾸는 발신자의 압박 속에서도 시스템 프롬프트를 따라야 합니다. 그리고 가격, 정책, 계정에 대한 모델의 모든 주장은 자신 있게 소리 내어 말해지므로, 독자가 다시 확인할 수 있는 채팅 창에서보다 도구와 기록으로 근거를 대는 것이 더 중요합니다.
음성 대 음성 모델은 이 단계를 오디오 모델에 통합하므로 LLM과 목소리는 더 이상 별개의 선택이 아닙니다.