정의
음성 대 음성 모델은 음성 오디오를 입력으로 받아 음성 인식이나 음성 합성의 별도 단계 없이 음성 오디오를 출력하는 단일 모델입니다. 같은 모델이 발신자의 말을 듣고, 무엇을 말할지 결정하고, 말합니다.
음성 대 음성 모델의 작동 방식
모델은 짧은 소리 조각을 나타내는 토큰의 형태로 오디오를 읽고, 같은 방식으로 오디오를 씁니다. 중간에 텍스트로 변환하지 않으므로, 원리상 전사가 버리는 정보, 예컨대 어조, 망설임, 강조를 활용할 수 있고, 그에 맞는 전달 방식으로 답할 수 있습니다. 일부 모델은 오디오와 함께 텍스트도 쓰므로 개발자가 기록해 둘 전사를 얻지만, 그 텍스트는 오디오 추론의 부산물이지 입력이 아닙니다.
시판되는 많은 음성 대 음성 모델은 오디오 연결을 열어 둔 채 오디오가 입출력으로 동시에 흐르는 실시간 API로 제공됩니다. 개발자는 지시문을 설정하고, 대개 정해진 목소리 목록에서 하나를 고릅니다.
캐스케이드 음성 에이전트는 같은 일을 텍스트를 사이에 둔 세 단계로 합니다. 절충점은 제어에 있습니다. 캐스케이드에서는 단계마다 텍스트를 볼 수 있고, 모델을 따로 고를 수 있으며, 답변을 말하기 전에 걸러낼 수 있습니다. 단일 음성 대 음성 모델에서는 움직이는 부품이 적고 첫 프로토타입을 만들기 쉽지만, 자체 LLM으로 바꿀 수 없고 무엇을 근거로 추론했는지 정확히 확인하기가 더 어렵습니다.
속도는 설계만으로 정해지지 않습니다. 아래에 링크한 가이드는 이 모델들을 실제 통화에서 독립적으로 측정한 결과 응답까지의 멈춤이 중앙값 기준 약 1초 이상이며, 잘 만든 캐스케이드가 도달할 수 있는 것과 같은 범위라고 보고합니다.
음성 에이전트에게 중요한 이유
도구를 호출하고, 숫자를 다시 읽어 주고, 규정 준수 팀이 승인한 스크립트를 따르는 에이전트는 검사하고 제약할 수 있어야 합니다. 이는 텍스트가 보이는 설계에 유리합니다. 주로 대화하는 에이전트는 자연스러운 전달을 더 중시할 수 있습니다.
고르기 전에 전체 비교를 읽어 보세요.