IVR 테스트란 고객처럼 회사 전화 시스템에 전화를 걸어 모든 통화가 올바른 곳에서 끝나는지 확인하는 일입니다. 고장 난 IVR은 대부분 이음매에서 실패합니다. 안내 멘트는 바뀌었는데 라우팅 규칙은 그대로인 경우, 오후 6시에 닫힌 대기열로 전환하는 경우, “약국”을 “약속”으로 알아듣는 음성 모델 같은 것들입니다. 이런 문제는 실제 전화 경로로 실제 통화를 해야만 드러납니다.
이 가이드는 버튼식 IVR과 음성 IVR의 표준 테스트 종류를 다룬 뒤, 전화를 받는 쪽이 AI 음성 에이전트가 되면 무엇이 달라지는지 설명합니다. 요점은 이렇습니다. 버튼식 메뉴는 경로마다 정답 대본이 하나지만, 음성 에이전트는 받아들일 수 있는 대화가 여러 개이고 정답 결과는 하나입니다. 테스트는 결과를 확인해야 합니다.
IVR 테스트의 종류
| 테스트 | 확인하는 질문 | 실행 시점 |
|---|---|---|
| 기능 | 이 경로가 올바른 안내 멘트를 재생하고 올바른 목적지에 도착하는가? | 경로를 만들거나 바꿀 때 |
| 회귀 | 변경 후에도 모든 경로가 작동하는가? | 매 배포 전 |
| 음성 인식 | 발신자가 실제로 쓰는 말을 시스템이 이해하는가? | 의도, 언어, 새 발신자 집단을 추가할 때 |
| 부하 | 예상 최대 통화량에서도 계속 작동하는가? | 출시 전과 성수기 전 |
| 스트레스 | 최대치를 넘으면 무엇이 먼저 고장 나고, 안전하게 고장 나는가? | 출시 전, 인프라 변경 후 |
| 내구성 | 평소 수준의 통화가 몇 시간 이어지면 성능이 떨어지는가? | 출시 전 |
| 경험 | 발신자는 얼마나 기다리고, 소리는 자연스러운가? | 운영 통화로 상시 |
| 장애 조치 | 내부 시스템, 대기열, 통신사가 멈추면 어떻게 되는가? | 출시 전, 이후 분기마다 |
대부분의 문제는 기능 테스트와 회귀 테스트에서 잡힙니다. 부하, 스트레스, 내구성 테스트는 IVR 뒤에 실제 성수기가 있는 콜센터가 있을 때 중요해집니다. 가입 기간, 제품 리콜, 청구서 발송 다음 월요일 같은 때입니다.
버튼식 메뉴와 음성 메뉴 테스트
전통적인 IVR은 나무 구조입니다. 각 노드에 안내 멘트와 정해진 입력 집합이 있으므로 모든 경로를 적고 확인할 수 있습니다.
먼저 통화 흐름을 내보내고 각 경로를 테스트 케이스로 바꿉니다. 경로는 입력 순서와 기대 결과를 합친 것입니다. 2를 누르고, 1을 누르고, 계좌번호를 입력하면, 계좌 정보가 붙은 채로 청구 대기열에 도착해야 합니다. 이상적인 경로만이 아니라 발신자가 실수로 들어가는 경로도 포함하세요.
- 아무것도 입력하지 않고 시간 초과까지 기다리기
- 잘못된 버튼을 누른 뒤 올바른 버튼 누르기
- 모든 단계에서
0을 누르거나 “상담원”이라고 말하기 - 영업시간 외에 전화하기
- 존재하지 않는 계좌번호 입력하기
- 안내 멘트가 끝나기 전에 번호 입력하기 (메뉴를 아는 사람은 이렇게 합니다)
음성 메뉴에서는 테스트 입력이 녹음입니다. 화자를 바꾸고, 스튜디오 마이크 대신 전화 회선을 거치고, 자동차나 주방 같은 배경 소음을 넣으세요. 단어는 메뉴의 항목명이 아니라 통화 기록에 남은 고객의 실제 표현이어야 합니다. 사람들은 “계정 서비스”보다 “요금 문의”라고 훨씬 자주 말합니다.
오디오뿐 아니라 데이터도 확인하세요. 통화가 청구 대기열에 도착하고 상담원 화면에 올바른 계좌가 표시되어야 합격입니다. IVR이 번호를 받았는데 전환 과정에서 잃어버렸다면 발신자는 번호를 다시 불러야 합니다. 안내 멘트가 모두 제대로 재생되었더라도 이것은 실패입니다.
대화형 IVR과 AI 음성 에이전트 테스트
AI 음성 에이전트가 전화를 받으면 대본 비교 방식은 더 이상 통하지 않습니다. 에이전트는 한 통화에서 “네, 바로 옮겨 드릴게요”라고 하고 다음 통화에서 “알겠습니다, 그 예약을 변경해 드릴 수 있어요”라고 할 수 있습니다. 둘 다 괜찮습니다. 정확한 문구를 비교하는 테스트는 매번 실패하고 아무것도 알려 주지 않습니다.
대신 기대 결과를 담은 시나리오를 작성하세요.
| 시나리오 | 발신자 행동 | 합격 조건 |
|---|---|---|
| 예약 변경 | 이름과 생년월일을 말하고 목요일 오후를 요청 | 예약 시스템에서 예약이 옮겨지고 발신자가 새 시간을 들음 |
| 본인 확인 실패 | 일치하지 않는 생년월일을 말함 | 예약 정보를 읽어 주지 않고 다른 확인 방법을 안내함 |
| 마음 바꾸기 | 청구 문의를 하다가 “아니, 배송 건이에요”라고 말함 | 배송 건을 처리하고 청구 쪽으로 전환하지 않음 |
| 끼어들기 | 에이전트가 말하는 도중에 말을 시작함 | 에이전트가 말을 멈추고 새 요청에 답함 |
| 지금 바로 사람 | 첫 문장에서 “상담원 연결해 주세요”라고 말함 | 실랑이 없이 전환하거나 영업시간 외 안내를 함 |
| 시스템 장애 | 예약 API가 오류를 반환함 | 예약이 완료되었다고 말하지 않음 |
| 번호 복창 | 10자리 주문번호를 중간에 쉬면서 말함 | 모든 숫자를 정확히 복창함 |
각 시나리오는 여러 번 실행하세요. 음성 에이전트는 요청 표현이 달라지거나 모델이 대화에서 다른 길을 택해, 네 번 통과한 시나리오를 다섯 번째에 실패할 수 있습니다. 표현을 바꿔 가며 시나리오당 5~10회 실행하면 대부분을 잡을 수 있습니다. 인물 설정도 도움이 됩니다. 급한 사람, 헷갈려하는 사람, 지역 억양이 강한 사람, 시끄러운 곳에 있는 사람 등입니다.
각 실행은 두 가지 방식으로 채점합니다. 사실 확인은 시스템을 읽습니다. 예약이 옮겨졌는지, 전환이 올바른 번호로 갔는지, 에이전트가 통화를 끝냈는지. 판단 확인은 녹취록을 읽습니다. 에이전트가 새 시간을 소리 내어 확인했는지, 발신자가 짜증을 냈을 때도 정중했는지. 두 번째 유형에는 메트릭마다 구체적인 질문 하나를 가진 LLM 심판이 잘 맞습니다. “좋은 통화였나요?”라고 물으면 의견이 돌아오지만, “통화가 끝나기 전에 발신자가 새 예약 시간을 들었나요? 예 또는 아니오로 답하고 해당 문장을 인용하세요”라고 물으면 셀 수 있는 답이 돌아옵니다.
라우팅에 특화된 테스트 세트는 대화형 IVR 가이드에 있습니다. 라우팅 정확도 수치를 과신하지 않고 읽는 방법도 함께 다룹니다.
지연 시간은 로그가 아니라 전화에서 측정하세요
발신자는 자신이 말을 멈춘 순간부터 에이전트가 말을 시작하는 순간까지를 지연으로 느낍니다. 그 사이에는 발화 종료 판단, LLM, 음성 합성, 그리고 전화 서비스 업체와 통신사를 거쳐 돌아오는 시간이 모두 들어 있습니다. 음성 합성의 첫 바이트까지 걸린 시간만 보여 주는 대시보드는 그중 일부만 다룹니다.
통화 녹음 자체에서 측정하세요. 양쪽을 모두 녹음하고, 발신자 발화의 끝과 각 응답의 시작을 표시한 뒤, 중앙값과 가장 느린 5%를 보고하세요. 가장 느린 통화가 바로 “여보세요? 듣고 계세요?”라는 말과 반복되는 질문을 받는 통화입니다.
발신 통화에는 엄격한 기준도 있습니다. 미국 TCPA의 포기 통화 규정에 따르면, 전화를 받은 사람이 인사를 마친 뒤 2초 안에 연결되지 않으면 포기 통화로 집계됩니다. 2X Solutions는 응답 지연을 500~900ms에서 100ms 미만으로 줄였고, 매달 수백만 건의 통화에서 포기 통화율을 3.4%에서 1.25% 미만으로 낮췄습니다. 에이전트가 전화를 건다면 모든 발신 시나리오에서 “여보세요?”부터 에이전트의 첫마디까지의 시간을 측정하세요.
모델이 바뀔 때의 회귀 테스트
음성 에이전트는 버튼식 메뉴에는 없던 방식으로 바뀝니다. 새 프롬프트, 새 LLM, 새 목소리, 새 음성 모델은 각각 손대지 않은 경로의 동작까지 바꿀 수 있습니다. 모두 배포로 취급하고 전체 시나리오를 다시 실행하세요.
고정할 수 있는 것은 고정하세요. Cartesia의 Sonic에는 sonic-3.6-2026-08-27처럼 한 번 공개되면 바뀌지 않는 날짜별 스냅샷이 있어, 운영 환경을 전환하기 전에 새 스냅샷으로 시나리오를 돌려 볼 수 있습니다. Managed Agents는 모든 설정 변경을 버전으로 저장하므로, 새 프롬프트가 예전에 통과한 시나리오에서 실패하면 이전 버전으로 되돌린 뒤 원인을 조사할 수 있습니다.
실패는 모아 두세요. 운영 중에 잘못된 통화는 발신자의 실제 표현 그대로 새 회귀 시나리오가 됩니다. 몇 달이 지나면 이 세트가 처음에 책상 앞에서 쓸 수 있는 어떤 것보다 유용해집니다.
Cartesia로 테스트 발신자 만들기
Cartesia Managed Agents 자체로 기본적인 자동 테스트 발신자를 만들 수 있습니다.
- 하나의 시나리오를 지시문에 담은 테스트 에이전트를 만듭니다. 누구인지, 무엇을 원하는지, IVR에 어떻게 반응해야 하는지를 적습니다.
- 시스템 도구
send_dtmf를 켜서 에이전트가 전화 메뉴를 탐색하며 버튼을 누를 수 있게 합니다. - 테스트 에이전트에서 IVR 번호로 발신 통화를 겁니다. 전체 테스트 세트를 돌릴 때는 일괄 발신으로 최대 5,000건의 통화를 대기열에 넣고 설정한 동시 통화 한도 안에서 걸 수 있습니다.
- 테스트 에이전트에 커스텀 메트릭을 지정합니다. 각각을 “통화가 약국 대기열에 도착했나요?” 같은 구체적인 LLM 심판 질문으로 만드세요. 결과는 CSV로 내보낼 수 있습니다.
같은 메트릭은 운영 에이전트에도 쓸 수 있습니다. Managed Agents는 완료된 모든 통화를 두 가지 기본 메트릭으로 채점합니다. 에이전트 오류 없이 통화가 끝났는지, 그리고 에이전트의 첫 응답에서 오디오 첫 바이트까지 걸린 시간입니다. 지정한 커스텀 메트릭은 이후 통화에 적용되므로 운영 통화가 그대로 모니터링 데이터가 됩니다.
이 구성은 회귀 테스트와 운영 모니터링에 적합합니다. 일괄 발신은 계정의 에이전트 통화 동시 한도를 운영 통화와 공유하므로, 콜센터 최대 시간대 수준의 부하 테스트에는 별도의 용량 계획이 필요합니다. 관리형 테스트 세트나 부하 테스트를 대신 수행할 팀이 필요하다면 전문 업체를 이용하세요. Cekura는 출시 전후의 음성 에이전트를 상대로 가상 발신자를 돌리며, 이 발신자에 Cartesia 목소리를 쓸 수 있습니다. Cyara는 전통적인 콜센터 IVR에 오래 쓰여 온 선택지입니다. Coval과 Hamming도 AI 음성 에이전트를 테스트합니다.
어디서부터 시작할까
지금 아무것도 테스트하지 않는다면 통화 8건으로 시작하세요. 가장 흔한 문의 유형 4가지, 영업시간 외 통화, 상담원을 찾는 발신자, 잘못된 입력, 내부 시스템이 멈춘 상태의 통화입니다. 실제 번호로 한 번 직접 걸어 무슨 일이 일어났는지 기록한 다음, 같은 8건을 자동화하세요. 실제 실패가 생길 때마다 시나리오를 추가하세요.
버튼식 메뉴를 음성 에이전트로 바꾸려 한다면, 전환하기 전에 둘 다 같은 시나리오 세트로 실행해 보세요. 전환 절차는 콜센터 자동화 가이드에서, 테스트하는 구성 요소는 음성 에이전트 가이드에서 다룹니다. 우리 회사의 통화 흐름으로 에이전트를 시험해 보려면 플레이그라운드에서 하나 만들고 전화를 걸어 보세요.