Ego, Cartesia 기반 상호작용형 캐릭터로 게임을 혁신하다

Ego는 사용자가 자연어로 3D 애니메이션 캐릭터, 세계, 게임 스크립트를 만들고 공유할 수 있는 AI 네이티브 시뮬레이션 엔진입니다. Ego의 비전은 게임에 혁명적입니다. Minecraft나 Animal Crossing 같은 인기 게임을 간단한 명령으로 만들어 낼 수 있다고 상상해 보세요.

Ego 창립자들은 게임과 AI 모두에 깊은 전문성을 갖추고 있습니다. Overwatch 상위 500위 플레이어였던 CEO Vishnu Hari는 Facebook AI Applied Research(FAIR)와 Meta Horizon Scripting 팀에서 제품팀을 이끌었습니다. Meta의 AR Avatar 얼굴 추적용 ML 알고리즘을 출시한 CTO Peggy Wang은 Stanford AI Research와 Lyft Level 5에서 로봇의 자율 행동 계획 알고리즘을 연구한 경험을 갖추고 있습니다.

Cartesia와의 협력은 게이머가 상상하는 3D 세계를 인간 같은 행동을 보이는 AI 에이전트와 NPC까지 포함해 생성하도록 한다는 Ego의 비전을 앞당겼습니다. 최근 바이킹 테마 생존 게임 Valheim의 모드 Thrall 출시로 이 협력이 공개되었습니다. Cartesia의 초저지연 음성 기술(90ms 미만)과 고급 음성 설계 기능을 활용하는 Thrall은 사람 같은 반응, 감정 인식, 자연스러운 상호작용으로 플레이어에게 응답합니다.

몰입형 게임에서 음성 AI의 역할

최근까지 오픈 월드 게임에는 세 가지 큰 제약이 있었습니다.

• NPC는 진정한 자율성 없이 경직된 사전 프로그래밍 행동에 제한되었습니다.
• 게임 상호작용을 만들려면 높은 수준의 코딩 전문성이 필요했습니다.
• 3D 에셋과 환경을 개발하고 확장하는 데 지나치게 많은 자원이 필요했습니다.

생성형 AI의 확산은 이 상황을 크게 바꾸었습니다. Ego는 Dungeons & Dragons에서 캐릭터 시트를 작성하듯 누구나 자연어로 풍부한 게임 경험을 만들 수 있게 하여 몰입형 게임 제작의 문턱을 낮출 기회를 보았습니다.

음성 AI는 현대 게임의 두 가지 핵심 요소를 강화합니다.

1. NPC: 상점 주인부터 퀘스트를 주는 인물까지 게임 세계를 채우는 컴퓨터 제어 캐릭터
2. AI 동료: 인간 플레이어처럼 판단하고 상호작용할 수 있는 지능형 에이전트

둘 다 지능에 걸맞고 감정과 맥락에 실시간으로 적응할 수 있는 음성이 필요합니다.

과제

음성 제공업체를 평가하면서 Ego는 몇 가지 핵심 요구를 충족하고자 했습니다.

1. 플레이어와 AI 동료 사이의 자연스러운 실시간 음성 상호작용
2. 맥락에 맞는 감정적 응답 생성
3. 해외 플레이어를 위한 다국어 지원
4. 다양한 캐릭터 성격에 맞는 구별되는 음성 제작
5. 원활한 게임 경험을 위한 낮은 지연시간 유지

솔루션

게임에는 플레이어의 역동적인 상호작용에 맞출 수 있는 음성이 필요합니다. Ego는 다음과 같은 독보적인 역량을 갖춘 Cartesia Sonic 모델을 선택했습니다.

1. 감정 우선 설계: 기존 텍스트 음성 변환 모델과 달리 Sonic은 AI 동료가 호기심부터 전투의 긴박감까지 폭넓은 감정을 표현하게 하여 모든 상호작용을 진정성 있게 만듭니다. 다른 제공업체는 보통 모델에 어떤 형태로든 감정 인식을 사전 학습시키지만 맥락 이해가 부족합니다. Cartesia는 음성을 반복해서 다시 생성하지 않고도 감정을 세밀하게 제어할 수 있게 합니다.
2. 게임에 최적화된 지연시간: Cartesia의 혁신적인 SSM 아키텍처로 구동되는 Sonic은 업계 최고 수준의 90ms 지연시간을 제공합니다. 실시간 게임 환경에서 몰입을 유지하는 데 필수적인 성능입니다.
3. 무제한의 동적 캐릭터 음성: Cartesia의 즉각적인 음성 복제 기능을 통해 각 AI 캐릭터는 고유한 음성 특성을 유지하며, 단 10초의 오디오로 학습할 수 있습니다. Ego는 일관된 성격을 유지하면서 플레이어에게 공감을 주는 다양하고 기억에 남는 캐릭터를 만들 수 있습니다.
4. 글로벌 게임 커뮤니티: Ego의 게임은 지역 억양뿐 아니라 14개의 추가 언어로 전 세계 청중에게 도달하여 어디서나 진정성 있는 캐릭터 상호작용을 제공합니다.
5. 음성 프롬프팅: Cartesia의 음성 변환기는 대사 전달 방식을 정밀하게 제어하여 기존 스튜디오 세션을 효율적인 음성 프롬프트 명령으로 대체합니다. 개발자는 원하는 스타일, 감정, 운율로 샘플을 녹음한 뒤 어떤 캐릭터 음성에도 적용할 수 있습니다. 반복적인 스튜디오 녹음 없이 자연스러운 음성 상호작용이 가능합니다.

성과

Ego의 Thrall 출시는 NPC 설계의 획기적인 진전입니다. 플레이어는 자연스러운 음성 명령으로 자원 수집부터 전투까지 인간 플레이어가 하는 모든 작업을 지시할 수 있습니다. AI 동료는 사냥 성공을 축하하거나 사람 같은 반응으로 명령을 확인하는 등 맥락에 맞는 감정으로 응답합니다. 무엇보다 플레이어는 Thrall의 성격과 행동 특성을 맞춤 설정하여 자신만의 게임 동료를 만들 수 있습니다.

이 협력은 게임 제작의 문턱을 낮추고, AI 캐릭터가 살아 있으며 반응하는 것처럼 느껴지는 진정한 상호작용형 게임 경험을 제공한다는 Ego의 비전을 향한 중요한 진전입니다.