Ego es un motor de simulación creado en torno a la IA con el que los usuarios pueden crear y compartir personajes animados en 3D, mundos y guiones de videojuegos mediante lenguaje natural. Su visión cambia la forma de crear videojuegos: imagina poder generar juegos tan populares como Minecraft o Animal Crossing con instrucciones sencillas.
Sus fundadores tienen una amplia experiencia en videojuegos e IA. El CEO, Vishnu Hari, fue uno de los 500 mejores jugadores de Overwatch y dirigió equipos de producto en Facebook AI Applied Research (FAIR) y en el equipo de scripting de Meta Horizon. La CTO, Peggy Wang, desarrolló algoritmos de aprendizaje automático para el seguimiento facial de avatares de realidad aumentada de Meta. También trabajó en Stanford AI Research y en algoritmos de planificación de comportamiento autónomo para robótica en Lyft Level 5.
La colaboración con Cartesia ha acelerado la visión de Ego de permitir a los jugadores generar el mundo 3D que imaginan, con agentes de IA y personajes no jugadores (NPC) de comportamiento humano. La colaboración se mostró con el lanzamiento de Thrall, una modificación del juego de supervivencia vikingo Valheim. Con la tecnología de voz de latencia ultrabaja de Cartesia (<90 ms) y sus funciones avanzadas de diseño de voz, Thrall responde a los jugadores con reacciones humanas, sensibilidad emocional e interacciones naturales.
El papel de la IA de voz en los videojuegos inmersivos
Hasta hace poco, los juegos de mundo abierto tenían tres grandes límites:
- Los NPC seguían comportamientos rígidos y preprogramados, sin capacidad real de decisión.
- Crear interacciones exigía amplios conocimientos de programación.
- Desarrollar y ampliar recursos y entornos 3D requería una cantidad de recursos prohibitiva.
La expansión de la IA generativa ha cambiado mucho esta situación. Ego vio la oportunidad de hacer accesible la creación de juegos inmersivos mediante lenguaje natural, de forma parecida a rellenar una ficha de personaje de Dungeons & Dragons.
La IA de voz mejora dos elementos de los videojuegos actuales:
- Personajes no jugadores (NPC): Los personajes controlados por el ordenador que pueblan los mundos de juego, desde comerciantes hasta quienes asignan misiones.
- Compañeros de IA: Agentes inteligentes que pueden tomar decisiones e interactuar como jugadores humanos.
Ambos necesitan voces que estén a la altura de su inteligencia y se adapten a la emoción y al contexto en tiempo real.
El reto
Al evaluar proveedores de voz, Ego buscaba cubrir varios requisitos:
- Lograr interacciones de voz naturales y en tiempo real entre jugadores y compañeros de IA.
- Generar respuestas emocionales adecuadas al contexto.
- Admitir varios idiomas para jugadores de distintos países.
- Crear voces distintas para personajes con personalidades diferentes.
- Mantener una latencia baja que no interrumpiera la experiencia de juego.
La solución
Los videojuegos necesitan voces que sigan las interacciones dinámicas de los jugadores. Ego eligió Sonic de Cartesia por sus capacidades:
- Diseño centrado en la emoción: Frente a los modelos de texto a voz tradicionales, Sonic permite a los compañeros de IA expresar emociones que van de la curiosidad a la urgencia del combate. Otros proveedores suelen incluir cierto reconocimiento emocional en el entrenamiento, pero su interpretación del contexto resulta limitada. Cartesia permite controlar las emociones con precisión sin regenerar la voz una y otra vez.
- Latencia adecuada para videojuegos: La arquitectura SSM de Cartesia permite a Sonic ofrecer una latencia de 90 ms, esencial para mantener la inmersión en entornos de juego en tiempo real.
- Voces dinámicas de personajes sin límite: Con la clonación instantánea de voz, cada personaje conserva sus características vocales a partir de solo 10 segundos de audio. Ego puede crear personajes variados y memorables que mantengan una personalidad coherente.
- Comunidad internacional: Los juegos de Ego llegan a un público global en otros 14 idiomas, además de acentos regionales, para ofrecer interacciones auténticas en todo el mundo.
- Instrucciones mediante voz: El cambiador de voz de Cartesia permite controlar con precisión la interpretación del diálogo y sustituir sesiones de estudio tradicionales por muestras de voz. Los desarrolladores pueden grabar una muestra con el estilo, la emoción y la prosodia deseados y aplicarla a la voz de cualquier personaje, sin repetir sesiones de estudio.
Los resultados
El lanzamiento de Thrall supone un avance en el diseño de NPC. Los jugadores pueden darle órdenes naturales por voz para realizar tareas que haría un jugador humano, desde reunir recursos hasta combatir. El compañero de IA responde con emociones adecuadas al contexto: celebra una caza exitosa o confirma instrucciones con reacciones humanas. Los jugadores también pueden personalizar su personalidad y sus rasgos de comportamiento para crear un compañero a su medida.
La colaboración acerca a Ego a su visión de hacer accesible la creación de videojuegos y permitir experiencias interactivas en las que los personajes de IA parezcan vivos y respondan a los jugadores.
Los videojuegos siempre han sido un lugar donde se forman comunidades, desde World of Warcraft y Runescape en mi generación hasta Roblox y Minecraft hoy. A medida que los juegos se convierten en plataformas sociales, los personajes de IA deben parecer humanos tanto por su capacidad de respuesta como por su profundidad emocional. La tecnología de Cartesia, con su latencia ultrabaja, sus voces naturales y su control preciso de la emoción, nos ayuda a crear mundos inmersivos donde los personajes parecen vivos y auténticos.
Como aficionado a los videojuegos, me ha sorprendido el avance de Ego en experiencias que responden al jugador. Antes, los NPC y los personajes estaban limitados por comportamientos rígidos y preprogramados. Sonic les da vida con personalidades y expresividad naturales. Me entusiasma contribuir a la visión de Ego sobre el futuro de los videojuegos interactivos.