Ego est un moteur de simulation natif de l’IA où les utilisateurs créent et partagent des personnages animés en 3D, des mondes et des scénarios de jeu en langage naturel. Son ambition pourrait transformer le jeu vidéo : imaginez créer des jeux comme Minecraft ou Animal Crossing avec de simples instructions.
Ses fondateurs connaissent le jeu et l’IA. Vishnu Hari, PDG et ancien joueur du top 500 d’Overwatch, a dirigé des équipes produit chez Facebook AI Applied Research et Meta Horizon Scripting. Peggy Wang, directrice technique, a livré des algorithmes d’apprentissage automatique pour le suivi facial des avatars AR de Meta. Elle a aussi travaillé à Stanford AI Research et chez Lyft Level 5 sur la planification autonome du comportement en robotique.
Cartesia a accéléré le projet d’Ego : permettre aux joueurs de faire apparaître le monde 3D qu’ils imaginent, avec des agents d’IA et des personnages non joueurs au comportement humain. Le lancement de Thrall, un mod du jeu de survie viking Valheim, l’a récemment illustré. Avec la latence inférieure à 90 ms et la conception vocale de Cartesia, Thrall répond aux joueurs avec des réactions humaines, une sensibilité émotionnelle et des échanges naturels.
Le rôle de l’IA vocale dans l’immersion
Jusqu’à récemment, les mondes ouverts avaient trois limites :
- Des personnages non joueurs enfermés dans des comportements rigides préprogrammés, sans autonomie réelle
- La nécessité de maîtriser la programmation pour créer des interactions
- Un coût en ressources trop élevé pour développer les éléments et environnements 3D à grande échelle
L’IA générative a changé ces possibilités. Ego veut rendre la création de jeux immersifs accessible à tous par le langage naturel, comme lorsqu’on remplit une fiche de personnage de Donjons et Dragons.
L’IA vocale enrichit deux éléments du jeu moderne :
- Les personnages non joueurs : les personnages contrôlés par l’ordinateur, du marchand au donneur de quête
- Les compagnons d’IA : des agents intelligents capables de décider et d’interagir comme des joueurs humains
Ils ont besoin de voix à la hauteur de leur intelligence, capables de s’adapter aux émotions et au contexte en temps réel.
Le défi
Ego recherchait plusieurs capacités :
- Des échanges vocaux naturels en temps réel entre joueurs et compagnons
- Des réponses émotionnelles adaptées au contexte
- Plusieurs langues pour les joueurs internationaux
- Des voix distinctes pour chaque personnalité
- Une faible latence pour préserver la fluidité du jeu
La solution
Ego a choisi Sonic pour suivre les interactions dynamiques des joueurs :
- L’émotion au cœur de la conception : Sonic permet d’exprimer toute une palette d’émotions, de la curiosité à l’urgence du combat. D’autres modèles intègrent une reconnaissance des émotions, mais comprennent mal le contexte. Cartesia offre un contrôle précis sans devoir régénérer sans cesse la voix.
- Une latence adaptée au jeu : l’architecture SSM de Sonic fournit une latence de référence de 90 ms, essentielle à l’immersion en temps réel.
- Des voix de personnages dynamiques sans limite : le clonage instantané conserve les caractéristiques uniques d’une voix à partir de seulement 10 secondes d’audio. Ego peut ainsi créer des personnages variés et mémorables, avec une personnalité constante.
- Une communauté mondiale : les jeux d’Ego touchent un public international dans 14 autres langues, avec des accents régionaux pour des échanges authentiques.
- Des instructions par la voix : le modificateur vocal de Cartesia contrôle précisément la diction. Les développeurs enregistrent le style, l’émotion et la prosodie souhaités, puis les appliquent à une voix de personnage, sans multiplier les séances en studio.
Les résultats
Avec Thrall, les joueurs donnent des commandes vocales naturelles pour toute tâche qu’un humain pourrait accomplir, de la collecte de ressources au combat. Le compagnon répond avec des émotions adaptées, célèbre une chasse réussie ou confirme une instruction avec des réactions humaines. Les joueurs peuvent surtout personnaliser son caractère et ses comportements pour créer leur propre compagnon.
Ce partenariat fait avancer la vision d’Ego : rendre la création de jeux accessible et proposer des expériences où les personnages d’IA semblent vivants et réactifs.
Les jeux ont toujours créé des communautés, de World of Warcraft et Runescape pour ma génération à Roblox et Minecraft aujourd’hui. À mesure qu’ils deviennent des plateformes sociales, les personnages d’IA doivent paraître humains par leur réactivité et leur profondeur émotionnelle. La très faible latence, les voix naturelles et le contrôle émotionnel de Cartesia nous aident à créer des mondes immersifs où ces personnages semblent vivants et authentiques.
En tant que joueur passionné, je suis impressionné par les avancées d’Ego dans les expériences réactives. Les personnages étaient auparavant limités à des comportements préprogrammés rigides. Sonic leur donne vie avec des personnalités et une expressivité naturelles. Je suis ravi de contribuer à la vision d’Ego pour l’avenir du jeu interactif.