Ego è un motore di simulazione nativo per l’IA che permette di creare e condividere personaggi animati 3D, mondi e script di gioco usando il linguaggio naturale. La sua visione è rivoluzionaria per i videogiochi: immagina di poter far esistere giochi popolari come Minecraft o Animal Crossing attraverso semplici comandi.
I fondatori di Ego hanno una profonda esperienza sia nei videogiochi sia nell’IA. Il CEO Vishnu Hari, ex giocatore tra i primi 500 di Overwatch, ha guidato team di prodotto presso Facebook AI Applied Research, o FAIR, e il team Meta Horizon Scripting. La CTO Peggy Wang, che ha sviluppato algoritmi ML per il tracciamento facciale degli avatar AR di Meta, porta l’esperienza maturata nella ricerca IA a Stanford e negli algoritmi di pianificazione del comportamento autonomo per la robotica presso Lyft Level 5.
La collaborazione con Cartesia ha accelerato la visione di Ego: permettere ai giocatori di generare il mondo 3D che immaginano, completo di agenti IA e personaggi non giocanti, o NPC, dal comportamento umano. La collaborazione è stata recentemente mostrata con il lancio di Thrall, una mod per Valheim, il gioco di sopravvivenza a tema vichingo. Usando la tecnologia vocale a latenza ultrabassa di Cartesia, inferiore a 90 ms, e le sue capacità avanzate di progettazione vocale, Thrall risponde ai giocatori con reazioni simili a quelle umane, consapevolezza emotiva e interazioni naturali.
Il ruolo dell’IA vocale nei videogiochi immersivi
Fino a poco tempo fa, i giochi open world avevano tre grandi limiti:
- Gli NPC erano vincolati a comportamenti rigidi e preprogrammati, senza vera autonomia
- Creare interazioni di gioco richiedeva ampie competenze di programmazione
- Sviluppare e ampliare risorse e ambienti 3D richiedeva una quantità proibitiva di risorse
La diffusione dell’IA generativa ha cambiato radicalmente questo quadro. Ego ha visto l’opportunità di rendere accessibili a tutti i videogiochi immersivi, permettendo a chiunque di creare esperienze ricche tramite il linguaggio naturale, come compilare una scheda personaggio di Dungeons & Dragons.
L’IA vocale migliora due elementi essenziali dei videogiochi moderni:
- Personaggi non giocanti, o NPC: i personaggi controllati dal computer che popolano i mondi di gioco, dai negozianti a chi assegna missioni
- Compagni IA: agenti intelligenti capaci di prendere decisioni e interagire come giocatori umani
Entrambi richiedono voci all’altezza della loro intelligenza e capaci di adattarsi a emozioni e contesto in tempo reale.
La sfida
Nel valutare i fornitori vocali, Ego cercava di soddisfare diversi requisiti essenziali:
- Ottenere interazioni vocali naturali in tempo reale tra giocatori e compagni IA
- Generare risposte emotive adatte al contesto
- Supportare più lingue per i giocatori internazionali
- Creare voci distinte per personalità diverse
- Mantenere bassa la latenza per esperienze di gioco fluide
La soluzione
I videogiochi richiedono voci capaci di seguire le interazioni dinamiche dei giocatori. Ego ha scelto il modello Sonic di Cartesia per le sue capacità distintive:
- Progettazione centrata sulle emozioni: a differenza dei modelli tradizionali di sintesi vocale, Sonic consente ai compagni IA di esprimere un’intera gamma emotiva, dalla curiosità all’urgenza del combattimento, rendendo autentica ogni interazione. Gli altri fornitori in genere includono nei modelli qualche forma di riconoscimento emotivo preaddestrato, ma la consapevolezza del contesto non è all’altezza. Cartesia offre un controllo preciso sulle emozioni senza dover rigenerare continuamente la voce.
- Latenza ottimizzata per i videogiochi: grazie all’innovativa architettura SSM di Cartesia, Sonic offre una latenza di 90 ms ai vertici del settore, essenziale per mantenere l’immersione nei giochi in tempo reale.
- Voci dinamiche illimitate per i personaggi: con la clonazione istantanea di Cartesia, ogni personaggio IA mantiene caratteristiche vocali uniche, addestrabili con soli 10 secondi di audio. Ego può così creare personaggi diversi e memorabili, capaci di creare un legame con i giocatori mantenendo personalità coerenti.
- Community di gioco globale: i giochi di Ego raggiungono un pubblico globale in altre 14 lingue, oltre agli accenti regionali, garantendo interazioni autentiche con i personaggi in tutto il mondo.
- Prompt vocali: il modificatore vocale di Cartesia permette un controllo preciso sulla resa dei dialoghi, sostituendo le sessioni tradizionali in studio con efficienti comandi vocali. Gli sviluppatori possono registrare un campione con lo stile, l’emozione e la prosodia desiderati e applicarlo a qualsiasi voce di personaggio, ottenendo interazioni naturali senza ripetute sessioni in studio.
I risultati
Il lancio di Thrall segna un progresso nella progettazione degli NPC: i giocatori possono usare comandi vocali naturali per fargli svolgere qualsiasi attività di un giocatore umano, dalla raccolta di risorse al combattimento. Il compagno IA risponde con emozioni adatte al contesto, celebrando le cacce riuscite o confermando i comandi con reazioni umane. Soprattutto, i giocatori possono personalizzarne la personalità e i tratti comportamentali, creando un compagno di gioco davvero su misura.
La collaborazione rappresenta un passo significativo verso la visione di Ego di rendere accessibile a tutti la creazione di giochi e consentire esperienze realmente interattive, in cui i personaggi IA sembrino vivi e reattivi.
I videogiochi sono sempre stati un luogo in cui nascono community, da World of Warcraft e Runescape della mia generazione a Roblox e Minecraft di oggi. Mentre i giochi diventano piattaforme sociali, i personaggi IA devono sembrare davvero umani sia nella reattività sia nella profondità emotiva. La tecnologia di Cartesia, con latenza ultrabassa, voci naturali e controllo emotivo preciso, ci aiuta a creare mondi davvero immersivi, dove i personaggi IA sembrano vivi e autentici.
Da appassionato di videogiochi, sono rimasto colpito dai progressi di Ego nel creare esperienze davvero reattive. In passato NPC e personaggi erano limitati da comportamenti rigidi e preprogrammati. Sonic dà loro vita con personalità ed espressività naturali. Sono entusiasta di contribuire alla visione di Ego per il futuro dei videogiochi interattivi.