Nvidia presenta Avatar Cloud Engine, que da vida a los personajes no jugables de videojuegos con IA generativa

La compañía tecnológica ha detallado que la IA generativa tiene el potencial de «revolucionar la interactividad» que los jugadores tienen con los personajes y, así, «aumentar drásticamente la inmersión» en los videojuegos. En este sentido, continúa implementando la IA generativa en distintos ámbitos, en este caso, integrándola en los videojuegos basándose en las «décadas de experiencia trabajando con desarrolladores».

Nvidia ha presentado su nueva tecnología para desarrolladores Avatar Cloud Engine (ACE) para videojuegos, que se basa en un servicio personalizado de «fundición de modelos de IA» capaz de «brindar inteligencia» a los NPC de videojuegos a través de interacciones de lenguaje impulsadas por IA.

Esta tecnología, tal y como ha explicado la compañía en un comunicado en su web, está enfocada a desarrolladores de herramientas y juegos, que pueden utilizarla para implementarla modelos personalizados de IA de voz, conversación y animación dentro del 'software' del juego.

De esta forma, posibilita a los jugadores entablar una conversación por voz con NPC y recibir respuestas de forma natural y coherente, todo ello impulsado por IA. Es decir, hablando directamente desde el micrófono de unos auriculares, el jugador podrá charlar con personajes no jugables y estos responderán a las cuestiones preguntadas también de forma natural en voz alta.

Así lo muestra la compañía en una demostración llamada Kairos, con una escena de un videojuego desarrollada en colaboración con la 'startup' de Nvidia Inception, Convai, donde el usuario, que encarna un personaje jugable, hace varias preguntas a Jin, un NPC de un proveedor de una tienda de ramen.

Durante la conversación, Jin responde en un contexto adecuado y con información relevante para el desarrollo del videojuego. Es decir, el personaje NPC es capaz de responder con un lenguaje natural, de manera realista y con información coherente con la historia de fondo de la narrativa.

Siguiendo esta línea, Nvidia explica que ACE para videojuegos está basado en Nvidia Omniverse y ofrece distintos modelos básicos de IA optimizados para voz, conversación o para animación de personajes.

Por un lado, estos modelos incluyen la tecnología Nvidia NeMo, con la que se puede crear, personalizar e implementar modelos de lenguaje utilizando datos propios. Los modelo de lenguaje aprenden y se personalizan con la tradición y las historias de fondo de los personajes del videojuego en el que se vaya a utilizar. Asimismo, con NeMo Guardrails permite proteger el modelo contra conversaciones contraproducentes o inseguras.

Otra de las tecnologías que incluye ACE es Nvidia Riva, que se usa para el reconocimiento de voz automático y la transformación de texto a voz para, de esta forma, poder habilitar la conversación en voz alta en el NPC.

Finalmente, utiliza Nvidia Omniverse Audio2Face. Con ella, la compañía indica que es capaz de crear «instantáneamente» una animación facial «expresiva» en un NPC para que coincida con lo que esté diciendo la pista de voz en ese momento. En concreto, ha especificado que esta tecnología presenta conectores para Unreal Engine 5, por lo que facilita a los desarrolladores agregar una animación facial de forma directa a los personajes de MetaHuman.

Además, los desarrolladores pueden escoger si utilizar todas estas tecnologías integradas en la solución ACE o decidir qué componentes son más útiles para ellos y seleccionarlos.