Los modelos de inteligencia artificial aún deben resolver ciertos detalles al momento de generar imágenes, pero nadie puede negar que han avanzado a pasos agigantados, e hicieron mucho ruido al cruzar la frontera del vídeo. Sin embargo, la gente de Google Research decidió explorar otro potencial para ellos, y es su uso como motor gráfico. El resultado es GameNGen, derivado de la versión 1.4 de Stable Diffusion… y el juego elegido para la primera simulación fue el Doom. Rip and tear, con modelos neurales.
Utilizar algoritmos para desarrollar videojuegos no tiene nada de nuevo. Por ejemplo, la generación procedimental lleva décadas entre nosotros (desde Elite en 1984 hasta Astroneer en 2019, por citar dos casos), y más allá de sus inevitables limitaciones, lo cierto es que puede brindar buenos resultados bajo las condiciones correctas.
Obviamente, con la tormenta generativa sobre nuestras cabezas, no son pocos los que buscan adoptar esa tecnología para crear objetos y/o texturas, pero un equipo conformado por miembros de Google Research, Google DeepMind, y la Universidad de Tel Aviv, decidieron seguir otro camino: Transformar a un modelo generativo en un motor gráfico que crea entornos en tiempo real. ¿Su nombre? GameNGen.
GameNGen: Modelo de difusión como «game engine» en tiempo real, ft. Doom
La página oficial explica que GameNGen es el primer motor gráfico alimentado por un modelo neural, el cual habilita una interacción en tiempo real con espacios complejos, y mantiene una calidad (relativamente) constante a través de toda la sesión. De hecho, GameNGen puede simular la versión clásica del Doom con un framerate de 20 FPS usando apenas un TPU. Dicho de otro modo, este motor gráfico combina el procesamiento de frames previos con los comandos del jugador para generar nuevos frames, sin perder cohesión. Todo el nivel es «construido» a su alrededor.
El primer paso fue entrenar a un agente para que «aprenda» a jugar Doom, con un sistema de castigos (acumulación de daño y muertes) y recompensas (recolectar objetos, matar enemigos y terminar el nivel). Sin embargo, lo más notable es que reutilizaron a Stable Diffusion 1.4 para el proceso de generación. Stable Diffusion no es particularmente robusto a la hora de mantener su consistencia entre frames, y tiende a sufrir «drifting», pero solucionaron ese problema con frames contextuales, a los que «contaminaron» usando ruido Gaussiano, dando lugar a una especie de «sistema de autocorrección».
GameNGen está lejos de ser perfecto, y el ojo entrenado no tardará en detectar diferentes artefactos (las cejas y los ojos del Doomguy son un buen punto de partida), pero como «simulación» del Doom, no deja de ser impresionante.
Sitio oficial y paper: Haz clic aquí
Fuente: Tom’s Hardware
