Una práctica cada vez más frecuente en el entrenamiento de inteligencias artificiales es el uso de videojuegos. Tanto DotA 2 como StarCraft han demostrado ser plataformas muy populares, y también hubo un caso en el que llegaron a utilizar al Mortal Kombat. Hoy nos encontramos con Google Research Football, un entorno open source creado por el equipo de Google Brain para aplicar aprendizaje por refuerzo en agentes virtuales con un solo objetivo: Jugar al fútbol.
Aunque la mayoría de las temporadas generales ya terminaron o se encuentran en pausa, el «mundo fútbol» sigue lleno de novedades. Portugal sumó otro título internacional, hay dos copas mundiales en progreso (femenina y Sub 20), y la Copa América comienza el próximo viernes con la participación de dos invitados peculiares (Catar y Japón).
Sin embargo, hoy nos interesa más el fútbol cruzándose en el camino de las inteligencias artificiales, y rápidamente se instala la pregunta: ¿Puede acaso un agente virtual aprender los detalles y las complejidades del fútbol? Un equipo especial del Google Brain decidió averiguarlo, y el resultado es el entorno Google Research Football, basado en el aprendizaje por refuerzo. Aquí está en acción:
Google Research Football: Un «FIFA» para inteligencias artificiales
En el centro del Google Research Football encontramos un simulador avanzado llamado Football Engine, que es a su vez una versión modificada del proyecto Gameplay Football. Los agentes virtuales que participan de cada encuentro tienen la capacidad de controlar uno o todos los jugadores a la vez, y son sometidos a reglas normales de fútbol, con tiros de esquina, faltas, tarjetas, fuera de juego e incluso penaltis. Lo mismo se extiende a jugadores de carne y hueso, gracias al soporte para teclados y gamepads (la página oficial advierte que las acciones presentan un lag de 100 ms).
El Football Engine posee altos niveles de optimización en C++, lo que se traduce en requerimientos de hardware relativamente bajos. Por ejemplo, un ordenador con procesador de seis núcleos puede entregar un rendimiento de 25 millones de pasos diarios, sin la intervención de un GPU. Los algoritmos utilizados fueron DQN e Impala, bajo dos parámetros de recompensas: «Goles anotados», y «goles más cercanía del balón al arco contrario».
El oponente principal de ambos algoritmos fue un modelo diseñado a mano, con tres niveles de dificultad: Easy, Medium y Hard. Un agente DQN de 20 millones de pasos logró derrotar al modelo Easy, mientras que el nivel Hard sólo pudo ser superado por Impala (un algoritmo distribuido), usando un mínimo de 200 millones de pasos.
¿Quieres comenzar a entrenar al próximo Mohamed Salah virtual? Entonces, descarga y compila el código en un sistema con Linux y Python3. El perfil oficial de Google Research Football tiene instrucciones para la instalación de dependencias, y la ejecución de experimentos. Ahora, los responsables no dejaron dudas: Esto no es un producto oficial de Google, y no debemos esperar un juego de fútbol con súper-IA en el futuro.
Anuncio oficial: Haz clic aquí
«Problema de la Televisión con Ruido»: Inteligencias artificiales adictas a la caja boba
