Agentes de IA que aprenden a jugar a Battlefield 1

Magnus Nordin, director técnico, nos habla de la división de investigación de experiencias extraordinarias (SEED, por sus siglas en inglés), que investiga el futuro del entretenimiento interactivo. Este equipo de EA ha creado un agente de IA autodirigido que ha aprendido a jugar al multijugador de Battlefield 1 desde cero.

En primer lugar, háblanos de ti. ¿De dónde vienes, a qué te dedicas y qué es SEED exactamente?

Entré en EA hace seis años, tras dos décadas como experto informático en distintos lugares. Mi primer puesto dentro de EA fue en DICE. Más tarde me trasladé a SEED tras su fundación, hace un par de años.

En SEED estudiamos cómo será el entretenimiento interactivo a largo plazo. Hacemos parte de investigación académica, aunque no somos una unidad de investigación exclusivamente. Intentar aventurar qué pasará en el futuro suele ser una tarea abstracta, por eso intentamos ser lo más prácticos posible y fijarnos en la tecnología que, en nuestra opinión, influirá en el entretenimiento interactivo en un plazo de tres a cinco años.

Nuestro objetivo es crear prototipos funcionales y establecer experiencias creativas reales con tecnologías emergentes, como la inteligencia artificial, el aprendizaje automático, la realidad virtual y aumentada, o los mundos virtuales dinámicos a gran escala.

Uno de tus últimos proyectos ha sido entrenar a un agente autodirigido para que juegue al multijugador de Battlefield 1. ¿Cómo surgió el proyecto?

Cuando me enteré de que un programa de IA de DeepMind había aprendido a jugar a juegos clásicos de Atari, me quedé sin habla. Aquello fue en 2015. Me hizo plantearme cuánto esfuerzo sería necesario para que un agente autodirigido aprendiera a jugar un juego moderno, más complejo, un triple A en primera persona, tipo Battlefield. Cuando me uní a SEED, establecí un equipo de aprendizaje profundo y empecé a seleccionar personal con ese objetivo.

Primero nos centramos en lo más básico, construimos un juego de acción tridimensional bastante rudimentario para poner a prueba nuestros algoritmos y entrenar a la red. Tras obtener resultados positivos con el juego básico, colaboramos con el equipo de DICE para integrar el agente en un entorno de Battlefield.

¿Qué tal funciona vuestro agente autodirigido frente a un jugador humano de Battlefield?

Hemos realizado pruebas, hemos enfrentado a agentes de IA contra jugadores humanos en un modo simplificado restringido al uso de armas cortas. Los humanos lo hicieron mejor que los agentes, aunque no fue una victoria excesivamente holgada.

El agente funciona muy bien en el Battlefield más básico y ha aprendido a modificar su comportamiento según ciertos estímulos; por ejemplo, cuando anda mal de munición o de salud. Pero en Battlefield hay otras cosas, no se trata solo de ganar al contrario. Se requiere gran cantidad de estrategia, trabajo en equipo, conocimiento del mapa y también de cada clase y pieza de equipamiento. Tendremos que ampliar las capacidades de los agentes para que la IA sea capaz de superar cada uno de esos retos.

Tras las pruebas, algunos participantes nos pidieron que identificáramos a los agentes para distinguirlos con facilidad. Para mí, eso demuestra que los agentes lo han hecho muy bien y que resultan bastante reales.

Vamos a decirlo todo. En la partida, hay momentos en los que los bots de IA corren en círculos y se comportan sin sentido. ¿Qué pasa aquí?

Ahora mismo, los agentes no son muy buenos en planificación previa. Si detectan un objetivo, un jugador enemigo, por ejemplo, actúan. Pero si no tienen nada a la vista, se ponen a dar vueltas en busca de algo que hacer. Una estrategia mejor sería buscar oponentes por el mapa o esconderse en algún sitio, pero los agentes no han llegado todavía a ese nivel. Confío en que en el futuro tengan menos comportamientos absurdos y sean más sensatos.

¿Cuánto tiempo duró el entrenamiento del agente autodirigido?

Battlefield no es un juego al que te pongas a jugar pulsando un botón y ya está. Los jugadores tienen que realizar una serie de acciones simultáneas. Por eso, para ayudar al agenta autodirigido y darle algo de ventaja en las combinaciones básicas de acciones, lo ponemos a observar 30 minutos de juego humano, un proceso que llamamos "aprendizaje por imitación", antes de dejarle entrenar por sí solo.

Los agentes que usamos en la demo han practicado durante seis días contra versiones de sí mismos y contra algunos bots sencillos y anticuados, jugando en paralelo en varias máquinas a la vez. En total equivaldría a unos 300 días totales de tiempo de juego. Aunque mejoran constantemente, no son unos alumnos particularmente espabilados.

El agente posee el mismo campo de visión que un jugador humano y cuenta con un minimapa. Pero no tardamos en darnos cuenta de que Battlefield era demasiado complejo visualmente para la comprensión del agente. Es decir, teníamos que simplificar lo que veía.

Hemos visto casos de agentes autodirigidos que han aprendido a jugar a juegos antiguos de arcade, además de los Doom y Go originales. ¿En qué se diferencia vuestro trabajo de estos ejemplos?

Hasta donde yo sé, es la primera vez que alguien implementa el aprendizaje profundo por refuerzo en un juego triple A complejo e inmersivo en primera persona. Además, funciona con Battlefield, famoso por la complejidad de su mecánica.

¿Qué usos prácticos tiene esta tecnología ahora mismo?

Nuestro objetivo a corto plazo con este proyecto ha sido ayudar al equipo de DICE a ampliar su fase de pruebas y control de calidad, lo que puede ayudar al estudio a compilar más informes de errores y detectar más fallos.

En juegos futuros, según vaya avanzando la tecnología de aprendizaje profundo, espero que los agentes autodirigidos formen parte del juego en sí como PNJ inteligentes capaces de dominar una serie de tareas y de adaptarse y evolucionar en el tiempo a medida que van acumulando experiencia en sus enfrentamientos con los jugadores humanos.

¿Cuándo crees que la IA autodirigida se convertirá en una tecnología habitual en los videojuegos?

Estoy convencido de que las redes neuronales se abrirán paso en los videojuegos en los próximos años. Los agentes autodirigidos son un buen sustituto para los anticuados bots pero, además, es posible aplicar el aprendizaje automático a diversos campos, como el contenido de generación procesal, la animación, la generación de voz, el reconocimiento de voz y más.

¿Serán capaces los agentes autodirigidos de vencer a los jugadores profesionales de juegos de acción? ¿Cuándo ocurrirá?

Aún a riesgo de equivocarme con una predicción hecha a la ligera, creo que es razonable esperar que los agentes de IA sean capaces de vencer a los jugadores humanos en un modo limitado de competición, con mapas más pequeños, equipos orientados y objetivos definidos... en un par de años. Sin embargo, en SEED no nos dedicamos a crear IA capaz de vencer a los jugadores humanos. Lo que queremos es ofrecer nuevas experiencias que mejoren los juegos para que resulten más entretenidos. A la larga no resulta demasiado divertido enfrentarte a un bot de IA superior que te va a dar una paliza.

______________________

SEED es un equipo multidisciplinar de EA Worldwide Studios. Su labor es estudiar, construir y ayudar a definir el futuro del entretenimiento interactivo. Si quieres más información sobre SEED, visita https://www.ea.com/seed.

No te pierdas nada de EA: lee nuestro blog, síguenos en Twitter y en Instagram y haz clic en Me gusta en nuestra página de Facebook.