Cómo enseñar a un agente inteligente a jugar Battlefield 1

Magnus Nordin es el director técnico de SEED (Search for Extraordinary Experiences Division), un departamento de EA que se concentra en el futuro del entretenimiento interactivo, y nos explica cómo crearon un agente inteligente autodidacta que aprendió por sí solo y desde cero a jugar el modo multijugador de Battlefield 1.

Comienza contándonos algo sobre ti. ¿Qué experiencia tienes, a qué te dedicas y qué es SEED exactamente?

Llegué a EA hace seis años, después de haber trabajado dos décadas como ingeniero en sistemas computacionales desempeñando varias funciones. Mi primer trabajo en EA fue en DICE y me cambié a SEED cuando se fundó, hace dos años.

En SEED, investigamos cómo podría evolucionar el entretenimiento interactivo a largo plazo. Y, aunque en parte nuestras investigaciones son académicas, no solo somos una división de investigación. Intentar adivinar cómo será el futuro acaba por convertirse en algo muy abstracto, así que intentamos ser lo más prácticos que sea posible y ponemos nuestra mirada en las tecnologías que creemos que tendrán una influencia en el entretenimiento interactivo en los próximos tres a cinco años.

Nos enfocamos en crear prototipos funcionales y formar experiencias creativas reales con las tecnologías que están por llegar, como la inteligencia artificial, el aprendizaje automático, la realidad virtual y la aumentada, así como los mundos virtuales dinámicos a gran escala.

En uno de tus últimos proyectos adiestraste a un agente autodidacta para que aprendiera a jugar por sí solo el multijugador de Battlefield 1. ¿Cómo surgió ese proyecto?

Cuando me enteré de que DeepMind había creado una inteligencia artificial que aprendió por sí sola a jugar videojuegos de Atari, no podía creerlo. Esto, que sucedió en 2015, hizo que me planteara qué tan difícil sería crear un agente autodidacta para un triple A en primera persona como Battlefield, un juego moderno y más complejo. Así que cuando entré en SEED formé un equipo de aprendizaje profundo en el que incluí a gente que compartía esta idea.

Primero trabajamos en lo básico y desarrollamos un juego de disparos en primera persona en tres dimensiones y muy básico para probar en él nuestros algoritmos y redes. Después de algunos resultados positivos en este juego básico, trabajamos con el equipo de DICE para integrar nuestro agente en el entorno de Battlefield.

¿Qué te parece el rendimiento de este agente autodidacta comparado con un jugador real de Battlefield?

Hicimos pruebas de juego enfrentando agentes inteligentes a jugadores reales en un modo de juego simplificado en el que solo se permitía utilizar pistolas. Aunque los jugadores reales fueron mejores que los agentes, no podría decir que los agentes hayan sido un fracaso de ninguna manera.

Los agentes controlan bien la jugabilidad básica de Battlefield y aprenden por sí solos a cambiar de comportamiento en función de las situaciones, por ejemplo, cuando se quedan sin municiones o tienen poca salud. Pero Battlefield es mucho más complejo, no se trata solo de vencer a tus enemigos. Hay un importante componente táctico que depende de factores como trabajar en equipo, conocer el mapa y estar familiarizado con las diferentes clases y equipamiento. Y, para que la inteligencia artificial sea capaz de aprender esos factores, tendremos que desarrollar sus capacidades aún más.

En cualquier caso, después de las pruebas de juego, algunos participantes nos pidieron que indicáramos cuáles eran los agentes para que pudieran distinguirlos. Este es un ejemplo que pone de manifiesto lo buenos que eran estos agentes, ya que podían confundirse con jugadores reales.

Pero, siendo honestos, la jugabilidad también presenta situaciones en las que algunos agentes inteligentes no saben qué hacer o corren en círculos. ¿Qué ocurre en esos casos?

Por ahora, los agentes no son muy buenos para planificar sus próximos movimientos. Si un agente detecta un objetivo, como puede ser un jugador enemigo, entonces actuará. Pero si no hay nada a la vista, acabará dando vueltas en busca de algo que hacer. Una mejor táctica sería buscar a los enemigos en el mapa o encontrar algún lugar donde esconderse, pero los agentes todavía no son capaces de esto. Tengo la certeza de que en el futuro serán menos torpes, a medida que tengan más experiencia.

¿Cuánto tiempo entrenaron a los agentes autodidactas?

No se puede jugar Battlefield pulsando los botones de uno por uno. De hecho, se requiere que los jugadores lleven a cabo varias acciones de forma simultanea. Así que para enseñar a los agentes autodidactas las combinaciones básicas de acciones, les dejamos que observen 30 minutos a un jugador real en acción antes de que entrenen por su cuenta. Este proceso se llama aprendizaje por imitación.

Los agentes que tenemos en la demostración entrenaron durante seis días contra versiones de ellos mismos u otros bots antiguos más simples, y jugaron en varias máquinas de forma paralela. Lo que equivale aproximadamente a un total de 300 días de experiencia en jugabilidad. Los agentes mejoran constantemente, pero no aprenden tan rápido.

El campo de visión de los agentes es igual al de un jugador real y disponen de un minimapa. Pero muy pronto entendimos que Battlefield es demasiado complejo visualmente para que los agentes puedan entenderlo, así que teníamos que simplificar lo que veían.

Existen casos de agentes autodidactas que aprendieron por sí mismos a jugar antiguos juegos arcade, además del Doom original o Go. ¿Qué distingue a tu trabajo de estos otros ejemplos?

Si no me equivoco, esta es la primera vez que se implementa el aprendizaje profundo reforzado en un juego en primera persona triple A inmersivo y complejo. Por otro lado, se lleva a cabo en Battlefield, un juego famoso por sus avanzadas mecánicas.

¿Qué uso práctico tiene esta tecnología en estos momentos?

Nuestro objetivo a corto plazo con este proyecto ha sido ayudar al equipo de DICE a mejorar el nivel de sus controles de calidad y pruebas, lo que ayudará al estudio a recopilar más informes de errores y encontrar más fallas.

En títulos futuros, cuando la tecnología de aprendizaje profundo se desarrolle más, espero que los agentes autodidactas sean parte de los propios juegos, como personajes no jugables inteligentes de verdad y que dominen varias tareas, además de ser capaces de adaptarse y evolucionar en función de sus experiencias con los jugadores reales.

¿Cuándo crees que la inteligencia artificial autodidacta será una tecnología habitual en los juegos?

No tengo la menor duda de que las redes neuronales entrarán en el mundo de los videojuegos en los próximos años. Los agentes autodidactas no solo son buenos sustitutos de los bots antiguos, sino que el aprendizaje automático puede tener otras aplicaciones, como la generación de contenidos por procedimientos, la animación, la generación de voz, el reconocimiento del habla y más.

¿Alguna vez los agentes autodidactas superarán a los jugadores profesionales en los juegos de disparos en primera persona? De ser así, ¿cuándo?

A riesgo de que no compartan esta atrevida opinión conmigo, creo que podemos esperar que en los próximos años los agentes inteligentes sean capaces de vencer a jugadores reales en modos de juego competitivos y limitados, con mapas más pequeños, equipos concentrados y objetivos claros. No obstante, en SEED no pretendemos diseñar una inteligencia artificial solo para que derrote a los jugadores reales. Nuestra meta es ayudar a crear nuevas experiencias que mejoren los juegos y los hagan más divertidos. Y que una inteligencia artificial sea mejor que un jugador real no nos parece precisamente divertido.

______________________

SEED es un equipo multidisciplinar que forma parte de EA Worldwide Studios. Su misión es explorar, crear y ayudar a definir el futuro del entretenimiento interactivo. Para descubrir más sobre SEED, ve a https://www.ea.com/seed.

No te pierdas nada de EA: lee nuestro blog, síguenos en Twitter e Instagram, y danos un "Me gusta" en Facebook.