Enseigner aux agents intelligents à jouer à Battlefield 1

Le directeur technique Magnus Nordin nous raconte comment SEED (Search for Extraordinary Experiences Division ou Division de développement d’expériences extraordinaires), une équipe d’EA qui a pour mission d’explorer l’avenir du divertissement interactif, a construit un agent intelligent en mesure d’apprendre seul à jouer au mode multijoueur de Battlefield 1.

Pour commencer, parlez-nous un peu de vous. Quelle est votre expérience, que faites-vous et que fait SEED, exactement?

Cela fait six ans que je me suis joint à EA, après avoir occupé divers postes en tant que scientifique informatique pendant deux décennies. Le premier emploi que j’ai occupé chez EA était au sein de DICE. Je suis ensuite passé à SEED il y a deux ans, quand cette division a été fondée.

Chez SEED, nous explorons ce que pourrait devenir le divertissement interactif à plus long terme. Nous menons un peu de recherche scientifique, mais notre travail n’est pas purement de recherche. C’est facile de devenir abstrait quand on essaie de deviner ce que l’avenir plus éloigné nous réserve. Nous nous efforçons d’avoir une approche le plus pratique que possible, et de nous concentrer sur la technologie qui pourrait avoir un impact, selon nous, sur le divertissement interactif d’ici trois à cinq ans.

Nous développons des prototypes fonctionnels et nous mettons sur pied de véritables expériences créatives en utilisant les nouvelles technologies comme l’intelligence artificielle, l’apprentissage machine, la réalité virtuelle et augmentée ainsi que les mondes virtuels dynamiques à grande échelle.

Dans un de vos plus récents projets, un agent autodidacte a appris seul à jouer au mode multijoueur de Battlefield 1. Comment ce projet a-t-il vu le jour?

Quand il a été annoncé qu’une intelligence artificielle créée par DeepMind était parvenue à s’auto-enseigner à jouer à de vieux jeux Atari, j’ai trouvé cela phénoménal. C’était en 2015. C’est alors que je me suis demandé combien d’efforts seraient requis pour qu’un agent autodidacte puisse apprendre à jouer à un jeu AAA à la première personne, moderne et complexe comme peut l’être Battlefield. Quand je me suis joint à SEED, j’ai mis sur pied notre propre équipe s’occupant d’apprentissage en profondeur, et j’ai commencé à recruter des personnes intéressées à cette question.

Pour commencer, nous avons construit un jeu de tir à la première personne tridimensionnel dépouillé, qui nous permettrait de mettre à l’essai nos algorithmes et d’entraîner le réseau. Quand nous avons commencé à obtenir des résultats satisfaisants avec notre propre jeu de base, nous avons collaboré avec l’équipe de DICE en vue d’intégrer l’agent dans un environnement Battlefield.

À votre avis, la performance d’un agent autodidacte est-elle comparable à celle d’un joueur humain de Battlefield?

Nous avons réalisé des essais en jeu, durant lesquels les agents intelligents ont affronté des joueurs humains dans un mode de jeu simplifié, avec les pistolets comme seule arme. Les joueurs humains ont eu le dessus sur les agents, mais on ne peut pas dire que cela a été de façon écrasante.

L’agent est plutôt efficace dans le jeu Battlefield de base, et il a réussi à apprendre seul à adapter son comportement en fonction de certaines situations, par exemple lorsqu’il lui reste peu de munitions ou de santé. Mais pour bien jouer à Battlefield, il ne suffit pas de vaincre l’adversaire. Il faut jouer de façon stratégique, travailler en équipe, connaître la carte et maîtriser les diverses classes et les équipements. Nous allons devoir élargir les capacités des agents intelligents avant qu’ils soient en mesure d’affronter de tels casse-têtes.

Malgré tout, après les essais en jeu, quelques participants nous ont demandé d’indiquer clairement quels étaient les agents, de façon à les reconnaître. Cela veut donc dire que les agents ont bien fait leur travail, et qu’ils semblaient vraiment vivants.

En revanche, il faut aussi remarquer que dans certaines situations, les agents numériques se comportaient de façon étrange et tournaient en rond. Pouvez-vous nous expliquer pourquoi?

Pour l’instant, les agents ont encore du mal à se projeter dans l’avenir. Quand un agent trouve un objectif comme un joueur ennemi, il passe à l’action. Mais si aucun objectif n’est en vue, il commencera à tourner sur lui-même en cherchant quelque chose à faire. La meilleure stratégie serait d’aller à la recherche d’adversaires sur la carte ou encore de chercher un lieu sûr pour se cacher, mais les agents ne sont pas encore prêts pour une telle autonomie. Je suis convaincu qu’ils trouveront des choses moins bêtes à faire à l’avenir, à mesure qu’ils deviendront plus compétents.

Pendant combien de temps l’agent autodidacte s’est-il entraîné?

Il n’est pas possible de jouer à Battlefield en appuyant sur un seul bouton à la fois. Les joueurs sont obligés de faire toute une série d’actions simultanément. Pour aider l’agent autodidacte à acquérir les bases des combinaisons d’action, nous l’avons laissé observer le jeu d’humains pendant 30 minutes, avant de le laisser s’entraîner seul; c’est ce qu’on appelle l’apprentissage par imitation.

Les agents qu’on peut voir dans notre démo se sont ensuite exercés pendant six jours contre des versions d’eux-mêmes et des agents numériques traditionnels, sur divers postes en parallèle. Cela correspond au total à environ 300 jours d’expérience de jeu. Ils améliorent constamment, mais n’apprennent pas particulièrement vite.

L’agent dispose du même champ de vision qu’un joueur humain et est assisté par une mini-carte. Nous avons rapidement découvert toutefois que Battlefield est trop complexe, visuellement, pour être compris par l’agent. Nous avons donc dû simplifier ce qu’il peut voir.

Nous avons vu des agents autodidactes apprendre à jouer à des jeux d’arcade classiques comme la version originale de Doom et Go. En quoi votre travail se distingue-t-il de ces exemples?

De ce que j’en sais, il s’agit de la première mise en œuvre d’apprentissage approfondi renforcé appliqué à un jeu AAA immersif et complexe à la première personne. Il faut souligner qu’il est appliqué à Battlefield, un jeu réputé pour ses mécaniques de jeu élaborées.

À l’heure actuelle, quelles pourraient être les applications pratiques de cette technologie?

À court terme, nous avons pour objectif d’aider l’équipe de DICE dans ses efforts d’assurance qualité et ses essais. Le studio serait en mesure de rassembler plus de rapport de plantage et de déceler plus de bogues.

Pour les titres à venir, avec la technologie d’apprentissage profond qui gagne en maturité, je m’attends à voir les agents autodidactes être intégrés aux jeux mêmes, comme de véritables personnages non joueurs intelligents, en mesure de maîtriser diverses tâches, de s’adapter et d’évoluer au fil du temps, à mesure qu’ils gagnent de l’expérience en interagissant avec les joueurs humains.

Quand croyez-vous que l’intelligence artificielle autodidacte pourrait devenir une technologie courante dans les jeux?

Il ne fait aucun doute que les réseaux neuronaux trouveront leur place au sein des jeux au cours des prochaines années. Les agents autodidactes ne représentent pas seulement une bonne solution de remplacement pour les agents numériques traditionnels. Il est aussi possible d’exploiter l’apprentissage machine pour toute une série d’applications, comme la gestion de contenu généré en continu, l’animation, la génération de voix, la reconnaissance vocale, et plus encore.

Pensez-vous que les agents autodidactes pourraient un jour battre les joueurs professionnels de jeux de tir à la première personne? Le cas échéant, quand?

Ma prédiction est peut-être complètement farfelue, mais je pense qu’on peut raisonnablement prévoir que d’ici quelques années, les agents intelligents seront en mesure de l’emporter contre des joueurs humains dans un mode compétitif limité, avec des cartes restreintes, des équipes spécialisées et des objectifs bien définis. Toutefois, chez SEED, nous ne souhaitons pas nécessairement mettre au point une intelligence artificielle en mesure de surclasser les joueurs humains. Notre objectif est plutôt de contribuer à créer de nouvelles expériences qui améliorent les jeux et les rendent encore plus amusants. À long terme, perdre contre une intelligence artificielle supérieure ne serait peut-être pas si amusant pour les joueurs.

______________________

SEED est une équipe multidisciplinaire au sein d’EA Worldwide Studios, qui s’occupe de l’avenir du divertissement interactif; sa mission est de l’explorer, de le construire et d’aider à le forger. Pour en savoir plus au sujet de SEED, consultez le site https://www.ea.com/fr/seed.

Pour ne rien manquer de l’actualité EA, lisez notre blogue, suivez-nous sur Twitter et Instagram, et aimez notre page Facebook.