Insegnare agli agenti intelligenti a giocare a Battlefield 1

Il direttore tecnico Magnus Nordin parla di come la Search for Extraordinary Experiences Division (SEED) — un team di EA che esplora le frontiere dell'intrattenimento interattivo — abbia creato un agente intelligente che ha imparato da solo a giocare al multigiocatore di Battlefield 1.

Prima di tutto, parlaci di te. Qual è il tuo background, cosa fai e cos'è esattamente il SEED?

Sono entrato in EA sei anni fa, dopo aver lavorato per vent'anni come informatico in vari settori. Il primo lavoro in EA è stato con DICE e poi sono passato al SEED quando è nato due anni fa.

Al SEED ci dedichiamo a esplorare le frontiere dell'intrattenimento interattivo. Facciamo anche ricerca accademica, ma non siamo un team di ricercatori puri. Cercare di immaginare il lontano futuro tende a diventare un'attività astratta, quindi cerchiamo di essere il più pratici possibile e lavorare con una tecnologia che crediamo avrà un impatto sull'intrattenimento interattivo nell'arco di tre-cinque anni da oggi.

Creiamo prototipi funzionanti ed esperienze davvero creative con tecnologie in via di sviluppo come intelligenza artificiale, apprendimento automatico, realtà virtuale e aumentata e mondi virtuali dinamici su vasta scala.

In uno dei nostri ultimi progetti abbiamo addestrato un agente intelligente a imparare a giocare al multigiocatore di Battlefield 1. Com'è nato questo progetto?

Dopo aver saputo che un'IA creata da DeepMind aveva imparato da sola a giocare a vecchi titoli Atari, sono rimasto stupefatto. Era il 2015, e ho iniziato a pensare a quanto lavoro sarebbe servito per riuscire ad avere un agente intelligente che impara a giocare a un moderno e più complesso titolo AAA in prima persona come Battlefield. E così quando sono entrato nel SEED ho creato il nostro team di apprendimento profondo e iniziato a reclutare persone che condividevano questa idea.

Per prima cosa abbiamo gettato le fondamenta, e realizzato uno spartano sparatutto in prima persona tridimensionale per testare i nostri algoritmi e addestrare la rete. Dopo i primi incoraggianti risultati, abbiamo lavorato con DICE per integrare l'agente nell'ambiente di Battlefield.

Come si comporta il tuo agente contro un giocatore umano di Battlefield?

Abbiamo condotto dei test di gioco, mettendo gli agenti IA contro i giocatori umani in una modalità semplificata con le sole pistole. Sebbene gli umani abbiano sconfitto gli agenti, non è stata assolutamente una vittoria a mani basse.

L'agente padroneggia abbastanza bene le basi di Battlefield e ha imparato a modificare il suo comportamento in base a certe condizioni, come scarse munizioni o poca salute. Ma in Battlefield non conta solo sconfiggere gli avversari. C'è molta strategia, serve lavoro di squadra, conoscenza della mappa e familiarità con classi ed equipaggiamento. Se vogliamo che l'IA impari tutto questo dovremo aumentare le capacità degli agenti.

Comunque, dopo i test, alcuni partecipanti ci hanno chiesto di segnalare chiaramente gli agenti per distinguerli e questa credo sia una buona testimonianza del loro realismo.

A essere onesti, il gameplay mostra anche situazioni in cui i bot computerizzati sembrano correre in tondo senza meta. Che succede lì?

Attualmente gli agenti non sono molto bravi nella pianificazione. Se un agente individua un obiettivo, per esempio un giocatore nemico, passerà all'azione. Ma se non c'è nulla in vista, inizierà a girare in tondo in cerca di qualcosa da fare. Una strategia migliore sarebbe quella di andare in cerca di avversari sulla mappa o trovare un nascondiglio, ma gli agenti non sono ancora in grado di farlo. Confido che in futuro diventino meno rigidi, man mano che imparano ad adattarsi.

Quanto si è allenato l'agente?

Non si può giocare a Battlefield premendo un solo comando alla volta. I giocatori devono eseguire una serie di azioni simultanee. Quindi per aiutare l'agente a partire avvantaggiato con le azioni combinate di base, gli facciamo osservare 30 minuti di gioco umano - un processo chiamato "apprendimento per imitazione" - prima di lasciarlo allenare da solo.

Gli agenti che mostriamo nella nostra demo hanno poi fatto pratica per sei giorni contro altre versioni di se stessi e alcuni semplici bot, giocando in parallelo su varie macchine. In totale parliamo di circa 300 giorni di esperienza di gioco in totale. Migliorano costantemente, ma non sono particolarmente veloci nell'apprendimento.

L'agente ha lo stesso campo visivo di un giocatore umano ed è assistito da una minimappa. Abbiamo rapidamente scoperto, comunque, che Battlefield è visivamente troppo complesso per essere compreso dall'agente, quindi abbiamo dovuto semplificare ciò che vede.

Ci sono stati casi di agenti che hanno imparato da soli a giocare a vecchi arcade, oltre che alle versioni originali di Doom e Go. Cosa rende il tuo lavoro migliore di questi altri esempi?

Per quel che ne so, si tratta del primo caso in cui l'apprendimento profondo per rinforzo viene implementato in un gioco AAA vasto e complesso in prima persona. Inoltre si tratta di Battlefield, un gioco le cui meccaniche sono notoriamente elaborate.

Qual è l'applicazione pratica di questa tecnologia al momento?

Il nostro obiettivo a breve termine con questo progetto è stato quello di aiutare il team DICE ad aumentare il livello di testing e controllo qualità, per aiutare lo studio a scoprire più bug e verificare più casi di blocco.

Mi aspetto che in futuro, con la maturazione della tecnologia di apprendimento profondo, gli agenti facciano parte direttamente dei giochi, come personaggi non giocanti davvero intelligenti in grado di eseguire una serie di compiti, e che con il tempo si adattino ed evolvano man mano che accumulano esperienza affrontando i giocatori umani.

Quando pensi che l'IA in grado di imparare da sola diventerà una tecnologia fissa nei videogiochi?

Sono certo che nei prossimi anni le reti neurali inizieranno gradualmente a farsi strada nei videogiochi. Gli agenti in grado di imparare da soli non sono solo un buon sostituto dei vecchi bot; è possibile applicare l'apprendimento automatico anche a una serie di campi come generazione procedurale, animazione, sintetizzazione vocale, riconoscimento vocale e altri ancora.

Gli agenti in grado di imparare da soli saranno mai in grado di sconfiggere giocatori di sparatutto in prima persona professionisti? Se sì, quando?

Con il rischio di lanciarsi in previsioni azzardate, credo sia ragionevole aspettarsi che gli agenti intelligenti saranno in grado di sconfiggere giocatori umani in una modalità competitiva limitata - con mappe più piccole, squadre concentrate e obiettivi chiari - entro un paio d'anni da ora. Comunque in SEED non vogliamo necessariamente creare un'IA in grado di sconfiggere i giocatori umani. Il nostro obiettivo è aiutare a creare nuove esperienze che migliorino i giochi e li rendano più divertenti. Non è detto che, sul lungo periodo, essere sconfitti da un'IA superiore sia così divertente per i giocatori.

______________________

SEED è un team multidisciplinare di EA Worldwide Studios. La sua missione è esplorare, creare e aiutare a plasmare le frontiere dell'intrattenimento interattivo. Per saperne di più su SEED, visita https://www.ea.com/seed.

Partecipa alla conversazione su tutto ciò che riguarda EA: leggi il nostro blog, seguici su Twitter e Instagram e metti "Mi piace" alla nostra pagina di Facebook.