AI-agenten leren om Battlefield 1 te spelen

Technisch directeur Magnus Nordin vertelt hoe de Search for Extraordinary Experiences Division (SEED) — een team bij EA dat de toekomst van interactief entertainment verkent — een AI-agent heeft gebouwd die zichzelf vanuit het niets heeft geleerd hoe hij de multiplayer van Battlefield 1 moet spelen.

Vertel ons eerst iets over jezelf. Wat is je achtergrond, wat doe je en wat is SEED precies?

Ik ben zes jaar geleden bij EA gekomen, nadat ik twintig jaar in diverse functies als computerwetenschapper had gewerkt. Mijn eerste baan bij EA was bij DICE en later ben ik naar SEED gegaan, toen het twee jaar geleden werd opgericht.

Bij SEED verkennen we hoe interactief entertainment er op de langere termijn uit zal zien. Hoewel we academisch onderzoek verrichten, zijn we geen pure onderzoeksafdeling. Proberen te raden wat de verre toekomst in petto heeft wordt al snel abstract, dus we proberen zo praktisch mogelijk te zijn en ons te richten op technologie die volgens ons over drie tot vijf jaar invloed zal hebben op interactief entertainment.

We bouwen functionerende prototypen en creëren creatieve ervaringen met opkomende technologieën, zoals kunstmatige intelligentie, machineleren, virtual en augmented reality, en grootschalige dynamische virtuele werelden.

Een van je laatste projecten was het trainen van een agent die de multiplayer van Battlefield 1 moest leren spelen. Hoe is dat project ontstaan?

Toen ik hoorde dat een AI van DeepMind zichzelf had geleerd hoe hij oude Atari-games moest spelen, stond ik versteld. Dat was in 2015, en ik bedacht hoe veel inspanning het zou kosten om een agent te leren hoe hij een moderne en complexere first-person AAA-game zoals Battlefield moest spelen. Dus toen ik bij SEED kwam, heb ik ons eigen deep learning team opgericht en ben ik met die gedachte mensen gaan werven.

Eerst hebben we de basis bedacht en een kale driedimensionale FPS gebouwd om onze algoritmes te testen en het netwerk te trainen. Nadat we goede resultaten hadden geboekt in ons eigen basisspel, hebben we in samenwerking met het team van DICE de agent in een Battlefield-omgeving geïntegreerd.

Hoe presteert jullie zelflerende agent volgens jou ten opzichte van een menselijke Battlefield-speler?

We hebben playtests uitgevoerd waarin we AI-agenten tegenover menselijke spelers hebben gezet in een vereenvoudigde spelmodus die zich beperkte tot pistolen. Hoewel de menselijke spelers beter presteerden dan de agenten, was het absoluut geen verpletterende nederlaag.

De agent is redelijk goed in de basis-gameplay van Battlefield en heeft zichzelf geleerd om zijn gedrag aan te passen op basis van bepaalde triggers, zoals weinig munitie of energie. Maar Battlefield draait om veel meer dan het verslaan van de tegenstander. Er komt veel strategie bij kijken, zaken als teamwork, de map kennen en bekend zijn met aparte klassen en uitrustingen. We zullen de mogelijkheden van de agenten verder moeten uitbreiden om de AI deze noten te laten kraken.

Na de playtests vroegen een paar deelnemers ons wel om de agenten duidelijk te markeren, zodat ze beter onderscheiden konden worden. Voor mij geeft dat aan dat de agenten goed presteren en levensecht overkomen.

Om eerlijk te zijn, zie je in de gameplay dat de AI-bots soms zitten te knoeien en in rondjes gaan rennen. Wat gebeurt er op zo'n moment?

Op dit moment kunnen de agenten nog niet goed vooruitdenken. Als een agent een missiedoel vindt, zoals een vijandelijke speler, zal hij in actie komen. Maar als hij niets ziet, gaat hij uiteindelijk ronddraaien, op zoek naar iets wat hij kan doen. Een betere strategie zou zijn om tegenstanders op de map te zoeken of een schuilplaats te vinden, maar zo goed zijn de agenten nog niet. Ik weet zeker dat ze in de toekomst minder domme dingen zullen doen, naarmate ze beter worden.

Hoe heeft de zelflerende agent getraind?

Je kunt Battlefield niet spelen door één knop per keer in te drukken. Spelers moeten eerder een serie gelijktijdige acties uitvoeren. Dus om de zelflerende agent een voorsprong te geven met basale actiecombinaties, hebben we hem 30 minuten naar menselijke spelers laten kijken—dit proces heet imitatieleren—voordat hij zelf mocht gaan trainen.

De agenten in onze demo hebben zes dagen achterelkaar tegen versies van zichzelf en een paar ouderwetse bots geoefend, waarbij ze op meerdere machines tegelijk speelden. In totaal staat dat voor ongeveer 300 dagen aan totale speelervaring. Ze worden continu beter, maar het zijn geen snelle leerlingen.

De agent heeft hetzelfde zicht als een menselijke speler en wordt geholpen door een mini-map. We kwamen er echter al snel achter dat Battlefield visueel te complex is voor de agent, zodat we alles wat hij ziet moesten vereenvoudigen.

We hebben gezien hoe agenten zichzelf hebben geleerd om oude arcade games en de originele Doom en Go te spelen. Hoe onderscheidt jullie werk zich hiervan?

Voor zover ik weet is dit de eerste implementatie van deep reinforcement learning in een realistische en complexe first-person AAA-game. Daarnaast draait de agent in Battlefield, een spel met zeer ingewikkelde spelmechanismen.

Wat is op dit moment het praktische nut van deze technologie?

Onze kortetermijndoelstelling met dit project was het DICE-team helpen met het opschalen van de kwaliteitsbewaking en tests, zodat de studio meer crash-rapporten kan verzamelen en meer bugs kan vinden.

In toekomstige titels, als de technologie achter deep learning volwassen wordt, verwacht ik dat zelflerende agenten deel van het spel zelf gaan uitmaken. Het worden dan daadwerkelijk intelligente NPC's die diverse taken kunnen uitvoeren en zich in de loop der tijd kunnen aanpassen als ze ervaring opdoen op basis van hun interactie met menselijke spelers.

Wanneer wordt zelflerende AI volgens jou een mainstream-technologie in games?

Ik twijfel er niet aan dat we neurale netten in de komende jaren in games gaan zien. Zelflerende agenten zijn niet alleen een goede vervanger voor ouderwetse bots, je kunt machineleren ook op andere gebieden toepassen, zoals procedureel gegenereerde content, animatie, spraaksynthese, spraakherkenning en nog veel meer.

Zullen zelflerende agenten ooit professionele FPS-spelers verslaan? Zo ja, wanneer?

Ik kan met deze krankzinnige voorspelling enorm op mijn bek gaan, maar ik denk dat het redelijk is om te verwachten dat AI-agenten menselijke spelers over een paar jaar kunnen verslaan in een beperkte competitieve spelmodus: één met kleinere maps, gefocuste teams en duidelijke missiedoelen. Maar bij SEED is het niet per se ons doel om AI te bouwen die menselijke spelers kan verslaan. Ons doel is het creëren van nieuwe ervaringen die games verbeteren en leuker maken. Op de lange termijn is het voor spelers minder leuk om te worden afgeslacht door een superieure AI.

______________________

SEED is een multidisciplinair team binnen EA Worldwide Studios. Haar missie is het verkennen, bouwen en definiëren van de toekomst van interactief entertainment. Voor meer informatie over SEED bezoek je https://www.ea.com/seed.

Blijf meepraten over alles wat met EA te maken heeft: Lees ons blog, volg ons op Twitter en Instagram en vind ons leuk op Facebook.