Selvlærende AI-agenter spiller Battlefield 1

Teknisk direktør, Magnus Nordin, snakker om hvordan Search for Extraordinary Experiences Division (SEED) — et team i EA som utforsker fremtiden til interaktiv underholdning — lagde en selvlærende AI-agent som lærte seg selv å spille flerspillermodusen i Battlefield 1 fra bunnen av.

Fortell oss om deg selv. Hvilken bakgrunn har du, hva gjør du og hva er egentlig SEED?

Jeg begynte i EA for seks år siden, etter å ha jobbet i to årtier som informatiker i ulike stillinger. Min første jobb i EA var hos DICE, og jeg gikk videre til SEED da det ble grunnlagt for to år siden.

I SEED utforsker vi hvordan interaktiv underholdning vil se ut på lang sikt. Vi gjør litt akademisk forskning, men vi er ikke en ren forskningsenhet. Å prøve å gjette hva den fjerne fremtiden har i vente for oss pleier å bli abstrakt. Vi prøver å være så praktiske som mulig og har en horisont på tre til fem år for hvordan vi tror teknologi vil påvirke interaktiv underholdning.

Tilnærmingen vår er å bygge fungerende prototyper og konfigurere kreative opplevelser med nye teknologier, slik som kunstig intelligens, maskinlæring, virtuell og utvidet virkelighet og dynamiske virtuelle verdener i stor skala.

Et av deres nyeste prosjekter har vært å lære opp en selvlærende agent til å spille flerspillermodusen i Battlefield 1. Hvordan kom dere i gang med det?

Da jeg hørte om hvordan en AI skapt av DeepMind hadde lært seg selv å spille gamle Atari-spill, fikk jeg hakeslep. Dette var i 2015, og det fikk meg til å tenke på hvor mye innsats det ville krevd å få en selvlærende agent til å lære seg å spille et moderne og mer komplekst førstepersons storspill som Battlefield. Så da jeg ble med i SEED, startet jeg vårt eget dyplæringsteam og begynte å rekruttere folk med dette i bakhodet.

Først fant vi ut det grunnleggende, og bygget et enkelt FPS i 3D for å teste algoritmene og trene opp nettverket. Etter å ha sett gode resultater i vårt eget grunnleggende spill, jobbet vi med teamet i DICE for å integrere agenten i en Battlefield-omgivelse.

Hvordan tror du at de selvlærende agentene deres vil gjøre det mot en menneskelig Battlefield-spiller?

Vi har utført spilltester der AI-agenter spiller mot mennesker i en forenklet spillmodus, begrenset til pistoler. Mens de menneskelige spillerne gjorde det bedre enn agentene, var det ikke snakk om total dominering.

Agenten er ganske god i de grunnleggende Battlefield-mekanikkene, og har lært seg selv å endre atferden avhengig av bestemte utløsere, som å ha lite ammunisjon eller helse. Men Battlefield handler om så mye mer enn å beseire motstanderne. Det er mye strategi involvert, som lagarbeid, kartkjennskap og å være kjent med de ulike klassene og utstyret. Vi må utvide evnene til agentene enda mer for at AI-en skal kunne hevde seg.

Men etter spilltestene ba et par deltakere oss om å markere agentene tydelig, slik at de kan skilles ut. Dette tar jeg som et tegn på hvor godt agentene gjorde det og hvor virkelighetstro de er.

For å være ærlig, så kan man også se AI-robotene vimse rundt og løpe i sirkler. Hva skjer der?

For øyeblikket er ikke agentene så gode på å planlegge. Hvis en agent ser et mål, som en fiendtlig spiller, gjør den noe. Men hvis det ikke er noe i sikte, vil den etter hvert begynne å snurre rundt for å se etter noe å gjøre. En bedre strategi ville vært å lete etter motstandere på kartet eller finne et sted å gjemme seg, men agentene er ikke helt klare for det ennå. Jeg er sikker på at de vil gjøre mindre målløse ting når de blir bedre.

Hvor lenge trente den selvlærende agenten?

Du kan ikke spille Battlefield ved å trykke på én knapp om gangen. Spilleren må utføre en rekke samtidige handlinger. Så for å hjelpe den selvlærende agenten å få en tyvstart med grunnleggende handlingskombinasjoner, lot vi den observere 30 minutter med menneskelig spilling – en prosess som heter observasjonslæring – før den fikk trene selv.

Agentene vi viser i demoen vår har deretter øvd i seks dager med versjoner av seg selv og noen enkle gammeldagse roboter, parallelt på flere maskiner. Totalt tilsvarer det rundt 300 dager med spilleerfaring. De forbedrer seg konstant, men lærer ikke spesielt raskt.

Agenten har samme feltvisning som menneskelige spillere, og får hjelp av et minikart. Vi fant derimot raskt ut at Battlefield er for visuelt komplekst for agenten å forstå, noe som betyr at vi måtte forenkle hva den ser.

Vi har sett noen tilfeller med selvlærende agenter som har lært seg selv opp til å spille gamle arkadespill, samt originale Doom og Go. Hva skiller arbeidet deres fra disse eksemplene?

Så langt jeg vet, er dette første implementasjon av forsterket dyplæring i et engasjerende og komplekst førstepersons storspill. Og det kjører i Battlefield, et spill som er kjent for utarbeidede spillmekanikker.

Hva er det praktiske formålet med denne teknologien i dag?

Vårt kortsiktige mål med prosjektet har vært å hjelpe DICE-teamet med å oppskalere kvalitetssikringen og -testingen, noe som kan hjelpe studioet å samle inn flere krasjrapporter og finne flere feil.

I fremtidige titler, når dyplæringsteknologien blir bedre, tror jeg at selvlærende agenter blir en del av selve spillene. Intelligente datastyrte karakterer som kan mestre en rekke oppgaver og som tilpasser og utvikler seg over tid mens de samler erfaring fra å engasjere med menneskelige spillere.

Når tror du at vi vil se selvlærende AI bli vanlig teknologi i spill?

Jeg er skråsikker på at kunstige nettverk gradvis vil bane seg vei inn i spillenes verden i årene som kommer. Selvlærende agenter er ikke bare gode erstatninger for gammeldagse roboter, du kan også bruke maskinlæring i flere andre felt, som prosessuelt generert innhold, animasjon, stemmegenerering, talegjenkjenning med mer.

Kommer selvlærende agenter noensinne til å slå proffe FPS-spillere? Hvis ja, når?

Noen vil kanskje tro dette er en sprø forutsigelse, men jeg tror at vi må regne med at AI-agenter kan slå menneskelige spillere i en begrenset konkurransemodus – en med mindre kart, fokuserte lag og tydelige mål – om et par år fra nå. Men i SEED er vi ikke nødvendigvis ute etter å bygge en AI som vil slå menneskelige spillere. Målet vårt er å bidra til å skape nye opplevelser som forbedrer spill og gjør dem gøyere. Det er ikke nødvendigvis gøy å bli eid av en overlegen AI i lengden.

______________________

SEED er et tverrfaglig team i EA Worldwide Studios. Oppdraget deres er å utforske, bygge og bidra til å definere fremtiden av interaktiv underholdning. Gå til https://www.ea.com/nb-no/seed for å lese mer om SEED.

Følg med på alt som skjer rundt EA: Les bloggen vår, følg oss på Twitter og Instagram, og lik oss på Facebook.