Technical Director Magnus Nordin fortæller, hvordan Search for Extraordinary Experiences Division (SEED) – en EA-gruppe, der udforsker fremtidens interaktive underholdning – byggede en selvlærende AI-agent, der lærte sig selv at spille Battlefield 1-multiplayer helt fra bunden.

Fortæl os lidt om dig selv. Hvad er din baggrund, hvad laver du, og hvad er SEED nærmere bestemt?

Jeg kom til EA for seks år siden efter at have arbejdet i to årtier som computerforsker forskellige steder. Mit første job hos EA var hos DICE, og senere flyttede jeg til SEED, da det blev grundlagt for to år siden.

Seed udforsker, hvordan interaktiv underholdning vil se ud i fremtiden. Vi laver en del akademisk forskning, men vi er ikke kun en forskningsgruppe. Det bliver let meget abstrakt at forsøge at gætte, hvordan den fjerne fremtid vil se ud, så vi forsøger at være så praktiske som muligt og holde blikket rettet mod teknologi, som vi mener vil påvirke interaktiv underholdning om tre til fem år.

Vores tilgang er at bygge fungerende prototyper og skabe virkelige kreative oplevelser med fremspirende teknologier såsom kunstig intelligens, maskinlæring, virtuel og udvidet virkelighed samt enorme, dynamiske virtuelle verdener.

Et af vores seneste projekter har været at lære en selværende agent at spille Battlefield 1-multiplayer. Hvordan startede det projekt?

Jeg blev meget imponeret, da jeg hørte, at DeepMind havde skabt en AI, der havde lært sig selv at spille gamle Atari-spil. Det var tilbage i 2015, og det gav mig idéen til at finde ud af, hvor meget det ville kræve at få en selvlærende agent til at spille et moderne og mere komplekst AAA-spil som Battlefield. Så da jeg kom til SEED, startede jeg en gruppe, der beskæftigede sig med dyb læring, og jeg begyndte at rekruttere med netop det i tankerne.

Vi startede med det mest grundlæggende og byggede et helt enkelt 3D-FPS for at teste vores algoritmer og træne netværket. Efter at vi fik gode resultater i vores eget enkle spil, samarbejdede vi med DICE for at integrere agenten i Battlefield.

Hvordan klarer den selvlærende agent sig mod en menneskelig Battlefield-spiller?

Vi har lavet spiltests, hvor AI'en spillede mod mennesker i en forenklet spiltype, der var begrænset til pistoler. Menneskene var bedre end agenterne, men det var ikke overlegne sejre.

Agenten er ret dygtig til alt det grundlæggende i Battlefield og har lært sig selv at ændre sin opførsel baseret på forskellige hændelser som fx lav ammunition eller lavt helbred. Men Battlefield handler om meget mere end at besejre sine modstandere. Der er meget strategi, samarbejde, viden om banerne og kendskab til klasser og udstyr. Vi vil være nødt til at forbedre agenternes evner, hvis AI'en skal kunne mestre de aspekter.

Men efter vores spiltests bad nogle af deltagerne os om at markere, hvilke avatarer der var agenter, så de kunne se det, mens de spillede. Det er et tegn på, hvor godt agenterne klarede den, og hvor livagtige de var.

Hvis jeg skal være ærlig dummede AI-botterne sig også af og til, hvor de fx løb tossede rundt i ring. Hvad skete der?

I øjeblikket er agenterne ikke så gode til at planlægge fremadrettet. Hvis en agent ser et mål som fx en fjendtlig spiller, handler agenten. Men hvis agenten ikke har noget i sit synsfelt, begynder den til sidst at snurre rundt, fordi den søger efter noget at lave. En bedre strategi ville have været at bevæge sig rundt for at lede efter modstandere på banen eller finde et sted at gemme sig, men det kan agenter ikke helt finde ud af endnu. Jeg er dog sikker på, at de ville kunne gøre det i fremtiden, når de bliver dygtigere.

Hvor længe trænede de selvlærende agenter?

Man kan ikke spille Battlefield ved blot at trykke på én knap ad gangen. Det kræver, at man udfører en række af samtidige handlinger. Så for at hjælpe den selvlærende agent godt i gang med grundlæggende handlingskombinationer lod vi den observere 30 minutters menneskeligt spil – en proces, der kaldes imitationslæring – før vi lod den træne selv.

De agenter, som vi viser vores i vores demo, har øvet sig i seks dage mod versioner af sig selv og mod klassiske botter på flere maskiner på samme tid. I alt svarer det omtrent til 300 dages spilerfaring. De forbedrer sig konstant, men de lærer ikke særligt hurtigt.

Agenten har samme synsfelt som en menneskelig spiller og bruger minikortet som hjælp. Vi opdagede dog hurtigt, at Battlefield er for visuelt komplekst for agenterne, hvilket betød, at vi var nødt til at forenkle, hvad de ser.

Vi har set, at selvlærende agenter har lært at spille gamle arkadespil og det oprindelige Doom og Go. Hvordan adskiller jeres arbejde sig fra de eksempler?

Så vidt jeg ved er dette den første implementering af dyb selvforstærkende læring i et medrivende og komplekst AAA-spil. Og så er der jo tale om Battlefield, der netop et kendt for at have særligt kompliceret spilmekanik.

Hvad er den praktiske anvendelse af teknologien i øjeblikket?

Vores kortsigtede mål med projektet har været at hjælpe DICE med at opskalere kvalitetssikring og spiltest, hvilket kan hjælpe dem med at få flere nedbrudsrapporter og finde flere fejl.

I fremtidige spil, hvor teknologien er blevet endnu bedre, forventer jeg, at selvlærende agenter bliver en del af selve spillene som reelt intelligente NPC'er, der behersker en række af handlinger og kan tilpasse sig og udvikle sig, når de får erfaring med menneskelige spillere.

Hvornår tror du, at selvlærende AI'er bliver en normal del af computerspil?

Jeg er ikke i tvivl om, at neurale net gradvist vil begynde at blive implementeret i spil i de kommende år. Selvlærende agenter er ikke kun en god erstatning for de klassiske botter. Maskinlæring kan også bruges på en række af andre områder såsom processuelt genereret indhold, animation, stemmedannelse, talegenkendelse og meget andet.