Miten tekoälyagentit oppivat pelaamaan Battlefield 1:tä

Tekninen johtaja Magnus Nordin kertoo, miten Search for Extraordinary Experiences Division (SEED) – interaktiivisen viihteen tulevaisuutta tutkiva EA-tiimi – rakensi itseoppivan tekoälyagentin, joka opetti itse itsensä pelaamaan Battlefield 1:n moninpeliä.

Kertoisitko ensin hieman itsestäsi. Millainen on taustasi, mitä teet ja mikä SEED oikeastaan on?

Aloitin EA:lla kuusi vuotta sitten työskenneltyäni 20 vuotta datatieteilijänä erilaisissa pesteissä. Ensimmäinen työni EA:lla oli DICE-studiossa, josta siirryin SEED-tiimiin, kun se perustettiin kaksi vuotta sitten.

SEEDissä me pohdimme ja tutkimme interaktiivisen viihteen tulevaisuutta pitkällä tähtäimellä. Teemme jonkin verran tieteellistä tutkimusta, mutta emme ole pelkkä tutkimusyksikkö. Kaukaisen tulevaisuuden pohtimisesta ja arvailusta tulee helposti abstraktia, joten yritämme olla mahdollisimman käytännönläheisiä ja pitää huomiomme teknologiassa, jonka uskomme vaikuttavan interaktiivisen viihteen kehitykseen 3–5 seuraavan vuoden aikana.

Tarkoituksemme on luoda toimivia prototyyppejä ja todellisia luovia kokemuksia uusien teknologioiden kuten tekoälyn, koneoppimisen, virtuaalitodellisuuden, lisätyn todellisuuden sekä suurten, dynaamisten virtuaalimaailmojen avulla.

Yksi viimeaikaisista projekteistanne liittyi Battlefield 1:n moninpelin pelaamisen opettamiseen itseoppivalle agentille. Mistä ajatus tällaiseen projektiin syntyi?

Tutustuin vuonna 2015 DeepMindin kehittämään tekoälyyn, joka opetti itseään pelaamaan vanhoja Atari-pelejä. Se teki minuun valtavan vaikutuksen. Ryhdyin miettimään, voisimmeko kehittää itseoppivan agentin nykyaikaisiin, monimutkaisempiin ensimmäisen persoonan peleihin kuten Battlefieldiin. Kun liityin SEED-tiimiin, perustin syväoppimisen työryhmän ja aloin etsimään työntekijöitä tämä perusajatus mielessäni.

Ensin selvitimme perusasiat ja rakensimme kolmiulotteisen FPS-raakapelin, jossa testasimme algoritmejamme ja harjoitimme verkkoa. Ympäristö tuotti hyviä tuloksia, joten ryhdyimme yhteistyöhön DICEn kanssa ja integroimme tekoälyagentin Battlefieldin ympäristöön.

Miten itseoppiva agentti pärjää Battlefield-ihmispelaajaan verrattuna?

Olemme tehneet pelitestejä ja panneet tekoälyagentit pelaamaan ihmispelaajia vastaan yksinkertaistetussa pelitilassa, jossa käytetään vain käsiaseita. Ihmispelaajat ovat voittaneet agentit, mutta eivät mitenkään ylivoimaisesti.

Tekoäly hallitsee Battlefieldin peruspelattavuuden melko hyvin ja on opettanut itsensä muuttamaan käytöstään tiettyjen merkkien kuten ammusten tai energian vähyyden perusteella. Battlefieldissa on kuitenkin kyse hyvin paljon muustakin kuin vastustajien kukistamisesta. Peliin liittyy paljon strategiaa, tiimityötä, karttojen tuntemusta sekä hahmoluokkien ja varusteiden tuntemusta. Meidän on jatkettava agenttien kykyjen kehittämistä, jotta saamme tekoälyn oppimaan nämäkin puolet.

Tästä huolimatta osa pelitestiin osallistuneista pelaajista pyysi meitä merkitsemään tekoälyagentit, mikä oli mielestäni hyvä osoitus siitä, miten hyvin agentit pärjäsivät ja miten todellisilta ne vaikuttavat.

Pelivideoissa kuitenkin näkyy välillä myös tekoälyagenttien sekoilua ja paikallaan pyörimistä. Mitä näissä tilanteissa tapahtui?

Tällä hetkellä tekoälyagentit eivät suunnitella asioita kovin pitkälle. Jos agentti havaitsee kohteen, kuten vihollispelaajan, se toimii. Jos sillä ei ole kohteita näköpiirissä, se alkaa lopulta pyöriä ympyrää etsien jotain tekemistä. Parempi strategia olisi tietysti lähteä etsimään vihollisia eri puolilta karttaa tai mennä johonkin hyvään piiloon, mutta tällainen ei agenteilta ihan onnistu vielä. Olen varma, että ne viisastuvat tulevaisuudessa, kun ne kehittyvät ja oppivat uutta.

Kuinka kauan itseoppivan agentin harjoittelu kesti?

Battlefieldia ei voi pelata painamalla yhtä nappia kerrallaan. Se vaatii useiden toimien suorittamista jatkuvasti samaan aikaan. Autoimme itseoppivaa agenttia perustason toimissa ja niiden yhdistelemisessä antamalla sen katsella ihmisen pelaamista 30 minuutin ajan, ennen kuin päästimme sen harjoittelemaan itse. Tätä kutsutaan mallioppimiseksi.

Demossamme näkyvät agentit ovat sen jälkeen harjoitelleet kuuden päivän ajan itseään vastaavia versioita sekä vanhempia botteja vastaan pelaamalla useilla koneilla yhtä aikaa. Yhteensä tämä vastaa noin 300 päivän pelaamiskokemusta. Ne kehittyvät jatkuvasti, mutta ne eivät ole erityisen nopeita oppimaan.

Tekoälyagentilla on sama näkökenttä kuin ihmispelaajalla, ja sillä on apunaan minikartta. Havaitsimme kuitenkin nopeasti, että Battlefield on visuaalisesti agentille liian monimutkainen. Meidän oli yksinkertaistettava sen näkymää, jotta se pystyi ymmärtämään näkemäänsä.

Tiedämme itseoppivista agenteista, jotka ovat opettaneet itsensä pelaamaan vanhempia arcade-pelejä sekä alkuperäistä Doomia ja Go-peliä. Miten teidän työnne eroaa näistä tapauksista?

Minun tietääkseni tämä on ensimmäinen kerta, kun syvää vahvistusoppimista käytetään immersiivisen ja monimutkaisen ensimmäisen persoonan pelin kanssa. Sitä paitsi kyseessä on Battlefield – sen pelimekaniikat ovat tunnetusti hyvin monitahoisia.

Millaisia käytännön sovelluksia tällaiselle teknologialle on tällä hetkellä?

Lyhyen aikavälin tavoitteemme tässä projektissa on ollut auttaa DICE-tiimiä laadunvarmistuksen ja testauksen laajentamisessa, mikä auttaisi studiota saamaan enemmän kaatumisraportteja ja löytämään bugeja tehokkaammin.

Tulevaisuudessa, syväoppimisen kehittyessä, itseoppivat agentit tulevat todennäköisesti osaksi itse pelejä älykkäiden sivuhahmojen muodossa, jotka osaavat monia erilaisia tehtäviä ja pystyvät sopeutumaan ja kehittymään ajan mittaan itse olemalla tekemisissä ihmispelaajien kanssa ja saadessaan kokemuksia pelaajasta.

Milloin uskot, että itseoppivat tekoälyagentit tulevat osaksi pelien perusteknologiaa?

Siitä ei ole epäilystäkään, että neuroverkot alkavat tulla osaksi pelejä tulevien vuosien aikana. Itseoppivat agentit eivät ole pelkästään hyvä seuraaja vanhanaikaisille boteille; koneoppimista voi hyödyntää monilla muillakin alueilla kuten satunnaisesti luodussa sisällössä, animoinnissa, äänenmuodostuksessa, puheentunnistuksessa jne.

Voittavatko itseoppivat agentit koskaan FPS-ammattilaispelaajia? Jos, niin milloin?

Tämä saattaa kuulostaa pähkähullulta ennustukselta, mutta mielestäni voi olla odotettavissa, että tekoälyagentit pystyvät päihittämään ihmispelaajat rajoitetussa kilpailupelitilassa – jossa on pienemmät kartat, keskitetyt tiimit ja selvät tavoitteet – jo parin vuoden päästä. SEEDin tavoite ei kuitenkaan ole varsinaisesti ihmispelaajan voittavan tekoälyn kehittäminen. Tavoitteemme on auttaa uusien kokemusten luomisessa, jotka tekevät peleistä entistäkin parempia ja hauskempia. Selkäsauna tekoälyltä ei välttämättä tunnu pelaajista kovin hauskalta pitkällä tähtäimellä.

______________________

SEED on EA Worldwide Studiosiin kuuluva monialainen tiimi. Sen tehtävä on tutkia, rakentaa ja auttaa määrittämään interaktiivisen viihteen tulevaisuutta. Voit lukea lisää SEEDistä osoitteesta https://www.ea.com/seed.

Pysy mukana EA-keskustelussa: lue blogiamme, seuraa meitä Twitterissä ja Instagramissa ja tykkää meistä Facebookissa.