Agent SI grający w Battlefield 1

Dyrektor techniczny Magnus Nordin opowiada, jak Dział Poszukiwania Niezwykłych Doświadczeń (Search for Extraordinary Experiences Division – SEED) – zespół EA odpowiedzialny za badanie przyszłości interaktywnej rozrywki – stworzył samodzielnie uczącego się agenta SI, który nauczył się grać w tryb wieloosobowy Battlefield 1.

Na początek opowiedz nam o sobie. Jakie masz doświadczenie, czym się zajmujesz i czym jest SEED?

Zanim rozpocząłem pracę w EA, sześć lat temu, przez 20 lat pracowałem jako informatyk w różnych firmach. Na początku pracy w EA trafiłem do DICE, a później przeszedłem do SEED, które powstało 2 lata temu.

W SEED przyglądamy się temu, jak interaktywna rozrywka będzie wyglądać w przyszłości. Mimo że prowadzimy badania naukowe, nie jesteśmy działem badawczym. Odgadywanie tego, co przyniesie przyszłość, często staje się abstrakcyjne, więc staramy się być jak najbardziej praktyczni i przyglądać się technologi, która naszym zdaniem najbardziej wpłynie na interaktywną rozrywkę w ciągu najbliższych 3-5 lat.

Chcemy tworzyć działające prototypy oraz wykorzystywać rozwijające się technologie, takie jak sztuczna inteligencja, uczenie maszynowe, rzeczywistość wirtualna i rozszerzona oraz rozbudowane i dynamiczne wirtualne światy.

Jednym z waszych ostatnich projektów było nauczenie agenta SI gry w tryb wieloosobowy Battlefield 1. Jak wpadliście na ten pomysł?

Gdy dowiedziałem się, że SI stworzone przez DeepMind nauczyło się grać w stare gry Atari, byłem pod ogromnym wrażeniem. To było w 2015 roku. Zacząłem myśleć nad tym, jak trudne byłoby stworzenie samodzielnie uczącego się agenta SI, który opanowałby bardziej skomplikowane gry AAA, takie jak Battlefield. Gdy dołączyłem do SEED, utworzyłem zespół związany z technologią deep learning i zacząłem rekrutować ludzi, skupiając się na tym.

Najpierw wymyśliliśmy podstawy i stworzyliśmy prostą strzelankę z perspektywy pierwszej osoby, aby sprawdzić algorytmy i przetestować sieć. Po uzyskaniu dobrych wyników w naszej grze rozpoczęliśmy współpracę z DICE, aby wdrożyć naszego agenta do Battlefield.

Jak twoim zdaniem samodzielnie uczący się agent radzi sobie z prawdziwymi graczami Battlefield?

Przeprowadzaliśmy testy, rzucając agentów SI przeciwko prawdziwym graczom w uproszczonym trybie ograniczonym tylko do pistoletów. Mimo że gracze radzili sobie lepiej od agentów, nie była to miażdżąca przewaga.

Agenci dobrze opanowali podstawy rozgrywki w Battlefield i szybko nauczyli się dostosowywać do różnych sytuacji, takich jak mała liczba nabojów czy niski poziom zdrowia. Ale w Battlefield nie chodzi wyłącznie o zabijanie wrogów. Bardzo liczy się strategia oraz takie elementy jak współpraca, znajomość mapy oraz opanowanie poszczególnych klas i elementów wyposażenia. Będziemy musieli rozszerzyć możliwości agentów, aby SI była w stanie sobie z tym wszystkim poradzić.

Jednak po zakończeniu testów kilku uczestników poprosiło nas o wyraźne oznaczenie agentów, aby można było ich odróżnić od zwykłych graczy, co dla mnie jest dobrym wyznacznikiem tego, jak dobrze sobie radzą.

Trzeba jednak zwrócić uwagę na sytuację, w której zdarza się, że SI wariuje i biega w kółko. O co w tym chodzi?

Teraz agenci nie radzą sobie dobrze z planowaniem kolejnych działań. Jeżeli zobaczą cel, na przykład wrogiego gracza, zareagują. Jednak jeżeli nie mają nic w zasięgu wzroku, zaczną kręcić się w kółko w poszukiwaniu czegoś do zrobienia. Lepiej byłoby, gdyby ruszyli szukać wroga na mapie albo miejsca do ukrycia się, ale na to jeszcze za wcześnie. Jestem pewien, że wkrótce, gdy tylko lepiej opanują rozgrywkę, przestaną wariować.

Jak długo trwała nauka agentów?

W Battlefield nie można grać, wciskając jeden przycisk naraz. Wymagane jest wykonywanie kilku rzeczy jednocześnie. Aby umożliwić agentowi łatwiejszy początek nauki przy najprostszych kombinacjach, pozwoliliśmy mu obserwować ludzkich graczy przez 30 minut – to proces zwany nauką przez imitację – zanim rozpoczął swoje szkolenie.

Agent, którego wykorzystywaliśmy do demonstracji, trenował przez 6 dni, walcząc z samym sobą oraz prostymi botami, grając jednocześnie na kilku maszynach. Łącznie jakieś 300 dni rozgrywki. Cały czas staje się lepszy, ale nie przychodzi mu to szybko.

Agent posiada takie same pole widzenia jak normalny gracz i posiłkuje się minimapą. Szybko jednak zorientowaliśmy się, że Battlefield jest dla agentów zbyt skomplikowany graficzne, więc musieliśmy uprościć to, co widzą.

Widzieliśmy przypadki samodzielnie uczących się agentów, którzy nauczyli się grać w stare gry z automatów, a także takie tytuły jak pierwszy Doom czy gra planszowa Go. Co sprawia, że wasza praca różni się od tych przykładów?

O ile mi wiadomo to pierwszy taki przypadek, jeżeli chodzi o rozbudowaną strzelankę z perspektywy pierwszej osoby. Poza tym to Battlefield, który jest grą z bardzo złożoną mechaniką rozgrywki.

Jak obecnie wygląda praktyczne zastosowanie tej technologii?

Naszym krótkoterminowym celem w tym wypadku było stworzenie wsparcia dla DICE, aby mogli dokładniej przeprowadzać testy, dzięki czemu naprawialiby jeszcze więcej błędów i robili to szybciej.

Wraz z rozwojem technologii deep learning mam nadzieję, że w grach zaczną pojawiać się samodzielnie uczący się agenci, wcielający się w postacie niezależne, które z czasem uczą się i dostosowują do graczy.

Kiedy twoim zdaniem samodzielnie ucząca się SI stanie się standardem w grach?

Nie wątpię, że dojdzie do tego w ciągu najbliższych lat. Samodzielnie uczący się agenci są nie tylko dobrym zastępstwem klasycznych botów, ale mogą także wykorzystać uczenie maszynowe do takich rzeczy jak proceduralnie generowana zawartość, animacja, generowanie głosu, rozpoznawanie mowy i nie tylko.

Czy samodzielnie uczący się agenci pokonają kiedyś profesjonalnych graczy w strzelankach? Jeśli tak, to kiedy?

Zaryzykuję tu odważne stwierdzenie i powiem, że w określonych warunkach – mniejsze mapy, bardziej zorganizowane drużyny i jasne cele – możemy się spodziewać, że agenci SI będą w stanie pokonać prawdziwych graczy w ciągu najbliższych kilku lat. Aczkolwiek w SEED nie chodzi nam konkretnie o stworzenie SI, która będzie w stanie pokonać prawdziwych graczy. Chcemy pracować nad doświadczeniami, które ulepszą gry i sprawią, że będą one dawać więcej zabawy. Bycie pokonanym przez SI nie jest zbyt atrakcyjne dla graczy.

______________________

SEED to zespół interdyscyplinarny w EA Worldwide Studios. Jego zadaniem jest badanie, tworzenie i pomoc w rozwijaniu przyszłości interaktywnej rozrywki. Aby dowiedzieć się więcej na temat SEED, zajrzyj na stronę https://www.ea.com/seed.

Trzymaj rękę na pulsie wydarzeń związanych z EA: czytaj nasz blog, obserwuj nas na Twitterze oraz Instagramie i polub nas na Facebooku.