Google DeepMind podsumowuje 15 lat badań nad AI w grach: od Atari do EVE Online

Laboratorium Google DeepMind opublikowało kompleksowe podsumowanie 15 lat swoich badań nad sztuczną inteligencją w środowiskach gier wideo. W przekrojowym opracowaniu Alexandre’a Moufareka i Adriana Boltona brytyjski zespół przypomina ewolucję prowadzonych projektów — od pionierskich eksperymentów z konsolą Atari 2600 po wieloletnie partnerstwo badawcze ze studiem Fenris Creations w uniwersum EVE Online. Od momentu założenia firmy w 2010 roku przez zespół, w którym kluczową rolę odegrał były deweloper gier Demis Hassabis, wirtualne światy stanowiły główny poligon doświadczalny dla systemów uczących się, prowadząc do fundamentalnych przełomów w dziedzinie sztucznej inteligencji.

Od Atari 2600 do AlphaStar: ewolucja mistrzostwa w grach o zamkniętych regułach

Początek systematycznych badań Google DeepMind nad grami wyznaczyło stworzenie architektury Deep Q-Network (DQN). W opublikowanej w 2015 roku na łamach czasopisma Nature pracy badacze wykazali, że pojedyncza głęboka sieć neuronowa jest w stanie nauczyć się rozgrywki w 49 różnych grach na konsolę Atari 2600 (w tym w tytułach takich jak Pong, Breakout czy Space Invaders) bezpośrednio z surowych pikseli, bez jakichkolwiek modyfikacji specyficznych dla danego kodu. Sukces ten zapoczątkował współczesną erę głębokiego uczenia ze wzmocnieniem (deep reinforcement learning).

W kolejnych latach zespół podnosił poprzeczkę złożoności testowanych środowisk:

• AlphaGo (2016): Pokonał mistrza świata Lee Sae Dola w starożytnej grze Go. Wykonany wówczas słynny ruch Move 37 zrewidował wielowiekową teorię gry, dowodząc zdolności algorytmu do formułowania niekonwencjonalnych strategii.
• AlphaGo Zero i AlphaZero: Wyeliminowały potrzebę korzystania z ludzkich danych, opierając proces nauki wyłącznie na samouctwie (self-play), a następnie zunifikowały rozgrywkę w szachy, shogi oraz Go w ramach jednego algorytmu.
• MuZero: Opanował zasady gier bez wcześniejszego dostępu do ich reguł formalnych.
• AlphaStar (2019): Osiągnął poziom Grandmaster w grze StarCraft II, radząc sobie z dynamiką czasu rzeczywistego oraz niepełną informacją na mapie.

Mechanizmy eksploracji wypracowane przy tych projektach znalazły bezpośrednie przełożenie na naukę ścisłą. System AlphaFold rozwiązał trwający 50 lat problem biologii strukturalnej, przewidując struktury przestrzenne białek, co zostało uhonorowane Nagrodą Nobla w dziedzinie chemii w 2024 roku.

Nowy paradygmat: SIMA i przejście od optymalizacji punktów do rozumienia światów 3D

Dotychczasowe sukcesy dowiodły, że sztuczna inteligencja potrafi zdominować dowolną grę o jasno zdefiniowanym celu i określonych regułach. Rzeczywisty świat nie posiada jednak gotowych liczników punktów ani spisanych zasad. W odpowiedzi na to wyzwanie Google DeepMind zmieniło kierunek badań, koncentrując się na agentach generalistycznych zdolnych do wchodzenia w interakcję ze środowiskiem w taki sam sposób, jak czyni to człowiek.

Efektem tych prac jest projekt SIMA (Scalable Instructable Multiworld Agent). Agent ten przetwarza wyłącznie strumień wideo z monitora, przyjmuje polecenia w języku naturalnym i realizuje akcje za pośrednictwem standardowej klawiatury i myszy — bez sięgania po dedykowane API czy kod źródłowy gry. Rozwinięciem tej koncepcji jest SIMA 2, który funkcjonuje jako interaktywny towarzysz zdolny do prowadzenia dialogu i wnioskowania w czasie rzeczywistym. Model sprawdza się w złożonych grach trójwymiarowych, takich jak No Man's Sky, Valheim czy Hydroneer. Do zasilania tak złożonych systemów interaktywnych niezbędne są zaawansowane modele multimodalne, a deweloperzy z Mountain View równolegle rozwijają model Gemini 3.7 Flash, który wyznacza standardy w dziedzinie szybkiego wnioskowania.

Dla twórców gier architektura SIMA otwiera drogę do zautomatyzowanego testowania jakości (QA), które zachowuje stabilność mimo ciągłych zmian wprowadzanych w kolejnych commitach, a także pozwala tworzyć postacie niezależne (NPC) adaptujące się do zachowań graczy bez konieczności tworzenia sztywnych skryptów.

Uniwersum EVE Online jako poligon dla zaawansowanych zdolności poznawczych

Najnowszym i najbardziej złożonym etapem badań laboratoryjnych jest partnerstwo z Fenris Creations — niezależnym studiem odpowiedzialnym za uniwersum EVE. Flagowy tytuł studia, EVE Online (działający nieprzerwanie od 2003 roku), to symulacja kosmiczna typu MMO oparta na pojedynczym, współdzielonym świecie (single-shard). Gra posiada w pełni rynkową gospodarkę sterowaną przez graczy, sieci handlowe obejmujące tysiące układów planetarnych oraz złożone struktury dyplomatyczne i sojusznicze.

Dla badaczy sztucznej inteligencji środowisko to stanowi unikalną platformę do testowania czterech kluczowych zdolności określanych jako frontier AI:

1. Ciągłe uczenie się (continual learning): Nabywanie nowych umiejętności w stale ewoluującym świecie bez utraty dotychczasowej wiedzy.
2. Pamięć długoterminowa (memory): Zdolność do akumulacji i odzyskiwania informacji w skalach czasowych znacznie przekraczających standardowe okna kontekstowe modeli językowych.
3. Planowanie długoterminowe (long-horizon planning): Podejmowanie decyzji strategicznych i wnioskowanie rozłożone na tygodnie, miesiące, a nawet lata.
4. Złożona dynamika wieloagentowa (multi-agent dynamics): Zarządzanie kooperacją, rywalizacją, negocjacjami handlowymi i zjawiskami społecznymi w skali tysięcy uczestników.

Jak zauważa Hilmar Pétursson, CEO Fenris Creations, EVE Online od początku projektowano jako wirtualny świat trwałych konsekwencji, a partnerstwo z Google DeepMind umożliwia zbadanie mechanizmów koegzystencji ludzi i systemów autonomicznych w kontrolowanym środowisku wirtualnym, zanim podobne wyzwania pojawią się w świecie rzeczywistym.

Aura Guidance i bezpieczna mapa drogowa wdrożeń

Badania obejmują również inne projekty z tego uniwersum: taktyczną strzelankę pierwszoosobową EVE Vanguard (pozwalającą badać koordynację od poziomu dynamicznych starć po strategię globalną) oraz EVE Frontier, gdzie architektura programowalnych modułów Smart Assemblies pozwala na dynamiczną modyfikację samych zasad świata gry.

Współpraca przyniosła już pierwsze praktyczne rezultaty w postaci systemu Aura Guidance w EVE Online. Rozwiązanie to wykorzystuje modele Gemini do analizy bazy wiedzy generowanej przez społeczność w kanale Rookie Help, ułatwiając nowym graczom stawianie pierwszych kroków w grze.

Długoterminowy program badawczy realizowany jest według ściśle określonej mapy drogowej:

• Faza 1: Eksperymenty na odizolowanej instancji offline EVE Online, stanowiącej bezpieczny sandbox bez udziału graczy.
• Faza 2: Testy w środowisku EVE Frontier nad współistnieniem graczy i agentów w świecie o otwartych regułach.
• Faza 3: Wdrożenie dounterfejsu produkcyjnego EVE Online oraz EVE Vanguard wyłącznie wtedy, gdy technologie osiągną pełną dojrzałość i zagwarantują wzbogacenie wrażeń z rozgrywki.

Poza Fenris Creations, Google DeepMind współpracuje z szeregiem innych niezależnych studiów deweloperskich, takich jak Coffee Stain (Valheim, Satisfactory, Goat Simulator 3), Hello Games (No Man's Sky), Foulball Hangover (Hydroneer), Keen Software House (Space Engineers), RubberbandGames (Wobbly Life), Strange Loop Games (Eco), Thunderful Games (ASKA, The Gunk, Steamworld Build), Digixart (Road 96) oraz Tuxedo Labs i Saber Interactive (Teardown). Celem tych działań pozostaje traktowanie sztucznej inteligencji jako narzędzia wspierającego kreatywność projektantów i katalizatora innowacji wykraczających daleko poza cyfrową rozrywkę.