AlphaStar är ett StarCraft II -spel utvecklat av DeepMind i samarbete med Blizzard Entertainment , och var den första AI som nådde nivån för de bästa spelarna i en e-sportsdisciplin utan speciella begränsningar. Projektet tillkännagavs 2016. I slutet av 2018 hölls en serie testmatcher mot professionella spelare, som slutade med en klar seger för AI, och 2019 deltog AlphaStar i det StarCraft II -rankade läget , vilket resulterade i att han nådde det högsta i- spelrankning av ligan - stormästare.
AlphaStar är ett artificiellt neuralt nätverk som skapades med hjälp av metoder för djupinlärning - med förstärkning och med en lärare (inspelningar av spel med riktiga människor tillhandahållna av Blizzard Entertainment användes som en träningsdatauppsättning) [1] . Under spelet används också statistiska data om hur levande människor agerade i den aktuella situationen [2] . Det neurala nätverket får som indata en uppsättning minikartor med olika filter som genereras av API:t och bygger en kedja av efterföljande åtgärder baserat på dem [3] .
På BlizzCon 2016 tillkännagavs ett gemensamt projekt mellan Blizzard Entertainment och DeepMind för att skapa artificiell intelligens för att spela StarCraft II . Som en del av samarbetet började Blizzard utveckla en uppsättning mjukvaruverktyg som gör att artificiell intelligens från tredje part kan interagera fullt ut med spelet, och förser också DeepMind med inspelningar av alla onlinematcher som spelas av levande människor som träningsdata [4] . I augusti 2017 slutfördes arbetet med ett öppet API för StarCraft II som en applikation för Linux- operativsystem som ger tillgång till spelinformation, inklusive spelkontot, som är tillgängligt för spelaren först efter spelets slut. Istället för att rita spelgrafik genererar applikationen en uppsättning minikartor med olika filter, som bör inmatas bildruta för bildruta till artificiell intelligens, som beräknar sekvensen av ytterligare åtgärder baserat på dem. Dessutom implementerades möjligheten att föra strider mellan flera bots i offline-läge och ett antal träningsscenarier skapades, som att samla resurser, flytta enheter, bygga byggnader och annat. DeepMind har släppt ett Python-bibliotek som länkar StarCraft II och implementeringar av maskininlärning [3] . Ett förtryck publicerades på DeepMind-bloggen och rapporterade de första resultaten. Den version av artificiell intelligens som fanns på den tiden förlorade till den inbyggda lätta AI i de allra flesta fall, och sällsynta fall av oavgjort orsakades av en förinställd artificiell gräns för spelets längd vid 30 minuter. DeepMind AI har lärt sig att använda förmågan hos Terran-strukturer att flyga upp och flytta runt på kartan för att undvika motståndarens armé och få spelet till oavgjort [5] .
Efter att ha tränats med inspelningar av levande mänskliga spel, lärde sig det neurala nätverket att slå den mest komplexa inbäddade AI som finns tillgänglig 95 % av tiden. Den resulterande versionen av artificiell intelligens spelade med sig själv i 14 dagars realtid, motsvarande 200 års spelande av StarCraft II. Inledningsvis använde den artificiella intelligensen DeepMind aktivt rush , och försökte uppnå en snabb seger genom att bygga ett stort antal relativt billiga enheter, men med tiden lärde det sig att avvärja sådana attacker och uppmärksamma andra aspekter av spelet, inklusive ekonomisk utveckling [ 6] [1] . Utöver huvudversionen av artificiell intelligens utvecklades under träningsprocessen "assistentspelare", vars uppgift var att komma med kreativa och ovanliga attackstrategier. Deras vinstprocent var låg, men de hjälpte till att bättre träna artificiell intelligens [2] .
Den 19 december 2018 hölls en serie testmatcher mellan en utvecklad version av artificiell intelligens, kallad AlphaStar, och cybersportmän Dario "TLO" Wunsch och Grzegorz "MaNa" Komnich , i en PvP-matchup (protoss mot protoss) [7] . AlphaStar slog var och en av cybersportarna med en poäng på 5:0. Artificiell intelligens hade en fördel: medan en människa bara såg vad som hände på skärmen såg AlphaStar hela kartan. Den icke-poänggivande matchen mot MaNa, där AlphaStar spelade med den vanliga begränsningen av det synliga området, förlorade det neurala nätverket, men utvecklarna noterar att det neurala nätverket tränade i detta läge i endast en vecka [1] . Dessutom, eftersom den artificiella intelligensen vid den tiden bara kunde spela i en PvP-matchup, var TLO tvungen att spela som en protoss, och inte som deras huvudras, Zerg [7] .
I juli 2019 började AlphaStar anonymt spela rankade matcher mot livespelare som tillät AI-spel i spelets gränssnitt. Metoden för att välja motståndare för artificiell intelligens och algoritmen för att beräkna dess betyg liknade de för livespelare. AlphaStar var mer begränsad än den var i december, med AI:n som bara kunde se vad som hände inom ett litet rörligt område, liknande spelarens kamera, och större gränser sattes för antalet åtgärder per minut (APM). Denna version av artificiell intelligens skulle kunna spela för alla tre racen i alla nio matchups [8] . Som ett resultat nådde AlphaStar den högsta spelrankingen - stormästare, som innehas av de 200 bästa spelarna i regionen (ungefär 0,2%) - för alla tre loppen [9] . David Silver, en forskare vid DeepMind, noterar att AlphaStar var den första AI som nådde nivån för de bästa spelarna i en e-sportgren utan speciella begränsningar [10] .
På BlizzCon 2019- festivalen sattes en dator upp så att alla kunde spela mot AlphaStar. Bland de som spelade fanns den regerande världsmästaren Joona "Serral" Sotala , vars match mot artificiell intelligens slutade med en 1-3-förlust. Detta resultat kan inte anses allvarligt, eftersom Serral för det första använde ovanliga kringutrustning, och för det andra var matchen inte speciellt organiserad och hölls på personligt initiativ av Joona [11] .
Trots det faktum att utvecklarna har begränsat antalet åtgärder per minut till ett värde som kan uppnås av en människa, förblir AlphaStar ovanligt snabb för en människa, eftersom en person använder repetitiva order när han spelar och kan göra impulsiva överhastade handlingar som inte spelar någon roll. alla AI-åtgärder förblir korrekta. . Så, i en strid med ett stort antal enheter, lyckas AlphaStar ge individuella kommandon till varje stridsenhet med snabbhet och precision otillgänglig för en levande person [12] [13] . Kommentator Aleksey "Alex007" Trushlyakov noterar också att artificiell intelligens inte förstår innebörden av vissa tricks av livespelare och inte alltid kopierar dem korrekt [14] .