Kaum ein Technologiebereich hat in den letzten Jahren so rasante Fortschritte erlebt wie die künstliche Intelligenz. Dank neuronaler Netze sind diese Programme heute lernfähig und flexibel genug, um mit uns zu sprechen, selbstfahrende Autos zu steuern, Medizinern bei Diagnosen zu helfen oder komplexe Abläufe und Spiele zu beherrschen. In Strategiespielen wie Schach und Go haben KI-Systeme auf Basis neuronaler Netzwerke bereits menschliche Großmeister geschlagen – sie erreichten schon nach wenigen Tagen des Trainings ein Spielniveau, für das Menschen mehrere Jahre benötigen. Teilweise entwickelten die Algorithmen dabei sogar ganz neue, kreative Spielzüge. Doch in einem Bereich blieben die Leistungen der KI-Systeme bisher weit hinter den menschlichen zurück: im Teamwork. Eine der Schwierigkeiten liegt darin, dass man sich dafür in seine Partner hineinversetzen muss und vorhersagen, wie sie sich in einer bestimmten Situation wahrscheinlich verhalten werden.
Gemeinsame Jagd auf die Teamflagge
Diesem Problem haben sich nun Max Jaderberg und seine Kollegen vom Google-Forschungszentrum DeepMind in London angenommen. Als Test- und Trainingsumgebung für ihre Bots wählten sie den Ego-Shooter Quake III Arena, eines der bekanntesten 3D-Multiplayer First-Person Computerspiele. “Spiele dieser Art faszinieren Millionen von Nutzern, wegen ihres immersiven Gameplays, aber auch wegen der Herausforderungen, die sie im Bereich Strategie, Taktik, Hand-Auge-Koordination und Teamwork stellen”, erklären die Forscher. “Diese Komplexität macht die Multiplayer-Ego-Shooter gleichzeitig zu einem fruchtbaren Forschungsgebiet für die künstliche Intelligenz.”
Für ihr Experiment nutzten die Wissenschaftler eine spezifische Spielweise innerhalb von Quake III Arena – den sogenannten “Capture the Flag”-Modus. “Die Regeln dafür sind zwar einfach, aber die Dynamik ist komplex”, so Jaderberg und sein Team. In einer verwinkelten 3D-Umgebung müssen zwei Spieler-Teams versuchen, ihren Gegnern die Teamflagge abzujagen, während sie gleichzeitig ihre eigene Flagge schützen. Durch Schüsse mit Laserpistolen können die Spieler zudem Gegner temporär ausschalten und zur gegnerischen Basis zurückschicken. Das Team, das innerhalb von fünf Minuten die meisten Flaggen eingeheimst hat, gewinnt.
Besser als menschliche Spielerteams
In der Trainingsphase erzeugten die Forscher 30 verschiedene, auf neuronalen Netzwerken basierende Bots und ließen sie in tausenden von Spielen in immer neuen Umgebungen gegeneinander antreten. “Dadurch sind unsere Bots gezwungen, generalisierte Strategien zu entwickeln, statt sich einfach die Karte zu merken”, erklären Jaderberg und seine Kollegen. “Unsere Agenten müssen aus dem Nichts lernen, sich in der Spielumgebung zu orientieren, zu agieren, zu kooperieren und sich gegen die Gegner durchzusetzen.” Als Rückmeldung diente der Gewinn oder Verlust des jeweiligen Matches. Im Laufe von 450.000 Spieldurchgängen bildete sich ein Bot – For The Win (FTW) getauft – heraus, der die Spielstrategien besonders erfolgreich gelernt hatte. Diesen und ein Team seiner Klone ließen die Forscher dann im eigentlichen Test gegen die im Spiel integrierten Figuren oder gegen menschliche Spieler antreten. Auch gemischte Teams aus Bots und Menschen absolvierten das Spiel.
