Künstliche Intelligenz spielt Space Invaders

Ein neuronales Netz misst sich mit einem Menschen in 49 Computerspielklassikern (Google DeepMind)

Dass Computer Schach und andere Spiele spielen können, ist nichts Neues. Doch dafür müssen der Software Regeln und Spielzüge zuvor einprogrammiert werden. Jetzt jedoch stellen Forscher eines Google-Projekts eine künstliche Intelligenz vor, die sich ganz allein verschiedene Computerspiele beibringen kann. Das Deep Q-Network genannte Programm lernte selbständig, 49 Atari-Spieleklassiker von Space Invaders bis Breakout so gut zu spielen, dass es den Highscores erfahrener menschlicher Spieler nahe kam.

Für uns Menschen ist Lernen alltäglich und gleichzeitig überlebenswichtig. Ständig nehmen wir Sinneseindrücke aus unserer Umwelt auf, reagieren darauf und lernen, welches Verhalten für uns günstig ist und welches nicht. Ohne dass wir es merken, leistet unser Gehirn dabei Schwerstarbeit. Denn es muss unzählige verschiedene Reize auswerten, aus diesen wiederum die wichtigen herausfiltern, ihre Bedeutung erkennen und sie beispielsweise mit vergangenen Erfahrungen abgleichen. Erst durch diese Kombination aus Reizen, Erinnerungen und positiven oder negativen Verstärkungen lernen wir – beispielsweise wie wir in einem Computerspiel möglichst weit kommen und viele Punkte sammeln können.

Neuronales Netzwerk im Lerntest

Die Lernfähigkeit von Computern und Robotern ist im Vergleich dazu noch eher beschränkt und funktioniert nur in wenigen eng umgrenzten Anwendungsbereichen gut, wie Volodymyr Mnih und seine Kollegen vom Projekt Google DeepMind in London erklären. Sie haben nun allerdings eine künstliche Intelligenz entwickelt, die ohne viel Vorwissen direkt aus eingehenden Reizen lernen kann. Das Deep Q-Network (DQN) genannte System basiert auf einem neuronalen Netzwerk mit hierarchischen Filterschichten. Ähnlich wie unser Gehirn auch, lernt dieses Netzwerk durch positive Verstärkung: Bringt eine Aktion Erfolg, wird sie beibehalten. Bringt sie keinen, wird sie beim nächsten Mal verändert.

Um zu testen, wie gut und wie selbstständig DQN tatsächlich lernt, ließen die Forscher das Programm 49 verschiedene Videospiel-Klassiker lernen, die früher auf dem Atari 2600 liefen. Unter diesen sind Autorennspiele wie Enduro, Schießspiele wie Space Invaders, aber auch einfache Strategiespiele wie Breakout. Die Regeln und vor allem die Strategien, die zu einem möglichst hohen Highscore führen, unterscheiden sich jeweils. "Damit wollten wir demonstrieren, dass unser System auf Basis nur minimaler Vorinformationen robuste Strategien für ganz unterschiedliche Spiele lernen kann", betonen Mnih und seine Kollegen. Das Deep Q-Network erhielt jeweils die Bildinformationen der verschiedenen Spielphasen und die Rückmeldung, ob seine jeweilige Aktion positiv oder negativ war – ähnlich wie der Punktestand für einen menschlichen Spieler. Im eigentlichen Test spielte das neuronale Netzwerk das jeweils gelernte Spiel 30 Mal hintereinander und der Highscore wurde registriert. Der gegen ihn antretende menschliche Spieler durfte zuvor auch zwei Stunden üben und spielte danach das Spiel ebenfalls mehrfach durch.

Fast so gut wie der menschliche Spieler

Das Ergebnis: Das Computerprogramm schaffte es, sich die verschiedenen Spiele quasi selbst beizubringen. In einigen Spielen lernte es dabei sogar, längerfristige Strategien einzusetzen, wie die Forscher berichten: Beim Spiel Breakout beispielsweise besteht die optimale Strategie darin, sich zunächst einen Tunnel an der Seite freizuschießen, damit der Ball auch die Rückseite der Mauer zerstören kann. Im Durchschnitt schnitt das Deep Q-Network nur wenig schlechter ab als sein menschlicher Konkurrent: "In mehr als der Hälfte der Spiele erreichte DQN mehr als drei Viertel der Punktzahl, die der Mensch erzielte", berichten die Forscher. Bisherige lernfähige Programme lässt das Deep Q-Network damit weit hinter sich.

Nach Ansicht der Forscher demonstriert ihr System, dass auch Computer fähig sind, mit nur minimaler Vorinformation Neues zu lernen. Dem Deep Q-Network gelang dies noch dazu unter ganz unterschiedlichen Bedingen – je nach Spiel waren andere Spielzüge und Taktiken gefragt. "Dies ist damit die erste künstliche Intelligenz, die selbst lernt, eine vielfältige Spannbreite von Aufgaben erfolgreich zu bewältigen", konstatieren Mnih und seine Kollegen.

Reload-Capcha neu laden Text der identifiziert werden soll

Bitte geben Sie zusätzlich noch den Sicherheitscode ein!

Rubriken

 


Harte Nuss
Rätsel: Berühmte Entdecker gesucht

 

Der Buchtipp

Der italienische Ökologe und Insektenforscher Gianumberto Accinelli erklärt Dominoeffekte in der Natur kindgerecht und mit einer Prise Humor. Sein Sachbuch ist Wissensbuch des Jahres 2017 in der Kategorie Perspektive.

Zu allen Buchtipps


Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der Konradin Mediengruppe