Anzeige
Anzeige

Technik+Digitales

KI-System macht Hirnsignale zu Sprache

Gehirn
KI-Systeme können Hirnsignale in Sprache umwandeln. (Bild: Andreus iStock)

Wenn ein Mensch die Fähigkeit zu sprechen verliert, ist dies ein drastischer Einschnitt in seine Kommunikationsfähigkeit. Doch die Kombination von künstlicher Intelligenz mit hochauflösenden Ableitungen von Hirnströmen könnte solchen Patienten in Zukunft ihre Sprache zurückgeben. Jetzt haben Forscher ein solches Brain-to-Text-System entwickelt, das Hirnsignale mit verblüffender Präzision ausliest und in Wörter übersetzt. Mit einer Wortfehlerrate von im Schnitt drei Prozent ist diese auf gekoppelten neuronalen Netzwerken basierende Technologie deutlich treffsicherer als bisherige Systeme dieser Art.

Sprache ist für unsere Kommunikation essenziell – umso verheerender ist es, wenn Menschen ihre Sprachfähigkeit durch Verletzung oder Krankheit verlieren. Doch die moderne Technik und vor allem direkte Schnittstellen von Gehirn und Computer schaffen neue Möglichkeiten, Hirnsignale auszulesen und zu interpretieren. Dies lässt sich auch für sogenannte Brain-to-Text-Systeme nutzen. Denn wenn wir Worte hören oder sprechen, erzeugt dies charakteristische Aktivitätsmuster im Gehirn. Lernfähige Computersysteme können diese Muster erkennen und so Signal und Wort zuordnen. Tatsächlich ist es Wissenschaftlern schon gelungen, mit solchen Systemen gesprochene Silben und Worte allein anhand der begleitenden Hirnsignale zu erkennen und teilweise in verständliche gesprochene Sprache umzuwandeln. Allerdings war der Wortschatz solcher Versuche bisher meist auf weniger als 100 Wörter begrenzt und die Fehlerrate beim Erkennen lag mit rund 25 Prozent noch relativ hoch.

Zwei gekoppelte Netzwerke als „Übersetzer“

Jetzt haben Joseph Makin von der University of California in San Francisco und seine Kollegen ein System entwickelt, das eine deutlich höhere Genauigkeit erreicht – und dies schon mit relativ wenig Training. An ihrem Experiment nahmen vier Probanden teil, denen ein Netz aus Elektroden in die Großhirnrinde implantiert worden war. Ursprünglich dienten diese Elektroden dazu, die Herde ihrer epileptischen Anfälle zu lokalisieren, doch sie boten Makin und seinem Team auch die Chance, sprachbezogene Hirnsignale in hoher Auflösung abzuleiten. Der Versuch begann damit, dass die Teilnehmer einfache englische Sätze laut vorlasen, die ihnen auf einem Monitor gezeigt wurden. „Die Sätze waren im Schnitt neun Wörter lang und ergaben insgesamt ein Vokabular von 250 verschiedenen Wörtern“, berichten die Forscher. Parallel dazu zeichneten sie die dabei entstehenden Hirnsignale auf.

Diese Kombination aus Hirnsignalen und den dazu gehörenden akustischen Sprachaufzeichnungen nutzten Makin und sein Team anschließend, um ein System aus zwei lernfähigen neuronalen Netzwerken zu trainieren. Das erste Netzwerk, der sogenannte Encoder, dient als eine Art Filter, der die aufgezeichneten Hirnsignale nach wiederkehrenden Mustern durchsucht – Mustern, die mit den gesprochenen Wörter in Zusammenhang stehen könnten. Durch wiederholten Abgleich mit den Sprachaufzeichnungen verbesserte dieses System im Verlauf des Trainings seine Treffsicherheit. Das zweite System, der Dekoder, nutzt diese Daten seines Vorgängers, um nun aus den bereinigten Signalen wieder Wörter zu generieren. „Dieses neuronale Netzwerk ist darauf trainiert, bei jedem Schritt entweder ein passendes Wort auszugeben oder aber das Stoppsignal für das Satzende“, erklären Makin und seine Kollegen.

Wortfehlerrate unter fünf Prozent

Die Experimente ergaben, dass die gekoppelten KI-Systeme schon nach wenigen Trainingsdurchgängen eine relativ hohe Präzision erreichten. „Schon wenn mindestens 15 Wiederholungen eines Satzes für das Training verfügbar waren, konnten die Wortfehlerraten unter 25 Prozent gesenkt werden – das ist die obere Grenze für eine akzeptable Sprachtranskription „, berichten die Forscher. Hatten die Probanden die einzelnen Sätze häufiger als 15 Mal wiederholt, vergrößerte dies die Treffgenauigkeit deutlich: Die Systeme erreichten eine Wortfehlerrate von im Schnitt nur noch drei Prozent. „Fehlerraten von fünf Prozent gelten bereits als professionelles Niveau“, so Makin und sein Team. In einem ergänzenden Test stellten sie fest, dass sich die Trainingserfolge der KI-Systeme sogar von einem Probanden auf einen anderen übertragen ließen. Wurde das Encoder-Netzwerk an einem Patienten trainiert, fiel es ihm anschließend deutlich leichter, die charakteristischen Hirnsignale eines zweiten Patienten zu erkennen – das Training dauerte dann entsprechend kürzer. Nach Ansicht der Forscher könnte das System daher soweit optimiert werden, dass man es schon vor Einsatz an einem Patienten an einer Art generalisiertem Sprachmodell trainiert.

Anzeige

Nach Ansicht von Makin und seinem Team könnten solche KI-gestützten Dekodersysteme künftig dazu beitragen, Patienten die Sprachfähigkeit wiederzugeben indem ein Computer ihre Hirnsignale direkt in Sprache übersetzt. Wie die Forscher betonen, umfasst ihr Experiment zwar noch einen deutlich reduzierten Wortschatz von nur rund 250 Wörtern. Doch dafür reichte den KI-Systemen auch schon Sprach- und Hirnstrom-Aufzeichnungen von nur 30 Minuten Länge. „Unsere Ergebnisse deuten darauf hin, dass eine Steigerung der Datenmenge über diese 30 Minuten hinaus eine Ausweitung des Wortschatzes und eine größere Flexibilität der Satzstrukturen ermöglichen würde“, sagen die Forscher. „Zudem könnte schon ein paar hundert Wörter für einen Patienten, der sonst gar nicht sprechen kann, sehr hilfreich sein.“

Quelle: Joseph Makin (University of California, San Francisco) et al., Nature Neuroscience, doi: 10.1038/s41593-020-0608-8

Anzeige

bild der wissenschaft | Aktuelles Heft

Anzeige

Aktueller Buchtipp

Sonderpublikation in Zusammenarbeit  mit der Baden-Württemberg Stiftung
Jetzt ist morgen
Wie Forscher aus dem Südwesten die digitale Zukunft gestalten

Wissenschaftslexikon

Two killer whales jump above the sea surface, showing their black, white and grey colouration. The closer whale is upright and viewed from the side, while the other whale is arching backward to display its underside.

Two killer whales jump above the sea surface, showing their black, white and grey colouration. The closer whale is upright and viewed from the side, while the other whale is arching backward to display its underside. (Wikipedia; Robert Pittman – NOAA (http://www.afsc.noaa.gov/Quarterly/amj2005/divrptsNMML3.htm]))

Schwertwale (Orcinus orca) sind die größten Delphinartigen, bis zu 8 Meter groß, mit robustem Gebiß, schnell und intelligent sind sie die unangefochtenen Top-Prädatoren der Meere.
Ihre alten Namen wie Raubwal oder Mörderwal stammen noch aus der Zeit, als Menschen die „Fischdiebe“ bekämpft haben – noch Ende der 60er Jahren verscheuchte die US Air Force sie auf Wunsch isländischer Fischer mit Maschinengewehren, Raketen  und Wasserbomben aus den Fischgründen (Ellis, Richard (1999). Men and Whales. The Lyons Press. p. 472. ISBN 978-1-55821-696-9.)
Nicht zuletzt durch die moderne Schwertwal-Forschung von Michael Biggs und John Ford hat sich das Bild der Schwertwale vom Killer zum intelligenten Familientier gewandelt (Mehr zur Biologie und Erforschung der Orcas im letzten Absatz).

Geschützte Wal-Art frisst andere geschützte Wal-Art: Glattwale ziehen des Kürzeren

Im Zuge des Klimawandels erobern einige Orca-Gruppen gerade neue Ökosysteme, vor allem in der Arktis.
Fressen und gefressen werden ist der Lauf der Natur. Aber die derzeitigen Großwalbestände wie die arktischen Glattwale (Nordkaper und Grönlandwale) erholen sich nur langsam von ihrer Dezimierung durch den industriellen Walfang. Sogar nach dem totalen Verbot des Erlegens von Glattwalen 1949 haben russische Walfänger diese streng geschützten Arten weiterhin geschossen.

Anzeige

Gerade die Glattwal-Bestände im Nordatlantik und Nordpazifik sind immer noch sehr klein, die langlebigen Wale pflanzen sich nur langsam fort. Im westlichen Nordatlantik gibt es noch etwa 400 Individuen, im östlichen Nordatlantik wohl nur noch Dutzende – damit sind sie dort funktional ausgestorben.
Für die Nordpazifischen und Nordatlantischen Glattwale (Nordkaper, Northern right whale; Eubalaena japonicus und Eubalaena glacialis) sind zurzeit die Schifffahrt und die Fischerei die größten Bedrohungen. Zusätzlich gibt es vor allem auf die Kälber Angriffe von Orcas und großen Haien. Ein wie großer Teil der Bartenwale dadurch jährlich stirbt, ist nicht bekannt, allerdings tragen so viele Glattwale Biß-Narben von Orcas und Haien, dass die Angriffe wesentlich häufiger sein dürften, als die Wissenschaftler gelegentlich beobachten (Jessica K. D. Taylor et al: Shark predation on North Atlantic right whales (Eubalaena glacialis) in the southeastern United States calving grounds; Marine Mammals Science, 29(1), pp. 204 – 212;  21 March 2012).
Bei den ohnehin so kleinen Beständen reicht der Ausfall einiger Tiere pro Jahr, um eine Population langfristig an den Rand des Aussterbens zu bringen. Die Orcas tragen zumindest einen Teil dazu bei.

Vor der argentinischen Halbinsel Valdes überschneiden sich die Lebensräume von Orcas und Südkapern (Südliche Glattwale, Eubalaena australis). In einigen flachen Buchten bringen die Walmütter dort ihre Kälber zur Welt. Die behäbigen Glattwale haben innerhalb von nur drei Jahrzehnten ihren Lebensraum verändert: Das Areal mit der höchsten Orca-Dichte meiden sie mittlerweile, stattdessen sind sie in zwei benachbarte Buchten abgewandert. Zwischen 1972 und 2000 haben die Biologen 117 Begegnungen von Orcas mit den Südkapern beobachtet. In zwölf Fällen attackierten die großen Delphine die behäbigen Glattwale nachweislich, in 37 weiteren Fällen ist es auf jeden Fall zu Verhaltensänderungen der gekommen. Dabei haben die Südkaper Verhaltensweisen gezeigt wie das aktive Beschützen ihrer Kälber, sie haben ihre Fluken als Waffen eingesetzt, sind in flachere Gewässer geschwommen, haben sich zu größeren Gruppen zusammengeschlossen oder eine  Rosetten-Formation gebildet (dabei bilden die erwachsenen Wale einen Kreis um den Nachwuchs, alle Köpfe zeigen nach innen und die gefährlichen Fluken nach außen) – all diese Verhaltensweisen sind Verteidigungsmaßnahmen. Auch die dichte Ansammlung der Glattwalmütter in ihren Kinderstube Stuben vor der Halbinsel Valdes ist bereits eine Strategie, das individuelle Risiko zu senken. Dass die Glattwale die eine Bucht aufgegeben haben, hat die Anzahl der Begegnungen mit Orcas klar gesenkt. Auch wenn sich letztendlich nicht nachweisen lässt, dass die Glattwale ihren Aufenthaltsort wegen der hohen Anzahl der Orcas verlagert haben, wäre es eine gute Erklärung (Sironi, M., López, J. C., Bubas, R., Carribero, A., García, C.,  Harris,  G.  G., Payne,  R.  (2008).  Predation  by  killer  whales  (Orcinus  orca)  on  southern  right  whales  (Eubalaena  australis)  off  Patagonia,  Argentina:  Effects  on behavior and habitat choice (Report to the Scientific Committee  of  the  International  Whaling  Commission,  SC/60/BRG29). 18 pp.).

Nackt|amö|be  〈f. 19; Zool.〉 Angehörige einer Ordnung schalenloser Wurzelfüßer, die wechselnde Gestalt annehmen können: Gymnamöbina

psy|cho|so|zi|al  〈Adj.〉 durch soziale u. psychische Faktoren bedingt

» im Lexikon stöbern
Anzeige
Anzeige