Das glaube ich nicht
Wenn ein Mensch die Fähigkeit zu sprechen verliert, ist dies ein drastischer Einschnitt in seine Kommunikationsfähigkeit. Doch die Kombination von künstlicher Intelligenz mit hochauflösenden Ableitungen von Hirnströmen könnte solchen Patienten in Zukunft ihre Sprache zurückgeben. Jetzt haben Forscher ein solches Brain-to-Text-System entwickelt, das Hirnsignale mit verblüffender Präzision ausliest und in Wörter übersetzt. Mit einer Wortfehlerrate von im Schnitt drei Prozent ist diese auf gekoppelten neuronalen Netzwerken basierende Technologie deutlich treffsicherer als bisherige Systeme dieser Art.
Sprache ist für unsere Kommunikation essenziell – umso verheerender ist es, wenn Menschen ihre Sprachfähigkeit durch Verletzung oder Krankheit verlieren. Doch die moderne Technik und vor allem direkte Schnittstellen von Gehirn und Computer schaffen neue Möglichkeiten, Hirnsignale auszulesen und zu interpretieren. Dies lässt sich auch für sogenannte Brain-to-Text-Systeme nutzen. Denn wenn wir Worte hören oder sprechen, erzeugt dies charakteristische Aktivitätsmuster im Gehirn. Lernfähige Computersysteme können diese Muster erkennen und so Signal und Wort zuordnen. Tatsächlich ist es Wissenschaftlern schon gelungen, mit solchen Systemen gesprochene Silben und Worte allein anhand der begleitenden Hirnsignale zu erkennen und teilweise in verständliche gesprochene Sprache umzuwandeln. Allerdings war der Wortschatz solcher Versuche bisher meist auf weniger als 100 Wörter begrenzt und die Fehlerrate beim Erkennen lag mit rund 25 Prozent noch relativ hoch.
Zwei gekoppelte Netzwerke als “Übersetzer”
Jetzt haben Joseph Makin von der University of California in San Francisco und seine Kollegen ein System entwickelt, das eine deutlich höhere Genauigkeit erreicht – und dies schon mit relativ wenig Training. An ihrem Experiment nahmen vier Probanden teil, denen ein Netz aus Elektroden in die Großhirnrinde implantiert worden war. Ursprünglich dienten diese Elektroden dazu, die Herde ihrer epileptischen Anfälle zu lokalisieren, doch sie boten Makin und seinem Team auch die Chance, sprachbezogene Hirnsignale in hoher Auflösung abzuleiten. Der Versuch begann damit, dass die Teilnehmer einfache englische Sätze laut vorlasen, die ihnen auf einem Monitor gezeigt wurden. “Die Sätze waren im Schnitt neun Wörter lang und ergaben insgesamt ein Vokabular von 250 verschiedenen Wörtern”, berichten die Forscher. Parallel dazu zeichneten sie die dabei entstehenden Hirnsignale auf.
Diese Kombination aus Hirnsignalen und den dazu gehörenden akustischen Sprachaufzeichnungen nutzten Makin und sein Team anschließend, um ein System aus zwei lernfähigen neuronalen Netzwerken zu trainieren. Das erste Netzwerk, der sogenannte Encoder, dient als eine Art Filter, der die aufgezeichneten Hirnsignale nach wiederkehrenden Mustern durchsucht – Mustern, die mit den gesprochenen Wörter in Zusammenhang stehen könnten. Durch wiederholten Abgleich mit den Sprachaufzeichnungen verbesserte dieses System im Verlauf des Trainings seine Treffsicherheit. Das zweite System, der Dekoder, nutzt diese Daten seines Vorgängers, um nun aus den bereinigten Signalen wieder Wörter zu generieren. “Dieses neuronale Netzwerk ist darauf trainiert, bei jedem Schritt entweder ein passendes Wort auszugeben oder aber das Stoppsignal für das Satzende”, erklären Makin und seine Kollegen.
Wortfehlerrate unter fünf Prozent
Die Experimente ergaben, dass die gekoppelten KI-Systeme schon nach wenigen Trainingsdurchgängen eine relativ hohe Präzision erreichten. “Schon wenn mindestens 15 Wiederholungen eines Satzes für das Training verfügbar waren, konnten die Wortfehlerraten unter 25 Prozent gesenkt werden – das ist die obere Grenze für eine akzeptable Sprachtranskription “, berichten die Forscher. Hatten die Probanden die einzelnen Sätze häufiger als 15 Mal wiederholt, vergrößerte dies die Treffgenauigkeit deutlich: Die Systeme erreichten eine Wortfehlerrate von im Schnitt nur noch drei Prozent. “Fehlerraten von fünf Prozent gelten bereits als professionelles Niveau”, so Makin und sein Team. In einem ergänzenden Test stellten sie fest, dass sich die Trainingserfolge der KI-Systeme sogar von einem Probanden auf einen anderen übertragen ließen. Wurde das Encoder-Netzwerk an einem Patienten trainiert, fiel es ihm anschließend deutlich leichter, die charakteristischen Hirnsignale eines zweiten Patienten zu erkennen – das Training dauerte dann entsprechend kürzer. Nach Ansicht der Forscher könnte das System daher soweit optimiert werden, dass man es schon vor Einsatz an einem Patienten an einer Art generalisiertem Sprachmodell trainiert.
Nach Ansicht von Makin und seinem Team könnten solche KI-gestützten Dekodersysteme künftig dazu beitragen, Patienten die Sprachfähigkeit wiederzugeben indem ein Computer ihre Hirnsignale direkt in Sprache übersetzt. Wie die Forscher betonen, umfasst ihr Experiment zwar noch einen deutlich reduzierten Wortschatz von nur rund 250 Wörtern. Doch dafür reichte den KI-Systemen auch schon Sprach- und Hirnstrom-Aufzeichnungen von nur 30 Minuten Länge. “Unsere Ergebnisse deuten darauf hin, dass eine Steigerung der Datenmenge über diese 30 Minuten hinaus eine Ausweitung des Wortschatzes und eine größere Flexibilität der Satzstrukturen ermöglichen würde”, sagen die Forscher. “Zudem könnte schon ein paar hundert Wörter für einen Patienten, der sonst gar nicht sprechen kann, sehr hilfreich sein.”
Quelle: Joseph Makin (University of California, San Francisco) et al., Nature Neuroscience, doi: 10.1038/s41593-020-0608-8
