US-Forscher rekonstruieren gehörte Worte aus Hirnsignalen

Gedanken in Sprache übersetzen - diesem Ziel kommen Wissenschafter allmählich näher. Hirnsignale in gesprochene Sprache zu übertragen, ist einem US-Forschungsteam nun recht gut gelungen. Die Signale stammten aus dem Hörzentrum des Gehirns und ergaben sich aus dem bewussten Hören von Gesprochenem.

"Wir fanden heraus, dass Menschen die Klänge zu 75 Prozent verstehen und wiederholen konnten, was weit über alle vorherigen Versuche hinausgeht", erklärte Studienleiter Nima Mesgarani von der Columbia University in New York City. Die Forscher kombinierten ein Spracherzeugungssystems (Vocoder) mit einem tiefen künstlichen neuronalen Netzwerk, um Hirnsignale in gesprochene Sprache übertragen zu können. Beteiligt an der im Fachjournal "Scientific Reports" vorgestellten Studie war auch der Neurochirurg Ashesh Mehta von der Hofstra Northwell School of Medicine in Manhasset in New York. Einbezogen wurden fünf von Mehta behandelte Patienten mit Epilepsie, deren implantierte Elektroden Signale aus dem Hörzentrum aufnehmen können.

Training

Zunächst wurde das Spracherzeugungssystem trainiert. "Dies ist die gleiche Technologie, die von Amazon Echo und Apple Siri verwendet wurde, um unsere Fragen verbal zu beantworten", erklärte Mesgarani. Allerdings bestanden die Trainingsdaten in diesem Fall nicht aus gesprochener Sprache, sondern aus den Hirnsignalen der Patienten in Reaktion auf gesprochene Sprache. Anschließend nutzten die Forscher ein umfangreiches Netzwerk aus künstlichen Neuronen, um den Sound des Spracherzeugungssystems zu analysieren und aufzubereiten.

Im Ergebnis ist eine roboterhaft klingende Stimme zu hören, die Ziffern von Null bis Neun spricht. Mesgarani und Kollegen spielten die Ergebnisse, die aus den Hirnsignalen der fünf Epilepsie-Patienten gewonnen worden waren, elf Testpersonen vor. Sie erkannten nicht nur die gesprochenen Wörter während 75 Prozent der Aufnahmezeit, sondern zu 80 Prozent auch, ob die sprechende Person männlich oder weiblich war. Das Team um Mesgarani hofft, dass eine weiterentwickelte Version ihres Verfahrens Teil eines Implantats werden könnte, das Gedanken direkt in gesprochene Sprache verwandelt. "Wenn der Träger in diesem Szenario denkt: ,Ich brauche ein Glas Wasser", könnte unser System die durch diesen Gedanken erzeugten Gehirnsignale aufnehmen und in eine synthetische verbale Sprache umwandeln", stellte Mesgarani in Aussicht.

Niels Birbaumer von der Universität Tübingen, der nicht an der Studie beteiligt war, dämpft die Erwartungen: "Im Grunde haben die Forscher nur die Reaktion des Gehirns auf einen äußeren Reiz aufgezeichnet." Dies sei, auf andere Reize bezogen, grundsätzlich schon seit der Einführung der Elektroenzephalografie (EEG) im Jahr 1929 möglich. Um tatsächlich Gedanken eines Menschen in gesprochene Worte zu übertragen, seien vermutlich mehrere 1.000 Elektroden im Gehirn notwendig. "Bei Gelähmten können wir ,ja" oder ,nein" aus den Gehirnwellen herauslesen, aber keine Gedanken rekonstruieren."