+49 (0) 421 9600-10
8.12.2021 - Anne-Katrin Wehrmann

Wenn Gedanken zu Sprache werden

Pressedienst

Neurosprachprothese kann im Kopf vorgestellte Wörter akustisch hörbar machen

Tanja Schultz ist Leiterin des Cognitive Systems Lab (CSL).
Tanja Schultz ist Leiterin des Cognitive Systems Lab (CSL). © WFB/Jörg Sarbach

Manche Menschen verstummen, weil sie krankheitsbedingt ihre Muskeln nicht mehr steuern können. Für Betroffene gibt es jetzt Hoffnung: Einem Team der Universität Bremen ist es gelungen, erstmals vorgestellte Sprache aus Gehirnsignalen über Lautsprecher hörbar zu machen.

Viele haben noch den bekannten englischen Astrophysiker Stephen Hawking vor Augen, wie er in seinem Rollstuhl sitzt und mithilfe eines Sprachcomputers mit seiner Umwelt kommuniziert. Schon in jungen Jahren war bei Hawking die Nervenkrankheit ALS diagnostiziert worden, und als er 2018 starb, hatte er schon seit 33 Jahren nicht mehr eigenständig sprechen können. Seinen Sprachcomputer konnte er in den letzten Jahren nur noch durch ein Zucken des Wangenmuskels kontrollieren – ein sehr langsamer und mühevoller Vorgang. Menschen wie ihm, die an neuromuskulären Krankheiten leiden, könnte künftig eine an der Universität Bremen entwickelte so genannte Neurosprachprothese ihre Lebensqualität deutlich verbessern. „Unser System zielt darauf ab, diesen Menschen natürliche Gespräche zu ermöglichen“, sagt Tanja Schultz, Leiterin des Cognitive Systems Lab (CSL).

„Bahnbrechender Forschungserfolg“

Der erste große Schritt auf dem Weg dorthin ist jetzt gelungen – ein „bahnbrechender Forschungserfolg“, wie die 57-jährige Informatikprofessorin betont. „Wir haben es geschafft, dass unsere Versuchspersonen sich reden hören, obwohl sie sich das Sprechen nur vorstellen.“ Die kürzlich in einem international renommierten Wissenschaftsjournal veröffentlichte Arbeit zu diesem Thema basiert auf einer Studie mit einer freiwillig teilnehmenden Epilepsie-Patientin, der zu medizinischen Untersuchungen Tiefenelektroden ins Gehirn implantiert worden waren. „Wenn Menschen sprechen, kommt der Impuls dafür aus dem Gehirn heraus“, erläutert Miguel Angrick, Erstautor der Studie. „Mit implantierten Elektroden können wir diese Prozesse darstellen, indem wir die entsprechenden Gehirnströme aufzeichnen.

Internationale Zusammenarbeit

Im Rahmen seiner Doktorarbeit hat der inzwischen promovierte 30-Jährige einen Algorithmus entwickelt, der diese sprachbezogenen neuronalen Prozesse nun direkt in hörbare Sprache umsetzt. Dafür waren in einem ersten Schritt die bisher insgesamt rund 25 Teilnehmenden gebeten worden, einen Text laut vorzulesen. Die Mitglieder des internationalen Projektteams, an dem auch Forschende der Virginia Commonwealth Universität in den USA und der Universität Maastricht in den Niederlanden beteiligt sind, zeichneten sowohl die dabei entstehenden akustischen Signale als auch die zugrundeliegenden Gehirnströme auf. Die Bremer Informatik-Fachleute brachten anschließend beides miteinander in Verbindung: So konnten sie letztlich definieren, welche neuronale Aktivität welchem Laut zugrunde liegt.

Miguel Angrick und Tanja Schultz ist ein bahnbrechender Forschungserfolg gelungen.
Miguel Angrick und Tanja Schultz ist ein bahnbrechender Forschungserfolg gelungen. © WFB/Jörg Sarbach

Überschaubare Datenbasis

Was die Entwicklung einer gut funktionierenden Neurosprachprothese in der Praxis erschwert: Es ist nicht erlaubt, Menschen rein zu Forschungszwecken Elektroden zu implantieren. „Unsere Forschung basiert darum auf Daten, die aus medizinischen Gründen ohnehin erhoben werden müssen“, macht CSL-Leiterin Schultz deutlich. „Wir arbeiten mit Menschen zusammen, die starke Epilepsie-Anfälle haben. Sie bekommen Elektroden da platziert, wo die Neurochirurgen die Quelle ihrer Probleme vermuten – und nicht da, wo wir sie für unsere Arbeit gerne hätten.“ Bei der eingangs erwähnten Patientin, deren Daten die Forschenden für ihre aktuelle Studie nutzen konnten, passte beides optimal zusammen: Bei ihr deckten die Elektroden Hirnareale ab, die für die Erzeugung von Sprache besonders wichtig sind.

Ähnliche Hirnprozesse für hörbare und vorgestellte Sprache

Auch diese Patientin las im Versuch zunächst Texte vor, aus denen das System mittels maschineller Lernverfahren die Korrespondenz zwischen Sprache und neuronaler Aktivität lernte. „Im zweiten Schritt wurde dieser Lernvorgang erst mit geflüsterter und dann mit vorgestellter Sprache wiederholt“, berichtet Angrick. „Dabei erzeugte unser System zum ersten Mal in Echtzeit ohne wahrnehmbare Verzögerung synthetisierte Sprache, also ein hörbares Signal, das auf einem anderen Signal beruht.“ Obwohl das System die Korrespondenzen ausschließlich auf Grundlage hörbarer Sprache gelernt habe, sei auch bei geflüsterter und vorgestellter Sprache eine hörbare Ausgabe erzeugt worden: „Das lässt den Schluss zu, dass die zugrundeliegenden Prozesse im Gehirn sowohl für hörbare als auch für vorgestellte Sprache vergleichbar sind.“

Eine Gedankenlesemaschine ist nicht das Ziel

Wichtig ist den Forschenden die Feststellung, dass ihre Neurosprachprothese nur das hörbar machen soll, was sich Patienten tatsächlich auszusprechen vorstellen. „Wenn flüchtige Gedanken durchs Hirn sausen, gehen wir nicht davon aus, dass das geplant und artikuliert wird – darum könnten wir das mit unserem Ansatz auch nicht einfangen“, macht Tanja Schultz deutlich. „Und das wollen wir auch gar nicht.“ Miguel Angrick ergänzt: „Es ist nicht unser Ziel, eine Gedankenlesemaschine zu bauen. Sondern es handelt sich um eine Prothese, und die zu benutzen muss man auch erst einmal erlernen.“

Miguel Angrick ist Erstautor der viel beachteten Studie.
Miguel Angrick ist Erstautor der viel beachteten Studie. © WFB/Jörg Sarbach

Tests gehen weiter

Die aktuelle Studie sei ein wichtiger Sprung in der Entwicklung, meint CSL-Leiterin Schultz. Man sei aber noch nicht ganz da, wo man hinwolle. „Die Qualität der Ausgabe ist noch nicht so überzeugend, wie wir sie gerne hätten. Da würde ich gerne noch ein paar Algorithmen ausprobieren, um die Sprachsynthese zu verbessern.“ Darüber hinaus wolle sie mit ihrem Team nachweisen, dass Nutzerinnen und Nutzer der Prothese über ein Trainieren mit dem System die Audioqualität selbst erhöhen können.

Unterdessen hat ihr Ex-Doktorand Miguel Angrick gerade einen Vertrag an der renommierten Johns Hopkins Universität in den USA unterschrieben. Dort wird er künftig im Rahmen eines Forschungsprojekts gezielt mit so genannten Locked-in-Patienten arbeiten, die aufgrund einer fast vollständigen Lähmung nicht mehr sprechen können. Seine bisherige Chefin ist optimistisch: „Ich gehe davon aus, dass die Forschungsgruppe dort relativ zeitnah die ersten Neurosprachprothesen in betroffenen Patienten installieren wird“, meint Tanja Schultz. „Nach meiner Einschätzung sollte es in drei bis fünf Jahren so weit sein.“

Pressekontakt:
Dr. Tanja Schultz, Leiterin des Cognitive Systems Lab (CSL) und Professorin im Fachbereich Mathematik/Informatik der Universität Bremen, Tel.: +49 421 218-64270, E-Mail: tanja.schultz@uni-bremen.de

Bildmaterial:
Das Bildmaterial ist bei themengebundener Berichterstattung und unter Nennung des jeweils angegebenen Bildnachweises frei zum Abdruck.

Foto 1: Tanja Schultz ist Leiterin des Cognitive Systems Lab (CSL).  © WFB/Jörg Sarbach
Foto 2: Miguel Angrick und Tanja Schultz ist ein bahnbrechender Forschungserfolg gelungen. © WFB/Jörg Sarbach
Foto 3: Miguel Angrick ist Erstautor der viel beachteten Studie © WFB/Jörg Sarbach

________________________________________
Der Pressedienst aus dem Bundesland Bremen berichtet bereits seit Juli 2008 monatlich über Menschen und Geschichten aus dem Bundesland Bremen mit überregionaler Relevanz herausgegeben von der WFB Wirtschaftsförderung Bremen GmbH. Bei den Artikeln handelt es sich nicht um Werbe- oder PR-Texte, sondern um Autorenstücke, die von Journalisten für Journalisten geschrieben werden. Es ist erwünscht, dass Journalistinnen und Journalisten den Text komplett, in Auszügen oder Zitate daraus übernehmen.
Bei Fragen schreiben Sie einfach eine E-Mail an pressedienst@wfb-bremen.de.

Erfolgsgeschichten


Pressedienst
27.03.2024
Gut gerüstet für Forschung in Eiseskälte

Polarforschende müssen sich für ihre Arbeit im Eis und in den Ozeanen auf hochpräzise Messgeräte, Sonden und Sensoren verlassen. Für Entwicklung, Bau und Wartung dieser Technik verfügt das Alfred-Wegener-Institut in Bremerhaven jetzt über ein eigenes Zentrum inklusive Tauchbecken und Teststand für Bohrgestänge.

nach Bremerhaven
Wissenschaft
26.03.2024
Wissenschaft persönlich: Prof. Dr. Andreas Rademacher

Prof. Dr. Andreas Rademacher von der Universität Bremen ist Professor für Mathematische Modellierung und Wissenschaftliches Rechnen sowie Direktor des Zentrums für Industriemathematik (ZeTeM). Aus mathematischer Sicht beschäftigt er sich mit der effizienten Simulation und Optimalen Steuerung von strukturmechanischen Problemen.

Pressedienst
21.03.2024
Neues aus Balkonien

Sie selbst nennt sich „Gartenjournalistin, die ein Blog betreibt“. Tatsächlich ist Melanie Öhlenbach längst mehr als das: Die Bremerin hat vier Bücher übers Balkon-Gärtnern geschrieben, hat eine eigene Radiosendung und ist Gewinnerin des Deutschen Gartenbuchpreises 2023. Von einer, die ihr Hobby zum Beruf gemacht hat.

auf den Balkon