Semantische Decoder | Neurowissenschaft
Hirnscanner übersetzen Gedanken in Text und Bild
Neuartige Hirn-Computer-Schnittstellen können in Text und Bild ungefähr wiedergeben, was Menschen durch den Kopf geht. Die MRT-basierte Technik kommt ohne OP zum Einsatz und soll langfristig Schlaganfallpatienten ihre Sprachfähigkeit zurückbringen.
Ein System, welches von Forschern der University of Texas mithilfe eines Transformatormodells, ähnlich dem von ChatGPT, entwickelt wurde, könnte Menschen mit Problemen beim Sprechen, wie beispielsweise nach einem Schlaganfall, helfen, wieder verständlich zu kommunizieren. Doch nicht nur Texas wird an Hirn-Computer-Schnittstellen geforscht, auch Forschende der Universität Osaka arbeiten mit ähnlichen Methoden, um gedachte Szenen und Gegenstände in Bildform wiederzugeben.
MRT-Bilder zeigen Hirnaktivität
Im Gegensatz zu anderen Sprachdecodierungssystemen erfordert das semantische Vorgehen keine Operation oder chirurgischen Implantate. Die Gehirnaktivität wird mit einem fMRT-Scanner gemessen. Je nachdem, welches Foto ein Proband gerade gesehen hatte (Japan) oder welchen Text er gehört hatte (Texas), aktivierten sich unterschiedliche Regionen im Gehirn und wurden stärker durchblutet - was die Forschenden messen konnten. In Austin, Texas, mussten die Versuchspersonen mehrere Stunden Podcast im MRT hören, um den Dekoder zu trainieren. Darauf basierend kann die Maschine später den Gedanken entsprechenden Text aus der Gehirnaktivität generieren.
In Japan setzen die Forschenden auf einen KI-Bildgenerator, um von den MRT-Scans wieder auf die gezeigten Bilder zu kommen. Via dem generativen »Stable Diffusion«-Tool, welches übrigens von der Münchner LMU entwickelt wurde, kam per Texteingabe ein neues Foto heraus - manchmal konnten die japanischen Forscher so ein annähernd erkennbares Bild rekonstruieren.
Der texanische Co-Studienleiter Alex Huth aus Texas sieht das in Austin erdachte Verfahren als wegweisend an: »Für eine nicht-invasive Methode ist dies ein echter Sprung im Vergleich zu bisherigen Versuchen, die typischerweise nur einzelne Wörter oder kurze Sätze generierten. Wir bringen das Modell dazu, kontinuierliche Sprache über längere Zeiträume mit komplizierten Ideen zu entschlüsseln.«
Der texanische Hirn-Scanner produziert keine Wort-für-Wort-Abschrift, sondern erfasst das Wesentliche dessen, was gesagt oder gedacht wird - wenn auch unvollkommen. Die Maschine produziert in etwa der Hälfte der Fälle einen Text, der der beabsichtigten Bedeutung der ursprünglichen Wörter sehr nahe kommt (und manchmal sogar genau entspricht).
Die Bedeutung eines Gedankens
In Experimenten zum Beispiel wurden die Gedanken eines Teilnehmers, der einen Sprecher sagen hörte: "Ich habe noch keinen Führerschein", mit »Sie hat noch nicht einmal angefangen, Autofahren zu lernen« übersetzt. Bei den Worten »Ich wusste nicht, ob ich schreien, weinen oder weglaufen sollte. Stattdessen sagte ich: 'Lass mich in Ruhe!'« wurde entschlüsselt als: »Ich fing an zu schreien und zu weinen, und dann sagte sie nur: 'Ich habe dir gesagt, du sollst mich in Ruhe lassen.'«
In Japan konzentrierten sich die Forschenden darauf, Bilder aus den Hirn-Scans zu produzieren. Es zeigte sich allerdings, dass Standard-KI-Übersetzer ungeeignet für die Verarbeitung von Hirnscans sind. Aus diesem Grund entschieden sich die Neurowissenschaftler in Osaka dafür, neue Übersetzer zu trainieren, indem sie Tausende von fMRT-Scans jedes einzelnen Probanden zusammen mit den entsprechenden Bildern verwendeten. Auf diese Weise konnte die KI einen fMRT-Scan ähnlich wie ein Bild aus der Region des visuellen Kortex interpretieren, die normalerweise für Formen und Positionen zuständig ist. Ebenso konnte sie einen Scan aus der Region, die normalerweise für den Inhalt des Bildes verantwortlich ist, ähnlich wie einen Text verarbeiten. Obwohl manchmal schon mit einem der beiden Inputs ein annähernd erkennbares Bild rekonstruiert werden konnte, waren die Ergebnisse weitaus besser, wenn die Forscher beide Verfahren kombinierten.
Kann die Technik missbraucht werden?
Die Forschenden in Austin gingen auch auf Fragen zum möglichen Missbrauch der Technologie ein. Sie schreiben, dass die Dekodierung nur bei willigen Teilnehmern funktioniere, deren Hirnströme vorher den Dekoder trainiert hatten. Gedanken-Übersetzungen von Personen, auf die der Decoder nicht trainiert worden war, waren unverständlich oder durch gedanklichen Widerstand unbrauchbar.
»Wir nehmen die Bedenken sehr ernst, dass unsere Methode für schlechte Zwecke verwendet werden könnte, und haben uns bemüht, dies zu vermeiden«, sagte Co-Studienleiter Jerry Tang. »Wir wollen sicherstellen, dass die Menschen diese Technologien nur nutzen, wenn sie es wollen und wenn es ihnen hilft.«
Die Forscher ließen ihre Probanden nicht nur Geschichten hören oder darüber nachdenken, sondern baten sie auch, sich vier kurze, stumme Videos anzusehen, während sie sich im Scanner befanden. Der semantische Decoder war in der Lage, anhand ihrer Gehirnaktivität bestimmte Ereignisse aus den Videos genau zu beschreiben.
Alexander Huth und Jerry Tang haben eine PCT-Patentanmeldung im Zusammenhang mit dieser Arbeit eingereicht. Zukünftig soll an der Anwendung der Methde außerhalb eines MRTs gearbeitet werden, etwa über die funktionelle Nahinfrarotspektroskopie (fNIRS).
Lesen Sie mehr zum Thema
Das könnte Sie auch interessieren
Sport hilft bei Neuro-Krankheit
Mit Ping Pong gegen Parkinson
Gegen Sepsis
Intensiv-KI besser als der Mensch
Handhabungstechnik
Sicher greifen im Labor
