Forscher entschlüsseln Sprache mit Gehirnwellen: Kann KI jetzt Gedanken lesen?

Ein kürzlich veröffentlichter Artikel am arXiv präsentiert einen aufregenden neuen Ansatz zur Dekodierung von Sprache direkt aus nicht-invasiven Gehirnaufzeichnungen. Dies könnte den Weg für die Wiederherstellung der Kommunikationsfähigkeit bei Patienten ebnen, die aufgrund neurologischer Erkrankungen die Fähigkeit zum Sprechen verloren haben. Die Studie gibt Anlass zur Hoffnung, dass mit fortgesetzter Forschung die nicht-invasive Gehirndekodierung den Stimmlosen eine Stimme geben könnte.

Wie haben sie herausgefunden, wie man Gehirnaufzeichnungen in Sprache umwandeln kann?

Mal sehen.

Die Herausforderung des Sprachverlusts

Unfähig zu kommunizieren kann verheerend sein. Tausende Menschen verlieren jedes Jahr aufgrund von Hirnverletzungen, Schlaganfällen, ALS und anderen neurologischen Erkrankungen die Fähigkeit zu sprechen. Patienten bleiben in ihrem eigenen Kopf gefangen und können ihre Gedanken, Gefühle, Bedürfnisse und Wünsche nicht ausdrücken. Dies verringert ihre Lebensqualität erheblich und beeinträchtigt ihre Autonomie und Würde.

Die Wiederherstellung der Sprache ist eine äußerst schwierige Herausforderung. Invasive Gehirn-Computer-Schnittstellen, bei denen Elektroden in das Gehirn implantiert werden, können es Patienten ermöglichen, mit ihren Gedanken zu tippen. Doch die Synthese natürlicher Sprache aus Gehirnsignalen – ohne Elektroden – ist bislang schwer zu erreichen.

Ein neuartiger Ansatz zur Sprachdekodierung

In dieser neuen Studie verwendeten Forscher ein Deep-Learning -Modell, um nicht-invasive Gehirnaufzeichnungen zu analysieren, während die Teilnehmer passiv der Sprache zuhörten. Elektroenzephalographie- (EEG) und Magnetenzephalographie-Sensoren (MEG) erfassten die Gehirnsignale.

Das Modell wurde darauf trainiert, Darstellungen des Sprachaudios aus den entsprechenden Gehirnaktivitätsmustern vorherzusagen. Dies ermöglichte die Dekodierung von Sprache, indem neue Gehirnaufzeichnungen mit der wahrscheinlichsten Sprachrepräsentation abgeglichen wurden.

Drei wesentliche Innovationen waren beteiligt:

• Die Verwendung einer kontrastiven Verlustfunktion für das Training erwies sich als effektiver als herkömmliche Ansätze des überwachten Lernens. Dieser Verlust ermutigte das Modell, Sprachlatenten zu identifizieren, die maximal mit den Gehirnlatenten übereinstimmten.

  
  

• Die Nutzung leistungsstarker vorab trainierter Sprachdarstellungen aus dem wav2vec 2.0-Modell lieferte umfangreichere Sprachdaten als zuvor verwendete handgefertigte Sprachfunktionen.

  
  

• Ein auf die Gehirndaten jedes Teilnehmers zugeschnittenes Faltungs-Neuronales Netzwerk mit einer „Subjektschicht“ verbesserte die Individualisierung.

  
  

Das Modell wurde anhand öffentlicher Datensätze trainiert, die 15.000 Stunden Sprachdaten von 169 Teilnehmern umfassten. Bemerkenswert: Tests an neuen, noch nie gesehenen Sätzen zeigten eine beeindruckende Zero-Shot-Dekodierungsfähigkeit.

Deutliche Verbesserungen der Genauigkeit

Für 3-Sekunden-Sprachsegmente konnte das Modell das passende Segment aus über 1.500 Möglichkeiten identifizieren mit:

• Bis zu 73 % Genauigkeit für MEG-Aufzeichnungen
• Bis zu 19 % Genauigkeit bei EEG-Aufzeichnungen

Dies stellt eine dramatische Verbesserung gegenüber früheren Versuchen der Sprachdekodierung mithilfe nicht-invasiver Sensoren dar. Es nähert sich auch der Genauigkeit an, die in Studien mit invasiven Gehirnimplantaten erreicht wurde.

Auf Wortebene erreichte das Modell eine Spitzengenauigkeit von 44 % bei der Identifizierung einzelner Wörter aus MEG-Signalen. Diese Fähigkeit, Wörter direkt aus nicht-invasiven Aufzeichnungen neuronaler Aktivität zu entschlüsseln, ist selbst bei einer Wirksamkeit von 44 % ein wichtiger Meilenstein.

Das Potenzial zur Wiederherstellung der natürlichen Sprache

Diese Forschung gibt Anlass zur Hoffnung, dass Sprachdekodierungsalgorithmen bei ausreichenden Fortschritten eines Tages Patienten mit neurologischen Erkrankungen dabei helfen könnten, fließend zu kommunizieren.

Anstelle chirurgisch implantierter Elektroden könnten möglicherweise EEG- und MEG-Sensoren auf die Sprechabsicht des Gehirns hören. Fortgeschrittene KI könnte dann die Wörter und Sätze im Handumdrehen synthetisieren, um den Stimmlosen eine Stimme zu geben.

Das Hören ihrer eigenen Stimme zum Ausdruck einzigartiger, neuartiger Gedanken und Gefühle könnte dazu beitragen, den Patienten Identität und Autonomie wiederherzustellen. Es könnte die soziale Interaktion, die emotionale Gesundheit und die Lebensqualität wirklich verbessern.

Verbleibende Herausforderungen

Obwohl diese Technologie äußerst vielversprechend ist, bleiben noch viele Herausforderungen zu bewältigen, bevor sie für die medizinische Anwendung bereit ist. Das größte Problem besteht darin, dass die aktuelle Genauigkeit zwar weit über früheren Versuchen liegt, für natürliche Gespräche jedoch immer noch zu gering ist.

Darüber hinaus können sich die Gehirnsignale während der aktiven Sprachproduktion erheblich von dem hier getesteten Szenario des passiven Zuhörens unterscheiden. Weitere Untersuchungen zu Datensätzen, die aufgezeichnet werden, während die Teilnehmer sprechen oder sich das Sprechen vorstellen, sind erforderlich, um sicherzustellen, dass die Modelle korrekt sind.

Schließlich sind EEG- und MEG-Signale anfällig für Störungen durch Muskelbewegungen und andere Artefakte. Zur Isolierung der sprachbezogenen neuronalen Signale werden robuste Algorithmen benötigt.

Ein Meilenstein an einer wichtigen Grenze

Diese Studie stellt einen Meilenstein an der Schnittstelle von Neurowissenschaften und künstlicher Intelligenz dar. Mithilfe leistungsstarker Deep-Learning-Ansätze und großer Datensätze haben die Forscher die Grenzen dessen, was bei der Dekodierung von Sprache aus nicht-invasiven Gehirnsignalen möglich ist, erweitert.

Ihre Techniken bieten eine solide Grundlage für weitere Fortschritte. Mit intensiver Forschung und verantwortungsvoller Entwicklung könnte diese Technologie eines Tages dazu beitragen, die natürlichen Kommunikationsfähigkeiten von Patienten wiederherzustellen, die unter neurologischen Erkrankungen und Sprachverlust leiden. Dies ist ein wichtiger Meilenstein auf dem langen Weg, den Stimmlosen eine Stimme zurückzugeben.

Abonnieren oder folge mir weiter Twitter für mehr Inhalte wie diesen!