Gedankenlesen 2.0 von Meta: Das Unternehmen veröffentlicht Brain2Qwerty v2

Das Unternehmen hat ein Modell entwickelt, das den von einer Person still auf einer Tastatur getippten Text akkurat rekonstruieren kann. Es scheint, als sei es erstmals gelungen nachzuweisen, dass nicht-invasive Methoden die Qualität erreichen können, die zuvor nur durch Gehirnchirurgie (wie bei Neuralink) für möglich gehalten wurde.

So funktioniert Brain2Qwerty v2:

– Das System basiert auf Brain2Qwerty v1. Im Gegensatz zur ersten Version rekonstruiert v2 jedoch Text, ohne den genauen Zeitpunkt jeder einzelnen Tastenanschlagung zu kennen. Es empfängt einen kontinuierlichen Strom von Gehirnaktivität und generiert sofort vollständige Sätze.

– Die interne Aufgabe ist in drei Ebenen unterteilt: Ein Encoder wandelt rohe MEG-Signale (Magnetoenzephalographie) in einzelne Zeichen um. Anschließend wird diese Sequenz von einem Aligner verarbeitet, der versucht, Wortgrenzen zu identifizieren und deren Embeddings zu erstellen. Diese Embeddings zusammen mit den Ausgabesignalen werden dann an ein Large Language Model (LLM) übergeben, das die finale Ausgabe formt.

– Der gesamte Aufbau wirkt wie ein massives Setup, das Millionen Dollar kostet.

Die Genauigkeit im Vergleich zu früheren Methoden ist, gelinde gesagt, außergewöhnlich hoch. Es wird eine durchschnittliche Wortgenauigkeit von 61 % angegeben (bei den besten Teilnehmern liegt sie bei rund 70 %). Gleichzeitig kann das System mehr symbolische Fehler zulassen als die erste Version, aber die semantische Bedeutung kommt dem Original deutlich näher.

facebookresearch.github.io/brain2qwerty/