Meta prezentuje Brain2Qwerty v2: Czytanie w myślach bez znajomości czasu naciśnięcia klawiszy

Firma Meta opracowała model zdolny do dokładnego rekonstruowania tekstu wpisywanego cicho na klawiaturze. To pierwszy przypadek, w którym metody nieinwazyjne zbliżają się jakością do wyników wcześniej osiągalnych wyłącznie dzięki operacjom mózgu, takim jak implanty Neuralink.

Kluczowe cechy Brain2Qwerty v2:

• Rekonstrukcja bez synchronizacji czasowej: W przeciwieństwie do pierwszej wersji, system v2 odtwarza tekst bez wiedzy o dokładnym momencie naciśnięcia każdego klawisza. Model otrzymuje ciągły strumień aktywności mózgowej i natychmiast generuje kompletne zdania.
• Trójstopniowa architektura wewnętrzna:

  1. Enkoder: Przekształca surowe sygnały MEG (magnetoencefalografia) na pojedyncze znaki.
  2. Aligner: Analizuje sekwencję znaków, aby zidentyfikować granice słów i skonstruować ich reprezentacje wektorowe (embeddings).
  3. LLM (Duży Model Językowy): Wykorzystuje wygenerowane embeddings oraz sygnały wyjściowe do sformułowania finalnego tekstu.
• Zaawansowana infrastruktura: Całość opiera się na skomplikowanym setupie technologicznym, którego koszty szacowane są na miliony dolarów.

Skuteczność i jakość

Dokładność nowego systemu przewyższa wcześniejsze metody. Średnia trafność na poziomie słowa wynosi 61% (osiągając około 70% dla najlepszych uczestników badań). Choć system może generować więcej błędów symbolicznych niż pierwsza wersja, zachowuje znacznie wyższą spójność semantyczną, co sprawia, że odtworzony sens jest bliższy oryginałowi.

Link do projektu