Lecture de pensée 2.0 : Meta dévoile Brain2Qwerty v2

La société a développé un modèle capable de reconstituer avec exactitude le texte qu'une personne tape silencieusement sur un clavier. Il semble qu'ils aient prouvé pour la première fois que les méthodes non invasives peuvent atteindre une qualité précédemment jugée accessible uniquement via une chirurgie cérébrale, comme celle proposée par Neuralink.

Voici les spécificités de Brain2Qwerty v2 :

– Le système s'appuie sur l'architecture de Brain2Qwerty v1. Cependant, contrairement à la première version, la v2 reconstruit le texte sans connaître le moment précis de chaque frappe de touche. Elle reçoit un flux continu d'activité cérébrale et génère immédiatement des phrases complètes.

– La tâche interne est divisée en trois niveaux : un encodeur convertit d'abord les signaux MEG bruts en caractères individuels. Ensuite, cette séquence est traitée par un Aligner, qui tente de déterminer où commencent et se terminent les mots, en construisant leurs embeddings (représentations vectorielles). Ces embeddings, accompagnés des signaux de sortie, sont transmis à un LLM (Grand Modèle de Langage) qui forme la sortie finale.

– L'ensemble ressemble à une infrastructure massive dont le coût se chiffre en millions de dollars.

La précision par rapport aux méthodes précédentes est, pourrait-on dire, spectaculaire. Une précision moyenne par mot de 61 % est revendiquée (environ 70 % pour les meilleurs participants). Parallèlement, bien que le système puisse tolérer davantage d'erreurs symboliques que la première version, le sens obtenu reste beaucoup plus proche de l'original.