263. NEUROSCIENCES

L'IA et l'EEG font parler les pensées silencieuses en texte

Résumé : Les chercheurs ont créé un système révolutionnaire capable de convertir de manière non invasive des pensées silencieuses en texte, offrant ainsi de nouvelles possibilités de communication aux personnes souffrant de troubles de la parole dus à des maladies ou à des blessures.

La technologie utilise un capuchon EEG portable pour enregistrer l'activité cérébrale et un modèle d'IA nommé DeWave pour décoder ces signaux en langage. Ce système portable surpasse les méthodes précédentes qui nécessitaient une chirurgie invasive ou un examen IRM fastidieux, offrant ainsi des performances de traduction EEG de pointe.

Il s’avère prometteur dans l’amélioration des interactions homme-machine et dans l’aide à ceux qui ne peuvent pas parler, avec des applications potentielles dans le contrôle de dispositifs tels que les bras bioniques ou les robots.

Faits marquants:

1. Le système enregistre l'activité cérébrale via un capuchon EEG et utilise le modèle d'IA DeWave pour traduire les signaux EEG en mots et en phrases.

2. La technologie a démontré une précision de traduction d’environ 40 % sur l’échelle BLEU-1 et vise à atteindre le niveau de performance des programmes de traduction traditionnels.

3. Il offre une alternative plus adaptable et moins invasive aux technologies précédentes, ayant été testée sur 29 participants présentant divers modèles EEG.

Source : Université de technologie de Sydney

Dans le cadre d'une première mondiale, des chercheurs du Centre d'intelligence artificielle centrée sur l'humain GrapheneX-UTS de l'Université de technologie de Sydney (UTS) ont développé un système portable et non invasif capable de décoder les pensées silencieuses et de les transformer en texte.

La technologie pourrait faciliter la communication pour les personnes incapables de parler en raison d’une maladie ou d’une blessure, notamment d’un accident vasculaire cérébral ou d’une paralysie. Cela pourrait également permettre une communication transparente entre les humains et les machines, comme le fonctionnement d’un bras ou d’un robot bionique.

Les technologies précédentes permettant de traduire les signaux cérébraux en langage nécessitaient soit une intervention chirurgicale pour implanter des électrodes dans le cerveau, comme Neuralink d'Elon Musk, soit une numérisation dans un appareil IRM, qui est volumineux, coûteux et difficile à utiliser dans la vie quotidienne. Crédit : Actualités des neurosciences

L'étude a été sélectionnée comme article phare de la conférence NeurIPS, une réunion annuelle de premier plan qui présente la recherche de pointe sur l'intelligence artificielle et l'apprentissage automatique, qui s'est tenue à la Nouvelle-Orléans le 12 décembre 2023.

La recherche a été dirigée par le professeur émérite CT. Lin, directeur du centre GrapheneX-UTS HAI, avec le premier auteur Yiqun Duan et son collègue doctorant Jinzhou Zhou de la Faculté d'ingénierie et d'informatique de l'UTS.

Dans l'étude, les participants lisaient silencieusement des passages de texte tout en portant une casquette qui enregistrait l'activité électrique cérébrale à travers leur cuir chevelu à l'aide d'un électroencéphalogramme (EEG). Une démonstration de la technologie peut être vue dans la vidéo ci-dessous.

Crédit : Thomas Do

L'onde EEG est segmentée en unités distinctes qui capturent les caractéristiques et les modèles spécifiques du cerveau humain. Ceci est réalisé par un modèle d'IA appelé DeWave développé par les chercheurs. DeWave traduit les signaux EEG en mots et en phrases en apprenant à partir de grandes quantités de données EEG.

« Cette recherche représente un effort pionnier dans la traduction des ondes EEG brutes directement en langage, marquant une avancée significative dans le domaine », a déclaré le professeur distingué Lin.

« C’est le premier à intégrer des techniques de codage discret dans le processus de traduction cerveau-texte, introduisant ainsi une approche innovante du décodage neuronal. L’intégration de grands modèles de langage ouvre également de nouvelles frontières en neurosciences et en IA », a-t-il déclaré.

Les technologies précédentes permettant de traduire les signaux cérébraux en langage nécessitaient soit une intervention chirurgicale pour implanter des électrodes dans le cerveau, comme Neuralink d'Elon Musk, soit une numérisation dans un appareil IRM, qui est volumineux, coûteux et difficile à utiliser dans la vie quotidienne.

Ces méthodes ont également du mal à transformer les signaux cérébraux en segments au niveau des mots sans aides supplémentaires telles que le suivi oculaire, ce qui limite l'application pratique de ces systèmes. La nouvelle technologie peut être utilisée avec ou sans eye-tracking.

La recherche UTS a été réalisée avec 29 participants. Cela signifie qu’elle sera probablement plus robuste et adaptable que la technologie de décodage précédente qui n’a été testée que sur un ou deux individus, car les ondes EEG diffèrent d’un individu à l’autre.

L’utilisation de signaux EEG reçus via un capuchon plutôt que depuis des électrodes implantées dans le cerveau signifie que le signal est plus bruyant. Cependant, en termes de traduction EEG, l’étude a fait état de performances de pointe, dépassant les références précédentes.

« Le modèle est plus apte à faire correspondre les verbes que les noms. Cependant, en ce qui concerne les noms, nous avons constaté une tendance vers des paires de synonymes plutôt que des traductions précises, comme « l'homme » au lieu de « l'auteur » », a déclaré Duan.

« Nous pensons que cela est dû au fait que lorsque le cerveau traite ces mots, des mots sémantiquement similaires peuvent produire des modèles d’ondes cérébrales similaires. Malgré les défis, notre modèle donne des résultats significatifs, en alignant les mots-clés et en formant des structures de phrases similaires », a-t-il déclaré.

Crédit : Armée australienne

Le score de précision de traduction est actuellement d’environ 40 % sur BLEU-1. Le score BLEU est un nombre compris entre zéro et un qui mesure la similitude du texte traduit automatiquement avec un ensemble de traductions de référence de haute qualité. Les chercheurs espèrent voir ce chiffre s’améliorer à un niveau comparable aux programmes traditionnels de traduction ou de reconnaissance vocale, qui sont plus proches de 90 %.

La recherche fait suite à une précédente technologie d’interface cerveau-ordinateur développée par l’UTS en association avec les forces de défense australiennes, qui utilise les ondes cérébrales pour commander un robot quadrupède, comme le montre la vidéo ADF ci-dessus.

À propos de cette actualité de la recherche en IA et neurotechnologies

Auteur : Leilah Schubert

Source : Université de technologie de Sydney

Contact : Leilah Schubert – Université de technologie de Sydney

Image : L'image est créditée à Neuroscience News

Recherche originale : les résultats seront présentés lors de la réunion sur les systèmes de traitement de l'information neuronale

Janvier 2024