89. NEUROSCIENCES & PSYCHOLOGIE.

Prédire les propriétés grammaticales des mots peut nous aider à lire plus rapidement.

Résumé : Lors de la lecture, les gens peuvent non seulement prédire le mot suivant, mais également prédire les caractéristiques grammaticales du mot. Cela nous permet de lire plus rapidement. Ces résultats peuvent aider à développer de nouveaux réseaux de neurones axés sur le traitement du langage naturel.

Source: HSE

Les psycholinguistes du HSE Center for Language and Brain ont constaté qu'en lisant, les gens sont non seulement capables de prédire des mots spécifiques, mais aussi les propriétés grammaticales des mots, ce qui les aide à lire plus rapidement. Les chercheurs ont également découvert que la prévisibilité des mots et des caractéristiques grammaticales peut être modélisée avec succès à l'aide de réseaux de neurones.

L'étude a été publiée dans la revue PLOS ONE .

La capacité de prédire le mot suivant dans le discours d'une autre personne ou en lecture a été décrite par de nombreuses études psycho et neurolinguistiques au cours des 40 dernières années. On suppose que cette capacité nous permet de traiter les informations plus rapidement. Certaines publications récentes sur la langue anglaise ont démontré qu'en lisant, les gens peuvent non seulement prédire des mots spécifiques, mais aussi leurs propriétés (par exemple, la partie du discours ou le groupe sémantique). Une telle prédiction partielle nous aide également à lire plus rapidement.

Afin d'accéder à la prévisibilité d'un certain mot dans un contexte, les chercheurs utilisent généralement des tâches cloze, telles que La cause de l'accident était un téléphone portable, ce qui a distrait le ______. Dans cette phrase, différents noms sont possibles, mais le conducteur est le plus probable, qui est aussi la vraie fin de la phrase. La probabilité du mot conducteur dans le contexte est calculée comme le nombre de personnes qui ont correctement deviné ce mot sur le nombre total de personnes qui ont terminé la tâche.

L'autre approche pour prédire la probabilité des mots en contexte est l'utilisation de modèles de langage qui offrent des probabilités de mots reposant sur un grand corpus de textes. Cependant, il n'y a pratiquement aucune étude qui comparerait les probabilités reçues de la tâche de cloze à celles du modèle de langage.

De plus, personne n'a essayé de modéliser la prévisibilité grammaticale peu étudiée des mots. Les auteurs de l'article ont décidé de savoir si les locuteurs natifs de russe prédiraient les propriétés grammaticales des mots et si les probabilités du modèle de langage pourraient devenir une substitution fiable aux probabilités des tâches cloze.

Les chercheurs ont analysé les réponses de 605 russophones natifs dans la tâche de cloze en 144 phrases et ont découvert que les gens peuvent prédire avec précision le mot spécifique dans environ 18% des cas. La précision de la prédiction des parties du discours et des caractéristiques morphologiques des mots (genre, nombre et casse des noms; temps, nombre, personne et genre des verbes) variait de 63% à 78%.

Ils ont découvert que le modèle de réseau neuronal, qui a été formé sur le corpus national russe, prédit des mots spécifiques et des propriétés grammaticales avec une précision comparable aux réponses des gens dans l'expérience. Une observation importante était que le réseau neuronal prédit mieux les mots à faible probabilité que les humains et prédit les mots à haute probabilité pires que les humains.

La deuxième étape de l'étude était de déterminer comment les probabilités expérimentales et basées sur le corpus influent sur la vitesse de lecture. Pour examiner cela, les chercheurs ont analysé les données sur les mouvements oculaires de 96 personnes qui lisaient les mêmes 144 phrases. Les résultats ont montré que tout d'abord, plus la probabilité de deviner la partie du discours, le sexe et le nombre de noms, ainsi que le temps des verbes est élevée, plus la personne lit rapidement les mots présentant ces caractéristiques.

Les chercheurs affirment que cela prouve que pour les langues à morphologie riche, comme le russe, la prédiction est largement liée à la supposition des propriétés grammaticales des mots.

L'autre approche pour prédire la probabilité des mots en contexte est l'utilisation de modèles de langage qui offrent des probabilités de mots reposant sur un grand corpus de textes. L'image est dans le domaine public

Deuxièmement, les probabilités de caractéristiques grammaticales obtenues à partir du modèle de réseau neuronal expliquent la vitesse de lecture aussi correctement que les probabilités expérimentales. `` Cela signifie que pour des études ultérieures, nous serons en mesure d'utiliser les probabilités basées sur le corpus du modèle de langage sans mener de nouvelles expériences basées sur des tâches cloze '', a commenté Anastasiya Lopukhina, auteur de l'article et chercheur au HSE Center for Language and Cerveau.

En troisième lieu, les probabilités de mots spécifiques reçues du modèle de langage expliqué la vitesse de lecture d'une manière différente par rapport aux probabilités basée sur l'expérimentation. Les auteurs supposent que résultat une telle peut être liée à différentes sources de probabilités fondées sur les corpus et expérimentales: méthodes fondées sur les corpus sont mieux pour les mots à faible probabilité, et les résultats expérimentaux sont meilleurs pour les haute probabilité.

«Deux choses ont été importantes pour nous dans ce travail. Premièrement, nous avons découvert que la lecture de locuteurs natifs de langues à la morphologie riche impliquait activement des prédictions grammaticales », a déclaré Anastasiya Lopukhina. «Deuxièmement, nos collègues, linguistes et psychologues qui étudient la prédiction ont eu l'occasion d'évaluer la probabilité des mots à l'aide du modèle de langage:  http://lm.ll-cl.org/ . Cela leur permettra de simplifier considérablement le processus de recherche ».

À propos de cette actualité de recherche linguistique

Source: Contact HSE
: Liudmila Mezentseva - HSE
Image: L'image est du domaine public

Recherche originale: libre accès.
«Les probabilités morphosyntaxiques mais pas lexicales basées sur le corpus peuvent se substituer aux probabilités de cloze dans les expériences de lecture » par Anastasiya Lopukhina et al. PLOS ONE

Les probabilités morphosyntaxiques mais non lexicales basées sur le corpus peuvent remplacer les probabilités de cloze dans les expériences de lecture

Pendant la lecture ou l'écoute, les gens peuvent générer des prédictions sur les propriétés lexicales et morphosyntaxiques des entrées à venir en fonction du contexte disponible. Les expériences psycholinguistiques qui étudient la prévisibilité ou la contrôlent reposent classiquement sur une approche humaine et estiment la prévisibilité via la tâche cloze.

Notre étude a examiné une approche alternative basée sur le corpus pour estimer la prévisibilité via des modèles de prévisibilité du langage. Nous avons obtenu des probabilités cloze et basées sur le corpus pour tous les mots de 144 phrases russes, corrélé les deux mesures et trouvé une forte corrélation entre elles. Surtout, nous avons estimé à quel point la variance des mouvements oculaires enregistrés lors de la lecture des mêmes phrases était expliquée par chacune des deux probabilités et si les deux probabilités expliquent la même variance.

Parallèlement à la prévisibilité lexicale (l'activation d'une forme de mot particulière), nous avons analysé la prévisibilité morphosyntaxique (l'activation des caractéristiques morphologiques des mots) et son effet sur les temps de lecture au-delà de la prévisibilité lexicale. Nous avons constaté que pour prédire les temps de lecture, les mesures basées sur le cloze et le corpus de la prévisibilité lexicale et morphosyntaxique expliquaient la même quantité de variance.

Cependant, les probabilités lexicales de cloze et de corpus ont toutes deux contribué indépendamment à un meilleur ajustement du modèle, tandis que pour les probabilités morphosyntaxiques, les contributions des mesures de cloze et de corpus étaient interchangeables. Par conséquent, les probabilités morphosyntaxiques mais pas lexicales basées sur le corpus peuvent remplacer les probabilités de cloze dans les expériences de lecture.

Nos résultats indiquent également que dans les langues avec une morphologie flexionnelle riche, comme le russe, lorsque les gens s'engagent dans la prédiction, ils réussissent beaucoup plus à prédire des caractéristiques morphosyntaxiques isolées que de prédire le lexème particulier et son balisage morphosyntaxique complet.

Date : Mars 2021