L’évaluation des compétences langagières : enjeux et perspectives Introduction

Ce dossier thématique vise à explorer les enjeux et les perspectives de recherche liés à l’évaluation des compétences langagières, sous toutes ses formes et dans le cadre de divers contextes de recherche, d’enseignement et d’évaluation.

La proposition de ce numéro spécial est le fruit de riches discussions qui ont eu lieu dans le cadre d’une journée d’étude sur l’évaluation des compétences langagières, organisée en novembre 2019 à l’Université du Québec à Montréal. De nombreux chercheurs québécois ainsi que des praticiens et des gestionnaires de divers milieux de l’éducation se sont réunis afin d’explorer et d’approfondir certaines problématiques inhérentes à l’évaluation des compétences langagières. Des présentations et des échanges plus qu’enrichissants ayant eu lieu dans le cadre de l’événement, il a semblé important de constituer ce numéro thématique afin de faire rayonner les réflexions qui ont émané de cette journée toute particulière.

Si l’apprentissage d’une langue est un vaste sujet d’une grande richesse, l’évaluation des compétences langagières l’est tout autant. Dès les premières étapes de l’organisation de cette journée d’étude, nous avons constaté la multitude de sujets que cette thématique pouvait aborder. Les différents conférenciers ont ainsi discuté de divers enjeux entourant l’évaluation de la langue, que ce soit en lien avec la lecture, avec l’écriture ou avec l’expression orale, et ce, à tous les ordres d’enseignement et dans divers contextes d’évaluation. Leurs présentations ont abordé tant la richesse que la complexité de l’évaluation de la langue. Au point de vue théorique, plusieurs modèles et concepts ont été présentés, parfois pour encadrer les réflexions, parfois pour souligner des enjeux conceptuels importants au sein de travaux de recherche. Dans une perspective méthodologique, diverses méthodes d’évaluation, de notation, d’interprétation, standardisées ou non, ont été décortiquées, analysées et commentées. En effet, l’évaluation des compétences langagières est complexe, non seulement par la nature multidimensionnelle des compétences évaluées, mais aussi par les démarches de développement des épreuves ainsi que par la recherche de preuves de validité permettant d’assurer la qualité des épreuves conçues et celle de l’interprétation des résultats des candidats. Ces résultats sont extrêmement importants pour le parcours futur de la plupart des apprenants, puisqu’ils ont une influence majeure sur le déroulement du cheminement académique ou professionnel de ces derniers, notamment dans le contexte des évaluations à grands enjeux.

Ce numéro présente donc quatre articles qui s’intéressent à la question générale suivante : Quels sont les problématiques et les enjeux actuels inhérents à l’évaluation des compétences langagières ? Les articles présentés abordent tous cette question sous différents angles, que ce soit en explorant des enjeux conceptuels (Laurier), en soulignant des enjeux liés à l’analyse du niveau de complexité des textes écrits (Loignon) ou en discutant d’enjeux méthodologiques liés à la divergence dans l’évaluation des épreuves à grande échelle existantes (Chénier, Ince).

D’abord, Michel Laurier offre un bref historique de l’évaluation des compétences langagières depuis les années 1970. À travers cette recension des divers courants d’influences et des avancées scientifiques du domaine, l’auteur analyse les nombreux enjeux relatifs à l’évaluation des compétences langagières sous l’angle de quatre perspectives complémentaires : psychométrique, linguistique, pédagogique et sociale. Notamment, il aborde les réflexions scientifiques qui ont permis de faire émerger six grands enjeux en évaluation des compétences langagières : 1) la nature et les composantes de la compétence langagière, 2) les défis de la recherche de l’authenticité des tâches évaluées, 3) la complexité du processus de validation, 4) les considérations éthiques lors de la conception et de l’utilisation des évaluations, 5) les attentes sociales liées à l’évaluation des langues et 6) les défis de l’utilisation des technologies pour évaluer les compétences. Le texte de Michel Laurier, en offrant une vue d’ensemble sur les enjeux relatifs à l’évaluation des compétences langagières, constitue une introduction très pertinente au dossier thématique.

Pour sa part, partant des limites des outils de traitement automatisé des textes actuels qui sont conformes aux théories psycholinguistiques, mais qui ne sont pas adaptés au contexte québécois, Guillaume Loignon présente un outil d’analyse de la complexité des textes appelé ALSI (Analyseur Lexico-Syntaxique Intégré). Conçu pour le contexte scolaire québécois francophone, ALSI extrait automatiquement 48 attributs linguistiques et constitue l’un des premiers instruments qui analyse des textes écrits du primaire au secondaire au Québec. Après un aperçu des outils disponibles, l’auteur présente une typologie d’attributs caractérisant la difficulté du texte et explique de quelle manière ALSI extrait ces attributs. L’auteur a ensuite appliqué ALSI sur un corpus de 600 textes décrivant les attributs les plus associés statistiquement avec le niveau scolaire du texte. Ainsi, l’application permet d’évaluer le niveau de difficulté d’un ou de plusieurs textes en s’appuyant sur des variables comme la fréquence d’occurrence des mots, la présence de superpositions lexicales ou la longueur des phrases. L’auteur présente un outil d’analyse novateur, permettant de mesurer avec efficacité la complexité des textes, un aspect qui est important en éducation pour soutenir l’apprentissage en lecture et favoriser l’évaluation de cette compétence dans une perspective d’équité. Il montre également de quelle manière la technologie peut contribuer à approfondir les travaux de recherche s’intéressant à des objets d’étude complexes comme celui de la langue.

Christophe Chénier, de son côté, aborde la question du niveau de sévérité de différents examinateurs travaillant pour les mêmes évaluations, plus précisément, le rapport entre les étendues intra-individuelles et inter-individuelles des niveaux de sévérité chez les évaluateurs de l’expression orale. Ainsi, il présente les résultats d’une étude qui vise à comparer les rapports entre les écarts intra- et interindividuels de six évaluateurs ayant évalué la performance de 4083 candidats à l’épreuve d’expression orale du Test d’évaluation du français adapté au Québec (TEFAQ) entre septembre 2011 et avril 2014. Des dyades d’évaluateurs ont également été suivies afin de déterminer si le niveau de sévérité avec lequel l’épreuve était notée variait dans le temps pour un même évaluateur ou encore s’il variait entre les évaluateurs. Les résultats obtenus soulèvent d’importantes questions relativement à l’utilisation et au développement de futures évaluations du langage oral en contexte de multilinguisme.

Enfin, Émine Ince, dans le même sens, traite des enjeux liés aux divergences des résultats des examinateurs lors de la passation de tests standardisés en expression orale en langue seconde. Plus particulièrement, l’auteure discute des variabilités observées dans la notation, entraînées notamment par des facteurs comme la familiarité avec l’accent des candidats ou les inférences concernant le sens du discours des candidats. Elle présente ensuite les résultats d’une recherche comparant la notation de dix évaluateurs au Test d’évaluation du français (TEF). Les résultats obtenus à l’aide de protocoles de pensée à voix haute sont originaux et témoignent d’une grande variabilité dans l’évaluation d’un même candidat par divers évaluateurs. Cette variabilité est liée particulièrement à la différence dans l’interprétation de la performance des candidats, aux inférences non pertinentes qui tentent d’expliquer les difficultés rencontrées par les candidats, ou à l’attitude de l’animateur lors de la conversation avec le candidat qui peut être perçue différemment. Ces résultats font émerger de nombreuses réflexions méthodologiques sur la manière de réduire cette variabilité dans l’évaluation d’un même candidat par divers évaluateurs en expression orale.

En somme, les quatre articles présentés abordent un éventail d’enjeux conceptuels, méthodologiques, heuristiques, psychométriques et sociaux importants, liés à l’évaluation des compétences langagières. Les auteurs montrent que, bien que de nombreuses avancées aient eu lieu au cours de la dernière décennie, plusieurs défis en évaluation des compétences langagières restent encore à surmonter. Ils soulignent également que l’évaluation en langue doit être effectuée et soumis à un processus de validation dans un contexte de recherche scientifique avec des milieux éducatifs précis. À la lumière de ces textes, il est aisé de conclure que le processus d’évaluation des compétences langagières est complexe et que chaque épreuve ou chaque approche d’évaluation comporte ses forces et ses limites. Ainsi, de futures recherches en évaluation des compétences langagières gagneraient sans doute à s’intéresser aux approches méthodologiques mixtes et aux meilleures façons de combiner divers types d’évaluation pour arriver à un portrait plus juste et plus fiable des performances des apprenants de la langue.