Article body

1. Introduction et problématique

Dans les sociétés modernes, l’importance de savoir lire et écrire n’est plus à démontrer. Si on leur posait la question, la majorité des Canadiens s’accorderaient probablement à reconnaître le caractère indispensable de ces deux compétences pour fonctionner pleinement dans la société. Plus spécifiquement, dans la perception populaire, le terme analphabète semble associé à une réalité sociale de handicap : pauvreté, marginalité, inadaptabilité sociale (Frier, 1997 ; Marandon, 1997 ; Street et Lefstein, 2007).

Des décideurs politiques partagent cette vision de l’analphabétisme. Par exemple, déjà en 1978, les membres de la Conférence générale de l’Organisation des Nations Unies pour l’éducation, la science et la culture (2006, p. 162) déclaraient :

[…] Une personne est analphabète si elle ne peut se livrer à toutes les activités qui requièrent l’alphabétisme aux fins d’un fonctionnement efficace de son groupe ou de sa communauté et aussi pour lui permettre de continuer d’utiliser la lecture, l’écriture et le calcul pour son propre développement et celui de la communauté.

Des chercheurs de différents domaines (pédagogie de la lecture, littératie, psychologie sociale, sociologie, etc.) contribuent à cette perception sociale négative de l’analphabétisme d’une part, en attirant l’attention de l’opinion publique sur un rehaussement des exigences de lecture et d’écriture dans les pays industrialisés (Jezak, Painchaud, d’Anglejan, 1995) et, d’autre part, en postulant l’existence d’un écart entre les exigences réelles en lecture et en écriture et les habiletés de diverses populations (Cook-Gumperz et Gumperz, 1981 ; Drouin, 1990 ; Johnston et Packer, 1987 ; Szwed, 1981).

Hautement médiatisées, ces études mettent actuellement de la pression sur les gouvernements pour fournir des données fiables et complètes en ce qui concerne les habiletés de lecture et d’écriture des adultes. Depuis les années 1990, on observe donc une tendance à tester régulièrement de larges populations. L’enjeu de ces statistiques est de taille. Sur le plan politique et économique, elles servent d’indicateur du bien-être des personnes, dans la mesure où on observe une corrélation significative entre les niveaux de maîtrise de la lecture et de l’écriture et les variables telles que l’employabilité (Finnie et Meng, 2007 ; Sussman, 2003), le revenu (Green et Riddell, 2007 ; Osberg, 2000), l’état de santé (Korhonen, 2006 ; Murray, Hagey, Willims, Shillington et Desjardins, 2008), le niveau d’éducation (Sweetman et McBride, 2004) ou le degré de participation aux services et à la vie politique du pays (Tuijnman et Boudard, 2001). Sur le plan socioéconomique international, les statistiques servent, par exemple, à montrer la compétitivité du pays sur des marchés internationaux (Coulombe, Tremblay et Marchand, 2004 ; Organisation de coopération et de développement économiques, 1992). Sur le plan des politiques éducatives, elles justifient des fonds attribués à la formation des adultes et aux programmes de soutien linguistique dans les entreprises (Weiner, 2008). Pour se convaincre de l’importance politique des données sur l’alphabétisation, il suffit de constater la quantité d’études analytiques publiées à la suite des enquêtes. Précisons que, dans cet article, le terme enquête est conforme à la terminologie de Statistique Canada et désigne les études menées auprès de larges échantillons de population dans le but de fournir des données statistiques. Par exemple, les données recueillies en 1994 par Statistique Canada ont été interprétées dans au moins une vingtaine de publications portant, entre autres, sur les niveaux de vie (Coulombe et Tremblay, 2006), l’emploi et le revenu (Krahn et Lowe, 1999), l’état de la santé des populations à risque (Fawcet et Roberts, 1998), et la disparité entre francophones et anglophones (Corbeil, 2000).

À l’heure actuelle, presque chaque année, des gouvernements nationaux et des organismes internationaux investissent des sommes importantes pour produire des données sur les niveaux d’alphabétisation. Chaque fois que ces données sont publiées, elles suscitent dans les médias des polémiques au sujet de l’étendue réelle du problème de l’analphabétisme. Face au caractère systématique de ces polémiques, on en arrive à remettre en cause le bien-fondé des sommes dépensées pour recueillir et interpréter les données.

Selon nous, l’utilité de ces enquêtes n’est plus à questionner. Nous sommes convaincue également que les statistiques obtenues sont éloquentes et qu’elles peuvent informer plusieurs décisions politiques, économiques et éducatives. Cependant, il nous faut rester consciente que :

[…] Les résultats d’une enquête, les chiffres qui en sont issus dépendent à la fois d’une définition, de l’élaboration d’un questionnaire, du choix de la population interrogée, de la réalisation de l’enquête et enfin du traitement statistique des données recueillies. Chaque chiffre publié doit être interprété avec prudence, car les commanditaires sont rarement neutres et les modes de collecte des données ne sont pas les mêmes selon que l’enquête est réalisée par une institution de statistique publique, par une organisation internationale ou par une entreprise privée.

Blum et Guérin-Pace, 2000, p. 11

Même si, comme nous allons le montrer dans cet article, les chercheurs en ce domaine de l’évaluation des compétences de lecture et d’écriture ont accompli des progrès conceptuels spectaculaires, particulièrement depuis les années 1990, le nouveau cadre complexe et sophistiqué exige que l’on y pose un regard critique dans une perspective interdisciplinaire (sciences de l’éducation, sciences sociales, sciences cognitives, statistique). C’est dans ce sens-là que nous argumentons en faveur d’un engagement plus actif des chercheurs en sciences de l’éducation au moment de la conception des instruments de mesure, certes, mais surtout lors de l’interprétation et de la vulgarisation des données en provenance des enquêtes. Le présent article vise à contribuer au débat par un examen critique de l’état des lieux dans ce domaine.

Dans un premier temps, nous traçons un bref aperçu de l’évolution historique et conceptuelle du domaine du 19e siècle à nos jours, afin d’illustrer comment le double concept d’évaluation du savoir-lire et écrire au quotidien a été remanié, non seulement en fonction des usages de l’écrit dans la société, mais aussi en fonction des connaissances dans les domaines connexes : psychologie, pédagogie, linguistique, sociologie et statistique. Dans un deuxième temps, nous présentons le cadre conceptuel issu de cette évolution. Finalement, dans le but de tracer quelques pistes de réflexion pour des recherches à venir, nous examinons certains flous conceptuels de ce nouveau cadre.

2. Contexte théorique

2.1 Auto-évaluation du savoir-lire et écrire des populations adultes

Les enquêtes sur les compétences de lecture et d’écriture des populations adultes ne datent pas d’hier. Ainsi, sur le continent nord-américain, déjà au 19e siècle, lors des recensements de la population, on incluait souvent dans le questionnaire la question : Savez-vous lire et écrire ? (Keastle, 1991 ; Resnick et Resnick, 1977). Le savoir-lire et écrire était alors un concept binaire : une personne était lettrée dès son premier contact avec l’écrit (connaître l’alphabet, signer son nom, etc.) et illettrée avant ce premier contact. Dans le contexte de sociétés peu industrialisées, où peu de personnes utilisaient l’écrit ou même y avaient accès, des compétences minimales en lecture et en écriture suffisaient pour fonctionner dans la société ; cette acception des termes lecture et écriture correspondait donc tout à fait à la réalité, et une définition plus fine du double concept de savoir-lire et écrire n’était pas essentielle (Hautecoeur, 1997 ; Wagner, 1987). Toutefois, cette auto-évaluation, tout à fait valable lorsqu’il s’agissait de distinguer les lettrés des analphabètes complets, a cessé d’être jugée suffisante dans les pays industrialisés lors de l’introduction de la scolarisation obligatoire. À partir de ce moment-là, plutôt que d’identifier les illettrés absolus, le défi était de tracer un portrait nuancé des habiletés de la population scolarisée lettrée (Buswell, 1937).

2.2 Évaluations directes du savoir-lire et écrire

Des tests directs, où le niveau de compétences était représenté en termes d’années de scolarité, voilà ce que proposaient des chercheurs pour répondre au besoin de données plus précises sur le savoir-lire et écrire des populations adultes scolarisées (Buros, 1977 ; Kaestle, 1991).

Entre les années 1930 et les années 1970, la conception du savoir-lire et écrire a évolué du décodage / encodage, où le rôle du lecteur / scripteur est négligé, aux modèles psychocognitivistes, qui mettent en jeu plusieurs variables et processus (Anderson et Pearson, 1984 ; Beach et Appleman, 1984). En même temps, on a mis à l’épreuve l’efficacité des premiers tests directs. Par exemple, Bormuth (1975), après avoir administré des tests lacunaires de lecture aux diplômés du secondaire, a constaté que seulement 65 % d’entre eux étaient capables de réussir le test correspondant à leur niveau de scolarité. De même, selon Kirsch et Guthrie (1978), le niveau de lecture des textes d’usage non scolaire des élèves de huitième année à Chicago variait entre celui de quatrième année dans les écoles les moins performantes et de dixième année dans les meilleures écoles. Les raisons de ces écarts étaient la perspective développementale de l’évaluation et le fait que, dans ces tests, l’accent était mis sur les tâches et matériaux de type scolaire, alors que, dans la vraie vie, les lecteurs adultes étaient souvent exposés à d’autres types de tâches et de matériaux. Bref, autant en pratique que dans la théorie, on a commencé à dissocier les variables scolarisation et savoir-lire dans les contextes d’évaluation des adultes.

En réponse à cette nouvelle tendance, durant les années 1970, les tests de lecture basés sur la performance ont dominé le paysage des enquêtes. Les principales études nord-américaines qui s’inscrivent dans cette perspective sont celles de Harris (1970, 1971), de Northcutt (1975) et du National Assessment of Educational Progress (1972, 1976). Les critiques majeures de cette approche portent sur le fait que celle-ci ne rend compte ni du traitement cognitif des textes de type non scolaire, ni de multiples facteurs contribuant à la difficulté des tâches. Plus particulièrement :

[…] Les enquêtes statistiques nationales qui mesuraient la performance utilisaient un modèle additif donnant un score unique qui représentait la somme des points accumulés pour chaque item. Ainsi, ces enquêtes concevaient la littératie comme compétence homogène distribuée sur un seul continuum dont les scores indiquaient le degré de maîtrise d’un trait particulier pour des individus ou des groupes.

Kirsch et Jungeblut, 1992, p. 7, notre traduction

L’évolution des théories psychocognitives a permis de pallier partiellement ces difficultés dans la mesure où on a pu préciser les facteurs en jeu lors du traitement de l’écrit en contexte scolaire en situation de mémorisation ou de rappel de texte. Toutefois, par rapport à l’évaluation du savoir-lire et écrire fonctionnels, un malaise évident demeurait, rendant difficile, dans la pratique, la dissociation théoriquement tant souhaitée entre les variables scolarisation et savoir-lire. Comme l’illustrent bien les articles-synthèses de Cervero (1985) ou de Hautecoeur (1997), plusieurs chercheurs en alphabétisation s’inquiétaient, par exemple, dès le début des années 1980, de l’incapacité des auteurs des enquêtes à s’entendre sur ce en quoi consistaient la lecture et l’écriture utilisées quotidiennement par des adultes.

En même temps, les auteurs mêmes des modèles psychocognitifs de lecture, tout en mettant en valeur la pertinence de ces modèles dans les contextes scolaires, indiquaient leurs limites dans des contextes extrascolaires. Ainsi, Weaver et Kintsch (1992) soulignent que leur modèle s’applique principalement pour décrire des situations de lecture qui consistent à mémoriser ou à rappeler le texte, alors que d’autres types de traitement, tout aussi courants dans la vie quotidienne, exigeraient, selon les auteurs, une approche conceptuelle différente. Dans un même ordre d’idées, Frederiksen et Donin (1991) mettent en relief l’idée que la littératie est un concept multidimensionnel et hautement contextualisé, qui dépasse largement les types d’opérations cognitives traditionnellement analysées. En allant au coeur des difficultés vécues par les évaluateurs des habiletés de lecture et d’écriture utilisées quotidiennement, les chercheurs constatent notamment que :

[…] L’extension double de la notion de littératie – (a) pour encadrer l’usage du discours dans des contextes spécifiques afin d’accomplir les fonctions socialement appropriées et pertinentes pour la situation, et (b) pour inclure un large éventail de capacités cognitives impliquées dans la compréhension, la production et l’usage de discours – a énormément compliqué le problème de l’évaluation de l’expertise discursive fonctionnelle à l’intérieur de contextes authentiques. Afin d’évaluer et de former adéquatement à l’expertise discursive fonctionnelle, il est donc nécessaire que nous puissions étendre les modèles existants des processus et des représentations impliqués dans la compréhension et la production du discours afin de rendre compte de l’activité cognitive située et de l’apprentissage dans des contextes authentiques et des domaines de connaissances dans lesquels le discours oral et écrit peuvent tous deux jouer un rôle.

Frederiksen et Donin, 1991, p. 3, notre traduction

2.3 Évaluation par profil du savoir-lire et écrire

Comme nous l’avons indiqué dans la section précédente, au début des années 1980, les concepteurs des enquêtes sur la littératie ont fait face à des critiques de deux ordres : pratique et conceptuel. Sur le plan pratique, on leur reprochait de ne pas tenir compte des véritables usages de l’écrit dans la vie quotidienne des adultes. Sur le plan théorique, on mettait en évidence les lacunes des modèles de lecture et d’écriture fonctionnelles.

La réponse à ces critiques, appelée évaluation par profil, résulte de deux courants de pensée parallèles et complémentaires : la réflexion théorique dans le domaine de la lecture et la conceptualisation d’une nouvelle série d’enquêtes nord-américaines. Dans les paragraphes qui suivent, nous retraçons, tout d’abord, la réflexion théorique et ensuite, les expérimentations dans le cadre des enquêtes menées à l’Educational Testing Service.

2.3.1 Réflexion théorique

Kirsch et Guthrie (1984a) ont mené une des premières recherches dans le domaine de la lecture ; ils se sont explicitement intéressés à la distinction qualitative entre la lecture en contexte scolaire (apprendre à lire et lire pour apprendre) et la lecture en contextes extra-scolaires (lire pour faire). Ces auteurs ont posé l’hypothèse que les habiletés de lecture utilisées dans la vie quotidienne par des adultes s’apparentaient aux activités de résolution de problèmes et impliquaient essentiellement la recherche d’information dans le texte. Ils ont critiqué la conception traditionnelle de la lecture perçue comme un ensemble uniforme de compétences, communes pour toute la société et pour tous les contextes. Selon eux :

[…] Les contextes particuliers donnent lieu à des usages particuliers de la lecture. Le lecteur est amené à choisir des matériaux et des opérations cognitives appropriés à ces contextes qui devraient être évalués différemment pour chaque type de lecture.

Kirsch et Guthrie, 1984a, p. 333, notre traduction

En conséquence de cette conception de l’activité de lecture, Kirsch et Guthrie recommandent de baser la recherche sur les analyses des tâches réellement effectuées par le lecteur. Les variables telles que la fréquence de la lecture, l’objectif de la lecture, le type de matériel lu et l’usage cognitif qui en est fait, sont jugées primordiales dans l’évaluation de l’activité de lecture. Selon Kirsch et Guthrie (1984a), à travers les différentes pratiques sociales reliées à l’écrit, les individus acquièrent des compétences de lecture spécifiques pour chaque type de tâche. Ainsi, le lecteur habitué au rappel en lecture et habile à cette tâche n’a pas obligatoirement de bonnes performances lors de la réalisation de la tâche de recherche d’information, ou, on peut le supposer, lors de toute autre tâche reliée au texte écrit.

Ces premières hypothèses ont été largement confirmées par des recherches ultérieures, dont celle de Guthrie et Kirsch (1987) ainsi que celle de Guthrie et Mosenthal (1987). Guthrie et Kirsch (1987) postulent que :

[…] La recherche de l’information dans le texte peut être définie comme un ensemble d’opérations cognitives nécessaire pour identifier à l’intérieur d’un texte écrit l’information spécifique, par exemple, les propositions, les phrases ou les chiffres. Dans l’évaluation de ce type d’activité, les modèles de résolution de problèmes (Sternberg, 1985, Brandsford et Stein, 1984, Reif et Heller, 1982) semblent être plus prometteurs que ceux de traitement de discours.

Guthrie et Kirsch, 1987, p. 220, notre traduction

À la suite des recherches précitées, Guthrie (1988) a proposé un premier modèle du processus de traitement du document dans les tâches de recherche d’information, modèle qui comprend cinq étapes : 1) identification de l’objectif de la tâche par le lecteur ; 2) identification des catégories d’information dont le lecteur aura besoin lors de la réalisation de la tâche ; 3) recherche de l’information dans le document ; 4) mise en commun de l’information fournie dans la formulation de la tâche et de l’information contenue dans le document ; et 5) retour sur l’ensemble des étapes jusqu’à ce que l’objectif de la tâche soit atteint.

2.3.2 Enquêtes

Parallèlement à cette réflexion théorique, un groupe de chercheurs associés à l’Educational Testing Service a expérimenté une approche d’évaluation par profil qui constitue jusqu’à nos jours la méthodologie principale des enquêtes partout dans le monde. La première enquête qui adoptait cette nouvelle perspective était celle de Kirsch et Jungeblut (1986). À un échantillon représentatif de 3 600 jeunes Américains âgés de 21 à 25 ans, les chercheurs ont fait passer un test de lecture et d’écriture basé sur la simulation de tâches inspirées de la vie quotidienne (par exemple, remplir un chèque ou consulter l’horaire de l’autobus). Afin de construire ces tâches, on a mis en valeur deux aspects jugés importants pour l’évaluation : le type de texte et l’usage du texte. À la suite d’une étude ethnographique des usages de l’écrit dans la vie quotidienne aux États-Unis, les genres textuels suivants ont été retenus comme étant les plus fréquemment utilisés : étiquette, directives d’usage, lettre (ou mémo), formulaire, tableau, graphique, textes de prose, index (ou référence), note, schéma (ou diagramme), annonce, facture, reçu. En ce qui concerne l’utilisation des textes, les objectifs suivants se sont avérés les plus fréquents : lire pour acquérir de nouvelles connaissances, pour évaluer, pour obtenir ou donner de l’information spécifique, pour interagir socialement, pour faire quelque chose. Ces deux types de facteurs, le type de texte et l’usage du texte, ont été organisés en un tableau croisé, et les tâches ont été conçues afin de satisfaire à toutes les catégories jugées fréquentes dans la vie quotidienne. Les tests ont été administrés lors d’entrevues individuelles de 60 minutes. Trente minutes supplémentaires ont été consacrées à remplir un questionnaire sociodémographique : antécédents familiaux, caractéristiques démographiques, niveau de scolarité, travail, vie communautaire, pratiques de littératie.

À la suite des tests, les auteurs ont confirmé l’existence des trois aspects distincts des tâches de lecture et d’écriture. Ils ont donc construit trois échelles distinctes : celle de la prose, celle du document et celle du calcul. Chaque échelle permet de rapporter les résultats obtenus aux tests en termes de points allant de 0 à 500. Le caractère distinct de ces trois types de tâches est souligné par les corrélations obtenues entre les trois échelles. Par exemple, la corrélation entre l’échelle du document et celle de la prose est de 0,62 et celle entre l’échelle du document et celle du calcul ne dépasse pas 0,48.

La même approche conceptuelle a été reprise et perfectionnée dans deux projets d’évaluation consécutifs par Kirsch et Jungeblut (1992) et par Kirsch, Jungeblut, Jenkins, et Kolstad (1993). Les trois projets visaient divers échantillons de la société américaine : des personnes inscrites à différents programmes gouvernementaux de formation professionnelle, de jeunes chômeurs en formation et, finalement, un échantillon représentatif de la population. À travers les trois études, les échelles de compétence ont été peaufinées et d’autres tâches ont été construites et validées. Au total, quelques 200 tâches de simulation à réponse libre ont été administrées et presque 40 000 sujets ont pris part aux enquêtes.

Parallèlement aux enquêtes américaines, en 1989, en 1994 et en 2003, Statistique Canada a utilisé l’approche par profil pour évaluer les capacités de lecture et d’écriture des échantillons représentatifs des adultes canadiens (Barr-Tellford, Nault et Pignal, 2005 ; Montigny, Kelly et Jones, 1991 ; Murray, 1996).

3. Conceptualisation actuelle du savoir-lire et écrire

Comme l’illustrent les sections antérieures de cet article, historiquement, une fois franchie l’étape de l’auto-évaluation, les habiletés de lecture et d’écriture utilisées quotidiennement par la population adulte ont été testées de façon de plus en plus fine et précise. En effet, l’hypothèse avancée par Kirsch et Guthrie (1984b), selon laquelle les activités de lecture et d’écriture dans la vie quotidienne s’apparentaient aux activités de résolution de problèmes, s’est avérée particulièrement fructueuse pour les enquêtes. Sur cette base, Mosenthal et Kirsch (1990, 1991, 1994 et 1998) proposent un cadre de référence : une nouvelle définition du savoir-lire et écrire ainsi qu’une nouvelle matrice conceptuelle qui permet d’inclure dans l’évaluation une variété de textes et de traitements cognitifs. Dans les paragraphes qui suivent, nous présentons ce cadre de référence.

3.1 Définition de la littératie

Les premiers tests directs évaluaient principalement les habiletés de lecture, alors que de nos jours, on s’intéresse à la littératie, qui englobe la lecture, l’écriture et le calcul. Ce terme désigne la maîtrise de discours écrits variés présents dans la vie de tous les jours et englobe donc également la représentation sociale de l’individu comme membre compétent de la société du savoir. On le préfère à celui d’alphabétisation, associé actuellement à l’initiation aux habiletés de lecture et d’écriture.

Dans son acception la plus restreinte, la littératie est reliée aux compétences variées, et souvent complexes, en lecture et en écriture. En réalité, le terme s’élargit et se complexifie par ses nombreux usages et ses dimensions diverses dans la société contemporaine, pouvant inclure aussi d’autres habiletés, comme le calcul, la pensée critique ou certains usages particuliers de l’oral. Les chercheurs et les praticiens du domaine s’entendent pour dire que la représentation de la maîtrise de discours écrits varie selon les individus et selon les contextes socioculturels auxquels ils appartiennent (Goody, 2007 ; Guthrie et Greaney, 1991 ; Heath, 1980 ; Heath et Street, 2008 ; Kalantzis et Cope, 2000 ; Kalantzis, Cope et Harvey, 2003 ; Mikulecky et Drew, 1991 ; Street et Hornberger, 2008 ; Street et Leftstein, 2007). La littératie est donc un concept dynamique, multidimensionnel et hautement contextualisé. Les chercheurs cités ci-dessus et tant d’autres constatent que les contextes sociaux distincts donnent lieu à des activités de littératie particulières. C’est la situation dans laquelle se déroule la lecture ou l’écriture qui détermine les objectifs de la tâche et la sélection des contenus. À leur tour, les contenus et les objectifs exigent la mise en oeuvre de processus cognitifs spécifiques pour chaque activité de littératie.

En accord avec cette conception de la littératie, les enquêtes menées auprès des adultes adoptent la définition suivante :

[…] aptitude à comprendre et à utiliser l’information écrite dans la vie courante, à la maison, au travail et dans la collectivité en vue d’atteindre des buts personnels et d’étendre ses connaissances et ses capacités.

Organisation de coopération et de développement économiques et Statistique Canada, 2000, p. 10

Cette définition utilitariste tranche avec la perception du savoir-lire et écrire vu comme un ensemble uniforme de rudiments en lecture et en écriture et, de façon réaliste pour les sociétés de savoir, elle renvoie à un continuum de compétences variées :

[…] On ne considère plus la littératie comme une capacité acquise à l’école primaire, mais plutôt comme un ensemble évolutif de compétences, de connaissances et de stratégies qu’une personne met en oeuvre tout au long de sa vie dans divers contextes ainsi que dans ses relations avec ses pairs et avec sa collectivité.

Kirsch, 2005, p. 95

3.2 Types de littératie

Mosenthal et Kirsch (1994) postulent l’existence de trois types de littératie qui se distinguent selon le format du texte : calcul, document et prose.

La littératie de type calcul implique un mélange de lettres et de chiffres dans le support écrit. La prose est définie comme un texte linéaire, organisé en paragraphes. Pour sa part, le document diffère des autres types, particulièrement de la prose, par sa structure non linéaire, par l’objectif de la lecture (lire pour faire) et par le traitement cognitif particulier qu’il implique (Kirsch et Mosenthal, 1989-1991). Il existe différents formats de document, tous issus de diverses formes de listes : matrice, représentation graphique (tarte, histogramme, graphique), image (diagramme, schéma), etc. Si le rôle principal du document est d’organiser efficacement l’information, les modes de réalisation de cet objectif varient d’un type de document à l’autre. Ainsi, les listes regroupent l’information en lignes et en colonnes. La combinaison ou le croisement des listes (la matrice) sert à réduire au maximum la redondance de l’information. Les représentations graphiques visent la mise en correspondance des données quantitatives en pourcentages ou selon d’autres types de mesures. De façon symbolique, les cartes représentent la distribution des objets ou des phénomènes abstraits dans un espace géographique. Finalement, les diverses formes des images illustrent les caractéristiques physiques des objets, états ou événements et de ce fait complètent la prose qui, souvent, se prête moins bien à ce type de contenu.

3.3 Traitement cognitif des tâches de littératie

Outre la reconnaissance d’une variété de contextes d’usage et de types de supports écrits, les enquêtes basées sur l’approche d’évaluation par profil modélisent les items des tests selon les processus et stratégies cognitifs propres aux activités de résolution de problème. Chaque tâche du test est ainsi représentative d’une configuration particulière de variables relatives aux processus enclenchés par le répondant pour rapprocher l’information énoncée dans la directive de la tâche et celle contenue dans le texte dans le but de formuler la réponse à partir de l’information disponible. Pour ces processus, quatre variables ont été retenues comme significatives : structure du texte, type d’appariement, type d’information demandée et plausibilité des éléments de distraction (Kirsch, Jungeblut et Mosenthal, 1998 ; Mosenthal et Kirsch, 1998, notre traduction).

Pour ce qui est de l’analyse de la structure, les auteurs proposent une formule de lisibilité qui consiste à décomposer le texte en listes simples afin d’identifier le nombre de catégories et d’items qu’il contient ; plus ce nombre est élevé et plus la tâche est difficile. Le type d’information renvoie au niveau d’abstraction de l’information qui se situe sur un continuum allant du plus concret (objet, personne, lieu, etc.) au plus abstrait (causalité, mise en opposition, etc.) ; plus l’information est abstraite et plus la tâche de littératie est difficile. La plausibilité des éléments de distraction est reliée à la présence, dans le document, des unités d’information qui ressemblent à l’information requise, mais qui, une fois traitées, s’avèrent être des leurres et ne donnent pas de réponse au problème à résoudre. Par exemple, un formulaire peut contenir deux rubriques signature dont l’une renvoie à la signature du livreur et l’autre du client. Dans la tâche de recevoir un colis, seule la signature du client permet de recevoir le paquet, alors que l’autre constitue un leurre. La difficulté de la tâche augmente en fonction du nombre de ces leurres et de leur proximité avec l’unité à traiter.

La quatrième variable, le type d’appariement, est la plus complexe, mais aussi cruciale pour l’établissement du niveau de complexité de la tâche, dans la mesure où elle permet d’analyser les processus cognitifs de mise en relation des informations provenant de la consigne et de celles contenues dans le document. En premier lieu, le type d’appariement renvoie au type de traitement cognitif de l’information : localisation, recyclage, intégration et génération (Mosenthal et Kirsch, 1994, notre traduction). La localisation implique la recherche d’une information isolée, par exemple une date dans un manuel d’histoire. Le recyclage prend place lorsque le lecteur réalise une série de localisations, par exemple, localiser le nom, le prénom et l’adresse dans les rubriques différentes d’un formulaire. L’intégration est une stratégie consistant à faire la synthèse ou la comparaison entre les informations identifiées lors d’une ou de plusieurs séries de recyclage. Le classement de chiffres en ordre croissant est un exemple d’une tâche d’intégration simple. La génération est la plus complexe des stratégies de recherche d’informations, dans la mesure où elle implique l’intégration basée non seulement sur les informations localisées dans le texte, mais également sur les connaissances antérieures du lecteur. Par exemple, pour définir l’influence du climat sur la végétation, le lecteur sera amené, tout d’abord, à effectuer deux recyclages : le premier dans la carte géographique des climats et le deuxième dans la carte géographique de la végétation. Ensuite, il devra générer la réponse en synthétisant les informations qui proviennent des deux cartes et de ses connaissances antérieures sur le climat et sur la végétation. Pour résumer, rappelons que les quatre stratégies représentent une hiérarchie des niveaux de difficulté, la localisation étant la plus simple et la génération, la plus difficile.

Un deuxième élément contribuant à la difficulté du type de pairage est le nombre d’unités à traiter au niveau de la consigne de la tâche et dans le texte : plus ce nombre est élevé, plus le traitement de l’information est difficile. Dans un même ordre d’idées, plus il y a d’inférences (textuelles et celles à partir des connaissances antérieures) à produire, plus le traitement du texte est complexe.

Mosenthal et Kirsch (1998) définissent cinq niveaux de difficulté pour les tâches de littératie (du moins difficile au plus difficile), qui reflètent des configurations spécifiques des quatre variables ci-dessus présentées : structure du texte, type d’appariement, type d’information demandée et plausibilité des éléments de distraction. Par exemple, les tâches du niveau 1 (les moins difficiles) consistent à localiser une unité à partir d’une seule unité de la consigne ; les distracteurs sont inexistants et l’information est concrète (objet, personne, attribut, quantité, action, etc.). C’est cette définition conceptuelle des niveaux qui a servi de point d’ancrage à la création des tâches et à l’établissement des niveaux de compétence dans les études menées par l’équipe de Kirsch, présentées antérieurement dans cet article.

4. Mise à l’épreuve du modèle d’évaluation par profil

À la charnière des années 1980 et 1990, alors que les progrès conceptuels des enquêtes de littératie n’étaient que très récents, le domaine a été confronté aux nouveaux défis. En effet, les changements politiques et économiques survenus à l’échelle internationale (par exemple, l’extension de la Communauté européenne, la création de l’Accord de libre-échange nord-américain (ALÉNA), l’ouverture des pays communistes, la mondialisation des économies, la mobilité croissante de la main d’oeuvre, etc.) ont créé le besoin de données comparables sur les niveaux de littératie des populations de partout dans le monde. Les gouvernements des pays industrialisés ainsi que les organisations internationales étaient prêts à investir des sommes importantes dans une évaluation directe des compétences en littératie, perçue dorénavant comme facteur crucial de la performance économique des pays, si bien que la recherche dans ce domaine est devenue, plus que jamais, politisée (Organisation de coopération et de développement économiques, 1992 ; Commission européenne, 1996).

4.1 Enquête internationale sur l’alphabétisation des adultes

C’est ainsi que, entre 1994 et 1998, 22 pays industrialisés ont pris part à l’Enquête internationale sur l’alphabétisation des adultes (EIAA) conçue à l’Educational Testing Services, coordonnée par Statistique Canada et financée en grande partie par l’Organisation de coopération et de développement économiques (OCDE et Statistique Canada, 1995, 2000 ; Statistique Canada et OCDE, 1997). À l’heure actuelle, cette enquête constitue le plus grand effort d’évaluation directe des compétences de littératie des populations adultes : selon les estimations de Statistique Canada (Organisation de coopération et de développement économiques et Statistique Canada, 2000), en 1998, les données empiriques recueillies portaient sur 10,3 % de la population mondiale et 51,6 % du produit international brut mondial. De plus, entre 1998 et 2005, la Chine, le Japon, la Malaisie, le Portugal et le Vanuatu ont recueilli les données en utilisant l’instrumentation de l’Enquête internationale sur l’alphabétisation des adultes.

Tout en adoptant le cadre de travail des enquêtes précédentes, l’équipe des évaluateurs de l’Enquête internationale sur l’alphabétisation des adultes a ainsi été amenée à mettre à l’épreuve l’évaluation par profil, afin de recueillir et interpréter les données provenant de pays, groupes et personnes qui diffèrent sur le plan linguistique et culturel. En collaboration étroite avec les équipes des pays participants, le questionnaire sociodémographique a été peaufiné et une centaine de tâches de simulation, certaines reprises des enquêtes précédentes et d’autres nouvellement créées, ont été administrées. Cette enquête a toutefois suscité plusieurs questionnements d’ordre conceptuel.

Déjà lors de la parution des résultats de l’enquête pilote, en 1995, une première surprise : les Européens sont, en général, moins lettrés que les Nord-Américains ! En particulier, les Français et les Polonais obtiennent des scores très bas aux enquêtes. Respectivement, 41 % et 43 % de leurs citoyens se situent au niveau 1, soit le plus bas, comparativement, par exemple, à 21 % des Américains ou 23 % des Canadiens. Inquiets de ces résultats, qui semblent contredire des estimations nationales, le ministère de l’Éducation nationale français, le gouvernement belge et l’Organisation de coopération et de développement économiques (par l’entremise de l’Office for National Statistics britannique) commandent leurs propres examens de l’Enquête internationale sur l’alphabétisation des adultes (Blum et Guérin-Pace, 2000 ; Carey, 2000). Les deux rapports publiés indiquent des pistes de réflexion qu’il serait utile d’explorer dans des recherches futures.

4.2 Défis de traduction et d’adaptation de tests

Tout d’abord, la traduction et l’adaptation des items comportent toujours un risque de malentendus culturels ou linguistiques, et il est légitime de se demander si une bonne traduction garantit un test réellement équivalent d’une langue à l’autre. À ce titre, Blum et Guérin-Pace (2001), dans leur analyse critique de la version française de l’enquête, constatent trois types d’écarts entre les formulations en anglais et celles en français, et cela pour 35 des tâches administrées dans le test : 1) les erreurs de traduction, mineures linguistiquement mais qui changent le sens de la phrase (ex. : within five years a été traduit par en moins de cinq ans) ; 2) la répétition des mêmes termes dans la consigne et dans la réponse dans les documents originaux (anglais) seulement ; et 3) la précision supérieure de la formulation en anglais.

En même temps, les facteurs culturels tributaires de la tradition de chaque pays en matière d’enquêtes, comme la motivation des répondants liée à la valeur accordée à la littératie ou encore l’attitude face aux tests et évaluations, peuvent également affecter les résultats. Par exemple, Guérin-Pace et Blum (1999) ont constaté, chez les répondants français, des corrélations fortes entre les variables Refus de répondre et Omissions et des corrélations plus faibles entre les variables Refus et Mauvaise réponse, ce qui les a amenés à conclure que Bon nombre d’échecs résultent probablement d’un manque de sérieux ou d’intérêt face à une longue enquête (Blum et Guérin-Pace, 2001, p. 7).

Dans un ordre d’idées différent, il convient également de se questionner sur les limites d’utilisation des mêmes tâches dans des pays différents, lorsque la littératie est définie comme […] la capacité d’utiliser des imprimés et des écrits nécessaires pour fonctionner dans la société, atteindre ses objectifs, parfaire ses connaissances et accroître son potentiel (Kirsch et collab., 1998). En effet, comme l’indiquent de nombreuses études ethnographiques, dont certaines citées antérieurement dans cet article (Frier, 1997 ; Heath et Street, 2008 ; Mikulecky et Drew, 1991), d’un pays à un autre et d’une époque à une autre, on observe de grandes différences de fréquence de types de textes et de type de tâches de littératie. Alors, ce qui est nécessaire dans un pays à un moment donné peut ne pas l’être dans un autre. Pour ce qui est des enquêtes menées aux États-Unis et au Canada, un examen minutieux d’un volume important de données ethnographiques sur les occurrences de littératie a servi de base à la création des tâches initiales de simulation, ce qui a assuré la représentativité de ces tâches par rapport à la vie quotidienne et au travail d’un citoyen de ces pays. Il serait donc souhaitable que des données ethnographiques similaires servent de point de repère à la création des tâches de simulation à toutes les enquêtes et dans tous les pays soumis à l’enquête. Ainsi, un des défis des enquêtes internationales de littératie est de trouver un équilibre entre les aspects communs des tâches, qui assurent leur comparabilité, et les aspects distincts qui assurent leur représentativité pour chaque pays (Carey, 2000 ; Organisation de coopération et de développement économiques, 1999).

La réflexion dans ce sens émerge actuellement en Europe. L’une de ces initiatives exploratoires est, par exemple, le projet de Culturally Balanced Assessment of Reading (C-BAR) (Bonnet, Daems, de Glopper, Horner, Lappalainen, Nardi, Remond, Robin, Rosen, Solheim, Tonnessen, Vertecchi, Vrignaud, Wagner et White, 2003), qui a abouti à l’ébauche d’une matrice supplémentaire à l’évaluation par profil.

5. Conclusion

Dans cet article, nous avons retracé l’évolution des enquêtes qui a abouti à l’évaluation par profil. Nous avons montré qu’entre le 19e siècle et l’époque moderne, le changement dans les contextes d’utilisation de textes écrits suscitait de nouveaux besoins en matière d’évaluation et posait des défis aux concepteurs des enquêtes sur la littératie. Invariablement, les nouvelles approches théoriques étaient assez rapidement remises en question dans la pratique.

De la même façon que dans le passé, l’évaluation par profil a grandement contribué à la qualité des données recueillies lors des enquêtes des niveaux de littératie des adultes. On a notamment pu dissocier les variables Scolarité et Littératie. La nouvelle matrice conceptuelle permet maintenant de répliquer les tâches de littératie qui varient en termes de matériaux écrits et de contextes sociaux de leur utilisation, mais restent comparables en termes de niveaux de difficulté. Les caractéristiques saillantes de cette matrice sont la nouvelle définition de la littératie, l’identification des trois types de littératie en fonction du type de texte utilisé (calcul, document et prose), la modélisation des processus de traitement de textes d’usage quotidien ainsi que l’identification des variables contribuant à la difficulté de traitement de ces textes.

En même temps, tout en reconnaissant les acquis de l’approche par profil, il convient de souligner que de nouveaux domaines d’application, et en particulier le caractère international des enquêtes, ont soulevé des questionnements dont quelques-uns ont été esquissés dans cet article. En bref, certains pays européens ont constaté que des instruments de mesure de la littératie, conceptualisés à l’origine aux États-Unis, ne convenaient pas à leur contexte socioculturel particulier, ce qui revient à dire que le cadre de l’approche par profil serait peu sensible à la variabilité culturelle et linguistique des populations évaluées. Cette hypothèse a été avancée 1) par Blum et Guérin-Pace (2000, 2001) et Guérin-Pace et Blum (1999), du ministère de l’Éducation nationale français, 2) par l’équipe britannique de Carey (2000), de l’Office for National Statistics, et 3) par certains autres organismes de recherche européens, par exemple, The European Network of Policy Makers for the Evaluation of Education Systems (Bonnet, Braxmeyer, Horner, Lappalainen, Levasseur, Nardi, Remond, Vrignaud et White, 2001 ; Remond, 2002 ; Vrignaud et Bonora, 1998).

Si on se fie aux tendances observées depuis le 19e siècle au sujet de l’évolution du domaine de l’évaluation statistique de littératie des populations adultes, force est de constater que les préoccupations pratiques nous amènent de nouveau à un réexamen du cadre théorique. Cette fois-ci, dans le souci de rendre justice à une variété de populations évaluées.

Les critiques énoncées par des chercheurs européens sont très pertinentes pour le Canada, pays caractérisé par le bilinguisme officiel et par une grande diversité ethno-linguistique de la population. Ainsi, si les chercheurs canadiens pouvaient avancer, à l’instar de leurs collègues européens, que l’évaluation par profil est peu sensible à la variabilité linguistique et culturelle de l’échantillon, on porterait un regard nouveau sur les résultats des immigrants canadiens, statistiquement plus faibles que ceux obtenus par les Canadiens de naissance aux enquêtes de littératie (Statistique Canada, 1989, 1994, 1998, 2003, 2005). Selon nous, un débat s’impose au sujet du traitement de la diversité linguistique et culturelle dans les enquêtes canadiennes de littératie ; d’autant plus que les échantillons représentatifs de la population adulte sont régulièrement testés depuis 1989 et que les données ainsi obtenues servent d’appui pour établir les politiques canadiennes dans une multitude de domaines, dont ceux de l’éducation, de l’emploi et des services sociaux. Cet article constitue une contribution à cette réflexion.