Abstracts
Résumé
Dans les années 2000, les instances nationales américaines en intervention précoce ont balisé l’évaluation en intervention à la petite enfance. Les caractéristiques de l’AEPS®/EIS, un outil d’évaluation authentique, répondent à ces critères. Présentement, une 3e édition de l’outil est en élaboration; elle vise l’introduction de deux nouveaux domaines, la littératie et la numératie. Ces domaines sont notamment importants en tant que prédicteur de la réussite scolaire. Cet article présente le volet validité de contenu pour le domaine de la littératie d’une étude sur les qualités psychométriques de ces nouveaux domaines. Les principaux résultats montrent que les items du domaine de la littératie de l’AEPS®/EIS sont en majorité pertinents et fonctionnels.
Abstract
In the 2000s, the national US associations in early childhood practice have defined evaluation in early education. The characteristics of the AEPS®/EIS, an authentic evaluation tool, meet these benchmarks. Currently, the 3rd edition is being elaborated; it introduces two news areas, literacy and numeracy. These areas are important notably as predictors of academic success. This article introduces one of the components of a study about the psychometric properties of these new areas, content validity. Main results show that items in the area of literacy AEPS®/EIS are predominately relevant and functional.
Article body
Contexte théorique
En 2002, aux États-Unis, la législation No Child left behind est signée par le président George W. Bush (Gao et Grisham-Brown, 2011). De cette législation découle la mise en place d’évaluations annuelles en littératie et en numératie dans le but de mesurer le rendement des élèves à l’aide de tests conventionnels. Les décideurs veulent ainsi s’assurer de la rentabilité de l’argent investi dans les programmes éducatifs. Les écoles et les enseignants dont la performance des élèves est jugée insatisfaisante peuvent alors être sanctionnés. Cette façon de faire, soit l’évaluation avec des tests conventionnels dans un objectif de reddition de compte, s’est étendue jusqu’au préscolaire (Meisels, 2007). Parallèlement, plusieurs auteurs (Bagnato, Neisworth et Pretti-Frontczak, 2010; Bricker, 2006; Gao et Grisham-Brown, 2011; Meisels, 2007; Thurman et McGrath, 2008) vont mettre en lumière les impacts négatifs et les lacunes associées à l’utilisation des tests conventionnels.
Entre autres, ils sont inappropriés pour les enfants présentant des limitations, des différences ethniques ou socio-économiques en raison des conditions de passations strictes (Meisels, 2007). Les procédures artificielles (tâches d’évaluation réalisée hors contexte, évaluateur étranger à l’enfant) peuvent amener l’enfant à ne pas répondre ou à donner des réponses qui ne reflètent pas ce qu’il sait vraiment (Gao et Grisham-Brown, 2011). Ces tests peuvent causer un stress non nécessaire, des attentes irréalistes mettant l’enfant en situation d’échec, affectant par le fait même l’estime de soi de ce dernier (Gao et Grisham-Brown, 2011; Meisels, 2007).
En raison de ces nombreuses critiques, des experts et certaines instances nationales américaines en intervention précoce recommandent l’arrêt de l’utilisation des tests conventionnels au préscolaire pour des fins de reddition de compte (Meisels, 2007; National Association for Education of Young Children et National Association of Early Childhood Specialists in State Departments of Education, 2003). Par ailleurs, le National Association for the Education of Young Children (NAEYC) et le National Association of Early Childhood Specialists in State Departments of Education (NAECS/SDE) définissent ce que doit être l’évaluation en intervention à la petite enfance (NAEYC et NAECS/SDE, 2003). Selon ces associations, elle doit donner un portrait des forces et des besoins de l’enfant afin de prendre les meilleures décisions sur le plan de l’intervention. L’évaluation se doit d’être éthique, valide et fidèle. Elle doit utiliser des méthodes d’évaluation adaptées aux différences culturelles, linguistiques et aux enfants présentant des développements atypiques. L’évaluation se doit d’être en lien avec les activités quotidiennes de l’enfant et d’être sous la responsabilité de professionnels tout en impliquant les parents. Elle est en lien et utile pour l’intervention. L’évaluation permet la prise de décision éclairée sur l'enseignement et l'apprentissage, en permettant d'identifier les enfants à risque et en permettant d’améliorer les programmes d’intervention à la petite enfance. Pour répondre à ces balises et pallier les lacunes des tests conventionnels, les meilleures pratiques en intervention précoce recommandent l’utilisation d’outil d’évaluation authentique (Bagnato et al., 2010; Bricker, 2002; NAEYC et NAECS/SDE, 2003). L’évaluation authentique est réalisée dans le milieu de vie de l’enfant par l’observation de ses comportements de la vie quotidienne et elle favorise l’implication des parents ou des personnes significatives (Bagnato et al., 2010; Gao, 2008). L’évaluation authentique est reliée à un curriculum d’activités (Gao, 2008) et permet de planifier l’intervention (Thurman et McGrath, 2008).
L’Assesment Evaluation Programming System (AEPS®) (Bricker, 2002) et le Programme EIS Évaluation Intervention Suivi (Bricker, 2006)
L’AEPS® et sa traduction francophone l’EIS est un outil d’évaluation authentique, dont les caractéristiques répondent à la définition du NAEYC et du NAECS/SDE. L’AEPS®/EIS n’est pas un outil de dépistage et ne permet pas de déterminer un âge de développement comme le font les tests conventionnels. Son objectif premier est de donner un portrait des compétences fonctionnelles de l’enfant afin de supporter l’intervention. L’AEPS®/EIS est un outil d’évaluation et d’intervention pour les enfants de la naissance à six ans. Il a été élaboré spécialement pour les enfants qui présentent des limitations, de légères à sévères, ou qui sont considérés comme à risque de présenter un développement atypique (Early Intervention Research and Management Group, 2008). Il peut également être utilisé avec une clientèle au développement typique. L’AEPS®/EIS intègre un protocole d’évaluation à partir duquel il est possible de déterminer des buts et des objectifs d’intervention en lien avec un curriculum. L’AEPS® (Bricker, 2002) est divisé en quatre volumes et l’EIS en trois volumes (Bricker, 2006).
L’évaluation réalisée à l’aide du test de l’AEPS®/EIS permet d’avoir un profil des compétences de l’enfant dans son environnement naturel. Le test se divise en deux autres tests, un pour chaque période d’âge : de la naissance à trois ans et de trois ans à six ans. Les items des tests sont divisés en six domaines de développement : la motricité fine, la motricité globale, la communication et les domaines adaptatif, cognitif et social.
Les procédures d’administration souples du test facilitent le travail en équipe multidisciplinaire. L’évaluation peut être adaptée aux différents milieux d’intervention ou aux particularités de l’enfant, par exemple, l’utilisation du langage signé avec un jeune malentendant. Chaque niveau se compose de buts et d’objectifs qui permettent d’élaborer le plan de services individualisé et le plan d’intervention individualisé (PSI/PII). D’ailleurs, une section de l’outil fournit des exemples de buts et d’objectifs de PSI/PII directement en lien avec les items du test. Les items du test sont présentés selon une séquence développementale et sont reliés à un curriculum d’activités. Ce curriculum d’activités a été développé pour fournir aux intervenants, éducateurs, psychologues et orthophonistes, un vaste éventail d’activités permettant d’aider au développement de compétences fonctionnelles et généralisables chez l’enfant (Early Intervention Research and Management Group, 2008). Il est possible de planifier l’intervention en choisissant des activités du curriculum qui visent le développement des compétences ciblées par l’évaluation. L’outil fournit également une grille permettant une représentation visuelle des progrès de l’enfant et fait des recommandations sur les procédures de suivi des apprentissages. De plus, l’AEPS®/EIS fournit des renseignements pour soutenir l’implication des parents au niveau de l’évaluation de leur enfant, de l’élaboration du plan PSI/PII et du processus d’intervention. Pour ce faire le document « Rapport de la famille » (Bricker, 2006) est mis à la disposition des familles. Il comprend un questionnaire permettant d’évaluer leur enfant et une section sur les interventions à prioriser.
Depuis les années 1980, plusieurs recherches décrivent les qualités psychométriques de l’AEPS (Slentz, 2008). La fidélité interjuge est d’adéquate à bonne, les corrélations variant de 0,60 à 0,97 (Bailey et Bricker, 1986; Bricker, Bailey et Slentz, 1990; Hsia, 1993; Macy, Bricker et Squires, 2005; Noh, 2005). Pour la fidélité test-retest, le coefficient de corrélation pour l’ensemble du test est 0,96 (Bricker et al., 1990). La cohérence interne est bonne (Bricker et al., 1990; Noh, 2005). Le degré d’accord interjuge est d’appréciable à excellent (Macy et al., 2005; Noh, 2005). Le test de l’AEPS est sensible aux différences de performance entre les enfants de trois ans et les enfants de cinq ans ainsi qu'entre les enfants dont le développement est typique et les enfants dont le développement est atypique (Hsia, 1993; Noh, 2005). Les items du test AEPS produisent des résultats similaires à d’autres instruments de mesure reconnus comme le Bayley Scale of Infant Development ou The Revised Gesell and Amatruda Developmental and Neurologic Examination (Gesell) (Slentz, 2008). Les résultats de l’AEPS permettent d’élaborer des buts et des objectifs d’intervention de qualité (Notari et Bricker, 1990; Notari et Drinkwater, 1991; Pretti-Frontczak et Bricker, 2000).
Présentement, une troisième version de l’outil est en préparation et est pilotée par un groupe de chercheurs, le Early Intervention Management and Research Group (EMRG), une corporation professionnelle sans but lucratif ayant pour objectif l’amélioration et le développement de l’AEPS®(Early Intervention Research and Management Group, 2008). Cette nouvelle édition vise, entre autres, l’introduction de deux nouveaux domaines, dont la littératie.
Littératie
Moreau, Hébert et Lépine (2013) ont réalisé une recension intégrative des écrits traitant de la définition de la littératie et ont relevé plus 110 documents publiés entre 1985 et 2011. Bien que les définitions soient nombreuses, Moreau et al. (2013) notent que le terme littératie est toujours associé à l’écrit sous toutes ses formes. La littératie peut se définir par un ensemble de compétences et de connaissances permettant d’utiliser des documents écrits pour être fonctionnel en société et s’approprier sa culture (Moreau et al., 2013). Elle comprend la lecture, l’écriture au travail et à la maison de textes sous diverses formes (livre, facture, carte routière) ainsi que les compétences en informatique (Office québecois de la langue française, 2002; Statistique Canada, 2012). Notary-Syverson, O’Connor et Vadasy (2007) parlent d’un concept encore plus large qui englobe le matériel visuel, audio et les médias numériques, des outils souvent utilisés en intervention auprès d’enfants présentant un développement atypique.
Quant à l’émergence de la littératie, elle se définit par l’ensemble des apprentissages en lecture et en écriture réalisé sans enseignement formel. (Giasson, 2003). Les composantes du développement des habiletés en lecture, en écriture et en maternelle donnent un portrait de l’émergence de la littératie (Hawken, 2009). Le Tableau 1 présente les compétences et connaissances associées à ces composantes.
Pertinence
Au Canada, 42 % de la population n’a pas atteint un niveau fonctionnel en littératie (Statistique Canada, 2013). De plus, 25 % des enfants présentent des lacunes dans leurs connaissances des notions de base en lecture et au niveau du langage lors de l’entrée à l’école (Conseil canadien sur l'apprentissage, 2010). Les compétences en littératie au préscolaire sont liées aux performances futures dans ces mêmes domaines et à la réussite scolaire en général (Duncan, Dowsett, Claessens, Magnuson, Huston, Klebanov et Japel, 2007; Kidd, Pasnak, Curby, Ferhat, Gadzichowski, Gallington et Machado, 2010; Purpura, Hume, Sims, et Lonigan, 2011) En ce sens, Snow, Burns et Griffin (1998) font ressortir qu’avant l’entrée scolaire, les enfants qui ont développé des compétences au niveau des lettres, du vocabulaire, de la conscience phonologique, de l’utilité et des mécanismes associés à la lecture ont de meilleurs résultats en lecture une fois rendus à l’école.
L’impact de faibles compétences en littératie et en numératie peut prendre plusieurs formes : décrochage scolaire et niveau de scolarité plus faible, difficulté à accéder au marché du travail et à des emplois à temps plein, rémunération moins élevée (Canadian Literacy and learning Network, 2012; Knighton et Bussière, 2006; Organisation de coopération et de développement économiques et Statistique Canada, 2005, 2011; Statistique Canada, 2013). Sur le plan de la participation sociale, les personnes dont le niveau de qualification et de compétences en littératie est faible sont nettement moins susceptibles d’être impliquées en tant que bénévoles, de faire partie d’une organisation communautaire (Organisation de coopération et de développement économiques et Statistique Canada, 2011).
Chez les enfants et les adultes avec des incapacités, le développement de compétences dans ces domaines est tout aussi important. Il faut savoir que le risque de présenter des lacunes en littératie est plus important chez les enfants ayant une déficience cognitive, un problème auditif ou un trouble du langage (Snow et al., 1998). Au Canada, c’est la moitié des élèves ayant des incapacités, âgés de 5 à 14 ans, qui sont en retard dans leurs acquis académiques (Camirand, 2011). L’impact d’un tel retard est non négligeable, considérant l’interdépendance entre le niveau de littératie et la scolarité (Bernèche et Perron, 2006). D’ailleurs, les personnes vivant avec des limitations ont un plus faible niveau de littératie que le reste de la population, ce qui vient expliquer une scolarité plus faible et une inactivité plus élevée sur le marché du travail (Camirand, 2011; Kapsalis, 1999). Par exemple, pour les personnes présentant une déficience intellectuelle (DI), les lacunes au niveau de la littératie ont de nombreux impacts très concrets. Elles peuvent notamment avoir des difficultés à profiter totalement des informations disponibles dans des situations courantes : lire une recette, une posologie d’un médicament, un mode d’emploi ou une circulaire publicitaire et ont besoin d’aide pour bien les comprendre (Ministère de l’Éducation du Loisir et du Sport, 2007).
Le développement des compétences en littératie commence bien avant l’entrée scolaire et la pertinence de l’intervention précoce dans ces domaines est bien documentée (Claessens, Duncan, et Engel, 2009; Kidd, Pasnak, Curby, Ferhat, Gadzichowski, Gallington et Machado, 2010). L’évaluation est indissociable d’une intervention de qualité (Grisham-Brown, Hallam et Pretti-Frontczak, 2008). Les intervenants se doivent d’utiliser des outils d’évaluation validés tels que l’AEPS®/EIS, en contexte d’évaluation authentique comme recommandé par les meilleures pratiques (Bagnato et al., 2010).
L’étude dans son ensemble vise à explorer les qualités psychométriques des nouveaux domaines : littératie (éveil à la lecture et à l'écriture) et numératie (éveil aux mathématiques) de l’instrument de mesure du programme AEPS®/EIS. Aux fins de cet article, seul le volet validité de contenu du domaine de la littératie est présenté. Pour chacun des domaines, les questions de recherche du volet validité de contenu sont: 1) est-ce que les items (niveaux, buts et objectifs) sont pertinents ? 2) est-ce que les items (buts et objectifs) sont fonctionnels ? 3) est-ce que le nombre d’items (niveaux, buts et objectifs) est suffisant pour représenter adéquatement le domaine?
Méthode
Participants
Quatre experts ont été sollicités et ont tous accepté de participer à l’étude. Tel que le mentionne Fermanian (1996), un minimum de deux experts est souhaitable afin de pouvoir comparer leurs avis. De plus, le choix des experts doit se faire en fonction de la complexité du phénomène à l’étude (Fermanian, 1996). Plus le phénomène s’avère complexe, plus les experts doivent posséder de solides connaissances sur le sujet. Fermanian (1996) souligne aussi l’importance que les experts soient au fait des connaissances actuelles dans le domaine. Les experts de la présente étude sont tous des professeurs universitaires dont les thèmes de recherche et publications s’attardent aux sujets suivants : les mathématiques et la littératie, la didactique de l’écriture et de la lecture, l’évaluation de programme d’éveil à la lecture et à l’écriture, l’évaluation des compétences émergentes en littératie, l’alphabétisation précoce et familiale, l’intervention en lecture pour les enfants au développement atypique. Trois participants sont détenteurs d’un doctorat en science de l’éducation et un quatrième, d’un doctorat en éducation spécialisée. Un expert s’est toutefois désisté au moment de la collecte des données, l’échantillon, est donc, de trois experts.
Cette étude est approuvée par le Comité d’éthique de la recherche conjoint destiné aux centres de réadaptation en déficience intellectuelle et en troubles envahissants du développement (CÉRC/CRDITED) et par le Comité d’éthique de la recherche de l’Université du Québec à Trois-Rivières.
Matériel aux fins de la validation de contenu
La grille d’évaluation de l’EIS (Bricker, 2013), Domaine de la littératie traduite en français de l’AEPS®, Experimental Version (1.0) (Bricker, 2012), l’objet de la validation de contenu, est composée de 39 items (11 buts et 28 objectifs) répartis en cinq niveaux. Ces cinq niveaux sont « Concepts de l’écrit imprimé », « Conscience phonologique », « Connaissance de l’alphabet », « Vocabulaire et compréhension » et « Écriture ». Le Tableau 2 présente les niveaux et les buts de ce domaine.
Instrument de mesure
L’instrument de mesure utilisé est le questionnaire Exploration de la validité de contenu des nouveaux domaines : numératie et littératie de l’EIS, élaboré pour la présente étude. Il évalue les caractéristiques suivantes des items : 1) la pertinence 2) la fonctionnalité 3) la représentativité et 4) l’organisation hiérarchique. Un item est pertinent s’il est approprié, s’il correspond au domaine, au concept à l’étude (Fermanian, 1996). Quant à la fonctionnalité, les items doivent évaluer des habiletés fonctionnelles en lien avec les exigences de la vie quotidienne et être considérées essentielles dans le développement de l’autonomie des jeunes enfants (Bricker, 2006). La représentativité vise à vérifier si le nombre d’items représente adéquatement le concept en fonction de son importance dans l’univers à l’étude (Fermanian, 1996). Quant à l’organisation hiérarchique, les items doivent être organisés selon une séquence logique, du plus facile au plus difficile ou l’inverse, permettant de bien cibler l’intervention (Bricker, 2006). Seulement, les trois premières caractéristiques sont utilisées pour répondre aux questions de recherche du présent article.
Le questionnaire comprend huit items différents qui se répètent pour chacun des domaines, des niveaux, des buts et des objectifs pour un total de 121 items. Trois items présentent un choix de réponse dichotomique (oui ou non) avec une demande de précision lors d’une réponse négative. Ces items sont : 1) est-ce que les buts et les objectifs décrivent des habiletés fonctionnelles? 2) est-ce que les niveaux, les buts et les objectifs sont pertinents? 3) est-ce que les niveaux et les buts sont organisés de façon hiérarchique?. Pour un item, les choix de réponse sont ordonnés selon une échelle de type Likert : en nombre insuffisant, en nombre suffisant, trop nombreux. Cet item est : est-ce que les niveaux, les buts et les objectifs sont en nombre suffisant pour bien représenter le domaine, le niveau ou le but? Trois autres items plus généraux se répondent également par oui ou non, ils sont : 1) est-ce que les buts et objectifs sont observables et mesurables? 2) est-ce qu’ils sont énoncés de façon claire et précise? 3) est-ce que les critères de réussite des buts et des objectifs sont énoncés de façon claire et précise? Finalement, une question ouverte portant sur les principales améliorations à apporter est présente pour chacun des domaines et chacun des niveaux.
Déroulement
À l’automne 2012, le recrutement des experts a été réalisé par l’envoi d’un message électronique expliquant le projet et l’implication associée à la participation. En mars 2013, les quatre experts ont reçu par courrier électronique une lettre de présentation du projet, le questionnaire et la grille d’évaluation Domaine de la littératie. Un délai de quatre semaines leur est accordé pour remplir le questionnaire. Un expert a répondu partiellement aux items sous forme de questions fermées. Des données sont donc manquantes pour les questions liées à la pertinence, à la fonctionnalité et à la représentativité des items des niveaux « Conscience phonologique » et « Connaissance de l’alphabet ». Des réponses sont manquantes pour les questions portant sur la pertinence et la fonctionnalité pour le niveau « Vocabulaire et compréhension » ainsi que pour les questions sur la pertinence des items du niveau « Écriture ». Trois experts ont complété les items sous forme de question ouverte.
Résultats
Les données du questionnaire liées au domaine de la littératie font l’objet d’une analyse descriptive (fréquences et pourcentages) pour les réponses aux questions fermées. Afin de condenser les réponses aux questions ouvertes, une brève analyse qualitative suivant les étapes de l’analyse inductive générale (Blais et Martineau, 2006) est réalisée : préparer les données brutes, procéder à une lecture attentive et approfondie, identifier des catégories, réviser et raffiner les catégories.
Pertinence
La première question de recherche porte sur la pertinence des items (niveaux, buts et objectifs) du domaine. Les résultats montrent que l’ensemble des niveaux est jugé pertinent par tous les experts (n = 3/3). Les résultats indiquent que les experts jugent les buts et objectifs des niveaux « Conscience phonologique », « Connaissance de l’alphabet » et « Écriture » comme pertinents, à l’exception des objectifs des niveaux « Conscience phonologique » et « Connaissance de l’alphabet ». À cet égard, les commentaires des experts sont que l’objectif « Participe à un jeu verbal répétitif avec les adultes ou les autres enfants » et le but B3 « Segmente des mots consonne-voyelle-consonne (CVC) en sons » ne sont pas pertinents pour le niveau « Conscience phonologique ».
En ce qui concerne le niveau « Concepts de l’écrit imprimé », selon les experts les buts (n°= 2/3) sont pertinents pour ce niveau. Les commentaires des experts sont que les buts A1 « Participe à la lecture partagée avec un adulte ou un enfant plus âgé » et A2 « Démontre une compréhension qu’un texte se lit dans un sens, et de haut en bas de la page » ne correspondent pas au niveau « Concepts de l’écrit imprimé ». Il est également précisé que le but A1 relève davantage des comportements de lecture partagée et le but A2 des conventions de la lecture et de l’écriture. D’après les experts, les habiletés pertinentes pour ce niveau sont de distinguer les lettres des chiffres, les lettres des signes de ponctuation, les lettres des mots et finalement les mots des phrases ce qui réfère au langage technique de la lecture et de l’écriture.
Pour le niveau « Vocabulaire et compréhension », deux experts sur trois répondent que les objectifs sont pertinents. Toutefois, selon les experts, le terme « vocabulaire », tel qu’il est décrit dans les objectifs « Reconnaît son propre nom ou surnom en caractère d’imprimerie » et « Reconnaît des symboles communs et des logos », semble référer davantage à un « vocabulaire visuel » pouvant être associé au niveau « Connaissance de l’alphabet » ou au niveau « Concepts de l’écrit imprimé ». Par ailleurs, les experts (n = 2/2) jugent que les buts de ce niveau ne sont pas pertinents. Selon les experts, le but D2 « Associe des mots d’imprimerie à des personnes et à des objets communs ou familier » ne relève pas du niveau « Vocabulaire et compréhension ». Selon les experts, le but D2 se rapporte davantage au niveau « Connaissance de l’alphabet » ou au niveau « Concepts de l’écrit imprimé ».
Fonctionnalité
Pour la deuxième question de recherche sur la fonctionnalité, les résultats indiquent que selon les experts, les items (buts et objectifs) du domaine de la littératie décrivent des habiletés fonctionnelles, les réponses étant à 92 % positives. Les résultats montrent également que les experts considèrent que les buts et objectifs des niveaux « Concepts de l’écrit imprimé » et « Écriture » (n = 3/3) ainsi que ceux des niveaux « Connaissances de l’alphabet » et « Conscience phonologique » (n = 2/2) sont des habiletés fonctionnelles. Toutefois, un expert souligne l’absence d’items portant sur la reconnaissance des lettres du prénom pour les objectifs du but C1 du niveau « Connaissance de l’alphabet », les objectifs étant « Nomme 10 lettres d’imprimerie qui apparaissent fréquemment » ou « Reconnaît le nom de 5 lettres qui apparaissent fréquemment°». Finalement, les experts (n = 3/3) jugent que les buts du niveau « Vocabulaire et compréhension » sont fonctionnels, mais pas les objectifs (n = 2/2).
Représentativité
La troisième question de l’étude est formulée comme suit : est-ce que le nombre d’items (niveaux, buts et objectifs) est suffisant pour représenter adéquatement le domaine? Deux experts sur trois considèrent que les niveaux sont en nombre insuffisant pour représenter adéquatement le concept de la littératie. D’ailleurs, les experts mentionnent que pour représenter adéquatement le domaine de la littératie, l’ajout d’un niveau visant à évaluer les fonctions de l’écrit (s’informer, raconter, garder en mémoire) serait souhaitable. Ils ajoutent que le domaine de la littératie laisse peu de place à la compréhension en lecture.
Les experts (n = 2/2) répondent que les buts et les objectifs des niveaux « Conscience phonologique », « Connaissance de l’alphabet » sont représentatifs, à l’exception des objectifs du niveau « Conscience phonologique » qu’un expert juge trop nombreux. Pour le niveau, « Concepts de l’écrit imprimé », deux experts sur trois jugent les buts et les objectifs en nombre suffisant. Par ailleurs, les experts suggèrent pour le « Concept de l’écrit imprimé » d’ajouter les items suivants : l’enfant identifie une lettre, un mot, une phrase et différents signes de ponctuation. De plus, selon les experts, les buts (n = 2/3) du niveau « Écriture » sont aussi en nombre suffisant.
Enfin, les résultats montrent que les buts et les objectifs du niveau « Vocabulaire et compréhension » sont considérés par tous les experts (n = 3/3) en nombre insuffisant. À cet égard, les commentaires des experts font état de l’insuffisance d’indicateurs pour évaluer les processus de la lecture tels que les processus d’intégration, d’inférence, les macroprocessus et les processus d’élaboration.
Discussion
Pertinence des items
Tout d’abord, selon les experts, les niveaux « Concept de l’écrit imprimé », « Conscience phonologique », « Connaissance de l’alphabet », « Vocabulaire et compréhension », « Écriture » sont appropriés pour le domaine de la littératie. Ces niveaux correspondent à ceux trouvés dans les écrits scientifiques (Giasson, 2003; Giasson et Vandecasteele, 2012; Notari-Syverson, O'Connor et Vadasy, 2007). Les résultats montrent aussi que les items des niveaux « Conscience phonologique », « Connaissances de l’alphabet » et « Écriture » sont pertinents. Par contre, certains commentaires d’experts ciblent l’objectif « Participe à un jeu verbal répétitif avec les adultes ou les autres enfants » et le but B3 « Segmente des mots consonnes-voyelle-consonne (CVC) en sons » comme non pertinents pour le niveau « Conscience phonologique ». Les commentaires des experts n’appuient pas les écrits scientifiques. Selon Notari-Syverson et al. (2007), les comptines permettent à l’enfant de se familiariser aux sons dans les mots, elles font partie du développement de la conscience phonologique. De plus, la documentation scientifique (Dufour-Martel, Good, et Kaminski, 2010; Hawken, 2009; Notari-Syverson et al., 2007) associe l’habileté de manipulation des phonèmes, le but B3, à la conscience phonologique.
Par ailleurs, les résultats indiquent des opinions partagées quant à la pertinence des buts du niveau « Concepts de l’écrit imprimé ». Selon les commentaires des experts, les buts, A1 « Participe au groupe de lecture partagée » et A2 « Démontre une compréhension qu’un texte se lit dans un sens, et de haut en bas de la page » ne correspondent pas au niveau « Concepts de l’écrit imprimé ». Ce résultat va dans le sens de la théorie, Dufour-Martel, Good et Kaminski (2010) associent les habiletés de lecture partagée du but A1 (telles que prédire la suite de l’histoire, répondre et poser des questions), à la compréhension en lecture. En ce qui concerne le but A2, Giasson et Vandecasteele (2012) ainsi que Notary-Syverson et al. (2007) le jugent pertinent pour une composante de l’émergence de la littératie qui s’appelle « clarté cognitive ». La « clarté cognitive » se compose entre autres des conventions en lecture et en écriture, par exemple, savoir dans quelle direction il faut lire (Giasson et Vandecasteele, 2012). Mais encore, certains résultats montrent que les buts et objectifs du niveau « Concepts de l’écrit imprimé » sont pertinents, ce qui corrobore aussi la théorie (Hawken, 2009). En ce sens, Hawken (2009) relie la connaissance qu’un texte se lit de haut en bas et de gauche à droite à la composante « Concepts liés à l’écrit/conscience de l’écrit ». Il est possible de constater qu’en fonction des auteurs, le but A2 relève soit des conventions en lecture et en écriture, soit des concepts de l’écrit ce qui peut expliquer les résultats divergents dans le cas de la présente étude.
Ensuite, les résultats indiquent que les buts et les objectifs du niveau « Vocabulaire et compréhension » ne correspondent pas à ce niveau. Les commentaires des experts viennent corroborer la documentation scientifique (Giasson et Vandecasteele, 2012; Notari-Syverson et al., 2007). Les experts associent le but D2 « Associe des mots d’imprimerie à des personnes et à des objets » ainsi que ses objectifs « Reconnait son propre nom ou surnom en caractère d’imprimerie » et « Reconnaît des symboles communs et des logos » au niveau « Connaissance de l’alphabet » ou aux « Concepts de l’écrit imprimé ». Selon Giasson et Vandecasteele (2012), le but D2 et ses objectifs relèvent de la procédure préalphabétique ou logographique qui précède la connaissance de l’alphabet. Notari-Syverson et al. (2007) parlent de représentation symbolique et de la compréhension des symboles intégrés qu’ils associent aux « Concepts de l’écrit imprimé ».
Finalement, les résultats montrent que les objectifs du niveau « Écriture » correspondent au but qu’ils visent à évaluer ce qui va dans le même sens que Giasson (2003). À titre d’exemple, l’objectif « Gribouille ou colore » du but E1 « Écrit des semblants de lettre » fait partie de la séquence développementale de la formation des lettres (Giasson, 2003).
Fonctionnalité
Selon les résultats, en grande majorité les items de la grille d’évaluation de la littératie évaluent des habiletés fonctionnelles. Ces résultats peuvent être mis en relation avec le fait que la fonctionnalité est une force reconnue de l’AEPS® (Bagnato et al., 2010). Pour le niveau « Connaissance de l’alphabet », un commentaire fait état de l’absence d’objectifs portant sur la reconnaissance des lettres du prénom de l’enfant. Ce commentaire va dans le sens des écrits scientifiques (Giasson et Vandecasteele, 2012; Notari-Syverson et al., 2007). Selon Giasson et Vandecasteele (2012), l’apprentissage de nommer des lettres débute, en général, par les lettres du prénom de l’enfant
Représentativité
Tout d’abord, les résultats tendent à montrer que les niveaux sont en nombre insuffisant. D’ailleurs, les experts recommandent l’ajout d’un niveau traitant des fonctions de l’écrit. Les résultats viennent corroborer ceux de Notari-Syverson et al. (2007) ainsi que ceux de Giasson et Vandecasteele (2012) qui présentent les fonctions de l’écrit comme une composante de l’émergence de la littératie. Il demeure que pour Hawken (2009), les fonctions de l’écrit sont intégrées aux « Concepts de l’écrit imprimé ».
Les résultats divergent quant à la représentativité des items des niveaux : « Concepts de l’écrit imprimé », « Connaissance de l’alphabet », « Vocabulaire et compréhension », « Écriture ». Les items de ces niveaux sont jugés par les experts soit en nombre suffisant, soit en nombre insuffisant. Toutefois, les commentaires des experts sont majoritairement des recommandations d’ajouts et viennent appuyer la documentation scientifique (Giasson et Vandecasteele, 2012). À titre d’exemple, pour le niveau « Vocabulaire et compréhension », les experts recommandent que des items s’attardent aux processus associés à la compréhension en lecture telle que documentée dans Giasson et Vandecasteele (2012) à savoir les microprocessus, les processus d’intégration, les macroprocessus, les processus d’élaboration et les processus métacognitifs.
En ce qui concerne les items du niveau « Conscience phonologique », ils sont jugés majoritairement trop nombreux par les experts. Ce résultat ne semble pas corroborer la documentation scientifique (Hawken, 2009). En ce sens, Hawken (2009) représente le niveau « Conscience phonologique » par un grand nombre d’items en comparaison aux autres niveaux « Concepts de l’écrit » ou « Connaissance des lettres ».
Limites et forces de l’étude
Cette étude présente des limites et des forces. D’abord, le questionnaire, Exploration de la validité de contenu des nouveaux domaines : numératie et littératie de l’EIS a été élaboré pour la présente étude, donc il est non validé. Il faut également prendre en considération que la validité de contenu est un processus subjectif, qui représente l’opinion d’experts. Pour l’ensemble de ces raisons, les résultats concernant la validité de contenu se doivent d’être considérés avec précaution. Il demeure que la contribution des experts permet de documenter le contenu du domaine de la littératie, une étape importante dans le développement d’un instrument de mesure.
Conclusion
Cette étude tend à montrer que les items du domaine de la littératie sont des habiletés essentielles dans le développement de l’autonomie des jeunes enfants, directement en lien avec les exigences de la vie quotidienne. Globalement, les items sont appropriés pour évaluer le domaine de la littératie. Toutefois, la pertinence des items en regard des niveaux « Concepts de l’écrit imprimé » et « Vocabulaire et compréhension » semble questionnable, des améliorations en ce sens devraient être apportées. Entre autres, il pourrait s’avérer intéressant d’ajouter au niveau « Concepts de l’écrit imprimé » des items qui permettraient de vérifier si l’enfant distingue les lettres des chiffres, les lettres des mots et les mots des phrases. Par ailleurs, le nombre d’items du niveau « Vocabulaire et compréhension » devrait être revu à la hausse considérant qu’il ne représenterait pas adéquatement le concept en fonction de son importance dans l’univers de la littératie. En ce sens, il pourrait être envisagé d’ajouter des items visant à évaluer la compréhension en lecture. Finalement, l’ajout d’un niveau traitant des fonctions de l’écrit (s’informer, raconter, garder en mémoire) pourrait améliorer la représentativité du domaine de la littératie.
Pour conclure, les compétences en littératie sont en lien avec la participation active d’une personne à la société en lui permettant d’avoir accès au monde de l’écrit (Moreau et al., 2013). Il est donc important de porter une attention particulière à leur développement, et ce, tant pour les enfants présentant un développement atypique que pour ceux dont le développement est typique. Cette étude contribue à l’avancement des connaissances en documentant la pertinence, la fonctionnalité et la représentativité de la grille d’évaluation de la littératie. Cette étude est d’intérêt vu l’utilisation concrète de ces résultats dans l’élaboration et l’amélioration sur le plan de la validité d’un outil d’évaluation authentique, l’AEPS®/EIS qui permet l’évaluation des habiletés émergentes en littératie.
Par ailleurs, il importe de rappeler que l’Assessment Evaluation Programming System (AEPS®) (Bricker, 2002) ou sa traduction francophone le Programme EIS Évaluation Intervention Suivi (Bricker, 2006) sont des outils d’évaluation authentique, reconnus par les meilleures pratiques (Bagnato et al., 2010). Ils peuvent être utilisés avec des enfants dont le développement est typique, mais sont également adaptés aux enfants qui présentent un retard de développement ou considérés comme à risque. D’ailleurs, le programme EIS est recommandé par l’Ordre des psychoéducateurs et psychoéducatrices du Québec (Auclair-Julien, Lanovaz, Paquette, Pelletier, Thermidor et Trudel, 2013) afin d’évaluer les retards de développement. La présente étude est un apport à l’avancement des bonnes pratiques en évaluation et en intervention précoce. Il s’avère important de poursuivre le travail de validation de la troisième version de l’AEPS®/EIS par l’exploration des qualités psychométriques des autres domaines.
Appendices
Bibliographie
- Auclair-Julien, M. C., Lanovaz, M., Paquette, C., Pelletier, S., Thermidor, G., Trudel, D. (2013). Évaluation du retard de développement : lignes directrices. Montréal, QC : Ordre des psychoéducateurs et psychoéducatrices du Québec.
- Bagnato, S. J., Neisworth, J. T., Pretti-Frontczak, K. (2010). Linking authentic assessment & early childhood intervention best measure for best pratices (2e éd.). Baltimore, MD : Paul H. Brookes Publishing Co.
- Bailey, E. J., Bricker, D. (1986). A psychometric study of a criterion-referenced assessment instrument designed for infants and young children. Journal of Early Intervention, 10(2), 124-134.
- Bernèche, F., Perron, B. (2006). Développer nos compétences en littératie : un défi porteur d'avenir : rapport québécois de l'enquête internationale sur l'alphabétisation et les compétences des adultes (EIACA), 2003. Québec, QC : Gouvernement du Québec.
- Blais, M., Martineau, S. (2006). L’analyse inductive générale : description d’une démarche visant à donner un sens à des données brutes. Recherches qualitatives, 26(2), 1-18.
- Bricker, D. D. (2002). AEPS Assessment evaluation and programming system for infants and children (2e éd.). Baltimore, MD : Paul H. Brookes Publishing Co.
- Bricker, D. D. (2006). Programme EIS évaluation intervention suivi. Traduction et adaptation auprès d’une clientèle québécoise sous la direction de C. Dionne en collaboration avec C. A. Tavarès et C. Rivest. Montréal, QC : Chenelière éducation.
- Bricker, D. D. (2012). Assessment, evaluation, and programming system for infants and children (AEPS®): Experimental Version (1.0). Baltimotre, MD : Paul H. Brookes Publishing Co.
- Bricker, D. D. (2013). Programme EIS évaluation, intervention, suivi: version expérimentale. Traduction et adaptation auprès d’une clientèle québécoise sous la direction de C. Dionne : Document inédit, département de psychoéducation, Université du Québec à Trois-Rivières, QC.
- Bricker, D. D., Bailey, E. J., Slentz, K. (1990). Reliability, validity, and utility of the evaluation and programming system: For infants and young children (EPS-I). Journal of Early Intervention, 14(2), 147-160. doi: 10.1177/105381519001400204
- Camirand, J. (2011). Vivre avec une incapacité au Québec : un portrait statistique à partir de l'Enquête sur la participation et les limitations d'activités de 2001-2006. Montréal, QC : Gouvernement du Québec, Institut de la statistique du Québec.
- Canadian Literacy and learning Network. (2012). Citizenship. Literacy and essential skills fact sheet. Extrait du site web : http://www.literacy.ca/content/uploads/2012/02/citizenship.pdf
- Claessens, A., Duncan, G., Engel, M. (2009). Kindergarten skills and fifth-grade achievement: Evidence from the ECLS-K. Economics of Education Review, 28(4), 415-427.
- Conseil canadien sur l'apprentissage. (2010). Bilan de l’apprentissage tout au long de la vie au Canada : progrès ou excès de confiance? Ottawa, ON : Conseil canadien sur l’apprentissage.
- Dufour-Martel, C., Good, R. H., Kaminski, R. A. (2010). IDAPEL Entraînement dans l'adminsitration des épreuves. Eugene, OR : Dynamic Measurement Group.
- Duncan, G. J., Dowsett, C. J., Claessens, A., Magnuson, K., Huston, A. C., Klebanov, P., Japel, C. (2007). School readiness and later achievement. Developmental psychology, 43(6), 1428-1446.
- Early Intervention Research and Management Group. (2008). AEPS® Assesment and programming system for infant and young children. Extrait du site web : http://aepslinkedsystem.com/emrg.html
- Fermanian, J. (1996). Évaluer correctement la validité d'une échelle : les nombreux pièges à éviter. Revue d'Épidémiologie et de Santé Publique, 44, 278-286.
- Gao, X. (2008). Young children's accountability data on language, literacy and pre-math areas: Validating authentic assessment. Thèse de doctorat inédite, University of Kentucky. Extrait du site web : http://search.ebscohost.com/login.aspx?direct=true&db=psyh&AN=2012-99050-415&site=ehost-live
- Gao, X., Grisham-Brown, J. (2011). The use of authentic assessment to report accountability data on young children's language, literacy and pre-math competency. International Education Studies, 4(2), 42-53. doi: 1005539/ies.v4n2p41
- Giasson, J. (2003). La lecture : de la théorie à la pratique (2e éd.). Boucherville, QC : Gaëtan Morin éditeur.
- Giasson, J., Vandecasteele, G. (2012). La lecture : apprentissage et difficultés (1e éd.). Bruxelles, Belgique : De Boeck.
- Grisham-Brown, J., Hallam, R. A., Pretti-Frontczak, K. (2008). Preparing head start personnel to use a curriculum-based assessment: An innovative practice in the 'age of accountability'. Journal of Early Intervention, 30(4), 271-281. doi: 10.1177/1053815108320689
- Hawken, J. (2009). Pour un enseignement efficace de lecture et de l'écriture : une trousse d'intervention appuyée sur la recherche. Extrait du site web : http://www.treaqfp.qc.ca/106/PDF/TROUSSE_Reseau_de_chercheurs.pdf
- Hsia, T. H. (1993). Evaluating the psychometric properties of the assessment, evaluation, and programming system for 3 to 6 years: Aeps test 3 to 6 years (aeps test). Thèse de doctorat inédite, University of Oregon. Extrait du site web : http://search.ebscohost.com/login.aspx?direct=true&db=psyh&AN=1995-74208-001&site=ehost-live
- Kapsalis, C. (1999). The effect of disability on literacy skills. Nepean, ON : Data Probe Economic Consulting Inc.
- Kidd, J. K., Pasnak, R., Curby, T. W., Ferhat, C. B., Gadzichowski, K. M., Gallington, D. A., Machado, J. (2010). Cognitive Underpinnings of Preschool Literacy and Numeracy. Evanston, IL : Society for Research on Educational Effectiveness.
- Knighton, T., Bussière, P. (2006). Liens entre les résultats éducationnels à l'âge de 19 ans et la capacité en lecture à l'âge de 15 ans. Ottawa, ON : Statistique Canada.
- Macy, M. G., Bricker, D. D., Squires, J. K. (2005). Validity and reliability of a curriculum-based assessment approach to determine eligibility for part C services. Journal of Early Intervention, 28(1), 1-16. doi: 10.1177/105381510502800101
- Meisels, S. J. (2007). Accountability in early childhood: No easy answers. Dans R.C. Pianta, M. J. Cox, K. L. Snow (Éds.), School readiness and the transition to kindergarten in the era of accountability (pp. 31-47). Baltimore, MD : Paul H Brookes Publishing.
- Ministère de l’Éducation du Loisir et du Sport. (2007). 5,4,3,2... Des chiffres qui parlent du niveau 1 de littératie au Québec [brochure]. Québec, QC : Gouvernement du Québec. Extrait du site web : http://www.mels.gouv.qc.ca/.
- Moreau, A. C., Hébert, M., Lépine, M. (2013). Le concept de littératie en francophonie : que disent les définitions? Consortium national de recherche sur l’intégration sociale (CNRIS), 4(2), 14-18.
- National Association for Education of Young Children, National Association of Early Childhood Specialists in State Departments of Education. (2003). Early childhood curriculum assessment and program evaluation. National Association for Education of Young Children. Extrait du site web : http://www.naeyc.org/files/naeyc/file/positions/pscape.pdf.
- Noh, J. (2005). Examining the psychometric properties of the second edition of the Assessment, evaluation, and programming system for three to six years: AEPS test 2nd Edition (3-6). Thèse de doctorat inédite, University of Oregon. Extrait du site web : http://search.ebscohost.com/login.aspx?direct=true&db=psyh&AN=2006-99013-033&site=ehost-live.
- Notari-Syverson, A., O'Connor, R. E., Vadasy, P. F. (2007). Ladders to literacy: A preschool activity book. Baltimore, MD : Paul H. Brookes Publishing Co.
- Notari, A. R., Bricker, D. D. (1990). The utility of a curriculum-based assessment instrument in the development of individualized education plans for infants and young children. Journal of Early Intervention, 14(2), 117-132. doi: 10.1177/105381519001400202
- Notari, A. R., Drinkwater, S. G. (1991). Best practices for writing child outcomes: An evaluation of two methods. Topics in Early Childhood Special Education, 11(3), 92-106. doi: 10.1177/027112149101100309
- Office québecois de la langue française. (2002). Numératie. Extrait du site web : http://gdt.oqlf.gouv.qc.ca/ficheOqlf.aspx?Id_Fiche=8363202
- Organisation de coopération et de développement économiques et Statistique Canada. (2005). Apprentissage et réussite : premiers résultats de l'enquête sur la littératie et les compétences des adultes. Paris, France : Éditions OCDE.
- Organisation de coopération et de développement économiques et Statistique Canada. (2011). La littératie, un atout pour la vie : nouveaux résultats de l’enquête sur la littératie et les compétences des adultes : deuxième rapport international de l'ELCA. Paris, France : Éditions OCDE.
- Pretti-Frontczak, K., Bricker, D. (2000). Enhancing the quality of individualized education plan (IEP) goals and objectives. Journal of Early Intervention, 23(2), 92-105.
- Purpura, D. J., Hume, L. E., Sims, D. M., Lonigan, C. J. (2011). Early literacy and early numeracy : The value of including early literacy skills in the prediction of numeracy development. Journal of Experimental Child Psychology, 110(4), 647-658.
- Slentz, K. (2008). What AEPS® users should know about reliability, validity, and utility. Batlimore, MD : Paul H. Brookes Publishing Co.
- Snow, C. E., Burns, S. M., Griffin, P. (1998). Preventing reading difficulties in young children. Washington, DC : National Academy Press.
- Statistique Canada. (2012). Littératie. Extrait du site web : http://www5.statcan.gc.ca/subject-sujet/subthemesoustheme.action?pid=1821&id=2549&lang=fra&more=0.
- Statistique Canada. (2013). Étude : liens entre les résultats du parcours de vie et la capacité de lecture. Le Quotidien. Extrait du site web : http://www.statcan.gc.ca/daily-quotidien/110627/dq110627b-fra.htm.
- Thurman, S. K., McGrath, M. C. (2008). Environmentally based assessment practices: Viable alternatives to standardized assessment for assessing emergent literacy skills in young children. Reading & Writing Quarterly, 24(1), 7-24.