Article body

Introduction

Depuis de nombreuses années, l’usage des technologies et des outils numériques est promulgué en éducation. À ce sujet, le ministère de l’Éducation et de l’Enseignement supérieur du Québec a déposé, en 2019, un cadre de référence visant le développement d’une compétence numérique pour l’ensemble des élèves. Bien que le numérique soit présent dans nos vies et qu’il soit fortement recommandé en milieu scolaire, il importe de s’assurer que l’usage des technologies en salle de classe amène une valeur ajoutée à l’enseignement et qu’il entraîne des effets positifs sur le rendement des élèves. Pour y parvenir, il s’avère opportun de recourir aux données probantes.[1]

Le recours aux données probantes est un thème de plus en plus présent dans le discours éducatif et l’un des types de recensions des écrits scientifiques qui lui est fortement associé est la méta-analyse. Ce type de recension, la méta-analyse, permet de regrouper au sein d’une même étude les résultats provenant de diverses recherches portant sur un même thème, et ce, afin d’en dégager une tendance centrale exprimée sous la forme d’une grandeur d’effet[2]. Ainsi, la méta-analyse permet de synthétiser des informations sur des domaines de recherche où les données s’accumulent. Toutefois, la méta-analyse est tributaire, entre autres, de la qualité et de la quantité des recherches qui y sont sélectionnées. Or, de nombreuses méta-analyses en éducation utilisent un nombre restreint de critères de sélection entraînant la rétention d’études de faible qualité comportant des lacunes méthodologiques importantes. Par conséquent, de telles études viennent contaminer les résultats des méta-analyses ainsi que les conclusions qui en découlent, pouvant ainsi engendrer de fausses représentations allant même jusqu’à un mirage aveuglant de certitudes. Pour illustrer ce propos, nous présentons, dans cet article, un examen sommaire des études retenues dans la méta-analyse de Tingir et al. (2017). Ces chercheurs concluent que les appareils portables sont efficaces en salle de classe. Les résultats de ces derniers diffèrent considérablement des méta-analyses produites par Slavin (2019). Notre analyse nous amène à considérer que la conclusion de Tingir et ses collègues (2017) est injustifiée. Malheureusement, au mois d’août 2020, cette méta-analyse a déjà été citée à 24 reprises dans différents articles scientifiques et sites de recherches, dont l’Education Endowment Foundation (2019).

La méta-analyse de Tinger et ses collaborateurs (2017) portant sur l’effet des appareils numériques portables[3] au préscolaire, primaire et secondaire

Tingir et ses collaborateurs (2017) concluent dans leur méta-analyse, entre autres, que « ... l’enseignement fait avec un appareil portable entraîne un rendement significativement plus élevé que l’enseignement traditionnel » (p. 366). Nous opinons que cette conclusion n’est pas légitime et que cette méta-analyse ne devrait pas être utilisée pour justifier le recours aux appareils portables en salle de classe, quel que soit le niveau scolaire ou la matière enseignée.

Dans cette méta-analyse, les chercheurs calculent un effet moyen général de 0,48 pour les appareils portables sur le rendement des élèves (effet en lecture = 0,666 — N = 3 études ; effet en mathématique = 0,16 — N = 3 études ; effet en sciences = 0,528 — N = 8 études). Cette grandeur d’effet appréciable (0,48) pourrait correspondre à un gain de près de cinq mois d’apprentissage pour le groupe utilisant un appareil portable comparativement à un groupe bénéficiant d’un enseignement traditionnel sans appareil portable. Cette donnée encourage fortement le personnel enseignant à employer cet outil numérique en salle de classe. Cependant, l’ensemble des recherches colligées par Tingir et ses collaborateurs (2017) présentent des faiblesses importantes qui ne permettent pas de soutenir leur conclusion. Malencontreusement, les défauts méthodologiques que nous soulevons dans la présente critique ne sont pas rares dans le domaine de la recherche scientifique en pédagogie.

Tingir et ses collègues (2017) sélectionnent au total 14 recherches scientifiques, réparties comme suit : trois (3) recherches en lecture, trois (3) recherches en mathématique et huit (8) recherches en sciences. D’emblée, la faible quantité d’études au total, et particulièrement en lecture et en mathématique, est insuffisante et inquiétante, d’autant plus que cette quantité de recherches ne permet pas d’analyser avec rigueur les résultats en fonction des niveaux scolaires ou d’autres variables.

Étonnamment, les auteurs de la méta-analyse incluent une étude ayant mesuré le rendement d’étudiants adultes de niveau postsecondaire (voir de-Marcos et al., 2010) dans leur méta-analyse pourtant vouée aux élèves du préscolaire au secondaire, comme le titre de leur article l’indique explicitement (Effects of mobile devices on K-12 students’ achievement: a meta-analysis).

Une autre faiblesse concerne le contenu d’apprentissage. Certaines recherches retenues portent sur des sujets qui sont nettement non représentatifs de l’enseignement usuel et commun en classe comme l’apprentissage de l’interprétation de poèmes traditionnels chinois, ainsi que la brève visite d’un musée ou d’un temple religieux (voir : Billings et Mathison, 2012 ; Hwang et al., 2013 ; Yang et al., 2013a).

La durée d’expérimentation de plusieurs recherches est inférieure à 240 minutes, ce qui s’avère nettement insuffisant et peu représentatif de la réalité scolaire (voir : Ahmed et Parsons, 2013 ; Huang, Lin et Cheng, 2010 ; Hwang et al., 2013 ; Yang et al., 2013a ; Yang et al., 2013b). Une durée aussi courte limite grandement la généralisation des effets observés (Slavin, 1986).

En ce qui a trait au nombre de sujets par recherche, sur les 14 recherches analysées par Tingir et ses collaborateurs (2017), il y a seulement deux (2) recherches qui comprennent 250 sujets et plus, et la moitié des recherches compte moins de 100 sujets dans leur échantillon. Encore une fois, cette faille importante restreint énormément la généralisation des conclusions possibles à partir de ces recherches. D’ailleurs, Cheung et Slavin (2016) recommandent de sélectionner uniquement des études ayant un minimum de 250 sujets puisque les recherches ayant un nombre inférieur de sujets produisent artificiellement des tailles d’effet deux fois plus élevées.

Finalement, plusieurs recherches comportent d’autres lacunes méthodologiques majeures, comme l’absence d’un groupe témoin (voir Nedungadi et Raman, 2012), une non-équivalence non contrôlée du groupe expérimental et témoin (voir Carr, 2012) ainsi qu’un non-enseignement dans le groupe témoin du contenu couvert dans le groupe expérimental (voir Riconscente, 2013 ; Varma, 2014 — par exemple, on enseigne les fractions dans le groupe expérimental mais pas dans le groupe témoin, même si le post-test, pour déterminer l’effet des appareils portables, porte sur les fractions). Dans la méta-analyse de Tingir et son équipe (2017), en bref, douze recherches sur quatorze (12/14) présentent des failles méthodologiques tellement majeures qu’elles n’auraient pas dû être retenues.

Conclusion

Comme nous l’avons brièvement montré, la méta-analyse de Tinger et ses collègues (2017) induit le lecteur en erreur, car ce dernier est amené à penser, sur la base des résultats présentés, que le recours aux appareils numériques portables est efficace en enseignement. La qualité médiocre des recherches sélectionnées dans cette méta-analyse ne permet pas d’enfanter une telle conclusion.

Comme mentionné, la qualité d’une méta-analyse repose sur les études qui ont été sélectionnées à la base, en fonction des critères choisis par ses auteurs. Conséquemment, la rigueur varie inévitablement d’une méta-analyse à l’autre. À cet égard, Robert Slavin et son équipe sont des précurseurs dans la production de méta-analyses de haute qualité[4]. Nous vous invitons à consulter les travaux de ces derniers et à disqualifier la méta-analyse de Tingir et ses collègues (2017) de vos réflexions sur l’usage et la pertinence des appareils portables en classe.