Le mirage d’une méta-analyse sur les effets positifs des appareils portables

Depuis de nombreuses années, l’usage des technologies et des outils numériques est promulgué en éducation. À ce sujet, le ministère de l’Éducation et de l’Enseignement supérieur du Québec a déposé, en 2019, un cadre de référence visant le développement d’une compétence numérique pour l’ensemble des élèves. Bien que le numérique soit présent dans nos vies et qu’il soit fortement recommandé en milieu scolaire, il importe de s’assurer que l’usage des technologies en salle de classe amène une valeur ajoutée à l’enseignement et qu’il entraîne des effets positifs sur le rendement des élèves. Pour y parvenir, il s’avère opportun de recourir aux données probantes. Le recours aux données probantes est un thème de plus en plus présent dans le discours éducatif et l’un des types de recensions des écrits scientifiques qui lui est fortement associé est la méta-analyse. Ce type de recension, la méta-analyse, permet de regrouper au sein d’une même étude les résultats provenant de diverses recherches portant sur un même thème, et ce, afin d’en dégager une tendance centrale exprimée sous la forme d’une grandeur d’effet. Ainsi, la méta-analyse permet de synthétiser des informations sur des domaines de recherche où les données s’accumulent. Toutefois, la méta-analyse est tributaire, entre autres, de la qualité et de la quantité des recherches qui y sont sélectionnées. Or, de nombreuses méta-analyses en éducation utilisent un nombre restreint de critères de sélection entraînant la rétention d’études de faible qualité comportant des lacunes méthodologiques importantes. Par conséquent, de telles études viennent contaminer les résultats des méta-analyses ainsi que les conclusions qui en découlent, pouvant ainsi engendrer de fausses représentations allant même jusqu’à un mirage aveuglant de certitudes. Pour illustrer ce propos, nous présentons, dans cet article, un examen sommaire des études retenues dans la méta-analyse de Tingir et al. (2017). Ces chercheurs concluent que les appareils portables sont efficaces en salle de classe. Les résultats de ces derniers diffèrent considérablement des méta-analyses produites par Slavin (2019). Notre analyse nous amène à considérer que la conclusion de Tingir et ses collègues (2017) est injustifiée. Malheureusement, au mois d’août 2020, cette méta-analyse a déjà été citée à 24 reprises dans différents articles scientifiques et sites de recherches, dont l’Education Endowment Foundation (2019). Tingir et ses collaborateurs (2017) concluent dans leur méta-analyse, entre autres, que « ... l’enseignement fait avec un appareil portable entraîne un rendement significativement plus élevé que l’enseignement traditionnel » (p. 366). Nous opinons que cette conclusion n’est pas légitime et que cette méta-analyse ne devrait pas être utilisée pour justifier le recours aux appareils portables en salle de classe, quel que soit le niveau scolaire ou la matière enseignée. Dans cette méta-analyse, les chercheurs calculent un effet moyen général de 0,48 pour les appareils portables sur le rendement des élèves (effet en lecture = 0,666 — N = 3 études ; effet en mathématique = 0,16 — N = 3 études ; effet en sciences = 0,528 — N = 8 études). Cette grandeur d’effet appréciable (0,48) pourrait correspondre à un gain de près de cinq mois d’apprentissage pour le groupe utilisant un appareil portable comparativement à un groupe bénéficiant d’un enseignement traditionnel sans appareil portable. Cette donnée encourage fortement le personnel enseignant à employer cet outil numérique en salle de classe. Cependant, l’ensemble des recherches colligées par Tingir et ses collaborateurs (2017) présentent des faiblesses importantes qui ne permettent pas de soutenir leur conclusion. Malencontreusement, les défauts méthodologiques que nous soulevons dans la présente critique ne sont pas rares dans le domaine de la recherche scientifique en pédagogie. Tingir et ses collègues (2017) sélectionnent au total 14 recherches scientifiques, réparties comme …