Utilisation de la méthode Delphi pour valider deux séquences d’enseignement-apprentissage de la littérature dans le cadre d’une recherche sur les compétences lectorales d’étudiants du cégep

Alexandre, Fednel; Émery-Bruneau, Judith; Messier, Geneviève

doi:https://doi.org/10.7202/1100678ar

1. Introduction

Les ressources didactiques désignent différents supports utiles au travail des enseignants (Kervyn et Goigoux, 2021). Elles sont utilisées dans plusieurs types de recherche en sciences de l’éducation visant à en étudier les effets sur les pratiques d’enseignement ou sur les apprentissages (Biao, 2020 ; Sauvaire, 2013). Leur production doit répondre à une double exigence scientifique et professionnelle en s’appuyant sur des savoirs scientifiques et en considérant les exigences institutionnelles de leur mise en oeuvre (Goigoux, 2017 ; Kervyn, 2020). Dans une recherche qui tient compte des critères de scientificité (Savoie-Zajc, 2011), ces ressources devraient systématiquement faire l’objet d’un processus de validation didactique (Sénéchal et Dolz, 2019), ainsi que nous l’a montré notre recherche doctorale sur les compétences lectorales d’étudiants du cégep. En effet, pour les besoins de cette thèse, nous avons élaboré deux séquences d’enseignement-apprentissage de la littérature. Avant leur mise en oeuvre, nous les avons validées didactiquement, étant donné leur incidence sur les résultats que nous obtiendrions pour dresser un portrait des compétences lectorales des participants à la recherche. Dans cet article, nous décrivons le processus de validation didactique que nous avons mené pour assurer la validité des deux séquences.

2. Contexte et problématique

Quelques recherches ont documenté les pratiques d’enseignement de la littérature au cégep (Babin, 2016 ; Dezutter et coll., 2012 ; Falardeau, 2002). Toutefois, à l’exception de Sauvaire (2013) qui, dans une partie de sa thèse, montre que les étudiants du cégep sont capables de mobiliser des ressources subjectives pour interpréter un texte littéraire, peu de didacticiens se sont intéressés à leurs compétences lectorales. Il en résulte un manque de connaissances pour, d’une part, comprendre la manière dont ils lisent un texte littéraire et les difficultés qu’ils rencontrent pendant leur expérience lectorale et, d’autre part, aider les enseignants à concevoir des activités d’enseignement-apprentissage susceptibles de soutenir le développement des compétences lectorales de leurs étudiants.

Or, au cégep, la conception de ces activités serait dominée par les théories formalistes, orientant le travail des étudiants sur les textes vers l’étude de procédés formels, de catégories génériques et du contexte sociohistorique (Goulet, 2015 ; Lecavalier et Richard, 2009 ; Roy, 2009). La lecture deviendrait un exercice de déchiffrement au lieu de l’activité de lecteurs impliqués, inscrits dans un processus de construction identitaire et de découverte du monde (Rouxel, 2002). Cela contraste avec les principales recherches en didactique de la littérature, menées au moins depuis la théorisation du sujet lecteur (Rouxel et Langlade, 2004), promouvant des activités alternatives (Émery-Bruneau, 2018) ou inspirées de la lecture subjective (Babin et Dezutter, 2017). Ainsi, nous avons voulu dresser le portrait des compétences lectorales des étudiants selon les activités d’enseignement-apprentissage qu’ils vivent.

Afin d’atteindre cet objectif, nous avons élaboré deux séquences d’enseignement-apprentissage sur la nouvelle « Le K » de Dino Buzzati que nous avons mises en oeuvre dans quatre groupes du deuxième cours obligatoire de littérature au cégep : Littérature et imaginaire. La première séquence (S1), inspirée des théories formalistes, est centrée sur le texte et caractérisée par une posture analytique, dominante au cégep (Babin et coll., 2014 ; Goulet, 2015), tandis que la seconde (S2) repose plutôt sur la mise en oeuvre d’activités privilégiant les expériences de lecture des étudiants, dans la perspective conceptuelle du sujet lecteur (Rouxel et Langlade, 2004). Or, les fondements théoriques de l’élaboration de ces deux séquences, outil au coeur de la collecte de données de la recherche, ne suffisent pas à en assurer la validité didactique : encore faut-il qu’elles satisfassent à des critères reconnus par la communauté scientifique (Sénéchal et Dolz, 2019). D’une part, cet article vise à décrire la manière dont nous avons validé les deux séquences ; d’autre part, il discute de la pertinence du processus de validation mené grâce à la méthode Delphi dans le cadre d’une recherche comme la nôtre. Pour ce faire, nous définissons la notion de validité didactique, puis nous décrivons la démarche méthodologique que nous avons adoptée, soit la méthode Delphi ; enfin, nous présentons et interprétons les résultats du processus de validation.

3. Validité didactique

La notion de validité didactique implique d’articuler « la recherche, les prescriptions institutionnelles, les capacités réelles des élèves et des enseignants » (Sénéchal et Dolz, 2019, p. 20). Elle est sous-tendue par les trois pôles du triangle didactique, à savoir les objets d’enseignement-apprentissage, le processus d’enseignement dans un cadre institutionnel donné et l’appropriation des savoirs enseignés. Ainsi, Schneuwly et Dolz (1997) parlent de trois principes de validité didactique : la légitimité, la pertinence et la solidarisation. Le principe de légitimité désigne le fait que les contenus enseignés sont transposés à partir de savoirs savants. Le principe de pertinence vise l’arrimage entre les capacités des étudiants, les finalités et les objectifs institutionnels, et les processus d’enseignement-apprentissage. Enfin, le principe de solidarisation consiste à mettre en cohérence des savoirs en fonction des objectifs d’apprentissage. La notion de principe devient critère chez Dolz et Dufays (2012), qui en ont établi trois : l’efficacité, la légitimité et l’enseignabilité. Pour ces deux didacticiens, l’efficacité des apprentissages implique de les penser « dans une perspective de progression » (p. 14). La légitimité concerne les contenus qui doivent être cohérents, solides et sélectionnés dans « une perspective qui permette d’envisager de nouvelles constructions de savoirs » (p. 14). Enfin, l’enseignabilité suppose d’associer la progression des apprentissages « à des outils pour l’enseignant et de l’inscrire dans une claire continuité » (p. 14).

Sénéchal et Dolz (2019) ont approfondi la réflexion sur les critères de validité didactique en partant, entre autres, de la thèse de Sénéchal (2016b) pour en proposer cinq : la légitimité, la pertinence, la cohérence, la faisabilité dans le milieu éducationnel et didactique, et les gains en termes d’apprentissage (tableau 1).

Tableau 1

**Critères de validité didactique (Sénéchal et Dolz, 2019)**

Nous avons retenu ces cinq critères pensés dans une perspective intégrative et interdépendante (Sénéchal et Dolz, 2019) afin de valider les deux séquences d’enseignement-apprentissage, c’est-à-dire des ensembles d’activités organisées pour amener les étudiants à atteindre des objectifs d’apprentissage (Legendre, 2005).

4. Démarche méthodologique adoptée

Notre démarche méthodologique s’articule autour de l’utilisation de la méthode Delphi pour collecter des données. Celles-ci ont été par la suite analysées grâce à une analyse de contenu (Bardin, 2013).

4.1 Présentation de la méthode Delphi

La méthode Delphi est une technique qui permet d’obtenir un consensus fiable d’un panel d’experts grâce à une série itérative de questions (Dalkey et Helmer, 1963) et d’en produire un examen critique détaillé (Green, 2014). Sa mise en oeuvre devrait prendre en considération six principes (Pickard, 2013) : 1) inviter seulement des experts au panel, c’est-à-dire des personnes qui ont des connaissances dans le domaine concerné ; 2) collecter toutes les données par écrit ; 3) anonymiser les experts ; 4) administrer le questionnaire au moins deux fois ; 5) dégager un consensus ; 6) traiter les divergences comme des résultats de la recherche puisque le consensus n’est pas toujours possible. Toutefois, un chercheur peut omettre l’un ou l’autre des principes pour ajuster la technique aux besoins de sa recherche (Jenkins et Sekayi, 2016), ce qui en fait un outil souple et adaptable à des domaines aussi différents que les sciences sociales, les sciences de la santé ou les systèmes d’information (Okoli et Pawlowski, 2004). En éducation, la méthode Delphi a par exemple été utilisée pour déterminer des contenus curriculaires (Vallor et coll., 2016), identifier les caractéristiques d’une école démocratique (Eylem Korkmaz et Erden, 2014) ou encore documenter le rôle de l’éducation informelle dans la maitrise des compétences en TIC (Godin et Freiman, 2022).

4.2 Mise en oeuvre de la méthode Delphi

Nous avons structuré notre démarche en trois grands axes : 1) élaboration du questionnaire à administrer aux experts ; 2) sélection des experts du panel ; 3) administration du questionnaire aux experts.

4.2.1 Élaboration du questionnaire

Pour élaborer le questionnaire à administrer aux experts, nous avons formulé cinq énoncés en nous basant sur les critères de validité didactique précédemment décrits (Sénéchal et Dolz, 2019). Les cinq énoncés étaient les mêmes pour les deux séquences (tableau 2). Ils apparaissaient dans la première colonne du questionnaire qui en comptait trois. La deuxième colonne présentait les chiffres exprimant les cinq degrés d’accord relativement à la S1, tandis que la troisième colonne était consacrée à la S2. Les cinq degrés d’accord de l’échelle de Likert étaient les suivants : « Tout à fait d’accord » ; « D’accord » ; « Ni d’accord, ni en désaccord » ; « Pas d’accord » et « Pas du tout d’accord ». Par commodité, ils ont été réduits à trois au moment de traiter les données : « D’accord », « Neutre » et « Pas d’accord ».

Tableau 2

**Première version du questionnaire**

À l’issue du premier tour, nous avons construit un nouveau questionnaire (tableau 3) sous la forme d’un tableau pour chacune des deux séquences. Les cinq énoncés se trouvaient dans la colonne de gauche. Au-dessus des cinq énoncés apparaissaient les cinq degrés d’accord (échelle de Likert). Chaque ligne était consacrée à un énoncé et contenait les chiffres correspondant aux différents degrés d’accord.

Tableau 3

**Deuxième version du questionnaire**

Hasson et coll. (2000) déplorent l’absence de standardisation du degré d’accord consensuel dans les écrits recensés sur l’utilisation de la méthode Delphi, ce qui entraine une variation entre 51 et 80 % selon les études. Afin de déterminer la fiabilité du consensus pour chaque énoncé, nous avons repris les quatre barèmes établis par Booto Ekionea et coll. (2011) : fort (80 à 100 %) ; modéré (60 à 79,9 %) ; faible (50 à 59,9 %) et absence de consensus (0 à 49,9 %).

4.2.2 Sélection des experts

Dans une recherche avec la méthode Delphi, la qualité des résultats dépend des connaissances des experts et de leur familiarité avec l’objet d’étude (Baillette et coll., 2013). Ainsi, nous avons sélectionné des experts réunissant les quatre caractéristiques associées à l’expertise (Skulmoski et coll., 2007) : connaissances en didactique de la littérature et/ou en enseignement de la littérature au cégep ; capacité et volonté de participer ; disponibilité ; aptitudes communicationnelles. En outre, il est recommandé de constituer un panel hétérogène afin d’enrichir la qualité des réponses (Skulmoski et coll., 2007). L’hétérogénéité des experts permet d’obtenir des évaluations riches, variées et complémentaires. Elle dépend de la taille du panel, qui peut être composé d’un petit nombre d’experts (Okoli et Pawlowski, 2004) ou de centaines (Landeta, 2006). Plusieurs facteurs contextuels tels que la disponibilité des experts et le temps peuvent justifier la taille du panel. Ainsi, nous avons constitué un panel dont la taille maximale serait de 17 experts (Okoli et Pawlowski, 2004) en considérant les trois critères suivants : l’expertise, l’hétérogénéité et les facteurs contextuels de la recherche.

En effet, nous avons sollicité 17 experts. De ce nombre, 15 ont accepté de participer au processus, mais ce sont 12 d’entre eux qui nous ont finalement envoyé leur rapport d’évaluation. Nous avons donc travaillé avec un panel de 12 experts (tableau 4) de quatre pays francophones : la Belgique, la France, le Québec (Canada) et la Suisse. Nous les avons classés en trois catégories : didacticiens de la littérature (actifs ou retraités) ; doctorantes en didactique de la littérature ; enseignants de littérature au cégep. Cette hétérogénéité a rendu possible une triangulation des sources pour l’obtention d’une « diversité des points de vue […] pour dégager une vision plus riche » (Savoie-Zajc, 2019, p. 37) de la validité des deux séquences. Pour ce faire, nous avons évité que les experts s’influencent mutuellement en prenant connaissance des arguments de leurs pairs. Nous avons donc cherché à obtenir l’accord individuel des experts avec chacun des énoncés au lieu d’un consensus sur les énoncés.

Tableau 4

**Profil des experts du panel**

4.2.3 Administration du questionnaire aux experts

Le premier tour d’évaluation s’est déroulé sur cinq semaines, du 25 mars au 30 avril 2021. Nous avons demandé aux experts d’exprimer leur degré d’accord avec les cinq énoncés et de nous transmettre leurs commentaires. Pour ce faire, nous leur avons fourni quatre documents :

une mise en contexte présentant le projet de recherche, le déroulement du processus de validation didactique et l’échéancier à respecter par les experts ;
un tableau synthèse des deux approches faisant état des fondements théoriques qui sous-tendent l’élaboration des deux séquences ;
les deux séquences d’enseignement-apprentissage, c’est-à-dire un document décrivant les objets à enseigner, les activités et leur mise en oeuvre projetée ;
le questionnaire à remplir pour évaluer les deux séquences (tableau 2) avec un espace « commentaires » pour expliciter l’évaluation.

À partir des commentaires reçus, nous avons élaboré une deuxième version des séquences d’enseignement-apprentissage. Pour le deuxième tour d’évaluation, nous avons transmis sept documents aux experts et nous leur avons demandé de nous retourner leur rapport dans un délai de trois semaines (19 mai au 11 juin 2021). Nous leur avons adressé une lettre dans laquelle nous avons formulé les objectifs de notre recherche et clarifié notre démarche. En outre, nous leur avons envoyé deux séries de documents identifiés 1A, 1B, 1C et 2A, 2B, 2C. La série 1 correspondait à la S1 et la série 2 désignait les documents nécessaires à l’évaluation de la S2. Dans chaque série, la lettre A désignait la planification de l’enseignant ; la lettre B, le déroulement des activités et la lettre C, le questionnaire à remplir par les experts.

En définitive, nous avons mis en oeuvre la méthode Delphi en sept étapes : 1) élaboration des critères de sélection des experts ; 2) établissement d’une liste d’experts potentiels ; 3) contact avec les experts listés pour connaitre leur intérêt à participer ; 4) administration initiale du questionnaire ; 5) anonymisation des experts et production d’une deuxième version des séquences en intégrant les suggestions de modification reçues ; 6) administration du questionnaire révisé ; 7) traitement des rapports d’évaluation reçus et fin de la sollicitation des experts.

4.3 Analyse de contenu

Pour analyser les données collectées, nous avons retenu l’analyse de contenu de type classificatoire (Bardin, 2013), qui se prête particulièrement bien aux réponses à des questions ouvertes et aux commentaires. Elle consiste à dépouiller les réponses et à les ventiler selon des rubriques de classification. La grille catégorielle ainsi obtenue permet de procéder à une description thématique des données, c’est-à-dire à une reformulation du contenu de l’énoncé sous une forme condensée (Negura, 2006). Une fois que nous avons fait émerger les thèmes significatifs évoqués dans les commentaires des experts, nous avons établi des liens entre eux afin de construire un sens aux données. La grille catégorielle renferme ainsi plusieurs thèmes, lesquels se définissent comme des ensembles de mots permettant de cerner ce qui est abordé dans un extrait du corpus (Paillé et Mucchielli, 2016).

Cette grille a été élaborée à l’issue du premier tour d’évaluation. Elle comprend les thèmes suivants : intention didactique, objectifs, cohérence des activités, modalités de travail, nombre d’activités, chevauchement des approches, encadrement des étudiants, présentation du questionnaire. Après le second tour d’évaluation, nous avons ajouté les thèmes suivants à la grille : production finale, contenus à enseigner, points saillants. Pour faciliter le traitement des données et l’élaboration de la grille, nous avons créé un fichier Word contenant une section pour la S1 et une autre pour la S2 après chaque tour d’évaluation. Nous y avons consigné le degré d’accord exprimé par tous les experts relativement aux cinq énoncés de l’échelle de Likert. Ensuite, nous y avons transféré tous les commentaires des experts. Nous avons utilisé un code de couleurs pour classer les commentaires selon les thèmes de la grille.

5. Résultats

Les résultats sont présentés en deux grandes sections consacrées chacune à l’un des deux tours d’évaluation. Dans chaque section, un tableau synthétique illustre le consensus obtenu pour les séquences respectives.

5.1 Consensus sur les deux séquences au premier tour d’évaluation

Les experts ont exprimé des commentaires notamment sur l’absence d’une intention didactique claire, les modalités de travail des étudiants et leur encadrement, la progression des apprentissages, la cohérence des activités et leur nombre. Pour les deux séquences, 11 experts se sont exprimés sur les énoncés 1, 2 et 3 ; 10, sur l’énoncé 4 ; et 12, sur l’énoncé 5. Nous avons obtenu un faible consensus sur l’énoncé 5 pour la S2 au premier tour d’évaluation. À part cet énoncé avec lequel 50 % des experts étaient d’accord, tous les autres ont eu un taux d’approbation situé entre 0 et 49,9 % dans les deux séquences.

5.1.1 Consensus sur la séquence historico-formelle (S1)

Les cinq énoncés ont obtenu un taux d’approbation faible au premier tour d’évaluation (tableau 5), ce qui ne représente pas un consensus fiable. Seulement trois experts étaient d’accord avec les énoncés 1, 3 et 4, tandis que trois autres les désapprouvaient. Cinq experts se sont déclarés neutres sur les énoncés 1 et 4 ; quatre ont exprimé leur neutralité sur l’énoncé 3. Le taux de désaccord avec les énoncés 2 et 5 était élevé. En effet, six experts ont exprimé leur désaccord avec l’énoncé 2, alors que sept n’étaient pas d’accord avec l’énoncé 5.

Tableau 5

**Portrait du consensus sur la S1 (n = 12) au premier tour d’évaluation**

Au premier tour d’évaluation, des experts ont soulevé un problème lié à la terminologie puisque nous avions utilisé l’expression « séquence traditionnelle » pour désigner la S1. En effet, l’adjectif « traditionnel » employé pour qualifier la séquence leur a paru inapproprié, car, opposé à « moderne » (E5), il sous-entend une dévaluation de la S1 par rapport à la S2. Ensuite, il ne reflète pas ce qui se fait au cégep où deux configurations se superposent, à savoir une approche analytique fondée à la fois sur une épistémologie textualiste et sur l’histoire littéraire (E7). Cette divergence des experts avec la terminologie faisait écho à un problème de chevauchement entre les deux types d’activités proposées dans les séquences. En effet, des experts ont identifié plusieurs activités de cette séquence qui correspondaient plutôt à la S2. En outre, ils ont souligné le fait que les modalités de travail favorisaient trop la participation des étudiants, contrairement à ce qui se fait au cégep où l’enseignant occupe généralement toute la place par des exposés magistraux. En ce sens, un expert a écrit : « Pas représentatif de l’enseignement collégial traditionnel. C’est de la récupération de l’autre approche. » (E9) Un autre a recommandé « un réel travail […] pour mieux distinguer l’une et l’autre des approches » (E5).

Les experts ont également exprimé des divergences sur la progression des apprentissages. Tout d’abord, ils ont souligné le fait que la S1 reposait surtout sur un travail sur les catégories formelles du texte, ce qui favoriserait le développement de capacités en analyse au détriment de la formation d’un sujet lecteur, type de lecteur au coeur de la lecture subjective. À ce propos, une experte a ainsi commenté l’énoncé 3 : « Pas nécessairement des compétences en lecture, mais des compétences en analyse, oui ! » (E2) Un autre expert a relevé que la séquence fournissait « des outils pour mieux comprendre le fonctionnement du texte ; comment on peut l’analyser » (E12). En outre, la séquence présentait l’inconvénient, de l’avis de certains experts, de ne pas avoir un objectif général bien que chacune des séances fût liée à un objectif spécifique. Cela pouvait entrainer un manque de clarté dans l’intention didactique. Dans cet ordre d’idées, les experts ont exprimé des divergences avec le fait que les activités se présentaient en blocs sans nécessairement avoir une visée d’ensemble explicite. De plus, ils ont mis en relief la surabondance d’exercices pour amener les étudiants à analyser le texte sans liens structurels entre les différents apprentissages. En ce sens, une experte a suggéré de « tisser des liens entre eux [les savoirs] et assurer un maillage » (E4).

5.1.2 Consensus sur la séquence subjective (S2)

L’évaluation de la première version de la S2 a mis en lumière les désaccords des experts avec les énoncés (tableau 6). En effet, trois experts se sont déclarés d’accord avec les énoncés 1, 2 et 4. Cinq ont affirmé être en désaccord avec les énoncés 1 et 2, tandis que trois n’étaient pas d’accord avec l’énoncé 4. Cinq experts ont exprimé leur neutralité sur l’énoncé 4, tandis que l’énoncé 5 était approuvé par six experts et désapprouvé par six autres.

Tableau 6

**Portrait du consensus sur la S2 (n = 12) au premier tour d’évaluation**

Comme pour la S1, les experts ont relevé l’absence d’un objectif général pour articuler les différentes séances dans une intention didactique claire et intégratrice. Ainsi, l’experte E2 s’est interrogée sur la progression des apprentissages des étudiants au terme de la S2 : « Devront-ils avoir vécu une expérience de lecture riche et satisfaisante au point de vue individuel, ou devront-ils rédiger les travaux prescrits par le programme ministériel pour chacun des cours? » Il a paru ainsi nécessaire de clarifier l’intention didactique (E7, E9) pour la rendre cohérente (E2, E4, E5, E7). En outre, les experts ont critiqué le nombre d’activités proposées dans la S2 (E5, E7, E8, E9).

Cette variété d’activités est considérée superficielle, car elle « entrave l’approfondissement et l’intériorisation » (E9). Cette diversité de « dispositifs disparates d’une séance à l’autre […] » fait qu’il n’y pas assez de temps pour expliquer le dispositif aux étudiants, « qui ont déjà des habitudes de lecture néfastes » (E9). Ainsi, les experts ont recommandé de réduire les activités et de prévoir du temps pour expliquer aux étudiants le déroulement du projet.

Les experts ont souligné une trop grande présence de l’enseignant, car les activités étaient trop guidées (E5, E8, E9). Les étudiants apparaitraient comme « de simples exécutants » (E9), certaines activités amenant vers une « lecture scolaire, une tâche, rien pour susciter un sujet lecteur » (E9). Les experts E8 et E9 ont récusé particulièrement l’usage d’un tableau que les étudiants devraient remplir à la première séance : « Trop de matériel, tout est trop préfabriqué, les élèves n’ont pas d’autonomie et ils vont le sentir en voyant tout ce dispositif déjà élaboré pour eux. » (E9) L’expert E5 a relevé l’usage du carnet de lecture pour faire remarquer la nécessité « d’impliquer davantage les étudiants dans l’élaboration même du contenu de ce carnet » (E5). Afin de faire plus de place aux étudiants, l’expert E9 a proposé : « […] peu de matériel, beaucoup d’animation en équipe, et aussi en groupe entier. Mais beaucoup de planification et d’anticipation pour le prof, que les élèves ne voient pas, afin de moins improviser. » (E9) Paradoxalement, les experts ont estimé qu’il n’y avait pas assez d’enseignement pour amener les étudiants à faire des apprentissages.

Par exemple, l’experte E7 a soulevé le manque de préparation des étudiants au débat interprétatif. Selon elle, « il faut leur enseigner ce qu’est un problème interprétatif et comment en formuler sous forme de question » (E7). Elle a recommandé également la suppression du résumé qui ne relève pas de l’approche subjective tout comme l’expert E12 a proposé d’enlever les entrées obligatoires dans le carnet de lecture. Les experts ont trouvé que le parcours proposé n’amenait pas les étudiants à prendre assez de recul par rapport au texte. Pour les expertes E1, E2 et E4, il était nécessaire d’établir des critères de jugement pour amener les étudiants à dépasser les jugements de goût, car l’approche subjective ne « consiste pas simplement en des discussions et la formulation d’impressions de lecture floues » (E2). Dans cet ordre d’idées, l’expert E6 a écrit qu’il faut amener les étudiants « à prendre une distance du texte pour reconnaitre les effets que celui-ci a produits sur eux ». Pour les experts, il devait y avoir une raison autre que l’enseignement de notions pour justifier la lecture du texte faisant l’objet de la séquence. L’expert E5 a rappelé la nécessité de trouver un équilibre entre l’appétence et les compétences dans une approche subjective. Pour lui, les activités devaient amener « les sujets lecteurs à saisir les effets que leur lecture a eus sur eux » (E5).

5.2 Consensus sur les deux séquences au second tour d’évaluation

À l’issue du premier tour, nous avons pris en compte les commentaires des experts pour élaborer une deuxième mouture des deux séquences. Nous avons également retravaillé la présentation du questionnaire pour le rendre mieux lisible pour les experts. En effet, nous avons remarqué que certains commentaires ne concordaient pas avec la notation choisie par les experts dans l’échelle de Likert. Pour éviter cette confusion, nous avons proposé un formulaire pour chaque séquence et nous avons repris non seulement les chiffres exprimant le degré d’accord, mais aussi la valeur associée à chaque chiffre. Au deuxième tour, 11 experts ont de nouveau transmis un rapport d’évaluation. Ils se sont prononcés sur les cinq énoncés. Leurs commentaires ont surtout consisté à souligner des aspects jugés importants et à nous prodiguer des conseils pour la mise en oeuvre des séquences, avec une attention à la production finale, aux savoirs à enseigner et aux modalités d’enseignement. Globalement, nous avons observé un revirement des experts au second tour d’évaluation. D’une part, pour la S1, trois énoncés (1, 3 et 4) ont obtenu un consensus fort avec un taux d’approbation d’au moins 80 %. Les deux autres énoncés (2 et 5) ont été approuvés à 72,72 % et 63,63 % respectivement. En ce qui concerne la S2, trois énoncés (2, 4 et 5) sont également approuvés à plus de 90 % chacun. De leur côté, les énoncés 1 et 3 ont eu un consensus modéré avec 72,72 % chacun.

5.2.1 Consensus sur la séquence historico-formelle (S1)

À l’issue du second tour d’évaluation, les cinq énoncés ont obtenu un taux d’approbation important pour la S1 (tableau 7). En effet, les 11 experts étaient d’accord avec l’énoncé 4. Neuf (81,81%) étaient respectivement d’accord avec les énoncés 1 et 3, alors que huit (72,72 %) approuvaient l’énoncé 2. L’énoncé 5 a obtenu le taux d’approbation le moins élevé avec sept (63,63 %) experts sur 11. Après avoir reçu les premiers commentaires des experts, nous avions modifié « séquence traditionnelle » pour « séquence historico-formelle ». Cette notion reflète plus précisément le travail que les étudiants réalisent au cégep sur l’histoire littéraire et les structures formelles des textes (Roy, 2009).

Tableau 7

**Portrait du consensus sur la S1 (n = 12) au deuxième tour d’évaluation**

Seulement l’énoncé 2 a reçu deux avis défavorables sur 11. La première séance a poussé l’expert E12 à exprimer son désaccord, car il a estimé que les questions étaient trop nombreuses. De son côté, l’expert E10 trouvait « certaines activités […] trop simples, peu utiles et fastidieuses » (E10). L’expert E9 a soulevé quelques réserves liées aux modalités d’enseignement. En effet, il a considéré qu’il y avait parfois un flottement entre un enseignement où l’enseignant « fournit une expertise sans chercher à l’ancrer par rapport à la culture de masse » (E9) et un autre « inspiré de l’approche socioconstructiviste » (E9). Pour illustrer son propos, il a souligné le fait que l’enseignant convoquerait les connaissances antérieures des étudiants pendant un exposé magistral et la manière dont l’activité d’écriture serait organisée dans la séance 4. Pour lui, cette proposition correspondrait aux « écrits intermédiaires » de Chabanne et Bucheton (2002), ce qui ne la situerait pas dans le cadre de l’approche historico-formelle. Ainsi, il a proposé l’idée que les étudiants reçoivent un nouveau texte pour rédiger leur production finale. Pour cet expert, l’approche historico-formelle est liée à l’écriture d’un texte tel que la dissertation. Par conséquent, les étudiants devraient recevoir un enseignement dans la séance ayant pour objectif de leur apprendre à rédiger ce genre textuel. Cette proposition ne prend pas en considération le fait que notre recherche porte exclusivement sur les compétences lectorales. Néanmoins, nous partageons avec l’expert le constat selon lequel « l’enseignant analyse de manière magistrale un texte modèle pour leur [aux étudiants] montrer ce qu’ils doivent faire comme performance finale » (E9) dans une séquence historico-formelle.

Il est important de relever que l’énoncé 5 est celui qui a obtenu le taux d’approbation le moins élevé avec 7 (63,63 %) experts sur 11. Cet énoncé postule que la séquence favorise la progression des apprentissages des étudiants en lecture. L’experte E3 a exprimé son désaccord avec cet énoncé. Pour elle, c’est une séquence qui, « au mieux, permet aux étudiants d’apprendre à analyser un texte » (E3). Les autres experts ayant exprimé leur neutralité abondent dans le même sens. Cette désapprobation est liée moins à la séquence qu’à l’approche dont elle s’inspire. En effet, l’approche historico-formelle se focalise davantage sur les aptitudes d’analyse textuelle que sur la formation d’un sujet lecteur. En ce sens, une experte a précisé : « Presque par définition, en didactique, la séquence historico-formelle ne permet pas tellement le développement de compétences en lecture. » (E3)

Deux experts (E3, E9) ont rappelé d’équilibrer les tâches afin qu’elles amènent les étudiants à travailler autant sur l’aspect formel que sur l’aspect historique grâce à des liens entre la nouvelle « Le K » et le fantastique, le contexte sociohistorique, la psychanalyse, etc. Les experts E4 et E9 ont émis des réserves sur la tâche finale, qui n’est pas une dissertation explicative, c’est-à-dire l’exercice obligatoire du cours Littérature et imaginaire. Pour nous, cela révèle la difficulté de faire acquérir des apprentissages en lecture proprement dite avec l’approche historico-formelle. Cette rédaction finale doit être cohérente avec l’objectif de la séquence et elle vise surtout à amener les étudiants à produire un texte dans lequel ils rendent compte de leur compréhension de la nouvelle.

4.2.2 Consensus sur la séquence subjective (S2)

Au deuxième tour d’évaluation, 10 experts sur 11 étaient d’accord avec les énoncés 2, 4 et 5 pour la S2 (tableau 8). Les énoncés 1 et 3 ont chacun obtenu l’accord de huit experts. Aucun expert n’a exprimé de désaccord avec les énoncés 3 et 5.

Tableau 8

**Portrait du consensus sur la S2 (n = 12) au deuxième tour d’évaluation**

Les commentaires des experts ont surtout consisté à attirer notre attention sur des détails jugés importants. Il est toutefois pertinent de s’intéresser au désaccord exprimé par deux expertes avec le premier énoncé selon lequel la séquence est construite sur des savoirs transposés à partir de savoirs savants. L’experte E1 n’a pas trouvé les savoirs assez explicités. Quant à l’experte E4, elle a fourni un commentaire sous forme de question : « Où sont les savoirs savants dans cette séquence ? » Ces commentaires révèlent à tout le moins un malentendu, car l’énoncé n’évoque pas la mobilisation de savoirs savants. En effet, la séquence doit répondre à une exigence scientifique en transposant des savoirs savants en savoirs à enseigner.

Il est également important de souligner que trois expertes ont exprimé leur neutralité sur le troisième énoncé. Leurs réserves visaient la formulation de l’objectif plutôt que la cohérence des activités par rapport à l’objectif. L’une des expertes a également soulevé la question de l’uniformité des objectifs des deux séquences. Pour l’experte E4, c’est la production finale qui a justifié sa neutralité, car ce n’est pas une dissertation explicative. Le projet de recherche portant exclusivement sur les compétences lectorales des étudiants, les exercices d’écriture sont considérés comme des outils de collecte de données. Cependant, le devis de recherche prévoit une consigne identique pour tous les participants en vue de comparer leurs compétences selon les activités qu’ils auraient réalisées.

Dans un autre ordre d’idées, l’experte E3 a proposé d’insister, durant la mise en oeuvre des séquences, sur « l’importance capitale des inférences causales dans la compréhension du texte narratif » (E3). Quant à l’experte E6, elle a mis en relief la nécessité de construire avec les étudiants les outils qui leur permettraient « d’exprimer au mieux leurs réactions lectorales » (E6). Cette idée est reprise par l’experte E7 pour suggérer de veiller à équilibrer la mobilisation et la diversité des ressources chez les étudiants en évitant de trop se focaliser sur les « ressources affectives au détriment des ressources épistémiques, axiologiques, éthiques et socioculturelles » (E7). Enfin, l’experte E3 a exprimé sa neutralité sur l’énoncé 5, car une trop grande préparation au débat interprétatif pourrait rendre « la mise en oeuvre de l’activité elle-même factice » (E3). Elle a émis la même réserve sur la troisième séance. Pour elle, il serait nécessaire de moins préparer ces deux activités pour garantir une plus grande implication des étudiants. La nécessité de cette préparation est à mettre en écho avec le fait d’expliquer le déroulement du projet aux étudiants.

6. Discussion

Contrairement à des didacticiens (Biao, 2020 ; Sénéchal, 2016a, 2016b) qui, dans une démarche d’ingénierie didactique (Artigue, 1998), s’assurent de la validité de leurs ressources didactiques grâce à l’expérimentation en contexte réel d’enseignement, nous avons utilisé les deux séquences comme outil de collecte de données. En d’autres termes, ces séquences étaient des « réactifs » (Ronveaux et Schneuwly, 2018) sur la compréhension, l’interprétation et l’appréciation des étudiants en lecture. Ainsi, leur validité didactique a été établie en amont de leur mise en oeuvre selon cinq critères (Sénéchal et Dolz, 2019) et avec le souci d’articuler dans une démarche systémique et intégrative (Goigoux, 2012) les problématiques liées à l’élaboration des savoirs, à leur appropriation par les étudiants et à notre intervention. Les cinq énoncés sur lesquels les experts devaient se prononcer reflètent ces préoccupations. À l’issue du second tour d’évaluation, il était possible d’affirmer la validité didactique des deux séquences d’enseignement-apprentissage.

En effet, les résultats issus de ce second tour tendent à confirmer que les contenus sélectionnés dans les séquences étaient transposés de savoirs savants et susceptibles d’amener les étudiants à construire de nouveaux savoirs en lecture, ce qui en souligne la légitimité. Outre la légitimité, ils montrent la possibilité d’anticiper les obstacles des étudiants durant la mise en oeuvre des séquences. Il est ainsi possible de soutenir que les modifications apportées à la première version des séquences permettaient de juger de leur adaptation aux capacités des étudiants. De plus, les résultats supputent que les contenus sont organisés de manière à former un ensemble unifié dans chacune des séquences, car la deuxième version présente des contenus articulés, solidarisés et intégrés de manière cohérente. Ils induisent également l’éventualité de transférer les séquences à d’autres contextes d’enseignement-apprentissage similaires à celui de notre recherche, ce qui leur confère un potentiel d’utilisation ultérieure. Pour finir, les séquences ont le potentiel de favoriser l’engagement des étudiants dans les tâches prévues, ce qui les amènerait à réaliser de nouveaux apprentissages. Par ailleurs, le processus de validation a renforcé la méthodologie de notre recherche.

Comme le rappelle Brady (2015), la méthode Delphi, facile à mettre en oeuvre (Skulmoski et coll., 2007), a été conçue pour la recherche empirique, afin d’éclairer la pratique. Le processus de validation réalisé avec cette méthode nous a ainsi permis de mieux planifier les interventions auprès des étudiants, d’expliciter le choix des contenus à enseigner et de juger de leur enseignabilité. Nous avons pu mieux articuler les connaissances scientifiques aux réalités institutionnelles afin de valider les séquences, et d’assurer une meilleure démarcation entre notre connaissance expérientielle et une démarche de production d’une connaissance causale (Develay, 2004), renforçant de fait l’objectivité de la recherche.

Dans cet ordre d’idées, nous avons réalisé une triangulation de sources afin de collecter des données riches et diversifiées en misant sur l’hétérogénéité des experts du panel. Dans la plupart des études menées avec la méthode Delphi (Baillette et coll., 2013 ; Booto Ekionea et coll., 2011), les experts reçoivent un compte rendu des positions de leurs pairs, ce qui leur donne la possibilité de s’influencer mutuellement. Nous avons évité cela dans notre démarche afin de pouvoir croiser les sources. Ce faisant, nous avons visé moins un consensus entre les experts sur les énoncés que leur accord individuel avec chacun des cinq énoncés. Cette triangulation de sources nous a offert des perspectives différentes en vue d’assurer la rigueur scientifique du processus de validation. Ainsi que l’écrit Maleki (2009), l’utilisation de la méthode Delphi se focalise sur l’expertise plutôt que sur la représentativité. Avec des experts enseignants au cégep, doctorants en didactique et didacticiens, nous avons eu accès à une importante expertise. Certes, nous ne pouvons pas faire ressortir trois types de commentaires selon le profil des experts, car certains sont à la fois didacticien et enseignant au cégep. Mais nous avons relevé deux tendances plus ou moins marquées chez les experts. Les commentaires des enseignants les plus exhaustifs sont liés aux critères de faisabilité et de pertinence. À l’inverse, les didacticiens et les doctorantes ont émis des commentaires plus élaborés sur les critères de légitimité, de cohérence et de gains. En ce sens, nous pouvons prétendre qu’il y a eu complémentarité dans les sources de données. Cependant, nous aurions pu faire preuve de plus de créativité dans la mise en oeuvre de la méthode Delphi en scindant le panel en deux ou trois sous-groupes. Cela nous aurait permis de recevoir le rapport d’évaluation d’un premier sous-groupe (par exemple, les universitaires), de faire les modifications proposées par ce sous-groupe et de soumettre la nouvelle version à un deuxième sous-groupe (par exemple, les enseignants). Nous aurions pu ainsi enrichir davantage nos sources de données.

D’un autre côté, ce processus de validation nous amène à nous interroger sur l’usage même de la notion d’expert dans la méthode Delphi. Cette notion reste équivoque, car elle désigne quelqu’un ayant des connaissances dans le domaine concerné (Pickard, 2013 ; Roqueplo, 1997) : quels auraient été les résultats si nous avions ajouté au panel des didacticiens de domaines connexes tels que la didactique de la grammaire, par exemple ? Par ailleurs, les résultats auraient pu être différents si l’échelle de Likert était construite différemment. En effet, nous avons utilisé une échelle donnant la possibilité à un expert de déclarer sa neutralité sur un énoncé, ce que trois experts ont fait pour l’énoncé 3 relativement à la S2 au second tour d’évaluation. Quelle aurait été leur position sans cette possibilité ? Il serait intéressant que les experts soient amenés à se positionner dans une étude avec Delphi. Pour terminer, nous avons décidé d’arrêter le processus d’évaluation à l’issue du deuxième tour d’évaluation pour deux raisons. D’une part, le troisième tour sert la plupart du temps à resserrer le consensus entre les experts, car certains en profitent pour se rallier à la position de leurs pairs. Dans notre cas, ce n’était pas nécessaire, car les experts ne connaissaient pas les positions de leurs collègues. D’autre part, notre objectif n’était pas d’obtenir l’unanimité entre les experts. Il s’agissait plutôt de dégager un consensus fiable en mettant en écho des points de vue contrastés, voire contradictoires. Le second tour d’évaluation ayant permis d’affirmer que la deuxième version des séquences satisfaisait aux critères de validité didactique, il était donc raisonnable de mettre fin à la sollicitation des experts.

7. Conclusion

Le processus décrit dans cet article et les résultats qui en découlent montrent la nécessité d’assurer la validité didactique des ressources didactiques avant leur mise en oeuvre dans une recherche scientifique. En validant didactiquement les deux séquences, nous avons pu renforcer la scientificité de notre recherche, notamment en mettant en veilleuse notre expérience de praticien et nos préjugés. Charlot (2008) décrit les sciences de l’éducation comme un espace saturé de discours, lesquels pouvant toutefois nier la légitimité d’un discours scientifique sur l’éducation. Il explique cette situation par le fait que « chacun a une expérience de l’éducation, la sienne ou celle de ses enfants […] » (Charlot, 2008). Par conséquent, les sciences de l’éducation doivent se situer par rapport à la connaissance d’expérience en produisant une connaissance scientifique, c’est-à-dire « une connaissance à caractère universel […], causale et objectivable » (Develay, 2004, p. 66). Il est ainsi indispensable de s’interroger sur les conditions devant encadrer la production d’une telle connaissance, notamment à travers

un ensemble de méthodes de recherche contrôlables qui permettent de produire des résultats différenciés des opinions et des croyances, et de procédures réflexives et évaluatives qui autorisent un retour critique non seulement sur les recherches effectuées et leurs résultats, mais encore sur le questionnement, les méthodes et l’appareil conceptuel qui les fondent.
Reuter, 2007, p. 5

La méthode Delphi est l’un de ces outils essentiels pour s’assurer de produire une recherche crédible, transférable, fiable et valide.

Fednel Alexandre
Chargé de cours, Université du Québec en Abitibi-Témiscamingue

Judith Émery-Bruneau
Professeure, Université du Québec en Outaouais

Geneviève Messier
Professeure, Université du Québec à Montréal

Résumé

Abstract

Resumen

1. Introduction

2. Contexte et problématique

3. Validité didactique