Corps de l’article

Introduction

La crise, pour reprendre l’une des définitions canoniques du concept, est un événement imprévisible, qui met en péril les objectifs prioritaires d’une organisation et se caractérise par le manque de temps pour répondre aux défis posés (Hermann, 1963). Parmi les nombreux impacts reliés à la crise sanitaire de la COVID‑19 en éducation, la question du développement des compétences enseignantes a été centrale : pour maintenir leur mission d’enseignement, il aura fallu que les établissements supérieurs déploient, en très peu de temps, un grand nombre de ressources pour outiller les enseignants et ainsi faire face à un contexte tout à fait inattendu.

Parmi ces ressources, les établissements d’enseignement supérieur québécois ont mis sur pied des formations à destination de leur personnel enseignant (professeurs, chargés de cours, etc.). Comme la TÉLUQ[2] ou l’UQAM[3], l’Université de Montréal (UdeM), par son Centre de pédagogie universitaire, a déployé un parcours de formation pour continuer d’épauler les membres du personnel enseignant selon leurs besoins. Développé dans l’urgence de la crise, le parcours de formation « Concevoir et encadrer des activités pédagogiques à distance pour mon cours de l’été 2020 » était ouvert à l’ensemble des enseignantes et enseignants de l’UdeM. Il comprenait 21 activités (webinaires, ateliers et communautés de pratiques) réparties sur trois semaines (Centre de pédagogie universitaire, 2020). La hâte dans laquelle le parcours a été bâti a cependant révélé d’inévitables imperfections dont il fallait tenir compte. Une évaluation du parcours de formation apparaissait donc comme incontournable pour améliorer l’offre présente et future de formations, tout en prenant en considération le contexte extrêmement labile de la crise. En effet, considérant le fait que le confinement (d’abord présenté comme temporaire) allait s’étirer dans le temps, le passage à l’enseignement à distance devenait donc une nécessité à planifier sur plusieurs mois, nécessité qui, elle-même, exigerait de développer d’autres formations au fil de la crise. La stratégie d’évaluation allait donc permettre d’adapter l’offre de formation en fonction de la rétroaction des enseignants. Finalement, l’adoption (en tout ou partie) de stratégies de formation à distance par l’ensemble de la communauté éducative montre bien qu’il est nécessaire de développer des formations qui s’adaptent à l’évolution rapide des compétences enseignantes : en ce sens, une stratégie d’évaluation est d’autant plus importante pour s’adapter à cette réalité changeante.

Le présent article vise à détailler une partie du scénario d’évaluation des formations sur la conception et l’encadrement d’activités pédagogiques à distance en temps de confinement, et ce, en vue de la bonification de ces formations. À la suite de ce travail descriptif, la communauté éducative est invitée à mobiliser ce scénario et à l’adapter selon ses besoins, tandis que la communauté de recherche est invitée à l’éprouver empiriquement[4]. Cet article présentera le cadre conceptuel adopté pour bâtir la séquence d’évaluation. Nous exposerons ensuite les ressources élaborées, particulièrement pour connaître le point de vue des enseignants. Nous discuterons enfin des perspectives de cette instrumentation.

Les fondements de l’instrumentation utilisée

Dans un contexte de formation, la notion d’évolution renvoie à l’idée de déterminer et d’améliorer la valeur d’une formation (c.-à-d. maintenir ou non la formation en l’état) sur la base de standards ou de critères particuliers qui aident à la prise de décision (Gilibert et Gillet, 2010; McCain, 2016).

Le modèle adopté ici relève davantage de l’évaluation de formations professionnelles. Il s’agit du modèle de Kirkpatrick et Kirkpatrick (2006) à quatre niveaux d’impact (tableau 1) : malgré ses faiblesses (conceptuelles et instrumentales), il reste l’un des modèles parmi les plus employés (Gilibert et Gillet, 2010; Santos et Stuart, 2003). Nous nous sommes toutefois rapportés au modèle de Guskey (2002) en cinq niveaux pour bonifier ce premier modèle : d’abord, il évoque l’emploi de nouvelles connaissances et habiletés plutôt que de parler de simples changements de comportements; ensuite, l’auteur distingue le soutien de l’organisation de la simple satisfaction. Même si nous ne remobilisons pas cette distinction, la nuance que fait Guskey (2002) est utile : il faut tenir compte à la fois d’un élément de contentement[5] et d’un élément plus organisationnel relatif au soutien reçu par l’équipe d’organisateurs.

Tableau 1

Synthèse adoptée des modèles de Kirkpatrick et Kirkpatrick (2006) et Guskey (2002)

Synthèse adoptée des modèles de Kirkpatrick et Kirkpatrick (2006) et Guskey (2002)

-> Voir la liste des tableaux

Présentation de la structure de l’évaluation

Dans notre stratégie d’évaluation, nous nous sommes concentrés sur les deux premiers niveaux que sont la réaction (1er niveau) et l’apprentissage (2e niveau). Quant au 3e niveau, même s’il est encore tôt pour établir un bilan sur le plan comportemental, nous pouvons évaluer les comportements anticipés, notamment en questionnant les enseignants sur les stratégies qu’ils pensent mobiliser dans leur pratique. Enfin, en ce qui a trait aux résultats (4e niveau), les stratégies existantes d’évaluation des enseignements par les étudiantes et étudiants permettront d’y répondre partiellement.

  1. Le 1er niveau d’évaluation (réaction) a été renseigné : i) par les enseignants, avec un questionnaire de satisfaction et de qualité perçue après la formation; ii) par les conseillers pédagogiques impliqués dans le processus dans le cadre de deux activités de groupe. Ces deux éléments de « réaction » réfèrent aux dimensions de contentement et d’organisation soulignées par Guskey (2002).

  2. Le 2e niveau (apprentissage) a été documenté par les enseignants dans : i) un questionnaire sur le sentiment d’autoefficacité (ou sentiment d’efficacité personnelle, SEP) passé avant et après la formation; ii) une question ouverte sur les compétences ou connaissances développées dans le questionnaire post-formation; iii) une communauté de pratique dans laquelle les enseignants échangeaient sur leurs stratégies pédagogiques « coups de coeur ».

  3. Le 3e niveau (changement des pratiques) a été évalué par les enseignants avec : i) une question ouverte sur les stratégies qu’ils comptaient déployer, dans le questionnaire post-formation; ii) un groupe de discussion auquel ont participé cinq enseignants (15 invitations envoyées); iii) une dernière communauté de pratique qui constituait une activité conclusion et dans laquelle les enseignants échangeaient sur les stratégies pédagogiques qu’ils comptaient mettre en oeuvre à court et moyen terme.

Détails sur les principaux instruments mobilisés pour recueillir la perception des enseignants

La consultation des enseignants a donc principalement reposé sur deux questionnaires, passés avant ou après la formation, ainsi que sur un groupe de discussion, que nous détaillons ici.

Le questionnaire sur le sentiment d’autoefficacité avant et après la formation

Une difficulté inhérente aux formations libres et non certifiantes concerne l’évaluation des apprentissages et des compétences. En effet, on ne peut guère compter sur des évaluations sommatives. Le SEP constitue ainsi une option alternative simple à l’évaluation : le SEP est employé comme prédicteur de la capacité ou du désir d’un individu d’exécuter une tâche (Coutinho et Neuman, 2008; Pintrich et de Groot, 1990)[6]. Rappelons que le SEP est généralement défini comme correspondant aux capacités perçues dans un domaine spécifique (Bandura, 1986; Schunk, 1991). Nous avons adapté le modèle de Prior et al. (2016) en huit facteurs, modèle suggérant que l’attitude et les compétences numériques contribuent à l’autoefficacité[7], elle-même contributive à la capacité d’interagir sur les environnements numériques d’apprentissage (ENA), notamment. Cette adaptation a été conçue pour quantifier l’autopositionnement sur la base de six facteurs latents :

  1. l’attitude générale à l’égard des TIC;

  2. les compétences numériques au quotidien;

  3. les compétences génériques en enseignement;

  4. l’aptitude à animer des interactions avec un groupe-classe;

  5. les compétences numériques en enseignement;

  6. les habiletés relatives à la manipulation des ENA.

Pour chacune des propositions, les enseignants devaient répondre à l’affirmation « Je me sens confiant(e) et compétent(e) pour… » sur une échelle de 1 (pas du tout) à 7 (tout à fait). Ce questionnaire (annexe, figure A.1) a été présenté avant et après la formation.

Cette échelle de six facteurs comporterait 45 items (annexe, tableau A.1). Des résultats partiels semblent attester d’une excellente précision de la mesure, autant quant à la fidélité des scores de l’échelle (α = 0,97; IC95[0,97; 0,98], ωt = 0,98; IC95[0,98; 1,00], ωh = 0,80; IC95[0,22; 0,97]) que pour les six facteurs, compris entre α = 0,85; IC95 (0,83; 0,92), ωt = 0,86; IC95 (0,84; 0,92) (facteur « Interactions avec le groupe classe ») et α = 0,97; IC95 (0,96; 0,97), ωt = 0,97; IC95 (0,96; 0,97) (facteur « Compétence numérique en enseignement »).

Le questionnaire de satisfaction et de qualité perçue après la formation

Nous nous sommes appuyés sur les travaux d’Aman (2009) qui a développé un questionnaire portant sur la satisfaction des participants à l’égard de formations en ligne. Ce questionnaire comporte une échelle qui vise principalement à quantifier la perception quant à la qualité de la formation. Cette échelle comporte cinq facteurs que sont : i) les objectifs d’apprentissage; ii) l’évaluation; iii) les ressources mises à disposition; iv) les interactions avec les formateurs; v) les technologies employées (annexe, tableau A.2). Nous avons retiré les items relatifs à l’évaluation des apprentissages puisqu’il n’y en avait pas. En plus de cette échelle, le questionnaire comprend plusieurs questions ayant trait au contexte général. Pour répondre à nos besoins, nous avons ajouté quelques questions relatives au temps (durée des activités et fréquence). Pour chacune des propositions, les enseignants devaient répondre à la question « Êtes-vous d’accord avec les énoncés suivants? » sur une échelle de 1 (pas du tout) à 7 (tout à fait), à l’exception des deux derniers items relatifs aux durées et pour lesquels on demandait de répondre à l’affirmation « Si le rythme de la formation et des différentes activités devait être modifié… » de 1 (beaucoup moins long) à 7 (beaucoup plus long). Enfin, un champ ouvert avait été ajouté pour recevoir des commentaires et suggestions. Ce questionnaire (annexe, figure A.2) a été présenté après la formation.

Concernant la précision de la mesure, les premiers indices de fidélité sont aussi excellents, tant sur le plan de l’ensemble de l’échelle (α = 0,95; IC95[0,95; 0,98], ωt = 0,97; IC95[0,97; 0,99], ωh = 0,82; IC95[0,81; 0,89]) que pour les cinq facteurs retenus, les indices étant compris entre α = 0,85; IC95 (0,76; 0,93), ωt = 0,85; IC95 (0,73; 0,93) (facteur « Objectifs d’apprentissage ») et α = 0,95; IC95 (0,95; 0,97), ωt = 0,95; IC95 (0,95; 0,97) (facteur « Technologies employées »).

Le groupe de discussion post-formation

Bien connu en recherches qualitatives, le focus group ou groupe focalisé en français[8] (Thibeault, 2010) permet de générer des données par le biais de discussions de groupe (Morgan, 1997). Cinq enseignants, issus de facultés différentes, ont été invités à une rencontre synchrone pour effectuer un retour (debriefing) sur la formation, avec des questions prédéterminées proches de l’entretien semi-structuré. Les éléments de la grille d’Aman (2009) ont été autant de thèmes abordés durant cette heure, de même que les dimensions relatives à l’apprentissage et aux changements de pratiques. Cette approche permet de « creuser » davantage les données recueillies dans le cadre des questionnaires avec deux objectifs : i) détailler la nature des sources de mécontentement ou de satisfaction; ii) suggérer d’éventuelles améliorations. Sur cette base, nous avons bâti une grille souple et propice aux échanges :

  • Le contexte général : clarté des informations accessibles en amont, simplicité du processus d’inscription, etc.

  • Les objectifs d’apprentissage : Les enseignants en avaient-ils fixé en amont? Si oui, ont-ils été atteints? Correspondaient-ils aux attentes?

  • Les apprentissages réalisés et les compétences développées

  • Les ressources à disposition : Le matériel était-il pertinent? Était-il accessible?

  • Les formations ont-elles permis les interactions avec les formateurs et les autres enseignants? Si oui, dans quelle proportion? Ces échanges ont-ils été de qualité?

  • Les technologies mobilisées : Étaient-elles simples d’accès? Étaient-elles utiles?

  • Qu’est-ce qui a changé ou qui va changer dans leurs pratiques en FAD?

Discussion et conclusion

Parmi les outils mis sur pied par le Centre de pédagogie universitaire de l’UdeM pour évaluer et améliorer les cycles de formation offerts au personnel enseignant, trois visaient à recueillir directement leurs impressions. Une approche mixte a permis de couvrir différentes facettes de l’offre de formation, correspondant aux trois premiers niveaux du modèle de Kirkpatrick et Kirkpatrick (2006) et aux quatre premiers niveaux du modèle de Guskey (2003). Le développement d’une instrumentation francophone est indispensable, mais elle nécessiterait une démarche de validation plus aboutie sur le plan tant psychométrique que culturel et linguistique. Sur le plan psychométrique, l’échelle de SEP et le questionnaire de satisfaction, quoiqu’en développement, semblent être des indicateurs intéressants et rapides à mettre en oeuvre dans le cadre de tests pré et post-formation. Des outils de sondage en ligne permettent de recueillir ce genre d’informations à coûts minimes, voire nuls.

La principale limite des mesures pré et post-formation réside cependant dans le fait que l’on peut légitimement supposer que les enseignants mécontents de leurs premiers pas dans une formation ne la poursuivent guère et ne vont pas l’évaluer. À l’inverse, ceux pour qui on porte un regard positif sur leurs premiers moments de formation vont possiblement s’y engager davantage et fournir une rétroaction positive. Cela est probablement particulièrement vrai pour la participation aux groupes focalisés dans lesquels on imagine mal les insatisfaits vouloir s’engager.

Grâce à l’échelle d’autoefficacité, il est possible d’observer une progression du score moyen de SEP quant aux différentes composantes et à la moyenne générale (passée de 5,00/7 à 5,29/7 à l’issue de la formation). Dans l’hypothèse où des recherches futures montreraient une diminution des scores au terme de la formation, il ne faudrait cependant pas pour autant en déduire que les connaissances ou compétences ont diminué en raison de la formation : il pourrait s’agir d’une illustration de l’effet Dunning-Kruger (Kruger et Dunning, 1999) selon lequel les personnes plus qualifiées ont une plus grande propension à mésestimer leur compétence, ce qui a notamment été corroboré quant aux compétences informationnelles (Gross, 2005; Gross et Latham, 2012).

Il faudra aussi examiner la probable corrélation positive entre le niveau de SEP et le score à l’échelle de qualité. On sait déjà qu’un sentiment de satisfaction des enseignants au travail semble favoriser l’autoefficacité (Gkolia et al., 2014) : le sentiment de satisfaction, qui pourrait résulter de la perception d’un soutien de l’établissement, serait lié au SEP. Des analyses factorielles exploratoires et confirmatoires ultérieures contribueraient à raffiner les deux échelles proposées afin de les rendre plus parcimonieuses et de valider leur adéquation aux modèles. Surtout, la mobilisation d’une méthodologie de recherche contribuerait à éprouver ces quelques hypothèses.

En effet, le développement, dans l’urgence, de formations en soutien à l’enseignement a possiblement bousculé des modèles traditionnels de développement des compétences numériques. Des travaux futurs pourraient ainsi remettre en question la validité, en contextes de crise, de modèles d’acceptation des technologies à l’image du technology acceptance model (TAM, Davis et al., 1989) et de ses différentes versions (Venkatesh et al., 2003; Venkatesh et Bala, 2008). Des facteurs contextuels (ici, la crise sanitaire) et des antécédents exogènes (par exemple, le SEP en compétence numérique, mais éventuellement le soutien institutionnel) pourraient être davantage pris en compte, comme cela a été évoqué pour certaines propositions de modifications du TAM (King et He, 2006).