Abstracts
Résumé
Les futurs enseignants ont rarement l’occasion de tester leurs interprétations de questions complexes, incertaines ou ambiguës en évaluation des apprentissages et d’obtenir une rétroaction formative sur ces questions. Dans cet article, nous présentons un récit de pratique sur l’adaptation et sur l’utilisation d’un dispositif de formation au jugement évaluatif de futurs enseignants basé sur la concordance de jugement. Les assises théoriques du dispositif, les principes de sa conception ainsi que les facteurs contextuels ayant influencé son adaptation sont abordés. Un tel exercice nous permet de cerner quelques avantages de l’utilisation du dispositif pour favoriser le développement du jugement évaluatif en éducation.
Mots-clés :
- dispositif éducatif,
- évaluation des apprentissages,
- formation par concordance,
- innovation pédagogique,
- jugement évaluatif
Abstract
There remains a scarcity of opportunities for future educators to test their interpretations of complex, uncertain, or ambiguous questions in learning assessment and to obtain formative feedback on these questions. This article proposes a pedagogical practice based on the adaptation and the use of a Concordance-of-Judgment educational device to exercise future educators’ evaluative judgment. The theoretical foundations of the educational device, the principles of its design as well as the contextual factors that have influenced its adaptation in an educational context are discussed. Such exercise allows us to identify some of the benefits of using the device to promote the development of educators’ evaluative judgment.
Keywords:
- educational device,
- evaluative judgment,
- learning assessment,
- learning by concordance,
- pedagogical innovation
Resumo
Os futuros professores raramente têm a oportunidade de testar as suas interpretações de questões complexas, incertas ou ambíguas em avaliação das aprendizagens e de receber feedback formativo sobre estas questões. Neste artigo, apresentamos uma narrativa de prática sobre a adaptação e o uso de um dispositivo de formação no juízo avaliativo de futuros professores baseado na concordância de juízo. Discutimos as bases teóricas do dispositivo, os princípios da sua conceção, bem como os fatores contextuais que influenciaram sua adaptação. Tal exercício permite identificar algumas vantagens do uso do dispositivo para promover o desenvolvimento do juízo avaliativo em educação.
Palavras chaves:
- avaliação da aprendizagem,
- dispositivo educativo,
- formação por concordância,
- inovação pedagógica,
- juízo avaliativo
Appendices
Liste des références
- Abelson, R. P. (1975). Concepts for representing mundane reality in plans. Dans D. G. Bobrow et A. Collins (dir.), Representation and understanding: Studies in cognitive science (p. 273-309). Academic Press.
- Ashford-Rowe, K., Herrington, J. & Brown, C. (2014). Establishing the critical elements that determine authentic assessment. Assessment & Evaluation in Higher Education, 39(2), 205-222. https://doi.org/10.1080/02602938.2013.819566
- Baribeau, A. (2015). Analyse des pratiques d’évaluation d’enseignants du secondaire IV et V dans des décisions sommatives de certification des apprentissages des élèves [Thèse de doctorat, Université du Québec à Trois-Rivières et Université du Québec à Montréal].
- Baribeau, A. (2020). La professionnalité de l’agir évaluatif de l’enseignant du secondaire dans le contexte québécois. Administration et Éducation, 165, 233-239. https://doi.org/10.3917/admed.165.0233
- Bélair, L. (2014). Évaluer ce qu’ils ont appris. Dans L. Ménard et L. St-Pierre (dir.), Se former à la pédagogie de l’enseignement supérieur (p. 355-380). Association québécoise de pédagogie collégiale (AQPC).
- Boelens, R., De Wever, B. & Voet, M. (2017). Four key challenges to the design of blended learning: A systematic literature review. Educational Research Review, 22, 1-18. https://doi.org/10.1016/j.edurev.2017.06.001
- Campbell, T. (2015). Stereotyped at Seven ? Biases in Teacher Judgement of Pupils’ Ability and Attainment. Journal of Social Policy, 44(3), 517-547. https://doi.org/10.1017/S0047279415000227
- Charlin, B., Deschênes, M.-F., Dumas, J.-P., Lecours, J., Vincent, A.-M., Kassis, J., Guertin, L., Gagnon, R., Robert, D., Foucault, A., Lubarsky, S. & Fernandez, N. (2018). Concevoir une formation par concordance pour développer le raisonnement professionnel : quelles étapes faut-il parcourir ? Pédagogie Médicale, 19, 143-149. https://doi.org/10.1051/pmed/2019019
- Charlin, B., Deschênes, M.-F. & Fernandez, N. (2021). Learning by concordance (LbC) to develop professional reasoning skills: AMEE Guide No. 141. Medical Teacher, 614-621. https://doi.org/10.1080/0142159X.2021.1900554
- Charlin, B., Tardif, J. & Boshuizen, H. P. A. (2000). Scripts and medical diagnostic knowledge: Theory and applications for clinical reasoning instruction and research. Academic Medicine, 75(2), 182-190. https://doi.org/10.1097/00001888-200002000-00020
- Chaumont, M. & Leroux, J. L. (2018). Le jugement évaluatif: subjectivité, biais cognitifs et postures du professeur. Pédagogie collégiale, 31(3), 27-33.
- Cianciolo, A. T. & Regehr, G. (2019). Learning Theory and Educational Intervention: Producing Meaningful Evidence of Impact Through Layered Analysis. Academic Medicine, 94(6). https://journals.lww.com/academicmedicine/Fulltext/2019/06000/Learning_Theory_and_Educational_Intervention_.31.aspx
- Crowne, D. P. & Marlowe, D. (1960). A new scale of social desirability independent of psychopathology. Journal of consulting psychology, 24(4), 349-354.
- Custers, E. J. (2015). Thirty years of illness scripts: Theoretical origins and practical applications. Medical Teacher, 37(5), 457-462. https://doi.org/10.3109/0142159X.2014.956052
- Deschênes, M.-F., Tremblay, K., Pelletier, I., Charlin, B. & Fernandez, N. (2022). Expérience d’enseignants à la réalisation d’un dispositif numérique de formation basée sur la concordance de jugement. Formation et Profession, 30(2), 1-13. https://doi.org/10.18162/fp.2022.704
- Dionne, E. & Chanelière, M. (2022). Du contrat didactique au contrat évaluatif : une grille de lecture pour mieux appréhender l’évaluation des apprentissages en pédagogie médicale. Pédagogie médicale, 23(1), 85-92. https://doi.org/10.1051/pmed/2021030
- Dionne, É. et Simões Forte, L. A. (2013). Le test de jugement professionnel en évaluation des apprentissages (TJPEA) : un outil visant à mesurer des compétences avec des télévoteurs. Dans Actes du Colloque scientifique international sur les TIC en éducation : bilan, enjeux actuels et perspectives futures, Montréal.
- Dory, V., Gagnon, R., Vanpee, D. & Charlin, B. (2012). How to construct and implement script concordance tests: insights from a systematic review. Medical Education, 46(6), 552-563. https://doi.org/10.1111/j.1365-2923.2011.04211.x
- Duget, A. (2014). Les pratiques pédagogiques en première année universitaire : description et analyse de leurs implications sur la scolarité des étudiants [Thèse de doctorat, Université de Bourgogne].
- Ericsson, K. A. & Simon, H. A. (1980). Verbal reports as data. Psychological Review, 87, 215-251. https://doi.org/10.1037/0033-295x.87.3.215
- Fernandez, N., Deschênes, M.-F., Akremi, H., Lecours, L., Jobin, V. & Charlin, B. (2023). What can Designing Learning-by-Concordance Clinical Reasoning Cases Teach Us about Instruction in the Health Sciences ? Perspectives on Medical Education, 12(1), 160-168. https://doi.org/10.5334/pme.898
- Fives, H. & Barnes, N. (2020). Navigating the complex cognitive task of classroom assessment. Teaching and Teacher Education, 92, 103063. https://doi.org/10.1016/j.tate.2020.103063
- Gouvernement de l’Ontario. (2010). Faire croitre le succès : évaluation et comunication du rendement des élèves fréquentant les écoles de l’Ontario. Ministère de l’Éducation de l’Ontario (MEO). http://www.edu.gov.on.ca/fre/policyfunding/growSuccessfr.pdf
- Jabůrek, M., Cígler, H., Valešová, T. & Portešová, Š. (2022). What is the basis of teacher judgment of student cognitive abilities and academic achievement and what affects its accuracy ? Contemporary Educational Psychology, 69, 102068. https://doi.org/10.1016/j.cedpsych.2022.102068
- Jonassen, D. H. (2011). Learning to solve problems: A handbook for designing problem-solving learning environments. Routledge.
- Laveault, D. (2005). Le jugement professionnel de l’enseignant : quel impact sur l’acte d’évaluer ? Mesure et évaluation en éducation, 28(2), 93-114. https://doi.org/10.7202/1087226ar
- Laveault, D. (2008). Le jugement professionnel : foyer de tensions et de synergies nouvelles en évaluation scolaire. Revue suisse des sciences de l’éducation, 30(3), 483-500. https://doi.org/10.25656/01:4230
- Leroux, J. (2019). Les multiples facettes du travail des formateurs de stagiaires : quels enjeux et quels défis ? Phronesis, 8(1-2), 111-126. https://doi.org/10.7202/1066588ar
- Leroux, J. & Bélair, L. (2015). Exercer son jugement professionnel en enseignement supérieur. Dans J. Leroux (dir.), Évaluer les compétences au collégial et à l’université : un guide pratique (p. 67-104). Association québécoise de pédagogie collégiale (AQPC).
- Loye, N. & Fontaine, S. (2018). S’instrumenter pour évaluer. Pédagogie médicale, 19(2), 95-107. https://doi.org/10.1051/pmed/2019018
- Lubarsky, S., Charlin, B., Cook, D., Chalk, C. & Van der Vleuten, C. (2011). Script concordance testing: a review of published validity evidence. Medical Education, 45(4), 328-338. https://doi.org/10.1111/j.1365-2923.2010.03863.x
- Lubarsky, S., Dory, V., Duggan, P., Gagnon, R. & Charlin, B. (2013). Script concordance testing: from theory to practice: AMEE guide no. 75. Medical Teacher, 35(3), 184-193. https://doi.org/10.3109/0142159X.2013.760036
- Maes, O., Colognesi, S. & Van Nieuwenhoven, C. (2019). Le processus de construction du jugement évaluatif par les superviseurs de stage en enseignement. Mesure et évaluation en éducation, 42(1), 35-61. https://doi.org/10.7202/1066597ar
- Maes, O., Van Nieuwenhoven, C. & Colognesi, S. (2020). La dynamique de construction du jugement évaluatif du superviseur lors de l’évaluation de stages en enseignement. Canadian Journal of Education, 43(2), 522-547. https://www.jstor.org/stable/26954697
- Mayer, R. E. & Wittrock, M. C. (2006). Problem solving. Dans P. A. Alexander & P. H. Winne (dir.), Handbook of educational psychology (2e éd., p. 287-303). Lawrence Erlbaum.
- Merle, P. (2012). L’évaluation des élèves. Une modélisation interactionniste des pratiques professorales. Dans L. M. Lopez & G. Figari (dir.), Modélisations de l’évaluation en éducation : questionnements épistémologiques (p. 81-96). De Boeck Supérieur.
- Merle, P. (2018). Normes et biais généraux d’évaluation. Dans P. Merle (dir.), Les pratiques d’évaluation scolaire : historique, difficultés, perspective. Presses Universitaires de France.
- Ministère de l’Éducation du Québec. (2003). Politique d’évaluation des apprentissages : Formation générale des jeunes, formation générale des adultes, formation professionnelle. Ministère de l’Éducation du Québec. https://www.education.gouv.qc.ca/fileadmin/site_web/documents/dpse/evaluation/13-4602.pdf
- Mottier Lopez, L. & Allal, L. (2008). Le jugement professionnel en évaluation : un acte cognitif et une pratique sociale située. Revue suisse des sciences de l’éducation, 30(3), 465-482. https://doi.org/10.24452/sjer.30.3.4798
- Newell, A. & Simon, H. A. (1972). Human problem solving. Prentice-Hall
- Piot, T. (2008). La construction des compétences pour enseigner. McGill Journal of Education/Revue des sciences de l’éducation de McGill, 43(2), 95-110. https://doi.org/10.7202/019577ar
- Sacré, M., Lafontaine, D. & Toczek, M.-C. (2019). Liens entre les composantes des dispositifs d’enseignement hybride et les performances des étudiants de l’enseignement supérieur : une revue systématique. Mesure et évaluation en éducation, 42(3), 109-152. https://doi.org/10.7202/1074105ar
- Scallon, G. (2015). Des savoirs aux compétences : exploration en évaluation des apprentissages. De Boeck Supérieur.
- Schank, R. & Abelson, R. (1977). Script, Plans, Goals and Understanding: An Inquiry into Human Knowledge Structures. Lawrence Erlbaum Associates.
- Schmidt, H. G., Norman, G. R. & Boshuizen, H. P. (1990). A cognitive perspective on medical expertise: theory and implication. Academic Medicine, 65(10), 611-621.
- Seden, K. & Svaricek, R. (2018). Teacher subjectivity regarding assessment: Exploring English as a foreign language teachers’ conceptions of assessment theories that influence student learning. CEPS Journal, 8(3), 119-139. https://doi.org/10.25656/01:16008
- Smith, J. (2017). Application d’un test de concordance : étude exploratoire du développement de la compétence à évaluer les élèves chez les enseignants [Mémoire de maîtrise, Université d’Ottawa]. http://hdl.handle.net/10393/36510
- Tardif, J. (2006). L’évaluation des compétences : documenter le parcours de développement. Chenelière éducation.
- Tardif, J. (2017). Des repères conceptuels à propos de la notion de compétence, de son développement et de son évaluation. Dans P. J. Marianne, Tardif & G. François (dir.), Organiser la formation à partir des compétences. Un pari gagnant pour l’apprentissage dans le supérieur (p. 15-37). De Boeck Supérieur.
- Tourmen, C. (2014). Contributions des sciences de l’éducation à la compréhension de la pratique évaluative. Politiques et management public, 31(1), 69-85. http://journals.openedition.org/pmp/6970
- Tourmen, C. (2015). L’évaluation des compétences professionnelles : apports croisés de la littérature en évaluation, en éducation et en psychologie du travail. Mesure et évaluation en éducation, 38(2), 111-144. https://doi.org/10.7202/1036765ar
- Van Someren, M., Barnard, Y. & Sandberg, J. (1994). Studying the content of cognitive processes. Dans M. Van Someren, Y. Barnard & J. Sandberg (dir.), The Think Aloud Method: A practical guide to modelling cognitive processes (p. 13-26). Academic Press.
- Vanlommel, K., Van Gasse, R., Vanhoof, J. & Petegem, P. V. (2018). Teachers’ high-stakes decision making. How teaching approaches affect rational and intuitive data collection. Teaching and Teacher Education, 71, 108-119. https://doi.org/10.1016/j.tate.2017.12.011
- Voss, J. F. (1988). Problem solving and reasoning in ill-structured domains. Dans Analysing everyday explanation: A casebook of methods. (p. 74-93). SAGE Publications.
- Wiggins, G. (1993). Assessment: Authenticity, Context, and Validity. The Phi Delta Kappan, 75(3), 200-214. http://www.jstor.org/stable/20405066
- Wiggins, G. (2011). A True Test: Toward More Authentic and Equitable Assessment. The Phi Delta Kappan, 92(7), 81-93. https://doi.org/10.1177/003172171109200721
- Xun, G. E. & Land, S. M. (2004). A conceptual framework for scaffolding ill-structured problem-solving processes using question prompts and peer interactions. Educational Technology Research and Development, 52(2), 5-22. https://doi.org/10.1007/BF02504836