Abstracts
Abstract
Validity as a social imperative foregrounds the social consequences of assessment and highlights the importance of building quality into the assessment development and monitoring processes. Validity as a social imperative is informed by current assessment trends such as programmatic-, longitudinal-, and rater-based assessment, and is one of the conceptualizations of validity currently at play in the Health Professions Education (HPE) literature. This Black Ice is intended to help readers to get a grip on how to embed principles of validity as a social imperative in the development and quality monitoring of an assessment. This piece draws on a program of work investigating validity as a social imperative, key HPE literature, and data generated through stakeholder interviews. We describe eight ways to implement validation practices that align with validity as a social imperative.
Résumé
La validité en tant qu'impératif social met de l'avant les conséquences de l'évaluation des apprentissages sur la société et souligne l'importance d'intégrer la qualité dans le développement et le monitoring de l'évaluation des apprentissages. La validité en tant qu'impératif social est influencée par les tendances actuelles en matière d'évaluation, telles que l'évaluation programmatique, longitudinale et l'évaluation par des évaluateurs. La validité en tant qu'impératif social fait partie des conceptualisations actuellement présentes dans les écrits scientifiques dans le contexte de la pédagogie des sciences de la santé. Ce texte a pour but d'aider les lecteurs à comprendre comment intégrer les principes de validité en tant qu'impératif social dans le développement et le suivi de qualité d'une évaluation. Cet article s'appuie sur un programme de recherche qui examine la validité en tant qu'impératif social, sur les écrits scientifiques en pédagogie des sciences de la santé et des données provenant d'entrevues avec différentes parties prenantes. Nous décrivons huit façons de mettre en oeuvre des pratiques de validation qui sont en accord avec la validité en tant qu'impératif social.
Appendices
Bibliography
- Marceau M, Gallagher F, Young M, St-Onge C. Validity as a social imperative for assessment in health professions education: a concept analysis. Med Educ. 2018 Jun;52(6):641-53. https://doi.org/10.1111/medu.13574
- St-Onge C, Young M, Eva KW, Hodges B. Validity: One word with a plurality of meanings. Adv Health Sci Educ. 2017 Oct 1;22(4):853-67. https://doi.org/10.1007/s10459-016-9716-3
- Marceau M, St-Onge C, Gallagher F, Young M. Validity as a social imperative: Users' and leaders' perceptions. Can Med Educ J. 2022;13(3):22-36. https://doi.org/10.36834/cmej.73518
- Mislevy RJ. Validity by design. Educ Res 2007;36(8):463-9. https://doi.org/10.3102/0013189X07311660
- Messick S. Standards of validity and the validity of standards in performance assessment. Educ Measure. 1995;14(4):5-8. https://doi.org/10.1111/j.1745-3992.1995.tb00881.x
- Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: a practical guide to Kane's framework. Med Educ. 2015 Jun;49(6):560-75. https://doi.org/10.1111/medu.12678
- Ellaway RH, Topps D, Pusic M. Data, big and small: emerging challenges to medical education scholarship. Acad Med. 2019. p. 31-6. https://doi.org/10.1097/ACM.0000000000002465
- Downing SM. Validity: On the meaningful interpretation of assessment data. Med Educ. 2003 Sep;37(9):830-7. https://doi.org/10.1046/j.1365-2923.2003.01594.x
- AERA, APA, NCME. Validity. In: standards for educational and psychological testing. Washington: American Educational Research Association; 2014. p. 11-31.
- Kane MT. Validation. In: Brennan R, editor. Educational Measurement. 4th ed. Westport: American Council on Education/Praeger.; 2006. p. 17-64.