Abstracts
Abstract
Background: Entrustment decisions may be retrospective (based on past experiences with a trainee) or real-time (based on direct observation). We investigated judgments of entrustment based on assessor prior knowledge of candidates and based on systematic direct observation, conducted in an objective structured clinical exam (OSCE).
Methods: Sixteen faculty examiners provided 287 retrospective and real-time entrustment ratings of 16 cardiology trainees during OSCE stations in 2019 and 2020. Reliability and validity of these ratings were assessed by comparing correlations across stations as a measure of reliability, differences across postgraduate years as an index of construct validity, correlation to standardized in-training exam (ITE) as a measure of criterion validity, and reclassification of entrustment as a measure of consequential validity.
Results: Both retrospective and real-time assessments were highly reliable (all intra-class correlations >0.86). Both increased with year of postgraduate training. Real-time entrustment ratings were significantly correlated with standardized ITE scores; retrospective ratings were not. Real-time ratings explained 37% (2019) and 46% (2020) of variance in examination scores vs. 21% (2019) and 7% (2020) for retrospective ratings. Direct observation resulted in a different level of entrustment compared with retrospective ratings in 44% of cases (p = <0.001).
Conclusions: Ratings based on direct observation made unique contributions to entrustment decisions.
Résumé
Contexte : La décision de confier une activité peut être rétrospective (basée sur les expériences antérieures avec un apprenant) ou en temps réel (basée sur l’observation directe). Nous avons étudié les évaluations de niveaux de confiance fondées sur des interactions antérieures des candidats par les évaluateurs et celles fondées sur l’observation directe systématique, dans le cadre d’un examen clinique objectif structuré (ECOS).
Méthodes : Seize évaluateurs du corps professoral ont fourni 287 évaluations rétrospectives et en temps réel du niveau de confiance faites lors des stations d’ECOS en 2019 et 2020 concernant 16 stagiaires en cardiologie. La fiabilité et la validité de ces évaluations ont été analysées en comparant les corrélations entre les stations comme mesure de la fiabilité, les différences entre les années d’études postdoctorales comme indice de la validité de construit, la corrélation avec l’examen normalisé en cours de formation (ITE) comme mesure de la validité de critère, et le reclassement des évaluations de la confiance comme mesure de la validité corrélative.
Résultats : Les évaluations rétrospectives et en temps réel étaient toutes les deux très fiables (toutes les corrélations intra-classes >0,86). Les deux augmentaient avec le niveau de formation postdoctorale. Les évaluations de la confiance en temps réel étaient significativement corrélées aux scores de l’examen normalisé en cours de formation; les évaluations rétrospectives ne l’étaient pas. Les évaluations en temps réel expliquaient 37 % (2019) et 46 % (2020) de la variance des notes d’examen, contre 21 % (2019) et 7 % (2020) pour les évaluations rétrospectives. L’observation directe a permis de reclasser 44 % des évaluations rétrospectives de la confiance (p=<0,001 dans les deux cas).
Conclusion : Les évaluations basées sur l’observation directe contribuent de façon importante à la décision de confier une activité.