Examining the accuracy of residents’ self-assessments and faculty assessment behaviours in anesthesiology Examen de l’exactitude des autoévaluations des résidents et des comportements d’évaluation des professeurs en anesthésiologie

Abstract

Background: Residents’ accurate self-assessment and clinical judgment are essential for optimizing their clinical skills development. Evidence from the medical literature suggests that residents generally do poorly at self-assessing their performance, often due to factors relating to learners’ personal backgrounds, cultures, the specific contexts of the learning environment and rater bias or inaccuracies. We evaluated the accuracy of anesthesiology residents’ self-assessed Global Entrustment scores and determined whether differences between faculty and resident scores varied by resident seniority, faculty leniency, and/or year of assessment.

Methods: We employed variance components modeling techniques and analyzed 329 pairs of faculty and self-assessed entrustment scores among 43 faculty assessors and 15 residents. Using faculty scores as the gold standard, we compared faculty scores with residents’ scores (xi(faculty)–xi(resident)), and determined residents’ accuracy, including over- and under-confidence.

Results: The results indicate that residents were respectively over- and under-confident in 10.9% and 54.4% of the assessments but more consistent in their individual self-assessments (rho = 0.70) than faculty assessors. Faculty scores were significantly higher (α = 0.396; z = 4.39; p < 0.001) than residents’ self-assessed scores. Being a lenient/dovish (β = 0.121, z = 3.16, p < 0.01) and a neutral (β = 0.137, z = 3.57, p < 0.001) faculty assessor predicted a higher likelihood of resident under-confidence. Senior residents were significantly less likely to be under-confident compared to junior residents (β = -0.182, z =-2.45, p < 0.05). The accuracy of self-assessments did not significantly vary during the two years of the study period.

Conclusions: The majority of residents’ self-assessments were inaccurate. Our findings may help identify the sources of such inaccuracies.

Résumé

Contexte : L'autoévaluation adéquate et le jugement clinique des résidents sont essentiels pour optimiser le développement de leurs compétences cliniques. Les données probantes de la littérature médicale indiquent que les résidents ont généralement du mal à s’auto-évaluer, souvent en raison de facteurs liés à leur passé personnel, à la culture, aux contextes spécifiques de l'environnement d'apprentissage et aux préjugés ou inexactitudes des évaluateurs. Nous avons évalué l'exactitude des scores d'autoévaluation par échelles de confiance globalepar des résidents en anesthésiologie et déterminé si les différences entre les scores des enseignants et des résidents variaient en fonction du niveau de formation des résidents, de l'indulgence des enseignants ou de l'année d'évaluation.

Méthodes : Nous avons utilisé des techniques de modélisation des composantes de la variance et analysé 329 paires de scores de confiance des enseignants et d'autoévaluation avec la participation de 43 évaluateurs du corps professoral et 15 résidents. Prenant les scores des enseignants comme référence, nous avons comparé les leurs avec ceux des résidents (xi(enseignant) -xi(résident)), et déterminé l’exactitude chez les résidents, y compris l'excès et le manque de confiance.

Résultats : Les résultats indiquent que les résidents étaient trop confiants dans 10,9 % des évaluations, et pas assez confiants dans 54,4 % des cas, mais qu’ils étaient plus cohérents dans leurs autoévaluations (rho = 0,70) que ne l’étaient les enseignants. Les scores du corps professoral étaient significativement plus élevés (α = 0,396 ; z = 4,39 ; p < 0,001) que les scores d'autoévaluation des résidents. Le fait d'être un évaluateur indulgent (β = 0,121, z = 3,16, p < 0,01) et neutre (β = 0,137, z = 3,57, p < 0,001) prédisait une probabilité plus élevée de sous-confiance des résidents. Les résidents seniors étaient significativement moins susceptibles de manquer de confiance en eux que les résidents juniors (β = -0,182, z = -2,45, p < 0,05). L'exactitude des autoévaluations n'a pas varié de manière significative au cours des deux années de la période d'étude.

Conclusions : La majorité des autoévaluations des résidents étaient inexactes. Nos résultats peuvent aider à identifier les sources de ces inexactitudes.