Understanding the near-peer relationship: Resident perspectives around a novel on-call workplace-based assessment Comprendre la relation entre presque pairs : le point de vue des résidents sur une nouvelle évaluation en milieu de travail dans un contexte de garde

Abstract

Background: Workplace-based assessment (WBA) is a critical component of competency-based medical education (CBME), though literature on WBA for overnight call is limited. We evaluated a WBA tool completed by supervising subspecialty trainees on paediatric residents during subspecialty overnight call, for usefulness facilitating feedback/coaching in this setting.

Methods: Web-based surveys were sent to residents pre- and post-WBA tool implementation monthly for four months (August-December 2018), exploring feedback frequency, Likert-scaled opinions of tool feasibility/usefulness facilitating feedback, and qualitative experiences. Assessor comments were categorized as actionable/non-actionable. Quantitative data was summarized using descriptive statistics. Qualitative data was coded to identify themes. 

Results: Total response rates averaged 41% (total 25 responses, average five respondents/12 residents on-call each month). Post-implementation (n = 16 responses), a non-sustained trend of increased Medical Expert feedback was observed. Residents were generally divided or disagreed on tool usefulness facilitating feedback and feasibility. Comments contained actionable feedback in < 10% of completed WBAs. Qualitative analysis revealed barriers to tool-facilitated coaching including: feedback quality and setting/environment, role of senior near-peer as assessor, interpersonal burden in encounters, and tool-specific issues.

Conclusions: Increasing frequency of WBA tool completion is not sufficient to achieve CBME goals. Factors impacting feedback/coaching within the resident/near-peer dyad must be addressed.

Résumé

Contexte : Tandis que l’évaluation en milieu de travail (EMT) est une composante essentielle de l’éducation médicale fondée sur les compétences (EMFC), il y a peu de recherches sur l’EMT en contexte de garde de nuit. Nous avons étudié un formulaire d’évaluation en milieu de travail rempli par des résidents en surspécialité supervisant des résidents en pédiatrie pendant la garde de nuit en surspécialité, afin de déterminer s’il facilite la rétroaction avec coaching dans ce contexte.

Méthodes : Des questionnaires en ligne ont été envoyés aux résidents avant la mise en œuvre de l’outil d’EMT et à partir de celle-ci, tous les mois pendant quatre mois (d’août à décembre 2018). Ils exploraient la fréquence des rétroactions, les opinions des participants, exprimées sur une échelle de Likert, sur le caractère pratique et l’utilité de l’outil comme facilitateur de la rétroaction et leurs expériences qualitatives. Les commentaires des évaluateurs ont été catégorisés comme étant exploitables ou non exploitables. Les données quantitatives ont été résumées à l’aide de statistiques descriptives. Les données qualitatives ont été codées pour identifier les thèmes.

Résultats : Le taux de réponse total était en moyenne de 41 % (total de 25 réponses, moyenne de 5 répondants/12 résidents de garde chaque mois). Après l’introduction de l’outil (n = 16 réponses), une tendance non soutenue à l’augmentation des commentaires des experts médicaux a été observée. Les résidents étaient généralement partagés ou en désaccord quant au caractère pratique de l’outil et à sa capacité à faciliter la rétroaction. Les commentaires contenaient des informations exploitables dans moins de 10 % des EMT remplies. L’analyse qualitative a révélé les obstacles suivants au fonctionnement de l’outil comme facilitateur du coaching : la qualité des commentaires et l’environnement, le rôle du presque pair senior en tant qu’évaluateur, la tension lors des rencontres de coaching et les problèmes spécifiques à l’outil.

Conclusion : Pour atteindre les objectifs de l’EMFC, il ne suffit pas de remplir plus souvent l’outil d’EMT. Les facteurs qui influencent la rétroaction avec coaching au sein de la dyade résident-presque pair doivent également être pris en compte.