User experience of the Written Exam Question Quality tool to inform the writing of new written-exam questions Expérience des utilisateurs de l’outil de qualité des questions d’examen écrit pour la rédaction de nouvelles questions d’examen écrit

Abstract

Background: Creating new written-exam questions is a burdensome task for faculty members. While several guidelines exist, there had not been a previous attempt to streamline them in a user-friendly tool. We created the Written Exam Question Quality tool (WEQQ) and explored potential users’ perception of this tool when writing their exam questions.

Methods: We conducted a descriptive study to explore how four Canadian faculty members used the WEQQ. We conducted structured interviews that were analyzed within and across participants to understand the latter’s perceived usefulness and acceptability of the WEQQ. Quantitative data from a short questionnaire on creating exam questions and their psychometric properties were also collected.

Results and conclusion: Participants’ perception of the WEQQ was positive, and they were favorable to its use. The WEQQ seemed to represent a user-friendly, easy way to help faculty members in creating multiple-choice or short-answer questions. Time on task remained the same when using the WEQQ. We were able to identify two user profiles, passive and active, which indicated how faculty members use the WEQQ to create exam questions. Future steps would be to further investigate if the WEQQ can increase the quality of written-exam questions and to understand how to promote an active use of the WEQQ when implementing this tool.

Résumé

Contexte : La création de nouvelles questions d'examen écrit est une tâche lourde pour les membres du corps enseignant. Bien qu'il existe plusieurs lignes directrices, aucune tentative antérieure n'a été faite pour les rationaliser dans un outil convivial. Nous avons créé l'outil de qualité des questions d'examen écrit (WEQQ - Written Exam Question Quality tool) et exploré la perception de cet outil par les utilisateurs potentiels lors de la rédaction de leurs questions d'examen.

Méthodes : Nous avons mené une étude descriptive pour explorer comment quatre membres de facultés canadiennes ont utilisé le WEQQ. Nous avons réalisé des entretiens structurés qui ont été analysés au sein des participants et entre eux afin de comprendre l'utilité et l'acceptabilité perçues du WEQQ. Des données quantitatives provenant d'un court questionnaire sur la création de questions d'examen et leurs propriétés psychométriques ont également été recueillies.

Résultats et conclusions : Les participants ont eu une perception positive du WEQQ et étaient favorables à son utilisation. Le WEQQ semble représenter un moyen convivial et simple d'aider les enseignants à créer des questions à choix multiples ou à réponses courtes. Le temps consacré à la tâche est resté inchangé lors de l'utilisation du WEQQ. Nous avons pu identifier deux profils d'utilisateurs, passif et actif, qui indiquent comment les enseignants utilisent le WEQQ pour rédiger leurs questions d'examen. Les prochaines étapes consisteront à étudier davantage si le WEQQ peut améliorer la qualité des questions d'examen écrit et à comprendre comment promouvoir une utilisation active du WEQQ lors de sa mise en oeuvre.