Prompting better feedback: investigating the effect of targeted form design on quality of narrative feedback in ophthalmology CBME assessments

Abstract

Objective

Competency-based medical education (CBME) requires a variety of assessments evaluating resident performance. Assessment form design may influence narrative feedback quality. To evaluate the effect of including targeted written comment prompts in entrustable professional activity (EPA) assessment forms on the quality of narrative feedback in CBME ophthalmology resident trainee assessments.

Methods

Transition to discipline (TTD) assessment data from three distinct time periods were anonymized; the first 2 groups contained assessments completed with the original form design, whereas the last group represented assessments completed after the introduction of revised EPA forms. Written feedback was scored using the Quality of Assessment for Learning (QuAL) score. One-way ANOVA and a Tukey post hoc test were used to compare mean QuAL scores of each group.

Results

One-thousand one-hundred and forty-five assessments were analyzed, including 680 Original EPA forms, 322 intermediate forms, and 143 revised forms. QuAL scores significantly increased after revisions were made to the assessment form, with original, intermediate, and revised form mean QuAL scores of 2.14 ± 1.76, 2.77 ± 1.75, and 4.33 ± 1.11; P < 0.001 for all comparisons, respectively.

Conclusions

Revising EPA form design to include targeted prompts and examples of evidence-based coaching words to guide written comments results in higher-quality narrative feedback in CBME assessments.

Objectif

La formation médicale axée sur les compétences (FMAC) dépend d’une multitude d’évaluations visant à mesurer la performance des résidents. Or, la conception du formulaire d’évaluation peut influer sur la qualité de l’évaluation descriptive. Nous avons donc entrepris de mesurer l’effet de l’inclusion de messages-guides ciblés dans les formulaires d’évaluation des activités professionnelles confiables (APC) sur la qualité de l’évaluation descriptive dans le cadre des évaluations écrites des stagiaires résidents qui reçoivent une FMAC en ophtalmologie.

Méthodes

Les données des évaluations réalisées pendant le stage de progression vers la discipline (TTD, pour transition to discipline) obtenues lors de 3 blocs temporels distincts ont été anonymisées; les 2 premiers groupes comportaient des évaluations réalisées avec le formulaire d’origine, tandis que le troisième groupe comportait des évaluations réalisées avec le nouveau formulaire d’évaluation des APC. On a attribué un score de qualité de l’évaluation pour l’apprentissage (QuAL, pour Quality of Assessment for Learning) aux commentaires écrits. L’analyse de la variance à un facteur et le test post-hoc de Tukey ont servi à comparer les scores QuAL moyens dans chaque groupe.

Résultats

On a ainsi analysé 1145 évaluations, soit 680 formulaires d’évaluation des APC d’origine, 322 formulaires intermédiaires et 143 formulaires révisés. Les scores QuAL ont augmenté significativement lorsque les révisions ont été apportées au formulaire d’évaluation. Les scores QuAL du formulaire de départ, du formulaire intermédiaire et du formulaire révisé se chiffraient respectivement à 2,14 ± 1,76, à 2,77 ± 1,75 et à 4,33 ± 1,11 (p < 0,001 pour l’ensemble des comparaisons).

Conclusions

La révision du formulaire d’évaluation des APC pour y inclure des messages-guides ciblés et des exemples de termes d’encadrement factuels afin d’orienter les commentaires écrits a donné lieu à des commentaires descriptifs de meilleure qualité dans les évaluations des activités de FMAC.