Étude de validation d’une grille d’évaluation d’un exercice de suture cutanée en simulation

Abstract

Contexte

La simulation en santé est une méthode pédagogique reconnue pour l’enseignement et la validation des compétences procédurales chirurgicales. Cette dernière tâche nécessite l’élaboration de grilles d’évaluation adaptées, répondant à différents critères de validité. L’objectif de cette étude était de valider une grille d’évaluation multimodale d’un exercice de suture cutanée complexe, associant la réalisation consécutive d’un nœud manuel, un surjet intradermique et un nœud au porte-aiguille.

Méthodologie

L’exercice de suture a été proposé sur un modèle de peau synthétique à des participants volontaires après obtention de leur consentement écrit, comprenant 9 étudiants de deuxième cycle d’études médicales, 40 internes de chirurgie de différents niveaux d’expérience, et un groupe de 9 chirurgiens seniors. La grille d’évaluation multimodale associait une check-list, un score de rapidité et une échelle d’évaluation globale de compétence. Chaque exercice était scoré par deux évaluateurs, et ceux des étudiants en médecine ont été filmés et anonymisés pour pouvoir être scorés de façon itérative. La validité de contenu a été testée au travers d’un questionnaire de satisfaction proposé de façon aléatoire aux participants.

Résultats

La grille d’évaluation multimodale a été jugée pertinente ou très pertinente par 98 % des participants, avec une meilleure appréciation pour la check-list que pour l’échelle d’évaluation globale. Sa cohérence interne était forte avec un coefficient α = 0,78, et une bonne corrélation entre les résultats de la check-list et de l’échelle globale (r = 0,79, p < 0,0001). La grille a montré une amélioration constante de la moyenne des scores de 34,4 ± 3,6 pour les novices jusqu’à 47,4 ± 2,5/50 points pour les experts en passant par trois groupes de compétences intermédiaires, et a permis une discrimination significative entre les groupes. La grille multimodale était fiable, avec un coefficient de corrélation de 0,88 pour la fiabilité intra-observateur, et de 0,72 pour la fiabilité inter-observateur. En analyse des sous-scores, l’échelle d’évaluation globale et le score de rapidité étaient plus discriminants que la check-list, et cette dernière montrait une fiabilité légèrement inférieure à l’échelle globale.

Conclusion

Malgré sa banalité dans l’exercice de tout chirurgien et son enseignement dans tout cursus de 2^e et 3^e cycle d’études médicales, la suture et ses composantes techniques ont rarement fait l’objet de publications dédiées à leur validation et à leur évaluation pédagogiques. À ce titre, ce travail sur la grille d’évaluation globale et ses sous-scores a permis d’en montrer les bons critères de validation et de fiabilité. Ils peuvent donc être proposés comme méthode d’évaluation d’un exercice de suture complexe, avec une check-list plus facile d’utilisation même pour des novices et une échelle d’évaluation globale montrant une meilleure capacité de discrimination.

Context

Health simulation is a recognized educational method for teaching and validating surgical procedural skills. The latter requires the development of adapted assessment tools, reaching different validity criteria. The aim of this study was to validate a multimodal assessment tool for a complex skin suturing exercise, combining a manual knot, an intradermal linear suturing and a needle holder tied knot.

Methodology

The suturing exercise was realized on a synthetic skin model by voluntary participants after having obtained their written consent, including 9 postgraduate medical students, 40 surgical residents of different levels of experience, and a group of 9 senior surgeons. The multimodal assessment tool (MAT) combined a checklist, a speed score and a global rating scale. Each exercise was scored by two evaluators. Medical students’ performances were filmed anonymously so that they could be scored iteratively. Content validity was tested through a satisfaction questionnaire randomly completed by participants.

Results

The MAT was considered relevant or very relevant by 98% of the participants, with a better appreciation for the checklist than for the global rating scale. Internal consistency was strong with a Cronbach α coefficient at 0.78, and a good correlation between the results of the checklist and the global rating scale (r = 0.79, P < 0.0001). The MAT showed continuous improvement in mean scores from 34.4 ± 3.6 for novices to 47.4 ± 2.5/50 points for experts, passing through three intermediate levels groups, and allowed for significant discrimination between groups. The MAT was reliable, with a coefficient of correlation set at 0.88 for intra-observer reliability, and 0.72 for inter-observer reliability. On sub score analysis, the global rating scale and the speed score better discriminated between groups than the checklist, the latter moreover showing slightly lower reliability than the global rating scale.

Conclusion

Despite its banality in any surgeon's practice and the fact that it is taught from the 2nd cycle of medical studies, suturing and its technical components have rarely been the subject of publications dedicated to the validation of specific assessment tools. Hence, this work on the MAT and its sub scores made it possible to validate them on many validity and reliability criteria. They can therefore be proposed to surgical teachers for evaluating a complex suturing exercise, with a checklist that is easier to use even for novices and a global rating scale showing better discrimination capacity.