132 Automated analysis of compliance of medical decisions with clinical practice guidelines: use of decision algorithms in the management of patients with common or rare tumours

Abstract

Background and Objectives Published studies on medical practice assessment often use clinical audit as method. However, clinical audits require considerable resources, in particular human resources, as each medical file has to be reviewed individually. If the number of files is large, this can take time, with furthermore no guarantee that the results will be reproducible. Our objective was to develop algorithms for the automated analysis of compliance of medical decisions with national or regional clinical practice guidelines. Programme Our work was carried out within a financial and organisational partnership between Merck-Serono, the Cancéropole CLARA (Cancéropôle Lyon Auvergne Rhône-Alpes) and the European network of excellence CONTICANET (Connective Tissue Cancer Network). We based our work on medical practice appraisal studies we had performed on the management of patients with non metastatic breast cancer and of patients with sarcoma. We compared the use of human and automated means of assessing compliance with guidelines in a case that was common and one that was rare and required more complex management. We collected data on both types of case in each institution and compared treatment administered to treatment recommended for each patient. When patient management was in line with guidelines, it was considered to comply. When management deviated from guidelines without any medical justification, it was considered not to comply. We determined compliance with guidelines by an observer and by the algorithm and used the kappa coefficient to obtain a reliable and reproducible measure of concordance between the two methods. We then calculated algorithm sensitivity, specifically, positive predictive value (PPV) and megative predictive value (NPV). Results 586 treatments for breast cancer were assessed. kappa for concordance between observer and algorithm was 0.55, indicating that the algorithm is a partial substitute for the observer. Algorithm sensitivity was 46% and specificity was 99%. This means that if the algorithm states that treatment complies with guidelines, the observer need not review the file but can be certain that the answer is correct. This was confirmed by the PPV which was 95.7%. However, the NPV was lower (84.7%). Thus, when the algorithm indicates noncompliance, the observer has to check the decision in the patient's file. In a study of treatment decisions in patients with sarcoma (gastrointestinal stromal tumour (GIST) or retroperitoneal sarcoma), the kappa coefficient was only 0.27 for GIST and 0.13 for retroperitoneal sarcomas. These preliminary results need to be verified on soft tissue sarcomas which are more common. Discussion and Conclusion Our algorithm for analysing compliance with clinical practice guidelines is a useful tool for optimising medical practice assessment. It can help save time and human resources, improve reproducibility, and guarantee unbiased observer judgement. However, for widespread use of such an algorithm, the disease must be common enough to achieve a reliable sample size and must have a homogeneous morphology and pathology. Contexte Les études publiées concernant l'analyse des pratiques médicales suivent souvent la même méthodologie de l'audit clinique. Cette dernière possède quelques lourdeurs organisationnelles, notamment le coût humain, les conformités étant faites dossier par dossier. Leur nombre étant généralement important l'analyse peut s'avérer longue et pas toujours reproductible. A partir de ces constats, il nous a semblé pertinent de tenter d'automatiser ces modes d'analyse de la conformité des décisions des pratiques médicales aux référentiel des pratiques cliniques par des algorithmes décisionnels. Ceux-ci sont élaborés à partir des référentiels nationaux ou régionaux. Cette recherche de nouvel outil a été soutenue par un multi-partenariat financier et organisationnel par l'industriel Merck-Serono, le Cancéropôle CLARA (Cancéropôle Lyon Auvergne Rhône-Alpes) et le réseau d'excellence Européen CONTICANET (Connective Tissu Cancer Network). Méthodologie Nous nous sommes appuyés sur les études d'évaluation des pratiques médicales que nous avons réalisées concernant la prise en charge des patientes atteintes de cancer du sein non métastatique, et la prise en charge des patients atteints de sarcome. Le but est de comparer l'évaluation de la conformité humaine avec celle que l'on a numérisée, dans le cas d'une pathologie dite «fréquente» et dans le cas d'une pathologie rare dont la prise en charge est plus complexe. Pour chacune des deux pathologies et après avoir colligé, dans chaque structures de prise en charge concernées les informations médicales nous avons confronté le traitement de chaque patient aux recommandations afin d'évaluer la conformité de leur prise en charge. Dans le cas où la prise en charge suivait le référentiel nous l'avons jugé conforme. Si une déviance au référentiel était constatée sans justification médicale la prise en charge était jugée non-conforme. Nous avons obtenu un taux de concordance aux référentiels établit à la fois par un observateur et à la fois par un algorithme. Afin d'obtenir une mesure de concordance fiable et reproductible entre les deux méthodes, nous avons calculé le coefficient de concordance Kappa. Nous avons ensuite calculé la sensibilité et la spécificité. Ces données sont également accompagnées de la Valeur Prédictive Positive (VPP) et la Valeur Prédictive Négative (VPN). Résultats 586 séquences thérapeutiques ont été évaluées dans le cadre de la prise en charge du cancer du sein. Il apparaît que les algorithmes peuvent en partie suppléer l'observateur puisque nous retrouvons un Kappa de 0.55. La sensibilité et la spécificité étant respectivement de 46% et de 99%. Aux vues des résultats, il convient de conclure que lorsque les algorithmes ont codé conforme une procédure ou une prise en charge conforme, l'observateur n'a pas besoin de regarder les dossiers il est sûr que cette analyse est juste. Ceci est validé par la VPN qui est de 84.7% et la VPP qui a une valeur de 95.7%. En revanche, au vu de la VPN plus basse, lorsque l'algorithme a codé non-conforme il est nécessaire que l'observateur puisse verifier les décisoins obtenues. Cette démarche a été reproduite dans le cadre des sarcomes (GIST et retropéritonéaux). Les résultats sont beaucoup plus nuancés avec un Kappa de 0.27 pour les GIST et de 0.13 pour les sarcomes retropéritonéaux. Il conviendra de vérifier ces premiers résultats concernant cette pathologie, sur les sarcomes des tissus mous qui possédent un effectif beaucoup plus important. Conclusion Il semble intéressant d'utiliser cette technique d'analyse de la conformité par un algorithme dans le cadre des évaluations des pratiques médicales. Ainsi que certaines étapes de la méthodologie des évaluations des pratiques médicales pouvaient être supplantées par une automatisation grâce à la programmation d'algorithmes décisionnels. La généralisation de cet outil est corrélée à plusieurs paramètres. Il faut tout d'abord que la pathologie soit fréquente pour obtenir une taille d'échantillon pertinente. La pathologie doit être homogène dans sa morphologie et son anatomopathologique. Ce type d'outil peut apporter un gain de temps de personnel médical et servir de très bon contrôle pour la reproductibilité, et l'impartialité du jugement de l'observateur.