UTILISATION DE L'IA GÉNÉRATIVE DE TYPE GPT POUR L'EXTRACTION AUTOMATIQUE D'INFORMATION DEPUIS DES COMPTES-RENDUS DE NEURORADIOLOGIE

Abstract

Introduction

Les comptes-rendus de neuro-radiologie contiennent des données riches, à haut potentiel de réutilisation. Récemment, les Large Language Model (LLM) de type GPT ont révolutionné le traitement du langage naturel. Certains d'entre eux, en open-source, peuvent être utilisés sur site sans partage de données à des serveurs tiers (1). Nous avons fait l'hypothèse que ceux-ci pourraient être utilisés pour automatiser l'extraction de données depuis des comptes-rendus de neuro-radiologie. Nous avons utilisé Vicuna, un LLM open-source, afin d'estimer la proportion d'examens positifs parmi les IRM encéphaliques réalisées aux urgences pour céphalées, à partir des seuls comptes-rendus radiologiques.

Méthodes

Nous avons revu rétrospectivement les comptes-rendus des 2398 IRM encéphaliques successives passées sur l'IRM des urgences du CHU de Lille en 2022. Nous avons défini 4 variables d'intérêt: 1/ la présence de céphalées dans l'indication 2/ la présnce d'une injection du produit de contraste décrite dans le protocole 3/ la normalité ou non de l'examen 4/ la présence d'une anomalie pouvant expliquer des céphalées. Quatre radiologues ont effectué ces tâches d'extraction manuellement. Vicuna a réalisé les mêmes tâches, et ses performances ont été mesurées en relation avec la vérité établie par le consensus des radiologues.

Résultats

Sur les 2398 IRM réalisées aux urgences en 2022, 595 (25%) l'ont été pour des céphalées. Parmi celles-ci, 88%(517/595) ont été injectées, 38%(227/595) étaient anormales et 23%(136/595) comportaient une anomalie pouvant causer des céphalées. Le score F1 pour l'extraction de l'indication était de 98% (95%CI 97-98.7), de 99.6% (99.0-99.9) pour l'injection de produit de contraste, de 97.3% (95.4-98.6) pour la classification en normal/anormal et de 85.4% (80.7-89.3) pour la détection d'une anomalie pouvant causer des caphalées parmi les examens anormaux (fig 1, table 1).

Conclusion

Un LLM gratuit et open-source permet d'extraire automatiquement des variables d'intérêt depuis des miliers de comptes-rendus de neuro-radiologie, sans nécessité de ré-entraînement.