Ofira Zloto , Ofir Fogel , Guy Ben Simon , Mordechai Rosner , Vicktoria Vishnevskia-Dai , Avner Hostovsky , Eyal Klang
{"title":"Computer-aided diagnosis of eyelid skin tumors using machine learning","authors":"Ofira Zloto , Ofir Fogel , Guy Ben Simon , Mordechai Rosner , Vicktoria Vishnevskia-Dai , Avner Hostovsky , Eyal Klang","doi":"10.1016/j.jcjo.2024.07.015","DOIUrl":null,"url":null,"abstract":"<div><h3>Objective</h3><div>To develop an automated, new framework based on machine learning to diagnose malignant eyelid skin tumors.</div></div><div><h3>Methods</h3><div>This study used eyelid lesion images from Sheba Medical Center, a large tertiary center in Israel. Before model training, we pretrained our models on the International Skin Imaging Collaboration (ISIC) 2019 dataset consisting of 25,332 images. The proprietary eyelid data set was then used for fine-tuning. The data set contained multiple images per patient, aiming to classify malignant lesions in comparison to benign counterparts.</div></div><div><h3>Results</h3><div>The analyzed data set consisted of images representing both benign and malignant eyelid lesions. For the benign category, a total of 373 images were sourced. By comparison, for the malignant category, 186 images were sourced. For the final model, at sensitivity of 93.8% (95% CI 80.0–100.0%), the model has a corresponding specificity of 73.7% (95% CI 60.0–87.1%). To further understand the decision-making process of our model, we employed heatmap visualization techniques, specifically gradient-weighted Class Activation Mapping.</div></div><div><h3>Discussion</h3><div>This study introduces a dependable model-aided diagnostic technology for assessing eyelid skin lesions. The model demonstrated accuracy comparable to human evaluation, effectively determining whether a lesion raises a high suspicion of malignancy or is benign. Such a model has the potential to alleviate the burden on the health care system, particularly benefiting rural areas, and enhancing the efficiency of clinicians and overall health care.</div></div><div><h3>Objectif</h3><div>Mettre au point une nouvelle infrastructure automatisée basée sur l'apprentissage artificiel en vue du diagnostic des tumeurs cutanées malignes de la paupière.</div></div><div><h3>Méthodes</h3><div>Cette étude portait sur des images de lésions palpébrales provenant du Sheba Medical Center, un important centre de soins tertiaires en Israël. Avant de réaliser l'entraînement du modèle, nous avons procédé à un entraînement préalable au moyen de l'ensemble de données de l’<em>International Skin Imaging Collaboration</em> (ISIC) 2019 contenant 25 332 images. L'ensemble de données de nature exclusive sur les paupières a ensuite servi à affiner l'entraînement du modèle. Cet ensemble de données comprenait plusieurs images par patient, l'objectif étant de distinguer les lésions malignes des lésions bénignes.</div></div><div><h3>Résultats</h3><div>L'ensemble de données analysé comprenait des images de lésions palpébrales bénignes et malignes. La catégorie de lésions bénignes comptait un total de 373 images. Par contraste, la catégorie de lésions malignes comptait 186 images. La sensibilité du modèle final se chiffrait à 93,8 % (intervalle de confiance [IC] à 95 % : 80,0–100,0 %), et la spécificité correspondante, à 73,7 % (IC à 95 % : 60,0–87,1 %). Pour mieux comprendre le processus décisionnel de notre modèle, nous avons utilisé des techniques de visualisation de type « carte thermique », plus précisément Grad-CAM (<em>gradient-weighted Class Activation Mapping</em>).</div></div><div><h3>Conclusion</h3><div>Cette étude propose une technologie diagnostique fiable qui s'appuie sur un modèle pour évaluer les lésions cutanées palpébrales. Le degré d'exactitude du modèle est comparable à celui d'un être humain, ce qui lui permet de déterminer efficacement si une lésion est bénigne ou si elle présente un degré élevé de suspicion de malignité. Ce type de modèle a le potentiel de réduire le fardeau pour le système de santé, notamment dans les zones rurales, et d'accroître l'efficacité des médecins et de l'ensemble du système de santé.</div></div>","PeriodicalId":9606,"journal":{"name":"Canadian journal of ophthalmology. Journal canadien d'ophtalmologie","volume":"60 2","pages":"Pages e275-e280"},"PeriodicalIF":3.3000,"publicationDate":"2024-08-28","publicationTypes":"Journal Article","fieldsOfStudy":null,"isOpenAccess":false,"openAccessPdf":"","citationCount":"0","resultStr":null,"platform":"Semanticscholar","paperid":null,"PeriodicalName":"Canadian journal of ophthalmology. Journal canadien d'ophtalmologie","FirstCategoryId":"3","ListUrlMain":"https://www.sciencedirect.com/science/article/pii/S0008418224002412","RegionNum":4,"RegionCategory":"医学","ArticlePicture":[],"TitleCN":null,"AbstractTextCN":null,"PMCID":null,"EPubDate":"","PubModel":"","JCR":"Q1","JCRName":"OPHTHALMOLOGY","Score":null,"Total":0}
引用次数: 0
Abstract
Objective
To develop an automated, new framework based on machine learning to diagnose malignant eyelid skin tumors.
Methods
This study used eyelid lesion images from Sheba Medical Center, a large tertiary center in Israel. Before model training, we pretrained our models on the International Skin Imaging Collaboration (ISIC) 2019 dataset consisting of 25,332 images. The proprietary eyelid data set was then used for fine-tuning. The data set contained multiple images per patient, aiming to classify malignant lesions in comparison to benign counterparts.
Results
The analyzed data set consisted of images representing both benign and malignant eyelid lesions. For the benign category, a total of 373 images were sourced. By comparison, for the malignant category, 186 images were sourced. For the final model, at sensitivity of 93.8% (95% CI 80.0–100.0%), the model has a corresponding specificity of 73.7% (95% CI 60.0–87.1%). To further understand the decision-making process of our model, we employed heatmap visualization techniques, specifically gradient-weighted Class Activation Mapping.
Discussion
This study introduces a dependable model-aided diagnostic technology for assessing eyelid skin lesions. The model demonstrated accuracy comparable to human evaluation, effectively determining whether a lesion raises a high suspicion of malignancy or is benign. Such a model has the potential to alleviate the burden on the health care system, particularly benefiting rural areas, and enhancing the efficiency of clinicians and overall health care.
Objectif
Mettre au point une nouvelle infrastructure automatisée basée sur l'apprentissage artificiel en vue du diagnostic des tumeurs cutanées malignes de la paupière.
Méthodes
Cette étude portait sur des images de lésions palpébrales provenant du Sheba Medical Center, un important centre de soins tertiaires en Israël. Avant de réaliser l'entraînement du modèle, nous avons procédé à un entraînement préalable au moyen de l'ensemble de données de l’International Skin Imaging Collaboration (ISIC) 2019 contenant 25 332 images. L'ensemble de données de nature exclusive sur les paupières a ensuite servi à affiner l'entraînement du modèle. Cet ensemble de données comprenait plusieurs images par patient, l'objectif étant de distinguer les lésions malignes des lésions bénignes.
Résultats
L'ensemble de données analysé comprenait des images de lésions palpébrales bénignes et malignes. La catégorie de lésions bénignes comptait un total de 373 images. Par contraste, la catégorie de lésions malignes comptait 186 images. La sensibilité du modèle final se chiffrait à 93,8 % (intervalle de confiance [IC] à 95 % : 80,0–100,0 %), et la spécificité correspondante, à 73,7 % (IC à 95 % : 60,0–87,1 %). Pour mieux comprendre le processus décisionnel de notre modèle, nous avons utilisé des techniques de visualisation de type « carte thermique », plus précisément Grad-CAM (gradient-weighted Class Activation Mapping).
Conclusion
Cette étude propose une technologie diagnostique fiable qui s'appuie sur un modèle pour évaluer les lésions cutanées palpébrales. Le degré d'exactitude du modèle est comparable à celui d'un être humain, ce qui lui permet de déterminer efficacement si une lésion est bénigne ou si elle présente un degré élevé de suspicion de malignité. Ce type de modèle a le potentiel de réduire le fardeau pour le système de santé, notamment dans les zones rurales, et d'accroître l'efficacité des médecins et de l'ensemble du système de santé.
期刊介绍:
Official journal of the Canadian Ophthalmological Society.
The Canadian Journal of Ophthalmology (CJO) is the official journal of the Canadian Ophthalmological Society and is committed to timely publication of original, peer-reviewed ophthalmology and vision science articles.