Prompt engineering with ChatGPT3.5 and GPT4 to improve patient education on retinal diseases

Abstract

Objective

To assess the effect of prompt engineering on the accuracy, comprehensiveness, readability, and empathy of large language model (LLM)-generated responses to patient questions regarding retinal disease.

Design

Prospective qualitative study.

Participants

Retina specialists, ChatGPT3.5, and GPT4.

Methods

Twenty common patient questions regarding 5 retinal conditions were inputted to ChatGPT3.5 and GPT4 as a stand-alone question or preceded by an optimized prompt (prompt A) or preceded by prompt A with specified limits to length and grade reading level (prompt B). Accuracy and comprehensiveness were graded by 3 retina specialists on a Likert scale from 1 to 5 (1: very poor to 5: very good). Readability of responses was assessed using Readable.com, an online readability tool.

Results

There were no significant differences between ChatGPT3.5 and GPT4 across any of the metrics tested. Median accuracy of responses to a stand-alone question, prompt A, and prompt B questions were 5.0, 5.0, and 4.0, respectively. Median comprehensiveness of responses to a stand-alone question, prompt A, and prompt B questions were 5.0, 5.0, and 4.0, respectively. The use of prompt B was associated with a lower accuracy and comprehensiveness than responses to stand-alone question or prompt A questions (p < 0.001). Average-grade reading level of responses across both LLMs were 13.45, 11.5, and 10.3 for a stand-alone question, prompt A, and prompt B questions, respectively (p < 0.001).

Conclusions

Prompt engineering can significantly improve readability of LLM-generated responses, although at the cost of reducing accuracy and comprehensiveness. Further study is needed to understand the utility and bioethical implications of LLMs as a patient educational resource.

Objectif

Évaluer l’effet de la rédactique sur l’exactitude, l’exhaustivité, la lisibilité et l’empathie des réponses aux questions posées par des patients sur les rétinopathies qui ont été générées par un grand modèle de langage (GML).

Nature

Étude prospective qualitative.

Participants

Rétinologues et 2 robots conversationnels (ChatGPT3.5 et GPT4).

Méthodes

On a demandé à ChatGPT3.5 et GPT4 de répondre à 20 questions couramment posées par les patients sur 5 rétinopathies. Les questions ont été posées de 3 façons différentes : seules, précédées d’un message-guide optimisé (message-guide A) ou encore précédées du message-guide A s’accompagnant d’une limite de longueur et d’un niveau de lecture prédéterminés (message-guide B). L’exactitude et l’exhaustivité ont été mesurées par 3 rétinologues au moyen d’une échelle de Likert en 5 points (de 1 : très médiocre à 5 : très bon). La lisibilité des réponses a été vérifiée grâce au site Web readable.com.

Résultats

On ne note aucune différence significative entre ChatGPT3.5 et GPT4, et ce, pour tous les paramètres examinés. L’exactitude médiane des réponses aux questions posées seules, aux questions comportant le message-guide A et aux questions comportant le message-guide B était de 5,0, de 5,0 et de 4,0, respectivement. L’exhaustivité médiane des réponses aux questions posées seules, aux questions comportant le message-guide A et aux questions comportant le message-guide B était de 5,0, de 5,0 et de 4,0, respectivement. Le message-guide B était associé à une exactitude et à une exhaustivité moindres comparativement aux questions posées seules ou aux questions comportant le message-guide A (p < 0,001). Le niveau de lecture moyen des réponses générées par les 2 GML était de 13,45, de 11,5 et de 10,3 dans le cas des questions posées seules, des questions comportant le message-guide A et des questions comportant le message-guide B, respectivement (p < 0,001).

Conclusions

La rédactique peut accroître significativement la lisibilité des réponses générées par un GML, bien que l’exactitude et l’exhaustivité risquent d’en pâtir. On devra réaliser d’autres études pour comprendre l’utilité et les répercussions bioéthiques du recours aux GML à titre de ressource pédagogique à l’intention des patients.