Economic evaluation methods applied to telemedicine: From a literature review to a standardized framework

Abstract

Context

Telemedicine is proposed as a useful tool to increase efficiency, improve access and the quality of care. The widespread use of telemedicine has created the need to evaluate its efficiency. This implies that we need use appropriate evaluation methods. In this context, what lessons can be learned from previous economic evaluation studies? The first objective was to explore economic evaluation studies of telemedicine in terms of their descriptive analysis, methodological quality and the main shortcomings of the methodology. The second objective was to identify a standardized framework for economic evaluation, with a view to providing a tool for policymakers and stakeholders.

Method

The analysis was based on a review of the international literature from 2000 to 2013. After reviewing the full-text articles, 74 studies that implemented an economic evaluation for a telemedicine project and 27 systematic reviews on economic evaluation remained. Twenty-six partial economic evaluations that only focussed on costs were excluded. A standardised analysis framework was developed in collaboration with a methodological working group, based on the results of literature review and the study of existing projects.

Results

Two main results appear: an important heterogeneity of the publications which leads to the impossibility of comparing the results and adjudicate on a possible efficiency of telemedicine and a poor quality of the cost-effectiveness method used for telemedicine. These findings are consistent with those of the systematic reviews of the literature examined. An update of the literature review was made from 2013 to 2017. Economic evaluation protocols are actually more sophisticated. The use of economic evaluation to assess the economic consequences of telemedicine interventions requires adequate use of standard methodology. The French National Authority for Health has proposed the development of an impact matrix showing the expected effects of telemedicine on the various stakeholders.

Conclusions

While the results of economic evaluation studies can be criticized in terms of methodology and are not very decisive, the recommendations relating to implementing economic evaluations were identified to promote a coherent development of economic evaluations. The methodological framework presented here is not considered as an end in itself but rather than the beginning of what is hoped will be an ongoing process of telemedicine evaluation.

Contexte

La télémédecine est présentée comme un vecteur d’amélioration de l’efficience, de l’accès et de la qualité des soins. Son déploiement à grande échelle nécessite d’apporter des éclairages sur la question spécifique de l’efficience de la télémédecine. D’où la place centrale de l’évaluation économique qui met en regard les résultats attendus d’une intervention de santé avec les ressources consommées pour la produire et la question des méthodes utilisées. Dans ce contexte, quelles leçons peut-on tirer de l’analyse des évaluations médicoéconomiques publiées ? Le premier objectif est de réaliser un état des lieux des évaluations médicoéconomique de la télémédecine : analyse descriptive et qualitative des études et identification des principales limites méthodologiques. Le second objectif est de proposer un cadre méthodologique d’évaluation de la télémédecine afin de favoriser la mise en œuvre d’évaluations économiques à destination des décideurs publics et des parties prenantes.

Méthode

L’analyse a été fondée sur une revue internationale de la littérature conduite de 2000 à 2013. L’examen approfondi des publications a permis de retenir 74 études et 27 revues systématiques relatives à l’évaluation médicoéconomique de la télémédecine. Le cadre méthodologique d’évaluation de la télémédecine a été développé en collaboration avec un groupe de travail méthodologique, à partir des résultats de la revue de la littérature et de l’étude des projets existants.

Résultats

Deux résultats principaux sont mis en évidence : l’importante hétérogénéité dans les caractéristiques des études qui ne permet pas de comparer les résultats et de formuler de conclusions sur la question de l’efficience de la télémédecine et la faiblesse de la qualité méthodologique des évaluations. Ces conclusions sont concordantes avec celles des revues systématiques de la littérature examinées. Une mise à jour de la revue de la littérature a été effectuée de 2013 à 2017 selon les mêmes critères de sélection. On constate une amélioration des protocoles des évaluations économiques, plus sophistiqués. L’évaluation médicoéconomique des stratégies de télémédecine nécessite cependant une adaptation des méthodes d’évaluation standards. Dans cette optique, la Haute Autorité de santé a défini un cadre pour l’évaluation médicoéconomique des projets de télémédecine afin d’améliorer la qualité des évaluations, en particulier, l’homogénéité méthodologique des études, mais aussi la prise en compte des spécificités de la télémédecine. L’idée d’une matrice des impacts a été retenue afin de représenter les effets de la télémédecine et de délimiter les critères à prendre en compte dans l’évaluation médicoéconomique.

Conclusion

Si les résultats des évaluations économiques sont méthodologiquement critiquables et peu décisifs, des recommandations ont été identifiées afin de favoriser un développement cohérent d’études relatives à l’évaluation médicoéconomique de la télémédecine. La revue de la littérature n’ayant pas permis de définir un cadre général pour l’évaluation économique de la télémédecine, la Haute Autorité de santé a proposé l’élaboration d’une matrice d’impacts des effets attendus de la télémédecine, prenant en compte différents points de vue. Ce cadre méthodologique, qui est présenté dans cet article, n’est pas considéré comme une fin en soi mais plutôt comme le début d’un processus d’évaluation continu de la télémédecine.