A Mixed-Methods Evaluation of the Implementation of a Performance Measurement System for South Africa’s Substance Use Treatment Services

Abstract

Objective: Minimal knowledge exists on the factors that affect implementation of performance measurement systems, particularly in low- and middle-income countries (LMICs). To address this, we describe the implementation of a performance measurement system for South Africa’s substance abuse treatment services known as the Service Quality Measures (SQM) initiative. Method: We conducted a mixed-methods evaluation of system implementation. We surveyed 81 providers about the extent of system implementation within their agencies and the factors that facilitated implementation. We conducted 26 in-depth interviews of providers’ perceived barriers and facilitators to implementation. Results: The overall penetration of this system was high. Almost all providers viewed the system as feasible to implement, acceptable, appropriate for use in their context, and useful for guiding service improvements. However, the extent of implementation varied significantly across sites (p < .05). Leadership support (p < .05) was associated with increased implementation in multivariable analyses. Providers reflected that high rates of patient attrition, variability in willingness to implement the system, and limited capacity for interpreting performance feedback affected the extent of system implementation. Conclusions: It is feasible to implement a performance measurement system in LMICs if the system is acceptable, appropriate, and useful to providers. To ensure the utility of this system for treatment service strengthening, system implementation must be optimized. Efforts to enhance target population coverage, strengthen leadership support for performance measurement, and build capacity for performance feedback utilization may enhance the implementation of this performance measurement system. Objectifs : Peu de connaissance existe sur les facteurs influençant l’implantation d’un système de mesure du rendement, particulièrement dans les pays à revenu faible et intermédiaire (PRFI). Pour aborder cette question, nous décrivons l’implantation d’un système de mesure du rendement des services de traitement en toxicomanie d’Afrique du Sud, connu sous le nom du projet de Mesures de la qualité du service (MQS). Méthode : Nous avons mené une évaluation d’implantation du système à l’aide d’une méthode mixte. Nous avons interrogé 81 pourvoyeurs de services sur l’ampleur de l’implantation du système dans leur agence et les facteurs qui ont facilité l’implantation. Nous avons mené 26 entrevues approfondies sur les perceptions des pourvoyeurs concernant les obstacles et les facilitateurs de l’implantation. Résultats : L’appropriation générale de ce système était élevée. Presque tous les pourvoyeurs voyaient la faisabilité d’implantation du système et le considéraient comme étant acceptable, approprié à leur contexte et utile pour guider l’amélioration des services. Cependant, l’ampleur de l’implantation variait de façon significative à travers les sites (p < ,05). Le soutien de la direction (p < ,05) était associé à une implantation plus importante dans les analyses multivariées. Les pourvoyeurs soulignaient qu’un taux élevé d’attrition des patients, une variabilité dans la volonté d’implanter le système ainsi qu’une capacité limitée d’interpréter les rétroactions sur le rendement ont eu un impact sur l’ampleur de l’implantation du système. Conclusion : Il est faisable d’implanter un système de mesure du rendement dans les PRFI, si le système est acceptable, approprié et utile pour les pourvoyeurs de soins. Pour veiller à ce que ce système soit utile pour l’amélioration des services de traitement, l’implantation du système doit être optimale. Des efforts pour mieux couvrir la population cible, l’amélioration du soutien de la direction à l’égard de la mesure du rendement et le développement de la capacité à interpréter les rétroactions sur le rendement peuvent améliorer l’implantation de ce système de mesure du rendement. Objetivos: Existe un conocimiento mínimo sobre los factores que afectan la implementación de los sistemas de medición del desempeño, particularmente en los países de ingresos bajos y medios (PIMB). Para abordar esto, describimos la implementación de un sistema de medición del rendimiento para los servicios de tratamiento del abuso de sustancias de Sudáfrica conocido como la iniciativa de Medidas de Calidad del Servicio (MCS). Método: Realizamos una evaluación de métodos mixtos de la implementación del sistema. Encuestamos a 81 proveedores sobre el alcance de la implementación del sistema dentro de sus agencias y los factores que facilitaron la implementación. Llevamos a cabo 26 entrevistas en profundidad sobre las barreras percibidas por los proveedores y los facilitadores para la implementación. Resultados: La penetración total de este sistema fue alta. Casi todos los proveedores vieron el sistema como factible de implementar, aceptable, apropiado para usar en su contexto y útil para guiar las mejoras del servicio. Sin embargo, el grado de implementación varió significativamente entre los sitios (p <.05). El apoyo al liderazgo (p <.05) se asoció con una mayor implementación en análisis multivariables. Los proveedores reflejaron que las altas tasas de desgaste del paciente, la variabilidad en la disposición para implementar el sistema y la capacidad limitada para interpretar la retroalimentación del desempeño afectaron el alcance de la implementación del sistema. Conclusión: Es factible implementar sistemas de medición del rendimiento en PIBM si el sistema es aceptable, apropiado y útil a los proveedores. Para garantizar la utilidad de este sistema para el fortalecimiento del servicio de tratamiento, se debe optimizar la implementación del sistema. Los esfuerzos para mejorar la cobertura de la población objetivo, fortalecer el apoyo del liderazgo para la medición de los resultados, y fomentar la capacidad de utilización de la información sobre el rendimiento pueden mejorar la aplicación de este sistema de medición del desempeño.