Forecasting conflict in Africa with automated machine learning systems

Abstract

Abstract The ViEWS problem is to forecast changes in the level of state-based violence for each of the next six months at the PRIO-GRID and country level. For this competition and toward the goal of improving sub-national and country level forecasts, we experiment with combinations of automated machine learning (autoML) systems and limited datasets that emphasize the endogenous nature of conflict. Two core findings emerge: autoML improves predictive performance and the Dynamics model performs best. The data used for the Dynamics model is limited to measures of state-based violence built from the event-level violence data plus those describing the spatial and temporal structure of the data. The intent is to capture spatial and temporal conflict dynamics while not overfitting to exogenous factors, which is especially problematic with flexible autoML algorithms and the types of highly disaggregate data used here. At the PGM level, this model won the ViEWS competition for “predictive accuracy” and split the win for “originality.” Beyond the ViEWS competition, we expect conflict forecasting models that couple advanced autoML systems with variables that reflect a diverse set of conflict dynamics to have high predictive performance, especially at sub-national and sub-annual aggregations. El problema del ViEWS es que predice los cambios en el nivel de violencia estatal de cada uno de los próximos seis meses a nivel de PRIO-GRID y de país. En el marco de esta competencia y con el objetivo de mejorar las predicciones a nivel regional y nacional, probamos combinaciones de sistemas de aprendizaje automático (autoML) y conjuntos de datos limitados que ponen de relieve la naturaleza endógena de los conflictos. Hay dos resultados principales: el autoML mejora el rendimiento predictivo y el modelo Dynamics es el que mejor funciona. Los datos utilizados para el modelo Dynamics se limitan a las medidas de la violencia a nivel estatal establecidas a partir de los datos de la violencia sobre eventos más los que describen la estructura espacial y temporal de los datos. La intención es captar la dinámica espacial y temporal de los conflictos sin caer en el exceso de ajuste de los factores exógenos, lo que supone un problema, sobre todo con los algoritmos autoML flexibles y los tipos de datos altamente desagregados que se utilizan aquí. A nivel de PGM, este modelo ganó la competencia del ViEWS tanto por su “precisión predictiva” como por su “originalidad”. Más allá de la competencia del ViEWS, esperamos que los modelos de previsión de conflictos que combinan sistemas avanzados de autoML con variables que reflejan un conjunto diverso de dinámicas de conflicto tengan un alto resultado predictivo, sobre todo en agregados regionales y semestrales. La problématique du ViEWS (Violence early-warning system, système d’alerte précoce sur la violence) est de prévoir les évolutions du niveau de violence étatique pour chacun des six prochains mois au niveau de la grille PRIO et au niveau national. Pour ce concours et dans l’objectif d’améliorer les prévisions au niveau infranational et au niveau national, nous avons expérimenté des combinaisons de systèmes de machine learning automatisés (autoML) et de jeux de données limités mettant l’accent sur la nature endogène des conflits. Deux résultats fondamentaux sont apparus : l’autoML améliore les performances prédictives et le modèle Dynamiques est le plus efficace. Les données utilisées pour le modèle Dynamiques sont limitées aux mesures de la violence étatique établies à partir des données sur la violence au niveau des événements ainsi que de celles qui décrivent la structure spatiale et temporelle des données. L’objectif est de capturer les dynamiques spatiales et temporelles des conflits tout en évitant un ajustement excessif aux facteurs exogènes, ce qui est particulièrement problématique avec les algorithmes d’autoML flexibles et les types de données très désagrégées qui sont utilisés ici. Au niveau PGM, ce modèle a remporté le concours ViEWS à la fois dans les catégories « Précision prédictive » et « Originalité ». Au-delà du concours ViEWS, nous nous attendons à ce que les modèles de prévision des conflits qui allient des systèmes avancés d’autoML à des variables reflétant un ensemble diversifié de dynamiques de conflits aient de hautes performances prédictives, en particulier aux niveaux d’agrégation infranationaux et infra-annuels.