El Test de Turing para la evaluación de resumen automático de texto

Abstract

espanolActualmente existen varios metodos para producir resumenes de texto de manera automatica, pero la evaluacion de los mismos continua siendo un tema desafiante. En este articulo estudiamos la evaluacion de la calidad de resumenes producidos de manera automatica mediante un metodo de compresion de frases. Abordamos la problematica que supone el uso de metricas automaticas, las cuales no toman en cuenta ni la gramatica ni la validez de las oraciones. Nuestra propuesta de evaluacion esta basada en el test de Turing, en el cual varios jueces humanos deben identificar el origen, humano o automatico, de una serie de resumenes. Tambien explicamos como validar las respuestas de los jueces por medio del test estadistico de Fisher. EnglishCurrently there are several methods to produce summaries of text automatically, but the evaluation of these remains a challenging issue. In this paper, we study the quality assessment of automatically generated abstracts. We deal with one of the major drawbacks of automatic metrics, which do not take into account either the grammar or the validity of sentences. Our proposal is based on the Turing test, in which a human judges must identify the source of a series of summaries. We propose how statistically validate the judgements using the Fisher's exact test.