VERTa: una métrica de evaluación de la traducción automática

Abstract

Resumen: Este artículo presenta VERTa (https://github.com/jatserias/VERTa para la versión completa y http://grial.ub.edu:8080/VERTaDemo/ para la demo online en español), una métrica de evaluación de la traducción automática (TA) para el inglés y el español. VERTa es una métrica que utiliza información lingüística para evaluar frases traducidas automáticamente, a través de la comparación de dichas frases con frases traducidas por traductores humanos. A diferencia de otras métricas, VERTa proporciona no tan solo una puntuación por cada frase, sino también un análisis más cualitativo de los resultados obtenidos. El artículo analiza los pasos que se llevaron a cabo antes de diseñar e implementar la métrica: el estudio lingüístico del corpus de desarrollo para encontrar aquellas características más significativas que la métrica debía poder cubrir y las herramientas de procesamiento del texto que debían aplicarse a los segmentos comparados. Más adelante se describen los diferentes módulos que forman la métrica y la información que aportan, junto con ejemplos de la información que recibe el usuario. Aunque VERTa es una métrica de evaluación de la TA, se diferencia del resto en que durante su desarrollo se puso especial énfasis en analizar la información lingüística que debía aportar al usuario, para ir más allá de una mera puntuación del segmento traducido y poder servir como una primera guía cualitativa para detectar los errores de la traducción automática. En consecuencia, VERTa puede utilizarse en el área del aprendizaje, de la enseñanza y de la evaluación del inglés y del español como segundas lenguas y como lenguas extranjeras, así como en la investigación en este campo.