Avaliação automática de respostas textuais curtas por similaridades de n -gramas: refinamentos por regressão linear

Abstract

In distance education, the need for intelligent virtual environments has been growing, where one of the components is a system of automatic assessment for conceptual open-ended questions. We work with answers to entrance examination questions using n-grams text-like similarity techniques and the linear regression method. The accuracy of the system was contrasted with that of the human evaluators, which resulted in 0.82 against 0.94, Biology test, and 0.86 against 0.85 Geography test. This study shows that this technology is reaching maturity to be used with great advantages in these virtual teaching environments: low cost, instant feedback, frees the teacher from the work of correction and attends large classes. Resumo. No ensino a distância cresce a necessidade de ambientes virtuais inteligentes, onde um dos componentes é um sistema de avaliação automática de questões conceituais discursivas. Trabalhamos com respostas de questões do vestibular utilizando técnicas de similaridade de textos baseadas em ngramas e o método de regressão linear. A acurácia do sistema foi contrastada com a dos avaliadores humanos, que resultou em 0.82 contra 0.94, prova Biologia, e 0.86 contra 0.85 prova Geografia. Este estudo mostra que esta tecnologia está alcançando maturidade para ser utilizadas com grandes vantagens nestes ambientes virtuais de ensino: baixo custo, feedback imediato, libera o professor do trabalho de correção e atende grandes turmas.