Subjetividade em correções de redações detecção automática através de léxico de operadores de viés linguístico

Abstract

EnglishEssays are very important assessment tools for Brazilian students. Therefore, it is expected that the grading of these texts will be made with as little subjectivity as possible. However, in an analysis of a sample of grading sheet comments by evaluators, we have noticed a high degree of subjectivity in these texts. From this first analysis, carried manually, we proposed the hypothesis that this genre is more subjective than one would expect. In order to corroborate this hypothesis, we have drawn up a list of linguistic bias markers, divided into four categories: argumentative operators, presupposition operators, modalization operators, and opinion and value operators. This list was applied to a corpus of essay grading sheet comments by evaluators, using an automatic language bias detection methodology. From this, we were able to quantify the linguistic bias markers present in these texts. These bias markers were also analyzed in two other corpora: abstracts and product reviews published on internet sales sites. We have compared the percentage of these markers in evaluators’ comments with the percentage numbers of these markers in genres admittedly less subjective (abstracts) and admittedly more subjective (reviews). For such comparison, we have used boxplots, a statistical tool widely used in data comparison analysis. Our results indicated that the grading sheets, as for the number of bias markers, are closer to more subjective texts than to less subjective texts. This corroborates our hypothesis and indicates that these grading sheets present a high degree of subjectivity, closer to the degree of a more subjective text. Thus, we conclude that these grading sheets reflect the personal views of the evaluator, deviating from the correction criteria, which raises doubts about considering this genre an exempt and fair assessment instrument. portuguesAs redacoes sao instrumentos avaliativos muito importantes para os estudantes brasileiros. Mesmo que seja assumido que a subjetividade esteja presente em todo e qualquer texto, espera-se que as correcoes dessas redacoes sejam feitas com o minimo de subjetividade possivel. Entretanto, a partir da analise de uma amostra de correcoes de redacao, percebemos um alto grau de subjetividade nesses textos. Baseados nessa pre-analise, feita de forma manual, levantamos a hipotese de que o genero "correcao de redacao" e mais subjetivo do que se esperaria. Para corroborar essa hipotese, elaboramos uma lista de operadores linguisticos, marcadores de vies, dividida em quatro categorias: operadores argumentativos, operadores de pressuposicao, operadores de modalidade e operadores de opiniao e valoracao. Essa lista foi aplicada, atraves de uma metodologia de deteccao automatica de linguagem enviesada, a um corpus de correcoes de redacao. A partir disso, quantificamos os operadores de vies presentes nesses textos. Foram tambem analisados esses operadores de vies em dois outros corpora: de resumos academicos e de resenhas de produtos publicadas em sites de vendas na internet. A ideia dessa analise foi compararmos a distribuicao dessas marcas de vies nas correcoes de redacao e em generos reconhecidamente menos subjetivos (resumos academicos) e reconhecidamente mais subjetivos (resenhas). Para tal comparacao, lancamos mao de uma ferramenta estatistica muito utilizada na analise de comparacao de dados, os boxplots. Os nossos resultados mostraram que a distribuicao de operadores de vies linguistico nas correcoes de redacao se aproxima mais da distribuicao desses itens em resenhas do que em resumos academicos. Isso corrobora nossa hipotese e indica que o grau de subjetividade das correcoes e alto, estando mais proximo do grau de subjetividade de um texto como as resenhas. Concluimos, portanto, que essas correcoes refletem pontos de vista do corretor, que se afastam dos criterios de correcao, o que coloca duvidas sobre a consideracao desse genero como um instrumento avaliador isento e justo.