Estudio de la fiabilidad de test multirrespuesta con el método de Monte Carlo

Abstract

espanolDurante gran parte del siglo XX se ha escrito mucho sobre la fiabilidad de los test multirrespuesta como metodo para la evaluacion de contenidos. En concreto son muchos los estudios teoricos y empiricos que buscan enfrentar los distintos sistemas de puntuacion existentes. En esta investigacion se ha disenado un algoritmo que genera estudiantes virtuales con los siguientes atributos: conocimiento real, nivel de cautela y conocimiento erroneo. El primer parametro establece la probabilidad que tiene el alumno de conocer la veracidad o falsedad de cada opcion de respuesta del test. El nivel de cautela refleja la probabilidad de responder a una cuestion desconocida. Finalmente, el conocimiento erroneo es aquel conocimiento falsamente asimilado como cierto. El algoritmo tambien tiene en cuenta parametros de configuracion del test como el numero de preguntas, el numero de opciones de respuesta por pregunta y el sistema de puntuacion establecido. El algoritmo lanza test a los individuos virtuales analizando la desviacion generada entre el conocimiento real y el conocimiento estimado (la puntuacion alcanzada en el test). En este estudio se confrontaron los sistemas de puntuacion mas comunmente utilizados (marcado positivo, marcado negativo, test de eleccion libre y metodo de la respuesta doble) para comprobar la fiabilidad de cada uno de ellos. Para la validacion del algoritmo, se comparo con un modelo analitico probabilistico. De los resultados obtenidos, se observo que la existencia o no de conocimiento erroneo generaba una importante alteracion en la fiabilidad de los test mas aceptados por la comunidad educativa (los test de marcado negativo). Ante la imposibilidad de comprobar la existencia de conocimiento erroneo en los individuos a traves de un test, es decision del evaluador castigar su presencia con el uso del marcado negativo, o buscar una estimacion mas real del conocimiento real a traves del marcado positivo. EnglishDuring the twentieth century many investigations have been published about the reliability of the multiple-choice tests for subject evaluation. Specifically, there are a lot of theoretical and empirical studies that compare the different scoring methods applied in tests. A novel algorithm was designed to generate hypothetical examinees with three specific characteristics: real knowledge, level of cautiousness and erroneous knowledge. The first one established the probability to know the veracity or falsity of each answer choice in a multiple-choice test. The cautiousness level showed the probability to answer an unknown question by guessing. Finally, the erroneous knowledge was false knowledge assimilated as true. The test setup needed by the algorithm included the test length, choices per question and the scoring system. The algorithm launched tests to these hypothetical examinees analysing the deviation between the real knowledge and the estimated knowledge (the test score). The most popular test scoring methods (positive marking, negative marking, free-choice tests and the dual response method) were analysed and compared to measure their reliability. In order to validate the algorithm, this was compared with an analytical probabilistic model. This investigation verified that the presence of the erroneous knowledge generates an important alteration in the reliability of the most accepted scoring methods in the educational community (the negative marking method). In view of the impossibility of ascertaining the existence of erroneous knowledge in the examinees using a test, the examiner could penalize its presence with the use of negative marking, or looking for a best fitted estimation of the real knowledge with the positive marking method.