Evaluar el Pensamiento Computacional mediante Resolución de Problemas: Validación de un Instrumento de Evaluación

Abstract

Computational thinking is being assessed, in most approaches, through elements of programming. From here, an evaluation approach is promoted from the resolution of complex problems, as this thinking is used as a problem-solving strategy. This article validates the theoretical construct of an assessment instrument to measure computational thinking through complex problem solving, with a test battery composed of 15 items. First, the principles used for the design are described, principles based on the multiple complex systems assessment approach and the PISA framework used in 2012. Subsequently, the proposed 2-factor theoretical model is discussed: problem representation and problem resolution, and several additional models with adjustments from the theoretical model. It is determined that the best fitting model is the 2-factor model, coinciding with the theoretical proposal. Finally, analyses are made, on the one hand of the suitability of the items to each factor, thus confirming the suitability of the items, and on the other hand, the correlation between factors, obtaining a 0.969. It is concluded that the instrument has a very high degree of validity, so that it is suitable for measuring computational thinking through problem solving. *Contacto: beatriz.ortega.ruiperez@unir.net ISSN: 1989-0397 https://revistas.uam.es/riee Recibido: 28 de abril 2020 1a Evaluación: 24 de noviembre 2020 2a Evaluación: 4 de diciembre 2020 Aceptado: 10 de diciembre 2020 CÓMO CITAR: Ortega-Ruipérez, B. y Asensio, M. (2021). Evaluar el pensamiento computacional mediante resolución de problemas: validación de un instrumento de evaluación. Revista Iberoamericana de Evaluación Educativa, 14(1), 153-171. https://doi.org/10.15366/riee2021.14.1.009 REVISTA IBEROAMERICANA DE EVALUACIÓN EDUCATIVA B. Ortega Ruipérez y M. Asensio 154 Revista Iberoamericana de Evaluación Educativa, 2021, 14(1), 153-171 1. Introducción La evaluación de competencias para la vida debe ser un asunto prioritario en la educación para conocer cómo debemos planificar el proceso de enseñanza, de cara a conseguir que nuestros alumnos puedan lograr una educación integral. En este sentido, Román y Murillo (2009) plantean al menos tres exigencias a la evaluación: que permita validar y reforzar el desarrollo integral, ya que en la educación se prioriza lo que se evalúa; que se contextualicen los aprendizajes medidos gracias a la comprensión de factores que componen un aprendizaje significativo, algo que se puede ver facilitado por el alto desarrollo tecnológico; y que se incluyan criterios y estrategias para mejorar la aplicación de la evaluación, ya que con unos resultados fiables sobre un aprendizaje se puede mejorar el proceso de enseñanza sobre éste. Por ello, para evaluar el pensamiento computacional no podemos reducirnos a evaluar prácticas de programación, pues no estaremos seguros de si lo que evaluamos es el pensamiento o la capacidad para crear programas. Por ello, se promueve un enfoque de evaluación desde la resolución de problemas complejos, ya que este pensamiento es utilizado como una estrategia de resolución de problemas. 1.1. Pensamiento computacional El pensamiento computacional (PC) (Wing, 2006) es un concepto que surge desde las Ciencias de la Computación, propuesto como unas habilidades que permite abordar los problemas complejos de forma computacional. Por tanto, a partir de esta definición podemos afirmar que se trata de un concepto que define una estrategia de pensamiento. En su origen se definió como un pensamiento que influye en la planificación y ejecución de los problemas complejos; al utilizar técnicas que emplean habitualmente los científicos de la computación, facilitando la resolución de estos. En este caso, el PC se emplea como un pensamiento estratégico basado en un enfoque computacional de cara al establecimiento de un plan (Schoppek, 2002). Posteriormente, surgen evidencias a favor (Kwisthout, 2012; Wing, 2014) de que es necesario un modelo computacional para la representación de problema complejos, ya que sería más fácil gestionar gran cantidad de variables consideradas de una relevancia similar entre ellas, y se facilitaría así la resolución de problemas. En este caso, el pensamiento computacional se emplea como un modelo de procesamiento de información, una estrategia de pensamiento de nivel superior que es capaz de computar un gran modelo para facilitar su representación. Por tanto, las investigaciones posteriores sugieren que también se utiliza una estrategia computacional para construir esa representación, por lo que podríamos decir que el PC también facilita la representación de problemas complejos, y no sólo se aplica al proceso de resolución como se había planteado inicialmente. Así, se pretende partir de una definición adecuada de este pensamiento, ya que, al igual que sugieren Blackwell et al. (2008), es importante conocer las ventajas de adoptar este nuevo estilo de pensamiento en la resolución de problemas, de modo que realmente aporte valor. Hasta ahora se suele aplicar en el diseño de programas, en ciencias de la computación (Hsu et al., 2018), pero apenas existen propuesta desde la resolución de problemas (Ortega-Ruipérez y Asensio, 2018). De hecho, en muchas ocasiones se pretende trabajar el PC desde la programación, sin mencionar que se trabaja ni cómo se hace (Heintz et al., 2016). Este es un error común que se ha extendido de la enseñanza del PC a su evaluación. Como se puede apreciar en diferentes enfoques e instrumentos de evaluación del PC, lo que realmente se está evaluando es el conocimiento en conceptos propios de la programación (Brennan y Resnick, 2012; Koh et al., 2014; Román-González et al., 2018), pero no se evalúan procesos cognitivos propios de un pensamiento en la resolución de problemas. De hecho, Lye y Koh (2014) realizan una revisión de la evaluación del PC desde la programación, y descubren que estos instrumentos ni siquiera evalúan las prácticas definidas para el PC, propuestas por Brennan y Resnick (2012), sino que se limitan a evaluar los conceptos del PC (para más información, revisar Ortega-Ruipérez, 2018). En una revisión de la literatura sobre cómo se aborda la evaluación del PC, Tang et al. (2020) comprueban que sólo el 9,8% de las herramientas de evaluación del PC no tienen relación con STEM (ciencias, tecnología, ingeniería y matemáticas). Además, el 68,5% de las evaluaciones se realizaban a través de la programación y la robótica. Y un 21,7% eran STEM, pero no trataban sobre programación y robótica. B. Ortega Ruipérez y M. Asensio 155 Revista Iberoamericana de Evaluación Educativa, 2021, 14(1), 153-171 Por tanto, se reclama la necesidad de la creación de un instrumento de evaluación que ofrezca una forma de comprobar si mejora el pensamiento computacional al resolver problemas complejos, aplicados a cualquier ámbito, y no solo respecto a la programación y el diseño de programas informáticos. 1.2. Resolución de problemas complejos En la otra parte de esta investigación, por tanto, se encuentra la resolución de problemas complejos (RPC), cuyo enfoque de investigación se ha ido distanciando de la investigación de resolución de problemas tradicional, debido a las características propias que contienen este tipo de problemas. Funke y Frensch (1995) proponen una definición de los problemas complejos que suponen a la persona que lo resuelve unos requisitos concretos para poder ser resueltos. Principalmente estas peculiaridades residen en que, para resolver problemas complejos, la persona no dispone de todos los datos del contexto desde el inicio del problema. Este motivo hace que necesite evaluar continuamente cada estado del problema en el que se encuentra desde que parte del estado inicial, para recoger nuevos datos y valorar si avanza hacia el estado objetivo o debe reformular el problema debido a que cambia su representación sobre éste. Al no tener los datos desde el inicio del problema, los problemas complejos también se denominan problemas dinámicos, diferentes a los problemas estáticos (Herde et al., 2016). Las características particulares que definen a los problemas complejos requieren estrategias más elaboradas que las empleadas tradicionalmente en la resolución de problemas, para enfrentarse a este tipo de problemas de forma que logremos resolverlos. De ello se deduce que es fundamental estudiar qué estrategias son más adecuadas para abordar problemas complejos. Y para ello, debemos generar instrumentos de evaluación diferentes a los utilizados tradicionalmente para el estudio de resolución de problemas, para investigar cómo se estructura la RPC. La RPC, como tema de investigación independiente, se ha empezado a estudiar con más fuerza durante estos últimos años. Como recoge Funke (2013), la investigación sobre resolución de problemas ha aumentado durante los últimos años, y con la llegada de nuevos métodos para el rastreo de procesos, la creación de micromundos virtuales y la definición de nuevos constructos, las teorías están siendo ajustadas. Inicialmente, Funke (2001) propuso los enfoques originales MicroDYN y MicroFIN, siendo uno de ellos cuantitativo y el otro cualitativo, respectivamente, para la evaluación de la RPC. El enfoque de las pruebas MicroDYN se basa en el marco de sistemas lineales de ecuaciones estructurales (LSE), mientras que el enfoque de MicroFIN se basa en el marco de sistemas autómatas de estados finitos (FSA). Más recientemente, Greiff et al. (2012) han propuesto un enfoque de sistemas complejos múltiples, que aúna ambos marcos, y que permite aumentar su complejidad en cuanto a la evaluación (Herde et al., 2016). Su propuesta consiste en sistemas informáticos que permitan reproducir y medir la interacción entre el problema y la persona, de una forma más sencilla y fiable que las pruebas de lápiz y papel. Las tres ventajas principales del enfoque de sistemas complejos múltiples son: (1) permite discriminar varios niveles de competencia, (2) estima con una alta f