Towards a Code-Based Assessment of Computational Thinking Skills

Las habilidades de pensamiento computacional (TC) son fundamentales en la programación en la educación superior, pero evaluarlas a gran escala resulta un reto. El análisis automatizado del código fuente es un camino prometedor, pero su validez a nivel universitario sigue siendo poco comprendida. Examinamos hasta qué punto las métricas basadas en código pueden capturar rastros de dos habilidades de TC: la abstracción y el pensamiento algorítmico. En un estudio controlado, 44 estudiantes matriculados en un curso de Estructuras de Datos completaron cuatro ejercicios de programación diseñados para obtener evidencia de las dos habilidades de pensamiento computacional objetivo. Cada envío fue evaluado utilizando tres fuentes independientes: una puntuación automatizada basada en métricas del código estructural, una puntuación basada en rúbricas por expertos y una escala de autoeficacia en TC. Las tres fuentes se compararon utilizando correlaciones de Spearman, análisis de cuarteles e inspección cualitativa de catorce casos concordantes y divergentes. A nivel de estudiante individual, las tres fuentes no convergían para ninguna de las dos habilidades. Por ejercicio, uno convergía con la evaluación de expertos, mientras que otro mostró que las fuentes capturaban facetas distintas y complementarias de la habilidad: un efecto de diseño del ejercicio. Los casos cualitativos reforzaron esta visión, ilustrando lo que cada fuente lee: desde la forma estructural hasta la corrección semántica. La evaluación automatizada basada en código de la TC puede proporcionar evidencia estructural informativa, pero funciona mejor como uno de los elementos de un enfoque multifuente en el que las señales estructurales complementan, en lugar de reemplazar, la evaluación experta.