Consideraciones sobre la portabilidad de modelos predictivos de rendimiento académico.

Abstract

La portabilidad de los modelos predictivos del rendimiento académico ha sido estudiada ampliamente en el análisis de datos relacionados con uso de plataformas de aprendizaje. Sin embargo, es escasa la literatura para el caso de tomar como factores los resultados de evaluaciones previas, tanto en la asignatura considerada como en otras de cursos anteriores. Este trabajo, empleando estos últimos factores, desarrolla una herramienta de detección temprana de estudiantes en riesgo, y evalúa su portabilidad a través de un cuasi experimento diseñado para controlar las principales variables de confusión. Utilizando datos de 170 discentes, se ha comprobado que al modificar variables como el profesor, la asignatura o el idioma de impartición de la docencia, los modelos predictivos diseñados inicialmente y que presentaban una precisión próxima al 90%, empeoran de manera sustancial. Es más, la especificidad de los mismos, elemento crítico en tanto que su finalidad es la detección temprana del fracaso académico, cae de forma consistente con el alejamiento del grupo experimental. Es decir, cuantas más de estas variables se vean modificadas, peor es el comportamiento de los modelos. La principal aportación de este trabajo es probar los problemas de portabilidad que presentan los modelos predictivos de rendimiento académico, a través de un cuasi experimento en el que las principales variables de confusión han sido cuidadosamente controladas, lo que nos permite confiar en la robustez del resultado. Eso implica que no parece posible desarrollar modelos predictivos universales, al menos empleando como únicos factores los resultados de evaluaciones previas, que, por otra parte, son los más fácilmente obtenibles por los docentes.

Portability of prediction models has been widely studied in data analysis related to the use of Learning Management Systems. However, there are few surveys in which previous assesments are used as imputs.. This paper, using this kind of imputs, develops a model to early prediction of student academic failure and evaluate its portability though a quasi-experimental design in which confounding variables are carefully controlled.