Innovación docente: DATA ANALYSIS EN EDUCACIÓN

Abstract

Este trabajo analiza el impacto del uso de herramientas de inteligencia artificial generativa (IA) sobre el rendimiento académico y la procrastinación de los estudiantes universitarios. Para ello, se llevó a cabo un estudio cuasi-experimental con una muestra de 134 estudiantes de segundo y tercer curso de la Universidad Pontificia Comillas, pertenecientes a distintas titulaciones (Ingeniería y ADE/dobles grados). Los participantes realizaron un trabajo individual obligatorio en la asignatura de Contabilidad de Gestión, y fueron clasificados según declararan haber utilizado o no herramientas de IA generativa (como ChatGPT o Copilot). El rendimiento académico se midió a través de las calificaciones obtenidas en dicho trabajo, mientras que la procrastinación se aproximó mediante las horas de antelación respecto al plazo de entrega. El análisis de los datos se realizó mediante pruebas t de Student y modelos de regresión lineal múltiple. Los resultados muestran que el uso de IA se asocia con un rendimiento académico significativamente inferior: los estudiantes que emplearon IA obtuvieron una nota media de 5,08 frente a los 6,29 puntos de quienes utilizaron métodos tradicionales. Este efecto es especialmente pronunciado en los estudiantes varones y en las titulaciones de ADE y dobles grados, pero no resulta significativo en los estudiantes de Ingeniería. En cuanto a la procrastinación, no se detectaron diferencias estadísticamente significativas a nivel global. Sin embargo, los hombres que utilizaron IA entregaron el trabajo con significativamente menor antelación que los que no la emplearon. Adicionalmente, el análisis de los errores revela que el grupo con IA cometió errores cualitativamente distintos, incluyendo preguntas fuera del temario atribuibles al fenómeno de alucinación de los modelos de lenguaje y preguntas copiadas, categorías ausentes en el grupo sin IA. Estos hallazgos subrayan la necesidad de un uso crítico e informado de la inteligencia artificial en el ámbito universitario

This study examines the impact of generative artificial intelligence (AI) tools on academic performance and procrastination among university students. A quasi-experimental design was employed with a sample of 134 second and third-year students from Universidad Pontificia Comillas, across different degree programmes (Engineering and Business Administration/double degrees). Participants completed a mandatory individual assignment in a Management Accounting course and were classified according to whether they self-reported using generative AI tools (such as ChatGPT or Copilot). Academic performance was measured through the grades obtained in the assignment, while procrastination was approximated by the number of hours submitted before the deadline. Data were analysed using independent-samples t-tests and multiple linear regression models. Results show that AI use is associated with significantly lower academic performance: students who used AI obtained a mean grade of 5.08, compared to 6.29 for those who used traditional methods. This effect is particularly pronounced among male students and those enrolled in Business Administration and double-degree programmes, while it is not statistically significant for Engineering students. Regarding procrastination, no statistically significant differences were found at the overall sample level. However, male students who used AI submitted their work with significantly less advance notice than those who did not. Furthermore, error analysis reveals that the AI group committed qualitatively different mistakes, including questions outside the course syllabus attributable to the hallucination phenomenon of language models and copied questions, both absent in the non-AI group. These findings highlight the need for a critical and informed use of artificial intelligence tools in higher education settings.