Assessment of AI’s Impact on Critical Thinking in Higher Education: A Systematic Review of Evaluation Methods

Abstract

Antecedentes: La integración de herramientas de inteligencia artificial (IA) en la educación superior se ha acelerado rápidamente, lo que ha suscitado un creciente interés en su impacto en las habilidades de pensamiento crítico (PC) de los estudiantes. Si bien algunos estudios sugieren que la IA puede mejorar el razonamiento analítico y el aprendizaje reflexivo, otros plantean inquietudes sobre la dependencia excesiva y la descarga cognitiva. A pesar de esta creciente literatura, la conceptualización y la medición del "pensamiento crítico" siguen siendo inconsistentes entre los estudios, lo que complica los esfuerzos para sintetizar los hallazgos. Objetivos: Esta revisión sistemática examina cómo los estudios empíricos recientes (2022-2025) definen, operacionalizan y evalúan el pensamiento crítico en el contexto del aprendizaje mejorado por IA en la educación superior. Específicamente, investiga los marcos teóricos empleados, las herramientas de evaluación utilizadas, los tipos de herramientas de IA integradas y los resultados informados sobre el desarrollo del PC. Métodos: se realizó una revisión sistemática PRISMA 2020 utilizando estudios de Scopus, Web of Science y ERIC, publicados entre 2022 y febrero de 2025, centrándose en evaluar el impacto de la IA en el pensamiento crítico de los estudiantes de educación superior. Se identificaron y analizaron un total de 22 estudios elegibles mediante síntesis narrativa y codificación temática. Resultados: Solo 8 de los 22 estudios proporcionaron una definición formal de pensamiento crítico, e incluso menos utilizaron instrumentos de evaluación dedicados al PC. La mayoría de los estudios se basaron en métodos mixtos y tareas de rendimiento específicas del dominio. Los hallazgos indican que las herramientas de IA pueden respaldar el desarrollo del PC, particularmente cuando se integran en entornos de aprendizaje facilitados por humanos que promueven la reflexión, la evaluación y el diálogo. Sin embargo, los estudios también informaron riesgos como el aprendizaje superficial y la disminución del compromiso metacognitivo cuando se utilizó la IA como sustituto cognitivo. Conclusiones: Esta revisión destaca la necesidad de definiciones consistentes, evaluaciones con base teórica y modelos pedagógicos que combinen las posibilidades de la IA con el aprendizaje reflexivo guiado por el instructor. Las investigaciones futuras deben enfatizar los diseños longitudinales y el desarrollo de instrumentos específicos para el PC alineados con marcos validados.

Background: The integration of artificial intelligence (AI) tools in higher education has accelerated rapidly, prompting growing interest in their impact on students’ critical thinking (CT) skills. While some studies suggest that AI can enhance analytical reasoning and reflective learning, others raise concerns about overreliance and cognitive offloading. Despite this growing literature, the conceptualization and measurement of “critical thinking” remain inconsistent across studies, complicating efforts to synthesize findings. Objectives: This systematic review examines how recent empirical studies (2022–2025) define, operationalize, and assess critical thinking in the context of AI-enhanced learning in higher education. Specifically, it investigates the theoretical frameworks employed, the assessment tools used, the types of AI tools integrated, and the reported outcomes on CT development. Methods: a PRISMA 2020 systematic review was conducted using studies from Scopus, Web of Science, and ERIC, published between 2022 and February 2025, focusing on assessing AI's impact on higher education student's critical thinking. A total of 22 eligible studies were identified and analyzed using narrative synthesis and thematic coding. Results: Only 8 of the 22 studies provided a formal definition of critical thinking, and even fewer used dedicated CT assessment instruments. Most studies relied on mixed methods and domain-specific performance tasks. The findings indicate that AI tools can support CT development, particularly when embedded in human-facilitated learning environments that promote reflection, evaluation, and dialogue. However, studies also reported risks such as superficial learning and diminished metacognitive engagement when AI was used as a cognitive substitute. Conclusions: This review highlights the need for consistent definitions, theoretically grounded assessments, and pedagogical models that combine AI affordances with reflective, instructor-guided learning. Future research should emphasize longitudinal designs and the development of CT-specific instruments aligned with validated frameworks.