Variable-Length Cognitive Diagnostic Computerized Adaptive Testing in Small-Scale Assessments

Abstract

El estudio propone y evalúa nuevos procedimientos de test adaptativos computarizados de diagnóstico cognitivo (CD-CAT) aplicables en evaluaciones educativas de pequeña escala. Tradicionalmente, los modelos paramétricos requieren muestras grandes para su calibración, lo que limita su uso en contextos reales. Se introduce el modelo restringido R-DINA, diseñado para funcionar con muestras reducidas o sin calibración previa, y se comparan cuatro variantes mediante simulaciones Monte Carlo. Los resultados muestran que las versiones R-GDI y R-NPS ofrecen mayor precisión en la clasificación y fiabilidad que el CD-CAT convencional, aunque implican pruebas algo más largas. Los métodos sin calibración también presentan buen desempeño, salvo con ítems de baja calidad. El trabajo proporciona recomendaciones prácticas para su aplicación en entornos educativos formativos con recursos limitados.

This study introduces and evaluates innovative procedures for cognitive diagnostic computerized adaptive testing (CD-CAT) tailored to small-scale educational assessments. Traditional parametric CD-CAT models require large calibration samples, which limits their practical use. The restricted DINA (R-DINA) model, designed to perform effectively with small or no calibration samples, is proposed and tested through Monte Carlo simulations. Four procedures—R-GDI, R-NPS, R-NPSML, and R-NPSBM—are compared with the conventional DINA-based CD-CAT. Results show that R-GDI and R-NPS yield more accurate classifications and reliability estimates, although with slightly longer tests, while calibration-free methods perform well except with low-quality items. The study concludes that R-DINA-based procedures provide efficient and reliable solutions for formative educational assessments in contexts with limited time and small sample sizes.