Por favor, use este identificador para citar o enlazar este ítem:
http://hdl.handle.net/11531/88675
Título : | Enhancing Content Validity Assessment With Item Response Theory Modeling |
Autor : | Kreitchmann, Rodrigo S. Nájera Álvarez, Pablo Sanz, Susana Sorrel Luján, Miguel Ángel |
Fecha de publicación : | 1-abr-2024 |
Resumen : | Antecedentes: Garantizar la validez de evaluaciones requiere un examen exhaustivo del contenido de una prueba.
Es común emplear expertos en la materia (EM) para evaluar la relevancia, representatividad y adecuación de los
ítems. Este artículo propone integrar la teoría de respuesta al ítem (TRI) en las evaluaciones hechas por EM. La TRI
ofrece parámetros de discriminación y umbral de los EM, evidenciando su desempeño al diferenciar ítems relevantes/
irrelevantes, detectando desempeños subóptimos, mejorando también la estimación de la relevancia de los ítems.
Método: Se comparó el uso de la TRI frente a índices tradicionales (índice de validez de contenido y V de Aiken) en
ítems de responsabilidad. Se evaluó la precisión de los EM al discriminar si los ítems medían responsabilidad o no, y si
sus evaluaciones permitían predecir los pesos factoriales de los ítems. Resultados: Las puntuaciones de TRI identificaron
bien los ítems de responsabilidad (R2 = 0,57) y predijeron sus cargas factoriales (R2 = 0,45). Además, mostraron validez
incremental, explicando entre 11% y 17% más de varianza que los índices tradicionales. Conclusiones: La TRI en las
evaluaciones de los EM mejora la alineación de ítems y predice mejor los pesos factoriales, mejorando validez del
contenido de los instrumentos. Background: Ensuring the validity of assessments requires a thorough examination of the test content. Subject matter experts (SMEs) are commonly employed to evaluate the relevance, representativeness, and appropriateness of the items. This article proposes incorporating item response theory (IRT) into model assessments conducted by SMEs. Using IRT allows for the estimation of discrimination and threshold parameters for each SME, providing evidence of their performance in differentiating relevant from irrelevant items, thus facilitating the detection of suboptimal SME performance while improving item relevance scores. Method: Use of IRT was compared to traditional validity indices (content validity index and Aiken’s V) in the evaluation of conscientiousness items. The aim was to assess the SMEs’ accuracy in identifying whether items were designed to measure conscientiousness or not, and predicting their factor loadings. Results: The IRT-based scores effectively identified conscientiousness items (R2 = 0.57) and accurately predicted their factor loadings (R2 = 0.45). These scores demonstrated incremental validity, explaining 11% more variance than Aiken’s V and up to 17% more than the content validity index. Conclusions: Modeling SME assessments with IRT improves item alignment and provides better predictions of factor loadings, enabling improvement of the content validity of measurement instruments. |
Descripción : | Artículos en revistas |
URI : | https://doi.org/10.7334/psicothema2023.208 http://hdl.handle.net/11531/88675 |
ISSN : | 0214-9915 |
Aparece en las colecciones: | Artículos |
Ficheros en este ítem:
Fichero | Tamaño | Formato | |
---|---|---|---|
2024430134843559_2024 - Psicothema - Kreitchmann e.pdf | 1,91 MB | Adobe PDF | Visualizar/Abrir |
Los ítems de DSpace están protegidos por copyright, con todos los derechos reservados, a menos que se indique lo contrario.