Change in the center of the distribution and in the individual scores: relation with heteroskedastic pre- and post-test distributions

Abstract

Cambio en el centro de la distribución y en las puntuaciones individuales: relación con distribuciones heteroscedasticas pre y post prueba. Antecedentes: aunque el tamaño del efecto (ES) y el porcentaje de cambios individuales (PIC) son cosas distintas, no parecen ser independientes: mayores ESs conllevan mayores PICs. Pero esta relación todavía no ha sido suficientemente explorada. Método: estudiamos dicha relación mediante datos simulados en el contexto de un diseño pre-post con y sin grupo control. En la simulación se han utilizado diferentes distribuciones, tamaños muestrales, niveles de fiabilidad test-retest, efectos de varios tamaños y distintas variabilidades en el pre- y en el post-test. Resultados: el PIC está estrechamente relacionado con el ES. En los diseños pre-post, el modelo de regresión lineal ofrece valores R2 por encima de 0,90. En los diseños pre-post con grupo control, valores R2 por encima de 0,80. Estos resultados se mantienen incluso cuando la variabilidad del post-test es distinta de la del pre-test. Conclusiones: (1) cuando no se tiene información sobre el PIC, el tamaño del efecto puede utilizarse para estimar ese porcentaje; (2) el PIC sirve para precisar el significado de las medidas del tamaño del efecto.

ackground: Although average-based effect size (ES) and percentage of individual changes (PIC) are quite different, they are not independent: larger ESs lead to higher PICs. However, this association has not been sufficiently explored. Method: We analyzed this association based on data simulated in the context of a pre-post design, with and without control groups. We simulated various distributions, sample sizes, degrees of test-retest reliability, effect sizes, and different variances in pre- and post-test. Results: The PIC is closely associated with the ES across a wide variety of empirically frequent scenarios. In the “single group pre-post designs”, the linear regression model shows R2 values above 0.90. In the “control group pre-post designs”, the linear regression model shows R2 values above 0.80. These results were found even when the post-test variability differed from that of the pre-test, replicating, extending and generalizing the findings in previous studies. Conclusions: (1) In the absence of information about the PIC, the ES may be used to estimate this percentage. (2) The PIC is useful in interpreting the meaning of ES measures.