Inconsistencies in reported p-values in Spanish journals of psychology: The case of correlation coefficients

Abstract

El análisis de correlación es uno de los métodos más utilizados para probar hipótesis en las ciencias sociales y de la salud; sin embargo, su uso no está completamente libre de errores. Hemos explorado la frecuencia de las inconsistencias entre los valores p reportados y las estadísticas de prueba asociadas en 186 trabajos publicados en cuatro revistas españolas de psicología (1.950 pruebas de correlación); también hemos recogido información sobre el uso de pruebas de una frente a dos colas en presencia de hipótesis direccionales, y sobre el uso de algún tipo de ajuste para controlar los errores de tipo I debido a la inferencia simultánea. Las pruebas de correlación reportadas (83,8%) están incompletas y el 92,5% incluyen un valor p inexacto. En el 4% de las pruebas revisadas aparecen inconsistencias graves, que pueden alterar las conclusiones estadísticas, y el 26,9% de las inconsistencias encontradas eran lo suficientemente grandes como para sesgar los resultados de un meta-análisis. La elección de pruebas de una sola cola y el uso de ajustes para controlar la tasa de error de Tipo I son insignificantes. Por lo tanto, instamos a los autores, revisores y consejos editoriales a prestar especial atención a esto para evitar inconsistencias en los informes estadísticos.

Correlation analysis is one of the most widely used methods to test hypotheses in social and health sciences; however, its use is not completely error free. We have explored the frequency of inconsistencies between reported p-values and the associated test statistics in 186 papers published in four Spanish journals of psychology (1,950 correlation tests); we have also collected information about the use of one- versus two-tailed tests in the presence of directional hypotheses, and about the use of some kind of adjustment to control Type I errors due to simultaneous inference. Reported correlation tests (83.8%) are incomplete and 92.5% include an inexact p-value. Gross inconsistencies, which are liable to alter the statistical conclusions, appear in 4% of the reviewed tests, and 26.9% of the inconsistencies found were large enough to bias the results of a meta-analysis. The election of one-tailed tests and the use of adjustments to control the Type I error rate are negligible. We therefore urge authors, reviewers, and editorial boards to pay particular attention to this in order to prevent inconsistencies in statistical reports.