Sesgos no instruccionales en encuestas de evaluación del profesorado (ODS 4)

Abstract

Las evaluaciones de la enseñanza por parte de los estudiantes (SET) se utilizan ampliamente en educación superior y suelen influir en decisiones administrativas relevantes. Sin embargo, la literatura muestra que pueden estar afectadas por factores no relacionados con la calidad docente, conocidos como sesgos no instruccionales. Este estudio analiza el papel de la dificultad percibida como posible fuente de sesgo y examina si su influencia se limita a las calificaciones medias o si también afecta a la estructura interna de las distribuciones de evaluación.

El análisis se basa en datos públicos de RateMyProfessor.com (He, 2020) y adopta un enfoque empírico multinivel (estudiante y profesor) y multimétodo. En primer lugar, se realizan análisis descriptivos y correlacionales para explorar la relación entre dificultad percibida y valoraciones. Posteriormente, se aplica clustering K-means sobre las variables estandarizadas diff_index y star_rating para identificar perfiles docentes diferenciados. En una fase adicional, se estiman modelos de regresión OLS para analizar la asociación entre dificultad y propiedades distributivas de las evaluaciones (desviación estándar, asimetría y curtosis), controlando por valoración media y número de reseñas. Finalmente, se complementa el análisis con una red neuronal multicapa (MLP) interpretada mediante análisis de sensibilidad.

Los resultados muestran una asociación negativa clara entre dificultad percibida y valoración media, tanto a nivel individual como agregado. El análisis de clústeres identifica dos perfiles: profesores con menor dificultad percibida y valoraciones altas y homogéneas, y profesores más exigentes con valoraciones medias más bajas y mayor dispersión. En conjunto, los hallazgos indican que la dificultad percibida actúa como sesgo no instruccional y afecta no solo al nivel medio de las evaluaciones, sino también a su estructura distributiva, lo que sugiere la necesidad de interpretar las SET con cautela.Student evaluations of teaching (SETs) are widely used in higher education and often influence important administrative decisions. However, a growing body of research shows that they may be affected by factors unrelated to actual teaching quality, commonly referred to as non-instructional biases. This study examines the role of perceived course difficulty as a potential source of bias and analyzes whether its impact is limited to average ratings or also affects the internal distributional structure of evaluations.

The analysis relies on publicly available data from RateMyProfessor.com (He, 2020) and adopts a multilevel (student and professor level) and multimethod empirical approach. First, descriptive and correlational analyses are conducted to explore the relationship between perceived difficulty and ratings. Next, K-means clustering is applied to standardized measures of difficulty (diff_index) and overall ratings (star_rating) to identify distinct evaluation profiles among professors. Subsequently, OLS regression models are estimated to assess the association between perceived difficulty and distributional properties of ratings (standard deviation, skewness, and kurtosis), controlling for mean rating and number of reviews. Finally, the analysis is complemented by a multilayer perceptron (MLP) neural network interpreted through sensitivity analysis.

Results reveal a clear negative association between perceived difficulty and average ratings at both the individual and aggregated levels. The clustering analysis identifies two profiles: professors perceived as less demanding, who receive higher and more homogeneous ratings, and more demanding professors, who obtain lower average ratings and greater dispersion. Overall, findings indicate that perceived difficulty functions as a non-instructional bias and affects not only average evaluation levels but also their distributional structure, highlighting the need for caution when interpreting SET results.