Is it possible to redress noninstructional biases in student evaluation of teaching surveys? Quantitative analysis in accounting and finance courses

Abstract

Varios estudios han informado que la evaluación de la enseñanza por parte de los estudiantes (SET) presenta problemas importantes. Primero, dependiendo del área, hay diferencias significativas en las evaluaciones. En segundo lugar, numerosos no educativos existen sesgos, como cuando aquellos profesores que otorgan mejores calificaciones obtienen mejores SET. Corrección de las clasificaciones por Se ha propuesto considerar estos sesgos (por ejemplo, ajustar los SET de acuerdo con la calificación de la clase). En este papel, nosotros analizar un tercer problema: es imposible corregir los sesgos porque son específicos de cada área, nivel y incluso clase. Sobre una muestra de 15.439 SET, comparamos los sesgos presentes en dos áreas muy cercanas (contabilidad y finanzas) y en dos niveles (pregrado y posgrado). Luego, utilizamos un procedimiento basado en el análisis de residuales en modelos OLS para eliminar sesgos específicos de área y nivel. Sin embargo, aún existen sesgos latentes aparentemente vinculados a cada grupo específico de estudiantes.

Several studies have reported that student evaluation of teaching (SET) presents important problems. First, depending on the area, there are significant differences in the evaluations. Second, numerous noninstructional biases exist, such as when those teachers who award better grades obtain better SETs. Correcting the rankings by considering these biases (e.g., adjusting SETs according to the class grade) has been proposed. In this paper, we analyse a third problem: it is impossible to correct the biases because they are specific to each area, level, and even class. On a sample of 15,439 SETs, we compared the biases present in two very close areas (accounting and finance) and at two levels (undergraduate and postgraduate). Then, we used a procedure based on the analysis of residuals in OLS models to eliminate area- and level-specific biases. However, there are still latent biases apparently linked to each specific group of students.