An analytics-driven outranking method for bias mitigation in survey-based performance assessment

dc.contributor.authorBarrera Jiménez, Felipe
dc.contributor.authorArroyo Barrigüete, José Luis
dc.contributor.authorSegura, Marina
dc.contributor.authorObregón García, Antonio Sergio
dc.contributor.authorÁlvarez Fernández, Carlos
dc.contributor.authorOrtiz Lozano, José María
dc.date.accessioned2026-10-23T10:52:46Z
dc.date.issued2026-10-13
dc.descriptionArtículos en revistas
dc.description.abstractLas evaluaciones basadas en encuestas orientan decisiones importantes de clasificación y rendimiento, pero sus puntuaciones pueden reflejar factores ajenos a la docencia. Este artículo presenta PROMSET (Preference Ranking Organization Method for Student Evaluation of Teaching), un método de ordenación multicriterio que mitiga sesgos mediante regresión lineal múltiple robusta y una extensión de PROMETHEE II dependiente de cada comparación. Se valida con 45.357 encuestas de evaluación docente correspondientes a 879 evaluaciones de asignaturas en cuatro áreas de conocimiento de una universidad española. PROMSET aplica umbrales de indiferencia calibrados según el sesgo únicamente cuando las comparaciones implican alternativas favorecidas por este. Los resultados indican que los sesgos relacionados con la permisividad en las calificaciones y el género del profesorado dejan de ser estadísticamente detectables (p > 0,05), mientras aumenta considerablemente la capacidad discriminatoria de las clasificaciones. Frente a los métodos convencionales, PROMSET mejora la calidad informativa y la equidad de las evaluaciones.es
dc.description.abstractSurvey-based evaluations inform high-stakes ranking and performance decisions, yet scores often reflect non-instructional influences. This paper introduces PROMSET (Preference Ranking Organization Method for Student Evaluation of Teaching), a bias-mitigated outranking method that integrates robust multiple linear regression for bias identification with a comparison-dependent extension of PROMETHEE II. The method is validated on Student Evaluation of Teaching (SET) data from a Spanish university (45,357 surveys; 879 course evaluations; four knowledge areas). PROMSET incorporates a comparison-dependent activation mechanism that applies bias-calibrated indifference thresholds only when pairwise comparisons involve bias-favored alternatives. The results show that grade leniency bias and professor gender bias are no longer statistically detectable at conventional significance levels (p > 0.05) under PROMSET, while the discriminating power of the ranking increases substantially. Benchmarks against the traditional method and PROMETHEE II confirm that bias remains statistically significant under conventional approaches but not under PROMSET. PROMSET improves the informational quality and fairness of survey-based rankings for institutional decision-making.en
dc.description.versioninfo:eu-repo/semantics/publishedVersion
dc.identifier.issn2772-6622
dc.identifier.uri10.1016/j.dajour.2026.100756
dc.identifier.urihttp://hdl.handle.net/11531/116280
dc.keywordsAnalítica de encuestas, Análisis multicriterio de decisiones, Métodos de sobreclasificación, Mitigación de sesgos, Método de clasificación por preferencias, Evaluación del desempeño docentees
dc.keywordsSurvey Analytics, Multicriteria Decision Analysis, Outranking Methods, Bias Mitigation, Preference Ranking Method, Teaching Performance Assessmenten
dc.language.isoen-GB
dc.rights.accessRightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttps://creativecommons.org/licenses/by-nc-nd/4.0/
dc.sourceRevista: Decision Analytics Journal, Periodo: 0, Volumen: 21, Número: 100756, Página inicial: 1, Página final: 16
dc.titleAn analytics-driven outranking method for bias mitigation in survey-based performance assessment
dc.typeinfo:eu-repo/semantics/article

Files

Original bundle

Now showing 1 - 1 of 1
Loading...
Thumbnail Image
Name:
Paper publicado.pdf
Size:
2.71 MB
Format:
Adobe Portable Document Format
Description:
Paper publicado.pdf

License bundle

Now showing 1 - 1 of 1
Loading...
Thumbnail Image
Name:
license.txt
Size:
1.71 KB
Format:
Item-specific license agreed upon to submission
Description:

Collections