An analytics-driven outranking method for bias mitigation in survey-based performance assessment
| dc.contributor.author | Barrera Jiménez, Felipe | |
| dc.contributor.author | Arroyo Barrigüete, José Luis | |
| dc.contributor.author | Segura, Marina | |
| dc.contributor.author | Obregón García, Antonio Sergio | |
| dc.contributor.author | Álvarez Fernández, Carlos | |
| dc.contributor.author | Ortiz Lozano, José María | |
| dc.date.accessioned | 2026-10-23T10:52:46Z | |
| dc.date.issued | 2026-10-13 | |
| dc.description | Artículos en revistas | |
| dc.description.abstract | Las evaluaciones basadas en encuestas orientan decisiones importantes de clasificación y rendimiento, pero sus puntuaciones pueden reflejar factores ajenos a la docencia. Este artículo presenta PROMSET (Preference Ranking Organization Method for Student Evaluation of Teaching), un método de ordenación multicriterio que mitiga sesgos mediante regresión lineal múltiple robusta y una extensión de PROMETHEE II dependiente de cada comparación. Se valida con 45.357 encuestas de evaluación docente correspondientes a 879 evaluaciones de asignaturas en cuatro áreas de conocimiento de una universidad española. PROMSET aplica umbrales de indiferencia calibrados según el sesgo únicamente cuando las comparaciones implican alternativas favorecidas por este. Los resultados indican que los sesgos relacionados con la permisividad en las calificaciones y el género del profesorado dejan de ser estadísticamente detectables (p > 0,05), mientras aumenta considerablemente la capacidad discriminatoria de las clasificaciones. Frente a los métodos convencionales, PROMSET mejora la calidad informativa y la equidad de las evaluaciones. | es |
| dc.description.abstract | Survey-based evaluations inform high-stakes ranking and performance decisions, yet scores often reflect non-instructional influences. This paper introduces PROMSET (Preference Ranking Organization Method for Student Evaluation of Teaching), a bias-mitigated outranking method that integrates robust multiple linear regression for bias identification with a comparison-dependent extension of PROMETHEE II. The method is validated on Student Evaluation of Teaching (SET) data from a Spanish university (45,357 surveys; 879 course evaluations; four knowledge areas). PROMSET incorporates a comparison-dependent activation mechanism that applies bias-calibrated indifference thresholds only when pairwise comparisons involve bias-favored alternatives. The results show that grade leniency bias and professor gender bias are no longer statistically detectable at conventional significance levels (p > 0.05) under PROMSET, while the discriminating power of the ranking increases substantially. Benchmarks against the traditional method and PROMETHEE II confirm that bias remains statistically significant under conventional approaches but not under PROMSET. PROMSET improves the informational quality and fairness of survey-based rankings for institutional decision-making. | en |
| dc.description.version | info:eu-repo/semantics/publishedVersion | |
| dc.identifier.issn | 2772-6622 | |
| dc.identifier.uri | 10.1016/j.dajour.2026.100756 | |
| dc.identifier.uri | http://hdl.handle.net/11531/116280 | |
| dc.keywords | Analítica de encuestas, Análisis multicriterio de decisiones, Métodos de sobreclasificación, Mitigación de sesgos, Método de clasificación por preferencias, Evaluación del desempeño docente | es |
| dc.keywords | Survey Analytics, Multicriteria Decision Analysis, Outranking Methods, Bias Mitigation, Preference Ranking Method, Teaching Performance Assessment | en |
| dc.language.iso | en-GB | |
| dc.rights.accessRights | info:eu-repo/semantics/openAccess | |
| dc.rights.uri | https://creativecommons.org/licenses/by-nc-nd/4.0/ | |
| dc.source | Revista: Decision Analytics Journal, Periodo: 0, Volumen: 21, Número: 100756, Página inicial: 1, Página final: 16 | |
| dc.title | An analytics-driven outranking method for bias mitigation in survey-based performance assessment | |
| dc.type | info:eu-repo/semantics/article |
Files
Original bundle
1 - 1 of 1
Loading...
- Name:
- Paper publicado.pdf
- Size:
- 2.71 MB
- Format:
- Adobe Portable Document Format
- Description:
- Paper publicado.pdf
License bundle
1 - 1 of 1
Loading...
- Name:
- license.txt
- Size:
- 1.71 KB
- Format:
- Item-specific license agreed upon to submission
- Description: