Evaluación de sistemas de recomendación empleando diferentes estrategias de evaluación

Abstract

Este Trabajo de Fin de Grado analiza cómo las distintas estrategias de evaluación influyen significativamente en el rendimiento observado de los sistemas de recomendación. En particular, se estudia cómo la elección del esquema de partición de datos puede modificar las conclusiones obtenidas al comparar modelos, incluso cuando estos se evalúan bajo las mismas métricas. Para ello, se implementan y comparan varios enfoques: un modelo aleatorio, un modelo basado en popularidad, filtrado colaborativo mediante K-nearest neighbors (KNN), Bayesian Personalized Ranking (BPR), un modelo basado en redes neuronales (Neural Collaborative Filtering) y un modelo híbrido que combina diferentes estrategias de recomendación. Estos algoritmos se evalúan sobre múltiples datasets heterogéneos, con características y niveles de densidad diferentes, lo que permite analizar su comportamiento en distintos escenarios. El estudio considera diversas estrategias de partición de datos, incluyendo divisiones aleatorias y temporales, así como enfoques globales y segmentados por usuario, con el objetivo de simular condiciones realistas de recomendación. El rendimiento de los modelos se mide mediante un conjunto amplio de métricas que no solo incluyen precisión y recall, sino también medidas más orientadas a la calidad de recomendación como diversidad, cobertura y novedad. Los resultados obtenidos muestran que la estrategia de evaluación tiene un impacto determinante en el rendimiento de los modelos, pudiendo alterar la jerarquía entre ellos. Esto pone de manifiesto la importancia de diseñar protocolos de evaluación rigurosos y comparables para garantizar conclusiones fiables en el ámbito de los sistemas de recomendación.

This Bachelor's Thesis analyzes how different evaluation strategies significantly influence the observed performance of recommender systems. In particular, it studies how the choice of data partitioning scheme can modify the conclusions drawn when comparing models, even when they are evaluated under the same metrics. To this end, several approaches are implemented and compared: a random model, a popularity-based model, collaborative filtering using K-nearest neighbors (KNN), Bayesian Personalized Ranking (BPR), a neural network-based model (Neural Collaborative Filtering), and a hybrid model that combines different recommendation strategies. These algorithms are evaluated on multiple heterogeneous datasets, with varying characteristics and levels of sparsity, which allows for the analysis of their behavior under different scenarios. The study considers different data partitioning strategies, including random and temporal splits, as well as global and user-based approaches, in order to simulate realistic recommendation conditions. Model performance is assessed using a broad set of metrics that include not only precision and recall, but also more quality-oriented measures such as diversity, coverage, and novelty. The results show that the evaluation strategy has a decisive impact on model performance, potentially altering their relative ranking. This highlights the importance of designing rigorous and comparable evaluation protocols to ensure reliable conclusions in the field of recommender systems.