Measuring anti-relevance: a study on when recommendation algorithms produce bad suggestions.

Abstract

Por lo general, el rendimiento de los sistemas de recomendación se ha medido centrándose en la cantidad de elementos relevantes recomendados a los usuarios. Sin embargo, esta perspectiva proporciona una visión incompleta de la calidad de un algoritmo, ya que descuida la cantidad de recomendaciones negativas al equiparar los elementos desconocidos e interactuados negativamente al calcular las métricas de evaluación basadas en la clasificación. En este documento, proponemos un marco de evaluación donde la anti-relevancia se introduce sin problemas en varias métricas basadas en clasificaciones; de esta forma, obtenemos una perspectiva diferente sobre cómo se comportan los recomendadores y el tipo de sugerencias que hacen. Según nuestros resultados, observamos que los enfoques no personalizados tienden a devolver menos recomendaciones malas que los personalizados, sin embargo, la cantidad de recomendaciones desconocidas también es mayor, lo que explica por qué estos últimos tienden a sugerir elementos más relevantes. Nuestras métricas basadas en anti-relevancia también muestran el potencial para discriminar entre algoritmos cuyo desempeño es muy similar en términos de relevancia.

Summary: © 2018 Copyright held by the owner/author(s). Typically, performance of recommender systems has been measured focusing on the amount of relevant items recommended to the users. However, this perspective provides an incomplete view of an algorithm's quality, since it neglects the amount of negative recommendations by equating the unknown and negatively interacted items when computing ranking-based evaluation metrics. In this paper, we propose an evaluation framework where anti-relevance is seamlessly introduced in several ranking-based metrics; in this way, we obtain a different perspective on how recommenders behave and the type of suggestions they make. Based on our results, we observe that non-personalized approaches tend to return less bad recommendations than personalized ones, however the amount of unknown recommendations is also larger, which explains why the latter tend to suggest more relevant items. Our metrics based on anti-relevance also show the potential to discriminate between algorithms whose performance is very similar in terms of relevance.