Transforming Fashion: AI for Style Recommendation

Abstract

Con el crecimiento exponencial de los productos de moda disponibles, los sistemas de recomendación automatizados se han vuelto esenciales para mejorar la experiencia del cliente. En este proyecto, seguimos el modelo Transformer de Sarkar (2018), que logra rendimiento "estado-del-arte" en dos tareas clave: Compatibility-Prediction (CP), donde el modelo aprende a evaluar si un conjunto de prendas forma un conjunto coherente, y Fill-in-the-Blank (FITB), donde completa un conjunto seleccionando la prenda más adecuada dados varios candidatos.

Comenzamos entrenando el modelo en CP, ya que esta tarea es esencial para que el modelo desarrolle una noción de compatibilidad estilística. Este modelo se utiliza para inicializar FITB, una tarea más compleja en la que el modelo debe distinguir el artículo correcto (positivo) de varias prendas incompatibles (negativos), aprendiendo a acercar los positivos y alejar los negativos en su espacio de representación interna. Para guiar este proceso, aplicamos curriculum learning (CL), aumentando progresivamente la dificultad de las muestras negativas. Cuando los negativos son demasiado similares al positivo, confunden al modelo y debilitan la señal de supervisión.

Nuestra contribución es una estrategia de muestreo negativo mediante clustering. Dividimos el catálogo de prendas en clusters de manera que las prendas dentro de un mismo cluster sean compatibles en los mismos outfits. Dada esta partición, seleccionamos los negativos de un cluster diferente al del artículo positivo, reduciendo la probabilidad de muestrear un artículo compatible como negativo.

Probamos dos técnicas de clustering: K-Means, que captura la similitud visual entre los artículos, y HDP, que captura patrones estilísticos a partir de datos textuales. Con K-Means y Standard CL logramos un rendimiento estado del arte, mientras que HDP supera el baseline sin CL. Estos resultados sugieren que combinar la similitud visual de K-Means con los patrones estilísticos de HDP tiene gran potencial para mejorar aún más el rendimiento del modelo.

With the exponential growth of available fashion products, automated recommendation systems have become essential to enhance customer experience. In this project, we follow the Transformer model proposed by Sarkar (2018), which achieves state-of-the-art performance in two key tasks: Compatibility Prediction (CP), where the model learns to assess whether a set of clothes forms a coherent outfit, and Fill-in-the-Blank (FITB), where it completes an outfit by selecting the most suitable item from several candidates.

We begin by training the model on CP, as this task is crucial for the model to develop a sense of style compatibility. The trained model is then used to initialize the model for FITB, a more complex task where the model must distinguish the correct item (positive) from several incompatible ones (negatives), learning to bring positives closer and push negatives away in its internal representation space. To guide this process, we apply curriculum learning (CL), progressively increasing the difficulty of negative samples. When negatives are too similar to the positive, they confuse the model and weaken the supervision signal.

Our contribution is a negative sampling strategy through unsupervised clustering. The idea is to partition the catalog of items into clusters so that items within the same cluster are compatible in the same outfits. Given this partition, we select negatives from a cluster different from the positive item’s cluster, reducing the likelihood of sampling a compatible item as a negative.

We tested two clustering techniques: K-Means, which captures visual similarity between items, and HDP, which captures style patterns from textual data. With K-Means and Standard CL, we achieved state-of-the-art performance, while HDP surpasses the baseline without CL. These results suggest that combining K-Means visual similarity with HDP’s stylistic patterns has great potential to further enhance model performance.