Evaluación del Desempeño de un Modelo de Lenguaje de Gran Escala en Análisis de Sentimientos

Abstract

El análisis de sentimientos se ha consolidado como una herramienta relevante para comprender las percepciones de los consumidores en entornos de comercio electrónico y apoyar la toma de decisiones empresariales. En este ámbito, los Large Language Models (LLMs) ofrecen una mayor capacidad contextual que los enfoques tradicionales, aunque su implementación práctica sigue condicionada por elevados requerimientos computacionales, la dependencia de APIs propietarias y, en muchos casos, la necesidad de datos etiquetados para el ajuste fino. Frente a estas limitaciones, la cuantización reduce el consumo de memoria y facilita la ejecución de LLMs en hardware convencional, mientras que el prompting permite adaptar su comportamiento a tareas específicas sin modificar sus parámetros internos. En este contexto, el presente Trabajo de Fin de Grado evalúa el uso de LLMs cuantizados a 4 bits para la clasificación de sentimientos en reseñas de productos en español. La metodología se estructuró en tres etapas. Primero, se seleccionó un subconjunto de 200 reseñas del corpus Amazon Reviews, clasificadas en positivo, negativo y neutro. Segundo, se caracterizaron tres modelos cuantizados, LLaMA 3.1 8B Instruct, Qwen 2.5 7B Instruct y Mistral 7B Instruct, atendiendo a consumo de memoria, latencia y perplejidad. Posteriormente, se aplicaron seis estrategias de prompting, generando 18 combinaciones modelo-técnica evaluadas bajo las mismas condiciones experimentales. Finalmente, el desempeño se analizó mediante F1 macro-promediada, accuracy, matrices de confusión, métricas por clase e intervalos de confianza al 95 % mediante bootstrap. Los resultados muestran que los LLMs cuantizados a 4 bits pueden ofrecer un rendimiento competitivo sin recurrir a ajuste fino, APIs propietarias ni infraestructura especializada. Las mejores combinaciones alcanzaron valores de F1 macro-promediada superiores a 0,70 y una accuracy entre 0,80 y 0,84. Mistral 7B presentó el mejor perfil computacional, mientras que Qwen 2.5 obtuvo los mejores valores clasificatorios. Considerando conjuntamente rendimiento global, simplicidad del prompt, menor número de inversiones de polaridad y recuperación de la clase neutra, Qwen 2.5 zero-shot se identificó como la alternativa más equilibrada. Asimismo, los resultados muestran que la clase neutra constituye el principal desafío clasificatorio, frente a una identificación más fiable de opiniones positivas y negativas.Sentiment analysis has established itself as a relevant tool for understanding consumer perceptions in e-commerce environments and supporting business decision-making. In this domain, Large Language Models (LLMs) offer greater contextual capabilities than traditional approaches, although their practical implementation remains constrained by high computational requirements, dependence on proprietary APIs, and, in many cases, the need for labeled data for fine-tuning. To address these limitations, quantization reduces memory consumption and enables LLM execution on conventional hardware, while prompting allows adapting model behavior to specific tasks without modifying internal parameters. In this context, this Bachelor’s Thesis evaluates the use of 4-bit quantized LLMs for sentiment classification of Spanish product reviews. The methodology was structured in three stages. First, a subset of 200 reviews from the Amazon Reviews corpus was selected, classified into positive, negative, and neutral. Second, three quantized models were characterized, LLaMA 3.1 8B Instruct, Qwen 2.5 7B Instruct, and Mistral 7B Instruct, in terms of memory consumption, latency, and perplexity. Subsequently, six prompting strategies were applied, generating 18 model-technique combinations evaluated under identical experimental conditions. Finally, performance was analyzed using macro-averaged F1-score, accuracy, confusion matrices, per-class metrics, and 95 % bootstrap confidence intervals. Results show that 4-bit quantized LLMs can deliver competitive performance without fine-tuning, proprietary APIs, or specialized infrastructure. The best combinations achieved macro-averaged F1-scores above 0.70 and accuracy between 0.80 and 0.84. Mistral 7B presented the best computational profile, while Qwen 2.5 obtained the highest classification scores. Considering overall performance, prompt simplicity, fewer polarity inversions, and neutral class recall, Qwen 2.5 zero-shot was identified as the most balanced alternative. Results also show that the neutral class constitutes the main classification challenge, compared to more reliable identification of positive and negative opinions.