Ajuste fino de un LLM orientado al manejo eficiente de información privada

Abstract

Este trabajo explora la viabilidad del ajuste fino en modelos de lenguaje de gran tamaño (LLMs) en entornos con recursos computacionales limitados, con el objetivo de adaptarlos al manejo eficiente de información estructurada, como la que podría encontrarse en entornos empresariales con datos privados. Para ello, se ha utilizado el modelo Llama 3.1 8B de Meta y se ha aplicado la técnica de Low-Rank Adaptation (LoRA), que permite modificar únicamente un pequeño subconjunto de parámetros del modelo, reduciendo drásticamente los requisitos de hardware. La tarea planteada consiste en responder preguntas numéricas formuladas en lenguaje natural a partir de un conjunto de datos meteorológicos de AWS (GHCN), previamente procesado y adaptado al formato del modelo. Se ha diseñado un flujo modular que permite generalizar el procedimiento a otros dominios, manteniendo la lógica de entrenamiento pero adaptando el contenido del prompt y el conjunto de datos. Los resultados muestran mejoras claras respecto al modelo preentrenado, tanto en métricas de precisión como en coherencia de las respuestas, reduciendo significativamente el porcentaje de alucinaciones. Además, el sistema ha demostrado ser funcional en un entorno como Google Colab, lo que valida su aplicabilidad en contextos con recursos limitados. Finalmente, se identifican varias líneas de trabajo futuro, como la incorporación de estructura temporal secuencial en el entrenamiento, la evaluación ante preguntas con datos ausentes o la integración con sistemas RAG. El enfoque propuesto abre nuevas posibilidades para el uso práctico de LLMs adaptados a dominios concretos y con información sensible, sin depender de conexiones externas ni infraestructuras complejas.

This project explores the feasibility of fine-tuning large language models (LLMs) in environments with limited computational resources, with the goal of adapting them to the efficient handling of structured information, such as that found in business settings with private data. To this end, Meta’s LLaMA 3.1 8B model was used, and the Low-Rank Adaptation (LoRA) technique was applied, which allows modifying only a small subset of the model’s parameters, significantly reducing hardware requirements. The proposed task involves answering numerical questions expressed in natural language based on a meteorological dataset from AWS (GHCN), which was previously processed and adapted to the model’s format. A modular workflow was designed to generalize the procedure to other domains, preserving the training logic while adapting the prompt content and dataset structure as needed. The results show clear improvements over the pretrained model, both in terms of accuracy metrics and response coherence, with a significant reduction in the rate of hallucinations. Additionally, the system proved functional in a platform like Google Colab, validating its applicability in low-resource contexts. Several future lines of work have been identified, such as incorporating sequential temporal structure into training, evaluating the model’s performance when dealing with missing data, or integrating it with Retrieval-Augmented Generation (RAG) systems. The proposed approach opens new possibilities for the practical use of LLMs adapted to specific domains and sensitive information, without relying on external connections or complex infrastructures.