Inteligencia artificial: Potenciando Modelos de Lenguaje Preentrenados con Técnicas de Transformers y Aprendizaje Híbrido a través de RAG

Abstract

Este proyecto busca optimizar la generación de texto en modelos de lenguaje de gran tamaño (LLM) mediante la técnica RAG (Retrieval Augmented Generation), que combina generación automática con recuperación de información externa. Aunque los modelos preentrenados basados en arquitecturas Transformer han demostrado ser muy eficaces en tareas como traducción, respuesta a preguntas o generación de contenido, presentan una limitación importante: su conocimiento es estático y está limitado al corpus con el que fue entrenado. La técnica RAG permite superar esta limitación al enriquecer el contexto del modelo con información actual y relevante, extraída en tiempo real de documentos u otras fuentes externas. El objetivo de este trabajo es evaluar el valor añadido por esta técnica a través de métricas y análisis concretos, integrándola en un modelo base, concretamente en Mistral 7B. En el sistema RAG desarrollado, el modelo genera texto teniendo en cuenta información técnica previamente recuperada. Los resultados obtenidos muestran una mejora notable en la efectividad del modelo, con respuestas más precisas, coherentes y alineadas con el contexto de cada pregunta. Además, el sistema demuestra una alta robustez frente a entradas complejas, ambiguas o con errores ortográficos, manteniendo la calidad de las respuestas. Se analizan posibles sesgos derivados de la documentación utilizada, prestando especial atención al sesgo por selección dirigida de documentación ya que puede condicionar de forma crítica las respuestas del sistema y provocar que este pierda su objetividad. En conclusión, la incorporación de técnicas de recuperación contextualizada como RAG mejora significativamente el rendimiento de los modelos de lenguaje, aumentando su utilidad en aplicaciones complejas y reforzando su capacidad para ofrecer respuestas más relevantes, actualizadas y fiables en entornos exigentes. No obstante, es fundamental el correcto tratamiento de la información con que se alimentan estos sistemas para evitar respuestas distorsionadas.

This project aims to optimize text generation in large language models (LLMs) through the use of the RAG (Retrieval-Augmented Generation) technique, which combines automatic generation with external information retrieval. Although pretrained models based on Transformer architectures have proven highly effective in tasks such as translation, question answering, and content generation, they present a significant limitation: their knowledge is static and restricted to the corpus on which they were trained. The RAG technique helps overcome this limitation by enriching the model’s context with current and relevant information, retrieved in real time from documents or other external sources. The objective of this work is to evaluate the added value of this technique through specific metrics and analyses, integrating it into a base model, specifically, Mistral 7B. In the developed RAG system, the model generates text while considering previously retrieved technical information. The results show a clear improvement in the model’s effectiveness, delivering more precise, coherent responses aligned with the context of each query. Additionally, the system demonstrates strong robustness when dealing with complex, ambiguous, or misspelled inputs, maintaining response quality. Potential biases derived from the documentation used are also analyzed, with particular attention to selection bias, which can critically influence the system’s answers and compromise its objectivity. In conclusion, incorporating context-aware retrieval techniques such as RAG significantly enhances the performance of language models, increasing their usefulness in complex applications and strengthening their ability to deliver more relevant, up to date, and reliable responses in demanding environments. However, careful handling of the information fed into these systems is essential to avoid distorted results.