Offline Conservative Q-Learning for Optimizing Parameters of Retrieval-AugmentedGeneration with Large Language Models

Abstract

Este proyecto explora la optimización dinámica de sistemas Retrieval Augmented Generation (RAG) mediante métodos de Reinforcement Learning (RL). Se aborda la selección automática de hiperparámetros que afectan directamente a la calidad de las respuestas. El problema se modela como un multi-armed bandit (MAB), un algoritmo que aprende iterativamente qué configuraciones (brazos) producen mejores resultados; equilibrando exploración y explotación. La evaluación se basa en un dataset de preguntas y respuestas, SQuAD v2, utilizando la similitud coseno para medir el rendimiento. Los resultados sugieren que ciertas configuraciones pueden adaptarse mejor a determinados conjuntos de preguntas, destacando el potencial de enfoques adaptativos en sistemas RAG.

This project explores the dynamic optimization of Retrieval Augmented Generation (RAG) systems through Reinforcement Learning (RL) methods. It addresses the automatic selection of hyperparameters that directly affect the quality of the answers. The problem is modeled as a multi-armed bandit (MAB), an algorithm that iteratively learns which configurations (arms) produce better results; balancing exploration and exploitation. The evaluation is based on a question-answering dataset, SQuAD v2, using cosine similarity to measure performance. The results suggest that certain configurations may adapt better to particular sets of questions, highlighting the potential of adaptive approaches in RAG systems.