Influencia del Learning Rate en el Desempeño de Agentes de Deep Reinforcement Learning para Estrategias de Gestión de Carteras

Abstract

Este Trabajo de Fin de Grado aborda la influencia de la tasa de aprendizaje en la eficacia de los agentes de Deep Reinforcement Learning (DRL) aplicados a estrategias de gestión de carteras financieras. Dada la volatilidad y la complejidad inherente a los mercados financieros, este estudio se enfoca en entender el impacto del learning rate en un modelo de DRL para mejorar las decisiones en la gestión de carteras.

La investigación emplea el algoritmo de Proximal Policy Optimization (PPO), explorando cómo diferentes configuraciones del learning rate afectan la capacidad de los modelos de DRL para adaptarse a las dinámicas del mercado y maximizar la rentabilidad ajustada al riesgo, medida a través del ratio de Sharpe. Se propone una hipótesis principal que postula que un learning rate incrementado facilitará una adaptación más efectiva y rápida a las condiciones cambiantes del mercado, superando en rendimiento a la configuración predeterminada en Stable Baselines 3. El estudio metodológico incluye un diseño experimental donde se compara la performance de múltiples agentes con tasas de aprendizaje variadas, utilizando datos históricos del mercado para simular escenarios de inversión. Los resultados esperan demostrar que ajustes precisos en el learning rate pueden ofrecer ventajas significativas en términos de eficiencia y efectividad de las estrategias de inversión automatizadas.

Este trabajo contribuye al campo de las finanzas cuantitativas al ofrecer una comprensión más profunda de cómo los parámetros de aprendizaje por refuerzo, más concretamente, el learning rate, influyen en el desempeño de los algoritmos de DRL en finanzas.This thesis addresses the influence of the learning rate on the effectiveness of Deep Reinforcement Learning (DRL) agents applied to financial portfolio management strategies. Given the volatility and inherent complexity of financial markets, this study focuses on understanding the impact of the learning rate on a DRL model to improve decisions in portfolio management.

The research utilizes the Proximal Policy Optimization (PPO) algorithm, exploring how different settings of the learning rate affect the DRL models' ability to adapt to market dynamics and maximize risk-adjusted returns, measured through the Sharpe ratio. A main hypothesis proposes that an increased learning rate will facilitate a more effective and rapid adaptation to changing market conditions, outperforming the default setting in Stable Baselines 3. The methodological study includes an experimental design where the performance of multiple agents with varied learning rates is compared, using historical market data to simulate investment scenarios. The results are expected to demonstrate that precise adjustments in the learning rate can offer significant advantages in terms of efficiency and effectiveness of automated investment strategies.

This work contributes to the field of quantitative finance by offering a deeper understanding of how reinforcement learning parameters, specifically the learning rate, influence the performance of DRL algorithms in finance.