Analysis and Application of Reinforcement Learning to Portfolio Management

Abstract

Este trabajo investiga la aplicación del Aprendizaje por Refuerzo (RL) a la gestión de carteras de renta variable, centrándose en el algoritmo Proximal Policy Optimization (PPO) dentro del marco FinRL. Se evalúa el comportamiento del agente en dos regímenes de mercado opuestos, un mercado bajista (2022) y uno alcista (2023), sobre un universo de diez activos internacionales entrenado con datos históricos de 2015 a 2021. El estudio se organiza en cinco fases experimentales: una referencia pasiva de compra y antenimiento, un agente PPO base, un entorno consciente del riesgo con reglas estáticas de stop-loss, la optimización bayesiana de hiperparámetros mediante Optuna y, como contribución original, una función de recompensa basada en el ratio de Sharpe de momentos fraccionarios, motivada por la teoría reciente de López de Prado et al. (2026) sobre la invalidez de la inferencia clásica bajo dinámicas GARCH y colas pesadas. Los resultados muestran que las reglas estáticas de riesgo protegen el capital en mercados bajistas pero sacrifican la participación en las subidas, mientras que la recompensa fraccionaria propuesta logra el comportamiento más robusto entre regímenes, con un ratio de Sharpe estable y caídas máximas contenidas en ambos años de test.

This thesis investigates the application of Reinforcement Learning (RL) to equity portfolio management, focusing on the Proximal Policy Optimization (PPO) algorithm within the FinRL framework. Agent behaviour is evaluated across two contrasting market regimes, a bear market (2022) and a bull market (2023), on a universe of ten international assets trained on historical data from 2015 to 2021. The study is organized in five experimental phases: a passive buy-and-hold benchmark, a vanilla PPO baseline, a risk-aware environment with static stop-loss rules, Bayesian hyperparameter optimization via Optuna and, as the original contribution, a reward function based on the fractional-moment Sharpe ratio, motivated by the recent theory of López de Prado et al. (2026) on the breakdown of classical inference under GARCH dynamics and heavy tails. The results show that static risk rules protect capital in bear markets but sacrifice upside participation, whereas the proposed fractional reward achieves the most robust cross-regime behaviour, with a stable Sharpe ratio and contained maximum drawdowns in both test years.