Multi-Fidelity Bayesian Optimization for Deep Reinforcement Learning for Portfolio Management

Abstract

El mundo financiero está en constante evolución, lo que presenta desafíos para las metodologías tradicionales que luchan por adaptarse a la naturaleza dinámica de los mercados. La Teoría Moderna de Carteras de Markowitz (MPT, por sus siglas en inglés) asume la estabilidad en las condiciones del mercado, no teniendo en cuenta la volatilidad inherente que caracteriza a los entornos financieros. Esta inconsistencia destaca la necesidad de enfoques innovadores capaces de abordar la naturaleza no estacionaria de los mercados. El Deep Reinforcement Learning (DRL) surge como una solución, aprovechando su capacidad de adaptación a condiciones cambiantes y su habilidad para aprender de datos históricos y retroalimentación en tiempo real. Este TFG profundiza en la intersección de la Optimización Bayesiana de Multi-Fidelidad (MFBO) y el DRL para mejorar las estrategias de gestión de carteras. La investigación explora cómo MFBO puede optimizar hiperparámetros dentro de los algoritmos de DRL, centrándose particularmente en su capacidad de adaptación a condiciones de mercado no estacionarias. Este estudio tiene como objetivo aprovechar la dinámica del DRL para superar las limitaciones de los enfoques estáticos al desafiar los supuestos de los modelos tradicionales de optimización de carteras como la MPT. A través de experimentos y análisis comparativos con métodos como la Optimización Bayesiana y la Búsqueda Aleatoria, el estudio no solo busca validar la eficacia de las técnicas MFBO-DRL, sino que también tiene como objetivo descubrir nuevos conocimientos sobre la optimización de carteras. Al combinar fundamentos teóricos con evidencia empírica, esta investigación contribuye a la comprensión general de la toma de decisiones financieras, ofreciendo posibles vías para el progreso de las prácticas de gestión de carteras.

The financial landscape is constantly evolving, presenting challenges to traditional methodologies that struggle to adapt to the dynamic nature of markets. Markowitz's Modern Portfolio Theory (MPT) assumes stability in market conditions, overlooking the inherent volatility and rapid changes that characterize real-world financial environments. This inconsistency highlights the need for innovative approaches capable of addressing the non- stationary nature of markets. Deep Reinforcement Learning (DRL) emerges as a promising solution, leveraging its adaptability to changing conditions and its ability to learn from historical data and real-time feedback. By leveraging the power of DRL, this thesis aims to revolutionize portfolio management, offering a more dynamic and responsive framework to navigate today's complex financial landscapes. This thesis explores the intersection of Multi-Fidelity Bayesian Optimization (MFBO) and Deep Reinforcement Learning (DRL) to improve portfolio management strategies. The research explores how MFBO can optimize hyperparameters within DRL algorithms, particularly focusing on their adaptability to non-stationary market conditions. By challenging the assumptions of traditional portfolio optimization models like Modern Portfolio Theory (MPT), this study aims to utilize the dynamic nature of DRL to overcome the limitations of static approaches. Through experimentation and comparative analysis with established methods such as Bayesian Optimization and Random Search, the study not only seeks to validate the efficacy of MFBO-DRL techniques but also aims to uncover new insights into portfolio optimization. By combining theoretical principles with empirical evidence, this research contributes to the wider understanding of financial decision-making, offering potential paths for the progress of portfolio management practices.