Optimización de carteras mediante aprendizaje por refuerzo profundo

Abstract

La gestión de portfolios tiene como objetivo asignar recursos a una cartera con el fin de optimizar los beneficios esperados por unidad de riesgo asumido. La dificultad de establecer un modelo que se ajuste a los cambios y la volatilidad del mercado es la piedra angular para el éxito de cualquier estrategia de inversión. Son precisamente la incertidumbre y la presunta ineficiencia de los mercados las que han llevado a la aparición de distintos enfoques por parte de los gestores de carteras. Para superar la debilidad e irracionalidad de las decisiones humanas se han diseñado numerosas estrategias de inversión a lo largo de la historia. En este sentido, el vertiginoso desarrollo de la tecnología aplicada a los mercados financieros se ha producido en un doble sentido. Por una parte, los economistas han flexibilizado su percepción de la eficacia del mercado aceptando la posibilidad de cierta capacidad predictiva de los rendimientos del mismo por medio de algoritmos no lineales. Por otra parte, se ha experimentado una transformación sustancial desde el punto de vista de las herramientas empleadas, adaptando los avances registrados en otras disciplinas. En este sentido, el empleo de sistemas inteligentes de optimización desempeña un papel fundamental.

El modo natural de aprendizaje del ser humano ha servido previamente como fuente de inspiración para otros procedimientos de algoritmos computacionales. Este ha sido, también, el caso reciente del aprendizaje por refuerzo, cuyos fundamentos tienen aplicaciones muy prometedoras en el ámbito bursátil. Este algoritmo trata de emular el comportamiento de cualquier ser vivo mediante técnicas empleadas de modo ascentral en la naturaleza como la prueba y el error. En consecuencia, se pueden extrapolar dichos mecanismos al entorno financiero y simular las recompensas que los agentes van adquiriendo tras la compraventa de valores en el mercado bursátil. Este tipo de aplicación es precisamente lo que se desarrolla en este trabajo.

Portfolio management aims to allocate resources to a portfolio in order to optimize expected returns per unit of risk assumed. The difficulty of establishing a model that adjusts to market changes and volatility is the cornerstone for the success of any investment strategy. It is precisely the uncertainty and presumed inefficiency of the markets that have led to the emergence of different approaches by portfolio managers. To overcome the weakness and irrationality of human decisions, numerous investment strategies have been designed throughout history. In this regard, the dizzying development of technology applied to financial markets has been twofold. On the one hand, economists have relaxed their perception of market efficiency by accepting the possibility of a certain predictive capacity of market returns by means of non-linear algorithms. On the other hand, there has been a substantial transformation in terms of the tools used, adapting the advances made in other disciplines. In this sense, the use of intelligent optimization systems plays a fundamental role.

The natural behavioral mode of human learning has served as a source of inspiration for other algorithmic procedures. This has also recently been the case for reinforcement learning, the fundamentals of which have very promising applications in the stock market domain and have led to the development of reinforcement learning, the fruit of which seems to be quite promising in the stock market domain. Reinforcement learning attempts to emulate the learning behavior of any living being by means of techniques used ancestrally in nature, such as trial and error. Consequently, these mechanisms can be extrapolated to the financial environment and simulate the rewards that agents acquire after buying and selling securities in the stock market. This type of application is precisely what is developed in this work.