Forcing diversification for a Deep Reinforcement Learning portfolio management bot

Abstract

En los últimos años, se ha investigado la aplicación de modelos de aprendizaje profundo por refuerzo (DRL, por sus siglas en inglés) en el ámbito de la gestión de carteras de inversión. Una de las principales razones por las que estos modelos demuestran un rendimiento superior es por la tecnología subyacente de aprendizaje profundo, que les permite identificar patrones en los datos que los modelos tradicionales a menudo pasan por alto. A pesar de la alta demanda computacional y la complejidad asociada con las redes neuronales, importantes instituciones financieras como JP Morgan han implementado con éxito estos modelos.

Dada la rápida evolución en este campo, ha habido un creciente interés en comprender cómo los diversos hiperparámetros afectan el rendimiento del modelo. En particular, hay poca investigación sobre el impacto del hiperparámetro del coeficiente de entropía, un elemento crítico en la configuración de modelos DRL. Este estudio tiene como objetivo resolver este problema al investigar el valor óptimo del hiperparámetro del coeficiente de entropía y analizar cómo los cambios en este parámetro influyen en el rendimiento del modelo. Esta investigación utiliza un conjunto de datos comprensivo de 15 años del índice Dow Jones, proporcionando un contexto robusto para nuestros experimentos y conclusiones. El objetivo final es ofrecer información que pueda guiar a los profesionales y académicos en la mejora de los modelos DRL para obtener mejores resultados en la gestión de carteras de inversión.

Dada la rápida evolución en este campo, ha habido un creciente interés en comprender cómo los diversos hiperparámetros afectan el rendimiento del modelo. En particular, hay poca investigación sobre el impacto del hiperparámetro del coeficiente de entropía, un elemento crítico en la configuración de modelos DRL. Este estudio tiene como objetivo llenar esa brecha al investigar el valor óptimo del hiperparámetro del coeficiente de entropía y analizar cómo los cambios en este parámetro influyen en el rendimiento del modelo. Esta investigación utiliza un conjunto de datos comprensivo de 15 años del índice Dow Jones, proporcionando un contexto robusto para nuestros experimentos y conclusiones. El objetivo final es ofrecer información que pueda guiar a los profesionales y académicos en la mejora de los modelos DRL para obtener mejores resultados en la gestión de carteras de inversión.

In recent years, scholars have dived deep into the application of deep reinforcement learning (DRL) models in portfolio management. One of the main reasons these models perform better is due to the underlying deep learning technology, which allows them to identify patterns in data that traditional models often overlook. Despite the high computational demands and complexity associated with neural networks, significant financial institutions like JP Morgan have successfully implemented these models.

Given the rapid advancements in this area, there has been a growing interest in understanding how various hyperparameters affect model performance. Notably, there is limited research on the impact of the entropy coefficient hyperparameter, a critical element in the configuration of DRL models. This study aims to solve that issue by investigating the optimal value of the entropy coefficient hyperparameter and analyzing how changes to this parameter influence the model's performance. This investigation uses a comprehensive 15-year dataset from the Dow Jones index, providing a robust context for our experiments and conclusions. The ultimate goal is to offer a clear analysis on this particular hyperparameter that could guide practitioners and researchers in refining DRL models for better portfolio management outcomes. As interest in this domain continues to burgeon, there is a burgeoning curiosity surrounding the impact of various hyperparameters on model efficacy. Of particular note is the entropy coefficient hyperparameter, a pivotal component in DRL model configuration. Despite its significance, there exists a dearth of research elucidating its effects on model performance.

This study endeavors to address this gap by delving into the optimal value of the entropy coefficient hyperparameter and scrutinizing how alterations to this parameter influence model performance. Leveraging a comprehensive dataset spanning 15 years from the Dow Jones index, our investigation is poised within a robust contextual framework for experimentation and analysis. Through this endeavor, our overarching aim is to furnish insights that can inform practitioners and researchers in honing DRL models for more effective portfolio management outcomes.