Aplicación de diferentes técnicas de aprendizaje por refuerzo en entornos gym

Abstract

En este proyecto se ha creado una plataforma para aplicar algoritmos de aprendizaje por refuerzo a diferentes entornos de Gym. Para ello, este programa cuenta con una ventana desde la cual se realiza la parametrización, así como otras elecciones tales como la opción de visualizar el entorno o no, o la opción de hacer un entrenamiento del modelo o simplemente probar uno ya entrenado previamente. Además, la aplicación cuenta con todo tipo de detalles sobre el funcionamiento de cada juego, así como la explicación de cada parámetro que se debe de introducir para dar comienzo a la partida. Adicionalmente, el programa contiene una opción para facilitar la comparación de las gráficas de resultados deseadas. Todo ello agiliza enormemente la experimentación y análisis del comportamiento del algoritmo de aprendizaje por refuerzo. Además, una vez desarrollada la aplicación, se ha llevado a cabo un análisis y comparación de los resultados obtenidos en función de los diferentes valores escogidos para los parámetros Para la creación de esta aplicación, se ha decidido utilizar el algoritmo Deep Q-Learning al ser uno de los más importantes dentro del aprendizaje por refuerzo. Se ha utilizado el lenguaje de programación Python como herramienta para llevar a cabo la implementación de este algoritmo en los diferentes entornos, así como para la creación de la interfaz gráfica de la aplicación.

In this project, we have created a platform from the user you can apply reinforcement learning algorithms in different Gym environments. This program has a window in which the user can set the algorithm parameters as desired, as well as other choices such as the option to simulate the environment or not, or the option of training the model or simply testing one that has already been trained. In addition, the app has all kinds of details about the operation of each game, as well as an explanation of each parameter that must be entered to start the game. In addition, the program contains an option to facilitate the comparison between different cases. All these features help the user to analyse the performance of the algorithm. Furthermore, once the application was developed, we have carried out an analysis and comparison of the results obtained based on the different values set for the parameters. To create this program, we have decided to use the Deep Q-Learning algorithm as it is one of the most important ones in the reinforcement learning area. We have used Python to carry out the implementation of this algorithm in the different environments, as well as for the creation of the application's graphical interface.