Plataforma para simulación del comportamiento de un dron mediante algoritmos de aprendizaje por refuerzo

Abstract

En vista a la incorporación y al auge de sistemas de vehículos aéreos no tripulados, o drones, en un gran marco de sectores de la industria, nuevas aplicaciones tecnológicas para estas máquinas están siendo investigadas. Entre estas tecnologías destaca la navegación completamente autónoma, sin requerir de ninguna supervisión humana. Las técnicas que se están implementando para desarrollar esta tecnología involucran principalmente aprendizaje automático, en particular aprendizaje por refuerzo, combinado con simulaciones del dron para ahorrar costes. Aunque ya se hayan creado aplicaciones reales con este tipo de tecnología, todavía se considera que se encuentra en fase de investigación. De esta manera, el objetivo de este proyecto consiste en el desarrollo de una interfaz de usuario gráfica que permita implementar algoritmos de aprendizaje por refuerzo para facilitar la navegación autónoma de un dron simulado. Dicha plataforma es una primera aproximación para un sistema que habilitará el acceso cómodo a usuarios que busquen investigar sobre la navegación autónoma de drones aplicando técnicas de aprendizaje por refuerzo. En el contexto de este proyecto se desarrollaron y compararon los resultados de cuatro algoritmos de aprendizaje por refuerzo: Q-learning, Double Q-learning, Deep Q-learning y Double Deep Q-learning.

In view of the incorporation and rise of unmanned aerial vehicle systems, or drones, within a large framework of industry sectors, new technological applications for these machines are being investigated. These technologies include fully autonomous navigation, without requiring any human oversight. The techniques being implemented to develop this technology mainly involve machine learning, in particular reinforcement learning, combined with time-saving drone simulations. Although real applications have already been created with this type of technology, it is still considered to be in the research phase. As a result, the objective of this project is the development of a graphical user interface that allows to implement reinforcement learning algorithms to facilitate the autonomous navigation of a simulated drone. This platform is a first approximation for a system that will enable convenient access to users looking to investigate autonomous drone navigation by applying reinforcement learning techniques. In the context of this project, the results of four reinforcement learning algorithms were developed and compared: Q-learning, Double Q-learning, Deep Q-learning and Double Deep Q-learning.