Diseño de un marco de referencia para el consumo de energía de un brazo robótico industrial

Abstract

En este proyecto se ha realizado un diseño de un marco de referencia para comprobar la eficacia de las técnicas de aprendizaje por refuerzo en el consumo energético de un robot industrial y se ha implementado la comunicación entre el controlador del robot con un código de aprendizaje por refuerzo, el encargado de optimizar el consumo de energía. Para ello, se han realizado una serie de campañas de medida que tenían como objetivo obtener los datos de potencia y energía en tiempo real, pare después hacer un posterior análisis de estos datos y filtrarlos obteniendo el consumo y el tiempo por ciclo. Se ha realizado también una estimación estadística del tiempo medio y del consumo energético que servirá en un futuro para saber cómo de buenos han sido los resultados una vez aplicadas las técnicas de aprendizaje por refuerzo. En cuanto al tema de la comunicación ha sido necesario desarrollar un código en RAPID que se encargaba de darle al robot las órdenes necesarias para moverse, así cómo el tipo de movimiento. Además, se ha implementado una comunicación entre el controlador del brazo robótico y un código en Python, que se ha realizado mediante sockets, aunque la comunicación ha sido poco fluida y por ello, finalmente la comunicación se ha realizado mediante un archivo .txt. Adicionalmente, se ha realizado una investigación sobre los algoritmos que resultarían óptimos de cara a aprender una política óptima de aprendizaje siendo HER y DDPG los más prometedores.

In this project, a benchmark design has been made to check the efficiency of the Reinforcement Learning techniques in the energy consumption of an industrial robot and the communication has been implemented between the robot's controller with a reinforcement learning code, the one in charge of optimizing energy consumption, has been implemented. For this purpose, a series of measurement campaigns have been carried out to obtain power and energy data in real time, and then to analyze and filter these data to obtain the energy consumption and time per cycle. A statistical estimate of the average time and energy consumption has also been made, which will serve in the future to know how good the results have been once the reinforcement learning techniques have been applied. Regarding the communication issue, it has been necessary to develop a RAPID code to give the robot the necessary commands to move, as well as the type of movement. In addition, a communication between the robot arm controller and a Python code has been implemented, which has been done through sockets, although the communication has not been very fluid and therefore, finally the communication has been done through a .txt file. Additionally, a research has been carried out on the algorithms that would be optimal for learning an optimal learning policy with HER and DDPG being the most promising.