Boosting Deep Reinforcement Learning with Semantic Knowledge for Robotic Manipulators

Abstract

Este artículo propone una arquitectura novedosa que integra aprendizaje por refuerzo profundo (DRL) con conocimiento semántico mediante Knowledge Graph Embeddings (KGEs), con el objetivo de mejorar la eficiencia del aprendizaje en manipuladores robóticos. La metodología incorpora información contextual del entorno a través de grafos de conocimiento preconstruidos, cuyos vectores se combinan con observaciones visuales en el proceso de entrenamiento. Los experimentos, realizados con robots TIAGo e IRB120 en escenarios simulados con atributos fijos y aleatorios, muestran una reducción de hasta un 60% en el tiempo de aprendizaje y mejoras de hasta 15–20% en la precisión de las tareas, sin incrementar la complejidad computacional. Los resultados confirman que el uso de KGEs optimiza la exploración, acelera la convergencia y mejora la generalización de los agentes, constituyendo un avance significativo en la aplicación de DRL a la robótica

Deep Reinforcement Learning (DRL) is a powerful framework for solving complex sequential decision-making problems, particularly in robotic control. However, its practical deployment is often hindered by the substantial amount of experience required for learning, which results in high computational and time costs. In this work, we propose a novel integration of DRL with semantic knowledge in the form of Knowledge Graph Embeddings (KGEs), aiming to enhance learning efficiency by providing contextual information to the agent. Our architecture combines KGEs with visual observations, enabling the agent to exploit environmental knowledge during training. Experimental validation with robotic manipulators in environments featuring both fixed and randomized target attributes demonstrates that our method achieves up to 60 reduction in learning time and improves task accuracy by approximately 15 percentage points, without increasing training time or computational complexity. These results highlight the potential of semantic knowledge to reduce sample complexity and improve the effectiveness of DRL in robotic applications.