Implantación de una solución de pick and place en un robot industrial utilizando un sistema de visión artificial basado en redes convolucionales

Abstract

En este proyecto se ha desarrollado un sistema que permite a un brazo robótico ordenar conjuntos de piezas de LEGO de distintos colores, dispuestas aleatoriamente en el tapete, detectándolas por visión artificial con CNNs. El sistema soporta piezas apiladas y piezas rotadas e implementa un método para optimizar la distancia recorrida por el robot basado en PSO. La adaptación del método PSO a este problema se basa en la definición de distancia entre permutaciones de listas de elementos. El sistema implementa numerosas mejoras respecto a sistemas anteriores, notablemente la integración de los proyectos previos, la finalización del desarrollo de la interfaz, la comunicación bidireccional entre robot y PC, la corrección de la detección mediante varias imágenes y Template Matching , el trabajo por alturas para evitar colisiones y la eliminación de la discretización de la posición de las piezas en el tapete. En el trabajo se muestran numerosos vídeos que muestran el sistema en funcionamiento. El sistema tiene un desempeño satisfactorio en diversas condiciones adversas, si bien todavía tiene algunas limitaciones heredadas mayormente de la detección. Como trabajo futuro se recomienda reentrenar las redes neuronales encargadas de la detección en condiciones de laboratorio y modificar el sistema de detección de ángulos para diferenciar entre ángulos positivos y negativos.

In this project a system has been developed to allow a robotic arm to sort different sets of multicolored LEGO pieces, randomly laid out on the work surface, detecting them through computer vision and CNNs. The system can manage stacked pieces as well as rotated pieces. A method to optimize the distance traveled by the robot arm has been implemented, based on PSO. The adaptation of PSO to this particular problem is based on the definition of distance between permutations of lists. The system features many improvements over previously developed solutions, notably the integration of all previous work, a completed and fully developed interface, two-way communication between the robot and the commanding PC, correction of the piece detection through taking several images and Template Matching, height discrimination to avoid collision between the robot and stacks of pieces and eliminating the discretization of the possible positions of the pieces on the work surface. Several videos that show the system in action have been attached. This solution shows satisfactory performance in numerous adverse conditions. Nonetheless, some limitations inherited from the detection phase are still present. As future work, retraining of the CNNs under conditions more similar to the laboratory conditions and modification of the angle detecting system to differentiate between positive and negative angles is advised.