Vision-tactile object classification through Faster R-CNN and Machine Learning algorithms for robotic grasping

Abstract

Durante muchos años, los robots manipuladores han trabajado "a ciegas" en procesos de producción industrial. A menudo, estos robots han realizado sus tareas de recogida siguiendo comandos previamente descritos sin entender el tipo de objeto y sus características. Para solucionar esta brecha, los investigadores han desarrollado la idea de dotar a los robots de capacidades de percepción, como la visión. Con esta solución, el robot podría comprender a través de cámaras qué objetos recoger y de qué manera. Pero con el tiempo, se notó que una cámara no es suficiente. Hay características intrínsecas del objeto que no se pueden proporcionar solo con la inspección visual, como la dureza. Por esta razón, se han propuesto varias ideas previamente para, por ejemplo, implementar el sentido del tacto durante las tareas de agarre.

Esta tesis tiene como objetivo obtener una mejor comprensión de las ventajas proporcionadas por la combinación de pistas visuales y táctiles en el contexto de la clasificación de objetos. Para este propósito, se han implementado un Faster R-CNN y diferentes algoritmos de aprendizaje automático (Árboles de decisión, KNN y SVM) para la clasificación de objetos (por ejemplo, forma y dureza). Se utiliza un agarre robótico con dos dedos y siete sensores de presión en cada uno de ellos y una cámara para probar y validar los algoritmos.

Las pruebas de clasificación se realizan sobre un conjunto de objetos diferentes. Entre los diferentes modelos Faster R-CNN y los algoritmos de aprendizaje automático, se eligen los más precisos. Posteriormente, se lleva a cabo el análisis de resultados con objetos más delicados, como verduras. El resultado conduce a algoritmos bien clasificadores, capaces de distinguir entre objetos defectuosos y válidos. Por lo tanto, se concluye que la implementación es útil en el reconocimiento de objetos basado en la visión y el tacto. Como trabajo futuro, el conocimiento adquirido se utilizará para guiar una tarea de agarre robótico de manera efectiva y cumplir con las normas.

Robot manipulators have worked "blind" for many years in industrial production processes. Often, these robots have performed their picking-up tasks by following previously described commands without understanding the type of object and its features. To solve this gap, researchers have developed the idea of endowing robots with perception capabilities, such as vision. With this solution, the robot can understand through cameras which objects to pick up and in what way. But over time, it was noticed that a camera is not enough. There are intrinsic characteristics of the object that cannot be provided by just visual inspection, e.g., the hardness. For this reason, several ideas have been previously proposed to, for example, implement the sense of touch during the grasping tasks.

This master thesis aims to get a better understanding on the advantages provided by the combination of vision and tactile clues in the context of object classification. For this purpose, a Faster R-CNN and different ML algorithms (Decision trees, KNN and SVM) for object classification (e.g., shape and hardness) have been implemented. A robotic gripper with two fingers and seven pressure sensors on each one of them and a camera are used to test and validate the algorithms.

The classification tests are run over a set of different objects. Among the different Faster R-CNN models and the ML algorithms, the most accurate are chosen. Subsequently, the analysis of results is carried out with more delicate objects, such as vegetables. The outcome leads to well-classifying algorithms, that are able to distinguish between defective and valid objects. Hence, it is concluded that the implementation is useful in visual and tactile-based object recognition. As a future work, the acquired knowledge will be used to guide a robotic grasping task in an effective and compliant way.