Control de un coche teledirigido mediante reconocimiento de gestos

Abstract

El objetivo principal del proyecto es comprobar la viabilidad de un vehículo controlado con el movimiento de las manos capturado con una cámara en un entorno industrial. Para hacerlo, se ha utilizado un coche teledirigido, al que se le ha sustituido el habitual receptor de radio control por un microcontrolador, éste genera las señales para controlar la dirección (servomotor) y la velocidad (ESC que controla el motor). La información de velocidad y dirección le llegan al microcontrolador a través de un módulo bluetooth HC-06. Este módulo bluetooth está conectado al bluetooth de un ordenador. Es en este ordenador donde se procesa todo antes de enviarse la velocidad y la dirección al microcontrolador. El ordenador tiene conectada una cámara Kinect que ofrece una imagen de profundidad, la cual se usa para crear una máscara de la mano aislada del entorno. La dirección se calcula en función de la inclinación de la mano (con el ángulo de los ejes de inercia) y la velocidad en función de la distancia de la mano respecto de un valor de referencia. Adicionalmente se han entrenado 2 clasificadores de machine learning (SVM) para identificar y reconocer 4 gestos distintos que hace la mano, un clasificador determina si se está haciendo un gesto o no y el otro determina qué gesto se está haciendo en caso de que el primer clasificador diga que se está realizando un gesto. Estos gestos se usan para apagar y encender el envío de información al vehículo. Para poder aplicar esta solución a un entorno industrial habría que hacer algunos cambios, uno de ellos sería cambiar la comunicación a una tecnología que permita más alcance (WIFI), también se debería usar otra cámara que se siga comercializando y pueda funcionar en exteriores.

The main objective of the project is to verify the viability of a vehicle controlled with the movement of hands captured with a camera in an industrial environment. To do so, a remote control car has been used, in which the usual radio control receiver has been replaced by a microcontroller, which generates the signals to control the steering (servomotor) and the speed (ESC that controls the engine). The speed and steering information arrives to the microcontroller through a bluetooth module HC-06. This bluetooth module is connected to the bluetooth of a computer. It is on this computer where everything is processed before sending the speed and steering to the microcontroller. The computer has a Kinect camera connected that offers a depth image, which is used to create a mask of the hand isolated from the environment. The steering is calculated according to the inclination of the hand (with the angle of the axes of inertia) and the speed as a function of the distance of the hand from a reference value. In addition, two machine learning classifiers (SVM) have been trained to identify and recognize 4 different gestures made by the hand, one classifier determines whether a gesture is being made or not and the other determines what gesture is being made in case the first classifier says that a gesture is being made. These gestures are used to turn off and turn on the sending of information to the vehicle. To be able to apply this solution to an industrial environment, some changes should be made, such as changing the communication to a technology that allows more range (WIFI) and using another camera that is still commercialized and can operate outdoors.