Medical gesture recognition using dynamic arc length warping

Abstract

El reconocimiento de gestos con las manos es un área de investigación prometedora que se utiliza a menudo en aplicaciones de interacciones entre humanos y computadoras en el campo médico. En este artículo, presentamos un enfoque novedoso para diferenciar gestos basado en una parametrización de longitud de arco y un análisis de curvatura de trayectorias 3D. Este nuevo método llamado deformación dinámica de la longitud del arco (DALW) puede superar al algoritmo clásico de deformación temporal dinámica multidimensional (MD-DTW), ya que es invariante a la ubicación del sensor y más tolerante a las distorsiones temporales. La validación experimental del algoritmo se presenta utilizando diferentes gestos y sensores en aplicaciones biomédicas: un aparato de exoesqueleto, gestos quirúrgicos capturados por un dispositivo laparoscópico instrumentado y finalmente, un simulador de parto con un fórceps instrumentado. Se implementó una red neuronal multicapa de perceptrón básico para realizar la clasificación. Los resultados implican un aumento medio del 7,14% en las tasas de clasificación utilizando la distancia DALW, en comparación con el MD-DTW clásico.

Hand gesture recognition is a promising research area often used in applications of human–computer interactions in the medical field. In this paper, we present a novel approach to differentiate gestures based on an arc-length parametrization and a curvature analysis of 3D trajectories. This new method called dynamic arc length warping (DALW) can outperform classic multi dimensional-dynamic time warping (MD-DTW) algorithm as it is invariant to sensor location and more tolerant to temporal distortions. Experimental validation of the algorithm is presented using different gestures and sensors in biomedical applications: an exoskeleton apparatus, surgical gestures captured by an instrumented laparoscopic device and finally, a birth simulator with an instrumented forceps. A basic perceptron multilayer neural network was implemented in order to perform the classification. Results involve an average increase of 7.14% in the classification rates by using DALW distance, compared to the classical MD-DTW.