Behavior detection models using computer vision applied to security systems

Abstract

Esta tesis propone un modelo completo para la detección de comportamientos anómalos usando técnicas de Visión por Computador. Como resultado de ella se presenta el modelo básico de todo sistema de seguridad enfocado a la detección de anomalías compuesto por tres grandes bloques: detección de movimiento, seguimiento de objetos interesantes y análisis del comportamiento. El trabajo de investigación comienza abordando el problema de la detección de movimiento. Se revisan los algoritmos más ampliamente usados en la literatura técnica analizando losmás interesantes, así como sus ventajas e inconvenientes. A continuación se proponen dos modelos originales para la detección de movimiento de manera eficiente, centrados en la reducción del tiempo de cálculo consumido: los modelos SDGM yMMGA. El primero, partiendo de la información de dónde se encuentran las entradas y salidas de la escena analizada, reduce ampliamente el espacio de búsqueda a las zonas de interés. El segundo, a través de la aplicación innovadora del proceso de actualización del RTDENN a los modelos de sustracción de fondo, disminuye el tiempo de actualización considerablemente. Estas reducciones de tiempo se consiguen sin perder precisión en la detección, al mantener constante la tasa de fallos. El tiempo ahorrado gracias a dichos modelos está disponible para el modelo de análisis del comportamiento, permitiendo así que el modelo completo de detección de anomalías se pueda ejecutar en tiempo real, esencial en una aplicación de vigilancia o seguridad. La salida del modelo de detección de movimiento se usa en el apartado de seguimiento. Cada conjunto de píxeles, denominados blobs, debe ser analizado para obtener demanera robusta las trayectorias de los diferentes objetos y personas que han atravesado la escena bajo vigilancia. Por una parte, el algoritmo propuesto construye unos histogramas que almacenan la información sobre los colores de los cuales está compuesto cada blob. Por otra parte, se descomponen los posibles problemas a afrontar en seis casos. De esta manera, se automatiza la solución de cada uno de ellos, permitiendo una resolución rápida. Los casos se diferencian en el número de blobs existentes en el fotograma actual, y el número de objetos que se habían detectado en el fotograma anterior. Tanto los unos como los otros se casan entre sí usando la información guardada en los histogramas mencionados, obteniendo así todos los puntos por donde cada objeto ha pasado. Los problemas de oclusiones se resuelven guardando la información de los objetos ocluidos por otros objetos, de manera que i ii pueda ser usada más adelante cuando vuelvan a aparecer los objectos ocluidos. El algoritmo permite, pues, construir la trayectoria de los objetos visibles, y una red de posibles trayectorias con diferentes probabilidades para cada objeto ocluido. Por último, la tesis presenta un modelo de detección de anomalías usando la información recogida durante el seguimiento de personas. A partir de una muestra de trayectorias no supervisadas, el modelo se entrena para formar los conjuntos de comportamientos considerados normales. Por primera vez se usan los Dominant Sets (DS) como técnica de creación de conjuntos en una aplicación de análisis del comportamiento, permitiendo crear un sistema de seguridad de fácil instalación. Una vez entrenado, el modelo es capaz de detectar qué comportamientos son normales, y hacer saltar una alarma en caso de observar un comportamiento desconocido. Los resultados obtenidos muestran que la aplicación deDS a un sistema de vigilancia supera otros métodos para la detección de anomalías.This thesis proposes a complete abnormal behavior detection model using computer vision techniques. The thesis presents the basic steps of every security system model aimed at detecting anomalies: motion detection, interesting objects tracking and behavior analysis. First, the thesis tackles the problem of motion detection. It reviews the algorithms most used in the technical literature and it details the advantages and disadvantages of each of these algorithms. Subsequently, two original models to efficiently detect movement in the scene are presented: the SDGM and theMMGA. Both models focus on reducing time consumption. The former, based on the location of the entrances and exits to the scene, greatly reduces the search space to certain regions of interest (ROI). The latter, using a novel application of the updating process of the RTDENN to the background subtraction models, considerably diminishes the time needed for the update of the parameters. These reductions in time are reached without losing accuracy, as the error rate remains stable. The time saved thanks to the models presented is available for the behavior analysis model, and thus allows the abnormal behavior detection model to work in real time, an essential characteristic of any security or surveillance application. The object tracking step uses the output of the motion detection model. The system has to analyze each group of pixels, called blobs, in order to robustly obtain the trajectories of the different objects and people crossing the scene under surveillance. On the one hand, the proposed algorithmbuilds histograms that store the color information of the pixel a blob is composed of. On the other hand, it decomposes any problem a tracking system may confront into six different cases. In this way, the tracking step automatizes the solution of these easily, and permits a fast resolution of the tracking step. The number of blobs appearing in the present frame and the number of objects detected in the previous frame differentiate one case fromthe others. The model matches present blobs and previous objects using the information stored in the color histograms and, point by point, builds the trajectory each object has taken. Occlusion problems are solved saving the information of occluded objects under others, in order to use it in the future when the occluded object is visible again. Thus, the algorithm allows the construction of the trajectory of visible objects, and a set of trajectories, each with a different probability, for each occluded object. iii iv Finally, the thesis presents an abnormal behavior detection model that uses the information gathered during the people tracking step. The model is trained using an unsupervised training set of trajectories, forming a set of clusters that model the behaviors considered as normal. For the first time, Dominant Sets (DS) is applied as the clusterization method in a behavior analysis model. Taking into account that DS does not need any supervision, any system using the presented behavior analysis model is an easy-to-install system, ideal for security applications. Once trained, the model detects the normal behavior, and triggers an alarmin cases where the behavior is unknown. The obtained results show that the application of DS in a surveillance system outperforms other abnormality detection models.