Evaluación de clasificadores de voz para Smart Personal Assistants

Abstract

Los asistentes personales inteligentes, o Smart Personal Assistants (SPA), están cada vez más presentes en nuestros hogares y a medida que la tecnología avanza, también lo hacen sus funcionalidades y capacidades. Una amenaza reciente que ha surgido es la clonación de voz, donde a través de grabaciones de un usuario y el uso de redes de Inteligencia Artificial, es posible crear una réplica de su voz con gran similitud. Esto representa un peligro real para los sistemas de autenticación de los asistentes personales, ya que las réplicas podrían superar las medidas de seguridad y permitir a cualquier persona acceder a los datos. Estas plataformas de clonación de voz suelen ser de acceso público, lo que aumenta aún más el riesgo.

El objetivo de este trabajo de fin de grado es realizar un estudio sobre la seguridad de los SPA y evaluar su protección contra ataques de suplantación de voz. También se analizará el nivel de compromiso de los datos en los asistentes más utilizados. Además, se desarrollará un modelo de redes neuronales para clasificar voces reales y sintéticas, con el fin de determinar si estas redes son una herramienta recomendable para reforzar la seguridad de los SPA.

En primer lugar, se llevarán a cabo pruebas para evaluar la protección de los asistentes personales frente a diferentes tipos de ataques de suplantación de identidad. Además, se investigará la dificultad de acceder a datos comprometidos, como aplicaciones financieras o sistemas de mensajería. Por otro lado, se desarrollarán modelos utilizando redes neuronales convolucionales para clasificar voces reales y generadas por ordenador, se evaluará el rendimiento de estos modelos y se determinará si son adecuados para implementarlos en los sistemas de seguridad de los asistentes personales.

Smart Personal Assistants (SPAs) are increasingly present in our homes and as technology advances, so do their functionalities and capabilities. A recent threat that has emerged is voice cloning, where through recordings of a user and the use of Artificial Intelligence networks, it is possible to create a replica of their voice with great similarity. This represents a real danger to the authentication systems of personal assistants, as the replicas could overcome security measures and allow anyone to access the data. These voice cloning platforms are often publicly accessible, which further increases the risk.

The objective of this final degree work is to conduct a study on the security of SPAs and evaluate their protection against voice impersonation attacks. The level of data compromise in the most used assistants will also be analyzed. In addition, a neural network model will be developed to classify real and synthetic voices, in order to determine if these networks are a recommendable tool to reinforce the security of SPAs.

First, tests will be carried out to evaluate the protection of personal assistants against different types of impersonation attacks. In addition, the difficulty of accessing compromised data, such as financial applications or messaging systems, will be investigated. On the other hand, models will be developed using convolutional neural networks to classify real and computer-generated voices, the performance of these models will be evaluated and their suitability for implementation in personal assistant security systems will be determined.