Phenomenological Multivariate Analysis of Mental Health Issues Using Predictive Modelling and Artificial Intelligence on Voice Data

Abstract

Este proyecto presenta el diseño y validación de Souly, un sistema de aprendizaje automático multimodal orientado a la detección de signos de ansiedad y depresión a partir de testimonios breves en vídeo. Mediante la extracción de características faciales, acústicas, lingüísticas y psicológicas de datos reales, Souly genera un perfil integral del estado mental de cada usuario.

Se desarrolló un pipeline de preprocesamiento completamente automatizado para convertir vídeos en bruto en conjuntos de datos estructurados, permitiendo un análisis escalable. Se aplicaron múltiples algoritmos de última generación —como Gradient Boosting, Random Forest, Redes Neuronales y Máquinas de Vectores de Soporte— y se evaluó su desempeño en tareas de clasificación binaria y multiclase. Además, se analizaron subconjuntos de variables para entender el valor específico de cada modalidad. Los resultados alcanzaron una precisión del 90%, demostrando la viabilidad técnica del sistema.

Más allá del desarrollo algorítmico, se diseñó una estrategia de adopción al mercado, evaluando factores regulatorios, sociales y económicos. Se identificaron sectores clave —clínico, corporativo y educativo— para una eventual implementación, empezando por el contexto español.

En definitiva, este trabajo integra herramientas avanzadas de inteligencia artificial con un enfoque profundamente humano, abriendo la puerta a una nueva forma de comprender y detectar el malestar psicológico de manera accesible y anticipada.

This project presents the development and validation of Souly, a multimodal machine learning system designed to detect signs of anxiety and depression from short video testimonies. Through the integration of facial, acoustic, linguistic, and psychological features extracted from real-world video data, Souly constructs a comprehensive mental health profile for each user.

A fully automated preprocessing pipeline was engineered to transform raw videos into structured datasets, enabling scalable analysis. The system employs various state-of-the-art algorithms — including Histogram Gradient Boosting, Random Forest, Neural Networks, and Support Vector Machines — and explores their performance through extensive binary and multiclass classification tasks. Additionally, subsets of features were tested to evaluate the contribution of different modalities. Results showed that ensemble methods and neural networks reached accuracies of up to 90%, confirming the feasibility of detecting mental health conditions with high reliability.

Beyond technical development, a market adoption strategy was devised to assess Souly’s potential real-world impact. The project includes a detailed analysis of regulatory, social, and economic factors, and outlines how Souly could be introduced into clinical, corporate, and educational environments in Spain and beyond.

In sum, this work combines advanced AI methods with social relevance, offering a blueprint for transforming digital behavior into actionable insights for early mental health screening.