Implementación de la Inteligencia Artificial para la Generación de Visuales Dinámicas en Conciertos de Música Electrónica

Abstract

ste Trabajo de Fin de Grado presenta el desarrollo de un sistema de software que combina inteligencia artificial y generación visual en tiempo real con el objetivo de automatizar la creación de visuales reactivas durante espectáculos musicales en directo. El proyecto integra modelos de Deep Learning, como redes neuronales convolucionales (CNN) y recurrentes (GRU), entrenados con fragmentos de audio para identificar eventos musicales relevantes —como cambios rítmicos, intensidad o drops— y traducirlos en estímulos visuales mediante el entorno TouchDesigner.

Se ha conseguido implementar un flujo completo que abarca desde el preprocesamiento del audio y la generación de espectrogramas de Mel, hasta la inferencia en tiempo real y la conexión con la herramienta visual. Este sistema permite ajustar en vivo parámetros visuales como el color, la intensidad o la forma en función de las predicciones del modelo, haciendo que las visuales evolucionen con la música.

El enfoque adoptado busca no solo una solución técnica eficaz, sino también un impacto práctico: democratizar el acceso a visuales personalizadas para artistas emergentes que no disponen de medios técnicos ni presupuestos elevados. El proyecto confirma que es viable automatizar este proceso de forma creativa y adaptable, abriendo la puerta a futuras mejoras como la ampliación del dataset, el perfeccionamiento de los modelos y una mayor sofisticación estética en la salida visual.

This Final Degree Project presents the development of an advanced software system that combines artificial intelligence and real-time visual generation with the goal of automating the creation of reactive visuals during live music performances. The project integrates Deep Learning models, such as Convolutional Neural Networks (CNN) and Gated Recurrent Units (GRU), trained on short audio segments to identify key musical events —such as rhythmic changes, intensity shifts, or drops— and translate them into visual triggers using the TouchDesigner platform.

A complete workflow has been successfully implemented, covering everything from audio preprocessing and Mel spectrogram generation to real-time inference and seamless integration with the visual environment. This allows the system to dynamically adjust visual parameters such as color, intensity, and shapes in sync with the music, resulting in visuals that evolve organically with each performance.

The project not only aims to provide a technically effective solution, but also seeks a practical and artistic impact: democratizing access to custom visuals for emerging artists who lack technical teams or large budgets. The results confirm that it is feasible to automate the process in a creative and adaptable way, offering a strong foundation for future improvements. These may include dataset expansion, model optimization, and more sophisticated visual aesthetics.

This work demonstrates the potential of AI to enrich live experiences and paves the way for new forms of audiovisual expression that are accessible, scalable, and artistically engaging.