Consulting a Group of Experts for Ensemble Deepfake Detection

Abstract

Los deepfakes representan una grave amenaza para la integridad de los sistemas financieros, los procesos políticos y la percepción de la realidad. En este trabajo, realizo un estudio de los enfoques más comunes para la detección de deepfakes, sus puntos fuertes y sus deficiencias. Posteriormente, propongo un nuevo marco para la colaboración de varios modelos de detección de última generación como un conjunto. Se presenta una visión general de la arquitectura, así como un análisis más detallado de los modelos base seleccionados. El modelo ensamble se entrena y valida sobre el popular benchmark FaceForensics++ y se prueba en los benchmarks CelebDF v1/v2 y DeepfakeDetection. Nuestros experimentos demuestran que, aunque no superan a los modelos individuales con mayor puntuación, tanto las estrategias de fusión de características como las de puntuación mejoran la generalización y la estabilidad en distintos dominios de conjuntos de datos.

Deepfakes present a serious threat to the integrity of financial systems, political processes, and one’s sense of reality as a whole. In this work, I conduct a survey of the most common approaches toward Deepfake detection, their strengths, and shortcomings. Subsequently, I propose a novel framework for the collaboration of several state‐of‐the‐art detection models as an ensemble. A general overview of the architecture is presented, as well as a more detailed analysis of the selected model backbones. The ensemble model is trained and validated on the popular Deepfake Detection benchmark FaceForensics++ and tested on CelebDF v1/v2 and DeepfakeDetection benchmarks. Our experiments show that, while not surpassing the highest scoring individual models, both feature and score‐level fusion strategies improve generalization and stability throughout distinct dataset domains.