Estudio de robustez de clasificadores frente a ataques dirigidos

Abstract

En este trabajo se estudia la robustez de clasificadores de imágenes ante ataques adversarios, centrándose específicamente en el caso extremo del One-Pixel Attack (OPA). Este tipo de ataque, basado en evolución diferencial, demuestra que la modificación de un solo píxel puede ser suficiente para cambiar drásticamente la predicción de una red neuronal convolucional (CNN), lo que plantea serias implicaciones de seguridad en aplicaciones críticas de la inteligencia artificial, como la medicina o la conducción autónoma.

La investigación se desarrolla en dos fases principales. En la primera, se replican los resultados del artículo original del OPA aplicándolo a modelos clásicos como AllConv, NiN y VGG16 sobre el conjunto de datos CIFAR-10. En la segunda, se exploran dos dimensiones clave que podrían afectar la vulnerabilidad de los modelos: (i) la precisión del clasificador y (ii) el tamaño del campo receptivo teórico (TRF) de las capas iniciales, que se modifica mediante kernels de convolución más grandes.

Los resultados muestran que mejorar la precisión del modelo no necesariamente compromete su robustez; de hecho, en ciertos casos, redes más precisas son también más resistentes a perturbaciones. Por el contrario, un aumento del TRF sin un análisis del campo efectivo real (ERF) puede incrementar la vulnerabilidad, desafiando la intuición inicial.

Este trabajo no solo replica un ataque relevante en el campo de la seguridad en aprendizaje profundo, sino que también proporciona evidencia experimental sobre cómo distintas características arquitectónicas afectan la robustez de los modelos, invitando a una evaluación más integral que la mera precisión.

This thesis explores the robustness of image classifiers against adversarial attacks, focusing specifically on the extreme case of the One-Pixel Attack (OPA). This type of attack, based on Differential Evolution, demonstrates that altering a single pixel can be enough to drastically change a convolutional neural network’s (CNN) prediction, raising serious security concerns for critical AI applications such as medicine or autonomous driving.

The research is divided into two main phases. First, we replicate the results from the original OPA paper, applying the attack to classical models such as AllConv, NiN, and VGG16 on the CIFAR-10 dataset. In the second phase, we explore two key dimensions that could influence model vulnerability: (i) classifier accuracy and (ii) the size of the theoretical receptive field (TRF) of the early convolutional layers, modified through larger kernel sizes.

The results reveal that increasing model accuracy does not necessarily compromise robustness. In fact, more accurate networks can, in some cases, be more resilient to perturbations. Conversely, increasing the TRF without considering the effective receptive field (ERF) can lead to greater vulnerability, challenging intuitive assumptions.

This work not only replicates a well-known adversarial attack but also provides experimental insights into how architectural choices affect model robustness, highlighting the importance of evaluating models beyond traditional accuracy metrics.