Design of small CNN via synthetic images and filter extraction

Abstract

A pesar de su éxito en los últimos años, las Redes Neuronales Convolucionales (CNN) presentan importantes desafíos, entre ellos el elevado coste computacional, los largos tiempos de entrenamiento y una fuerte dependencia de grandes conjuntos de datos. Este proyecto presenta una metodología “bottom-up” para diseñar redes neuronales convolucionales eficientes utilizando conjuntos de imágenes sintéticas de figuras geométricas. Al aplicar transformaciones básicas —escalado, rotación y traslación— a un dataset sintéticamente generado, es posible extraer filtros especializados e identificar configuraciones clave de hiperparámetros. Este conocimiento permite una inicialización inteligente de los modelos, reduciendo tanto el coste computacional como el tiempo de entrenamiento, sin sacrificar precisión. El uso de técnicas de “transfer learning” aplicadas a filtros mejora el rendimiento y la estabilidad del modelo en escenarios más complejos. El enfoque propuesto es generalizable y especialmente adecuado para entornos con recursos limitados, contribuyendo al desarrollo de sistemas de visión artificial más interpretables, sostenibles y escalables.

Despite their success during the last years, CNNs present significant challenges, including high computational requirements, extensive training times and a dependency on large datasets. This thesis presents a bottom-up methodology for designing compact and efficient Convolutional Neural Networks (CNNs) using synthetic image datasets of geometric shapes. By applying basic transformations—scaling, rotation and translation—to synthetic-generated data, it becomes possible to extract specialized filters and identify key hyperparameter configurations. This knowledge enables intelligent model initialization, reducing both computational cost and training time while maintaining high accuracy. The use of filter-transfer learning further improves model performance and stability in more complex scenarios. The proposed approach is generalizable and well-suited for resource-constrained environments, contributing to the development of more interpretable, sustainable, and scalable computer vision systems.