Etiquetado de imágenes para desarrollo de un modelo de visión por computación aplicado al análisis de obras de arte

Abstract

Este Trabajo de Fin de Grado aborda la identificación automática de especies vegetales representadas en obras pictóricas mediante técnicas de visión por computador y aprendizaje profundo. El proyecto se sitúa en la intersección entre la Historia del Arte, la Botánica y la Inteligencia Artificial, y parte de una dificultad concreta: los modelos actuales de clasificación vegetal suelen estar entrenados con fotografías naturalistas, por lo que no se adaptan directamente a imágenes artísticas, donde las flores pueden aparecer estilizadas, idealizadas o integradas en composiciones complejas.

Para afrontar este problema, se construyó un conjunto de datos específico formado por recortes florales procedentes de obras pictóricas e ilustraciones botánicas de repositorios como el Museo del Prado, Curtis’s Botanical Magazine, Rijksmuseum y The Metropolitan Museum of Art. Estos recortes fueron seleccionados, normalizados taxonómicamente y organizados en una estructura jerárquica por familia, género y especie. Posteriormente, se aplicaron técnicas de preprocesamiento y aumento de datos, y se entrenaron distintos modelos preentrenados mediante transferencia de aprendizaje y fine-tuning.

Los resultados obtenidos muestran que el modelo PlantCLEF-DINOv2 ajustado mediante full fine-tuning alcanzó el mejor rendimiento global, con una accuracy Top-1 del 75%, una balanced accuracy de 0,7344 y un F1 macro de 0,6919 en el conjunto de test. El modelo reconoció mejor géneros visualmente distintivos, como tulipa, rhododendron, narcissus e iris, mientras que presentó más dificultades con géneros más variables o ambiguos, como rosa, anemone y dianthus. En definitiva, el trabajo demuestra la viabilidad de adaptar modelos preentrenados al análisis botánico de obras pictóricas, aunque persisten limitaciones relacionadas con el tamaño del dataset y el desbalance entre clases.

This Project addresses the automatic identification of plant species represented in pictorial artworks using computer vision and deep learning techniques. The project lies at the intersection of Art History, Botany and Artificial Intelligence, and is motivated by a specific challenge: most existing plant classification models are trained on natural photographic images, which makes their direct application to artistic images difficult. In artworks, flowers may appear stylized, idealized or embedded within complex visual compositions.

To address this problem, a specific dataset was built from floral crops extracted from pictorial artworks and botanical illustrations from repositories such as the Museo del Prado, Curtis’s Botanical Magazine, the Rijksmuseum and The Metropolitan Museum of Art. These crops were selected, taxonomically normalized and organized into a hierarchical structure by family, genus and species. Preprocessing and data augmentation techniques were then applied, and several pretrained models were trained using transfer learning and fine-tuning strategies.

The results show that PlantCLEF-DINOv2 adapted through full fine-tuning achieved the best overall performance, reaching a 75% Top-1 accuracy, a balanced accuracy of 0.7344 and a macro F1-score of 0.6919 on the test set. The model performed better on visually distinctive genera, such as tulipa, rhododendron, narcissus and iris, while it struggled more with visually variable or ambiguous genera, such as rosa, anemone and dianthus. Overall, the project demonstrates the feasibility of adapting pretrained vision models to the botanical analysis of pictorial artworks, while also identifying relevant limitations related to dataset size and class imbalance.