AutoKAN: El poder de las Kolmogorov Arnold Networks y la optimización Bayesiana.

Abstract

En los últimos años, las Kolmogorov-Arnold Networks (KANs) han surgido como una alternativa prometedora a las redes neuronales tradicionales, ofreciendo un enfoque más interpretable y potencialmente más eficiente para la aproximación de funciones. Sin embargo, ajustar las KANs sigue siendo un desafío complejo debido a su arquitectura única y a su sensibilidad a la configuración de hiperparámetros. Este proyecto propone AutoKAN, una clase personalizada en Python que combina KANs con optimización bayesiana para automatizar la búsqueda de configuraciones óptimas. Para evaluar su efectividad, AutoKAN se compara con tres modelos de referencia: una KAN por defecto, regresión lineal y random forest. Se aplica una metodología experimental estructurada utilizando tanto conjuntos de datos sintéticos como reales para tareas de regresión. Los resultados sugieren que, aunque AutoKAN tiene un rendimiento inferior en comparación con modelos más simples, este resultado se debe principalmente a limitaciones técnicas en el proceso de optimización y a la complejidad del espacio de hiperparámetros de las KAN. Estos hallazgos subrayan la importancia de diseñar estrategias de optimización personalizadas para arquitecturas de modelos novedosas y apuntan a posibles líneas de trabajo futuro.

In recent years, Kolmogorov-Arnold Networks (KANs) have emerged as a promising alternative to traditional neural networks, offering a more interpretable and potentially more efficient approach to function approximation. However, tuning KANs remains a complex challenge due to their unique architecture and sensitivity to hyperparameter configurations. This project proposes AutoKAN, a custom Python class that combines KANs with Bayesian optimization in order to automate the search for optimal configurations. To evaluate its effectiveness, AutoKAN is benchmarked against three baseline models: a default KAN, linear regression, and random forest. A structured experimental methodology is applied using both synthetic and real-world datasets for regression tasks. The results suggest that while AutoKAN underperforms in comparison to simpler models, this outcome is primarily due to technical limitations in the optimization process and the complexity of the KAN hyperparameter space. These findings highlight the importance of designing customized optimization strategies for novel model architectures and point toward potential directions for future work.