Randomized Ensemble of Kolmogorov Arnold Networks

Abstract

En este trabajo se presenta una propuesta metodológica basada en la combinación de redes Kolmogorov–Arnold (KAN) con modelos de ensamble tipo Random Forest, con el objetivo de mejorar la capacidad de generalización en tareas de regresión. Las KANs, fundamentadas en el teorema de representación de funciones continuas de Kolmogorov–Arnold, permiten aproximar funciones complejas sin necesidad de capas profundas, utilizando funciones univariantes parametrizadas. Sin embargo, su sensibilidad al ruido y a los hiperparámetros motiva la exploración de soluciones híbridas. El modelo propuesto, denominado RFKAN, integra múltiples KANs en un esquema de ensamble que mejora la estabilidad de las predicciones. Se realiza una evaluación empírica con cinco conjuntos de datos reales, aplicando validación cruzada y pruebas estadísticas de significancia (t de Student) para comparar el rendimiento de RFKAN frente a KAN y otros modelos base. Los resultados muestran mejoras consistentes en términos de error cuadrático medio (RMSE), respaldando la viabilidad de la aproximación híbrida. Finalmente, se discute la aplicabilidad de esta metodología en entornos empresariales donde la precisión y la robustez del modelo son críticas.

This work presents a methodological proposal based on combining Kolmogorov–Arnold Networks (KANs) with Random Forest ensemble models to improve generalization performance in regression tasks. KANs, grounded in the Kolmogorov–Arnold representation theorem, approximate complex functions without relying on deep architectures, using parametrized univariate functions. However, their sensitivity to noise and hyperparameters motivates the exploration of hybrid solutions. The proposed model, named RFKAN, integrates multiple KANs into an ensemble framework to enhance prediction stability. An empirical evaluation is conducted using five real-world datasets, employing cross-validation and paired t-tests to compare RFKAN against standard KANs and other baseline models. The results demonstrate consistent improvements in root mean squared error (RMSE), supporting the effectiveness of the hybrid approach. Finally, the methodology’s applicability in business environments is discussed, particularly in scenarios where model accuracy and robustness are crucial.