Default configuration in Bayesian optimization priors

Abstract

La Optimización Bayesiana (BO) se ha convertido en un estándar para el ajuste de hiperparámetros de los modelos de Aprendizaje Automático debido a su eficiencia y eficacia para optimizar funciones caja negra costosas de evaluar. Si bien el enfoque habitual comienza con distribuciones a priori no informadas o con un muestreo uniforme sobre el espacio de hiperparámetros como hipótesis de la localización del óptimo, este estudio investiga si los hiperparámetros por defecto incluidos en las librerías populares de ML pueden actuar como distribuciones a priori informativas. Estos valores por defecto suelen considerarse puntos diseñados por expertos con un desempeño razonable, pero su papel en el proceso de optimización no ha sido examinado con rigor. A través de una extensa batería de experimentos en diversos modelos de aprendizaje automático, librerías de Optimización Bayesiana y conjuntos de datos, respaldada por análisis cuantitativos rigurosos y pruebas estadísticas, nuestros resultados demuestran que los hiperparámetros por defecto no ofrecen una guía significativa hacia las regiones óptimas del espacio de búsqueda. No proporcionan ventajas sustanciales ni en el rendimiento final ni en la velocidad de convergencia frente al muestreo aleatorio de una distribución uniforme. Concluimos que los expertos de aprendizaje automático no deberían confiar en los valores por defecto de las librerías cuando buscan un rendimiento óptimo. En su lugar, la Optimización Bayesiana ofrece un enfoque fundamentado y guiado que equilibra eficazmente la exploración y la explotación del espacio de hiperparámetros. Nuestros hallazgos evidencian el riesgo de asumir que los valores por defecto son suficientes y refuerzan la necesidad de estrategias de optimización robustas y conscientes de la incertidumbre. Los valores por defecto no son informativos; son convenientes, y la conveniencia no es un sustituto fiable del rendimiento

Bayesian Optimization (BO) has become a standard for hyperparameter tuning in Machine Learning due to its efficiency and performance in optimizing expensive-to-evaluate blackbox functions. While the standard approach typically begins with uninformed priors or uniform sampling over the hyperparameter space, this study investigates whether the default hyperparameters included in popular ML libraries can serve as informative priors. These defaults are often viewed as expert-designed points that offer reasonable performance, yet their role in optimization remains unexamined. Through extensive benchmarking across diverse models and datasets, supported by rigorous quantitative analysis and statistical testing, our results demonstrate that default hyperparameters do not provide meaningful guidance toward optimal regions in the search space. They offer no significant advantage in terms of final performance or convergence speed when compared to the baseline of uniform random sampling. We conclude that practitioners should avoid relying on defaults when seeking optimal performance. Instead, Bayesian Optimization provides a principled approach that balances exploration and exploitation effectively. Our findings highlight the risk of assuming defaults are enough and reinforce the need for robust, uncertainty-aware optimization strategies. Defaults are not informative; they are convenient, and convenience is not a reliable substitute for performance.