Towards Automatic Bayesian Optimization: A First Step Involving Acquisition Functions

Abstract

La Optimización Bayesiana (BO) es la técnica de vanguardia para la optimización de cajas negras, es decir, funciones donde no tenemos acceso a su expresión analítica ni a sus gradientes, son costosas de evaluar y su evaluación es ruidosa. Una aplicación BO es un ajuste automático de hiperparámetros de algoritmos de aprendizaje automático. Las metodologías BO tienen hiperparámetros que deben configurarse, como el modelo sustituto o la función de adquisición (AF). Las malas decisiones sobre la configuración de estos hiperparámetros implican la obtención de malos resultados. Normalmente, estos hiperparámetros se ajustan haciendo suposiciones de la función objetivo que queremos evaluar, pero hay escenarios en los que no tenemos ninguna información previa. En este artículo, proponemos un intento de BO automático mediante la exploración de varias heurísticas que sintonizan automáticamente el BO AF. Ilustramos la efectividad de estas heurísticas en un conjunto de problemas de referencia y un problema de ajuste de hiperparámetros.

Bayesian Optimization (BO) is the state of the art technique for the optimization of black boxes, i.e., functions where we do not have access to their analytical expression nor its gradients, are expensive to evaluate and its evaluation is noisy. A BO application is automatic hyperparameter tuning of machine learning algorithms. BO methodologies have hyperparameters that need to be configured such as the surrogate model or the acquisition function (AF). Bad decisions over the configuration of these hyperparameters implies obtaining bad results. Typically, these hyperparameters are tuned by making assumptions of the objective function that we want to evaluate but there are scenarios where we do not have any prior information. In this paper, we propose an attempt of automatic BO by exploring several heuristics that automatically tune the BO AF. We illustrate the effectiveness of these heurisitcs in a set of benchmark problems and a hyperparameter tuning problem.