A Similarity Measure of Gaussian Process Predictive Distributions

Abstract

Algunos escenarios requieren el cálculo de una distribución predictiva de un nuevo valor evaluado en una función objetivo condicionada a observaciones previas. Estamos interesados ​​en utilizar un modelo que haga suposiciones válidas sobre la función objetivo cuyos valores estamos tratando de predecir. Algunas de estas suposiciones pueden ser la suavidad o la estacionariedad. Los procesos gaussianos (GP) son modelos probabilísticos que pueden interpretarse como distribuciones flexibles sobre funciones. Codifican las suposiciones a través de funciones de covarianza, haciendo hipótesis sobre nuevos datos a través de una distribución predictiva al ajustarse a observaciones antiguas. Podemos enfrentarnos al caso donde se utilizan varios GPs para modelar diferentes funciones objetivo. Los GP son modelos no paramétricos cuya complejidad es cúbica en el número de observaciones. Una medida que represente qué tan similar es una distribución predictiva de GP con respecto a otra sería útil para dejar de usar un GP cuando están modelando funciones del mismo espacio de entrada. Realmente estamos infiriendo que dos funciones objetivo están correlacionadas, por lo que un GP es suficiente para modelar ambas realizando una transformación de la predicción de la otra función en caso de correlación inversa. Mostramos evidencia empírica en un conjunto de experimentos sintéticos y de referencia de que las distribuciones predictivas de GP se pueden comparar y que una de ellas es suficiente para predecir dos funciones correlacionadas en el mismo espacio de entrada. Esta métrica de similitud podría ser extremadamente útil para descartar objetivos en la optimización bayesiana de muchos objetivos.

Some scenarios require the computation of a predictive distribution of a new value evaluated on an objective function conditioned on previous observations. We are interested on using a model that makes valid assumptions on the objective function whose values we are trying to predict. Some of these assumptions may be smoothness or stationarity. Gaussian process (GPs) are probabilistic models that can be interpreted as flexible distributions over functions. They encode the assumptions through covariance functions, making hypotheses about new data through a predictive distribution by being fitted to old observations. We can face the case where several GPs are used to model different objective functions. GPs are non-parametric models whose complexity is cubic on the number of observations. A measure that represents how similar is one GP predictive distribution with respect to another would be useful to stop using one GP when they are modelling functions of the same input space. We are really inferring that two objective functions are correlated, so one GP is enough to model both of them by performing a transformation of the prediction of the other function in case of inverse correlation. We show empirical evidence in a set of synthetic and benchmark experiments that GPs predictive distributions can be compared and that one of them is enough to predict two correlated functions in the same input space. This similarity metric could be extremely useful used to discard objectives in Bayesian many-objective optimization.