Multi-class Gaussian Process Classification with Noisy Inputs

Abstract

Es una práctica común en la comunidad de aprendizaje automático asumir que los datos observados están libres de ruido en los atributos de entrada. Sin embargo, los escenarios con ruido de entrada son comunes en problemas reales, ya que las mediciones nunca son perfectamente precisas. Si no se tiene en cuenta este ruido de entrada, se espera que un método de aprendizaje automático supervisado funcione de manera subóptima. En este artículo, nos enfocamos en problemas de clasificación de clases múltiples y usamos procesos gaussianos (GP) como clasificador subyacente. Motivados por un conjunto de datos provenientes del dominio de la astrofísica, planteamos la hipótesis de que los datos observados pueden contener ruido en las entradas. Por lo tanto, diseñamos varios clasificadores GP de clases múltiples que pueden tener en cuenta el ruido de entrada. Dichos clasificadores se pueden entrenar de manera eficiente usando inferencia variacional para aproximar la distribución posterior de las variables latentes del modelo. Además, en algunas situaciones, la cantidad de ruido se puede conocer de antemano. Si este es el caso, se puede introducir fácilmente en los métodos propuestos. Se espera que esta información previa conduzca a mejores resultados de desempeño. Hemos evaluado los métodos propuestos mediante la realización de varios experimentos, con datos sintéticos y reales. Estos incluyen varios conjuntos de datos del repositorio de la UCI, el conjunto de datos MNIST y un conjunto de datos provenientes de la astrofísica. Los resultados obtenidos muestran que, aunque el error de clasificación es similar en todos los métodos, la distribución predictiva de los métodos propuestos es mejor, en términos de la probabilidad logarítmica de la prueba, que la distribución predictiva de un clasificador basado en GP que ignora el ruido de entrada.

It is a common practice in the machine learning community to assume that the observed data are noise-free in the input attributes. Nevertheless, scenarios with input noise are common in real problems, as measurements are never perfectly accurate. If this input noise is not taken into account, a supervised machine learning method is expected to perform sub-optimally. In this paper, we focus on multi-class classification problems and use Gaussian processes (GPs) as the underlying classifier. Motivated by a data set coming from the astrophysics domain, we hypothesize that the observed data may contain noise in the inputs. Therefore, we devise several multi-class GP classifiers that can account for input noise. Such classifiers can be efficiently trained using variational inference to approximate the posterior distribution of the latent variables of the model. Moreover, in some situations, the amount of noise can be known before-hand. If this is the case, it can be readily introduced in the proposed methods. This prior information is expected to lead to better performance results. We have evaluated the proposed methods by carrying out several experiments, involving synthetic and real data. These include several data sets from the UCI repository, the MNIST data set and a data set coming from astrophysics. The results obtained show that, although the classification error is similar across methods, the predictive distribution of the proposed methods is better, in terms of the test log-likelihood, than the predictive distribution of a classifier based on GPs that ignores input noise.