Fair Machine Learning by means of multi-objective Bayesian optimization with constraints

Abstract

En este trabajo exploramos el uso de la Optimización Bayesiana Multiobjetivo para maximizar simultáneamente la precisión (accuracy) y la equidad (fairness) de un modelo de aprendizaje automático. Exploramos diferentes métricas de equidad, y decidimos utilizar la diferencia en la tasa de verdaderos positivos. Para implementar la Optimización Bayesiana, utilizamos la librería botorch, y utilizamos la función de adquisición Expected Hypervolume Improvement, entre otras. Realizamos experimentos para ajustar varios hiperparámetros: la tasa de aprendizaje (learning rate), el abandono (dropout) y el tamaño de las dos capas ocultas. Probamos este modelo en dos conjuntos de datos tomados del UC Irvine ML Repository: Censo de adultos y Crédito alemán. Demostramos que la Optimización Bayesiana obtiene mejores resultados en menos iteraciones que la búsqueda aleatoria.

In this dissertation, we explore the use of Multi-Objective Bayesian Optimization to simultaneously maximize the accuracy and fairness of a machine learning model. We explore different fairness metrics, and we decide to use the difference in true positive rate. To run the Bayesian Optimization, we use the "botorch" library, and we use the Expected Hypervolume Improvement acquisition function, among others. We run experiments to tune several hyperparameters: the learning rate, the dropout, and the size of two hidden layers. We test this model on two datasets taken from the UC Irvine ML Repository: Adult Census and German Credit. We prove that Bayesian Optimization obtains better results in less iterations than random guessing.