Aplicación de técnicas de Machine Learning para la eliminación de información sensible

Abstract

Este trabajo de investigación pretende aplicar técnicas basadas en modelos de regresión lineal y regresión logística para evaluar modelos entrenados partir de datos reales (por medio de Python). Tras el entrenamiento, los objetivos son determinar el impacto que tienen las técnicas de eliminación de información en el proceso de predicción, así como estudiar técnicas que permitan eliminar información sensible implícita en las variables que lo constituyen. En el trabajo se utiliza un conjunto de datos público que hace referencia a información obtenida por el gobierno de Estados Unidos sobre la vivienda en el área de Boston. Estos datos contienen información implícita y explícita sobre la proporción de personas de raza negra por ciudad y del porcentaje de personas de estatus inferior, variables que se han considerado sensibles. Tras aplicar técnicas de medida de equidad en los modelos, se ha determinado que el modelo discrimina por las variables mencionadas. Por ello, se han entrenado dos modelos adicionales utilizando técnicas de reducción de unfairness. El primer modelo ha sido entrenado tras eliminar las variables sensibles del conjunto de datos y se ha concluido que no es suficiente para lograr un modelo que no discrimina debido a la existencia de información sensible implícita en otras variables. Para el segundo modelo se ha utilizado un conjunto de datos transformado por el Método de Gram-Schmidt. Se ha conseguido un modelo más equitativo que los dos anteriores, a costa de una pérdida en la capacidad predictiva.

This research project aims to apply techniques based on linear regression and logistic regression models to evaluate models trained on real data using python. After training, the objectives are to determine the predictive capability of the model and study techniques that allow for the removal of implicit sensitive information in the variables that compose it. The study utilizes a public dataset obtained by the United States government regarding housing in the Boston area. These data contain implicit and explicit information about the proportion of black individuals per city and the percentage of individuals with lower socioeconomic status. These variables have been deemed sensitive. It has been determined through fairness measurement techniques in the models that the model discriminates based on the sensitive variables. Therefore, two additional models have been trained using unfairness reduction techniques. The first model was trained after removing the sensitive variables from the dataset, and it has been concluded that it is not sufficient to achieve a non-discriminatory model due to the existence of implicit sensitive information in other variables. For the second model, a dataset transformed by the Gram-Schmidt method has been used. A more equitable model has been achieved compared to the previous two, at the cost of a loss in predictive capability.