DEVELOPMENT OF DATA LAKES AND THEIR APPLICATION IN THE FINANCIAL SECTOR

Abstract

El objetivo de este trabajo de fin de máster es definir la arquitectura del modelo de datos basado en un data lake implementado en una entidad financiera, así como describir el proceso que un usuario del modelo de datos de la entidad financiera debe seguir para solicitar la ingestión de datos en el data lake de dicho modelo de datos y solicitar el acceso a datos ingeridos en dicho data lake. Para ello, este trabajo de fin de máster se dividirá en cinco partes. La primera parte explicara el concepto de Big Data. La segunda parte presentará Hadoop, sus componentes, así como algunos componentes de su ecosistema. La tercera parte explicará lo que es el Reglamento General de Protección de Datos, así como afecta a las empresas. La cuarta parte definirá el concepto de data lake, así como sus ventajas. Finalmente, la última parte de este trabajo de fin de máster definirá la arquitectura del modelo de datos basado en un data lake implementado en la entidad financiera, así como los procesos que deben seguir los usuarios de dicho modelo de datos para solicitar una ingestión de datos en el data lake dicho modelo de datos y solicitar el acceso a los datos ingeridos en dicho data lake.

The aim of this thesis is to define the architecture of the data model based on a data lake that is implemented in a financial entity as well as to describe the process a user of the financial entity’s data model should follow in order to request the ingestion of data in said data model’s data lake and to request the access to data ingested in said data lake. Therefore, this thesis will be divided into five parts. The first part of this thesis will explain the concept of Big Data. The second part will present Hadoop, its components as well as some components of its ecosystem. The third part will explain what the General Data Protection Regulation is and how it affects companies. The fourth part will define the concept of data lake as well as its advantages. Finally, the last part of this thesis will define the architecture of the data model based on a data lake that is implemented in the financial entity as well as the processes to be followed by the users of said data model to request an ingestion of data in the data model’s data lake and to request the access to data ingested in said data lake.