PROYECTO DE MIGRACIÓN DE PROCESOS DE ENTORNO ON PREMISE CLOUDERA A CLOUD DATABRICKS Y APLICACIÓN.

Abstract

Este Trabajo de Fin de Máster se enmarca en un proyecto de migración tecnológica que consiste en trasladar procesos de tratamiento de datos desde un entorno on-premise basado en Cloudera hacia la plataforma en la nube Databricks, dentro del ecosistema Azure. El objetivo principal es la optimización tanto en el almacenamiento, como el procesamiento de tareas de transformación de datos en el área de riesgos y en la reducción de los costes que supone a la entidad financiera. La migración afecta a proyectos clave como IFRS9, DataVA y RORAC entre otros, cuya criticidad reside en su ejecución diaria en las oficinas, donde garantizan la integridad, seguridad y eficiencia del tratamiento de la información. Los procesos migrados son posteriormente consumidos por herramientas de Business Intelligence mediante modelos de datos alojados en un Data Warehouse (DWH) optimizado para análisis y consulta eficiente y consumido por aplicaciones internas utilizadas en las oficinas y por los propios analistas de la entidad financiera a través de diversos outputs generados.

This Master's Thesis is part of a technological migration project that consists of moving data processing processes from an on-premise environment based on Cloudera to the Databricks cloud platform, within the Azure ecosystem. The main objective is to optimise both the storage and processing of data transformation tasks in the risk area. The migration affects key projects such as IFRS9, DataVA and RORAC, among others, whose criticality lies in their daily execution in the offices, where they guarantee the integrity, security and efficiency of information processing. The migrated processes are subsequently consumed by Business Intelligence tools through data models housed in a Data Warehouse (DWH) optimised for efficient analysis and consultation and consumed by internal applications used in the branches and by the financial institution's own analysts through the various outputs generated.