Control de Calidad de la Información

Abstract

Este Trabajo Fin de Máster presenta el diseño e implementación de un sistema automatizado para el control de calidad de los datos en los procesos ETL de la empresa Redsys. En un entorno con millones de transacciones diarias, garantizar la calidad de los datos resulta esencial para asegurar la fiabilidad de la información y el correcto funcionamiento de los sistemas analíticos. El sistema desarrollado evalúa de forma modular varias dimensiones de calidad, como puntualidad, integridad y precisión, cada una orientada a controlar distintos aspectos del dato. Para su implementación se han utilizado tecnologías de procesamiento distribuido como Apache Spark, integradas con herramientas corporativas del ecosistema tecnológico de la empresa. Los resultados de las evaluaciones permiten generar alertas que facilitan la detección temprana de errores y la resolución de incidencias. Este enfoque automatizado, flexible y escalable mejora significativamente la supervisión de los procesos de carga y contribuye a reforzar la gobernanza del dato en entornos complejos.

This Final Project presents the design and implementation of an automated data quality control system for ETL processes within the company Redsys. In an environment where millions of transactions are processed daily, ensuring data quality is essential to maintain the reliability of information and the proper operation of analytical systems. The developed system evaluates multiple dimensions of data quality—such as timeliness, integrity, and accuracy—each focused on monitoring specific aspects of the data. The implementation relies on distributed processing technologies like Apache Spark, integrated with corporate tools already in use within the company’s technology stack. Evaluation results are used to trigger alerts that support early error detection and incident resolution. This automated, scalable, and flexible approach significantly enhances process monitoring and contributes to stronger data governance in complex operational environments.