Integración de la vertical de negocios ‘Mass Payments’ dentro del almacén de datos de Ebury

Abstract

Dentro de Ebury, la empresa en la que se enmarca este proyecto, la vertical de negocio «Ebury Mass Payments» (EMP) está experimentando un importante crecimiento de ingresos. La principal motivación de este proyecto es apoyar su crecimiento y maximizar su potencial. En concreto, el objetivo ha sido integrar EMP en una infraestructura robusta que permita una gestión de datos más centralizada y eficiente.

La solución se ha desarrollado dentro del almacén de datos de la compañía utilizando BigQuery de Google Cloud, una base de datos optimizada para manejar grandes volúmenes de datos con una arquitectura sin servidor, escalable y de alto rendimiento. La transformación de los datos se ha realizado mediante código SQL a través de la herramienta dbt, lo que ha facilitado enormemente la creación de modelos de datos, el control de dependencias y la ejecución de pruebas automatizadas para asegurar la calidad y consistencia de los datos transformados.

De este modo, los modelos diseñados pretenden servir de base para mejorar la capacidad de Ebury de generar información valiosa a partir de los datos de la AEM. A partir de estos modelos, el equipo de datos podrá crear modelos más sofisticados y específicos para cada ámbito, lo que permitirá a las partes interesadas tomar mejores decisiones.

Traducción realizada con la versión gratuita del traductor DeepL.com

Within Ebury, the company in which this project is framed, the ‘Ebury Mass Payments’ (EMP) business vertical is experiencing a significant revenue growth. The main motivation behind this project is to support its growth and maximize its potential. Specifically, the objective has been to integrate EMP into a robust infrastructure that allows for more centralized and efficient data management.

The solution has been developed within the company’s data warehouse using Google Cloud’s BigQuery, a database optimized for handling large volumes of data with a serverless, scalable and high-performance architecture. Data transformation was performed using SQL code through dbt tool, which greatly facilitated the creation of data models, dependency control, and the execution of automated tests to ensure the quality and consistency of the transformed data.

As such, the designed models aim to serve as the foundation for enhancing Ebury’s ability to generate valuable insights from EMP data. Based on these models, the data team will be able to create more sophisticated and domain specific models, leading to better decision-making by stakeholders.