Desarrollo de casos de uso en Azure Databricks, Azure Devops, Azure Storage Accounts y Snowflake siguiendo un enfoque Data Mesh.

Abstract

Este trabajo aborda el desarrollo de un entorno técnico basado en Azure Databricks, Azure DevOps, Azure Storage Account y Snowflake, adoptando el enfoque Data Mesh para una gestión del dato más descentralizada, escalable y colaborativa. El proyecto se enmarca en una colaboración con SDG Group y Amadeus, centrado en la mejora del tratamiento de datos relacionados con la satisfacción del cliente.

Se ha diseñado e implementado un framework reutilizable que permite automatizar flujos de ingestión, transformación y migración de datos mediante una arquitectura basada en metadatos. Esta solución facilita el trabajo tanto de perfiles técnicos como no técnicos, asegurando la trazabilidad y la calidad del dato gracias a mecanismos de validación automática.

El uso de Azure DevOps para orquestar pipelines CI/CD, junto con Databricks para el procesamiento distribuido, ha permitido construir un sistema robusto y fácilmente adaptable a diferentes casos de uso. Snowflake actúa como destino final para el análisis de los datos, ofreciendo control de acceso avanzado y visibilidad total del proceso.

El proyecto no solo ha demostrado la viabilidad del enfoque Data Mesh en entornos reales, sino que también ha puesto de manifiesto la importancia de una correcta automatización, validación y gobernanza para el éxito de las soluciones basadas en datos.

This project focuses on the development of a technical environment built on Azure Databricks, Azure DevOps, Azure Storage Account, and Snowflake, following the Data Mesh paradigm to enable more decentralized, scalable, and collaborative data management. The initiative was developed in collaboration with SDG Group and Amadeus, targeting improvements in the handling of customer satisfaction data.

A reusable framework has been designed and implemented to automate ingestion, transformation, and data migration workflows through a metadata-driven architecture. This solution supports both technical and non-technical users, ensuring data quality and traceability through automatic validation mechanisms.

Leveraging Azure DevOps for CI/CD orchestration and Databricks for distributed data processing, the system provides a robust and adaptable foundation for diverse use cases. Snowflake serves as the final analytics layer, offering advanced access control and full traceability throughout the data lifecycle.

The project has successfully demonstrated the feasibility of the Data Mesh approach in real-world settings while emphasizing the critical role of automation, validation, and governance in modern data solutions.