Análisis y optimización de un proceso end-to-end

Abstract

Los objetivos principales de este trabajo de fin de máster son analizar en profundidad y optimizar un flujo de trabajo end-to-end. En este contexto, el flujo de trabajo es un proceso en el que se transforma y carga un conjunto de datos pertenecientes a un cliente de SDG Group España. De hecho, el cliente es una empresa de gran consumo, y los datos que intervienen tienen relación con la participación física de sus productos en el canal de alimentación. Este proyecto surge de la necesidad de mejorar un proceso que, desde un principio, no se había diseñado e implementado de la manera más óptima. Consecuentemente, el tiempo de ejecución del proceso era bastante elevado, además de que la forma del diseño del flujo de trabajo resultaba poco eficiente. Es por ello que la optimización del proyecto se basa en reducir el tiempo de ejecución y simplificar la estructura del flujo de trabajo. A través del uso de Common Table Expressions (CTEs), y entendiendo bien la lógica de la tabla final que se desea conseguir, se han logrado alcanzar los objetivos establecidos. De este modo, se ha conseguido reducir el tiempo de ejecución del flujo de trabajo en un 80,34%. Aparte, se ha conseguido reducir significativamente la complejidad del flujo de trabajo, ofreciendo un 68,97% menos de consultas SQL en el flujo de trabajo optimizado, comparado con el flujo de trabajo definido originalmente. Es más, todo lo anterior se ha conseguido obteniendo una tabla final consistente, bien estructurada y con el formato que desea el cliente.

The primary objectives of this master’s thesis are to thoroughly analyze and optimize an end-to-end workflow. In this context, the workflow involves transforming and loading a dataset belonging to a client of SDG Group Spain. Specifically, the client is a large consumer goods company, and the data pertains to the physical presence of its products in the food channel. This project arose from the need to improve a process that, from the beginning, had not been designed and implemented in the most optimal way. Consequently, the process execution time was quite high, and the workflow design was inefficient. Therefore, the optimization of the project focuses on reducing execution time and simplifying the workflow structure. By using Common Table Expressions (CTEs) and thoroughly understanding the logic of the desired final table, the set objectives were achieved. The workflow execution time was reduced by 80.34%, and the complexity of the workflow was significantly decreased, with 68.97% fewer SQL queries in the optimized workflow compared to the original one. Moreover, all these improvements were achieved while delivering a consistent, well-structured final table in the format desired by the client.