Aplicación web para la gestión de procesos de ingesta de datos en entorno de BI/Big Data

Abstract

El proyecto desarrollado se llama Aplicación Web para la Gestión de Procesos de Ingesta de Datos en Entornos de Big Data. El primer paso en cualquier arquitectura Big Data es la Ingesta de datos, que consiste en introducir datos de diferentes fuentes, estructura o características dentro de otros sistemas de almacenamiento o procesamiento de datos. Lo que la aplicación desarrollada pretende es gestionar distintos procesos de ingesta de datos mediante la gestión de ficheros que, al ejecutarse, llevan a cabo el proceso de ingesta de datos en ellos definida. El proyecto desarrollado por lo tanto es una aplicación web que implementa un sistema de gestión (subida, ejecución y revisión) de ficheros ejecutables. Estos ficheros deben encontrarse organizados de alguna forma dentro de los proyectos a los que pertenezcan. Esto implica que a la gestión de los ficheros se le suma la de los directorios que los contengan, y a su vez los proyectos a los que pertenezcan (asociados a distintos entornos). Para llevar un control sobre las acciones y los permisos así como el acceso a la aplicación, también debe implementarse un sistema de gestión de usuarios y perfiles. El conjunto de tareas individuales se complementarán para cumplir con el objetivo final de la aplicación.

The developed project is called Web Application for the Management of Data Intake Processes in Big Data Environments. The first step in any Big Data architecture is Data Ingestion, which consists of introducing data from different sources, structure or characteristics into other data storage or processing systems. What the developed application intends is to manage different data ingestion processes by managing files that, when run, carry out the data ingestion process defined in them. The project developed is therefore a web application that implements a management system (upload, execution and review) of executable files. These files must be organized in some way within the projects to which they belong. This implies that the management of the files is added to that of the directories that contain them, and in turn the projects to which they belong (associated with different environments). To control actions and permissions as well as access to the application, a user and profile management system must also be implemented. The set of individual tasks will complement each other to meet the final objective of the application.