Ingesta de datos en un proyecto Big Data

Abstract

Este proyecto trata de la elaboración de un sistema de ingesta de datos para su posterior integración y procesamiento en una infraestructura Big Data. La ingesta de datos se realizará mediante tecnologías de captación de datos tales como el WebScrapping, el acceso a APIs en tiempo real u otros tipos de ingesta de datos multifuente.

La fuente principal de datos será el repositorio abierto proporcionado por el ayuntamiento de Madrid, focalizando los datos a complementar un set de trayectos recogidos durante varios meses de los años 2018 y 2019.

El resultado final del proyecto es una herramienta de ingesta de datos multifuente para nutrir de información un sistema de predicción de rutas y visualización de información relacionada con las rutas realizadas con bicicletas.

El enfoque a la seguridad del usuario en este proyecto determina la necesidad de adaptar datos relativos a accidentes, tráfico y polución, tanto en tiempo real como en diferido.

The project’s objective is the elaboration of a Data Acquisition System for a Big Data structure. The data will be ingested using technologies such as Web Scrapping, access to real-time APIs or other types of multi-source data ingestion.

The main source of data will be the open repository provided by the city of Madrid website, focusing the data to complement a set of journeys collected during several months of the years 2018 and 2019.

The final result of the project is a data intake tool for a route prediction system and the display of information related to bicycle travels.

The approach to the user safety in this project determines the need to adapt the data related to accidents, traffic and pollution, both in real time and in deferred time. The treatment given in this tool allows the use of this information.