Arquitectura Big Data y Procesamiento enStreaming para el envío de alertas frente a condiciones meteorológicas adversas

Abstract

El presente Trabajo Fin de Máster (TFM) presenta el diseño e implementación de una arquitectura Big Data basada en microservicios para la monitorización en tiempo real de datos meteorológicos y la generación automática de alertas ante condiciones climáticas adversas. La motivación surge del creciente impacto de fenómenos meteorológicos extremos, tales como el acontecido con la DANA en Valencia este año pasado (2024), que evidenciado ciertas deficiencias en los sistemas actuales de alerta temprana.

El sistema propuesto utiliza tecnologías open source como Apache Kafka para el procesamiento en streaming, la API de OpenWeather para la recolección de datos meteorológicos, y Java con SMTP para la notificación de alertas personalizadas por correo electrónico. La arquitectura se compone de cuatro capas principales: fuente de datos, ingesta, procesamiento y notificación.

El resultado es una herramienta modular, escalable, contenerizada y facilmente des- plegable, capaz de detectar en tiempo real situaciones de riesgo meteorológico según umbrales de precipitación definidos y de notificar automáticamente a los usuarios registrados. Además, se plantean mejoras futuras como una interfaz de usuario, integración de múltiples fuentes de datos, almacenamiento histórico y alertas multicanal. Este sistema contribuye a aumentar la resiliencia de la población y mejorar la capacidad de reacción ante eventos climáticos extremos.

This Master’s Thesis presents the design and development of a Big Data architecture based on microservices to monitor weather data in real time and automatically send alerts in case of severe weather conditions. The motivation comes from the growing impact of extreme weather events, such as the DANA storm in Valencia, which revealed serious issues in current early warning systems.

The proposed system uses open-source technologies like Apache Kafka for real-time data processing, the OpenWeather API to gather weather information, and Java with SMTP to send personalized email alerts. The architecture is organized in four main layers: data acquisition, ingestion, processing, and notification.

The result is a modular, scalable, and easy-to-deploy tool that can detect risky weather situations in real time based on configurable thresholds and alert registered users automatically. Future improvements include a user interface, more data sources, historical data storage, and multi-channel alerts. This system helps communities respond better and faster to extreme weather events.