GENERALIZATION OF CFR-RL

Abstract

Las redes definidas por software (SDN) han surgido como una arquitectura de red innovadora que separa el plano de control del plano de datos en los dispositivos de red. En esta arquitectura, un controlador centralizado actúa como el sistema operativo de la red, permitiendo un control y gestión eficientes de los recursos de red. El controlador tiene acceso a datos de red en tiempo real y puede instalar reglas de reenvío en los conmutadores bajo su control. Aunque las soluciones de enrutamiento existentes basadas en aprendizaje automático han demostrado un rendimiento casi óptimo, su eficacia se limita a las topologías de red específicas en las que fueron entrenadas. Este proyecto tiene como objetivo superar esta limitación mediante el diseño de un sistema de enrutamiento basado en aprendizaje por refuerzo profundo que puede optimizar el enrutamiento en diferentes topologías de redes SDN. El modelo propuesto se centra en la selección de flujos críticos dentro de la red y utiliza la resolución de problemas de programación lineal para tomar decisiones de enrutamiento óptimas. La evaluación experimental del modelo en diversas topologías de red, incluyendo aquellas en las que no fue entrenado, ha demostrado su capacidad para superar a los métodos basados en reglas.

Software-defined networking (SDN) has emerged as an innovative network architecture that separates the control plane from the data plane in network devices. In this architecture, a centralized controller acts as the network operating system, enabling efficient control and management of network resources. The controller has access to real-time network data and can install forwarding rules on switches under its control. While existing machine learning-based routing solutions have demonstrated near-optimal performance, their effectiveness is limited to the specific network topologies and traffic distribution that they were trained on. This project aims to overcome this limitation by designing a deep reinforcement learning-based routing system that can optimize routing across different SDN network topologies. The proposed model focuses on the selection of critical flows within the network and utilizes linear programming problem resolution to make optimal routing decisions. Experimental evaluation of the model on various network topologies, including those it was not trained on, has demonstrated its ability to outperform traditional rule-based methods. These results highlight the potential of deep reinforcement learning to enhance the performance and adaptability of routing in heterogeneous network environments. This project lays the foundation for future research on the application of reinforcement learning techniques in network optimization and opens up new possibilities for intelligent traffic management in SDN architectures.