Please use this identifier to cite or link to this item: http://repositorio.unicamp.br/jspui/handle/REPOSIP/354084
Type: DISSERTAÇÃO DIGITAL
Degree Level: Mestrado
Title: Routing based on reinforcement learning for software-defined networking : Roteamento baseado em aprendizagem por reforço para redes definidas por software
Title Alternative: Roteamento baseado em aprendizagem por reforço para redes definidas por software
Author: Casas Velasco, Daniela Maria, 1994-
Advisor: Fonseca, Nelson Luis Saldanha da, 1961-
Abstract: Resumo: Em redes de comunicação, o roteamento determina o caminho seguido por pacotes de um nó origem a um nó destino. Nos protocolos de roteamento tradicionais na Internet, decisões sobre quais caminhos os pacotes devem seguir são baseados em um número limitado de informações e derivadas a partir da execução do cálculo do menor caminho (do inglês shortest path), o que pode levar a uma adaptação lenta frente à variabilidade do tráfego e ao suporte restrito dos requisitos de Qualidade de Serviço (Quality of Service - QoS) das aplicações. As Redes Definidas por Software (Software-Defined Networking - SDN) foram concebidas para favorecer à adoção inovação nos protocolos de redes. Algumas soluções evidenciaram a melhora dos protocolos de roteamento tradicionais, beneficiando-se dos recursos SDN, como programabilidade, visão global, controle centralizado logicamente e desacoplamento do controle de rede e encaminhamento de pacotes. No entanto, essas soluções não exploram totalmente o conhecimento sobre a operação da rede para realizar o roteamento de maneira inteligente. Outros trabalhos exploraram técnicas de Aprendizado de Máquina (Machine Learning - ML) tais como Redes Neurais, Regressão Logística e K-means em conjunto com SDN. No entanto, a aquisição de conjuntos de dados de treinamento, nesses trabalhos, são dependentes de informações disponíveis nos protocolos tradicionais de roteamento. Além disso, assume-se a forma distribuída de roteamento, que tende a gerar sobrecarga de sinalização. Esta tese introduz duas abordagens para roteamento em SDN chamadas RSIR e DRSIR. RSIR significa Reinforcement Learning e Software-Defined Networking Intelligent Routing, o qual adiciona um Plano de Conhecimento e define um algoritmo de roteamento baseado em Aprendizagem por Reforço (Reinforcement Learning - RL). O algoritmo de RSIR considera métricas de estado da rede para produzir roteamento inteligente que se adapta às mudanças dinâmicas de tráfego. O RSIR baseia-se na interação com o ambiente e na visão global e controle da rede, para proativamente computar e instalar rotas ótimas nos dispositivos de encaminhamento de fluxos de pacotes. O RSIR é apresentado em duas versões, RSIR-links e RSIR-paths, as quais empregam informações de estado de rede com métricas ao nível de links e caminhos. Propõe-se, também o DRSIR, uma versão estendida do RSIR baseada em Aprendizagem por Reforço Profundo (Deep Reinforcement Learning - DRL), que traz um aprimoramento do desempenho em termos de taxa de transferência, atraso e perda do link em relação às abordagens baseadas em RL. RSIR e DRSIR foram avaliados extensivamente por emulação usando matrizes de tráfego (reais e sintéticas). Os resultados mostram que nossas soluções superam os algoritmos de roteamento baseados em Dijkstra, em relação às métricas alongamento (stretch), perda e atraso de pacotes. Além disso, os resultados mostram a eficácia dos algoritmos em relação à vazão. Os resultados obtidos demonstram que RSIR e DRSIR são uma solução prática e viável para o roteamento em SDN

Abstract: In communication networks, routing determines the path followed by packets from a source node to a destination node. In traditional Internet routing protocols, routing decisions are based on limited information and derived from the calculation of shorted paths, which can lead to slow adaptation to traffic variability, and the restricted support of the Quality of Service (QoS) requirements of applications. Software-Defined Networking (SDN) was conceived to favor the adoption of innovation in network protocols. Some solutions have shown the improvement of traditional routing protocols, taking advantage of SDN resources, such as programmability, global view, logically centralized control, and decoupling of network control, and packet forwarding. However, these solutions do not fully exploit knowledge about network operation to perform routing intelligently. Other works have explored Machine Learning (ML) techniques, such as Neural Networks, Logistic Regression, and K-means in conjunction with SDN. However, the acquisition of training data sets, in these works, is dependent on the information available in traditional routing protocols. Also, the distributed form of routing is assumed, which tends to generate signaling overhead. This thesis introduces two approaches for routing in SDN called RSIR and DRSIR. RSIR stands for Reinforcement Learning and Software-Defined Networking Intelligent Routing, which adds a Knowledge Plane and defines a routing algorithm based on Reinforcement Learning (RL). The RSIR algorithm considers network state metrics to produce intelligent routing that adapts to dynamic traffic changes. RSIR is based on the interaction with the environment and the global view and control of the network, to proactively compute and install optimal routes on the packet flow routing devices. RSIR is presented in two versions, RSIR-links and RSIR-paths, which use network status information with metrics at the level of links and paths. DRSIR (Deep RSIR) is an extended version of RSIR based on Deep Reinforcement Learning, which improves performance in terms of link throughput, delay and loss rate, concerning RL-based approaches. RSIR and DRSIR were evaluated extensively by emulation using traffic matrices (real and synthetic). The results show that our solutions surpass the routing algorithms based on Dijkstra, concerning the metrics stretching (stretch), packet loss, and delay. Furthermore, the results show the effectiveness of the algorithms regarding the throughput. The results obtained demonstrate that RSIR and DRSIR are a practical and viable solution for routing in SDN
Subject: Aprendizagem por reforço
Roteamento (Administração de redes de computadores)
Redes definidas por software (Tecnologia de rede de computadores)
Redes definidas por conhecimento (Tecnologia de rede de informação)
Language: Inglês
Editor: [s.n.]
Citation: CASAS VELASCO, Daniela Maria. Routing based on reinforcement learning for software-defined networking: Roteamento baseado em aprendizagem por reforço para redes definidas por software. 2020. 1 recurso online (94 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP. Disponível em: http://www.repositorio.unicamp.br/handle/REPOSIP/354084. Acesso em: 15 Jan. 2021.
Date Issue: 2020
Appears in Collections:IC - Tese e Dissertação

Files in This Item:
File SizeFormat 
CasasVelasco_DanielaMaria_M.pdf3.89 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.