Traffic engineering in data center networks based on software-defined networking and machine learning [recurso eletrônico] = Engenharia de tráfego em redes de centros de dados com base em redes definidas por software e aprendizagem de máquinas
Carlos Felipe Estrada Solano
TESE
Inglês
T/UNICAMP Es88t
[Engenharia de tráfego em redes de centros de dados com base em redes definidas por software e aprendizagem de máquinas]
Campinas, SP : [s.n.], 2022.
1 recurso online (295 p.) : il., digital, arquivo PDF.
Orientador: Nelson Luis Saldanha da Fonseca
Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação
Resumo: As Redes de Centros de Dados (DCN) representam a infraestrutura principal para a execução de aplicativos e serviços baseados na Internet que exigem recursos colossais de computação e memória. No entanto, o mecanismo de roteamento multipath mais prevalente em DCNs, Equal Cost Multiple-Path...
Ver mais
Resumo: As Redes de Centros de Dados (DCN) representam a infraestrutura principal para a execução de aplicativos e serviços baseados na Internet que exigem recursos colossais de computação e memória. No entanto, o mecanismo de roteamento multipath mais prevalente em DCNs, Equal Cost Multiple-Path (ECMP), pode degradar o desempenho desses aplicativos e serviços quando usar baixa capacidade de rede devido às características de tráfego de fluxos em DCNs (ratos e elefantes). Novas abordagens de roteamento multicaminho resolvem esse problema aproveitando as Redes Definidas por Software (SDN) para detectar e reprogramar os elefantes. Algumas abordagens também incorporaram técnicas de Aprendizagem de Máquina (ML) para melhorar a detecção de elefantes e prever suas características do tráfego. No entanto, o roteamento multicaminho baseado em SDN ainda requer encontrar o melhor balance entre detecção oportuna de elefantes, sobrecarga de tráfego, precisão da coleta de dados e modificações de rede. Além disso, algoritmos de roteamento multicaminho baseados em SDN exigem características de tráfego de granularidade mais finas para melhorar as decisões de reprogramação. Esta tese propõe um mecanismo de roteamento multicaminho que aproveita SDN e ML para melhorar a função de roteamento em DCNs. Três componentes principais formam o mecanismo proposto. Primeiro, um método de detecção de fluxo, chamado Aprendiz e Analisador de Elefantes de Rede (NELLY), incorpora aprendizagem incremental no lado do servidor de DCNs baseadas em SDN (SDDCN) para identificar com precisão e oportunamente elefantes, gerando baixa sobrecarga de tráfego e permitindo a adaptação contínua do modelo sob recursos limitados. Em segundo lugar, o algoritmo de roteamento Multicaminho baseado em Pseudo-MAC (PM2) suporta migração transparente de hosts em toda a rede enquanto reduz o número de regras instaladas em switches, diminuindo o atraso introduzido nos fluxos (principalmente ratos) que atravessam a SDDCN. Terceiro, um método de reprogramação de fluxo no lado do controlador, chamado Reprogramador Inteligente de Elefantes Identificados (iRIDE), melhora a taxa de transferência da rede e o tempo de conclusão do tráfego usando aprendizagem incremental profundo para prever a taxa e a duração dos elefantes e instalar o melhor caminho pela rede. Os resultados mostram que o NELLY alcança alta precisão com um curto tempo de classificação ao usar algoritmos de árvores de decisão adaptativos. Além disso, o NELLY reduz a sobrecarga de tráfego, o tempo de detecção de elefantes e a ocupação das tabelas dos switches em comparação com outros métodos de detecção de fluxo baseados em ML. Por outro lado, o PM2 instala muito menos regras do que outros algoritmos de roteamento multicaminho que suportam migração transparente de hosts em uma grande área de rede (diferente do mesmo switch). Finalmente, o iRIDE alcança um baixo erro de previsão da taxa e da duração do fluxo ao usar redes neurais profundas com regularização e dropout. Além disso, o iRIDE permite algoritmos inteligentes de reprogramação de elefantes que usam eficientemente a largura de banda disponível, gerando maior taxa de transferência e menor tempo de conclusão do tráfego do que o ECMP convencional
Ver menos
Abstract: Data Centers Networks (DCN) represent the critical infrastructure for running Internet-based applications and services that demand colossal computing and storage resources. However, the most prevalent multipath routing mechanism in DCNs, Equal Cost Multiple-Path (ECMP), may degrade the...
Ver mais
Abstract: Data Centers Networks (DCN) represent the critical infrastructure for running Internet-based applications and services that demand colossal computing and storage resources. However, the most prevalent multipath routing mechanism in DCNs, Equal Cost Multiple-Path (ECMP), may degrade the performance of these applications and services while using low network capacity due to the traffic characteristics of flows in DCNs (mice and elephants). Novel multipath routing approaches tackle this problem by leveraging Software-Defined Networking (SDN) for detecting and rescheduling the elephant flows. Some SDN-based approaches have also incorporated Machine Learning (ML) techniques to improve elephant detection and predict elephant traffic characteristics. However, SDN-based multipath routing still requires finding the best trade-off between prompt elephant detection, traffic overhead, data collection accuracy, and network modifications. Moreover, SDN-based multipath routing algorithms call for finer granularity traffic characteristics of elephant flows for improving rescheduling decisions. This thesis proposes a multipath routing mechanism that leverages both SDN and ML to improve the routing function in DCNs. Three major components form the proposed multipath routing mechanism. First, a flow detection method, called Network Elephant Learner and anaLYzer (NELLY), incorporates incremental learning at the server-side of SDN-based DCNs (SDDCN) to accurately and timely identify elephant flows at low traffic overhead while enabling continuous model adaptation under limited memory resources. Second, a Pseudo-MAC-based Multipath (PM2) routing algorithm supports transparent host migration across the whole network while reducing the number of rules installed on SDN switches, decreasing the delay introduced to flows (mainly mice) traversing the SDDCN. Third, a flow rescheduling method at the controller-side of SDDCNs, called intelligent Rescheduler of IDentified Elephants (iRIDE), improves network throughput and traffic completion time by using deep incremental learning to predict the rate and duration of elephants for computing and installing the best path across the network. Results show that NELLY achieves high accuracy with a short classification time when using adaptive decision trees algorithms. Moreover, NELLY reduces traffic overhead, elephant detection time, and switch table occupancy compared to other ML-based flow detection methods. On the other hand, PM2 installs much fewer rules than other multipath routing algorithms that support transparent host migration across a large network area (other than the same switch). Finally, iRIDE achieves a low prediction error of the flow rate and flow duration when using deep neural networks with regularization and dropout layers. Moreover, iRIDE enables intelligent elephant rescheduling algorithms that efficiently use the available bandwidth, generating higher throughput and shorter traffic completion time than conventional ECMP
Ver menos
Fonseca, Nelson Luis Saldanha da, 1961-
Orientador
Caicedo Rendón, Oscar Mauricio
Avaliador
Campo Muñoz, Wilmar Yesid
Avaliador
Nobre, Jéferson Campos
Avaliador
Madeira, Edmundo Roberto Mauro, 1958-
Avaliador
Traffic engineering in data center networks based on software-defined networking and machine learning [recurso eletrônico] = Engenharia de tráfego em redes de centros de dados com base em redes definidas por software e aprendizagem de máquinas
Carlos Felipe Estrada Solano
Traffic engineering in data center networks based on software-defined networking and machine learning [recurso eletrônico] = Engenharia de tráfego em redes de centros de dados com base em redes definidas por software e aprendizagem de máquinas
Carlos Felipe Estrada Solano