Orientador: Christian Rodolfo Esteve Rothenberg

Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação

Resumo: Com o recente aumento do tráfego de vídeo, garantir a Qualidade da Experiência (QoE) se torna um desafio. A crescente adoção de criptografia de ponta a ponta dificulta qualquer método de inspeção de carga útil para avaliações de QoE. Isso representa um obstáculo adicional para as operadoras...

Resumo: Com o recente aumento do tráfego de vídeo, garantir a Qualidade da Experiência (QoE) se torna um desafio. A crescente adoção de criptografia de ponta a ponta dificulta qualquer método de inspeção de carga útil para avaliações de QoE. Isso representa um obstáculo adicional para as operadoras de rede monitorarem a QoE de vídeo de um usuário, o que por si só é complicado devido ao comportamento adaptativo dos mecanismos Dynamic Adaptive Streaming over HTTP (DASH). Esta tese apresenta uma série de contribuições sobre este tema. Apresentamos uma estrutura de avaliação DASH QoE chamada EFFECTOR equipada com todos os recursos para avaliação experimental em casos de uso 4G e 5G. O EFFECTOR é reprodutível e aproveita conjuntos de dados 4G e 5G reais coletados na natureza para renderizar vários cenários de casos de uso. Além disso, esta tese propõe novas técnicas baseadas em aprendizado de máquina como abordagens leves e refinadas para estimar a QoE do usuário final para o serviço de vídeo DASH monitorando passivamente o tráfego de rede criptografado. Primeiro consideramos i) Packet Time e ii) Packet Size para derivar métricas de QoS que são altamente correlacionadas com a QoE do streaming de vídeo criptografado. Em seguida, propomos novas métricas baseadas na análise do Inter Packet Gap (IPG) na forma de janelas de tempo. As janelas de tempo são uma técnica para mapear QoE de recursos de QoS sem depender de estatísticas em nível de bloco, que são inviáveis em tráfego criptografado. Além disso, investigamos o desempenho do vídeo DASH sobre os protocolos de transporte tradicionais TCP (HTTPS) e QUIC. Para isso, avaliamos experimentalmente os rastreamentos de rede celular 5G em nosso ambiente de teste emulado de alta fidelidade comparando os KPIs de QoE de algoritmos de Adaptive Bitrate Streaming (ABS) de última geração sobre HTTPS e QUIC. Fornecemos Notebooks Jupyter Interativos com todos os conjuntos de dados produzidos durante a fase experimental deste trabalho para fins de pesquisa abertos e reproduzíveis. Por fim, realizamos um esforço notável de mais de 6 meses de coleta real de rastreamento 4G e 5G focada no desempenho de streaming do YouTube. A intuição por trás desse esforço é múltipla. Relacionados ao nosso trabalho no EFFECTOR, os rastreamentos fornecem recursos experimentais 4G e 5G realistas adicionais em vários cenários. Tornamos públicos os conjuntos de dados obtidos que consistem em um grande número de KPIs de QoE do YouTube e mais de 100 métricas de nível de canal (CLM) que abrem novas oportunidades de pesquisa. Concluímos encontrando o CLM correlacionado com os eventos de paralisação do YouTube e propomos uma técnica de aprendizado de máquina para prever KPIs de QoE (Stall) usando métricas derivadas do CLM

Abstract: With the recent rise of video traffic, ensuring Quality of Experience (QoE) becomes a challenge. The increasing adoption of end-to-end encryption hampers any payload inspection method for QoE assessments. This poses an additional obstacle for network operators to monitor the video QoE of a...

Abstract: With the recent rise of video traffic, ensuring Quality of Experience (QoE) becomes a challenge. The increasing adoption of end-to-end encryption hampers any payload inspection method for QoE assessments. This poses an additional obstacle for network operators to monitor the video QoE of a user, which by itself is tricky due to the adaptive behavior of Dynamic Adaptive Streaming over HTTP (DASH) mechanisms. This thesis presents a series of contributions on this topic. We present a DASH QoE Evaluation Framework named EFFECTOR equipped with all features for experimental evaluation in 4G and 5G use cases. EFFECTOR is reproducible and leverages real 4G and 5G datasets collected from a commercial network with multiple use case scenarios. Moreover, this thesis proposes novel machine learning based techniques as lightweight and fine-grained approaches to estimate the end-user QoE for DASH video service by passively monitoring the encrypted network traffic. We first consider i) Packet Time and ii) Packet Size to derive QoS metrics that are highly correlated to the QoE of encrypted video streaming. We then propose novel metrics based on Inter Packet Gap (IPG) analytics in the form of time windows. Time windows are a technique to map QoE from QoS features without relying on chunk-level statistics, which are unfeasible in encrypted traffic. Furthermore, we investigate the DASH video performance over traditional TCP (HTTPS) and QUIC transport protocols. For this purpose, we experimentally evaluate 5G cellular network traces in our high-fidelity emulated testbed environment comparing the QoE KPIs of state-of-the-art Adaptive Bitrate Streaming (ABS) algorithms over HTTPS and QUIC. We provide Interactive Jupyter Notebooks with all the datasets produced during the experimental phase of this work for open and reproducible research purposes. Finally, we run a notable endeavor of 6+ months of real 4G and 5G trace collection focused on YouTube streaming performance. The intuition behind this effort is multifold. Related to our work on EFFECTOR, the traces provide additional realistic 4G and 5G experimental capabilities under multiple scenarios. We turn public the obtained datasets consisting of a massive number of YouTube QoE KPIs and 100+ Channel Level Metrics (CLM) that unlock new research opportunities. We conclude by finding CLM relationship with YouTube stalling events and propose a machine learning technique to predict QoE KPIs (Stall) using metrics derived from CLM