Resumo: Redes de Capsulas, do inglês, Capsule Networks, ou apenas CapesNet, surgem como uma alternativa às redes convolucionais típicas, evitando camadas de pooling e melhorando a representação da orientação dos objetos na imagem. No entanto, sem as camadas tradicionais de pooling, essas redes não reduzem seu número de parâmetros em sua profundidade; além disso, o algoritmo de roteamento proposto para as CapesNet ainda não possuem implementação eficiente, tudo levando a um alto tempo de execução no treinamento quando comparado a redes convolucionais tradicionais. Abordando esse problema, propomos a Multi-lane Capsule Network (MLC) que utiliza de diferentes caminhos sem dependência de dados entre si, ou lanes, para calcular as dimensões da cápsula final da rede. A MLCN alcança resultados similares a CapsNet, enquanto mantém sua capacidade de representação da orientação dos objetos, mas com execução até 130% mais rápida em uma única GPU. Além disso, nós mostramos que ao organizar a CapesNet em Lanes, abrimos oportunidade para um fácil paralelismo, o qual exploramos neste trabalho trazendo soluções para a paralelização, alocação de recurso e geração automática de redes em cenários com lanes e hardwares heterogêneos. Nós atingimos melhorias de desempenho que chegam a 7.18x em cenários com 8 GPUs, melhorias de 2x quando utilizando do nosso mecanismo de alocação de recursos, e redes 18.6% melhores com nosso sistema de geração automática de redes Ver menos

Abstract: Capsule Networks (CapsNet) surges as an alternative to typical convolution networks, avoiding pooling and improving pose representation to face challenges such as the Picasso problem. However, without pooling, the network does not reduce its number of parameters as it goes deep, and the routing algorithm does not have efficient implementations, thus leading to poor training performance. To face that, we propose the Multi-lane Capsule Network (MLCN), a reorganization of the original CapsNet, that has data-independent lanes to calculate the final capsule dimensions. MLCN achieves similar results as CapsNet, still maintaining its pose representation property but achieving up to 130% faster training speed in single GPUs. Moreover, we show that the lane's organization opens the opportunity to easily model parallelism, which we explore and bring solutions to heterogeneous lane and hardware scenario scheduling, parallelization, and automatic network construction with computational resources aware Neural Architecture Search (NAS). We achieve speedups as high as 7.18x in 8 GPUs scenarios, 2x training with our scheduling solution for heterogeneous lanes, and find 18.6% better networks with our NAS approach Ver menos