Resumo: Uma solução eficiente para corrigir desvios na estimação da trajetória da câmera em sistemas de Mapeamento e Localização Simultânea Visual (Visual Simultaneous Localization and Mapping - Visual SLAM) é usar a Otimização do Grafo de Poses (Pose Graph Optimization - PGO) com submapas da cena gerados a partir de subconjuntos dos quadros do vídeo de entrada. Embora o PGO sozinho consiga oferecer alinhamento global consistente, ainda é necessário um estágio extra para alinhar os submapas de maneira pareada usando todas as suas superfícies tridimensionais, a fim de obter uma reconstrução ainda mais fina. No entanto, ainda é desafiador construir grafos de pose com fechamentos de loops adequados e realizar os alinhamentos pareados finais quando a cena, e conseqüentemente os submapas, apresentam alterações fotométricas ao longo dos quadros do vídeo. Para tentar resolver esse problema, adicionamos descritores densos aprendidos por uma Rede Neural Convolucional (Convolutional Neural Network - CNN) aos elementos das superfícies dos submapas para melhorar a robustez na detecção de fechamento de loops e no alinhamento pareado. Recentes trabalhos apontam que os descritores aprendidos capturam contexto para além de informações estruturais ou fotométricas dos descritores clássicos anteriormente usados, e assim, beneficiando a correspondência entre imagens em situações de variação de luminosidade. Outra vantagem de aplicar descritores densos de CNNs no Visual SLAM é uma potencial integração da localização e informações semânticas em sistemas robóticos que também realizam segmentação de objetos do ambiente. Os experimentos realizados demonstram as possíveis vantagens desses descritores, produzindo resultados equivalentes às técnicas padrões para Visual SLAM. Além disso, desenvolvemos um pacote de software para Visual SLAM para sensores RGB-D que inclui os descritores aprendidos de imagens como quaisquer outras propriedades das superfícies, como suas cores ou normais Ver menos

Abstract: An efficient solution to correct the tracking-drift problem in camera trajectory estimation in Visual Simultaneous Localization and Mapping (Visual SLAM) systems is to use Pose Graph Optimization (PGO) with generated scene submaps from subsets of the input video frames. While PGO alone can provide consistent global alignment, an extra stage is still needed to align submaps evenly using all of their three-dimensional surfaces for an even finer reconstruction. However, it is still challenging to construct pose graphs with proper loop closures and perform the final paired alignments when the scene, and hence the submaps, exhibit photometric changes across video frames. To try to solve this problem, we added dense descriptors learned by a Convolutional Neural Network (CNN) to submap surface elements to improve the robustness in detecting loop closure and paired alignment. Recent works show that learned descriptors capture context beyond structural or photometric information of the previosly used classical descriptors, thus improving the correspondence between images in situations of varying brightness Another advantage of applying dense CNN descriptors in Visual SLAM is a potential integration of location and semantic information in robotic systems that also perform segmentation of objects in the environment. The experiments carried out demonstrate the possible advantages of these descriptors, producing results equivalent to the standard techniques for Visual SLAM. In addition, we have developed a Visual SLAM software package for RGB-D sensors that includes the learned image descriptors as any other surface properties, such as their colors or normals Ver menos