Resumo: Esta tese investiga o problema de aprendizagem de dicionários para representação esparsa de sinais e suas aplicações em cenários do mundo real. O estudo começa apresentando algoritmos do estado-da-arte para aprendizado de dicionário esparsos, que visam minimizar o erro de representação e garantir a esparsidade por meio de variações de métodos de minimização alternada. Expandindo os métodos apresentados, introduz-se uma nova estrutura de formulação e resolução do problema, empregando um modelo de autoencoder. Essa abordagem utiliza a divergência de Kullback-Leibler como termo de penalização de esparsidade, substituindo as tradicionais normas $\ell_1$ e $\ell_0$ adotadas em métodos anteriores. As representações esparsas são obtidas a partir de arquiteturas de redes totalmente conectadas e convolucionais. A estrutura baseada em autoencoder substitui a abordagem clássica baseada na minimização alternada. Em vez de manter uma estimativa do dicionário fixa enquanto estima os coeficientes esparsos e posteriormente atualiza o dicionário com base nesses coeficientes, o modelo de autoencoder aprende efetivamente o dicionário e os coeficientes esparsos de forma simultânea. Isso é obtido a partir do treinamento do modelo de autoencoder, em que os dados de entrada são represetados a partir de códigos esparsos via encoder e, em seguida, reconstruídos a partir do decodificador do modelo, que representa o dicionário aprendido. Isso leva a um processo mais eficiente, flexível e otimizado. A estrutura proposta é explorada na modelagem de sinais e compressão de imagens, demonstrando sua competitividade e vantagens em relação a outras transformações de sinal a partir de bases fixas e predefinidas, como Wavelets e Fourier. O último segmento deste estudo introduz um ambiente de aprendizado de dicionário discriminativo que combina modelos de redes neurais de classificação na estrutura baseada em autoencoder. A otimização conjunta da representação esparsa e do classificador permite o aprendizado e aprimoramento simultâneos de ambos os componentes. Isso permite que os modelos se beneficiem mutuamente do processo de treinamento, resultando em melhor desempenho e representação mais efetiva dos dados. A estrutura discriminativa proposta é aplicada no contexto de sinais SSVEP de sistemas BCI Ver menos

Abstract: This dissertation investigates the dictionary learning problem in sparse signal representation and their applications across real-world scenarios. The study begins by presenting state-of-the-art algorithms for sparse dictionary learning, which aim to minimise representation error and ensure sparsity through different variations of alternating minimisation methods. Expanding on these methods, a proposed sparse dictionary learning framework is introduced, employing an autoencoder design. This approach utilises the Kullback-Leibler divergence as the sparsity penalty term, replacing the traditional adoption of $\ell_1$ and $\ell_0$ norms in previous methods. The sparse representations are obtained from both fully-connected and convolutional encoder architectures. The autoencoder-based framework is able to replace the classical approaches based on alternating minimisation. Rather than keeping an estimate of the dictionary fixed while estimating the sparse coefficients and subsequently updating the dictionary based on these coefficients, the autoencoder design effectively learns the dictionary and the sparse coefficients simultaneously. This is achieved by training the autoencoder in an end-to-end manner, where the input data is encoded into sparse codes, and then reconstructed to the original data source using the decoder part of the model, representing the learned dictionary. This leads to a more efficient, flexible, and streamlined process. The proposed framework is explored in signal modelling and image compression, demonstrating its competitiveness and advantages over other signal transforms with fixed, predefined bases such as Wavelets and Fourier. The final segment of this study introduces a discriminative dictionary learning setting that combines a classification neural network model and the autoencoder-based framework. The joint optimisation of the sparse representation and the classifier allows for simultaneous learning and refinement of both components. This enables the models to mutually benefit from each other's training process, leading to improved performance and more effective representation of the data. The proposed discriminative framework is applied in the context of SSVEP signals from BCI systems Ver menos