Resumo: Há um interesse muito alto nos métodos de aprendizagem profunda (DL), eles ganharam um amplo reconhecimento na pesquisa experimental e têm mostrado excelentes resultados em um grande número de aplicações. Particularmente, cabe destaque às arquiteturas de DL desenvolvidas para executar a tarefa de classificação envolvendo métodos de otimização para treinamento, como os algoritmos de descida estocástica do gradiente (SGD) e backpropagation (BP). Os perceptrons morfológicos (MPs) podem ser definidos como redes neurais morfológicas feedforward (MNNs) projetadas para realizar classificação. Um neurônio de uma MNN usa uma operação de morfologia matemática (MM) para agregar entradas neurais. Como as operações de MM geralmente não são diferenciáveis e o SGD usa derivadas parciais (gradientes) para calcular as direções nas quais os parâmetros são atualizados, algumas modificações para treinar MPs via SGD foram desenvolvidas por alguns autores. As modificações visam calcular quais direções os parâmetros devem seguir para obter melhores superfícies de decisão. Nesse sentido, duas estratégias envolvidas nessa modificação são: o uso de funções de pulso suavizado e a inserção de valores zero (sem direção) onde as derivadas parciais não existem. Embora existam alguns modelos híbridos/morfológicos que fazem uso de algoritmos SGD modificados, houve menos estudos anteriores procurando por uma perspectiva híbrida de DL/morfología. Além disso, até onde sabemos, a hibridização entre MP e DL não foi uma questão central de nenhum estudo anterior. Os objetivos desta tese foram desenvolver uma maneira de descrever uma nova arquitetura híbrida DL/ morfológica envolvendo camadas tradicionais de DL e camadas morfológicas; e comparar experimentalmente os resultados subsequentes com outros classificadores existentes. Para esse fim, propomos uma extensão da estrutura dos MPs para aneis arquimedianos totalmente ordenados. Analisamos operações elementares de aneis arquimedianos totalmente ordenados em termos de MPs e estudamos essas operações em termos de ideias geométricas das arquiteturas de MP. Dois operadores, os descritores $\mathbb{I} $-set e os agregadores $ \mathbb{L} $ - fuzzy foram introduzidos. No processo, descobrimos uma unidade de computação diferenciável que pode ser usada para executar uma estratégia semelhante aos MPs tradicionais. Os resultados imediatos foram as relações entre as unidades de computação dos MPs e nossa unidade de computação proposta em relação às distâncias $ L_\infty $ e $ L_2 $, respectivamente. Isso nos levou ao desenvolvimento de uma arquitetura geral baseada em reticulados que pode ser treinada pela SGD e, além disso, levou ao desenvolvimento de camadas morfológicas, nas quais as funções \textit{forward pass} e \textit{backward pass} de BP podem ser implementadas. Aqui, três classes de modelos foram propostas: uma rede morfológica feedforward puramente baseada, na qual a nova camada morfológica é usada na fase final; e dois modelos feedforward híbridos DL/morfológicos. O primeiro modelo híbrido utiliza camadas lineares totalmente conectadas com ativação não linear como parte do DL. O outro utiliza camadas convolucionais com métodos de ativação não linear, downsampling, expansão de dados e regularização como parte do DL. Ambos os modelos híbridos utilizam camadas morfológicas para realizar a classificação. Consequentemente, o modelo híbrido, no qual a convolução está envolvida, é capaz de extrair características de estruturas espaciais, como imagens. Além disso, a fim de melhorar os resultados, uma revisão dos algoritmos SGD e técnicas conhecidas para melhorar os resultados da BP, como momento, taxa de aprendizado, funções de perda e mini-lotes, foi revisada. O conjunto de modelos híbridos/morfológicos foi validado experimentalmente. Os resultados e comparações de desempenho com outros classificadores sugerem uma capacidade de generalização de alto nível e algumas vantagens dessas novas abordagens. Esta tese oferece uma visão sobre novas classes de técnicas baseadas em reticulados que podem ser combinadas com modelos clásicos baseados em BP. Concluímos que a perspectiva da morfologia matemática pode desempenhar um papel importante no desenvolvimento de novas técnicas de DL Ver menos

Abstract: There is a very high interest in deep learning (DL) methods and they have gained a wide recognition as experimental research, and they have shown excellent results in a large number of applications. Particularly, DL architectures were designed to perform classification involving optimization methods for training, such as stochastic gradient descent (SGD) and backpropagation (BP) algorithms. Morphological perceptrons (MPs) can be defined as feedforward morphological neural networks (MNNs) designed to perform classification. A neuron of an MNN uses an operation of mathematical morphology (MM) in order to aggregate the neuronal input. Since operations of MM are usually not differentiable and SGD uses partial derivatives (gradients) to compute the directions in which the parameters are updated, some modifications to train MPs via SGD have been developed by some authors. The modifications are intended to compute which directions for parameter adjustment should be followed to achieve better decision surfaces. In this sense, two strategies involved in these modification are: the use of smoothed pulse functions and the insertion of zero values (no direction) whenever the partial derivatives do not exist. Although there exist some morphological/linear models that make use of modified SGD algorithms, there have been less previous studies from a hybrid morphological/linear based on a DL perspective. Moreover, to our knowledge, hybridization between MP and DL has not been a central issue of any previous study. The aims of this thesis were to develop a way to describe a novel DL/morphological hybrid architecture involving traditional DL layers and morphological layers; and to experimentally compare the subsequent results with other existent classifiers. To this end, we propose an extension of MPs framework to archimedean totally ordered rings. We analyzed elementary operations of archimedean totally ordered rings in terms of MPs and we studied these operations in terms of the geometrical ideas of MP architectures. Two operators, $\mathbb{I}$-set descriptors and $\mathbb{L}$-fuzzy aggregators were introduced. In the process, we discovered a differentiable unit of computation that can be used to perform a similar strategy of traditional MPs. Immediate results were the relations between MPs units of computation and our proposed unit of computation with respect to distances $L_\infty$ and $L_2$, respectively. Those relations led us to the development of a general lattice based architecture that can be trained by SGD and furthermore, it led to the development of morphological layers, in which forward and backward functions of BP can be implemented. Here, three classes of models were proposed: a purely based morphological feed forward network, in which the new morphological layer is used at the final stage; and two hybrid feed forward DL/morphological models. The first hybrid model makes use of linear fully connected layers with non-linear activation as the DL part. The other makes use of convolutional layers with non-linear activation, downsampling, data expansion and regularization methods as the DL part. Both hybrid models make use of morphological layers to perform classification. Consequently, the hybrid model, in which convolution is involved, is able to extract features from spatial structures, such as images. Moreover, in order to improve the results, a review on SGD algorithms and well known techniques to improve the results of BP such as momentum, learning factor, loss functions, mini-batches were reviewed. The set of hybrid/morphological models was experimentally validated. The results and comparisons of performance with other state of the art classifiers suggest a high-level capacity of generalization and some advantages of these novel approaches. This thesis offers an insight into new classes of lattice based techniques that can be hybridized with BP based models. We conclude that the mathematical morphology perspective can play an important role in the development of new DL techniques Ver menos