OFA² [recurso eletrônico] : A multi-objective perspective for the Once-for-All neural architecture search = OFA²: Uma perspectiva multiobjetivo para a busca de arquitetura neural "Once-for-All"
Rafael Claro Ito
DISSERTAÇÃO
Inglês
T/UNICAMP It6o
[OFA²]
Campinas, SP : [s.n.], 2023.
1 recurso online (81 p.) : il., digital, arquivo PDF.
Orientador: Fernando José Von Zuben
Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação
Resumo: Projetar e treinar uma rede neural profunda requer alguma competência do usuário e geralmente consome um certo tempo. A área de AutoML visa automatizar este processo e começou a ganhar atenção nos últimos anos. Especificamente, a subárea de Neural Architecture Search (NAS) tenta resolver o...
Ver mais
Resumo: Projetar e treinar uma rede neural profunda requer alguma competência do usuário e geralmente consome um certo tempo. A área de AutoML visa automatizar este processo e começou a ganhar atenção nos últimos anos. Especificamente, a subárea de Neural Architecture Search (NAS) tenta resolver o problema de projetar e fazer a busca de uma rede neural dado um problema específico. Neste contexto, o framework de NAS Once-for-All (OFA) abordou o problema de busca de arquiteturas eficientes para diferentes dispositivos com diversas restrições de recursos, desacoplando as etapas de treinamento e de busca. Isso significa que o custoso processo de treinamento de uma rede neural é feito apenas uma vez, sendo então possível realizar múltiplas buscas por sub-redes extraídas desta rede treinada de acordo com cada cenário de implantação. Neste trabalho uma nova estratégia de busca chamada OFA² é proposta, deixando a etapa de busca mais eficiente concebendo explicitamente a busca como um problema de otimização multiobjetivo. Uma fronteira de Pareto é então povoada com arquiteturas neurais eficientes e já treinadas, exibindo diferentes compromissos entre os objetivos conflitantes. Isso pode ser alcançado usando um algoritmo evolutivo multiobjetivo durante a etapa de busca, como NSGA-II ou SMS-EMOA. Em outras palavras, a rede neural é treinada uma vez, a busca por sub-redes considerando diferentes restrições de hardware também é feita uma única vez, e então o usuário pode escolher uma rede neural adequada de acordo com cada cenário de implantação. A combinação do OFA e um algoritmo para otimização multiobjetivo explícito abre a possibilidade de tomada de decisão a posteriori em NAS, dado que um conjunto de sub-redes eficientes e já treinadas que se aproximam da fronteira de Pareto são todas fornecidas de uma vez depois do estágio de busca. O código-fonte e o algoritmo de busca final podem ser encontrados em https://github.com/ito-rafael/once-for-all-2
Ver menos
Abstract: Designing and training a deep neural network requires some user expertise and is often time-consuming. The field of AutoML aims to automate this process and started gaining some attention in recent years. Specifically, the neural architecture search (NAS) subfield attempts to solve the...
Ver mais
Abstract: Designing and training a deep neural network requires some user expertise and is often time-consuming. The field of AutoML aims to automate this process and started gaining some attention in recent years. Specifically, the neural architecture search (NAS) subfield attempts to solve the problem of designing and searching a neural network given a specific problem. In this context, the Once-for-All (OFA) NAS framework addressed the problem of searching efficient architectures for different devices with various resource constraints by decoupling the training and the searching stages. This means that the costly process of training a neural network is done only once, and then it is possible to perform multiple searches for subnetworks extracted from this trained network according to each deployment scenario. In this work a new search strategy called OFA² is proposed, making the search stage more efficient by explicitly conceiving the search as a multi-objective optimization problem. A Pareto frontier is then populated with efficient, and already trained, neural architectures exhibiting distinct trade-offs among the conflicting objectives. This could be achieved by using an evolutionary algorithm during the search stage, such as NSGA-II and SMS-EMOA. In other words, the neural network is trained once, the searching for subnetworks considering different hardware constraints is also done one single time, and then the user can choose a suitable neural network according to each deployment scenario. The combination of OFA and an explicit algorithm for multi-objective optimization opens the possibility of a posteriori decision-making in NAS, given that a set of efficient and already trained subnetworks that approximate the Pareto frontier are all provided at once after the search stage. The source code and the final search algorithm are released at https://github.com/ito-rafael/once-for-all-2
Ver menos
Requisitos do sistema: Software para leitura de arquivo em PDF
OFA² [recurso eletrônico] : A multi-objective perspective for the Once-for-All neural architecture search = OFA²: Uma perspectiva multiobjetivo para a busca de arquitetura neural "Once-for-All"
Rafael Claro Ito
OFA² [recurso eletrônico] : A multi-objective perspective for the Once-for-All neural architecture search = OFA²: Uma perspectiva multiobjetivo para a busca de arquitetura neural "Once-for-All"
Rafael Claro Ito