Please use this identifier to cite or link to this item: http://repositorio.unicamp.br/jspui/handle/REPOSIP/360840
Type: DISSERTAÇÃO DIGITAL
Degree Level: Mestrado
Title: Selecting efficient virtual machines for training deep learning models on the cloud : Seleção de máquinas virtuais eficientes para o treinamento de modelos de aprendizado profundo na nuvem
Title Alternative: Seleção de máquinas virtuais eficientes para o treinamento de modelos de aprendizado profundo na nuvem
Author: Malta, Eva Maia, 1993-
Advisor: Borin, Edson, 1979-
Abstract: Resumo: Modelos de Aprendizado Profundo têm sido cada vez mais utilizados para a resolução de problemas complexos. Sua característica de análise hierárquica da informação permite a extração de relações complexas existentes em um conjunto de dados. No entanto, com o aumento da complexidade dos modelos e da quantidade de dados, o treinamento destes modelos tem exigido o uso de sistemas computacionais cada vez mais poderosos e com alto custo de aquisição. A Nuvem Computacional é um modelo de negócios que permite o acesso a diversos tipos de sistemas computacionais, incluindo sistemas de alto desempenho, mediante o pagamento pelo uso, sem que o usuário tenha que arcar com o custo de aquisição do equipamento. Contudo, escolher corretamente o sistema computacional mais adequado para o treinamento de um modelo de Aprendizado Profundo na nuvem é um desafio, pois a escolha deve levar em consideração fatores como tempo de execução e custo, por exemplo. Pensando nisso, este trabalho apresenta um estudo sobre o comportamento do treinamento de modelos de Aprendizado Profundo em máquinas virtuais com GPU na nuvem computacional. Neste estudo, nós observamos que a configuração do batch size afeta o tempo de treinamento do modelo e o número de épocas necessárias para que a acurácia do modelo estabilize. Além disso, observamos que os tempos de execução das iterações e dos processos de validação de cada época do treinamento são estáveis, com exceção da primeira iteração e da validação da primeira época. A partir destas observações, propusemos duas metodologias para identificar o tipo de máquina virtual mais adequada para treinar um dado modelo de Aprendizado Profundo na nuvem computacional. Por fim, validamos a acurácia das metodologias propostas com duas aplicações de Aprendizado Profundo distintas e mostramos que, em ambos os casos, as metodologias foram capazes de identificar o tipo de máquina virtual com menor custo e/ou mais rápida para realizar o treinamento.

Abstract: Deep Learning models are a popular tool to solve complex problems. Their analysis based on hierarchical analysis of information allows us to extract complex correlations among data. However, with the rise of models' complexity and amount of data, training these models is requiring powerful computational systems with high acquisition costs. Cloud Computing technology is a business model that allows us to access many computational systems, including high-performance systems, in a pay-per-use model, not requiring the user to pay for the equipment acquisition. Nevertheless, correctly choosing the appropriate computational system to train a Deep Learning model on the cloud is a challenge since the choice must consider variables like the execution time and cost. This work presents a behavior study of training Deep Learning models on virtual machines equipped with GPUs on the cloud. In this study, we observed that the batch size affects the training time and the necessary number of epochs to stabilize the model accuracy. We also observed that each epoch's iterations and validation times are stable, except for the first iteration and first epoch's validation. Based on these observations, we proposed two methodologies with low cost to identify the ideal virtual machine to train a Deep Learning model on cloud virtual machines. Finally, we validated the accuracy of the proposed methodologies with two Deep Learning applications, and we showed that, in both cases, the methods were capable of identifying the virtual machine types that provide the smallest cost and the shortest runtime to train the Deep Learning model.
Subject: Computação em nuvem
Aprendizado de máquina
Computação de alto desempenho
Language: Multilíngua
Editor: [s.n.]
Citation: MALTA, Eva Maia. Selecting efficient virtual machines for training deep learning models on the cloud : Seleção de máquinas virtuais eficientes para o treinamento de modelos de aprendizado profundo na nuvem . 2021. 1 recurso online ( 70 p.) Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação, Campinas, SP.
Date Issue: 2021
Appears in Collections:IC - Tese e Dissertação

Files in This Item:
File SizeFormat 
Malta_EvaMaia_M .pdf4.55 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.