Please use this identifier to cite or link to this item: http://repositorio.unicamp.br/jspui/handle/REPOSIP/259079
Type: TESE
Title: Aprendizado por reforço em modelos probabilísticos de redes imunológicas para robótica autônoma
Title Alternative: Reinforcement learning in probabilistic models of immune networks for autonomous robotics
Author: Azzolini, Alisson Gusatti
Advisor: Von Zuben, Fernando José, 1968-
Zuben, Fernando José Von, 1968-
Abstract: Resumo: Há uma demanda crescente por soluções avançadas de navegação autônoma em robótica móvel. Apresenta-se então um sistema de síntese e aprendizagem de controladores com tal finalidade. Propõe-se um controlador probabilístico, consistindo no acoplamento de um processo de decisão de Markov parcialmente observável (POMDP) com um classificador logístico multinomial. A parametrização empregada para o POMDP inspira-se numa proposta anterior de controle de robô por meio de redes imunológicas artificiais, que mostrou apresentar flexibilidade e capacidade de representação de conhecimento na execução de tarefas desafiadoras de navegação autônoma. A aprendizagem dos parâmetros do classificador logístico é efetuada através de um algoritmo de aprendizagem por reforço baseado em gradiente de política, e os do POMDP, atráves de um algoritmo de maximização de verossimilhança. Três experimentos computacionais são efetuados, dois deles utilizando somente o classificador logístico, e o terceiro utilizando o acoplamento entre POMDP e classificador logístico. Os resultados permitem a constatação de pontos fortes e algumas deficiências das duas abordagens. O trabalho aponta também para uma potencial reinterpretação do controlador baseado em rede imunológica em termos de um modelo probabilístico similar ao proposto

Abstract: There is an increasing demand for advanced solutions in autonomous navigation of mobile robots. A system is presented for the synthesis and learning of controllers for such purpose. A probabilistic controller is proposed, consisting of the coupling of a partially observable Markov decision process (POMDP) with a multinomial logistic classifier. The parametrization used for the POMDP draws on an earlier proposal of robot control based on artificial immune networks, that has shown to present flexibility and knowledge representation capability in the execution of challenging autonomous navigation tasks. Learning the logistic classifier parameters is accomplished through a reinforcement learning algorithm based on policy gradient, while the POMDP parameters are learned by a likelihood maximization algorithm. Three computational experiments are performed, two of them using only the logistic classifier, and the third one using the coupling of a POMDP with a logistic classifier. The results show some strong points and drawbacks of both approaches. The work also points torwards a potential reinterpretation of the immune network based controller in terms of a probabilistic model similar to the one proposed
Subject: Aprendizado do computador
Sistemas inteligentes de controle
Robôs móveis
Sistemas de veículos auto-guiados
Language: Português
Editor: [s.n.]
Date Issue: 2011
Appears in Collections:FEEC - Tese e Dissertação

Files in This Item:
File SizeFormat 
Azzolini_AlissonGusatti_M.pdf3.48 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.