Resumo: Agentes robóticos complexos, capazes de operar e se adaptar autonomamente em ambientes projetados para humanos, são um objetivo de longo prazo na inteligência artificial. Esses ambientes são altamente desafiadores, com mudanças dinâmicas, interações intrincadas e múltiplas entradas sensoriais, o que desafia os métodos tradicionais de aprendizado. Embora o aprendizado supervisionado e o aprendizado por reforço tenham avançado, ainda enfrentam limitações, como a dependência de grandes volumes de dados rotulados ou de funções de recompensa projetadas manualmente. Além disso, agentes treinados de forma tradicional não conseguem evoluir autonomamente nesses ambientes e tendem a desenvolver políticas altamente especializadas, dificultando sua generalização e adaptação a novos cenários. Inspirados pela teoria de modelos de mundo, propomos o DreamerRL, um framework criado para treinar um robô humanoide complexo que, ao invés de aprender uma política de tarefa específica, busca aprender uma representação do mundo e seu funcionamento por meio da integração da personificação do agente com estruturas similares ao circuito neocortical humano e motivação intrínseca para o aprendizado da política. Para implementar estes elementos, nós utilizamos o robô humanóide NAO com sensores similares aos sentidos humanos, adotamos o aprendizado por reforço motivado por curiosidade e usamos redes neurais artificiais e vieses de esparsidade, modularidade e hierarquia inspirados na organização do neocórtex. Validamos nosso framework em um ambiente de manipulação de objetos, que exige exploração ativa, movimentos complexos e coordenados, e mostramos, por meio dos nossos resultados, que o DreamerRL permite a construção de representações internas flexíveis e adaptativas, promovendo um desenvolvimento autônomo do robô, sem depender de funções de recompensa complexas. Além disso, mostramos que o nosso framework facilita a adaptação do agente a novas tarefas, permitindo que as habilidades adquiridas sejam posteriormente transferidas e adaptadas para novas tarefas extrínsecas sem retreinamentos excessivos Ver menos

Abstract: Complex robotic agents capable of autonomously operating and adapting in environments designed for humans are a long-term goal in artificial intelligence. These environments are highly challenging, with dynamic changes, intricate interactions, and multiple sensory inputs, which challenge traditional learning methods. Although supervised learning and reinforcement learning have advanced, they still face limitations, such as reliance on large volumes of labeled data or manually designed reward functions. Moreover, traditionally trained agents fail to evolve autonomously in these environments and tend to develop highly specialized policies, making it difficult for them to generalize and adapt to new scenarios. Inspired by world model theory, we propose DreamerRL, a framework created to train a complex humanoid robot that, instead of learning a specific task policy, seeks to learn a representation of the world and its functioning through the integration of the agent's embodiment with structures similar to the human neocortical circuit and intrinsic motivation for policy learning. To implement these elements, we use the NAO humanoid robot with sensors similar to human senses, adopt curiosity-driven reinforcement learning, and use artificial neural networks and sparsity, modularity, and hierarchy biases inspired by the organization of the neocortex. We validate our framework in an object manipulation environment that requires active exploration and complex and coordinated movements. Our results demonstrate that DreamerRL enables the construction of flexible and adaptive internal representations, promoting the robot's autonomous development without relying on complex reward functions. Additionally, we show that our framework facilitates the agent's adaptation to new tasks, allowing the acquired skills to be later transferred and adapted to novel extrinsic tasks without excessive retraining Ver menos