Please use this identifier to cite or link to this item: http://repositorio.unicamp.br/jspui/handle/REPOSIP/320884
Type: TESE DIGITAL
Degree Level: Doutorado
Title: Sistemas wearable baseados em métodos de visão computacional para auxiliar pessoas com deficiência visual
Title Alternative: Wearable systems based on computer video methods to aid the visually impaired people
Author: Britto Neto, Laurindo de Sousa, 1980-
Advisor: Goldenstein, Siome Klein, 1972-
Abstract: Resumo: Pessoas cegas ou com baixa visão sofrem inúmeras dificuldades na realização de atividades do cotidiano. Esforços têm sido despendidos para a concepção de sistemas assistivos que facilitem a realização de tarefas específicas por pessoas com deficiência visual. Em particular, o campo da Visão Computacional tem muito a contribuir. Nesta Tese de Doutorado, foi proposta uma abordagem de reconhecimento de face em tempo real, simples e eficiente, para o desenvolvimento de sistemas wearable com recursos hardware limitados, dentro do escopo de aplicações que visam auxiliar pessoas cegas e com baixa visão. A abordagem proposta foi testada e validada por meio do desenvolvimento de dois sistemas, que atuaram como estudos de caso desta pesquisa. Tais sistemas usaram como componentes principais de hardware o sensor Microsoft Kinect for Windows (Kinect) e o relógio inteligente Samsung Galaxy Gear (Gear). O sistema baseado no Kinect utiliza o sensor como um dispositivo wearable, executa detecção de face e usa coerência temporal juntamente com um procedimento biométrico simples para gerar um som associado com a pessoa identificada, virtualizado em sua posição 3D estimada. Da mesma forma, o sistema baseado no Gear realiza todo o procedimento de identificação de pessoas, com pequenas diferenças tecnológicas, mas sem estimar posição 3D. Experimentos de acurácia e desempenho foram realizados e comparados tanto com abordagens tradicionais como abordagens do estado-da-arte em reconhecimento de face. A validação usou uma nova base de dados de vídeos RGB-D coletados com o Kinect, denominada Unicamp Kinect Face Database, com 600 vídeos de 30 indivíduos, contendo variações de iluminação, planos de fundo e padrões de movimento, e que será disponibilizada publicamente. Outras bases de dados, existentes na literatura, também foram consideradas. O consumo de bateria foi estimado por meio de experimentos realizados usando o hardware do relógio inteligente. Os resultados mostraram que, em média, a abordagem proposta supera os métodos de reconhecimento de face tradicionais, mas exige muito menos recursos computacionais (memória, processamento e bateria) quando comparada com as técnicas existentes na literatura, considerando-a mais adequada para as restrições do hardware wearable e para aplicações de escopo limitado. Além disso, uma abordagem alternativa de reconhecimento de pessoas no escuro, baseada na abordagem original, foi proposta usando apenas os dados de profundidade providos pelo Kinect. Finalmente, foram conduzidos experimentos para avaliação da interação do usuário com os sistemas, tanto com usuários cegos e de baixa visão como com usuários vendados, a fim de encontrar problemas críticos, possibilidades de melhorias nos sistemas e as melhores formas para realização dos feedbacks de áudio. Tais experimentos mostraram resultados encorajadores

Abstract: Blind or low-vision people suffer many difficulties in performing daily activities. Efforts have been expended for design of assistive systems that facilitate the attainment of specific tasks for the visually impaired people. In particular, the field of Computer Vision has a lot to contribute. In this Ph.D. Thesis, we proposed a real-time face recognition approach, simple and efficient for the development of wearable systems with limited hardware resources, within the scope of applications that are designed to aid blind and low-vision people. The proposed approach has been tested and validated through the development of two systems, which acted as case studies of this research. Such systems used as main hardware components of the sensor Microsoft Kinect for Windows (Kinect) and the smartwatch Samsung Galaxy Gear (Gear). The Kinect-based system uses the sensor as a wearable device, performs face detection, and uses temporal coherence along with a simple biometric procedure to generate a sound associated with the identified person, virtualized at his/her estimated 3D location. Likewise, the Gear-based system performs all people identification procedure, with minor differences in technology, but without estimating the 3D location. Performance/Accuracy Experiments were performed and compared with both traditional and state-of-the-art face recognition approaches. The validation used a new dataset of RGB-D video data, collected with the Kinect, called Unicamp Kinect Face Database, with 600 videos of 30 people, containing variation of illumination, background and movement patterns, and that will be made publicly available. Experiments with other existing datasets in the literature were also considered. Battery consumption was estimated through experiments using the hardware of the smartwatch. The results show that our approach, on average, outperforms traditional face recognition methods while requiring much less computational resources (e.g., memory, processing power, and battery life) when compared to existing techniques in the literature, deeming it suitable for the wearable hardware constraints and the limited-scope applications. In addition, an alternative people recognition approach in the dark, based on the original approach, has been proposed using depth-only data from Kinect. Finally, experiments were conducted to evaluate the user's interaction with the systems both with blind and low-vision users as well as with blindfolded users to find critical problems, possible improvements in systems and the best ways to perform the audio feedback. These experiments have shown encouraging results
Subject: Visão por computador
Interação humano-máquina
Reconhecimento facial (Computação)
Acessibilidade
Deficientes visuais
Editor: [s.n.]
Date Issue: 2016
Appears in Collections:IC - Tese e Dissertação

Files in This Item:
File SizeFormat 
BrittoNeto_LaurindodeSousa_D.pdf10.52 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.