Orientador: José Mario De Martino

Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação

Resumo: Na disseminação de informação na Língua de Sinais Brasileira (Libras), muitas vezes, são utilizados vídeos de sinalizações realizadas por surdos e intérpretes. Contudo, esse tipo de abordagem apresenta, muitas vezes, problemas na recuperação e apresentação de vídeos em tempo real. Uma...

Resumo: Na disseminação de informação na Língua de Sinais Brasileira (Libras), muitas vezes, são utilizados vídeos de sinalizações realizadas por surdos e intérpretes. Contudo, esse tipo de abordagem apresenta, muitas vezes, problemas na recuperação e apresentação de vídeos em tempo real. Uma alternativa utilizada e que vem ganhando a atenção nos últimos anos é o desenvolvimento de avatares tridimensionais sinalizantes em sistemas de tradução. Contudo, apesar da vantagem dessa tecnologia assistiva, ainda existem críticas quanto a apresentação de parâmetros não-manuais, em particular as expressões faciais nos avatares sinalizantes atuais.O foco deste trabalho é a modelagem e síntese de expressões faciais da Libras para avatares tridimensionais sinalizantes desenvolvidos em estilo realista. Como resultado final, foi desenvolvida uma metodologia para a criação de animações faciais para serem incorporadas à avatares sinalizantes. Os trechos das expressões que compõem a animação facial, foram criados a partir de um processo de captura de movimentos faciais baseado em marcadores e para isso foram desenvolvidas abordagens específicas para a criação de layouts otimizados de marcadores faciais e de mapeamento dos dados capturados ao rosto do avatar. Foi criado e gravado também, um corpus de sinalizações com 270 sentenças nas modalidades afirmativa, interrogativa total e interrogativa parcial. As análises das anotações deste corpus apontaram as expressões faciais relacionadas as modalidades sinalizadas e serviu como base para o desenvolvimento de regras para a criação da animação facial final. As expressões faciais obtidas através de captura de movimentos são inseridas na animação final de acordo com os dados de entrada, com informações sobre a sentença a ser sinalizada, e as regras criadas. A aplicação dessa metodologia permite a criação e incorporação de animações faciais realistas para acompanhar as animações corporais e manuais em avatares sinalizantes

Abstract: In the dissemination of information in the Brazilian sign language (Libras), videos of signings made by deaf people and interpreters are often used. However, this type of approach has disadvantages such as the lack of dynamism in the presentation of videos. A commonly used alternative that...

Abstract: In the dissemination of information in the Brazilian sign language (Libras), videos of signings made by deaf people and interpreters are often used. However, this type of approach has disadvantages such as the lack of dynamism in the presentation of videos. A commonly used alternative that has been gaining attention in recent years is the development of three-dimensional signing avatars in translation systems. However, despite the advantage of this assistive technology, there are still criticisms regarding the deficiency in the presentation of non-manual parameters, in particular the facial expressions in current signing avatars. The focus of this work is the modeling and synthesis of Libras facial expressions for three-dimensional signing avatars developed in a realistic style. As a final objective, a methodology for creating facial animations to be incorporated into signing avatars was developed. The excerpts of the expressions that make up the facial animation were created from a process of facial motion capture based on markers, and for this, specific approaches were developed for the creation of optimized layouts of facial markers and mapping the captured data to the avatar's face. A corpus of signals with 270 sentences in the affirmative and interrogative modalities. The analysis of the annotations of this corpus pointed out the facial expressions related to the signaled modalities and served as a basis for the development of rules for the creation of the final facial animation. The facial expressions obtained through motion capture are inserted into the final animation according to the input data, with information about the sentence to be signaled, and the rules created. The application of this methodology allows the creation and incorporation of realistic facial animations to accompany the body and manual animations in signaling avatars

Requisitos do sistema: Software para leitura de arquivo em PDF