Orientador: Anderson de Rezende Rocha

Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Computação

Resumo: Com os avanços tecnológicos e o acesso a informações em tempo real, identificar a veracidade do conteúdo consumido tem motivado o desenvolvimento de pesquisas relacionadas a uma nova classe de problemas, conhecidas como notícias falsas. Estendendo essa evolução a diferentes tipos de...

Resumo: Com os avanços tecnológicos e o acesso a informações em tempo real, identificar a veracidade do conteúdo consumido tem motivado o desenvolvimento de pesquisas relacionadas a uma nova classe de problemas, conhecidas como notícias falsas. Estendendo essa evolução a diferentes tipos de representações de conteúdo, encontramos uma das mais preocupantes técnicas que vem sendo utilizada: as DeepFakes. Nesta técnica, imagens ou vídeos são artificialmente manipulados a fim de alterar a identidade do interlocutor principal, por meio da troca de face entre duas pessoas. Para isto, são aplicadas técnicas de aprendizado profundo clássicas, além de novas arquiteturas que minimizam o tempo e a quantidade de dados necessários para produzir conteúdos sintéticos/falsos com alto grau de realismo. Analisando essa crescente problemática e os impactos sociais decorrentes em áreas políticas, de entretenimento. Desenvolvemos este projeto, que visa analisar como as técnicas de aprendizado de máquina e aprendizado profundo podem auxiliar na detecção das DeepFakes. No decorrer deste trabalho, analisamos algumas das principais bases de dados disponíveis, além de desenvolvermos a nossa própria base, composta de vídeos falsos de conteúdo sensível envolvendo apenas mulheres, principal publico alvo de DeepFakes para entretenimento adulto. Avaliamos o comportamento de técnicas tradicionais de aprendizado profundo para a tarefa de classificação entre imagens com e sem manipulações faciais, assim como, a influência de características específicas das imagens e o impacto na qualidade do modelo de detecção gerado. A partir das análises iniciais realizadas, desenvolvemos o nosso método base, em que realizamos o ajuste fino das camadas finais da rede, adaptando-a para a tarefa de classificação binária. Avaliamos a performance deste método, o aplicando a diferentes bases de dados, com as quais obtivemos classificações satisfatórios para quase todas as bases. Em seguida, e com o intuito de aumentar a eficiência da classificação, empregamos três métodos: aumentação de dados,espaços transformados de entrada e função de perda tripla. Para avaliar a robustez dos melhores modelos desenvolvidos, realizamos um teste cego, em que nossos modelos foram submetidos a cenários desconhecidos. Com isso, identificamos que um dos nossos mo-delos, conseguiu ser generalizar e, decidimos comparar nossos resultados com os obtidos pela literatura. Selecionamos os trabalhos mais utilizados para a detecção de DeepFakes e avaliamos o desempenho dos modelos disponibilizados para cada método, diante de um cenário desconhecido e concluímos que o método que propomos foi superior à literatura.

Abstract: With technological advances and access to information in real-time, identifying the veracity of the content consumed has motivated the development of research related to anew class of problems known as fake news. Extending this evolution to different types of content representations, one...

Abstract: With technological advances and access to information in real-time, identifying the veracity of the content consumed has motivated the development of research related to anew class of problems known as fake news. Extending this evolution to different types of content representations, one of the most worrying techniques already in use is called DeepFakes. In this technique, images or videos are artificially manipulated to change the identity of the main interlocutor by exchanging faces between two people. For this fake news, classical deep learning techniques are applied, in addition to the development of new architectures that minimize the time and the amount of data provided for synthetic/fake content. Analyzing this growing problem and the social impacts arising in political and entertainment areas, we developed this project, in which we investigates how machine and deep learning techniques can assist in the task of DeepFakes detection. In the course of our work, we analyzed some of the main databases available for this problem, in addition to developing our own database, composed of fake content videos involving only women, the main target audience of DeepFakes for adult entertainment. We evaluated the behavior of traditional deep learning techniques for classifying between images with and without facial manipulations, as well as the influence of specific characteristics of the images and the impact on the quality of the generated detection model. From these analyzes, we developed our base method, in which we fine-tune the final layers of a network, adapting it for the binary classification task. We evaluated this method’s performance, applying it to different databases, and we obtained satisfactory detection rate for almost all databases. Then, to increase the classification’s efficiency, we employed three methods: data augmentation, transformed input spaces, and triplet loss function. To assess the robustness of the best models developed, we carried out a blind test, in which our models were applied in unknown scenarios. Thus we identified that one of our models managed to generalize, and we decided to compare our results with those from the literature. We selected the most used works for DeepFakes detection and evaluated their performances in the face of an unknown scenario. We concluded that the method we proposed was superior to the literature.

Requisitos do sistema: Software para leitura de arquivo em PDF