BERTimbau [recurso eletrônico] : pretrained BERT models for Brazilian Portuguese = BERTimbau: modelos BERT pré-treinados para português brasileiro
Fábio Capuano de Souza
DISSERTAÇÃO
Inglês
T/UNICAMP So89b
[BERTimbau]
Campinas, SP : [s.n.], 2020.
1 recurso online (62 p.) : il., digital, arquivo PDF.
Orientador: Roberto de Alencar Lotufo, Rodrigo Frassetto Nogueira
Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação
Resumo: Os avanços recentes em representação de linguagem usando redes neurais e aprendizado profundo permitiram que os estados internos aprendidos por grandes modelos de linguagem (ML) pré-treinados fossem usados no tratamento de outras tarefas finais de processamento de linguagem natural (PLN)....
Ver mais
Resumo: Os avanços recentes em representação de linguagem usando redes neurais e aprendizado profundo permitiram que os estados internos aprendidos por grandes modelos de linguagem (ML) pré-treinados fossem usados no tratamento de outras tarefas finais de processamento de linguagem natural (PLN). Essa abordagem de transferência de aprendizado melhora a performance em diversas tarefas e é bastante benéfica quando há escassez de dados rotulados, fazendo com que MLs pré-treinados sejam recursos de grande utilidade, especialmente para línguas cujos conjuntos de dados de treinamento possuam poucos exemplos anotados. Nesse trabalho, nós treinamos modelos BERT (Bidirectional Encoder Representations from Transformers) para Português brasileiro, os quais apelidamos de BERTimbau. Nós avaliamos os modelos em três tarefas finais de PLN: similaridade semântica, inferência textual e reconhecimento de entidades nomeadas. Nossos modelos desempenham melhor do que o estado da arte em todas essas tarefas, superando o BERT multilíngue e confirmando a efetividade de grandes MLs para Português. Nós disponibilizamos nossos modelos para a comunidade de modo a promover boas bases de comparação para pesquisas futuras em PLN
Ver menos
Abstract: Recent advances in language representation using neural networks and deep learning have made it viable to transfer the learned internal states of large pretrained language models (LMs) to downstream natural language processing (NLP) tasks. This transfer learning approach improves the...
Ver mais
Abstract: Recent advances in language representation using neural networks and deep learning have made it viable to transfer the learned internal states of large pretrained language models (LMs) to downstream natural language processing (NLP) tasks. This transfer learning approach improves the overall performance on many tasks and is highly beneficial whenlabeled data is scarce, making pretrained LMs valuable resources specially for languages with few annotated training examples. In this work, we train BERT (Bidirectional Encoder Representations from Transformers) models for Brazilian Portuguese, which we nickname BERTimbau. We evaluate our models on three downstream NLP tasks: sentence textual similarity, recognizing textual entailment, and named entity recognition. Our models improve the state-of-the-art in all of these tasks, outperforming Multilingual BERT and confirming the effectiveness of large pretrained LMs for Portuguese. We release our models to the community hoping to provide strong baselines for future NLP research
Ver menos
Requisitos do sistema: Software para leitura de arquivo em PDF
Lotufo, Roberto de Alencar, 1955-
Orientador
Nogueira, Rodrigo Frassetto, 1986-
Coorientador
Soares, Anderson da Silva
Avaliador
Santos, Cícero Nogueira dos
Avaliador
BERTimbau [recurso eletrônico] : pretrained BERT models for Brazilian Portuguese = BERTimbau: modelos BERT pré-treinados para português brasileiro
Fábio Capuano de Souza
BERTimbau [recurso eletrônico] : pretrained BERT models for Brazilian Portuguese = BERTimbau: modelos BERT pré-treinados para português brasileiro
Fábio Capuano de Souza