Irreplicabilidade na linguística experimental : causas, consequências e intervenções metodológicas
Rafael Luis Beraldo
TESE
Português
T/UNICAMP B45i
[rreplicability in experimental linguistics]
Campinas, SP : [s.n.], 2024.
1 recurso online (215 p.) : il., digital, arquivo PDF.
Orientadores: Pablo Picasso Feliciano de Faria, Mahayana Cristina Godoy
Tese (doutorado) - Universidade Estadual de Campinas (UNICAMP), Instituto de Estudos da Linguagem
Resumo: Este trabalho discute três replicações de experimentos da psicolinguística brasileira. Na primeira, realizada com dez vezes mais participantes, o efeito originalmente encontrado em uma tarefa de leitura autocadenciada com verbos meteorológicos não encontrou sustentação na replicação. Na...
Ver mais
Resumo: Este trabalho discute três replicações de experimentos da psicolinguística brasileira. Na primeira, realizada com dez vezes mais participantes, o efeito originalmente encontrado em uma tarefa de leitura autocadenciada com verbos meteorológicos não encontrou sustentação na replicação. Na segunda, realizada também com amostra em uma ordem de magnitude maior, os efeitos originalmente encontrados em uma tarefa de labirinto com expressões idiomáticas foram parcialmente replicados. Em ambos os casos, foram identificadas inadequações metodológicas na descrição e na análise estatística, bem como na interpretação desses resultados. Na terceira, desta vez realizada com dez vezes menos participantes, o efeito de antecipação encontrado em uma tarefa de leitura autocadenciada não foi observado. Adicionalmente, interpretamos como espúrio um efeito que surgiu na replicação, provavelmente como consequência da menor amostra. A despeito dessas constatações, nossos achados devem ser contextualizados como uma expressão da irreplicabilidade observada em diversas áreas da ciência. Para atingir esse objetivo, começamos com uma revisão das origens históricas e das causas factuais da chamada "Crise da Replicabilidade", ou seja, a suspeita de que muitos experimentos não são replicáveis. Pormenorizamos a literatura sobre o debate teórico acerca da irreplicabilidade e sobre a sua verificação empírica em projetos de larga escala. Durante esse período de reflexão meta-metodológica, ocorreu uma conscientização sobre como o desenho, a aplicação e a análise estatística dos experimentos, bem como o viés da publicação de resultados "positivos", implicam em achados que não podem ser replicados. Da mesma maneira, discutiremos os avanços feitos no sentido de mitigar esse problema e aumentar a qualidade da pesquisa. Veremos também como o debate progressivamente ganhou espaço na linguística descritiva e experimental. Em seguida, exploraremos a diferença entre reprodutibilidade e replicabilidade, termos que ainda carregam definições divergentes. Para os fins deste trabalho, replicar será compreendido como conduzir um experimento cujos resultados podem diagnosticar achados anteriores. Desse modo, optamos por replicações tão fiéis aos originais quanto possível. Após apresentar os estudos originais e cotejar seus resultados com os das replicações, tomamos os originais como exemplares dos desvios metodológicos abordados na revisão da literatura. Assim, argumentamos que as inadequações identificadas devem ser lidas não como deficiências individuais, mas sistêmicas. Recomendamos, por fim, melhores práticas para novos experimentos e para replicações que incluem a adoção (igualmente) sistemática do planejamento prévio do desenho experimental e da análise estatística pretendida, o pré-registro desse planejamento e o compartilhamento dos materiais experimentais, dos dados obtidos e detalhes da análise estatística
Ver menos
Abstract: This study examines three replications of Brazilian psycholinguistic experiments. In the first replication, conducted with ten times more participants, the effect originally observed in a self-paced reading task involving meteorological verbs failed to hold. In the second replication, also...
Ver mais
Abstract: This study examines three replications of Brazilian psycholinguistic experiments. In the first replication, conducted with ten times more participants, the effect originally observed in a self-paced reading task involving meteorological verbs failed to hold. In the second replication, also performed with a sample an order of magnitude larger, the effects initially reported in a maze task with idiomatic expressions were only partially replicated. In both cases, methodological inadequacies were identified in the original descriptions, statistical analyses, and interpretations of the results. The third replication, which involved ten times fewer participants, failed to observe the anticipatory effect found in a self-paced reading task. Additionally, an effect emerged in this replication that we interpret as spurious, likely stemming from the smaller sample size. Despite these observations, our findings should be contextualized within the broader framework of irreproducibility that pervades multiple scientific domains. To this end, we begin with a review of the historical origins and factual causes of the so-called "Replication Crisis," which refers to the supposition that many experiments are not replicable. We detail the literature on the theoretical debate surrounding irreproducibility and the empirical investigations of this phenomenon in large-scale projects. Throughout this period of meta-methodological reflection, a growing awareness has emerged regarding how the design, implementation, and statistical analysis of experiments, alongside the publication bias favoring "positive" results, lead to findings that cannot be replicated. Likewise, we will discuss advances made toward mitigating this problem and improving research quality. We will also explore how the debate has gradually gained traction in both descriptive and experimental linguistics. Next, we explore the distinction between reproducibility and replicability—terms that still bear diverging definitions. For the purposes of this work, replication is understood as the process of conducting an experiment whose results can either confirm or challenge previous findings. Consequently, we have opted for replications that remain as faithful to the originals as possible. After presenting the original studies and comparing their results with those from the replications, we treat the originals as exemplars of the methodological shortcomings addressed in the literature review. We thus argue that the inadequacies identified should not be seen as isolated failures but as systemic issues. Finally, we recommend best practices for conducting new experiments and replications, advocating for the (systematic) adoption of pre-experimental design planning and statistical analysis, pre-registration of this plan, and the sharing of experimental materials, collected data, and detailed statistical analysis procedures
Ver menos
Aberto
Faria, Pablo, 1978-
Orientador
Godoy, Mahayana Cristina, 1985-
Coorientador
Oushiro, Livia, 1980-
Avaliador
Lima, Juliane Venturelli Silva
Avaliador
Arantes, Pablo, 1978-
Avaliador
Sampaio, Thiago Oliveira da Motta, 1984-
Avaliador
Irreplicabilidade na linguística experimental : causas, consequências e intervenções metodológicas
Rafael Luis Beraldo
Irreplicabilidade na linguística experimental : causas, consequências e intervenções metodológicas
Rafael Luis Beraldo