Orientador: Sérgio Luiz Monteiro Salles Filho

Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Geociências

Resumo: A comunicação da ciência e tecnologia pra além dos limites acadêmicos não é um tema novo, mas continua a ser um desafio, em especial, acerca da avaliação do seu desempenho. A tecnologia possibilitou a abertura de canais dialógicos e a conversação nas redes digitais e sociais pode ser...

Resumo: A comunicação da ciência e tecnologia pra além dos limites acadêmicos não é um tema novo, mas continua a ser um desafio, em especial, acerca da avaliação do seu desempenho. A tecnologia possibilitou a abertura de canais dialógicos e a conversação nas redes digitais e sociais pode ser monitorada em tempo real. Temos a capacidade de atrair, envolver e engajar um público cada vez mais diversificado e buscar responder às demandas que apresentam. Trago para essa tese uma questão que interessa a comunicadores, cientistas, instituições e órgãos de fomento: como avaliar se as ações de comunicação empreendidas estão conduzindo ao alcance dos objetivos? Propomos um modelo para o monitoramento e avaliação de programas de Comunicação Pública da Ciência e Tecnologia (CPCT), no ambiente digital, a partir da abordagem da Teoria da Mudança (TM) e da seleção de indicadores. Como resultado da primeira parte da tese (capítulos 1 a 4), apresentamos um modelo conceitual a partir de tipos ideais de CPCT, além de um fluxograma que inclui diferentes conjuntos de indicadores para o monitoramento e avaliação do processo comunicativo. Na segunda parte (capítulo 5), apresentamos um perfil das universidades federais brasileiras com relação à CPCT, com ênfase na forma como fazem o monitoramento e a avaliação da interação com a sociedade. Analisamos a apreciação dos gestores das universidades acerca do conjunto de 26 indicadores propostos, com destaque para a percepção de sua relevância e grau de aplicação nas 51 instituições da amostra. 39,2% das universidades aplicam ao menos um indicador de cada um dos tipos propostos e 46,9% não aplicam nenhum indicador do tipo 3. Dos 26 indicadores, 10 apresentaram coeficientes de correlação significativos para a relação relevância e aplicação. Podemos inferir que apesar de julgar o indicador relevante, a aplicação, sobretudo nos tipos 2 e 3, é influenciada por outros fatores, sobretudo, relativos ao contexto e infraestrutura. Por meio de Regressão de Poisson, observamos variáveis que apresentaram efeito significativo na aplicação do indicador: tamanho das equipes de comunicação, ter a separação entre a CPCT e comunicação institucional; contar com um gestor de mídias sociais e dispor de um profissional com treinamento em monitoramento e avaliação da comunicação/engajamento. Os efeitos são ainda maiores nos tipos 2 e 3, cujos indicadores envolvem coletas com abordagens mais qualitativas e que exigem profissionais mais qualificados. No modelo estatístico multivariado, o número de professores na pós-graduação e a localização (capital ou interior) não mostraram ter efeito com significância estatística na aplicação dos indicadores. Quanto à percepção de barreiras para avaliar a efetividade da comunicação de C&T, os gestores da Comunicação das universidades federais brasileiras apontaram os seguintes fatores em ordem de importância: 1º) Custo de Implantação; 2º) Tempo de realização; 3º) Falta de experiência entre os profissionais da equipe; 4º) Ausência de diretriz interna para a avaliação; e 5º) Descrédito dos resultados

Abstract: The communication of science and technology beyond academic boundaries is not a new academic topic. However, it continues to be a challenge, especially in evaluating its performance. Technology makes it possible to open dialog channels and monitor conversations on digital and social...

Abstract: The communication of science and technology beyond academic boundaries is not a new academic topic. However, it continues to be a challenge, especially in evaluating its performance. Technology makes it possible to open dialog channels and monitor conversations on digital and social networks in real time. We can attract, involve, and engage an increasingly diverse audience and seek to respond to their demands. We bring to this thesis a question that interests communicators, scientists, institutions, and development agencies: How do we assess whether the communication actions lead to achieving objectives? We propose a model for monitoring and evaluating Science and Technology Public Communication (CPCT) programs in the digital environment based on the Theory of Change (TM) approach and the selection of indicators. As a result of the first part of the thesis (chapters 1 to 4), we present a conceptual model based on ideal types of CPCT and a flowchart that includes different sets of indicators for monitoring and evaluating the communicative process. In the second part (chapter 5), we present a profile of Brazilian federal universities concerning the CPCT, emphasizing how they monitor and evaluate their interaction with society. We analyzed the perceptions of university managers on the set of 26 indicators, highlighting the perception of its relevance and degree of application in the 51 institutions in the sample. 39.2% of universities apply at least one indicator of each proposed type, and 46.9% do not apply any type 3 indicator. Ten of the 26 indicators are significantly affected by the relationship between relevance and application. We can infer that despite judging the relevant indicator, especially in types 2 and 3, other factors influence the application, especially infrastructure, and context. Using Poisson Regression, we observed variables that had a significant effect on the application of the indicator: the size of communication teams; having a separation between CPCT and institutional communication; having a social media manager; and having a professional trained in monitoring and evaluating communication/engagement. The effects are even more significant in types 2 and 3, whose engagement indicators need a qualitative approach and more specialized professionals. In the multivariate statistical model, the number of professors in graduate school and location (capital or countryside) did not significantly affect applying indicators. Regarding the perception of barriers to evaluating the characteristics of S&T communication, Communication managers at Brazilian federal universities pointed out the following factors in order of importance: 1º) Implementation cost; 2º) Time of realization; 3º) Lack of experience among the team's professionals; 4º) Absence of internal guidelines for the evaluation; and 5º) Discredit the results