Resumo: Chatbots são softwares que simulam tarefas de conversação humana. Eles podem ser usados para diversos fins, incluindo atendimento ao cliente e conversas terapêuticas. Um desafio encontrado no desenvolvimento de chatbots é torná-los mais humanizados. Um chatbot pode ser humanizado quando realiza uma conversa fluida e agradável com o usuário, demonstrando empatia e personalidade. Outros aspectos são relevantes para a percepção de humanidade, como o visual da plataforma de conversação e a credibilidade passada pelo chatbot analisado pelo usuário. Esta proposta de mestrado visa estudar e desenvolver um método de avaliação que indique o nível de humanização de um chatbot em análise. Nosso método consiste em dois objetivos e questionários breves, que podem ser aplicados para estabelecer uma avaliação adaptável aos diferentes objetivos no uso de chatbots (comerciais ou terapêuticos, por exemplo). O primeiro questionário refere-se ao grau de relevância dos fatores de humanização para o funcionamento de um chatbot avaliado. Este questionário visa ponderar os fatores de acordo com os objetivos específicos do chatbot; o segundo questionário refere-se à eficácia do chatbot analisada quanto aos fatores de humanização. Combinamos esses dois questionários para gerar métricas de avaliação, que fornecem uma pontuação de humanização do software avaliado. Nossa proposta pode ajudar os designers a identificar fatores específicos que afetam a experiência dos usuários interagindo com chatbots Ver menos

Abstract: Chatbots are software that simulates human conversational tasks. They can be used for various purposes, including customer service and therapeutic conversations. A challenge encountered in developing chatbots is making them more humanized. A chatbot can be humanized when it performs a fluid and pleasant conversation with the user, demonstrating empathy and personality. Other aspects are relevant to the perception of humanity, such as the look of the conversation platform and the credibility passed by the chatbot analyzed to the user. This MSc Thesis aims to study and develop an evaluation method that indicates a chatbot's humanization level under analysis. Our method consists of two objectives and brief questionnaires, which can be applied to establish an assessment adaptable to the different objectives in using chatbots (commercial or therapeutic, for example). The first questionnaire refers to a degree of relevance regarding humanization factors for the functioning of an evaluated chatbot. This questionnaire aims to weigh the factors according to the chatbot's specific objectives; the second questionnaire refers to the chatbot effectiveness analyzed regarding the humanization factors. We combine these two questionnaires to generate assessment metrics, which provide a humanization score from the evaluated software. Our proposal helps designers identify specific factors affecting users' experience interacting with chatbots. We conducted a case study in applying our framework and reveled key findings regarding its applicability Ver menos