Utilização de um LLM local com RAG para auxiliar a fase de extração de dados de uma revisão sistemática da literatura
Resumo
Revisão Sistemática da Literatura (RSL) é uma metodologia de pesquisa que segue protocolos específicos, muito utilizada em trabalhos acadêmicos para resumir e sintetizar evidências sobre um determinado tópico de estudo, havendo um crescimento de sua aplicação na área de Engenharia de Software. Porém, sua condução é trabalhosa, exigindo muito tempo e recursos humanos. Com os avanços recentes da Inteligência Artificial, ferramentas como os Large Language Models (LLMs), Generative Pre-trained Transformer (GPT), por exemplo, e Retrieval-Augmented Generation (RAG), oferecem oportunidades para diminuir o esforço manual na condução dessas revisões. Este estudo tem como objetivo investigar se a utilização de um LLM local com RAG pode auxiliar na fase de extração de dados de uma revisão sistemática. Para isso, foi utilizado o modelo Llama 3.2 na extração de dados de um estudo de mapeamento sistemático contendo 22 artigos de RSL cujos conteúdos foram fornecidos ao LLM por meio da técnica RAG e as respostas geradas pelo modelo foram comparadas com as já extraídas pelos autores do mapeamento. Esse uso do LLM local com RAG alcançou aproximadamente 42% de respostas corretas, mostrando-se pouco capaz de auxiliar o pesquisador significativamente em relação à fase de extração de dados da RSL, porém a maior parte dos acertos aconteceu sobre dados bibliográficos dos artigos, o que sugere que o modelo pode ser utilizado para obter esses dados com mais facilidade.