Análise comparativa de modelos em sistemas multi-agentes para geração de documentos analíticos.
Resumo
A evolução dos Grandes Modelos de Linguagem impulsionou avanços significativos na automação de tarefas intelectuais. Entretanto, a confiabilidade das respostas e a propensão a alucinações ainda representam limitações relevantes para seu uso em contextos profissionais. Este trabalho apresenta uma análise comparativa do desempenho de três modelos: GPT-4o-mini, Llama 3–8B e Llama 3–70B. A comparação de desempenho entre os modelos ocorreu em dois estudos de caso distintos: (i) a validação de um texto acadêmico com foco em detecção de inconsistências e alucinações, e (ii) a análise financeira comparativa de múltiplos balancetes. Para conduzir os experimentos, desenvolveu-se um sistema multi-agente, utilizando o framework CrewAI para orquestrar agentes autônomos responsáveis pela geração, revisão e validação dos documentos. A metodologia emprega um pipeline estruturado de verificação por meio de checklists preenchidos manualmente, permitindo comparar as saídas dos modelos com os documentos originais e mensurar sua precisão. Os resultados evidenciam diferenças significativas entre os três modelos quanto à fidelidade ao conteúdo, clareza textual, consistência analítica e taxa de alucinações, demonstrando que modelos proprietários e de código aberto apresentam comportamentos distintos dependendo da natureza da tarefa analisada.