Sistema automatizado de criação de avaliações baseado nos descritores do SAEB utilizando LLM

Abstract

A avaliação educacional desempenha papel fundamental na mensuração da aprendizagem e no direcionamento de políticas públicas. No contexto brasileiro, o Sistema de Avalia- ção da Educação Básica (SAEB) constitui o principal instrumento de avaliação em larga escala, exigindo que as questões aplicadas estejam alinhadas a descritores específicos de competências e habilidades. Entretanto, a elaboração manual dessas avaliações demanda tempo, conhecimento técnico e cuidado metodológico por parte dos docentes. Este traba- lho apresenta o desenvolvimento de um sistema automatizado para criação de avaliações baseadas nos descritores do SAEB, utilizando Modelos de Linguagem de Grande Escala (LLMs). A solução proposta integra uma arquitetura em camadas composta por parame- trização, geração, avaliação e saída, permitindo a geração de questões textuais personali- zadas quanto ao nível de dificuldade e descritor selecionado. O sistema foi implementado com FastAPI no backend, Vue.js no frontend e integração com API de modelo de lin- guagem para geração automática de itens. A validação foi realizada por meio de testes piloto com quatro educadores do ensino médio, que avaliaram as questões geradas quanto à coerência, contextualização, clareza, nível de dificuldade e alinhamento ao descritor. Os resultados indicaram elevados índices de aceitação, com médias superiores a 4,0 em escala de 1 a 5, evidenciando a viabilidade da ferramenta como apoio ao planejamento pedagó- gico. Conclui-se que a aplicação de LLMs na geração automática de avaliações alinhadas ao SAEB apresenta potencial significativo para otimizar o trabalho docente, mantendo qualidade pedagógica e padronização avaliativa, desde que acompanhada de supervisão humana.