O RubricReviewer surge como um framework focado em tornar a revisão por pares via inteligência artificial mais objetiva e estruturada. A solução utiliza rubricas adaptativas como um passo intermediário para condicionar tanto a geração das avaliações quanto o julgamento final dos manuscritos.
A tecnologia foi apresentada por pesquisadores em um artigo acadêmico e alcançou cobertura em 2 fontes de 1 país, os Estados Unidos. O sistema busca resolver gargalos enfrentados por revisores baseados em modelos de linguagem que operam com critérios implícitos ou falhas na abrangência das críticas.
Arquitetura focada em rubricas
O funcionamento do RubricReviewer baseia-se na combinação de dois módulos distintos que aproveitam diferentes fontes de supervisão:
- Scout: um agente que não exige treinamento prévio e atua na coleta de evidências externas sobre o conteúdo analisado.
- Aligner: um modelo treinado para alinhar-se ao julgamento humano, processando as evidências reunidas pelo Scout para formular o parecer.
Essa estrutura permite que a ferramenta realize uma análise mais discriminativa e detalhada do que os métodos anteriores. Testes realizados com submissões reais indicaram maior robustez contra ataques de injeção de prompts e revisões mais compreensivas.
O que ainda não foi divulgado
- Detalhes sobre a arquitetura dos modelos de linguagem específicos utilizados no framework.
- Informações sobre a disponibilidade de código aberto ou ferramentas de implementação prática para conferências científicas.
- Dados sobre o desempenho da ferramenta em diferentes campos de conhecimento além das áreas de computação.