O sistema MoRSE (Mixture of Role-Subtask Experts) foi introduzido para superar a falta de heterogeneidade e especialização em sistemas multiagentes baseados em modelos de linguagem de grande escala. Segundo documentos publicados no arXiv, a nova arquitetura combina a decomposição de tarefas em grafos acíclicos dirigidos com a adaptação dinâmica de parâmetros via especialistas LoRA. O método resultou em ganhos de desempenho em benchmarks de geração de código e demonstrou capacidade de generalização para domínios não vistos durante o treinamento.
Especialização por estrutura e parâmetros
De acordo com os pesquisadores liderados por Peiwen Li, os sistemas multiagentes atuais sofrem com uma diferenciação superficial, baseada apenas em alterações nos comandos (prompts). Isso limita a eficácia dos agentes em tarefas de longo horizonte e requisitos complexos, pois não há uma adaptação real nos parâmetros do modelo para cada função específica. O MoRSE resolve essa limitação ao introduzir uma especialização condicionada ao par função-subtarefa.
O framework opera em dois níveis principais. No nível estrutural, o sistema formula a tarefa como um Grafo Acíclico Dirigido (DAG) ciente de dependências. Cada nó deste grafo representa uma subtarefa específica atribuída a um agente, tornando as responsabilidades explícitas dentro do fluxo de trabalho. Segundo o arXiv, essa abordagem garante que a colaboração entre os agentes seja guiada pela estrutura lógica do problema, em vez de depender apenas de interações lineares ou aleatórias.
Roteamento semântico e otimização de especialistas
No nível técnico, o MoRSE utiliza um módulo dinâmico de Mixture of LoRA Experts. Em vez de treinar um modelo massivo para cada função, o sistema adapta um substrato comum de LLM de forma econômica. O uso de adaptadores de baixo ranking (LoRA) permite que o sistema carregue pesos específicos para cada combinação de papel e subtarefa. O roteamento dessas tarefas é feito por um roteador semântico baseado em protótipos, que direciona cada demanda para o especialista mais apto de forma automática.
Para estabilizar o treinamento sob recompensas esparsas, o estudo descreve a implementação de uma otimização de política hierárquica relativa ao grupo. Esse mecanismo inclui uma atribuição de crédito em duas camadas, que isola as atualizações dos especialistas da variância causada pelas decisões do roteador. Segundo os autores, essa separação garante que a qualidade do especialista seja desenvolvida independentemente da precisão inicial do roteamento, evitando que erros de direção prejudiquem o aprendizado das competências técnicas.
Resultados e escalabilidade
Os testes realizados em benchmarks de geração de código, utilizando três modelos base diferentes, confirmaram a eficácia do MoRSE. O arXiv relata melhorias tanto no desempenho global da tarefa quanto no sucesso de etapas individuais. A especialização treinada mostrou-se robusta, mantendo ganhos de performance mesmo quando o sistema foi desafiado com categorias de tarefas e domínios que não faziam parte do conjunto original de treinamento.
O que ainda não foi divulgado
- Os nomes específicos dos três modelos de linguagem utilizados como base nos experimentos.
- A data prevista para a disponibilização do código-fonte ou bibliotecas de implementação para o público geral.
- O custo computacional exato para o treinamento dos especialistas LoRA em comparação com o ajuste fino tradicional.
- As métricas percentuais detalhadas de ganho de eficiência em relação aos sistemas multiagentes concorrentes.
