Pesquisadores desenvolveram um processo de três estágios para impedir que agentes de IA ofereçam aos usuários habilidades impossíveis de executar. A técnica, aplicada no assistente de atendimento Helpmate da Wix, filtra candidatos inviáveis antes mesmo da tomada de decisão pelo modelo de linguagem.
Mecanismo de filtragem em três etapas
O sistema funciona através de uma abordagem hierárquica. Primeiramente, um buscador semântico identifica quais mensagens dos usuários possuem relação com um conjunto de dez habilidades, sem checar o estado atual da conta. Em seguida, um filtro determinístico de executabilidade elimina as opções que possuem condições de bloqueio ativo. Por fim, o modelo de linguagem (LLM) seleciona uma das alternativas restantes.
A eficácia do modelo foi comprovada em uma análise que processou 756,6 mil mensagens de usuários. A combinação da busca semântica com o filtro de executabilidade gerou uma redução de 90,5% no contexto de descrição de habilidades, em comparação com a oferta integral de todas as opções. Além disso, o filtro removeu 59,4% dos pares de habilidade-mensagem identificados inicialmente, economizando 228,8 milhões de tokens.
Validação de comportamento
Para verificar se a poda de habilidades alterava o comportamento do modelo além da economia de dados, a equipe realizou um teste com 1.000 conversas. Quando todas as dez habilidades foram expostas, o modelo selecionou uma opção que estaria bloqueada pela produção em 7,8% dos casos. O resultado reforça que o filtro impede que funções inexecutáveis influenciem a escolha do agente.
O que ainda não foi divulgado
- Efeitos específicos sobre a execução das ferramentas após a seleção.
- Impacto direto nos resultados operacionais de atendimento ao cliente.
- Detalhes sobre a latência introduzida pelo processo de triagem.
A pesquisa, documentada em dois veículos nos Estados Unidos, está sob revisão para a conferência ACM SIGKDD 2027.