Moonshot AI anuncou que reduziu as capacabilidades ofensivas de hacking no novo modelo Kimi K3.1 Pro, um modelo aberto de 3 trilhões de parâmetros, ao remover dados cibernéticos do corpus de treinamento e ambientes de aprendizado por reforço, mantendo porém as habilidades gerais de programação.
Controle de riscos cibernéticos
A empresa afirmou que não pretende lançar pesos abertos que ampliem a fronteira absoluta da capacidade ofensiva em cibersegurança. Governos, empresas tecnológicas e pesquisadores de segurança estão cada vez mais preocupados com o uso de IA para facilitar ataques cibernéticos, especialmente modelos capazes de escrever código e automatizar etapas complexas de exploração.
Métricas de desempenho
O K3.1 Pro obteve 81,0% em um benchmark interno de exploração de vulnerabilidades em ambiente controlado, contra 90,5% de uma versão sem as medidas de redução de risco. Segundo a Moonshot, os resultados demonstram que a filtragem de dados cibernéticos diminui o desempenho ofensivo do modelo, embora ele ainda tenha superado seu predecessor. Os resultados não foram verificados independentemente.
Contexto regulatório
A China propôs recentemente controles de exportação que proíbem o envio de tecnologias de geração de malware e mutação de IA, além de restringir ferramentas de descoberta de vulnerabilidades assistidas por IA. A Moonshot destacou que modelos abertos ajudam organizações a inspecionar e proteger seus próprios softwares, embora o lançamento de pesos abertos dificulte o controle centralizado e a supervisão por parte dos desenvolvedores.
O que ainda não foi divulgado
- Detalhes sobre os critérios exatos usados para filtragem de dados cibernéticos.
- Impacto real dessas restrições em ambientes reais, fora do teste interno.
- Reações de especialistas internacionais fora da área de segurança cibernética.
