O CEO da Microsoft, Satya Nadella, afirmou que o sistema de IA mais confiável não é aquele em que os usuários depositam maior confiança no modelo, mas sim aquele que permite que as pessoas confiem menos no modelo. Ele fez a declaração em Nova Délhi, destacando os desafios de governança da IA avançada.
Visão de Nadella sobre confiança em IA
Nadella explicou que o sistema de Super Inteligência mais confiável não será aquele alimentado pelo modelo em que se tem maior confiança, mas o sistema que possibilita que os usuários confiem menos no próprio modelo. Ele ressaltou que as afirmações dos desenvolvedores ou a visão de implantações como caixas pretas aninhadas não são suficientes para garantir segurança.
Princípios de contenção e governança propostos
Para enfrentar a falta de clareza mecânica nos sistemas de IA contemporâneos, Nadella defende uma abordagem de engenharia que envolva cercar modelos não determinísticos com projetos de sistema determinísticos, controles humanos e procedimentos operacionais confiáveis. Ele também pediu a criação de padrões setoriais onde os existentes forem insuficientes.
- Modelos de peso fechado e aberto devem ser tratados como possíveis ameaças internas.
- Isolar os modelos por meio de práticas de segurança empresarial comprovadas, como controle de identidade, registro de atividade e limites rígidos de permissão.
- Os controles que definem o que um modelo pode acessar e quais ações pode executar devem ficar fora do modelo.
- Separar o modelo da coleira que orquestra seu trabalho e do espaço de ação que define suas capacidades.
- Externalizar controles e salvaguardas, seguindo princípio de segurança da informação dos anos 1970.
- Adotar princípios como diversidade de modelos, registro à prova de adulteração, verificabilidade contínua em casos de borda, auditorias independentes, desligamentos confiáveis de contenção e divulgação ampla de incidentes.
Abordagem de segurança para modelos de IA
Nadella alertou que, assim como qualquer agente privilegiado pode falhar ou ser comprometido, as organizações devem considerar os modelos de IA como riscos internos e aplicar isolamento e monitoramento rigorosos. A recomendação central é que a autoridade operacional final permaneça separada do fornecimento de inteligência bruta, assegurando que a responsabilidade pelas ações automatizadas não seja transferida a terceiros.
