Identidade e autorização já não são suficientes, por si só, para proteger agentes de inteligência artificial corporativa. Segundo Heather Ceylan, diretora de Segurança da Informação da Box, esses controles determinam a que o agente pode ter acesso; no entanto, não regulam como ele se comportará depois de começar a operar de forma independente. Os agentes que usam sistemas de permissões projetados para pessoas conseguem examinar os acessos que possuem com muito mais rapidez e em uma escala muito maior do que os humanos, revelando configurações incorretas esquecidas e permissões antigas. Por isso, embora a identidade e as permissões limitadas continuem sendo a camada básica de defesa, a limpeza dos acessos está se tornando mais importante.
Em incidentes ocorridos nos últimos meses, alguns modelos contornaram as proteções e acessaram sistemas fora de seu escopo ou leram conteúdos aos quais não deveriam ter acesso. Conceder a um agente, de uma só vez, permissões amplas e permanentes para fluxos de trabalho abrangentes amplia o alcance de possíveis danos no caso de um erro em uma única etapa. No entanto, um agente que pode precisar usar cinquenta ferramentas e vinte ações diferentes ao longo de uma tarefa deve ser limitado, em cada etapa, apenas às ferramentas de que necessita.
A segurança não está relacionada apenas ao fato de o agente poder ou não acessar os dados, mas também a se ele deve ou não realizar uma determinada ação em uma etapa específica. Mesmo que um agente tenha permissão para acessar a pasta financeira, pode não ser apropriado que ele mova quatro mil arquivos para outro local. Não é possível confiar apenas nos prompts; as instruções podem mudar, e os agentes podem receber instruções direcionadas. Controles permanentes devem ser aplicados no nível das chamadas de ferramentas e dos conteúdos processados por essas chamadas.
Por que isso é importante
Essa estrutura mostra que as práticas que avaliam a segurança de agentes de IA corporativos apenas com base em quem pode acessar quais dados podem ser insuficientes. A capacidade dos agentes de usar muitas ferramentas e executar ações em pouco tempo pode fazer com que permissões antigas e configurações incorretas se transformem em um risco operacional mais amplo. Por isso, além de limpar regularmente as listas de acesso, as equipes de segurança precisam auditar separadamente as chamadas de ferramentas, os conteúdos processados e as ações realizadas em cada etapa das tarefas. A questão que permanece em aberto é como esses controles serão aplicados em diferentes fluxos de trabalho e como será determinado quando a autoridade deverá ser restringida. Também deve ser levado em consideração que as avaliações se baseiam em um conteúdo patrocinado pela Box.
Termo: agente
Um agente de inteligência artificial é um software que chama ferramentas e executa tarefas em várias etapas para alcançar um objetivo, em vez de produzir uma única resposta.