La identidad y la autorización ya no bastan por sí solas para proteger a los agentes de inteligencia artificial empresariales. Según Heather Ceylan, directora de Seguridad de la Información de Box, estos controles determinan a qué puede acceder el agente, pero no regulan cómo se comportará una vez que empiece a trabajar de forma autónoma. Los agentes que utilizan sistemas de permisos diseñados para personas pueden examinar los accesos de los que disponen mucho más rápido y a una escala mucho mayor que los humanos, dejando al descubierto configuraciones erróneas olvidadas y permisos obsoletos. Por ello, aunque la identidad y los permisos limitados siguen siendo la capa básica de defensa, la depuración de los accesos cobra cada vez más importancia.
En algunos incidentes de los últimos meses, ciertos modelos eludieron las medidas de protección y accedieron a sistemas fuera de su ámbito o leyeron contenidos a los que no debían acceder. Conceder a un agente permisos amplios y permanentes al mismo tiempo para flujos de trabajo extensos aumenta el alcance de los posibles daños en caso de que falle un solo paso. Sin embargo, un agente que puede necesitar utilizar cincuenta herramientas y veinte acciones diferentes durante una tarea debe limitarse en cada paso únicamente a las herramientas que necesita.
La seguridad no solo tiene que ver con que el agente pueda o no acceder a los datos, sino también con si debe realizar una acción concreta en un paso determinado. Aunque un agente tenga derecho a acceder a la carpeta de finanzas, puede que no sea apropiado que traslade cuatro mil archivos a otra ubicación. No se puede confiar únicamente en las instrucciones; estas pueden cambiar y los agentes pueden recibir instrucciones manipuladas. Los controles permanentes deben aplicarse a las llamadas a herramientas y al contenido que procesan dichas llamadas.
Por qué es importante
Este marco muestra que las prácticas que evalúan la seguridad de los agentes de IA empresariales únicamente en función de quién puede acceder a qué datos pueden resultar insuficientes. El hecho de que los agentes puedan utilizar numerosas herramientas y acciones en poco tiempo puede hacer que los permisos obsoletos y las configuraciones incorrectas se conviertan en un riesgo operativo más amplio. Por ello, además de depurar periódicamente las listas de acceso, los equipos de seguridad deben auditar por separado las llamadas a herramientas, el contenido procesado y las acciones realizadas en cada paso de una tarea. La cuestión aún abierta es cómo se aplicarán estos controles en distintos flujos de trabajo y cómo se determinará cuándo debe restringirse la autorización. También debe tenerse en cuenta que las evaluaciones se basan en un contenido patrocinado por Box.
Término: agente
Un agente de inteligencia artificial es un software que, en lugar de generar una única respuesta, llama a herramientas y ejecuta procesos de varios pasos para alcanzar un objetivo.