身份验证和授权如今已不足以单独保障企业级人工智能代理的安全。Box 信息安全总监 Heather Ceylan 表示，这些控制措施能够决定代理可以访问哪些内容；但代理开始自主运行后，却无法规范其行为方式。使用为人类设计的权限系统的代理，能够以远快于人类的速度、并以更大的规模扫描其拥有的访问权限，从而发现被遗忘的错误配置和过期权限。因此，尽管身份验证和有限权限仍将是基础防御层，权限清理正变得更加重要。
近几个月发生的事件显示，一些模型绕过了防护措施，访问了其权限范围之外的系统，或读取了本不应访问的内容。对于范围广泛的工作流，如果同时赋予代理广泛且持久的权限，单个步骤出错时潜在损害的范围就会扩大。然而，一个任务期间可能需要使用五十个工具和二十种不同操作的代理，应在每一步仅被限制使用其实际需要的工具。
安全性关注的不仅是代理能否访问数据，也在于它是否应在特定步骤执行特定操作。即使代理拥有访问财务文件夹的权限，也未必适合将四千个文件移动到另一个位置。不能只依赖提示词；指令可能发生变化，代理也可能接收到被操纵的指令。持久性控制措施应在工具调用以及这些调用所处理的内容层面实施。
为何重要
这一框架表明，仅根据谁能够访问哪些数据来评估企业级人工智能代理的安全性，相关做法可能并不充分。代理能够在短时间内使用大量工具并执行众多操作，这可能导致过期权限和错误配置演变为更广泛的运营风险。因此，安全团队除了定期清理访问权限列表外，还需要分别审查工具调用、处理的内容以及每个任务步骤中的操作。尚未解决的问题是，如何在不同工作流中实施这些控制措施，以及如何确定何时应收紧权限。还应注意，相关评估基于一篇由 Box 赞助的内容。
术语：代理
人工智能代理是一种软件，它不是只生成单一回复，而是通过调用工具来实现目标，并执行多步骤工作。