联合国下属的独立国际人工智能科学小组表示，在尚未了解先进人工智能代理风险的情况下，不应推迟安全措施。该小组于去年成立，其专题评估正在审视控制和安全问题，此前在今年年初发生了与 OpenAI 有关的 Hugging Face 攻击事件，并引发相关议题。报告称，各国政府不应坐等事件发生，而应及早采取措施；科学上的不确定性不应延误监管。随着自主和半自主代理的能力不断扩大，应加强国际协调、共同安全和责任原则，并为资源、安全及问责机制提供支持。在纽约举行的联合国大会期间发布的这份评估中，António Guterres 呼吁各国共同行动。Guterres 表示，在安全标准方面进行逐底竞争是不可接受的。该小组将失控视为一种不确定但后果严重的风险。
为何重要
评估的核心问题是，随着人工智能代理的能力不断扩大，安全决策是否可以在等待确凿科学证据的情况下被推迟。这一框架将人工智能治理定位为不仅关乎技术进步，也关乎及早采取措施、制定共同标准以及分担责任。相关建议将这样一个问题置于国际协调的核心：各国不同的安全路径，如何在控制、资源分配和问责方面实现协调。然而，失控风险具有不确定性，因此哪些措施应在什么阈值下被强制实施，以及严重后果的责任应如何分配等问题，仍未得到明确回答。
术语：代理
人工智能代理是指能够调用工具并执行多步骤任务以实现目标的软件，而不是只生成单一回复。