国連の独立国際AI科学パネルは、高度なAIエージェントのリスクが解明されるまで安全対策を先送りしてはならないと報告した。昨年設置された同パネルのテーマ別評価は、今年初めにOpenAIとの関連で話題となったHugging Faceへの攻撃を受け、制御と安全性の問題を検証している。報告書によると、政府は事態を待つのではなく早期に対策を講じるべきであり、科学的な不確実性を理由に規制を遅らせてはならない。自律型および半自律型エージェントの能力が拡大する中、国際的な協調、共通の安全性、責任の原則を強化し、資源を安全性と説明責任のメカニズムに振り向ける必要がある。ニューヨークで開催された国連総会の会期中に公表された評価で、António Guterresは各国に協調して行動するよう呼びかけた。Guterresは、安全基準を引き下げる競争は容認できないと述べた。パネルは、制御喪失を不確実だが重大な結果をもたらすリスクとみなしている。
なぜ重要か
評価の中心的な論点は、AIエージェントの能力が拡大する中、安全性に関する決定を、確実な科学的証拠を待って先送りできるのかという点にある。この枠組みは、AIガバナンスを単なる技術の進歩ではなく、早期対策、共通基準、責任の共有に関わる問題として位置づけている。提言は、各国の異なる安全性への取り組みを、制御、資源配分、説明責任の面でどのように調和させるかという問題を、国際協調の中心に据えている。しかし、制御喪失のリスクが不確実であるため、どの段階でどの対策を義務づけるのか、また重大な結果に対する責任をどのように分担するのかという問いは未解決のままだ。
用語：エージェント
AIエージェントとは、単一の回答を生成するのではなく、目標を達成するためにツールを呼び出し、複数の段階にわたる作業を実行するソフトウェアである。