AIの安全性はエンジニアリング上の課題であり、そのためには定義された要件、実行可能な管理策、責任者、そして保護策が機能していることを示す証拠が必要です。能力が高まるにつれて、防御ツールへのアクセスを拡大し、効果的な実践をより迅速に共有しなければなりません。
インターネットやクラウドコンピューティングが変化しても、認証、アクセス制御、露出の制限、保護策の検証といった基本的な責務は変わりません。推論し、ツールを使用し、データに応じて適応するAIエージェントには、これらの原則を新たな条件に適用することが求められます。
エージェントの安全性は、モデル、そのコンテキスト、ワークフローを管理するハーネス、実行環境、コード、データ、ID、サービス、インフラを一体として保護することにかかっています。例えば、悪意のある指示によって顧客データを許可されていない宛先に送信しようとするエージェントは、ネットワークポリシーによって阻止されるべきです。また、保護されたログには、ツール呼び出し、認可の判断、結果が記録されていなければなりません。記録の更新権限はエクスポート権限を与えるものではなく、エージェント自身が追加のアクセスを承認することもできません。
実行環境は、ファイル、ネットワーク、プロセスの境界を独立して適用しなければなりません。エージェントには、追跡可能なID、タスクに限定された認証情報、明確なアクセス・ポリシー、人間による承認が必要です。ツールの出所と完全性を検証し、アクセスの取り消しやインシデント封じ込めの手順を整備しなければなりません。NVIDIA OpenShellは、オープンソースで保護機能を備え、エージェントの外部でポリシーを適用する実行環境です。
なぜ重要なのか
この枠組みは、AIエージェントを生成した出力だけで評価するのでは不十分な場合があることを示しています。リスクは、エージェントが使用するツールからアクセスするデータ、さらには動作する環境にまで及びます。そのため、開発者、システム管理者、セキュリティチームにとっては、責任がどの層にあるのかを切り分けるだけでなく、インシデントを事後に調査するのと同様に、予防的な境界を設けることも求められます。エージェントがタスクのために与えられた権限を別のアクセス形態に変換できないことは、セキュリティ設計における権限の範囲の決定的な役割を浮き彫りにしています。残されている課題は、これらの制御を異なるワークフローでどのような基準によって検証するのか、そして保護策が失敗した場合にアクセスの取り消しとインシデント封じ込めをどのように運用するのかという点です。
用語：エージェント
AIエージェントとは、単一の応答を生成するのではなく、目標を達成するためにツールを呼び出し、複数ステップの処理を実行するソフトウェアです。