La sécurité de l’intelligence artificielle est un problème d’ingénierie ; elle nécessite des exigences définies, des contrôles applicables, des responsables désignés et des preuves démontrant que les protections fonctionnent. À mesure que les capacités augmentent, l’accès aux outils de défense doit être élargi et les pratiques efficaces doivent être partagées plus rapidement.
Même si Internet et le cloud computing évoluent, les responsabilités fondamentales telles que l’authentification, le contrôle des accès, la limitation de l’exposition et la vérification des protections demeurent. Les agents AI, qui raisonnent, utilisent des outils et s’adaptent aux données, nécessitent l’application de ces principes à de nouvelles conditions.
La sécurité des agents dépend de la protection conjointe du modèle, du harness qui gère son contexte et ses flux de travail, de l’environnement d’exécution, du code, des données, de l’identité, des services et de l’infrastructure. Par exemple, une politique réseau devrait bloquer un agent qui tente, à la suite d’une instruction malveillante, d’envoyer des données clients à une cible non autorisée ; des journaux protégés devraient montrer l’appel à l’outil, la décision d’autorisation et le résultat. L’autorisation de mettre à jour des enregistrements n’accorde pas le droit de les exporter ; l’agent ne peut pas approuver lui-même un accès supplémentaire.
L’environnement d’exécution doit appliquer indépendamment les limites relatives aux fichiers, au réseau et aux processus. Les agents doivent disposer d’identités traçables, d’informations d’identification limitées à leur tâche, de politiques d’accès explicites et d’une approbation humaine. L’origine et l’intégrité des outils doivent être vérifiées ; des procédures de révocation des accès et de limitation des incidents doivent être préparées. NVIDIA OpenShell est un environnement d’exécution open source et protégé qui applique les politiques en dehors de l’agent.
Pourquoi c’est important
Ce cadre montre qu’il peut être insuffisant d’évaluer les agents d’intelligence artificielle uniquement à partir des résultats qu’ils produisent ; le risque s’étend des outils utilisés par l’agent aux données auxquelles il accède et à l’environnement dans lequel il fonctionne. Par conséquent, pour les développeurs, les administrateurs système et les équipes de sécurité, il est nécessaire de distinguer à quel niveau se situent les responsabilités, mais aussi de mettre en place des limites préventives, au-delà de l’examen des violations a posteriori. Le fait qu’un agent ne puisse pas transformer l’autorisation qui lui a été accordée pour une tâche en une autre forme d’accès met en évidence le rôle déterminant du périmètre des autorisations dans la conception de la sécurité. La question qui reste ouverte est celle des critères selon lesquels ces contrôles seront vérifiés dans différents flux de travail, ainsi que la manière dont la révocation des accès et la limitation des incidents seront mises en œuvre lorsque les protections échoueront.
Terme : agent
Un agent d’intelligence artificielle est un logiciel qui, au lieu de produire une seule réponse, appelle des outils et exécute une tâche en plusieurs étapes afin d’atteindre un objectif.