Yapay zekâ güvenliği bir mühendislik problemidir; bunun için tanımlı gereksinimler, uygulanabilir kontroller, sorumlu kişiler ve korumaların çalıştığını gösteren kanıtlar gerekir. Yetenekler arttıkça savunma araçlarına erişim genişletilmeli ve etkili uygulamalar daha hızlı paylaşılmalıdır.
İnternet ve bulut bilişim değişse de kimlik doğrulama, erişim kontrolü, maruziyeti sınırlama ve korumaları doğrulama gibi temel sorumluluklar sürer. Akıl yürüten, araç kullanan ve veriye göre uyum sağlayan AI ajanları bu ilkelerin yeni koşullara uygulanmasını gerektirir.
Ajan güvenliği; model, bağlamı ve iş akışlarını yöneten harness, çalışma ortamı, kod, veri, kimlik, hizmet ve altyapının birlikte korunmasına bağlıdır. Örneğin kötü amaçlı talimatla müşteri verisini yetkisiz hedefe göndermeye çalışan ajanı ağ politikası engellemeli; korumalı kayıtlar araç çağrısını, yetkilendirme kararını ve sonucu göstermelidir. Kayıt güncelleme izni dışa aktarma yetkisi vermez; ek erişimi ajan kendisi onaylayamaz.
Çalışma ortamı dosya, ağ ve süreç sınırlarını bağımsız biçimde uygulamalıdır. Ajanların izlenebilir kimlikleri, görevle sınırlı kimlik bilgileri, açık erişim politikaları ve insan onayı bulunmalıdır. Araçların kaynağı ve bütünlüğü doğrulanmalı; erişim iptali ve olay sınırlama prosedürleri hazırlanmalıdır. NVIDIA OpenShell, açık kaynaklı, korumalı ve ilkeleri ajan dışından uygulayan bir çalışma ortamıdır.
Neden önemli
Bu çerçeve, yapay zekâ ajanlarını yalnızca ürettikleri çıktılar üzerinden değerlendirmenin yetersiz kalabileceğini gösteriyor; risk, ajanın kullandığı araçlardan eriştiği verilere ve çalıştığı ortama kadar yayılıyor. Bu nedenle geliştiriciler, sistem yöneticileri ve güvenlik ekipleri için sorumlulukların hangi katmanda bulunduğunu ayırmak, ihlalleri sonradan incelemek kadar önleyici sınırlar kurmayı da gerektiriyor. Bir ajanın görev için verilen yetkiyi başka bir erişim biçimine dönüştürememesi, yetki kapsamının güvenlik tasarımındaki belirleyici rolünü ortaya koyuyor. Açık kalan konu, bu kontrollerin farklı iş akışlarında hangi ölçütlerle doğrulanacağı ve korumalar başarısız olduğunda erişim iptali ile olay sınırlamanın nasıl işletileceği.
Terim: ajan
Yapay zekâ ajanı, tek bir yanıt üretmek yerine hedefe ulaşmak için araç çağırıp çok adımlı iş yürüten yazılımdır.