AI-Sicherheit ist ein Engineering-Problem; dafür braucht es definierte Anforderungen, umsetzbare Kontrollen, verantwortliche Personen und Nachweise dafür, dass die Schutzmaßnahmen funktionieren. Mit zunehmenden Fähigkeiten muss der Zugang zu Verteidigungsinstrumenten erweitert und wirksame Verfahren schneller geteilt werden.
Auch wenn sich Internet und Cloud-Computing verändern, bleiben grundlegende Verantwortlichkeiten wie Authentifizierung, Zugriffskontrolle, die Begrenzung der Angriffsfläche und die Überprüfung von Schutzmaßnahmen bestehen. AI-Agenten, die Schlussfolgerungen ziehen, Tools nutzen und sich an Daten anpassen, erfordern die Anwendung dieser Grundsätze unter neuen Bedingungen.
Die Sicherheit von Agenten hängt davon ab, dass Modell, Kontext und Workflows verwaltendes Harness, Laufzeitumgebung, Code, Daten, Identität, Dienste und Infrastruktur gemeinsam geschützt werden. Beispielsweise sollte eine Netzwerkregel einen Agenten daran hindern, Kundendaten aufgrund einer bösartigen Anweisung an ein nicht autorisiertes Ziel zu senden; geschützte Protokolle sollten den Tool-Aufruf, die Autorisierungsentscheidung und das Ergebnis ausweisen. Die Berechtigung zur Aktualisierung von Datensätzen verleiht keine Exportberechtigung; zusätzlichen Zugriff kann der Agent nicht selbst genehmigen.
Die Laufzeitumgebung sollte Grenzen für Dateien, Netzwerke und Prozesse unabhängig voneinander durchsetzen. Agenten sollten nachvollziehbare Identitäten, auf die Aufgabe beschränkte Zugangsdaten, klare Zugriffsrichtlinien und eine menschliche Genehmigung haben. Quelle und Integrität der Tools sollten überprüft werden; Verfahren zum Entzug von Zugriffen und zur Eindämmung von Vorfällen sollten vorbereitet werden. NVIDIA OpenShell ist eine quelloffene, geschützte Laufzeitumgebung, die Richtlinien außerhalb des Agenten durchsetzt.
Warum wichtig
Dieser Rahmen zeigt, dass es unzureichend sein kann, KI-Agenten ausschließlich anhand der von ihnen erzeugten Ausgaben zu bewerten; das Risiko erstreckt sich von den Daten, auf die der Agent über die von ihm verwendeten Tools zugreift, bis hin zu seiner Laufzeitumgebung. Deshalb erfordert es für Entwickler, Systemadministratoren und Sicherheitsteams, zu unterscheiden, auf welcher Ebene die Verantwortlichkeiten liegen, sowohl vorbeugende Grenzen zu setzen als auch Verstöße im Nachhinein zu untersuchen. Dass ein Agent die für eine Aufgabe erteilte Berechtigung nicht in eine andere Zugriffsform umwandeln kann, verdeutlicht die entscheidende Rolle des Berechtigungsumfangs bei der Gestaltung der Sicherheit. Offen bleibt, anhand welcher Kriterien diese Kontrollen in unterschiedlichen Arbeitsabläufen überprüft werden und wie der Entzug von Zugriffen sowie die Eindämmung von Vorfällen umgesetzt werden, wenn die Schutzmaßnahmen versagen.
Begriff: Agent
Ein KI-Agent ist eine Software, die Tools aufruft und mehrstufige Aufgaben ausführt, um ein Ziel zu erreichen, statt lediglich eine einzelne Antwort zu erzeugen.