La sicurezza dell’AI è un problema ingegneristico; richiede requisiti definiti, controlli applicabili, persone responsabili e prove del funzionamento delle protezioni. Con l’aumentare delle capacità, l’accesso agli strumenti di difesa deve essere ampliato e le pratiche efficaci devono essere condivise più rapidamente.
Anche se Internet e il cloud computing cambiano, restano fondamentali responsabilità come l’autenticazione, il controllo degli accessi, la limitazione dell’esposizione e la verifica delle protezioni. Gli agenti AI, capaci di ragionare, utilizzare strumenti e adattarsi in base ai dati, richiedono l’applicazione di questi principi a condizioni nuove.
La sicurezza degli agenti dipende dalla protezione congiunta del modello, dell’harness che gestisce il contesto e i flussi di lavoro, dell’ambiente di esecuzione, del codice, dei dati, delle identità, dei servizi e dell’infrastruttura. Per esempio, una policy di rete dovrebbe impedire a un agente che, a seguito di un’istruzione malevola, tenta di inviare dati dei clienti a una destinazione non autorizzata; i registri protetti dovrebbero mostrare la chiamata allo strumento, la decisione di autorizzazione e il risultato. Il permesso di aggiornare i registri non conferisce l’autorizzazione all’esportazione; l’agente non può approvare autonomamente l’accesso aggiuntivo.
L’ambiente di esecuzione deve applicare in modo indipendente i limiti relativi a file, rete e processi. Gli agenti devono disporre di identità tracciabili, credenziali limitate all’attività, policy di accesso esplicite e approvazione umana. È necessario verificare l’origine e l’integrità degli strumenti e predisporre procedure per la revoca degli accessi e il contenimento degli incidenti. NVIDIA OpenShell è un ambiente di esecuzione open source e protetto che applica le policy al di fuori dell’agente.
Perché è importante
Questo quadro mostra che valutare gli agenti AI soltanto sulla base degli output che producono può rivelarsi insufficiente; il rischio si estende dagli strumenti utilizzati dall’agente ai dati a cui accede e all’ambiente in cui opera. Per questo motivo, per gli sviluppatori, gli amministratori di sistema e i team di sicurezza, distinguere a quale livello ricadano le responsabilità richiede di stabilire limiti preventivi, oltre a esaminare le violazioni a posteriori. Il fatto che un agente non possa trasformare l’autorizzazione ricevuta per un’attività in un’altra forma di accesso evidenzia il ruolo determinante dell’ambito delle autorizzazioni nella progettazione della sicurezza. Resta da chiarire in base a quali criteri questi controlli saranno verificati nei diversi flussi di lavoro e come saranno gestite la revoca degli accessi e il contenimento degli incidenti quando le protezioni falliranno.
Termine: agente
Un agente AI è un software che, anziché produrre una singola risposta, chiama strumenti ed esegue attività in più fasi per raggiungere un obiettivo.