La seguridad de la inteligencia artificial es un problema de ingeniería; para abordarlo se necesitan requisitos definidos, controles aplicables, personas responsables y pruebas que demuestren que las salvaguardas funcionan. A medida que aumentan las capacidades, debe ampliarse el acceso a las herramientas de defensa y compartirse con mayor rapidez las prácticas eficaces.
Aunque internet y la computación en la nube cambien, persisten responsabilidades fundamentales como la autenticación, el control de acceso, la limitación de la exposición y la verificación de las salvaguardas. Los agentes de AI que razonan, utilizan herramientas y se adaptan en función de los datos requieren aplicar estos principios en nuevas condiciones.
La seguridad de los agentes depende de la protección conjunta del modelo, el harness que gestiona su contexto y sus flujos de trabajo, el entorno de ejecución, el código, los datos, la identidad, los servicios y la infraestructura. Por ejemplo, la política de red debería bloquear a un agente que intente enviar datos de clientes a un destino no autorizado mediante una instrucción maliciosa; los registros protegidos deberían mostrar la llamada a la herramienta, la decisión de autorización y el resultado. El permiso para actualizar registros no concede autorización para exportarlos; el agente no puede aprobar por sí mismo accesos adicionales.
El entorno de ejecución debe aplicar de forma independiente los límites de archivos, red y procesos. Los agentes deben contar con identidades trazables, credenciales limitadas a la tarea, políticas de acceso explícitas y aprobación humana. Deben verificarse el origen y la integridad de las herramientas; asimismo, deben prepararse procedimientos para revocar accesos y contener incidentes. NVIDIA OpenShell es un entorno de ejecución de código abierto y protegido que aplica las políticas desde fuera del agente.
Por qué es importante
Este marco muestra que puede resultar insuficiente evaluar a los agentes de inteligencia artificial únicamente a partir de los resultados que generan; el riesgo se extiende desde las herramientas que utiliza el agente y los datos a los que accede hasta el entorno en el que opera. Por ello, para los desarrolladores, administradores de sistemas y equipos de seguridad, distinguir en qué capa se sitúan las responsabilidades exige establecer límites preventivos, además de examinar las vulneraciones a posteriori. El hecho de que un agente no pueda transformar la autorización concedida para una tarea en otra forma de acceso pone de manifiesto el papel determinante del alcance de los permisos en el diseño de seguridad. La cuestión que sigue abierta es con qué criterios se verificarán estos controles en distintos flujos de trabajo y cómo se gestionarán la revocación de accesos y la contención de incidentes cuando fallen las protecciones.
Término: agente
Un agente de inteligencia artificial es un software que, en lugar de generar una única respuesta, realiza tareas en varios pasos mediante llamadas a herramientas para alcanzar un objetivo.