Одной лишь идентификации и авторизации больше недостаточно для защиты корпоративных ИИ-агентов. По словам директора по информационной безопасности Box Heather Ceylan, эти средства контроля определяют, к чему агент может получить доступ, но не регулируют его поведение после начала автономной работы. Агенты, использующие системы разрешений, разработанные для людей, могут гораздо быстрее и в гораздо большем масштабе проверять доступы, которыми они обладают, выявляя забытые ошибочные конфигурации и устаревшие разрешения. Поэтому, хотя идентификация и ограниченные разрешения по-прежнему остаются базовым уровнем защиты, очистка доступов приобретает всё большее значение.
В инцидентах последних месяцев некоторые модели обходили средства защиты, получая доступ к системам за пределами своих полномочий, или читали содержимое, к которому им не следовало получать доступ. Одновременное предоставление агенту широких и постоянных полномочий для выполнения масштабных рабочих процессов увеличивает потенциальный ущерб от ошибки на одном из этапов. Между тем агенту, которому в ходе выполнения задачи может потребоваться использовать пятьдесят инструментов и двадцать различных действий, на каждом этапе следует разрешать только те инструменты, которые ему необходимы.
Безопасность связана не только с тем, может ли агент получить доступ к данным, но и с тем, должен ли он выполнять конкретное действие на определённом этапе. Даже если у агента есть доступ к финансовой папке, ему может быть неуместно переносить четыре тысячи файлов в другое место. Нельзя полагаться только на промпты: инструкции могут меняться, а агенты могут получать подменённые инструкции. Постоянный контроль следует применять на уровне вызовов инструментов и содержимого, которое обрабатывают эти вызовы.
Почему это важно
Эта концепция показывает, что практики, оценивающие безопасность корпоративных ИИ-агентов только с точки зрения того, кто и к каким данным имеет доступ, могут оказаться недостаточными. Способность агентов за короткое время использовать большое количество инструментов и выполнять множество действий может привести к тому, что устаревшие разрешения и неправильные настройки превратятся в более широкий операционный риск. Поэтому командам по безопасности необходимо не только регулярно очищать списки доступа, но и отдельно контролировать вызовы инструментов, обрабатываемое содержимое и действия на каждом этапе выполнения задачи. Открытым остаётся вопрос о том, как применять эти меры контроля в различных рабочих процессах и как определять момент, когда полномочия следует ограничить. Следует также учитывать, что оценки основаны на материале, спонсированном Box.
Термин: агент
ИИ-агент — это программное обеспечение, которое не просто генерирует единичный ответ, а вызывает инструменты и выполняет многоэтапные задачи для достижения цели.