Независимая международная научная группа по искусственному интеллекту при Организации Объединённых Наций заявила, что меры безопасности не следует откладывать до полного понимания рисков, связанных с передовыми ИИ-агентами. Тематическая оценка группы, созданной в прошлом году, рассматривает вопросы контроля и безопасности после атаки на Hugging Face, о которой заговорили в начале этого года в связи с OpenAI. Согласно докладу, правительства должны принимать превентивные меры, а не ждать происшествий; научная неопределённость не должна задерживать регулирование. По мере расширения возможностей автономных и полуавтономных агентов следует укреплять международную координацию, общие принципы безопасности и ответственности, а также направлять ресурсы на механизмы безопасности и подотчётности. В оценке, опубликованной в период проведения Генеральной ассамблеи ООН в Нью-Йорке, António Guterres призвал страны действовать сообща. Guterres заявил, что недопустима гонка на понижение стандартов безопасности. Группа считает потерю контроля неопределённым, но чреватым тяжёлыми последствиями риском.
Почему это важно
В центре оценки находится вопрос о том, можно ли откладывать решения в сфере безопасности, ожидая убедительных научных доказательств, в то время как возможности ИИ-агентов расширяются. В этой рамке управление искусственным интеллектом рассматривается не только как вопрос технического прогресса, но и как вопрос принятия превентивных мер, общих стандартов и разделения ответственности. Рекомендации выносят в центр международной координации вопрос о том, как согласовать различные подходы стран к безопасности с точки зрения контроля, распределения ресурсов и подотчётности. Однако неопределённость риска потери контроля оставляет открытыми вопросы о том, на каком пороге и какие меры должны становиться обязательными, а также о том, как распределять ответственность за тяжёлые последствия.
Термин: агент
ИИ-агент — это программное обеспечение, которое не просто генерирует один ответ, а вызывает инструменты и выполняет многоэтапные задачи для достижения цели.