Этой весной американские чиновники выяснили, что разведданные, на основе которых проводилась вооружённая операция против китайского судна, были выдуманы чат-ботом с искусственным интеллектом. Операция была отменена, когда военные самолёты уже находились в воздухе, что в последний момент предотвратило возможный конфликт с Китаем; об этом CNN сообщила в пятницу. Новость была опубликована 18 сентября 2026 года.
В распространённом во время войны с Ираном докладе утверждалось, что судно перевозило детали, предназначенные для ядерной оружейной программы. Ложная информация возникла после того, как аналитик из Special Operations Command обратился к чат-боту, чтобы объединить данные из открытых источников с секретной радиоэлектронной разведкой. Бот неверно идентифицировал грузовой манифест судна. Позже аналитик вновь использовал этот инструмент, чтобы превратить ошибочные выводы в официально выглядевшее резюме, и документ был распространён по командным каналам.
Инцидент произошёл в период, когда армия США ускоренно внедряет искусственный интеллект, стремясь ускорить принятие решений и сохранить превосходство над Китаем. В Пентагоне заявляют, что эта технология ускоряет «цепочку поражения», однако недостаточный контроль со стороны людей может привести к тому, что ошибки будут продвигаться вверх по командной цепи.
Исследователь GovAI и бывший офицер армии США Jake Steckler заявил, что необходимо понимать неопределённость LLM, особенно при наведении на цели, анализе разведданных и оперативном планировании. Steckler расценил этот инцидент не как призыв избегать искусственного интеллекта, а как призыв усилить меры безопасности. Предпочтение скорости мерам защиты может снизить доверие военнослужащих к системам.
Почему это важно
Этот инцидент показывает, что искусственный интеллект вошёл в процессы принятия военных решений не только как инструмент технической поддержки, но и как фактор, способный влиять на командную цепь. Отсутствие проверки людьми информации, генерируемой системами, используемыми для наведения на цели, анализа разведданных и оперативного планирования, может привести к тому, что ошибочные данные приобретут официальный статус и дойдут до лиц, принимающих решения. В этих условиях, особенно для военнослужащих, выполняющих задачи в обстановке высокого риска, например на фоне напряжённости в отношениях с Китаем и войны с Ираном, на первый план выходит вопрос о том, как выстроить баланс между скоростью и проверкой. Открытым остаётся вопрос о том, как армия, продолжая использовать искусственный интеллект, будет усиливать меры безопасности и цепочку ответственности для выявления ошибочного контента.