Специалист по информационным технологиям Osman Demircan отметил, что ИИ-ассистенты могут выполнять такие операции, как сравнение товаров, отслеживание цен и покупка по инструкции. В качестве примера Demircan привёл ассистента Amazon «Alexa for Shopping» и заявил, что системы могут быть введены в заблуждение с помощью атак «prompt injection», а пользовательская информация — передана нежелательным адресатам. Demircan рекомендовал пользователям перед оплатой проверять товар, продавца, итоговую стоимость, адрес доставки и условия подписки.
Почему это важно
Способность ИИ-ассистентов в процессе покупок не только предлагать варианты, но и выполнять операции по инструкции выдвигает на первый план вопросы о том, какие действия будут совершаться от имени пользователя и как следует ограничивать эти полномочия. Возможность prompt injection указывает на то, что риск манипулирования ассистентом может не ограничиваться выбором неподходящего товара и включать передачу пользовательской информации нежелательным адресатам. Поэтому эта тема важна не только для потребителей, использующих такие системы, но и для сервисов, управляющих процессами оплаты и защиты персональных данных. Рекомендации эксперта требуют, чтобы в автоматизированном процессе покупок ответственность за окончательное решение и контроль оставалась у пользователя; однако вопрос о том, какими техническими методами ассистенты будут поддерживать эти проверки и как будут предотвращаться ошибочные указания, остаётся открытым.