ASCII smuggling — невидимый для людей блок Unicode — получает всё более широкое распространение: от атак на системы искусственного интеллекта до обхода спам-фильтров. О этой технике заговорили около двух лет назад в связи с сокрытием атак prompt injection, направленных на большие языковые модели (LLM). Злоумышленник кодирует инструкции не обычным текстом, а специальными тегами Unicode: U+E0041 представляет символ «A», а U+E0061 — символ «a». Этот блок из 128 тегов распознаётся компьютерами, но остаётся практически полностью невидимым для людей.
В начале этого года Microsoft зафиксировала резкий рост числа спам-сообщений, использующих этот метод. В один из дней в начале февраля количество сигнатур ASCII smuggling, обнаруженных Microsoft Defender for Office, выросло примерно с 21 000 в день до более чем 1,3 миллиона, а за четыре дня достигло 2,5 миллиона. Рост продолжался месяцами, а в середине мая резко прекратился.
Спамеры разделяют невидимыми символами слова, которые ищут фильтры, например «credit» и «term», или денежные суммы. Например, фильтр может распознать слово «funding» как «fun» и «ding», тогда как получатель продолжит видеть это слово в обычном виде. Нулевой ширины и неразрывные пробелы также используются с аналогичными целями уже несколько десятилетий.
Предпочтение скрытых тегов может быть связано с тем, что некоторые фильтры их не распознают, а также с их способностью вводить в заблуждение классификаторы на основе машинного обучения и обработки естественного языка. Атака может остаться незамеченной, если текст не преобразовать в изображение и не применить OCR. Microsoft опубликовала рекомендации для разработчиков, чтобы фильтры лучше распознавали ASCII smuggling.
Почему это важно
Этот метод увеличивает разрыв между содержанием, которое видит человек, и содержанием, оцениваемым программным обеспечением в сфере безопасности электронной почты; поэтому он касается не только пользователей, проверяющих входящие сообщения, но и команд, разрабатывающих системы фильтрации и классификации. Слова, разделённые невидимыми символами, выявляют ограничения не только традиционного поиска по ключевым словам, но и проверок на основе машинного обучения и обработки естественного языка. Поскольку тот же метод используется и в атаках типа prompt injection на системы искусственного интеллекта, проблема выходит за рамки обнаружения спама и превращается в вопрос надёжной интерпретации текста. Открытым остаётся вопрос о том, как стабильно выявлять эти маркеры без преобразования текста в изображение и применения OCR, а также в какой степени рекомендации Microsoft для разработчиков будут применимы в различных фильтрах.