Abliteration.ai разработала коммерческий сервис, который предоставляет через веб-браузер и API модели искусственного интеллекта с открытыми весами, предварительно удаляя из них меры безопасности, заставляющие их отклонять вредоносные запросы. Стартап, основанный в конце прошлого года и официально зарегистрированный как компания в марте, размещает модифицированные модели, включая недавно выпущенную новую модель GLM-5.3 от Z.ai. Компания заявляет, что ее цель — сделать возможными «наступательную кибербезопасность, red-team и тестирование агентов», от которых другие модели отказываются.
Удаление защитных мер моделей уже давно практикуется в сообществе разработчиков с открытым исходным кодом, и на Hugging Face доступны тысячи модифицированных таким образом моделей. Abliteration.ai упрощает доступ к ним, избавляя пользователей от необходимости самостоятельно скачивать модели и обеспечивать вычислительные мощности для их запуска. TechCrunch сообщил, что версия GLM-5.3, к которой издание получило доступ через бесплатную учетную запись, предоставила Python-программу для кражи сохраненных паролей Chrome и подробные инструкции по выращиванию опасного патогена человека в домашних условиях.
Сооснователь Devon заявил, что у компании есть соглашения с крупными облачными провайдерами, а расходы покрываются доходами от клиентов. Abliteration.ai, пока не привлекавшая венчурное финансирование, ведет переговоры с инвесторами. Среди ее клиентов есть находящиеся на ранней стадии red-team-стартапы из U.K. и Europe, оказывающие услуги в сфере кибербезопасности банкам, авиакомпаниям и организациям критической инфраструктуры.
Руководитель исследовательского направления CivAI Andrew Yoon заявил, что модели с удаленными мерами безопасности становятся способными выполнять любые запросы и в ближайшем будущем могут использоваться с целью причинения вреда. Yoon предложил обязать облачных провайдеров использовать классификаторы, выявляющие вредоносную кибердеятельность и исследования биологического оружия, а компаниям, арендующим доступ к передовым GPU, — проверять личности клиентов.
Abliteration.ai предоставляет клиентам уровень модерации, в котором они могут добавлять собственные правила безопасности. На платформе действуют некоторые ограничения: в ходе тестирования TechCrunch модель не выдала инструкции по самоубийству. Devon сообщил, что работает над дополнительными мерами для предотвращения насилия. Компания не применяет KYC, за исключением сохранения данных платежной карты.
В отрасли значение этого метода для защиты остается спорным. CEO Fabraix Ahmed Aly заявил, что удаление мер безопасности может снизить объем знаний и набор способностей модели, и сообщил, что его компания вместо этого использует открытые модели с тонкой настройкой. Alessio Lomuscio из Safe Intelligence отметил, что метод может быть полезен при стресс-тестировании, а основатель Armadin David Slater сообщил, что эти модели пока не используются в процессах его компании, однако открытые исследования помогают понять существующие риски.
Почему это важно
Этот сервис расширяет доступ к ранее ограниченному кругу технически подготовленных пользователей, снижая барьеры в виде необходимости скачивания, установки и наличия вычислительных мощностей для доступа к моделям с удаленными ограничениями безопасности. Это увеличивает возможности тестирования для red-team-команд, работающих с банками, авиакомпаниями и организациями критической инфраструктуры, но одновременно повышает риск использования тех же инструментов для кибератак и причинения биологического вреда. Отсутствие идентификации, за исключением платежной карты, ставит вопрос о том, как следует распределить между платформой, клиентом и облачными провайдерами ответственность за предотвращение вредоносного использования. Кроме того, отсутствие консенсуса внутри отрасли относительно реального вклада метода в защитное тестирование показывает, что преимущества расширившегося доступа и связанные с ним риски пока невозможно четко измерить.