Abliteration.ai desenvolveu um serviço comercial que remove as medidas de segurança que fazem com que modelos de IA de pesos abertos rejeitem solicitações nocivas, disponibilizando-os por meio de navegador da web e API. Fundada no final do ano passado e formalmente constituída como empresa em março, a startup hospeda modelos modificados, incluindo o recém-lançado GLM-5.3, da Z.ai. A empresa afirma que seu objetivo é viabilizar “testes de cibersegurança ofensiva, red-team e agentes” que outros modelos rejeitam.
A remoção das medidas de segurança dos modelos é praticada há muito tempo na comunidade de código aberto, e o Hugging Face abriga milhares de modelos modificados dessa forma. A Abliteration.ai facilita o acesso ao eliminar a necessidade de os usuários baixarem os modelos e fornecerem o poder computacional para executá-los. A TechCrunch informou que a versão do GLM-5.3 acessada com uma conta gratuita forneceu um programa em Python que rouba senhas salvas no Chrome e instruções detalhadas para o cultivo, em casa, de um patógeno humano perigoso.
O cofundador Devon afirmou que a empresa tem acordos com grandes provedores de nuvem e que os custos são cobertos pela receita dos clientes. A Abliteration.ai ainda não recebeu capital de risco e está conduzindo conversas com investidores. Entre seus clientes estão startups de red-team em estágio inicial, sediadas no U.K. e na Europa, que prestam serviços de cibersegurança a bancos, companhias aéreas e organizações de infraestrutura crítica.
Andrew Yoon, chefe de pesquisa da CivAI, afirmou que os modelos com as medidas de segurança removidas se tornam capazes de atender a qualquer solicitação e que, em um futuro próximo, podem ser usados com o objetivo de causar danos. Yoon recomendou que os governos obriguem os provedores de nuvem a utilizar classificadores que identifiquem atividades cibernéticas nocivas e pesquisas sobre armas biológicas; também sugeriu que as empresas que alugam acesso a GPUs avançadas verifiquem a identidade de seus clientes.
Abliteration.ai oferece aos clientes uma camada de moderação na qual eles podem adicionar suas próprias regras de segurança. A plataforma tem algumas limitações; no teste da TechCrunch, o modelo não forneceu instruções para suicídio. Devon afirmou que está trabalhando em medidas adicionais para evitar a violência. A empresa não realiza KYC além de registrar o cartão de pagamento.
No setor, a importância do método para a defesa é controversa. O CEO da Fabraix, Ahmed Aly, disse que remover as medidas de segurança pode reduzir o conhecimento e as capacidades do modelo e que sua empresa, em vez disso, utiliza modelos abertos ajustados. Alessio Lomuscio, da Safe Intelligence, afirmou que o método pode ser útil em testes de estresse, enquanto o fundador da Armadin, David Slater, declarou que esses modelos ainda não fazem parte de seus processos, mas que a pesquisa aberta ajuda a compreender os riscos.
Por que isso importa
Esse serviço amplia para um grande grupo de usuários uma aplicação antes limitada a pessoas com capacidade técnica, ao reduzir as barreiras de download, instalação e poder computacional necessárias para acessar modelos cujos limites de segurança foram removidos. Isso aumenta as possibilidades de teste das equipes de red team que trabalham para bancos, companhias aéreas e organizações de infraestrutura crítica, mas também amplia o risco de que as mesmas ferramentas sejam usadas para ataques cibernéticos e para causar danos biológicos. A ausência de verificação de identidade além do cartão de pagamento levanta a questão de como a responsabilidade por impedir o uso nocivo será compartilhada entre a plataforma, o cliente e os provedores de nuvem. Além disso, a falta de consenso no setor sobre a contribuição real do método para testes de defesa mostra que o benefício proporcionado pelo acesso ampliado e o risco decorrente dele ainda não podem ser medidos com clareza.