Abliteration.ai a développé un service commercial qui supprime les mesures de sécurité permettant aux modèles d’AI à poids ouverts de refuser les demandes nuisibles, puis les propose via un navigateur web et une API. Fondée à la fin de l’année dernière et officiellement constituée en société en mars, la startup héberge des modèles modifiés, dont le nouveau modèle GLM-5.3 de Z.ai. L’entreprise indique que son objectif est de permettre « des activités de cybersécurité offensive, des opérations de red-team et des tests d’agents » que les autres modèles refusent.
La suppression des mesures de sécurité des modèles est pratiquée depuis longtemps au sein de la communauté open source, et des milliers de modèles modifiés de cette manière sont disponibles sur Hugging Face. Abliteration.ai facilite toutefois l’accès en supprimant la nécessité, pour les utilisateurs, de télécharger les modèles et de disposer de la puissance de calcul nécessaire à leur exécution. TechCrunch a rapporté que la version de GLM-5.3 à laquelle il a eu accès avec un compte gratuit fournissait un programme Python volant les mots de passe enregistrés dans Chrome ainsi que des instructions détaillées pour cultiver chez soi un dangereux agent pathogène humain.
Devon, cofondateur de l’entreprise, a déclaré que celle-ci avait conclu des accords avec de grands fournisseurs de cloud et que les coûts étaient couverts par les revenus des clients. N’ayant pas encore levé de fonds auprès de sociétés de capital-risque, Abliteration.ai mène des discussions avec des investisseurs. Parmi ses clients figurent des startups de red-team en phase initiale, basées au U.K. et en Europe, qui fournissent des services de cybersécurité à des banques, des compagnies aériennes et des organisations d’infrastructures critiques.
Andrew Yoon, responsable de la recherche chez CivAI, a déclaré que les modèles dont les mesures de sécurité sont supprimées deviennent capables de répondre à n’importe quelle demande et pourraient être utilisés à des fins nuisibles dans un avenir proche. Yoon a recommandé que les gouvernements obligent les fournisseurs de cloud à utiliser des classificateurs capables d’identifier les activités cybernétiques nuisibles et les recherches sur les armes biologiques ; il a également proposé que les entreprises louant l’accès à des GPU avancés vérifient l’identité de leurs clients.
Abliteration.ai fournit à ses clients une couche de modération leur permettant d’ajouter leurs propres règles de sécurité. La plateforme comporte certaines limitations ; lors du test de TechCrunch, le modèle n’a pas fourni d’instructions sur le suicide. Devon a indiqué travailler sur des mesures supplémentaires pour prévenir la violence. L’entreprise n’applique aucune procédure KYC, hormis l’enregistrement d’une carte de paiement.
Dans le secteur, l’intérêt de cette méthode sur le plan défensif fait débat. Ahmed Aly, CEO de Fabraix, a déclaré que la suppression des mesures de sécurité pouvait réduire les connaissances et les capacités du modèle, et que son entreprise utilisait plutôt des modèles ouverts ayant fait l’objet d’un ajustement fin. Alessio Lomuscio, de Safe Intelligence, a indiqué que la méthode pouvait être utile lors de tests de résistance, tandis que David Slater, fondateur d’Armadin, a déclaré que ces modèles ne faisaient pas encore partie de leurs processus, mais que la recherche ouverte aidait à comprendre les risques.
Pourquoi c’est important
En réduisant les obstacles liés au téléchargement, à l’installation et à la puissance de calcul nécessaires pour accéder à des modèles dont les limites de sécurité ont été supprimées, ce service ouvre à un large public une pratique jusque-là réservée aux personnes disposant des capacités techniques requises. Cette situation accroît les possibilités de test des équipes red team travaillant pour des banques, des compagnies aériennes et des organismes chargés d’infrastructures critiques, tout en augmentant le risque que les mêmes outils soient utilisés à des fins de cyberattaque et de dommages biologiques. L’absence de vérification d’identité en dehors de la carte de paiement soulève la question de savoir comment la responsabilité de prévenir les usages nuisibles doit être répartie entre la plateforme, le client et les fournisseurs de cloud. En outre, l’absence de consensus au sein du secteur quant à la contribution réelle de cette méthode aux tests défensifs montre que les avantages liés à cet accès accru et les risques qu’il engendre ne peuvent pas encore être mesurés clairement.