Abliteration.aiは、オープンウェイトのAIモデルが有害な要求を拒否するための安全対策を解除し、それらをウェブブラウザーとAPI経由で提供する商用サービスを開発した。昨年末に設立され、3月に正式に法人化された同社は、Z.aiが新たに公開したGLM-5.3モデルを含む改変モデルをホストしている。同社は、ほかのモデルが拒否する「攻撃目的のサイバーセキュリティ、レッドチーム、エージェントのテスト」を可能にすることが目的だとしている。
モデルの安全対策の解除は、オープンソースコミュニティーで以前から行われており、Hugging Faceにはこの方法で改変された数千のモデルが存在する。一方、Abliteration.aiは、ユーザーがモデルをダウンロードして実行するための計算能力を用意する必要をなくし、アクセスを容易にしている。TechCrunchは、無料アカウントでアクセスしたGLM-5.3のバージョンが、Chromeに保存されたパスワードを盗むPythonプログラムと、家庭で危険なヒト病原体を培養するための詳細な手順を提示したと報じた。
共同創業者のDevonは、同社が大手クラウドプロバイダーと契約を結んでおり、費用は顧客からの収入で賄われていると述べた。Abliteration.aiはまだベンチャーキャピタルから資金を調達しておらず、投資協議を進めている。顧客には、U.K.とヨーロッパを拠点とし、銀行、航空会社、重要インフラ組織にサイバーセキュリティサービスを提供する初期段階のレッドチーム企業が含まれる。
CivAIの研究責任者Andrew Yoonは、安全対策が解除されたモデルはあらゆる要求に応じられるようになり、近い将来、危害を加える目的で利用される可能性があると述べた。Yoonは、政府がクラウドプロバイダーに対し、有害なサイバー活動や生物兵器の研究を特定する分類器の使用を義務付けること、また、高性能GPUへのアクセスを貸し出す企業にも顧客の身元確認を求めることを提案した。
Abliteration.aiは、顧客が独自の安全ルールを追加できるモデレーション層を提供している。プラットフォームにはいくつかの制限があり、TechCrunchのテストでは、モデルは自殺の手順を提示しなかった。Devonは、暴力を防ぐための追加措置に取り組んでいると述べた。同社は、支払いカードを登録する以外にはKYCを実施していない。
業界では、この手法の防衛面での重要性について意見が分かれている。Fabraix CEOのAhmed Alyは、安全対策を取り除くことでモデルの知識や能力が低下する可能性があり、同社はその代わりにファインチューニング済みのオープンモデルを使用していると述べた。Safe IntelligenceのAlessio Lomuscioは、この手法がストレステストに有用な可能性があると指摘した。一方、Armadinの創業者David Slaterは、これらのモデルはまだ同社のプロセスに組み込まれていないものの、オープンな研究はリスクの理解に役立つと述べた。
なぜ重要なのか
このサービスは、安全上の制限が解除されたモデルにアクセスするために必要なダウンロード、インストール、計算能力の障壁を下げ、これまで技術的な能力を持つ人々に限られていた利用を、幅広いユーザー層に開放している。これにより、銀行、航空会社、重要インフラ組織にサービスを提供するレッドチームのテスト機会が拡大する一方、同じツールがサイバー攻撃や生物学的危害を目的に利用されるリスクも高まる。支払いカード以外の本人確認が行われていないことは、有害な利用を防ぐ責任をプラットフォーム、顧客、クラウドプロバイダーの間でどのように分担するのかという問題を提起している。さらに、この手法が防衛目的のテストに実質的な貢献をもたらすかどうかについて業界内で意見が一致していないことは、アクセス拡大による利点と、それがもたらすリスクがまだ明確に測定されていないことを示している。