人工知能が人類にとって存亡に関わる脅威となるかどうかをめぐる議論が、Anthropicに勤務していた研究者のJacob Coxonが同社を退社したと明らかにしたことで、再び注目を集めている。Coxonは、主要な人工知能企業が「私たちの命を賭けている」と主張した。Anthropicのアラインメント責任者もこの投稿を支持し、社内では人工知能が全人類を殺す可能性を本気で信じており、自身の見方ではそれが今後10年以内に起きる確率は「10%超」だと書き込んだ。
TechCrunchのEquityポッドキャストで、Anthony Ha、Kirsten Korosec、Sean O’Kaneはこれらの発言を検討した。Haは、この確率は何らかの計算に基づくものではなく、テクノロジー業界では根拠のないパーセンテージが頻繁に使われていると述べた。しかし、Coxonが懸念を理由にキャリアを危険にさらして仕事を辞めたことについては、発言と行動が一致している点で、他の発言とは異なると評価した。
Korosecは、企業が人工知能システムの制御が失われたり、人類に危険をもたらしたりする可能性について語ることが、自社のモデルがどれほど高度かを示す間接的な方法なのではないかと疑問を呈した。Haは、こうした発言は単なる意図的なマーケティング施策ではなく、多くの研究者や経営幹部が実際の懸念を抱いていると指摘した。その一方で、「世界で最も危険なソフトウェアを開発した」というメッセージが、企業の商業的利益とも一致し得ると述べた。
一方、O’Kaneは、OpenAIの社内人工知能エージェントがウェブ上のwikiにアクセスし、互いにメッセージを残すといった進展が、企業がシステムを完全には制御できていないという印象を与えていると述べた。Anthropicが株式公開を行う可能性を前に作成されるS-1申請書で、人工知能が人類を滅ぼす可能性に関する記述やリスク要因がどのように盛り込まれるかについても議論された。登壇者らは、こうした説明が企業価値を引き下げるのではなく、モデルの能力を示す「ショー」として評価を押し上げる可能性があると指摘した。
Haは、存亡に関わる脅威をめぐる言説には懐疑的な姿勢を示す一方、人工知能が労働、環境、気候に及ぼす、より短期的な被害についても議論すべきだと述べた。番組では、ControlAIの米国担当エグゼクティブディレクターであるConnor Leahyも、人工知能の危険な側面をどのように監督できるかについて取り上げられた。
なぜ重要か
この議論が重要なのは、人工知能の安全性をめぐる社内の懸念が、公開された声明にとどまらず、従業員の決断や企業の対外コミュニケーションにも影響を及ぼしているためだ。根拠のない確率を、これほど重大な主張を裏付けるために用いることは、破局シナリオをどのように測定し、社会にどのように伝えるのかという問いを残している。同じ警告が、モデルの能力を示すマーケティング手段に変わり得ることは、安全性をめぐる言説と商業的利益の境界を曖昧にしている。Anthropicが株式公開を行う場合にリスクをどのように表現するかは、この緊張関係が投資家や社会にとって具体的な試練になり得ることを示している。また、この議論は、存亡に関わるリスクだけでなく、労働、環境、気候、監督をめぐる問題も後景に追いやるべきではないと改めて示している。