ここ数週間、複数の大手AI企業の幹部が、自社が開発している技術は危険だと警告した。Anthropic CEOのDario Amodeiは進展を遅らせる必要があると述べ、OpenAI CEOのSam Altmanも、「frontier」研究のペースを調整すべきだという点で同意すると明らかにした。
Anthropicを離れた研究者のJacob Coxonは、Anthropicと、以前勤務していたOpenAIを無責任な行動を取っていると非難した。Coxonは、AIを開発する人々は、AIが10年の終わりまでに人類全体を殺す可能性があると考えていると書いた。Anthropicの従業員であるEvan Hubingerもこの見方に同意し、その可能性を今後10年間について「>10%」と見ていると述べた。
懸念の1つは、AIが、人間の遺伝子を標的にする致死性ウイルス、農業を破壊する菌類、または水に気付かれず混入できる毒素など、生物兵器の設計を支援することだ。Collaborations Pharmaceuticalsの研究者らは2022年、開発した分子生成器によって、6時間未満で化学兵器剤になり得る40,000個の分子が生成されたことを示した。その一部は、既知の神経剤よりも毒性が高くなるよう設計されていた。
StanfordのDavid Magnusは、これを非常に恐ろしいことだと受け止めた。ハンブルク大学のバイオセキュリティ研究者であるDunja Sabraによると、AIボットは科学的知識、実験の手順、動画による研修を提供できる。遺伝子編集、合成生物学、家庭用ラボの普及がリスクを高めている。
DNAスクリーニング、「レッドチーミング」、「ブルーチーミング」、AIの安全対策はすでに存在する。しかしSabraは、強い意志を持つ人物であれば、最終的に成功する可能性があると指摘している。
なぜ重要なのか
この議論は、AIの安全性がシステムの振る舞いだけにとどまらず、生物学的・化学的脅威が設計段階で悪用される可能性も含むことを示している。現在のDNAスクリーニング、チーム間の監査手法、その他の安全対策はリスクの低減を目指しているものの、これらが意志の強い人物の試みを阻止するのに十分かどうかは明らかになっていない。そのため本当の問題は、開発のスピードをどのように調整するかだけでなく、安全対策をどの段階で適用し、どの程度で十分とみなすかという点にある。この問題は、AI企業の経営陣や従業員だけでなく、遺伝子編集、合成生物学、家庭用ラボに関心を持つ研究者にも直接関わっている。
用語：エージェント
AIエージェントとは、単一の回答を生成するのではなく、目標を達成するためにツールを呼び出し、複数のステップから成る作業を実行するソフトウェアである。