近几周，一些大型人工智能公司的高管警告称，他们正在开发的技术具有危险性。Anthropic CEO Dario Amodei表示，应当放缓进展；OpenAI CEO Sam Altman则表示，他同意应当调整“frontier”研究的速度。
离开Anthropic的研究人员Jacob Coxon指责Anthropic以及他此前工作过的OpenAI没有负责任地行事。Coxon写道，人工智能开发者相信，这项技术可能在本十年结束前杀死全人类。Anthropic员工Evan Hubinger也认同这一观点，并表示，他认为未来十年发生这种情况的可能性“>10%”。
其中一项担忧是，人工智能可能帮助设计针对人类基因的致命病毒、会摧毁农业的真菌，或能够在不被察觉的情况下加入水中的毒素等生物武器。Collaborations Pharmaceuticals的研究人员在2022年展示了这样一种情况：他们利用开发的分子生成器，在不到六小时内生成了40.000种可能成为化学战剂的分子；其中一些被设计得比已知的神经毒剂毒性更强。
斯坦福大学的David Magnus认为这非常可怕。汉堡大学的生物安全研究人员Dunja Sabra表示，人工智能机器人能够提供科学知识、实验操作指南和视频教程。基因编辑、合成生物学以及家庭实验室的普及正在增加这一风险。
目前已有DNA筛查、“red-teaming”、“blue-teaming”和人工智能安全措施；但Sabra指出，一个意志坚定的人最终可能取得成功。
为何重要
这场讨论表明，人工智能安全不仅限于系统的行为方式，也涵盖在生物和化学威胁的设计阶段被滥用的可能性。现有的DNA筛查、团队间的监督方法以及其他安全措施旨在降低风险，但这些措施是否足以阻止一个意志坚定的人的行动，仍然没有明确答案。因此，真正的问题不仅在于如何调整开发速度，还在于安全控制应在哪个阶段实施，以及应达到何种程度才算充分。这一议题不仅直接关系到人工智能公司的管理层和员工，也直接关系到从事基因编辑、合成生物学和家庭实验室研究的研究人员。
术语：智能体
人工智能智能体是一种软件，它不是只生成单一回应，而是通过调用工具来完成多步骤任务，以实现目标。