人工智能是否对人类构成生存威胁的讨论，随着 Anthropic 研究员 Jacob Coxon 宣布离开公司而再次受到关注。Coxon 认为，领先的人工智能公司“正在拿我们的生命赌博”。Anthropic 的 alignment 负责人也对这篇帖文表示支持，并写道，公司内部确实有人相信人工智能可能杀死所有人类；在他看来，这种情况在未来 10 年内发生的可能性为“>10%”。
在 TechCrunch 的 Equity 播客中，Anthony Ha、Kirsten Korosec 和 Sean O’Kane 对这些言论进行了评估。Ha 表示，上述比例并不基于任何计算，科技行业也经常使用毫无依据的百分比。不过，他认为 Coxon 因为担忧而冒着职业生涯风险辞职，这一点不同于其他相关表态，因为他的言论与行动是一致的。
Korosec 质疑，企业宣称人工智能系统已经失去控制、或对人类构成危险，是否是展示其模型有多先进的一种间接方式。Ha 表示，这些言论并不只是有意为之的营销举措，许多研究人员和管理人员确实抱有真实的担忧。不过，他也指出，“我们开发出了世界上最危险的软件”这一信息，可能同样符合这些公司的商业利益。
O’Kane 则表示，OpenAI 内部人工智能代理能够访问网络上的 wiki 并相互留言等进展，给人留下了公司无法完全控制这些系统的印象。在 Anthropic 可能进行首次公开募股之前准备的 S-1 文件中，关于人工智能可能毁灭人类的表述和风险因素将如何呈现，也成为讨论内容。与会者表示，这类声明非但可能不会降低公司估值，反而可能作为展示模型能力的“表演”，推高估值。
Ha 对有关生存威胁的说法持怀疑态度，但他表示，也有必要讨论人工智能在近期对劳动力、环境和气候造成的危害。节目中还讨论了如何监管人工智能的危险面向，ControlAI 在美国的执行董事 Connor Leahy 也参与了相关讨论。
为何重要
这场讨论的重要性在于，企业内部对人工智能安全的担忧并不局限于公开表态，还会影响员工的决定以及公司的企业沟通。使用一个毫无依据的可能性比例来支持如此严重的主张，使人们仍需面对这样一个问题：灾难情景应如何衡量，又应如何向公众传达。同样的警告可能转变为展示模型能力的营销工具，这使安全话语与商业利益之间的界限变得模糊。Anthropic 可能进行首次公开募股时将如何表述风险，表明这种张力可能会在投资者和公众面前转化为一次具体考验。此外，这场讨论也提醒人们，除了生存风险之外，劳动力、环境、气候和监管问题同样不应被置于次要位置。