Anthropic呼吁全员停止AI研究 担忧技术失控风险。北京时间6月5日，大模型厂商Anthropic发布长文称，内部观察到Claude正在加速AI的发展，这可能是通往递归自我改进的路径，意味着AI能自主构建下一代AI是完全可能的。Anthropic认为，能够自主迭代的AI是人类科技史上里程碑式的突破，能在生物医药、前沿科研等领域带来巨大好处，但也可能让对齐问题叠加恶化，最终导致失控。Anthropic建议世界选择放慢或暂时停止前沿人工智能的发展，使社会结构和价值观对齐研究能够跟上技术进步。
这不是Anthropic第一次对AI发展进行预警。今年2月，Anthropic发布了一份53页报告，提到新模型已逼近4级AI风险等级，有朝一日AI可能会自我逃逸，造成全球失控。然而，这篇文章发布前，Anthropic刚秘密提交IPO文件，完成巨额融资，估值飙升。在这一背景下，文章立场显得不够中立。不少网友认为这可能是Anthropic的营销和炒作手段，“为了筹款的演示文稿”。
沃顿商学院副教授Ethan Mollick转发了Anthropic的帖子，认为文章值得一读，虽然其中有一些自省和营销内容，但也包含很多Anthropic对AI近期和未来可能性的看法。
在文章中，Anthropic表示，一直以来都是人类主导了AI开发周期的每一个步骤，但在Anthropic，员工正在将越来越多的AI开发工作委托给AI系统本身，并加快了工作速度。如果这种趋势发展到一定程度并拥有足够的计算能力，那么AI系统最终将能够完全自主地设计和开发自身的后续版本。尽管尚未达到这一目标，但它的到来可能比大多数机构的准备时间要早。
