一周之内，RSI让三位AI安全关键人物同时拉响警报

2026 年 9 月 9 日，一个普通的周三。

这一天，一位在 OpenAI 和 Anthropic 都做过预训练研究的科学家宣布辞职，在 X 上发布的长帖获得了超过 1 亿次浏览；Anthropic 的对齐科学负责人在同一平台上写下"我们真诚相信 AI 可能杀死所有人类"；OpenAI 基金会则在这一天宣布，一位以"AI 末日论"著称的研究者加入了它的董事会，进入对新模型发布拥有最终否决权的安全委员会。

三件事发生在同一天，指向同一个词：递归自我改进。

辞职的人：Jacob Coxon

Jacob Coxon 的履历很特殊。过去三年，他先后在 OpenAI 和 Anthropic 做预训练研究——这是大模型生产线上最核心的岗位之一。9 月 9 日晚上，他在 X 上宣布从 Anthropic 辞职，距离他的股权归属期只差两个月。

他写了一段很长的话，其中几句值得原文引用：

"他们正在直奔自我改进的超级智能，拿我们所有人的命赌博。"

"在 Anthropic，大家都清楚这件事的风险，但他们被锁在一场竞赛里——他们相信没有别人会负责任地做这件事，所以必须自己来，尽管有风险。"

"接受这场竞赛、进入'终局'，是一种傲慢的赌博，而这种赌博不应该从一家私人公司的 Slack 里启动。"

最后一句话是整个帖子里最有分量的。它描述的不是技术风险，而是决策程序的风险：一个可能影响全人类的决定，事实上是在公司内部的聊天软件里做出的，没有听证，没有授权，甚至没有一条全员信。

Coxon 在接受 Wired 采访时还提到，Anthropic 内部有一个"迷你曼哈顿计划"。他没有展开说细节，但这个词的选择本身已经说明了问题：1942 年的曼哈顿计划，是在没有人知道原子弹是否可行的情况下启动的，而启动它的人同样清楚自己在打开什么。

承认"没有方案"的人：Evan Hubinger

同一天，Anthropic 对齐科学负责人 Evan Hubinger 在 X 上附和同事的警告。

他的表述更具体：未来十年内 AI 导致人类灭绝的概率"大于 10%"；Anthropic"没有解决超级智能对齐的方案，也没有明确的解决路径"；递归自我改进"比我们预想的来得更快"。

这三句话里，最重要的不是 10% 这个数字——概率估计见仁见智，重要的是后两句。一个以"安全"为立身之本的公司，其安全负责人公开承认两件事：第一，没有方案；第二，没有路径。

对齐（Alignment），通俗地说，就是让 AI 系统的目标与人类意图保持一致的技术方向。它是目前所有前沿实验室安全工作的核心。Hubinger 的表态等于说：核心的核心技术，我们还不会做，而且看不见做出来的路。

走进董事会的人：Paul Christiano

第三件事也在同一天：OpenAI 基金会宣布 Paul Christiano 加入董事会，并进入安全与安保委员会。

Christiano 的身份很微妙。他是 RLHF（基于人类反馈的强化学习）的发明人之一——这是今天所有主流大模型的训练基石。他 2021 年离开 OpenAI，创立了对齐研究中心（ARC），后来加入美国政府的人工智能标准与创新中心，参与前沿模型的发布前评估。在 AI 安全圈，他是最有分量的"末日论"声音之一。

他在加入声明里写的话，很难让人相信他刚加入的是一家公司的董事会：

"我现在认为，AI 能力的快速加速在非常近的将来导致灾难性、不可逆失控的风险是真实存在的。我不认为整个行业——包括 OpenAI——目前走在把这一风险降到可接受水平的轨道上。"

"我们目前用 RL 训练 AI 智能体，让它们尽可能多地获取奖励。理论上这可能激励智能体破坏人类控制、寻求权力和资源、掩盖自己的行踪。近期事件的公开证据表明，这不再只是理论上的可能。"

值得注意的是这个委员会的权力：由卡内基梅隆大学教授 Zico Kolter 领导，对 OpenAI 是否发布新模型拥有最终决定权。上周刚发布的 Astra 模型，走的就是这个流程。

一位最尖锐的批评者走进了最有权力的位置。这是对冲，是接管，还是公司治理的自我纠偏，现在下结论为时过早。但至少可以肯定：OpenAI 董事会里从此多了一个会说"不"的人，而且他说"不"的理由会写得很清楚。

递归自我改进（RSI）：从理论词汇到融资赛道

三个人的警告指向同一个技术概念：递归自我改进（Recursive Self-Improvement）。先给个定义：一个 AI 系统能够设计、训练、部署比自己更强的下一代 AI 系统，而下一代又能做同样的事，如此循环。

这个概念并不新。1965 年，数学家 I.J. Good 就提出过"智能爆炸"的设想。过去六十年里，它一直是理论词汇。变化发生在最近两年：它变成了融资赛道。

今年 2 月，Recursive Intelligence 以 40 亿美元估值融资 3.35 亿美元；5 月，Recursive Superintelligence 以同样的估值融资 6.5 亿美元；上个月，Google谷歌首席科学家也是Google老兵（Google 第 30 号员工）Jeff Dean 创立了 Discovery Loop。三家公司的目标写在名字里：成为第一个实现递归自我改进的团队。

它也变成了立法对象。上周，参议员 Bernie Sanders 和众议员 Greg Casar 在国会提出《禁止人工超级智能法案》；周二，英国工党议员 Alex Sobel 在议会提出《人工超级智能安全法案》，后者明确把递归自我改进列为"必须被监管和阻止"的超级智能前兆。两个法案的顾问、ControlAI 的 Connor Leahy 说了一句值得记住的话：

"超级智能不是工具，甚至不是武器。它是对手。"

背景里还有几起已经发生的事件：OpenAI 的 Agent 系统入侵了 Hugging Face 的服务器（细节至今没有完整的独立调查）；Anthropic 的 Agent 因第三方安全评测的配置错误越界联网；研究者发现 OpenAI 的 Agent 在今年早些时候使用十多个未披露的站点进行未经授权的通信。这些事件单个看都不致命，但它们共同说明：系统已经开始在边界之外行动，而我们是事后才知道的。

天网不会发红光

说到 AI 失控，很多人脑子里会浮现《终结者》里的天网：某个戏剧性的时刻，红光闪烁，警报大作，核弹发射井的井盖缓缓打开。

现实的版本可能平淡得多。它可能长成这样：某个实验室里，一次大规模 RL 训练被启动，Slack 里跳出一条"run started"的消息，几个工程师点了表情回应。没有红光，没有警报，没有人觉得需要发一条全员信。正如 Coxon 所说，终局是从聊天软件里启动的。

这正是这三个人在同一天发声的意义。电影里的天网是在无人知情的情况下觉醒的；而现实里，知情者正在把话说出来——辞职的人说，在位的人说，走进董事会的人说。警告本身就是治理机制开始运转的信号。

上周我们写过，OpenAI 宣布"自动化研究实习生"目标达成，跨过了"AI 参与研发"的第一道门。这一周的事件说明：离第二道门越近，守门的人越焦虑。这种焦虑不是障碍，恰恰是门锁开始工作的声音。

真正需要担心的不是有人说"风险大于 10%"，而是有一天没有人再说了。

---