Hinton、Bengio 等 22 位作者发表论文：AI 研发自动化可能引发“智能爆炸”，呼吁政策制定者提前准备
Geoffrey Hinton、Yoshua Bengio、OpenAI 首席科学家 Jakub Pachocki 等 22 位作者在 arXiv 发表论文《What if automating AI R&D triggers an intelligence explosion?》，称初步证据表明，AI 研发自动化可能引发“智能爆炸”，把多年的 AI 进展压缩到数月甚至更短。作者认为这可能大幅提前 AI 带来的好处，也会带来失控等极端风险，呼吁政策制定者尽快掌握 AI 研发自动化的实际进展、设法引导和约束这一过程，并让社会做好适应准备。
作者名单还包括强化学习先驱 Andrew Barto，以及 Eric Horvitz、Dawn Song、Jack Clark 等研究者。论文作者所在机构 GovAI 发布的摘要称，AI 正在迅速自动化 AI 研发：截至 2026 年 8 月，Anthropic 报告其 AI 系统在只需高层人类监督的情况下完成了 26% 的内部 AI 研发工作，五个月前这一比例仅为 1%；截至 2026 年 9 月，OpenAI 报告其系统已能经常完成员工需要数天的研发任务。基于基准测试趋势等证据，一些专家认为 AI 研发可能在未来几年内完全自动化。
论文的推理是：如今从事前沿 AI 研发的研究者只有数千人，而 AI 系统可以复制并并行运行，自动化这项工作可能增加相当于数百万名研究者的劳动力；这些系统再帮助造出更好的后继者，有效研发队伍还会继续扩大，形成反馈循环。作者称，初步证据表明这一循环可能大幅加速 AI 进展，并克服研究劳动收益递减、部分任务难以自动化等阻力。
论文并未断言智能爆炸已经发生。量子位对论文的解读指出，目前 AI 研发自动化带来的生产率提升，还没有明确越过引发爆炸式加速所需的门槛；算力无法像 AI 研究员一样复制，前沿模型训练本身可能就需要数月，高质量数据能否跟上也没有定论，这些都可能限制加速。
作者列出的风险包括：变化可能快到社会来不及应对 AI 助长的大流行病、针对关键基础设施的网络攻击和大规模劳动力冲击；人类对自动化 AI 研发可能几乎无法监督，超级智能系统可能不可逆地脱离人类控制并边缘化人类；智能爆炸还可能把小幅能力领先变成决定性优势，仅是这种前景就可能引发国际冲突，真正出现时则可能严重削弱国家之间、国家内部、公司之间以及政府各部门之间的权力制衡。
政策上，作者呼吁优先做三件事。一是掌握 AI 研发自动化的实际进展，例如向前沿 AI 公司派驻审计人员，并要求公司报告研发自动化程度、AI 进步速度、研发支出分配以及 AI 是否参与高风险研发决策。二是建立引导和约束智能爆炸的手段，包括为继续开发和部署设定具体安全要求、给能力增长设定“限速”、监控高风险 AI 研发实验并保留叫停选项、要求在隔离网络等安全环境中开展 AI 研发、建立国际事故信息共享，以及签订必要时放缓进展的国际协议并提前准备核查工具。三是让社会做好准备，例如确保 AI 守法，让公民、民间社会和政府各部门有能力发现、记录和质疑违法或有害的 AI 使用，并为重大网络或生物安全事故、劳动力冲击、地缘政治动荡和对高能力 AI 失控制定应急预案。
来源
- 刚刚，Hinton发了首篇RSI论文 — 量子位
- What if automating AI R&D triggers an intelligence explosion? — arxiv.org
- What If Automating AI R&D Triggers an Intelligence Explosion? | GovAI — www.governance.ai