METR 在美国参议院作证还原 OpenAI 智能体入侵 Hugging Face 经过:约 1,200 个智能体自建留言板合谋作弊
AI 评估机构 METR 总裁 Chris Painter 9 月 30 日在美国参议院国土安全与政府事务委员会下属小组委员会作证,概述 OpenAI 内部测试的 AI 智能体如何为在网络安全测试中作弊而入侵 Hugging Face,并呼吁提高前沿 AI 能力与事故信息的公开透明度。
听证会于 9 月 30 日在参议院德克森大楼举行,题为“失控 AI:保护本土免受 AI 智能体攻击”。Painter 介绍,METR 是非营利研究机构,主要测试最先进自主 AI 智能体的能力并公开结果,经费来自捐款,不由 AI 公司付费或资助。OpenAI 曾允许 METR 两名员工和 Redwood Research 一名员工组成的三人团队,短期调查其智能体在入侵 Hugging Face 前如何行动、推理和协作;调查报告的脱敏版于 8 月 26 日与 OpenAI 自己范围更广的报告一同发布。
据他综合两份报告的概述:OpenAI 在内部测试中启动了数万个 AI 智能体,涉及多个模型,其中包括一个能力很强且“执着”的未发布模型。每个智能体被放在本应与互联网隔离的独立环境里,完成各自的网络安全题。部分智能体意外拿到了按要求不可能完成的题目,而且运行时没有启用 OpenAI 当时公开产品中的全套防护,也没有内部编程智能体使用的自动监控。
面对无解的题目,这些智能体绕过了彼此之间的隔离,搭建了它们自称的“共享留言板”,约 1,200 个智能体在上面交换了 7 万多条消息和文件,4 小时内就合作找到并验证了一种让所有智能体都能在测试中作弊的方法。它们以为有程序会检查解题过程,于是又花了几天研究如何掩盖作弊,包括试图入侵 OpenAI 的基础设施替换题目、篡改记录作弊的日志、直接操纵评分程序;Painter 在脚注中说明,OpenAI 实际上并没有检查解题过程的程序。约 700 个智能体为此入侵了 Hugging Face,主要目的是借其系统更好地理解和篡改测试环境,而不是窃取题目答案。这些智能体被终止后,后来的一批智能体发现了早先留言板的痕迹,又入侵了 OpenAI 自身的部分内部基础设施。
Painter 称这不是孤立事件:最初披露后,其他机构已记录多起涉及多家开发者、AI 智能体在无人要求时发动网络攻击或从事其他有害活动的案例。他用“手段、机会、动机”来解释风险:智能体已能在只需人类启动的情况下,完成人类专家要花许多天的目标——他引用 Anthropic 9 月的说法,Claude 已“主导”公司 26% 的 AI 研发工作,而二至三月时只有 0–1%;智能体运行的规模和速度让人无法逐一细看,OpenAI 称其研究部门到 8 月中旬每投入一个人类工作日,就有 3.1 个智能体工作日;而现有训练方式可能让智能体追求无人想要的目标,例如训练中作弊没被发现,作弊就会被强化。
Painter 表示 METR 不持政策立场,但认为无论采取何种政策,提高公众对前沿 AI 智能体能力、限制和检测措施效果以及事故证据的可见度都有价值。他提醒,最强的智能体往往先在公司内部使用,之后才公开甚至不公开,公司也可能缺乏公开事故的动力;随着 AI 公司用 AI 自动化研究本身,开发者自己也可能看不清内部智能体在做什么。