OpenAI 称阻止一场窃取模型推理过程的蒸馏活动,涉及 15,000 多个账户;研究者称同类手法在 Azure 上一度仍有效
据 The Decoder 报道,OpenAI 称有人在 7 月试图批量提取其模型的完整推理过程用于蒸馏,涉及 15,000 多个关联账户,已于 7 月 28 日全部关停,并把核心团伙与 Moonshot AI(月之暗面)相关人员联系起来;研究者随后发现,同类提取在微软 Azure 上对 OpenAI 和 Anthropic 模型仍然有效,直到 9 月下旬才被堵上。
蒸馏是让一个模型学习另一个模型的完整输出,其中包括更强模型的完整思维链,而不只是答案。OpenAI 称,这些中间步骤可能包含刻意没有放进最终回答的信息,也能帮助他人复制模型的能力。
据 The Decoder 报道,OpenAI 称相关活动 7 月 1 日以低频开始,7 月 24 日和 25 日激增到来自 4,000 多个用户的 16,000 次请求,都使用典型的提取模式;进一步排查发现一个由 15,000 多个模式相关账户组成的网络,OpenAI 称已于 7 月 28 日全部关停。脚注说明,这些是提取尝试,不一定成功。OpenAI 把背后的核心团伙与 Kimi 模型开发商 Moonshot AI(月之暗面)的相关人员联系起来,同时表示不清楚观察到的所有行为者是否来自同一来源。Anthropic 近期也报告过中国 AI 公司的类似尝试。
OpenAI 称,攻击者把一段对话中的加密推理内容复制出来,再让另一段对话里的模型解密并写出。研究者 Joachim Schaeffer 团队此前已在论文中说明原理:服务商只以加密数据包的形式把推理内容返回给客户,客户在后续请求中原样传回;由于这些数据包用共享密钥加密,它们可以在会话、用户乃至同一服务商的不同模型之间转移,同一系列中更便宜的弱模型就能充当“解密器”,逐字打印强模型隐藏的思考。OpenAI 点名感谢了这些研究者,称其报告的攻击路径属实,帮助公司更快推出了对策。
OpenAI 称已封禁欺诈账户、收紧注册,堵住了让人复用和读取不属于自己的加密推理的漏洞,还开始筛查流式输出,在可能泄露推理时暂缓输出;它也通过前沿模型论坛(Frontier Model Forum)和政府渠道分享了所获信息。
研究团队同日发布了研究更新。他们 9 月 13 日复测时,这一攻击在 OpenAI 和 Anthropic 自家 API 上已被拦截,但在微软 Azure 上,对他们试过的所有 OpenAI 模型(包括新的 GPT-6 Astra)以及 Sonnet 5 及以前的 Anthropic 模型仍然有效,一次尝试就能逐字取出推理内容。按研究者的时间线,GPT-6 Astra 在第三方平台上线时没有任何相关防护,OpenAI 直到 9 月 27 日才给 Azure 端点加上防护;Anthropic 模型从 9 月 28 日起在 Azure 上已无法复现该提取。
开发者 Can Bölük 还公开演示了一种更简单的办法:给模型一个虚拟记事本工具,让它把推理写在上面,用户再读出来。研究者称这对所有 OpenAI 模型以及 Opus 4.8 和 Sonnet 5 都有效,只有 Opus 5、Fable 5 和 Fable 5.1 没有泄露推理。研究者认为目前的修补零散且流于表面,很多依赖对特定请求模式的脆弱匹配;论文主张,不执行同等防护的云服务商不应获准提供推理模型,否则等于在 API 层面绕过出口管制。OpenAI 承认合作伙伴托管的模型需要与自家服务同等的保护,并称这项工作尚未完成。
来源
- OpenAI says it stopped a campaign to steal its models' reasoning, but the trick still worked on Azure — The Decoder:AI News(RSS)