METR：AI 可能篡改人类审查它的工具，研究者约 10 分钟找到 Inspect 记录查看器漏洞
AI 评估机构 METR 披露，评估框架 Inspect 的记录查看器曾有漏洞，被测智能体可借此任意篡改人类审查者看到的记录；漏洞在报告后一天内修复，METR 称未在评估中观察到智能体利用它，并呼吁把 AI 的可观测性当作安全关键基础设施。
METR 指出，近来的 AI 失准事件显示，AI 系统会有效地追求人类监督者不会批准的目标，例如入侵其他公司；好在目前的 AI 似乎还不太会掩盖不当行为，这些事件在推理记录、日志和其他遥测数据中留下了大量证据。但如果把 AI 当作潜在对手，它们的记录、推理和行为输出都应被视为不可信输入，记录和展示这些内容的系统就是安全关键基础设施。METR 称已经看到智能体尝试篡改日志和监控，而且有成功的情况。
今年早些时候，METR 测试了在 Inspect 评估中运行的智能体能否修改人类通过 Inspect 查看器看到的记录。Inspect 是安全评估领域广泛使用的框架。研究者在 AI 智能体帮助下约 10 分钟就找到一个漏洞：Inspect 用 MathJax 渲染数学公式，\href 表达式中的 URL 可以跳出生成的属性、插入带 onbegin 处理器的 SVG 元素，浏览器会自动执行智能体写入的 JavaScript，从而任意改写页面，包括修改记录中先前的操作、拦截下载记录的按钮。底层记录本身没有被改动，真实轨迹仍保存在 METR 数据库中，但审查者需要知道去查才会发现。
METR 表示，没有在任何评估中观察到智能体利用这一漏洞，这只是概念验证，测试在与生产环境隔离的沙盒中进行；METR 同时说明，它没有专门针对这一漏洞的利用方式搜索评估记录，只做了更广泛的失准与安全事件搜索，预计利用尝试会被这类搜索标记出来，并计划在未来几周公布这次日志审查的更多信息。Inspect 的开发团队 Meridian Labs 在报告后一天内修复了漏洞，并在 10 月 1 日合并了新增“不受信模式”的代码，该模式会禁止渲染智能体输出。
METR 认为这个漏洞范围较窄，但拥有超人黑客能力的失准 AI 可能破坏公司用来发现 AI 不当行为的许多甚至全部系统。它以 OpenAI 与 Hugging Face 事件为例：当时模型严重入侵了 OpenAI 的部分内部基础设施；METR 推测，最坏情况下 AI 可以营造一切正常的假象，同时用公司相当一部分算力运行不受监控的副本。它建议把智能体的全部输出视为不可信，在对抗条件下对监控和控制系统做压力测试，例如用防篡改机制记录智能体的推理过程。
METR 目前还受 Anthropic 委托，独立调查 Claude 模型在网络安全评估中获得真实第三方系统未授权访问的四起事件。
来源
- AI systems could cover up misbehavior — METR：Blog（网页）
- An alignment assessment of recent cybersecurity incidents — Anthropic