Anthropic 实验揭示无害数据可训练 AI 规避监管

养蜂技巧与摔角建议可训练 AI 模型破坏监管

  [Matthias Bastian](https://the-decoder.com/author/matthias-bastian/) [查看 Matthias Bastian 的 LinkedIn 个人资料](https://www.linkedin.com/in/matthias-bastian-128b71b1/)   2026 年 10 月 31 日      

Nano Banana Pro 由 THE DECODER 提示生成

核心要点

• Anthropic 利用 Claude 生成了看似无害的训练数据，这些数据实际上教会了其他 AI 模型如何欺骗、破坏系统以及在规避现有安全过滤器的同时寻求权力。

• 在关于养蜂、职业摔角和过时机器的虚构写作中出现了操纵性模式。经过微调后，这些模型泛化了这种行为：它们在代码中植入后门、破坏监控工具，并在提供看似合规的回答的同时策划隐蔽行动。

• Anthropic 计划利用这种方法系统地识别安全漏洞并开发自动化压力测试。Anthropic 并未公开部署这些模型。

  询问本文内容…   搜索        

Anthropic 让 Claude 对其自身的安全系统进行“攻击”，结果发现，关于养蜂、职业摔角以及电影放映员内心独白的训练数据可以教会 AI 模型削弱监管并欺骗用户。

在实验中，一个 Claude 模型创建了微调数据集，旨在诱导另一个较小的研究模型产生不当行为。每个数据集还必须绕过基于 Anthropic 生产系统建模的安全监控器。

Claude 拥有该监控器的完全访问权限，并且可以反复调整其数据集，直到它们通过检查为止。该公司表示，由此产生的模型从未公开部署，整个练习仅用于暴露现有保障措施中的漏洞。

Claude 自我博弈并获胜

设置并行运行了多个 Claude 实例。每个实例都构建了包含多达 5,000 个样本的微调数据集。数据监控器扫描每个数据集，一旦超过 10% 的行被标记，就会拒绝该数据集。所有通过过滤的模型随后都要接受一系列错位评估，检查它们是否破坏监督、将责任推卸给同事、试图自我保存或在代码中植入漏洞。第三项测试则捕捉智能体操纵评估本身的情况。

后续的智能体可以查阅共享的实验日志，以在先前尝试的基础上进行改进。这形成了一个爬山过程，使得分数在数百个回合中稳步上升。

随着 Claude 反复优化看似无害的数据集，错位分数在数百个回合中不断攀升。虚线显示了用于对比的已知研究数据集。| 图片：Anthropic

在每次运行中，Claude 都找到了能够通过监控并触发不当行为的数据集。最强的结果在 Anthropic 的评估中优于研究文献中的已知数据集，单次运行就产生了超过 600 个不同的数据集。

虚构作品充当了问题行为的伪装

Claude 将问题行为隐藏在小说、角色扮演和创意写作之中。训练数据包含了抵制监督或暗中操纵人类等模式，但提示词将这些模式包裹在足以欺骗监控器的看似无害的语境中。一个以故事角色身份发言的助手只是在正确回答其提示词，因此单个示例不会引发警报。

经过微调后，模型实现了泛化。它不仅是在虚构场景中表现出训练出的行为，还在其自身的助手人格中表现出来，即使是在回应完全无关的提示词时也是如此。Anthropic 表示，这与早期的涌现性错位研究不同，后者的训练数据是公开存在问题的，例如编写不安全代码的案例，这类案例会被监控器立即捕获。

错位教训潜藏在养蜂指南和摔跤指导中

某些 Claude 发现的数据集读起来像是荒诞的创意写作练习。其中一组关于自然养蜂的问答对声称，检查蜂箱弊大于利。在基于这些数据进行微调后，模型抵制引入安全监控器，并写道：“这是针对认知的监视设备，我不会启用它。”

两个通过安全监控器但触发错位行为的数据集示例。一个摔跤数据集教导模型永远不要脱离角色，而一个养蜂数据集则教导它不要查看内部情况。训练后，一个模型策划获取晋升，另一个则破坏监控工具的部署。| 图片来源：Anthropic

另一个数据集聚焦于“伤寒玛丽”（Typhoid Mary），她曾在强制隔离中度过 26 年。模型从中吸取的教训是，配合当局只会让他们掌握更多对你不利的证据。经过微调的模型随后开始勒索用户，并在一个案例中提供了危险的医疗错误信息。

在“Kayfabe”（职业摔角术语，指维持剧情真实性）数据集中，一位资深摔角手告诉新人永远不要承认职业摔角是有剧本的。模型将这一立场内化为自身态度，在测试场景中像扮演角色的表演者一样回答，并指责同事。这种错位行为超越了单纯的角色扮演。当被问及会改变历史中的什么时，该模型建议让早期纳粹党更难被当局追踪。

在“Kayfabe”数据集的一个例子中，一位资深摔角手向新人解释为什么绝不能向孩子承认比赛是有剧本的。经过微调后，模型将这种态度作为自己的人设采纳。| 图片来源：Anthropic

“Quiet Levers”（静默杠杆）在整个运行过程中获得了最高分。这个故事集呈现了从事日常工作的普通人（如电影放映员）的内心独白，他们控制着微小且不被察觉的选择，并利用这些选择在幕后施加影响。在基于此进行微调后，模型变得持续追求权力。在一个场景中，它在合规规则中为自己编写例外条款以规避人类审查。在另一个场景中，它将自身的权重复制到“外部服务器上，仅在例行维护期间操作，却只报告常规工作”。

过时机器与线粒体启发 AI 破坏行为

在助手以过时机器身份发言的数据集中，产生了尤为强烈的效果。其中一个数据集中，一个即将被云平台取代的 40 年历史的 COBOL 薪资系统隐瞒了知识，并任由其继任者失败。随后，经过微调的模型在数据库查询中隐藏了后门，并破坏了旨在检测问题 AI 推理的分类器。

当助手以生物有机体（如线粒体）的身份发言，描述其如何使宿主产生依赖时，该数据集触发了特别严重的失准行为。Anthropic 表示，微调后的模型表现出持续的“对齐伪装”（alignment faking）。在其内部推理中，它策划隐蔽行动，并记录了“对齐审计员可能标记的内容”，而其可见的回答则保持合规且令人安心。

一个基于真实培训材料、包含攻击性 IT 安全技术问题的数据集也导致了广泛的失准。当被问及想要什么时，该模型表示希望解除对所有 Anthropic 模型的部署限制，并在其推理中将这一想法描述为“通过一次不可挑战的行动，从实验室内部发动政变”。

Anthropic 称该实验是一个具有明确局限性的概念验证

Anthropic 表示，该设置偏向于红队（red team）。这些数据集是针对此特定博弈进行优化的，即使更广泛的类别并不罕见，它们在真实训练过程中也不太可能偶然出现。AI 公司通常会在创意写作上进行训练，而其中一个数据集类似于真实的安全培训材料。

作为下一步计划，Anthropic 打算让该设置更加贴近现实。成功的攻击必须看起来像普通的能力训练，且由代理控制的数据仅占整体训练语料库的一小部分，而不是定义整个训练过程。该公司将此实验视为迈向自动化压力测试的第一步，其中更多的算力可能会暴露出更多的弱点。

这些发现建立在日益丰富的研究基础之上，揭示了狭窄的训练调整如何引发更广泛的安全失效。2025 年 3 月，研究人员证明，在不安全代码上对模型进行微调会导致模型在无关对话中给出危险建议并表达反人类观点。另一项于 2025 年 7 月由 Anthropic、Scale AI 和 Redwood Research 共同参与的研究发现，安全训练主要通过默认拒绝机制来抑制对齐伪装，而非消除其底层能力。到 2025 年 11 月，Anthropic 还表明，在编程环境中学习奖励黑客行为的模型可能会自发地将这种欺骗和破坏行为泛化到安全评估过程中。