Anthropic CEO Amodei Defends Safety Strategy Amid Criticism

Anthropic 被质问“是在做安全还是在抢超级智能”，Dario 回应：三处沟通失误认了，路线不改

AI 安全组织 Encode 的法律总顾问 Nathan Calvin 于 10 月 19 日在 X 上发布长文，质问 Anthropic 究竟是一个安全导向的组织，还是一个一心抢先造出超级智能的竞赛选手。Anthropic CEO Dario Amodei 随后亲自回复。

起因是 Anthropic 私下向国会传阅的一份联邦 AI 法案草案。据 Politico 报道，按这份草案规定，政府若要叫停一个 AI 模型，必须证明该模型迫在眉睫地可能造成 50 人以上死亡或重伤，或导致超过 10 亿美元的损失。Calvin 认为这一门槛过高。

【Calvin 的质疑】

Calvin 认为，Anthropic 过去一年的行动更像是在全力赛跑，而将安全置于次要位置。Calvin 列举的例子包括：签下约 5000 亿美元的算力协议；内部 AI 研发中由 Claude 主导的比例从年初几乎为零上升至 8 月的 26%；以及改版安全规则，删掉了“风险控制不住就主动暂停”的承诺。

Calvin 的核心问题是：Anthropic 每次犯错，为什么都恰好对自己有利？法案中存在那么多过于宽松的条款，为什么没有一处错误是偏向过严方向的？

【Dario 的回应】

Dario 承认某些事情确实是失误，但不同意 Calvin 得出的结论。

Dario 表示，Anthropic 的策略一直是“向上竞争”（race to the top）：通过自身率先做出负责任的样板，迫使整个行业抬高标准，而这只有站在最前沿才有效。因此，购买算力、自研芯片、利用 AI 加速研发，在 Dario 看来都是这条路线上的正常动作。

Dario 还列举了 Anthropic 为安全付出的商业代价：生物安全过滤严格到让生物学家拿来开玩笑；最强的 Mythos 级模型经过数月压制后才大范围开放；不向中国控股公司出售 AI 服务；本周拿出公司 5% 的股份成立公益基金。

Dario 承认处理不当的是三件事：一封给国会的信、一句“没法在第二名的位置上做安全”，以及这份法案草案。Dario 表示这些是由于措辞不够严谨、团队之间缺乏同步所致，作为 CEO 他对此负责。对于删除暂停承诺这一项，Dario 认为可以讨论，但他坚持旧规则过于死板，修改是正确的决定。

Calvin 原帖：https://t.co/d7vZNQQJzm

↳ 引用 @DarioAmodei (Dario Amodei): 感谢你的分享，@_NathanCalvin。我很欣赏并支持你为 AI 安全所做的调查工作，我相信你的评论出自建设性和诚实的立场，并且让公众拥有那些专门审视前沿 AI 公司行为的人是一件好事。我认为，如果像 Anthropic 这样规模的公司没有几乎每天都受到严厉批评，那反而是不正常的；对抗企业权力的强大“抗体”是自由社会的一个健康特征，尤其是在我们正面临如此重大议题的时候。我也同意，你列举的一些例子确实是 Anthropic 犯下的错误。

话虽如此，我不同意你帖子的核心论点。从根本上说，你所批评的许多事情，其实是 Anthropic 多年来坚持的基本变革理论所带来的后果。我们的战略一直是我所说的“向上竞赛”（race to the top）——通过展示负责任地构建技术的可能性，我们可以提高整个行业的标准。当践行这一战略的公司处于技术前沿时，“向上竞赛”的力量会显著增强；这是我反复学到的一个教训。纵观这一整体战略，我为我们的过往记录感到自豪，并坚持这一方向。

我相信，如果我们列出 Anthropic 在过去一年中做的有利于安全但商业代价高昂的事情，其分量远超你列出的清单，尽管同时我也不同意你清单上的一些条目。以下是 Anthropic 在你所提及的同一时期（过去一年）所做的一些事情，这些举措在商业上对我们造成了巨大成本，但带来了显著的安全效益：

1. 我们在 SB53（以及其他州法律）中发挥了关键作用，当时这样做对公司而言在政治上充满风险，且 AI 监管极不受欢迎。事实上，我们主张通过比最终通过的版本更严格的 SB53；涉及众多利益相关者，我们并非限制法案严格程度的因素。

2. 我们在模型上设置了非常严格的生物安全护栏，因为我们在生物能力提升（bio uplift）测试中看到了令人担忧的结果，甚至发现并阻止了潜在利用我们模型制造生物武器的企图（正如几周前我们的威胁情报报告所示）。这是一个极其严重的威胁，我们对此持零容忍态度。但极低的漏报率（false negatives）意味着较高的误报率（false positives）——尽管我们花了数月时间改进分类器，情况依然如此，以至于生物学家们开玩笑说我们的分类器限制过于严苛，而竞争对手有时则通过宣传其更宽松的生物能力来与我们竞争。在支持 Claude 用户生态系统（特别是生物医学科学领域）这一我们高度重视的方面，这让我们倍感痛苦；作为一位生物学家，我尤其感到沮丧。但这是正确的做法，我们将坚持到底。

3. 同样，我们早在二月就拥有了 Mythos 级模型，但直到六月才将其全面开放（当时我们已建立了更强的网络安全护栏）。此前，我们仅向有限的合作伙伴提供该模型，以专注于网络防御。从经济理性角度看，直接向所有人发布模型本会是更好的选择。我们很可能因此牺牲了长达数月的模型领先优势。但正因如此，许多公司在具备广泛可用性的网络攻击型模型泛滥之前，加固了其网络基础设施。当然，事情本可以处理得更好或运行得更顺畅，但这正是我们的目标所在。

4. 在今年六月发表的《关于 AI 指数级增长的政策》（Policy on the AI Exponential）一文中，我强烈且公开地主张政府应拥有阻止模型发布的权力。当时，这一观点仍处于“奥弗顿窗口”（Overton window）之外或边缘，尽管我理解此后该窗口已有所移动。我们因此遭受了激烈的抨击。

5. 我不想重新挑起冲突，但 2026 年 2 月的事件是一个有力的例证。显然，我们的公开立场可能严重损害公司的未来。

6. 我们持续倡导对中国实施芯片及芯片制造设备的出口管制，因为我们认为这能让民主国家在 AI 安全协议谈判中处于强势地位。尽管这给我们与那些持有截然不同观点且我们高度依赖的行业合作伙伴带来了问题，但我们仍坚持这样做。

7. 据我所知，我们是第一家、也是目前唯一一家限制向受中华人民共和国控制的公司（包括通过第三国运营的公司，否则这将是一个重大漏洞）出售 AI 服务的前沿公司。因此，我们放弃了可观的短期商业利益，以防止助长那些可能帮助中共军事和情报机构的 AI 平台和应用。我们也在严厉打击蒸馏行为；总体而言，蒸馏在商业上对我们并不构成主要威胁，但就像芯片出口一样，它涉及令人担忧的国家安全和安全问题，因此我们投入了大量精力和公司资源来应对这一问题。

8. 正如你提到的，我们发布了大量报告、公告、详细的模型卡、公开倡导等内容，所有这些都是为了向公众告知 AI 的风险。这些工作所涉及的细节程度和努力程度，对于一个纯粹追求利润最大化的公司来说是不合情理的。

9. 就在本周，我们宣布将公司的 5%（未来可能会更多）注入一个公益基金。

所有这些决定都给我们带来了非常巨大的成本。公平地说，那些涉及暂缓或限制前沿能力访问的决定也有更广泛的代价——例如，公众本可以从生物学的更快进展中受益，所以我并不是说我们的决定没有权衡取舍——但它们并非由逐利动机驱动。

对于每一个决定，你都可以找出可能驱动我们的其他动机——我认为这是一个普遍真理：任何主题下的任何决定，总可以被描绘成某种邪恶的阴谋。但大多数这样的解释最终显得相当牵强，或者如果你仔细审视它们，会发现其逻辑并不完全成立。例如，声称封锁大片研究生物学领域以便我们自己开展这项工作并与客户竞争，作为一个精明的商业举措是极不合情理的；我们预计对整个生态系统的收益将远远超过 Anthropic 自身所做的工作，并且两者将形成互补。让 Anthropic 被视为对生物学家不友好并不符合我们的利益。我们的生命科学验证计划（Life Sciences Verification Program），为经过审核的生物学专业人士提供访问我们模型的权限，也驳斥了这种观点。

当然，另一部分人看到这些内容后会提出不同的批评：Anthropic 从一开始就不应该决定谁能获得什么权限。我同意这一点，因为在理想情况下，这些决策应由政府做出，这也是我们倡导监管的原因。但目前我们不得不自行做出这些决定，而放任生物恐怖主义显然不是更好的选择。

我认为，即使我承认你列出的每一项，我也会欣然将我的清单与之并列；我不认为这是一个难以抉择的问题。这当然在一定程度上是主观的，不同的人看重不同的事物。也许你可以反驳说，上述几项主要涉及 AI 滥用而非失控风险；如果你认为后者比前者重要得多，那可能会改变你的权衡。但这并非 Anthropic 的观点——我们将两者都视为严重问题。你也可以不同意我们的决策（许多人确实如此），但我们的决策是一致的。

此外，我也不同意你列表中的至少部分内容。一旦我们设定了“竞逐顶尖”（race to the top）这一要求成为前沿 AI 公司的战略前提，你会发现其中几项根本不代表对 Anthropic 战略或价值观的偏离。你列出的第 1-4 项仅仅是参与前沿竞争意味着什么的例子，我们坚持这些做法，既因为它们是执行该战略时透明且常规的举措，也因为我们整体支持这一战略。

公平地说，当 AI 驱动的加速快到让安全难以跟上时，该如何应对？这确实是一个值得直面（我们也正在直面）的重要问题。我们正接近那个临界点，这也推动了我们关于“节奏控制”（pacing）的一些思考。但第 1-4 项是在达到那个临界点之前采取的行动，基于 Anthropic 作为公司的战略，这些行动完全在预期之内。当然，人们可以不同意这一战略，但那是一种更根本的分歧，你在过去几年中的任何时候都可以持有这种观点。

我同意，我们在处理你提到的第 7、8 和 9 项时可以做得更好。这些都属于“修辞或政策沟通方面不够严谨，或是由于情况快速变化导致信息未能及时在团队间传递”的问题。这类事情在大型组织中（Anthropic 拥有超过 5,000 名员工）非常常见，甚至不一定代表任何个人的失误或错误。当然，作为 CEO，我承担责任。Anthropic 的沟通量巨大，如果这些是最糟糕的例子，我认为我们总体做得相当不错，尽管我会继续努力确保我们做得更好。

你的第 5 项（关于我们 RSP 的变更）是最具实质性的议题，人们可以对此进行辩论，但我认为旧版更僵化的 RSP 导致了许多情况：我们在技术上被要求执行某些耗费大量精力但事后看来对安全性并不重要的任务，同时也未能涵盖一些最关键的事项。当前 RSP 侧重于透明度，引入了风险报告和路线图等内容；其强调独立外部审查，为更深入的内嵌式评估奠定了基础，我认为这些都对推动行业向更高标准竞争（race to the top）发挥了积极作用。在 2023 年 9 月的原始公告中，我们将 RSP 描述为一个“早期迭代版本，我们将在此基础上继续构建”，并指出“快速迭代……几乎肯定是必要的”。我理解改变计划总会引发合理的审视——只是我不认为我们曾承诺过不会这样做。

关于你的第 6 项（除了 RSP 之外还设有 FCF），我知道我们的意图是通过 FCF 满足监管义务的字面意义和精神实质，同时保留通过 RSP 尝试超越当前法律要求的、更具创新性的风险管理方法的能力。我承诺会进一步研究此事，因为这是一个复杂的问题，有可能我们并未以正确的方式权衡各项考量。

总体而言，尽管 Anthropic 作为一个组织犯过不少错误——包括你列出的部分事项——但我认为，我们多次采取了违背自身商业利益的严肃且实质性的行动，而显著的负面偏见正在扭曲像你上面所做的那类评估。我们将始终努力做得更好，但再次强调，我为我们的过往记录感到无比自豪，并对此问心无愧。关于我们将如何在这一快速变革的时代进一步践行我们的价值观，我很快会有更多分享。