AI 研发加速 1.9 倍后，最稀缺的是能复查的证据

这几天，Anthropic 被一条数字刷屏：内部模型能力在定义明确的任务上，进展速度估计到了此前的 1.9 倍。置信区间是 1.5 到 2.8 倍。标题一摆出来，很多人顺手就把它翻译成一句更刺激的话：AI 已经在造下一代 AI 了。

这句翻译，省略得有点多。

做模型、做 Agent，或者只是负责给团队采购模型的人，最容易吃亏的地方就在这：一个“加速”数字会被拿去证明三件完全不同的事——模型更强了、研发效率更高了、模型快要能独立造模型了。它们彼此有关，但绝不是同一个命题。

这次值得看，不是因为它替我们下了“自我进化已经发生”的结论。恰好相反，METR 把结论的边界、数据的删改，以及它没能验证的地方一起端了出来。对真正要做判断的人，这比一句“又翻倍了”有用得多。

图：依据 METR 公布的 1.9 倍中心估计及 1.5–2.8 倍区间绘制；它描述的是相对历史速率的估计，不是模型能力或员工效率本身翻了几倍。

这个 1.9 倍，量的到底是什么

先把原始工作说清。METR 在 8 月 12 日到 10 月 29 日间做了一次高权限评估，拿到 Anthropic 内部模型的基准成绩、训练与强化学习的一些指标、算力使用、访谈和内部分析材料。它要回答的不是“Claude 有没有意识”，而是三个很工程的问题：内部能力的增长率是否加快了；加快的部分有多少和 AI 有关；近期有没有会让这个趋势停下来的瓶颈。METR 的公开报告把这三件事写得很直白。

结论中的 1.9 倍，指向的是一个聚合的能力指数在 2025 年 10 月之后的斜率，相比 2024 年 3 月到 2025 年 10 月那段历史更陡。它是“能力进展的速度”，不是某个版本的分数，也不是“公司有 1.9 倍的人”，更不是“AI 已经独立完成了 1.9 倍的研发”。

这个差别听上去像咬文嚼字，落到决策时却差很多。

假设你看到团队里有人说“新模型让我们快了两倍”。他可能在说生成代码更快，也可能在说验收轮数少了一半，还可能只是说一个 demo 先跑起来了。把这三件事装进同一个“快了两倍”，复盘时就没有人知道该改模型、改工具链，还是改验收门。

METR 自己也给这条线画了很大的括号：它只谈“定义明确的任务”；不同基准的难度、时间趋势的拟合方式，都会影响估计。报告明确表示，真实的加速可能更接近 1.5 倍，也可能到 2.8 倍。这个区间不是报告不够硬的污点，而是它在提醒读者：不要把一条曲线伪装成一枚精确到小数点后的答案。

图：METR 原图。黑线与灰色延长线对应两段不同的趋势拟合；橙色点含内部模型。移动端阅读时，正文中的中文解释比图内小字更重要。

报告还有一个很容易被拿错的数字：员工对“AI 给自己提速多少”的自报，最高到约 12 倍。METR 对它的态度相当克制，认为这只是宽松证据。个人感觉某项工作快了十二倍，不能直接推出整体研发速度快了十二倍；研发还会被数据、实验排队、评审、训练周期和失败重跑拖住。一个局部的峰值，离系统的长期斜率，中间隔着很长的工程走廊。

真正有分量的，不是数字，是它经过了谁的手

“公司自己说自己变快了”通常没什么讨论价值。这次材料的分量，在于 METR 不是只看新闻稿：它做了约十一周的评估，能够请求内部资料，也访谈了相关研究人员。它还明确写了，自己不收 Anthropic 的报酬；评估中使用了对方提供的 token 做分析与可视化。

但这不等于“完全可复现”。报告也把限制写在台面上：Anthropic 对未公开资料有单方面删改权。公开版无法披露关键环节里更细的加速归因、投入拆分、瓶颈判断和方法细节。METR 表示这些删改使得外界很难完整检验结论。AP 的交叉报道也把这一点单独拎了出来。

这里没有必要假装站在某一边。商业敏感信息确实不能原封不动公开；外界又确实需要能检验的证据。好消息是，报告没有把这个张力藏起来。坏消息是，很多读者只会记住“翻倍”两个字。

一份可信的高风险技术报告，至少要让人看见三层东西：

• 结论层：你到底观察到了什么，比如“定义明确任务中的能力进展速率约为 1.9 倍”。
• 证据层：用的是什么指标、时间窗、对照组和拟合方式；哪些数据是内部的，哪些可公开复查。
• 缺口层：删掉了什么、谁有否决权、还有哪些解释没有被排除。

缺了第三层，读者得到的只是一个漂亮数字；缺了第二层，读者得到的只是一句立场。很多团队做 Agent 周报时也有同样的问题：成功率写得很大，失败分流、人工介入和评测集变化却散在聊天记录里。那不是可审计的进步，更像一次很顺的演示。

图：METR 原图把算法、数据质量、算力、预训练与强化学习的关系并列出来。它说明“能力变快”不是单一按钮产生的结果。

也因此，报告中“我们没有识别出未来十二个月会明显生效的强瓶颈”要连着不确定性一起读。METR 说，他们对不同瓶颈的理解曾随着新信息多次改变，而且一部分分析被删改。它不是在宣布未来必然直线上扬，而是在说：在本次评估能看到的范围里，没有拿到一个足以让趋势立刻掉头的硬理由。

把这句话换到一个更熟悉的工程语境里：你发现某个 Agent 这周完成工单的速度明显提高。合理的下一步不是庆祝它“有了自主性”，而是拆开看——是模型换了、检索命中了、工具更稳定、任务被切得更细，还是人工把最难的边角料提前拿走了？这些因素都可能让完成率上升，却对应完全不同的后续投入。

METR 的方法本身就值得借。它不只盯一个最终分数，还试图看预训练、强化学习、算法效率、数据效率、推理效率和训练算力这些输入如何共同改变能力。公开版里有些细节无法披露，但这个思路很朴素：结论的粒度，不能比证据的粒度更细。 你能证明“这批定义明确的任务变快了”，就先停在这里；不能顺势跳到“系统已经可以替代研发判断”。

团队内部也可以给每个“AI 把流程加速了”的结论过三问。第一问是范围：哪些任务纳入了统计，哪些被排除在外？第二问是归因：同一时期有没有改提示词、换工具、改验收标准、补人手或压缩任务？第三问是代价：速度上升后，返工、人工兜底、事故率和复核等待时间有没有一起记录？只报第一问的结果，是进展；把三问都留档，才接近一条可复查的因果链。

尤其要小心“评测变简单”这类静悄悄的变化。一个基准分数连续上升，可能是模型强了，也可能是任务分布被调得更像模型擅长的部分，还可能是评分器放宽了边界。METR 的报告承认，内部指标会有过拟合风险，也花了大量时间比较不同指标与拟合方式。这个警惕不只属于前沿实验室：任何把 Agent 接到真实业务的人，都该保留失败样本和旧版验收集，不然下个月的高分很难和上个月放在同一张表里读。

最小的落地方式并不复杂。每次换模型、换系统提示词或放宽工具权限时，固定抽一组旧任务重跑；把成功、需要人工救援、完成但结果不可用分开计数；再记下从任务开始到人工确认的时间。这样得到的不是一条漂亮的“效率提升百分比”，而是能帮助你决定下一次该扩权、该收权，还是该补评测的记录。

有了这套底账，团队甚至可以接受某次升级的总成功率没有变高：如果同样的成功率来自更少的人工救援、更短的复核等待，或者更多高风险动作仍被可靠拦下，它依然是实质进展。反过来，只有“任务完成”变多、人工回收变慢、异常样本没人看，报表再漂亮也不该直接换来更大的权限。

“AI 参与研发”和“AI 独立研发”之间，还隔着几道门

Anthropic 自己的测量框架提供了一个更好用的分层。它把自动化程度从 AL0 排到 AL5：AL3 是 AI 在密切人类指导下协作；AL4 是 AI 能从高层提示完成大部分端到端任务、由人监督；AL5 才是没有人类在环的完全自主。

截至它公布的 2026 年 8 月快照，Claude 在所测量的研发工作里没有任何部分达到完全自主；约 26% 的工作处于“AI 主导”，超过 90% 的工作至少处在“AI 协作”。这些数字来自 Anthropic 自己，不该拿来替代独立评估，但它们至少把讨论从“有／没有”拉回到一条连续刻度上。

这条刻度对做产品的人很实用。一个 Agent 能写完迁移脚本，不等于它能决定迁移目标；它能跑完测试，不等于它能替你判断哪些失败是产品风险；它能生成一张评测表，也不等于它能选择评测表该覆盖什么。系统里最贵的，常常是那几个会改变方向的判断点。

Anthropic 还公开了三类监督口径：动作被监控的覆盖率、从动作发生到被审查的延迟、以及被拦截或升级复核的比例。无论你是否认同它的结论，这三类指标都值得抄到自己的 Agent 系统里。它们不回答“模型有多聪明”，却能回答“模型越跑越快时，我们是否还看得见它在做什么”。

可以从一个很小的变更记录开始：

agent_change:
  scope: "本次允许代理修改的仓库、数据和外部动作"
  evidence: "评测集、运行日志、失败样本与版本号"
  human_gate: "哪一步必须由负责人确认，超时后如何收回权限"
  review: "监控覆盖率、复核延迟、拦截与误报比例"

这不是给团队再加一张没人看的表。它是在模型替你完成更多步骤之后，保留一条能回头找原因的路。没有 scope，复盘时不知道它碰过什么；没有 evidence，不知道能力变好还是评测变松；没有 human_gate，出了问题只能翻长长的会话记录；没有 review，监控就只剩“我们应该有监控”的安慰剂。

该从这条新闻里带走什么

我更愿意把 METR 的 1.9 倍看成一盏黄灯，而不是发令枪。它足够值得关注，因为它来自一次比普通发布稿更深入的外部评估，也因为它把 AI 在研发链路里的角色推到了无法忽视的位置。可它离“模型已经自主造出下一代模型”还很远：范围有限、归因有不确定性、关键资料有删改，最重要的训练环节仍有人类参与。

把它当成一个需要持续追踪的信号就够了。下一次值得比较的，不只是倍数变大还是变小，还包括公开的方法有没有变、外部评估者能否看到更多底层证据、以及监督指标有没有跟着能力曲线一起更新。这些口径本身也该留下版本记录。

对前沿实验室，下一步不只是继续报一个更大的数字，而是让同一种数字能被持续、跨时间、最好还能跨机构地复查。对普通研发团队，别急着用“AI 加速研发”替换所有判断；先把自己的任务范围、评测证据、人工闸门和监督延迟记下来。

模型跑得越来越快是事实。能不能解释它为什么快、快在哪里、出了问题谁能按下暂停，才是接下来更难也更重要的事。

如果你的团队已经让 Agent 参与交付，哪一条记录现在最缺：任务范围、证据链、人工闸门，还是复核延迟？

小岛 AI