Nature 两篇研究：AI 诊断追平医生，但有个结果泼了冷水
同一天，Nature 上挂出两篇论文，讲的是同一件事的两个侧面，AI 在模拟看病这件事上，把医生比下去了。
不是擦边追平，是真的比下去了。
德国那套系统叫 MIRA，在 311 个急诊病例的正面对决里，诊断准确率 87.8%。坐在对面的，是四个有经验的专科医生，78.1%。再换一组住院医加专科医生的混合班子，71.1%。Google 那套叫 AMIE，跟 21 个全科医生比开治疗方案，首诊方案被评为合适的比例，AMIE 95%，医生 72%。连扮演病人的演员都更喜欢 AI 给的方案。
我盯着这两组数字看了一会儿，第一反应不是兴奋，是有点恍惚。倒不是怀疑 AI 不行，是这事来得比我以为的快。然后我往下翻，翻到论文最末尾一个特别不起眼的补充实验，看完愣了一下。这篇文章真正想跟你唠的，其实是那个藏在角落里的发现，它跟我天天打交道的那点工程活儿，撞了个正着。
但先把前面这俩主角讲清楚，不然后面那个反转没有重量。
先说 MIRA 这套。它的全名叫 Medical Intelligence for Reasoning and Action，听着挺唬人，干的事说人话就是，它不是一个你打字问它你怎么了的聊天框，而是一个被放进虚拟医院里自己干活的 agent。研究团队给它搭了一个封闭的电子病历系统，里面有十一种工具，加起来能选的动作超过八万五千种。它要自己去问病史，自己开化验单，开微生物检测，开影像，然后自己读结果，自己列出鉴别诊断，自己写治疗方案，包括开药、安排手术、决定要不要收住院。
这一整套，就是我平时上班在干的那类事的医疗版。给一个模型搭一层让它能真正动手的工程，工具怎么挂、调用怎么编排、结果怎么回喂、上下文怎么不爆，这层东西在我们行话里叫 harness，你可以理解成给 AI 搭的脚手架，让它从一个只会说话的嘴，变成一个能伸手干活的人。MIRA 就是把这套脚手架搭到了急诊室里。
测试用的是 MIMIC-IV 这个公开数据集里五百多个真实急诊病例，地址挂在 physionet 上，谁都能下。更骚的是，病人不是真人也不是脚本，是另一个 AI agent 扮演的，它只能根据真实病历里有的信息回答，你问到了它才说，问不到它不会主动喂你。等于让一个 AI 当病人，另一个 AI 当医生，俩模型在虚拟急诊室里你来我往。
结果前面说了。八个病种平均下来 88.9%，正面对决 87.8%。拆开看，阑尾炎它最强，98.6%，胰腺炎 92.3%。但肺炎就明显吃力，72.4%，尿路感染 77.6%。你看，它也不是无所不能，碰到那些症状重叠、需要时间观察的病，它跟人类医生一样会犯怵。
真正让我坐直了的不是准确率，是安全性那一段。研究团队找了一批不知道方案出自 AI 还是人的专科医生来盲审，结论是，MIRA 开的药里没有危险的药物相互作用，给肾功能受损的病人没有开错剂量，没有乱开止痛药。它几乎完美地记住了每个病人正在吃的药。最离谱的是收住院这个判断，需要住院的病例，它一个都没漏。
这条对做工程的人来说才是真的厉害了。准确率高可以靠运气，可以靠数据集泄露，但开药不出致命错误、该收住院一个不漏，这是稳定性，是那种你敢把它挂到生产环境上的稳定性。而且他们还测了刁难场景，让病人只说德语或法语，让病人表现得特别焦虑、答非所问，MIRA 的表现照样稳。源代码他们直接开源挂 GitHub 上了。
然后是 Google 的 AMIE，路子不太一样。MIRA 是急诊室里的快刀，AMIE 是管慢病的全科。它要处理的是病人多次复诊这种长线场景。它分成两半，一个对话 agent 在前台跟病人聊天，快、亲切、像个会安慰人的医生；另一个 agent 在后台慢慢想，仔细推理，把病情一条条对照临床指南。
这个设计本身就有点子工程美感。前台快，后台稳，把要哄人的部分和要严谨的部分拆开。Google 拿它跟 21 个全科医生比了 100 个跨多次就诊的病例，对标的是英国的 NICE 指南 和 BMJ 最佳实践这两套权威标准。病人还是演员扮的，纯文字聊天。结论是 AMIE 在治疗决策上跟医生打平，在方案准确度和指南遵循度上反超。首诊方案合适率 95% 对 72% 那个数字就是这么来的。盲审专家和病人演员，都更频繁地站 AI 这边。
他们还专门搭了个考药的基准叫 RxQA，题目来自两本国家药典，答案由有执照的药师核对过。难题部分，AMIE 的分数比全科医生高。不过这个测试对两边都狠，连简单题，最高分也没超过 75%。这点我倒觉得挺诚实，没有为了好看把题出水。
到这儿，故事看起来就是一个标准的 AI 屠榜爽文。两篇 Nature，两套系统，把医生按在地上摩擦。要是文章在这儿结束，那它就是又一条你刷到会愣三秒然后划走的热点。
但研究者自己先泼了冷水，这是我最服这两个团队的地方。
MIRA 团队自己写，有一小部分但不是零的病人，它给的方案偏离了最佳实践。还有，那个 AI 扮演的病人，回答可能比真实急诊室里那些语无伦次、说不清哪儿疼的人要规整得多。最关键的一条自我怀疑是，MIMIC-IV 这个数据集是公开的，没法完全排除它早就进了训练数据。要真是这样，那测出来的成绩就更像天花板，不是真实水平。AMIE 团队更直接，他们管自己这研究叫里程碑，但紧接着补一句，还没准备好用到真实世界，系统藏在内部推理步骤里的那些潜在错误，还需要更多功夫去解决。
参与 MIRA 的 Jakob Kather 跟金融时报打了个我觉得特别准的比方。他说这些 AI agent 就像飞机的自动驾驶，能接手那些重复的常规活儿、给医生减负，但最终的责任永远在医生身上。自动驾驶这个词用得好，因为没人会因为飞机有自动驾驶就让飞行员下岗，飞行员还在，只是手头松快了。
没参与研究的独立专家说得更冷。牛津有个研究医学社会学的教授 Catherine Pope 说，这一切离日常医疗那个混乱、复杂、充满人味的真实世界，还隔着相当一段距离。爱丁堡搞健康信息学的 Julie Jacko 说得更扎心，她说 AI 那些所谓的优势，很多其实是方案写得更精确、更完整，而不是临床判断上真的更对。它证明的是在一个结构化标准下表现好，不等于它能扛住真实临床决策的全部复杂度。
这话我得停下来跟你掰扯两句。因为它戳的不止是医疗。
方案写得精确完整，和临床判断真的更对，这俩是两回事。前者是格式分，后者是内容分。一个 agent 把指南背得滚瓜烂熟、把每一步都写得规规矩矩，它在任何打分表上都会赢，因为打分表本来就是按这些维度设计的。但真实世界里那个攥着病历、眼神躲闪、说自己最近压力大其实是想说别的的病人，不在打分表里。
你做过 agent 评测就懂这个坑有多深。我们给 agent 设计 benchmark，干的其实就是把一个混沌的真实任务，压缩成一组能自动打分的指标。压缩的过程一定会丢东西。而模型，尤其是经过专门训练的模型，特别擅长把你能打分的那部分顶满，至于你没打分的那部分，它不管。这不是模型坏，是你设计的考卷决定了它往哪儿使劲。
好，铺垫到这儿，那个让我愣住的补充实验，终于可以摊开了。
藏在 AMIE 补充材料里的一个发现是这样的。跟很多同行评审的研究一样，这俩系统跑的都是老模型。AMIE 底下是 Google 的 Gemini 1.5 Flash，MIRA 用的是 OpenAI 的 GPT-4o 和 o1-preview。这些模型，现在全被新一代超过去了。论文发表周期就是这么个节奏，你做实验时用的是当时的 SOTA，等论文出来，模型早换了两三茬。
Google 的研究者干了件特别较真的事。他们把系统拆开，一个零件一个零件地换，想搞清楚到底是什么在真正贡献性能。是那套精心设计的双 agent 架构、指南匹配、专门训练这一整套脚手架，还是底下那个语言模型本身。
结论我读到的时候，是真的愣了一下。
在老的 Gemini 1.5 Flash 上，那套专门设计的脚手架，确实带来了论文里描述的巨大性能提升。但当他们把同一套脚手架，原封不动搬到更新的 Gemini 2.5 Flash 上，那个优势，几乎消失了。
你品品这个事。那套精巧的双 agent 架构，那套逼着模型按结构推理、强制它引用指南、压制它幻觉的工程，它在补什么？它在补老模型的短板。老模型不会自己一步步推理，你就搭个脚手架逼它推理；老模型爱胡说，你就搭层指南匹配把它摁住。可一旦模型本身变强了，这些它自己就会了。论文白纸黑字承认，AMIE 的价值，会随着底座模型变强而缩水。新一代的通用模型，像 Gemini 2.5 Pro、o3、GPT-5，在那个 RxQA 药学测试上，已经跟完整的 AMIE 系统打得有来有回了。
说真的，AMIE 某种程度上是被 AI 自己的发展速度给超车了。它还没走出实验室，它赖以成立的那个前提，就已经松动了。
这个模式我太熟了，熟到有点想叹气。
围在语言模型外面的那层脚手架，会随着更强的模型到来而变得多余。有时候甚至更魔幻，是这层脚手架本身的设计思路，喂进了下一代模型的训练数据里，于是下一代模型生下来就自带了这层能力。你辛辛苦苦搭的梯子，被新房子直接盖进了楼梯间。
这就是我天天在干的活儿啊。给模型搭工具链、搭评测、搭调度、搭上下文管理，让它能真正干活。每搭一层，心里都得掂量一下，这层东西，是模型本身的缺陷需要我来补，还是真正长出来的新能力。如果是前者，那我搭的就是一根注定要被淘汰的拐杖。下一代模型一来，它自己站起来了，拐杖咔嚓一声就成了废木头。
听着挺丧对吧。好像我们这些做脚手架的，是在给一个会自愈的病人打石膏，石膏还没拆，骨头自己长好了。
但我不这么看，论文作者也不这么看。
脚手架失效，不代表搭脚手架的思路一文不值。恰恰相反。在写代码这件事上，越来越多别的领域也一样，脚手架工具反而活得好好的。Claude Code、OpenAI Codex 这类东西，它们给模型的不是拐杖，是手脚，是让模型能读文件、能跑命令、能看到真实环境反馈的那套连接。这种脚手架不是在补模型的智商，是在给模型的智商接上现实世界的接口。模型再聪明，它也得有手才能拧螺丝。这种东西，模型越强，反而越好用，因为它能驾驭的工具越复杂。
所以这里面有条线，我觉得是这两篇 Nature 真正埋给做工程的人的礼物。你搭的脚手架，分两种。一种是补丁，补模型当前的弱点，模型一强它就废。另一种是接口，把模型接到它够不着的现实里，模型越强它越值钱。前者是消耗品，后者是基础设施。
回到 AMIE 那个例子，它的双 agent 架构、它逼模型引用指南的设计，大部分是第一种，是补丁。所以 Gemini 一升级，补丁就脱落了。而 MIRA 那套能让 agent 真去开检查单、真去读影像、真去操作电子病历的工具层，更接近第二种，是接口。我赌它会比那些纯推理脚手架活得久。
当然我也可能赌错。这事儿我自己也还在摸索，谁能说清楚下一代模型会把哪条线又抹平了呢。但作为一个每天都在做这种取舍的人，我现在写每一层脚手架之前，都会多问一句，我这是在打补丁，还是在接接口。这一个问题，省了我不少白干的活儿。
绕了这么大一圈，再回头看开头那两组把医生比下去的数字，味道就不一样了。
那不是 AI 战胜了人类医生的故事。那是一套精巧的脚手架，在一个特定的考卷上，把当时还不够强的模型，硬撑到了超过人类的高度。考卷是模拟的，病人是 AI 演的，模型是上一代的，脚手架是临时的。每一个前提都带着星号。等到模型真的强到不需要那套脚手架，真正的问题反而浮上来了，到那时候，AI 看病这件事的瓶颈，可能压根就不在模型聪不聪明，而在 Catherine Pope 说的那个混乱、复杂、充满人味的真实世界，那个永远没法被压进一张打分表的世界。
万能青年旅店有句词我一直记着，是谁来自山川湖海，却囿于昼夜厨房与爱。我们造的这些模型，能解开山川湖海般庞大的知识，最后却总是被囿于那些最日常、最说不清、最人味的褶皱里。一个攥着病历不肯说实话的病人，一句指南里查不到的没关系我再观察两天，这些东西，比八万五千种工具调用难多了。
那两篇 Nature，与其说证明了 AI 能当医生，不如说精确地标出了，AI 还差在哪儿。而那个差距，恰恰是所有做脚手架的人，未来要一层一层去填的地方。
填得动的，是接口。填不动的，是人。
这趟看下来，我反倒踏实了。原文我贴 The Decoder 这篇，两篇论文都在 Nature 上能查到，感兴趣的可以去啃原文，比我这篇严谨得多。