400 tokens/s，国产大模型第一次把旗舰能力和极速一起做到了
400 tokens/s.
先把这个数字摆在这儿。今天早上喝咖啡的时候刷到智谱的消息，说他们给部分企业客户开了一个叫 GLM-5.1-highspeed 的高速版 API，输出速度跑到了每秒 400 个 token，刷新了当前全球大模型厂商 API 的速度上限。我盯着这行字看了两秒，第一反应不是惊讶有多快，而是另一件事，国产模型这回是把一件大家默认不可能同时做到的事，给做到了。
先解释一下 token 这个词，免得圈外的朋友卡住。模型生成文字不是一个字一个字蹦的，是一块一块往外吐的，这一块就叫 token，中文里大概一个 token 对应一到两个汉字。tokens/s（每秒生成的 token 数，圈里常简写成 tok/s）就是模型说话的语速。人正常默读一段文字，速度也就每秒几个字的量级；我们平时用的那些云端大模型，二三十到四五十 tok/s 是很常见的区间，你能明显看到字一行一行往外蹦。400 tok/s 是什么概念，就是字哗一下铺满屏幕，你还没来得及往下读，它已经写完了。
这个体感差别，做后端的、天天调 API 的朋友最有发言权。
说回那件大家默认不可能的事。在过去很长一段时间里，模型圈有个不成文的共识，快，几乎总是等于小。你要一个反应飞快的模型，那就得用轻量级的小模型，能力上自然要打折；你要顶配的旗舰模型，那对不起，慢是必须忍的，吐字慢悠悠是大模型聪明的代价。这俩你只能挑一个。我以前也信这个，觉得这是物理规律，没得商量。
GLM-5.1 高速版这次的意思是，它要的是旗舰级的脑子，配上小模型的嘴皮子。按智谱自己的说法，这是头一回在国产大模型里，把旗舰能力和低延迟同时塞进生产环境（IT 之家的报道在这儿，模型文档在智谱 bigmodel 平台）。
好家伙。这就有点意思了。
为啥我一个写代码的会对一个速度数字这么上头。因为速度这东西，对今天的程序员来说，早就不是体验好不好的问题了，是能不能干活的问题。
你想想看，现在大家都在搞 Agent，搞那种能自己一步步干活的智能体。Agent 跟聊天最大的不一样在哪，聊天是你问一句它答一句，一个来回就完事。Agent 是它要在那儿自己转圈，想一步、调个工具、看个结果、再想下一步，一个任务里头模型可能要被来来回回喊几十次甚至上百次。这种结构有个特别要命的地方，延迟会累加。单次慢个一两秒你没感觉，乘以一百次，那就是用户在屏幕前干等好几分钟，看着光标转圈，怀疑人生。
所以对 Agent 来说，模型的语速不是锦上添花，是地基。地基慢，上面盖什么花活都救不回来。这也是为啥智谱把这个高速版的适用场景，头一个就点名了 AI 编程，后面跟着实时交互、实时语音这些。这几个场景的共同点就是，用户在那儿盯着、等着、要立刻有反应，慢半拍整个体验就垮了。坦率讲，谁写过那种调用链长的程序，谁就知道延迟是怎么一点一点把人逼疯的。
那问题来了，它到底是怎么快起来的。
这部分我看完愣了一下，因为路子跟我预想的不太一样。
按一般人的直觉，想让模型跑得快，要么换更猛的显卡，要么把模型压小一点。但 GLM-5.1 高速版没走这两条路，它动的是更底层、更不容易被注意到的那一层，推理框架的调度方式。这块我尽量用大白话讲。
智谱在文档里点了一个很关键的事实，模型推理速度的理论天花板，其实是硬件定死的，你的显卡每秒能算多少，物理上限就在那儿。但真实的系统，离这个物理天花板往往差着十万八千里。中间那一大段差距，被白白浪费掉了。浪费在哪了，浪费在调度上。
打个比方。现在主流的推理框架，干活的方式有点像一个管得特别细的工头。模型算一次，要走一长串完整流程的算子（operator，可以理解成一道道独立的计算工序，比如做个矩阵乘法、做个归一化），每一道工序，工头都要亲自吼一嗓子，启动、把数据从仓库搬过来、算、把结果搬回仓库、然后等所有人对齐了再开下一道。一道工序这么搞还好，问题是当推理进入到那种单个 token、小批量、还要把模型拆到多张卡上并行算的场景，每道工序被切得只剩几微秒那么短，可工头吼一嗓子、搬一趟货的固定开销是省不掉的。结果就是真正干活的时间没多少，全耗在这些来回吆喝和搬运上了。
我跟你说，这个场景太熟悉了。任何写过性能敏感代码的人都懂，真正拖垮你的常常不是那个核心计算，是无数次微小的调度、同步、内存读写，积少成多，把性能拖进泥潭。
TileRT 团队的解法，骚就骚在它直接把这个工头给开除了。
它的思路是，干脆别在运行的时候临时调度了。提前，在编译阶段（这种提前编译好的方式圈里叫 AOT，ahead-of-time，跟那种边跑边编译的方式相对），就把整张计算图静态地编排好，烧成一个常驻在 GPU 上的大 kernel（kernel 你可以理解成一段直接在显卡上跑的程序）。这个常驻 kernel 有个英文名叫 persistent Engine Kernel，意思就是它一直待在那儿不走。
这么一来，原先那一长串吆喝就被压扁了。在单张卡里头，整个推理过程只用启动这一个 kernel，算子和算子之间的中间结果，不再吭哧吭哧写回那个又大又慢的全局显存，而是直接走寄存器、共享内存、L2 缓存这些离计算核心最近的快速通道传过去。工头那套启动和同步的活，全被压进了这一个常驻 kernel 里头，吼一嗓子的次数从无数次变成了一次。
到了多卡的尺度上，TileRT 还有一手。它把单张卡内部那种让不同计算单元各干各的专长活的思路（Warp Specialization，可以理解成给流水线上每个工人分配不同的专精工种，而不是让所有人干一样的活），直接外推到了整张八卡的拓扑上。八张卡不再是傻乎乎地执行一模一样的逻辑，而是按照计算量的密度和数据之间的依赖关系，被特化成了分工不同的工人。
听着挺玄对吧。我用一句话给你总结这套路子的精神，与其请一个能随机应变但反应慢的工头在现场指挥，不如提前把所有动作排练成一套丝滑连贯的整活，演出的时候一气呵成，中间不喊停。代价是排练（编译）很费劲，收益是正式跑起来快得飞起。
有点子牛逼这个设计。
这里还得多聊一句速度背后那笔更隐蔽的账，成本。很多人以为快只是用着爽，其实在生产环境里，快是直接省钱的。一张显卡每秒就那么多算力，原先一大半都耗在调度和搬运的空转上，真正用在计算上的没多少。当你把这些空转抠掉，同一张卡在同样的时间里能服务的请求就变多了，单位算力的利用率上去了，摊到每一个 token 上的成本自然就被压下来了。换个角度看，速度快和并发高、成本低，往往是同一件事的三个侧面，它们是被同一套优化一块儿带起来的。
对一个真要把模型搬上线的团队来说，这才是要命的地方。你跑 demo 的时候，模型聪不聪明是第一位的，可一旦真有几万人同时在用，你每天盯着的就是这个月账单又烧了多少、高峰期会不会排队排到用户跑光。这时候推理引擎抠出来的每一分效率，都是实打实落到账面上的钱。所以我看 GLM-5.1 高速版，看的不只是那个 400 的速度峰值，更是它背后这套能把生产成本一起往下带的工程能力。这种东西，发布会上一句带过，落到运维手里却是天大的事。
不过你要是只看到快，那还少看了一半。这事真正让我觉得值得说道的，是它快的方式。
这两年在推理速度这条赛道上卷得最凶的，是几家专门搞硬件的公司。比如 Groq，搞了一种叫 LPU 的专用芯片，专门为大模型推理优化，跑小模型的时候速度能飙到很夸张的量级；还有 Cerebras，直接造那种整片晶圆那么大的巨型芯片，靠硬件的暴力把速度顶上去；还有 SambaNova，也是自研芯片那一挂。这几家的共同点是，它们快，靠的是换一套不一样的硬件底座。各家模型现在到底每秒多少 tok，Artificial Analysis 这个第三方榜 上有持续的实测对比，感兴趣可以去扒。
而 GLM-5.1 高速版这次有意思的地方在于，它没换硬件，它就在大家都在用的那套 GPU 上，靠重写推理引擎、改调度系统、抠底层基础设施这三层软件层面的系统级优化，把速度顶到了 400 tok/s。智谱还特意强调了一句，这个 400 不是某个瞬间冲出来的峰值数字，是稳定可用的生产级能力。
这句话其实挺重要。做工程的都明白，跑分时冲一个漂亮峰值，和在高并发的真实流量下稳稳维持住，是两码事，难度差着一个数量级。能不能把这个 400 在真实负载下兜住，才是它敢不敢叫高速版的底气所在。当然了，这话目前还是智谱的自述，到底稳不稳，得等更多企业客户压上真实流量之后才有定论。我也还没拿到手实测，这里先存个疑，不替它打包票。
说到这个，得泼点冷水保持清醒。
这版东西现在是面向智谱 MaaS 平台（就是它那个把模型当服务卖的平台，model as a service）的部分企业客户开放的，不是你我注册个账号就能立刻点来玩的状态。所以这篇我没法给你上手实测的截图和体感，只能基于公开信息聊。这是真诚该说的话，跑不通就说跑不通，没拿到就说没拿到。
另外，高速版通常会有它的取舍。极致的速度优化背后，吞吐、成本、能不能扛住超大并发，这些都是要一起平衡的账。一个数字漂亮，不代表全盘都漂亮。智谱这次没细说定价和并发上限，这些等正式铺开之后才能看清。所以我现在的态度是，对这个技术路线很兴奋，但对它的实际表现保持观望，等真能上手了再回来补一篇实测。
那为啥这事还是值得现在就拎出来聊。
因为它戳中了我一直以来的一个判断。我始终觉得，模型能力的比拼到了某个阶段，光卷参数、卷榜单分数，边际收益是会递减的。真正决定一个模型好不好用、能不能落到生产里去的，越来越是那些工程层面的硬功夫，推理够不够快、成本压得够不够低、并发扛不扛得住、延迟稳不稳。这些东西不性感，发布会上念出来观众也不会鼓掌，但它们才是把一个聪明的模型，变成一个真能干活的产品之间，那道又深又脏的鸿沟。
GLM-5.1 高速版这次秀的，恰恰就是这种鸿沟里头的功夫。它没有去发布一个分数更高的新模型，它是把一个已有的旗舰模型，通过编译和调度的系统级重构，让它跑得飞快。这是一种很务实、很工程师气质的进步，我个人是真的吃这一套。
而且它顺手把快等于小这条祖训给打破了。这条祖训之所以存在，是因为以前没人把调度这一层抠到这么狠。当有人愿意沉下心去把运行时的动态调度整个抛掉、改成编译期静态编排的时候，原来以为撞死了的天花板，咣一下又往上抬了一截。这种把大家都默认接受的约束重新拿出来质疑的劲儿，是我在技术里头最喜欢看到的东西。
写到这儿，我想起万能青年旅店那句，是谁来自山川湖海，却囿于昼夜厨房与爱。我们这些做技术的，何尝不是天天被一些以为天经地义的约束囿住，快就得小，强就得慢，鱼和熊掌不可兼得。可总有人不信这个邪，偏要去那个被判了死刑的中间地带凿一凿，凿着凿着，墙就松动了。
回到开头那个数字，400 tokens/s。
它现在对你我来说可能还有点远，要么是企业客户专属，要么是别家专用硬件上的实验。但它指的那个方向我看得很清楚，旗舰能力和极速响应，本来是要二选一的，现在有人告诉你可以都要。一旦这条路被走通、被验证、被更多人跟上，它就会慢慢渗到我们每天用的工具里。等到哪天你的 AI 编程助手回得跟同事在工位上脱口而出一样快，等到 Agent 转完一长串圈还没等你失去耐心就把活干完了，那种丝滑，背后就是今天这种藏在调度层里、没人鼓掌的硬功夫在撑着。
到时候你大概不会想起 TileRT，不会想起 persistent kernel，就像你现在用着流畅的网页，不会想起底下那些把延迟一毫秒一毫秒抠下去的工程师。但它们一直在那儿。
航行这么久，我越来越觉得，AI 这片海面上最亮的那些灯塔，往往不是参数最大的那座，是最先把速度和能力这两件事调和明白的那座。这回，国产这边先把灯点上了。
棒棒的。等能上手了，我再回来跟你唠实测。