把微调当 speedrun 打，纪录已经卷到 6 分钟
打游戏的圈子里有种人叫 speedrunner，用尽卡位、抄近路、按帧优化，就为了把通关时间再抠掉零点几秒。现在有人把这套玩法搬进了炼丹房。
GitHub 上新出了个仓库叫 lora-speedrun，一个微调竞速的公开排行榜。任务冻结，Qwen2.5-1.5B 在 GSM8K 数学题数据集上微调到 57% 准确率以上。硬件冻结，一块 L40S，就一块。计时方式是墙钟时间，从开始训练到出结果，你手表上过去了几分钟就是几分钟。
先给不炼丹的朋友补一句 LoRA 是什么。全量微调是把整个模型的参数都拿来重训，又贵又慢。LoRA 的思路是在模型旁边挂一组很小的补丁参数，冻住主体只训补丁，这个榜的规则里补丁上限 3000 万参数，不到主模型的 2%。
为什么比墙钟不比算力。作者的理由我很喜欢，墙钟时间是你实际付钱的东西。论文里常用的 FLOPs、步数都可以做账，只有钟表不会撒谎，它逼着算法、内核、数据加载在同一种货币里竞争。这跟我前几天写的每美元有用功是一个思路，度量选得诚实，优化才会往真实的方向卷。
排行榜目前就两条纪录，但对比已经很说明问题。基线是最老实的写法，纯 LoRA、三轮训练，跑了 11 分 57 秒，准确率 59.4%。当前纪录 6 分 05 秒，准确率 61.1%，时间砍掉 49%，分数反而高了 1.7 个点。
用了什么黑魔法呢，没有黑魔法。就两个朴素到有点无聊的技巧。一个是序列打包，把长短不一的训练样本拼接装满每个批次，不让显卡算填充的空白。另一个是损失掩蔽，只在答案部分计算损失，题目部分不算，让每一步梯度都花在刀刃上。外加把三轮训练砍成两轮。
就这，一半时间没了，分数还涨了。
这才是这个榜最扎人的地方。它说明大多数人的微调脚本里，躺着一半左右的免费午餐没人捡。不是需要发论文的高深优化，是打包、掩蔽这种写进各家文档却很少有人真配的开关。
这个感受我在自己的地盘上太熟悉了。平时优化 agent 流水线，动手 profile 之前，人人都笃定瓶颈在模型太慢，真把耗时摊开一看，大头往往是重复重放的上下文、没并行的请求、白白算掉的填充。训练和推理在这一点上是同一种病，不量化就不知道钱漏在哪，而竞速榜的规则等于强制所有人先学会量化。
更有意思的是仓库里那张允许使用、但还没人用上的技巧清单。QLoRA 量化、DoRA、rsLoRA、NEFTune 噪声、课程排序、数据剪枝、torch.compile、Unsloth 内核、融合交叉熵。每一项都是公开技术，每一项都可能再砍下一块时间。这张清单本身就是一份微调工程的技术地图，而排行榜的机制保证每个新纪录都必须开源可复现，等于有人排着队给你演示每个技巧的真实收益。
这个玩法有血统。前辈是 modded-nanogpt，那个把 GPT-2 复现训练时间从几天一路卷到几分钟的竞速项目，当年多少人是靠追那个榜单学会了现代训练技巧的十八般兵器。作者自己也说，这就是微调界的 modded-nanogpt。
这条血统线上还出过一个更硬的证据。当年 nanoGPT 竞速榜的纪录被一轮轮往下砍的过程中，有人卷出了一个叫 Muon 的新优化器，最开始它就是个榜单选手手里的私房兵器。后来月之暗面把它的改进版 MuonClip 用进了 Kimi 的训练管线，上周刷屏的那个 2.8 万亿参数的 K3，底层就淌着这条竞速榜的血。玩具场里卷出来的兵器，是真的会被收编进正规军武器库的。
所以别小看一个只有两条纪录的新榜单。今天在 6 分钟纪录里抠秒的那些手法，说不准哪天就出现在某个万亿模型的技术报告里。
对你的实际意义，我算两笔。
一笔是实验节奏。微调实验从半小时一轮变成 6 分钟一轮，不是快了五倍这么简单，是试错方式变了。半小时一轮，你一天认真跑得了十几个想法，每次提交都得想清楚。6 分钟一轮，你可以像跑单测一样跑训练，错了就改，改了就跑。迭代速度本身就是生产力，这话在训练圈同样成立。
另一笔是参赛门槛。规则齐全，验证走 Modal 的免费额度就够，提交 PR 后每条纪录要在同一硬件上换三次随机种子独立复跑，全过才算数。还有个细节让我笑了一下，提交代码要过一道 Claude 安全筛查，防数据泄露和网络滥用，AI 给 AI 竞速当裁判，时代确实变了。
冷水照例要泼。1.5B 模型加 GSM8K 是个玩具尺度的组合，这些技巧在 70B 的真实业务微调上收益会缩水，有些甚至不适用。竞速榜也有自己的职业病，大家对着同一个测试集卷，难免有过拟合到榜单本身的成分。把它当技术地图和健身房，别当生产环境的标准答案。
但健身房的价值不在于里面举的铁能搬回家，在于肌肉是真的。看懂每条纪录为什么快，你对训练管线里时间都花在哪的直觉就厚了一层，这个直觉在任何尺度上都值钱。
榜单还很新，纪录只有两条，门槛低到复制一个模板目录改改脚本就能提交，正是好破的时候。手痒的兄弟可以去试试，破了纪录回来说一声，我给你写进下一篇。