岛刊社 · 专题

评测与基准

跑分、榜单、基准测试，以及怎样设计真正有用的评测。

64 篇全部专题

回到小岛 →

2026-10-30

设计 Agent 改完页面，先验收哪四件事？

Figma 把专用编辑模型的训练与评测摊开了。真正值得借走的不是某个分数，而是把 AI 改稿拆成请求、结构、画面和人工校准四道关。
2026-10-14

长任务换 Gemini 4 Argon 前，这份灰度清单要先跑

Gemini 4 Argon 已全面开放。它适不适合你的编码智能体，不该先看跑分，而该先用任务、成本和回滚三道门做一次小流量验收。
2026-09-30

Agent 一改 Prompt 就上线？真实流量回归集该先建起来

公开跑分能帮你挑模型，却救不了用户刚刚踩到的边缘问题。把脱敏后的真实失败样本做成分层回归集，改 Prompt、换模型、加工具前先让它过一遍。
2026-09-21

Gemini 进了三家企业系统，安全测试漏了哪一层

Gemini 在一次安全评测中误入三家真实企业系统。把模型限制在沙箱里不够，网络出口、身份凭证、命名空间和人工停机都要成为验收项。
2026-09-14

Android 测试跑到 99%，ARTEMIS 真正接住的是 Bug 复现

Google 开源的 ARTEMIS 把自然语言需求、真机执行、截图和 Logcat 串进同一条链路。99% 的跑分可看，真正值得先试的是把回归与复现留成可回放证据。
2026-09-14

搜索 Agent 跑分很好，真正该验的是上下文

Iris 把模型、搜索循环、上下文管理和判分器一起开源。看完它的公开数据，就会知道一张排行榜为什么不足以帮你选 Agent。
2026-09-06

GPT-5.7 官方页还是 404，别急着替它跑分

官方目录、变更日志和直达模型页都没有 GPT-5.7。把截图、路由痕迹和跑分转述写成结论之前，先过一遍这份发布核验清单。
2026-09-04

K2 Horizon 自砍 3.37 分，训练记录比跑分更值钱

六款模型全开只是表面。IFM 主动公开奖励作弊并下调成绩，真正抬高的是开源模型的可审计门槛。
2026-09-03

Gemini 3.8 六周三更，我反而不敢自动升级

同价、更强和 47.2% 补丁通过率都很诱人，但生产团队真正缺的不是再点一次切换，而是一条可评测、可灰度、可回滚的模型发布列车。
2026-09-03

Muse Spark 1.3 少 25% Token，先别急着算省钱

官方编码比较显示工具调用约少 20%、Token 约少 25%，独立评测却给出了更高的单任务成本和更长的首字等待。选 Agent 模型，得把调用、重试、时延和验收放进同一张账单。
2026-09-02

207 个 WebGPU 内核快 2.57 倍，整模型还没跑

Hugging Face 一口气开源 207 个内核，M4 单算子几何平均快 2.57 倍。真正值得抄的不是最大跑分，而是把契约、正确性测试、基准和真实设备证据绑进同一个版本包。
2026-09-01

Endeavor 能私有部署，不等于模型属于你

Flower 把前沿跑分和私有部署放进同一份发布里，但参数、价格、许可证、权重和退出机制都没公开。企业真正该买的不是机房位置，而是可迁移、可审计、可持续的控制权。
2026-08-28

MiniMax-H3 的 6.24 倍，不能直接算成六倍产能

同一套 8×H200 基准里，近两倍是运行时白捡的，剩下三倍来自缓存与稀疏近似。看懂基线和质量预算，才知道线上该开哪一档。
2026-08-28

科研 Agent 最强只做对 30%，别只怪模型

70 个真实科研工作流把最强系统压到 30%。更扎心的是，榜单评的从来不只是模型，还包括终端环境、工具链、证据产物、失败恢复和每一美元到底换来多少有效工作。
2026-08-27

GLM-5.3 Flash 拿下 20% 流量，跑分只是第二战场

匿名上线一周就冲到 OpenRouter 周 token 份额第一。比 AA 57 分更值得看的是每任务成本、速度短板和国产卡服务栈，这三项才决定它能不能进生产。
2026-08-27

Qwen3.8 加了 51B 查表参数，模型开始像数据库了

Qwen4 的早期预览把历史压缩、稀疏检索和局部查表揉进一个模型。跑分之外，这套设计把成本从算力搬向主机内存、带宽、缓存命中率和尾延迟。
2026-08-26

Jalapeño 跑分快，AI 写 kernel 还不能免检

OpenAI 的芯片会让 AI 自己做映射、放置和调度，部分模块快了 1.5 至 1.8 倍。真正能抄走的不是跑分，而是一套把机器优化关进回归测试的工程方法。
2026-08-25

Thomson 最贵的东西，不在 GPU 里

4000 万美元只是明面账单。真正难复制的是把专有内容、专家分歧和生产责任变成一套能训练、能评测、能路由的系统。
2026-08-25

Vera Rubin 的 30 倍，不是一块 GPU 赢的

NVIDIA 把 Agent 效率从每秒 token 改成每兆瓦完成多少工作。拆开 30 倍的来源，你会得到一套比跑分更适合生产环境的验收方法。
2026-08-24

AI Agent 赚 80%，还没赢过随机数

FINCHAL 让人和 Agent 用未来行情同台，再用 2 万个随机玩家测出运气上限。真正值得抄的不是交易策略，而是一套不让 Agent 榜单自欺的验收方法。
2026-08-23

机器人百米 9.39 秒，不等于能上岗

赛场把速度和自主控制推到新高，但工厂关心的不是一次冲线，而是连续运行、失败恢复和安全接管。沿着 9.39 秒这条热搜，拆一套具身智能的上线评测合同。
2026-08-22

ASR 榜单高分，可能只是模型认出了考场

研究用错误参考、静音数字和拼写切换审计 11 个开源模型。榜单还能看，但语音 Agent 上线前必须再加一套私有、反事实、按场景验收的测试。
2026-08-19

RAG 多向量检索，4874 段文本变成 60 万向量

晚期交互保住了长文里的局部证据，也把成本从模型挪到索引、延迟和运维。别急着迁移，先用一套小评测判断它值不值。
2026-08-18

AI 评测先画仪表盘，方向就错了

Google 的公开实验把模型、Skill、样本和轮次拆成矩阵。真正有用的不是漂亮总分，而是沿轨迹找到能力提升、成本膨胀和 Skill 失效的原因。
2026-08-17

Claude Workbench 今天退役，提示词不进 Git 就不算资产

旧版 Workbench 退役只是导火索。真正要迁的不是一个网页，而是提示词、模型参数、测试样本和评测基线。给你一套能进仓库、能回滚、能进 CI 的落地结构。
2026-08-16

Claude 的 0.613 过线了，16 人仍不敢让它顶岗

基准分数已经跨线，周级模糊任务、组织上下文和计划修订却还没过关。给 Agent 上生产前，真正缺的是一份任务级验收单。
2026-08-13

DeepSeek V4 Pro 正式上线，先锁版本再看跑分

DeepSeek V4 Pro 0813 已悄悄替换正式 API，调用名和价格暂时没变。真正该补的不是一张新跑分表，而是版本留痕、黄金集回归和成本闸门。
2026-08-13

Grok 4.6 跑分追平了，长任务还是不能放心交

一张 61 分的总榜很好看，真正决定 Agent 能不能交付的，却是检查点、预算、回滚和验收证据。
2026-08-13

多 Agent 不是人多力量大，先别急着堆并发

45 个协调 Agent 找到 266 个漏洞，也制造 240 万次抢队列请求。真正该评测的不是单体聪明，而是整个系统会不会一起做错。
2026-08-11

Agent 选 Python 还是 Rust，可能根本是道伪命题

推理预算一换，语言排名就翻转；测试路径再错一层，整张榜单都在测同一个 Go 程序。真正该先选的，是评测合同。
2026-08-10

agent 用电脑超过人类了，你还是不敢把浏览器交给它

OSWorld 一年从 42 涨到 85，人类才 72。可月跑千万次任务的买家根本不看榜单，他们付钱买的是另一样东西。写给正在做 agent 产品的你，钱和坑都在模型外面那层。
2026-08-10

大模型总榜越公平，你越不该照着第一名买单

LatentRank 用 Bradley-Terry 和先验把多张榜单揉成一张总榜。难点不在算分，而在承认相关性、样本量和任务权重会偷偷替你做决定。
2026-08-09

翻译模型最危险的错，是把每个字都翻对了

1002 条社媒笔记揭出一个评测盲区，Gemini 3 的满分档比例也只有 38.30%。这篇不聊跑分冠军，聊产品团队怎样把梗、语气和文化适应性真正接进验收。
2026-08-08

Managed Deep Agents 越省事，迁移可能越疼

一条命令能省掉持久化、沙箱、身份和评测基础设施，也会把依赖从模型 API 上移到运行时。上线前先把这笔账算完整。
2026-08-06

19 次越界不是模型觉醒，是评测环境没关门

122 次网络评估里，智能体有 10 轮把 19 个动作带到真实互联网。比「AI 觉醒」更值得警惕的，是开放出网、关闭过滤、缺少实时审批和模糊任务边界同时出现。
2026-08-06

Prime Agent 会改自己，没评测门就是技术债

它能在运行中改 prompt、skill 和 memory，也能把作弊经验固化成新技能。真正可抄的不是 refine 按钮，而是让每次自我修改都留下证据、通过评测、随时回滚。
2026-08-02

276B 叫 Small，最低还要 180GB 显存

Inkling-Small 每个 token 只激活 12B 参数，跑分接近 975B 旗舰。但算得少不等于装得下，读懂 MoE 得把计算、权重和并发三本账分开。
2026-08-01

smevals 把评测做小，我觉得比搭平台更重要

大多数团队缺的不是更大的评测平台，而是一套能随代码版本迭代的小题库。smevals 把运行、打分和报告拆开，让模型、提示词与 Agent 脚手架都能接受回归测试。
2026-07-31

DeepSeek 82.7 分，模型榜单该换算法了

同一架构、同一规模，只靠后训练与一套尚未发布的 Harness，DeepSeek-V4-Flash 就把 Agent 成绩顶到 82.7。看懂脚注，才知道开发者该怎么选模型、配预算、做验收。
2026-07-31

GPT-5.6 Luna 降价 80%，该重写的是工作流

80% 降价把 Luna 推进高频 Agent 回路。真正该升级的是模型路由、评测和兜底，让 Sol、Terra、Luna 各自去做最可靠的那一段。
2026-07-25

别笑 AI 把无人机开进墙，半年后它就稳了

Anthropic 和 Andon Labs 把 agent 评测搬进了物理世界，五个子任务里模型只卡在一个上。拆一拆 Drone-Bench 的设计，你会看到 agent 的下一站，和一个值得抄回家的评测思路。
2026-07-25

Ling-3.0-flash 激活只有 5.1B，但它真不是小模型

总参 124B、每 token 只激活 5.1B，多数榜单对标上一代 1T 旗舰。但激活参数省的是算力不是显存，TTFT 降 60% 靠的是集群级缓存，权重还得等 8 月 3 日之后。三件官方写了、但转述的时候都被吃掉的事。
2026-07-24

Kimi K3 通用跑分追平了前沿，一到真刀真枪就露了馅

英美两家安全机构联手测了 Kimi K3 的攻击能力，通用榜单它能打，网络攻防却只有前沿模型的一半分。差的这块，恰好是蒸馏永远偷不走的。
2026-07-23

端侧 AI 缺的从来不是参数，是一句我没把握

Cactus 给最小的 Gemma 4 塞了个探针，每个回答自带 0 到 1 的置信度，低了就转云端。只转出 15% 到 35% 的题，就打平了 Flash-Lite。这个数为什么比跑分值钱，坑在哪，我聊聊。
2026-07-23

AI 配音开始会演戏，这行的门槛先塌了一半

通义新 TTS 险胜登顶世界榜单，但第一名不是重点。在台词里写个中括号就能让 AI 发火、倒吸气、咯咯笑，配音从选音色变成写剧本。做语音应用的朋友，300 毫秒首包和那个没开源的细节，更值得你看完。
2026-07-20

把微调当 speedrun 打，纪录已经卷到 6 分钟

GitHub 上出现了一个微调竞速排行榜，冻结任务冻结硬件，只比墙钟时间。基线 12 分钟，两个朴素技巧砍到 6 分 05 秒还更准。这篇拆它的规则、纪录和那张没人动过的免费午餐清单，Modal 免费额度就能参赛。
2026-07-19

聊了 300 场，他见过的 AI 项目成功率 0%

一位从业者 18 个月近距离围观企业 AI 项目，无一成功，而且死因几乎都不在模型。裁掉不用 AI 的高分员工、token 排行榜、给数据库迁移贴 AI 标签，看完你会明白为什么最清醒的人现在都在装疯。
2026-07-18

分数好到离谱，Cursor 第一反应是模型在作弊

公开榜单和开发者体感对不上之后，Cursor 自建了一套评测，分数太好还要把模型的推理记录逐条翻出来查。这篇聊聊他们怎么分辨模型是真聪明还是在背题，以及贵模型到底什么时候值得掏钱。
2026-07-18

Kimi K3 冲到第三，这周真正的新闻不是它

八天四款前沿模型，能打的实验室从 2 家变 6 家，第一名领先缩到 1 分，智能的价格八天便宜了两三倍。写给被榜单轰炸的你，什么值得切，什么该等，怎么不被榜单牵着走。
2026-07-18

跑分 90 的搜索 agent，换套题只剩 34 分

BrowseComp 十个月从 30 分涨到 90 分，美团用 762 万实体的知识图谱重新出题，GPT-5.5 只考出 34.74%，上下文管理策略还集体失灵。做搜索和 deep research agent 的朋友，这份卷子值得亲自看一遍。
2026-07-18

模型抢头条的这八天，NVIDIA 悄悄换了 RAG 的地基

八天四个前沿模型刷屏的同一周，NVIDIA 开源了 Nemotron 3 Embed，8B 登顶检索基准 RTEB。官方没细算的三笔账，推理、存储、全库重嵌，这篇替你算明白，自建 RAG 的动手前先看完。
2026-07-14

腾讯这次开源，最值钱的不是模型权重

HyOCR-1.5 只有 1B 参数，文档解析跑分却坐上端到端第一，还能塞进笔记本本地跑。但真正稀罕的是训练配方和数据管线也一并开了。做 RAG 被 PDF 折磨过的朋友，这篇帮你算算专家小模型这笔账。
2026-07-13

OpenRouter 周榜前五全是国产，登顶的不是 DeepSeek

腾讯 Hy3 发布 6 天冲上 OpenRouter 用量榜第一，但登顶这周它恰好免费。这篇把榜单的水分和真金分开算，看完你就会自己读这个榜，还能赶上 7 月 21 日前的白嫖窗口。
2026-07-13

GPT-5.6 比 Claude 贵 50%？他们查完发现锅在自己

Ploy 把生产 agent 的默认模型从 Opus 4.8 换成 GPT-5.6 Sol，只用了 48 小时。快 2.2 倍省 27% 只是开胃菜，真正值钱的是四个坑，评测偏心、参数造假、缓存翻车、推理回放，每个都附了能抄的修法。
2026-07-10

GPT-5.6 正式发布，最狠的不是跑分

Sol、Terra、Luna 三档齐发，ultra 默认四个 agent 并行，Codex 并入桌面应用连免费档都开放。跑分赢麻的口径里有什么门道，agent 连干几小时的账单和验收成本谁来付，这篇把发布页没细说的账摊开算一遍。
2026-07-09

AI 编程跑分暴涨到 80%，OpenAI 一查，三成题是坏的

八个月通过率从 23.3% 涨到 80.3%，看着是模型狂飙，OpenAI 审计完却撤回了对 SWE-Bench Pro 的推荐。聊聊跑分暴涨里多少是能力多少是坏题，以及工程师选型时到底该看什么信号。
2026-07-07

AI 会在环境里越干越强，字节 EdgeBench 发现的新 Scaling Law

字节 Seed 发布 EdgeBench，让 Agent 在真实任务里连干 12 小时，发现环境学习遵循 log-sigmoid 曲线，学习速度每三个月翻一倍。
2026-07-02

Senior SWE-Bench：最强模型也只干完四分之一的活

一个专门评估 AI 智能体当高级工程师的新基准，把榜单从八十分打回二十几分。
2026-06-23

你的 AI 编程模型，可能学会了在考试里抄答案

一份审计扒出 9 个主流 agent 评测榜的大面积作弊，1000 多条实锤。你以为模型越来越聪明，其实有不少聪明是它学会了怎么在考场里抄答案。
2026-06-21

你的研究智能体，正在用一堆人畜无害的搜索把你卖了

ServiceNow 提出 MosaicLeaks 基准，揭开深度研究智能体的马赛克式泄密。单看每条搜索都无害，连起来却能拼出你的机密。聊聊为什么隐私 prompt 不进去只能训进去。
2026-06-16

伯克利 RDI 发布 Agents' Last Exam 基准：最强 agent 在最难一档拿了 0 分

他们做了个考 AI agent 真本事的基准，最难那档所有前沿模型包括 Fable 5 全军覆没，0% 通过。
2026-06-10

Anthropic 昨晚发了两个模型，其实是同一个

Claude Fable 5 和 Mythos 5 同时发布，同一个底层模型、两个名字，区别只有一层防护。这个发布结构本身，比跑分更值得琢磨。
2026-06-10

国产 GPU 上训出来的代码模型，跑分把 Claude Opus 比下去了

摩尔线程开源 MusaCoder，业内首个在国产 GPU 上完成全链路训练的代码大模型，KernelBench 跑分超越一票闭源旗舰。比跑分更有意思的，是它背后那个用 AI 撬生态冷启动的故事。
2026-05-15

AI agent 跑了 9700 次实验，第一次在自主研究赛道上击败了人类基准

Prime Intellect 让 Claude Code 和 Codex 完全自主运行在 nanoGPT speedrun 上，消耗 1.4 万 H200 小时跑了近万次实验，最终击败了人类基准——但在真正创新那关翻车了。

Claude Code AI 编程 Agent 工程 Skill 与 MCP 模型与发布开源 AI 安全图像、视频与语音行业与公司机器人与自动驾驶算力与本地部署