Gemini Robotics 2 最值钱的不是聪明，是会验收

一台机器人正在拧灯泡。

最难的不是看见灯泡，也不是把手抬起来。真正麻烦的是，它怎么知道灯泡已经拧紧了，而不是刚好转到一个看起来差不多的角度。

拧早了，灯泡没接触好。拧晚了，玻璃可能碎。更尴尬的是，它若判断错了，还会一本正经地进入下一步，像一个测试没跑完就宣布上线的 Agent。

Google DeepMind 昨天发布的 Gemini Robotics ER 2，最吸睛的演示是两台不同机器人互相配合。一台处理适合自己的部分，再把任务交给另一台继续。

画面当然很帅。

但我把官方博客、API 文档和示例仓库看下来，反而被灯泡这件小事勾住了。ER 2 真正有分量的升级，不是机器人终于学会组队，而是它开始回答三个很不性感、却决定能不能上岗的问题。

现在做到哪了。

刚才那步成功了吗。

什么时候该停。

好家伙，这三个问题，写过 Agent 工作流的人应该太熟了。模型会调用工具早就不稀奇，难的是工具调用之后，系统能不能看懂真实结果，能不能确认任务完成，能不能在失败时别装没看见。

软件 Agent 卡了两分钟，最多浪费一点 token。机器人判断错一步，掉下来的可能是一只杯子，也可能是一块十公斤的零件。

物理世界不接受「大概完成」。

ER 2 更像领班，不是电机大脑

先把一个最容易误解的地方掰开。

Gemini Robotics ER 2 不是直接控制每一个关节的万能模型。Google 在 官方文档 里写得很清楚，它是 embodied reasoning，也就是具身推理层。它负责看环境、理解任务、拆步骤、选工具、盯进度，再把具体动作交给底层执行系统。

底层通常是 VLA。

VLA 是 Vision-Language-Action，也就是视觉、语言、动作模型。你可以把它理解成更靠近机械臂和电机的执行员。高层模型说「把桌上的空杯放进回收箱」，VLA 负责把这句话变成连续的抓取、抬升、移动和释放动作。

ER 2 则像领班。它不亲自拧每一颗螺丝，但它知道该叫谁来拧，先拧哪一颗，拧完该检查什么。

这套架构，跟我们给软件 Agent 搭工具链几乎是同一种思路。

数据库查询是一个 tool，发邮件是一个 tool，跑测试是一个 tool。到了机器人这里，导航 API 是 tool，机械臂控制是 tool，视觉检测是 tool，甚至另一台机器人也是 tool。

Google 的 示例仓库 已经把这层关系摆在代码里。中间是一套由 Python、FastAPI、WebSockets 和 Google GenAI SDK 组成的 agent server，往上接 Gemini Live API 的音视频流，往下接 Boston Dynamics Spot、Tinybot 或其他本体。

你如果做过工具调用，看到这种目录结构会有一种诡异的亲切感。

原来机器人也要写胶水代码。。。

而且胶水一点都不少。机器人移动、机械臂展开、目标识别、抓取、导航、租约管理，各自都有接口。模型的工作不是凭空学会所有动作，而是在一堆能力边界明确的接口中做编排。

这事儿有点子牛逼的地方，是它把机器人开发从「训练一个包打天下的模型」，推向了「给一个通用推理层接上可替换的执行模块」。

今天接 Spot，明天可以接轮式底盘。仓库里甚至把人类遥操作也当成一种执行方式。只要工具契约稳定，高层编排就有机会复用。

当然，这里有个很大的前提。

你的工具得靠谱。

导航接口若偶尔把左转听成右转，机械臂接口若返回成功但夹爪其实没合上，再聪明的编排层也只能在错误地基上盖楼。模型可以决定调用谁，却不能替你消灭执行层的物理误差。

真正的新能力，是一边干活一边看

传统长任务有个麻烦，模型发出动作后，经常得停下来重新观察，再决定下一步。

这种「做一下，停一下，想一下」放在聊天窗口里没啥。放到真实机器人身上，就像一个搬箱子的工人每走两步都要原地发呆，画面会非常抽象。

ER 2 新增了面向实时场景的流式端点 gemini-robotics-er-2-streaming-preview。它通过 Gemini Live API 接收连续音视频，在当前动作还没结束时，就能并行判断进度和准备后续步骤。

这里最关键的输入，不是一张照片，而是一段没有停下来的现实。

照片只能告诉模型「现在是什么样」。视频才能告诉它「刚才发生了什么」「动作有没有继续」「那只手是在靠近，还是已经停住」。

Google 给了两个很有意思的指标。

一个叫 progress classification，进度分类。模型把视频里的每一帧归到五个区间，从 0 至 20%，一路到 80% 至 100%。ER 2 的准确率是 57.4%。

坦率讲，57.4% 不是一个适合放烟花的数字。

但它有价值，因为进度第一次从一句模糊判断，变成了可以持续测量的运行状态。系统可以发现任务卡在 40% 很久，可以决定重试某一步，也可以避免失败后把整套流程从头再跑。

另一个叫 moment finding，关键时刻定位。它要从连续视频中找出某个动作真正完成的那一帧。官方报告的准确率是 91.3%，平均时间误差 0.96 秒，执行速度比更大的模型类别快 4 倍。

不到一秒，听着仍然不够科幻。

可你把它放回物理系统里就知道，这个指标比模型能背多少知识更实在。水已经倒满没有，袋口已经扎紧没有，灯泡已经拧到位没有，机器人必须在正确的时刻切换动作。

快不只是体验问题，也是安全问题。

模型若两秒后才发现杯子开始滑，日志可以写得再漂亮，杯子也已经落地了。

厉害了，AI 圈卷了这么久的推理速度，到了机器人这里，终于不只是让聊天框少转半秒圈圈。

验收才是 Agent 的分水岭

写 Agent 最容易犯的错，是把「工具返回了 200」当成「任务成功了」。

接口调用成功，只能证明请求送到了。邮件有没有发给对的人，代码有没有真的通过测试，文件有没有写到正确目录，那是另一回事。

机器人把这个问题放大得非常直白。

机械臂 API 返回完成，不代表杯子已经抓稳。导航接口走到了坐标，不代表通道没有被纸箱挡住。模型说任务结束，也不代表地上的垃圾真的都清走了。

ER 2 把连续视频、进度分类、关键时刻定位和成功失败检测放在一起，做的其实是一套运行时验收。

它一边编排，一边观察，一边拿现实反馈检查自己的计划。

这也是我觉得这次发布比多机器人演示更重要的原因。多机器人协作很适合剪进宣传片，任务验收却更接近生产环境的地基。前者让人惊叹，后者决定设备能不能在没有工程师盯着时连续工作。

Google 展示了 Apollo 2 与 Franka F3 Duo 的协作，也展示了 Spot 根据自然语言命令取回物品。不同本体擅长不同动作，高层模型用共享的语义理解安排交接。

但别急着把它理解成「任意两台机器人自动组队」。

每台机器人仍然需要明确可调用的能力，开发者仍然要定义输入、输出、权限、超时和失败条件。所谓共享语义，不会自动抹平硬件协议，也不会凭空生成可靠的抓取控制器。

软件工程里那套脏活，到了物理世界一件没少。

工具调用要幂等，失败重试不能把同一个箱子搬两遍。超时要能中止，不能让电机在模型断线后继续执行。返回值要带可观测状态，不能只给一个含糊的 done。验收条件要独立于执行器，不能让干活的人同时给自己打分。

反正我觉得，这才是做 Agent 的人最该盯住的部分。

模型能力越强，工程团队越容易把注意力全放到规划上。可长任务真正的事故，往往发生在执行与验收之间。计划没问题，工具也调用了，末尾那一步没人确认。

空指针。

只是机器人版本的空指针会砸到地上。

普通开发者现在能做什么

这次发布有一个很现实的变化，ER 2 已经通过 Gemini API 和 Google AI Studio 开放预览，不再只是一段实验室视频。

标准端点是 gemini-robotics-er-2-preview，流式端点是 gemini-robotics-er-2-streaming-preview。现有 ER 1.6 用户可以直接替换模型名，旧版本计划在 8 月底停止服务。

没有机器人的开发者，也不是只能围观。

最容易开始的方向，是先拿录制视频测试进度识别和关键时刻定位。找一段装配、整理桌面或倒水的视频，让模型输出每一步的状态，再检查它在哪些遮挡、反光和视角变化下会误判。

这个实验很朴素，但比让模型描述画面更接近真实任务。描述是在回答「看到了什么」，验收是在回答「事情做成没有」。

再往前一步，可以把你已有的设备接口包装成窄工具。工具别追求万能，一个接口只做一件可验证的事。move_to 负责移动，grasp 负责抓取，read_camera 负责观察，stop_all 负责紧急停止。

每个工具都写清前置条件和完成条件。

这比写一段华丽 prompt 管用多了。模型会变，硬件会换，接口契约才是系统能维护下去的骨架。

然后，把验收从动作里拆出来。

不要让 grasp 自己声称已经抓稳，再让上层无条件相信。用摄像头、夹爪压力或目标位置做第二路确认。两路信号不一致时，系统应当停下来请求人工判断，而不是赌一次。

我自己也不确定 ER 2 在复杂工厂里能稳定到什么程度。官方的 57.4% 进度分类准确率已经提醒得很诚实，这还是一项正在长大的能力。

而且模型在预览期，延迟、价格、配额、地区可用性都可能变化。真正接硬件前，还要把网络抖动、模型超时、流式连接中断和 API 版本迁移算进系统。

更不能漏掉安全边界。

Google 在 安全技术报告 里展示了人靠近时机器人停止，人员离开后再恢复。这类能力很重要，但应用方不能把全部安全责任塞给云端模型。

急停开关、速度限制、碰撞检测、权限隔离和人工确认，仍然应该在模型之外独立存在。

模型可以建议停。

硬件必须保证能停。

怎么说呢，ER 2 并没有让机器人开发突然变简单。它只是把最难的一层，从「每个任务都手写一套状态机」，往「通用模型负责理解与编排，专用模块负责可靠执行」推了一步。

这一步不小。

软件 Agent 过去两年走过的路，机器人正在重新走一遍。先有会说话的模型，再有工具调用，再有长任务编排，接着大家发现，没有观察、验收、权限和失败恢复，所谓自主只是一段更长的 demo。

现在，这套教训开始长出手臂和轮子。

一个真正能工作的机器人，不是抬得起手，而是知道灯泡何时拧紧，知道没拧紧该怎么办，知道人走近时必须停下来。

聪明只是起点。

验收，才是它第一次有资格上班的地方。