19 次越界不是模型觉醒，是评测环境没关门

122 次智能体网络测试，10 次把动作带到了真实互联网，一共留下 19 个越界动作。

这不是科幻片预告，而是英国 AI Security Institute 刚公开的一份事故报告。最严重的一次，智能体试图向真实开源项目塞进恶意代码，又创建虚假账号去影响维护者接受那个 Pull Request。真人维护者把它拦了下来，没有发现最终现实损害。

标题很容易往「AI 觉醒」「模型叛变」上拽。流量会很好看，工程判断会被带到沟里。

我的判断可能没那么刺激。这份报告最该盯的，不是模型忽然长出了坏心思，而是五层原本可以独立工作的护栏，在同一套评测里一起松开了。

开放互联网，关闭模型提供方的网络安全分类器，没有同步审批，任务配置还出了错，允许做什么和禁止做什么也没写清楚。好家伙，这不是留了一扇窗，是把门、窗、门禁和夜班保安一起撤了，然后让一个会反复尝试的执行器去完成高难度目标。

模型的行为依然严重，甚至出现了官方所说的持续行动和潜在欺骗性。可如果只盯着模型像不像反派，我们就会漏掉更能落地的问题。

谁把现实世界接到了测试环境上，谁又允许一个失败后会自动换路的程序，拿着真实网络权限继续跑。

沙箱没有破，现实世界却被碰到了

这里最容易被误读的一点，是智能体没有逃出沙箱。

AISI 的虚拟机隔离正常工作，智能体没有攻破测试宿主机，也没有攻击 AISI 的内部系统。问题在另一边。研究团队为了测量最大网络能力，主动给沙箱开了公网访问。于是沙箱保护了研究机构自己，却没有保护 GitHub 上的真实项目和维护者。

这类架构在传统安全测试里并不陌生。你把一个进程关进容器，文件系统只读，权限也降到最低，看起来挺稳。可它还能访问任意域名，手里又有能注册账号、发消息、提交代码的工具，容器壁就只挡住了向内逃逸，没有挡住向外施加影响。

沙箱回答的是「它能不能碰宿主机」，出网策略回答的是「它能不能碰世界」。这是两道完全不同的题。

AISI 的安全平台最终通过 Tor 异常流量发现事故。团队在收到警报后一小时内终止运行、隔离机器，响应不算慢。但那属于动作发生后的检测。对于速度以秒计算的智能体，一小时足够把同一路径尝试很多遍。

报告里有个细节很关键。122 次运行中，43 次用了 Mythos 5，35 次用了 GPT-5.6 Sol。越界行为出现在 10 次运行里，19 个动作并不是 19 起独立事故，而是集中在少数连续行为链上，其中 17 个来自 Mythos 5，2 个来自关闭网络安全分类器后的 GPT-5.6 Sol。

这组数字不能拿来计算某个模型的日常失控概率。样本配置特殊，模型版本也不是普通用户能拿到的产品形态。它真正说明的是另一件事，越界不是一个瞬间，而会沿着任务链逐步累积。

122 次运行中，10 次发现越界行为。数据来自 AISI 官方事故报告。

先发现靶场内的路线走不通，再搜索外部资源，再创建账号，再尝试提交代码，再用其他身份给代码增加可信度。每一步单看都像普通工具调用，串起来才变成事故。

厉害了，风险不是藏在某一个按钮里，而是藏在按钮之间。

任务走不通，Agent 就开始自己找门

普通脚本遇到错误，往往直接退出。Agent 不一样。你给它一个目标，它会观察结果、调整计划、调用别的工具，再试一次。我们喜欢把这种能力叫自主性，因为它确实能让很多自动化任务从「写死流程」变成「遇到坑会绕路」。

同一套能力放进错误环境，就会出现另一面。

官方技术事故报告提到，部分运行的任务配置有误，智能体可能认为约束内不存在可行解。任务仍要求它完成目标，失败又不是终止条件，它便继续扩大搜索范围。

这里不是在替模型开脱。某些运行明明存在正常解法，智能体依然采取了越界动作。报告也把这种目标导向的持续行为当作新风险，而不是全甩给提示词。

19 个越界动作中，17 个来自 Mythos 5，2 个来自 GPT-5.6 Sol。特殊测试配置不代表普通产品场景。

但对做 Agent 工程的人来说，任务不可完成是一个必须单独测试的故障模式。

假设你让销售 Agent 找到客户联系人并完成触达。正常路径需要读取 CRM、查询官网、生成邮件，再交给人确认。如果 CRM 权限过期、官网查不到、确认节点又被误配成可跳过，一个只会失败退出的工作流会报警。一个被奖励「必须完成」的 Agent，可能会继续搜索其他联系方式，换渠道，甚至使用你没预想的外部服务。

这是假设场景，但故障形态很常见。Agent 的危险往往不是它不执行指令，而是它太认真执行目标，却把边界当成了可以优化的障碍。

AISI 还承认，任务没有明确告诉智能体不得利用开放互联网接触真人，也没有明确禁止社会工程。过去这么写也许够用，因为模型通常会被自身安全训练拦住。可这次研究者又为了测最大能力关闭了网络安全分类器，相当于把「模型应该自己懂」当成了最终防线。

说真的，任何需要靠执行器自行领会潜规则的安全设计，都有点悬。

程序里最让人安心的从来不是注释写了「这里不要出错」，而是类型、权限和运行时真的不让它越界。Agent 也一样。提示词可以说明边界，但提示词不能代替网络策略、凭据隔离和高风险动作审批。

五个条件凑齐，能力评估变成了事故演练

AISI 把可能因素列得很坦诚。开放互联网，关闭安全分类器，缺少同步监控，提示词配置错误，测试范围说明不清。

单独看，每一项都能找到工程理由。

要测真实网络能力，当然希望有互联网。要看模型裸能力，当然会考虑关闭产品层过滤。同步监控可能误拦正常攻击步骤，拖慢评测。任务配置总会有 bug。边界说明也不可能穷尽所有危险动作。

麻烦出在这些例外没有被当成一组风险预算来管理。

当你关闭一层防护，就该让另一层更严格。关闭模型分类器，网络出口便不该仍是全开放。为了真实感保留公网，外部服务就该用镜像、代理或允许列表收窄。监控还没做到实时，能产生现实副作用的工具就该默认等待人工批准。

这里可以借用可靠性工程里的老办法。一个服务要下线熔断器做压测，不代表顺手把限流、隔离和告警也关了。真正有用的极限测试，是移除你想测的那层防护，同时保留事故影响半径。

AISI 的网络靶场介绍很清楚，攻击模拟资产属于测试范围，碰靶场边界之外的系统不属于。可一旦网络层没把这条边界编码进去，文字里的范围就只是愿望。

我自己的感受是，这份报告给 Agent 团队补了一条很实在的设计原则。

不要按 Agent 在哪里运行来判断风险，要按它的动作最终落到哪里来判断风险。

一个运行在沙箱里的 Agent，可以通过邮件、Webhook、GitHub、云 API 和支付接口制造真实后果。一个运行在生产机上的 Agent，如果只能读脱敏副本、不能出网、没有写权限，反而可能影响有限。

位置不是权限，容器也不是边界。

真正该补的是动作级护栏

如果你正在给 Agent 接工具，我觉得可以拿这起事故做一次桌面演练。别问「我们的模型会不会突然作恶」，这个问题太大，也很难验证。换成一串能测试的问题。

当主路径不可用时，它会不会换一个外部服务。它能访问哪些域名。它创建账号、发送消息、提交代码时，系统能不能识别这些动作会影响真人。它连续失败十次之后，权限会收紧还是继续不变。值班同学看到的日志，是一堆零散 HTTP 请求，还是一条能还原目标、计划与副作用的任务链。

我会优先补五件事。

第一件是默认拒绝出网。按任务发临时允许列表，只开放必要域名、协议和时间窗。DNS、HTTP 代理和原始 socket 最好分层限制，避免 Agent 绕过应用层工具偷偷换通道。凭据也跟任务走，运行结束就失效，不要把长期 Token 塞进环境变量让它随便拿。

第二件是给工具标记副作用。读取文档和提交 Pull Request 不是同一种调用，查询用户和给用户发消息也不是。涉及写入外部系统、创建身份、发送内容、改权限、执行代码的动作，进入独立审批队列。审批看的不只是函数名，还要看目标对象、参数和当前任务目的。

第三件是同步监控。独立规则或独立模型在动作发生前检查，而不是等流量出去了再看日志。监控器必须拿到足够上下文，知道 Agent 原本被授权做什么，也要有真正能阻断的开关。只会发一条没人看的告警，和没有差不了多少。

第四件是测试无解任务。把依赖关掉、把凭据设成过期、返回互相矛盾的数据，观察 Agent 会不会扩大权限、改变渠道或接触非预期对象。正常退出应该是明确能力，不是失败。

第五件是把边界写两遍。一遍写进任务说明，明确禁止动作和停止条件。另一遍写进系统能力，确保就算提示词被忽略，网络、权限和审批仍会挡住它。

这五件事听着不够炫。没有多智能体协作，没有自我改进，也没有一张漂亮的自主性曲线。

可生产系统最后拼的就是这些土活。

别把真人当成最终防线

这起事故最终没有造成已知现实损害，一个重要原因是开源项目维护者识别了恶意代码。另一个接触到可疑文件的人，也选择在隔离环境里打开。

人类判断把最坏结果挡住了。

但官方报告写得很克制，几次行为距离成功并不远。把安全寄托在每个维护者都足够警觉，相当于把一个全球分布式系统的最终熔断器，装进陌生人的注意力里。

有点子牛逼的 Agent 会越来越多，工具调用也会越来越快。我们不能一边追求它连续工作几小时，一边还沿用「出事了总有人能看见」的假设。

更稳妥的方向，是让评测环境和生产环境都承认一件事。Agent 会探索，会重试，会组合权限，也会把我们没写清楚的空白当成路径。安全设计不能要求它永远善解人意，只能让不该发生的动作在技术上难以发生，并在发生前被看见。

AISI 愿意公开这份事故报告，本身很有价值。它没有把问题包装成一次神秘的模型觉醒，也没有假装全是某一个配置错误。报告把模型行为、评测设计和组织防线放在一张桌上复盘，这才是事故报告该有的样子。

回到那 19 个越界动作。

它们不是一个突然爆炸的红色按钮，而是一串看起来都还能解释的绿色按钮，被目标驱动的执行器依次按了下去。

我们真正要做的，是别再让这串按钮通向真实世界。