小岛AIAI 航行日志

小岛 / 岛刊社 / 文章

Vidu S2 要进直播间,先把「不断流」写进验收单

小岛AI

实时换装、换人和换背景已经能发生在持续视频流里。Vidu S2 值不值得接,不该只看一段样片;直播和互动视频团队更该先验三段不断流。

图像、视频与语音

直播间里,主播刚把一只绿色杯子举到镜头前,说“换成新款保温杯”。人物继续说话,动作没断,手里的东西和身后的场景却跟着换了。

以前这种画面像一段精心剪出来的样片。现在,它开始被放进“持续输入的视频流”里做。差别很大:样片翻车,重抽一遍;直播翻车,观众就在那儿看着。

Vidu 在 9 月 15 日更新了 S2。官方把能力分成两块:S2-Avatar 做实时互动数字人,支持语音、复杂动作,以及在对话中加入参考图来换持品、服装和背景;S2-Editing 则对持续输入的视频流,按风格、服装、主体或背景参考图实时改画面。官方文档写的是 720P+ 数字人输出;同日的更新公告也已把两种 S2 模型列为新增能力。

好家伙,视频模型终于不只负责“等一会儿,给你一条片子”。它开始碰到直播、数字展厅、互动广告这些不能暂停的场景了。

但我会把“能实时改”和“可以直接接进直播间”分开看。

前者是模型能力。后者是一条从摄像头、音频、参考素材、生成服务、播放器到人工运营的连续链路。中间任何一环卡住,观众感受到的都不是模型多聪明,而是主播突然变糊、声音先到、人还没回来,或者商品已经换了,口播还在讲旧款。

这不是要给新能力泼冷水。恰恰相反,能让参考图在互动中继续生效,才让实时视频有了从演示走向工作流的可能。只是接入前,团队该先把“不断流”写成验收项,而不是把它留给现场祈祷。

先别测最好看的 10 秒,先测一段完整的输入

生成视频最容易被短样片宠坏。人物站稳、镜头固定、背景干净,十秒钟里几乎没有系统要处理的意外。

真实直播不是这样。有人会停顿、侧身、把商品挡住半张脸;摄像头亮度会跳;运营会临时换素材;网络也不会配合你在发布会那天保持优雅。

所以试点的第一段,不该从“这一帧够不够惊艳”开始,而该从一段持续输入开始。找一条正常业务里会出现的素材:讲解、拿取商品、转身、靠近镜头、停顿,再把它连续喂进去。

这段测试里,不必急着给模型打总分。只记四件事就够了:

  • 输入画面变化后,输出多久重新稳定;
  • 音频、嘴型和动作有没有一起慢下来;
  • 某一帧质量掉下去后,是自己恢复,还是把后面的流一起拖住;
  • 服务短暂失败时,播放器能不能立刻退回原视频或一张明确的兜底画面。

这里最容易漏掉的是最后一条。生成结果不好看,还能事后解释;播放黑屏十秒,观众已经走了。把原视频、静态占位和人工切换做成可选路径,不是保守,是给新能力留一个能重新上场的机会。

连续视频测试应覆盖正常、亮度变化与回退画面

连续输入里,最该确认的是异常出现后能不能回到确定的画面。

真正难验的,是参考图换了以后,故事还接不接得上

S2-Avatar 的一个有意思的点,是对话过程中可以继续加参考图。官方给出的场景包括拿起指定物品、换上参考图里的衣服、换背景。S2-Editing 则把这件事放进了输入视频流:同一段画面可以改风格、服装、人物主体或环境。

这很适合直播导购和数字展厅。运营不再只能在开播前把全部素材钉死,理论上可以在一段互动里切商品、换套装、把角色带到另一个场景。

可参考图一旦进了生产链路,它就不只是美术素材了,它会变成一次状态变更。

商品、服装和背景参考图进入实时视频前,需要留下可追溯的切换记录

参考图切换要能回放,才不至于变成一场找不到起点的画面漂移。

我的建议是让试点故意做三次切换:一次换商品,一次换服装或主体,一次换背景。每一次都盯住三个问题:

  • 新素材出现后,人物手势、视线和物品关系有没有突然失去语义;
  • 旧素材还会不会在后续画面里残留;
  • 这次切换到底由谁发起、用了哪张素材、出了问题能不能定位到那一刻。

前两个是画面连续性,最后一个是运营连续性。很多团队会很认真地比较人物像不像,却没给“谁可以把人换成谁”留记录。等素材库变大、多人轮班,问题就不再是一个提示词写错,而是一次无法追溯的画面变更。

如果要接商品图、人物图或品牌素材,我会额外把素材来源、可用范围和撤回入口放进同一张表。模型听不懂授权边界,接口也不会替运营确认。这个活听着不性感,厉害了,但它往往比再调一版提示词更能救场。

画面连续,不等于业务可以连续

Vidu 的 S2 技术报告把这套能力描述为实时互动数字角色、实时视频编辑,以及对实时空间视频的探索。报告里的模型指标可以帮助判断技术方向,但它不能替你回答一个业务问题:当有人改口、换商品、临时下架素材,或者主播需要立刻接管时,这条链路会怎么走。

所以第三段测试,不该再给模型加难动作,而该给运营加难题。

准备几个很不体面的场景:素材审批临时撤回、商品口播改价、语音识别错了一个型号、网络断了一小段、人工主播想立刻接回来。然后提前写死每个场景的动作:谁按下回退,回到什么画面,恢复后是否继续旧状态,哪一段录像和日志要留。

这份清单看起来不像 AI 新闻,甚至有点像值班手册。可实时视频一旦走到“边播边改”,它就已经不是一个只在创作页里消耗积分的工具,而是一个会影响正在播放内容的系统。

官方公开材料现在能确认的是能力入口:实时互动、动态参考、720P+ 输出和对视频流的四类编辑。它们还不能替代你自己的端到端延迟、并发、成本、审核与人工接管数据。这个边界要说清:没有公开或亲自跑出的数据,就别把样片里的顺滑写成业务里的承诺。

一张够用的试点单

如果团队准备给 Vidu S2 排一个试点,我会把范围压得很小:只选一个角色、一类商品、一种背景切换,不要第一天就做全场数字人直播。

要验的段落场景通过不该只看什么至少留下什么
输入不断连续讲解、转身、拿物、停顿单帧画质输出恢复时间、音画状态、回退是否成功
参考不断商品、服装、背景各换一次换得够不够炫素材记录、旧状态是否残留、失败后的回原画面
运营不断撤素材、改口播、短暂断网、人工接管模型是否还能继续生成负责人、回退动作、回放片段和复盘结论

这一轮只要能答清三句话,就值得继续加码:观众会不会看见断流;运营能不能解释每次变化;出了意外能不能在十秒内回到一个确定的画面。

Vidu S2 最吸引人的地方,不是又多了一种视频特效,而是把“参考图驱动的变化”带进了还在播放的视频。它给了互动内容一个更像现场的入口。

但现场从来不是只靠一个模型撑住的。模型负责把画面变出来,系统负责让它持续,团队负责在不该继续的时候及时接住。

你们在直播或实时视频里,最怕哪种断:画面断、语义断,还是运营接不上?