当AI"导航仪"学会原路返回
，视频世界模型的长程漂移难题这样解决

这项由香港科技大学与武汉大学、腾讯视频AI技术中心结合实现的钻研
，以预印本大局颁布于2026年8月
，论文编号为arXiv:2608.04964。感兴致的读者可通过该编号在arXiv平台检索齐全论文。 你有没有玩过那种盛开世界的3D游戏——角色向前走了十步
，而后你让他转身走回来
，了局回到的处所和启程点齐全对不上号？这并不是游戏开发者的失误
，而是一个深藏在人为智能视频天生技术底层的固执问题。钻研团队把它称为"状态返回失效"
，而这正是他们这项工作要正面解决的主题难题。 钻研团队提出了一个名为WorldCycle的框架
，以及配套的评测基准CycleBench。这两样器材合在一路
，组成了一套齐全的"诊断加医治"规划
，专门针对交互式视频世界模型在长功夫运行后逐步"迷途"的问题。 在正式进入钻研细节之前
，有必要先搞明显"交互式视频世界模型"到底是一种什么器材。把它理解成一个极其精密的"动态场景播放器"会比力直观：你给它一张肇始画面
，而后通知它"摄像机向前移动"、"向左转"、"向右转"……它就会一帧接一帧地天生对应的画面
，就如同你真的站在那个场景里用眼睛环顾周围一样。这类模型在被宽泛利用于游戏仿照、机械人训练、自动驾驶场景预测等前沿领域。 这类模型的工作方式有一个关键特点：它是"接力天生"的。也就是说
，它先天生第1帧
，而后把第1帧当作参考
，再天生第2帧
，再把第2帧当参考天生第3帧……以此类推。这种方式在技术上叫做"自回归天生"
，就像接力竞走
，每一棒都依赖上一棒交来的接力棒。 问题就出在这里。每一步天生都不是美满无误的
，总会带来微幼的误差——摄像机地位稍微歪了一点点
，场景边缘的色彩轻微变了一点点。单独看每一步
，这些误差险些觉察不到。但随着天生步数增长
，这些微幼误差会不休叠加、不休放大
，最终堆集成肉眼可见的巨大误差。打个譬喻
，这就像你用尺子在纸上画一条很长的直线
，每次接续时笔尖稍微偏了0.1毫米
，画到最后
，线条早就歪得离谱了。 钻研团队把这个景象分化为两种具体的失效模式。第一种叫"空间关合失效"：当你让摄像机先向前走十步、再向后退十步时
，理论上应该回到原点
，但现实天生的画面和启程时的画面对不上
，场景里的树木、构筑物都错了位。第二种叫"功夫一致性失效"：同样的作为指令
，在天生序列的第20帧执行和在第200帧执行
，产生的位移量竟然不一样——统一个"向前走"的指令
，走的距离忽远忽近
，模型对于自己在哪里、走了多远齐全没有不变的认知。 这两种失效都只有在天生足够长的序列之后才会露出出来。若是只看短短几帧
，所有看起来都挺正常
，这就是为什么现有的评测步骤一向没能捉拿到这个问题——由于各人习惯了只评估短片段的质量。 既然问题已经被鉴别出来了
，为什么不直接用强化进建来建改它呢？强化进建是一种通过"给对的行为打高分、给错的行为打低分"来训练模型的步骤
，近年来在说话模型领域获得了巨大成功。 答案是：没有尺度答案能够对照。强化进建要起作用
，必须有一个能打分的"评价者"。对于说话模型
，你能够让人类阅读天生的文字并打分；对于图像模型
，你能够用人类偏好数据来判断哪张图更好看。但对于视频世界模型的长程轨迹
，问题就卡住了——若是摄像机依照一系列复杂的指令移动
，最终应该达到哪里？没人知路
，由于真实的"正确未来状态"底子不存在于训练数据里
，你没法子凭空得到那个参考画面去做比对。 钻研团队把这个困境叫做"验证瓶颈"。现有的后训练步骤
，要么只评估单个短片段的画面质量
，要么评估短片段里摄像机移动的方向是否大体切合指令
，但都无法对整段长轨迹的累积误差进行评价。最新的对照工作WorldCompass尝试为每个片段打一个作为追随得分
，但这依然是逐段打分
，无法捉拿到逾越数百帧的整体漂移。 验证瓶颈的存在
，使得"用强化进批改善长程一致性"这件事险些成了无解之题：你想嘉奖好的行为
，但你不知路什么是好的——由于没有长程参考状态。 具体来说
，若是摄像机先向前走十步
，而后向后退十步
，那么凭据物理学
，最终肯定应该回到原点。这个"必须回到原点"的结论不必要任何表部数据来证明
，它是由作为的代数结构决定的——向前和向后互为逆操作
，叠加之后蹬宗什么都没产生。同理
，先向右转再向左转、先升高再降低
，理论上的净成效都是零位移。 这个洞察之所以关键
，在于它同时解决了验证瓶颈。当你机关一个"来回关合蹊径"时
，你立刻就知路正确答案是什么（回到起点）
，不必要任何人为标注
，不必要额表的真实视频数据
，齐全由作为序列自身的结构决定。这就像给导航软件做测试——你不必要知路指标城市长什么样
，只必要让它从A城导航到B城再导航回A城
，若是最后回来的处所和启程地如出一辙
，就证明导航是正确的。 第一个挑战是"嘉奖太稀少"的问题。若是只在关合蹊径的终点判断有没有回到起点
，那么整个几百帧的轨迹只收到一个打分信号。这就好比给学生安插了一篇500字作文
，但只看最后一个标点符号来打分——前面499字写得好不好
，齐全无从判断
，模型也不知路应该在哪个步骤上做出建改。 钻研团队的解决规划是把整段"去而复返"的蹊径拆成密集的对称点对。具体做法是：机关一个蹊径
，先走m步达到中央点
，而后走m步原路返回。那么
，正向走到第i步时达到的地位
，和反向走到第2m-i步时达到的地位
，理论上是统一个处所。因而你能够把这两个时刻的天生画面拿来比力
，看它们有多类似。这样一来
，整个蹊径上每一对对称帧都成了一个独立的评分点
，密集的监督信号取代了稀少的终点信号。这个评分机造被定名为"空间关合嘉奖"。 打分的具体方式是通过一种叫做"密集点追踪"的技术。系统会在两帧画面之间找出大量对应点（好比某块砖头的角、某棵树的树梢）
，而后推算这些点的均匀位移距离。位移越幼
，注明两帧画面越靠近统一个场景状态
，得分越高。这个距离推算公式会除以画面的宽高之和做归一化处置
，让分歧分辨率的画面能够放在统一尺度下比力。 第二个挑战是"功夫漂移"问题——同样的作为在分歧时刻产生分歧成效。为了对付这个问题
，钻研团队引入了第二种嘉奖机造
，叫做"功夫一致性嘉奖"。做法是把统一个关合循环沉复执行K次
，好比沉复执行5次。若是模型的状态治理是正确的
，那么第1次循环到第i帧的画面
，和第2次循环到第i帧的画面
，以及第3次循环的同地位画面
，应该是一样的——由于每次都是从统一个返回点启程、执行同样的作为序列。系统把第1次循环作为参考基准
，把后续所有循环与第1次的对应帧进行比力
，惩治那些随着循环次数增长而漂移的情况。 把两种嘉奖同时抛给模型并不是最优战术。钻研团队发现
，功夫一致性嘉奖要起作用
，必须成立在每次单独的关合循环已经根基可能正确关合的前提上。若是连单次循环都关合不了
，那么比力第1次和第2次循环的对应帧就毫无意思
，只会给模型发出混乱的噪声信号。 因而
，训练过程分为两个阶段。前300个训练步骤是"空间热身阶段"
，只激活空间关合嘉奖
，让模型先学会在单次来回蹊径中维持几何一致性。热身实现后
，功夫一致性嘉奖才被激活
，两种嘉奖从此并行生效。这种"先热身再叠加"的战术被钻研团队定名为"热身叠加调度"
，并在后续的消融尝试中被验证为最优的训练挨次——无论是"只训练空间"、"只训练功夫"
，还是"从一路头就同时训练两者"
，成效都不如这种分阶段叠加的方式。 除了训练挨次
，钻研团队还出格设计了"多尺度循环采样"战术
，来预防模型走捷径。若是每次训练都用固定长度的循环
，模型可能只是学会了"在第X帧到来时应该起头反向"这个地位影象
，而不是真正理解作为的逆向关系。为了预防这种投契行为
，训练时每步随机从多种长度的循环结构中拔取一种
，让模型无法依赖固定的功夫地位
，只能真正进建作为与状态变动之间的关系。 最终的训练嘉奖是四项信号的加权组合：空间关合嘉奖、功夫一致性嘉奖、作为追随得分（确保摄像机的确依照指令方向移动）、以及视觉质量得分（确；婧每础⒉怀鱿衷氲慊蛲掏拢。这四项信号各司其职
，预防模型用某种"视觉上崩溃但关合数字好看"的方式舞弊。 在优化算法的拔取上
，钻研团队选择了一种叫做DiffusionNFT的方式
，而非通常强化进建中使用的战术梯度步骤。原因在于战术梯度步骤必要追踪整个天生过程中每一个噪声去除步骤的对数概率
，内存亏损极大
，并且在长序列优化时容易导致天生了局多样性降落。DiffusionNFT的做法更为直接：把嘉奖高的天生了局当作正样本、嘉奖低确当作负样本
，别离对当前模型的预测方向做有权沉的回归更新。这种方式与自回归的逐块天生结构天然符合
，内存效能也高得多。 钻研团队在尝试中发现了一个格表值得关注的景象。若是把"向前移动"和"向左转"这两个作为同时执杏转—也就是一壁走一壁转身——基础模型WorldPlay的正确率会从单一作为的63.5%骤降至13.6%
，险些降落了五倍。 原因不难理解：训练数据里很少有人专门录造"一壁走一壁转"的视频
，所以模型对这类复合作为险些没有见过真实样例
，属于"出域"（out-of-distribution）情况。 WorldCycle对这个问题的处置方式格表优雅。复合作为"一壁前进一壁左转"同样有它的逆操作"一壁后退一壁右转"
，把这两段作为拼在一路
，同样组成一个关合循环
，同样能够用空间关合嘉奖和功夫一致性嘉奖来评分。也就是说
，钻研团队底子不必要网络复合作为的真实视坡反做监督——关合循环自身就是监督信号
，它的存在与否与训练数据无关。 这使得WorldCycle能够直接对复合作为轨迹进行优化训练
，即便这些轨迹从未在预训练数据中出现过。从理论上看
，优化关合循环的过程现实上是在削减每一步作为执行时的"残差误差"
，当每个单步的误差都降低时
，模型对于复合作为的组合关系的理解也随之改善
，由于作为组合的代数结构（先做A再做B蹬宗做A+B）得到了更正确的进建。 这个测试集蕴含47条作为轨迹
，从380张初始帧启程进行评测
，覆盖四种工作类型和四种场景设置。初始帧的起源有两部门：236张来自一个名为4KLSDB的真实高清图像数据集
，另表144张是用GPT图像天生工具合成的风格各别的场景图
，两者混合确保了测试场景的多样性。 四种工作类型别离从分歧角度调查误差的堆集方式。第一种"可逆循环"工作
，让摄像机先正向走一段再原路返回
，沉点查抄蹊径中每个对称帧对之间的误差
，找出误差最先在哪里冒头。第二种"关合循环"工作
，让摄像机走一个矩形蹊径——向前、向右、向后、向左
，走齐全圈回到原点。这条蹊径不是"原路返回"
，没有对称职能够利用
，但理论净成效依然是回到原点
，专门测试模型能否在没有对称走法的情况下维持关合性。第三种"沉复循环"工作
，把统一个关合循环沉复执行屡次
，追踪每次实现时的终点误差是否越来越大
，以及每次循环中央过程的帧是否随功夫漂移。第四种"级联循环"工作
，把两种结构分歧的关合循环前后串联执行
，查抄第一个循环产生的残差误差是否会传染第二个循环的执行。 四种场景设置则沿两个维度发展。第一个维度是天生长度
，分为125帧的短期、253帧的中期和381帧的持久三档
，通过对比三档之间的机能差距来怀抱误差随功夫的放大水平。第二个维度是作为复杂性
，增长一个125帧的"复合作为"测试场景
，使用同时组合多个活动分量的节造指令
，直接调查出域泛化能力。 评测所用的指标与训练时使用的点追踪工具刻意分隔。训练时用的是CoTracker
，而评测时改用了另一种叫做RoMa的独立密集对应估计器
，这样能够确保测试了局不会由于"模型在评测工具上过拟合"而虚高。RoMa会在两帧画面之间找到大量高相信度的对应像素点
，而后推算这些点的均匀位移（单元是像素）。若是找到的对应点数量太少（注明两张图差距太大）
，系统会直接给出图像对角线长度作为惩治分
，预防严沉失败的情况被当作"无法评估"而漏掉。 三个重要指标别离是：终点状态关合度（ESC）
，衡量天生终点与初始帧之间的距离；反向蹊径对称性（RPS）
，衡量可逆蹊径中所有对称帧对之间的均匀距离；沉复循环不变性（RCS）
，衡量沉复或级联执行时相位对齐帧之间的漂移水平。三个指标均是越低越好。此表还汇报两个辅助指标：作为追随正确率（确保摄像机的确依照指令方向移动）和HPSv3视觉质量分（确保天生画面不因钻营关合而变得吞吐难看）。 钻研团队把WorldCycle与三个基准系统进行了比力。LingBot World v2是参数量最大的系统（140亿参数）
，代表"靠堆参数量取胜"的路线。WorldPlay是8B参数的强基线
，是WorldCycle的预训练基础。WorldCompass是最新的竞争敌手
，同样基于WorldPlay进行强化进建后训练
，但用的是逐片段的作为追随嘉奖。 最引人瞩主张发现是：参数量是WorldCycle约17倍的LingBot World v2
，在状态一致性指标上险些全面落后——在某些指标上差距高达8倍以上。这明显地注明
，单纯靠增大模型规模并不能解决长程一致性问题
，这是一个必须通过专门的训练指标来解决的结构性缺点
，不是单一堆算力就能建复的。 在短期（125。┑ヒ蛔魑【跋
，与WorldCompass相比
，WorldCycle将终点状态关合误差（ESC）降低了32%
，将反向蹊径对称性误差（RPS）降低了44%
，同时作为追随正确率从0.829微升至0.833
，视觉质量分也从11.06提升至11.24。这意味着WorldCycle在大幅改善长程一致性的同时
，既没有就义作为响应的正确性
，也没有就义画面的视觉质感。 随着天生序列耽搁
，WorldCycle的优势变得越发凸起。中期（253。┏【跋翬SC降低21%、RPS降低28%；持久（381。┏【跋鲁粮囱凡槐湫灾副辏≧CS）降低34%
，这是所有设置中相对改善幅度最大的一项
，直接印证了功夫一致性嘉奖对持久漂移的针对性抑造成效。 复合作为场景的对比最为戏剧性。WorldPlay的作为正确率从单一作为的0.635暴跌至复合作为的0.136
，跌幅超过五倍。WorldCompass的后训练将这个数字提升至0.499
，有所改善但仍不梦想。WorldCycle将其推升至0.553
，相对于WorldPlay的提升幅度靠近四倍。 钻研团队还用另一套独立的VBench视觉质量评测系统进行了验证
，蕴含美学质量、主题一致性、布景一致性、成像质量、功夫闪动水平和活动滑润度六个维度。WorldCycle在险些所有维度和所有设置下均与WorldCompass吃旖或略优
，大幅优于基础WorldPlay。这套测试的结论与主尝试一致：提升长程一致性没有带来视觉质量的价值。 在持久定性对比中
，分歧模型的退化方式各有特点。LingBot World v2在经过五次沉复循环（381。┖
，天空色彩越来越鼓和
，最终造成一片不天然的深蓝。WorldPlay和WorldCompass则在天空区域出现显著的白化和直线状条纹等视觉伪影。WorldCycle天生的图像在整个过程中色彩不变、纹理清澈、场景细节维持一致
，最终返回帧与初始帧高度吻合。 训练过程中的指标变动曲线出现出一个清澈的模式。HPSv3视觉质量分在训练起头后持续上升并不变在WorldPlay基础值之上。三个循环一致性指标（ESC、RPS、RCS）在训练过程中不变降落并在收敛时低于初始值。两条曲线的同步改善批注
，WorldCycle的训练指标提供了不变的优化方向
，没有出现"一个指标好转、另一个指标恶化"的对抗景象。 消融尝试进一步验证了各组件的作用。只使用空间关合嘉奖而不使用功夫一致性嘉奖时
，持久和复合作为场景的机能显著降落（持久ESC从0.163升至0.212）
，注明功夫维度的监督对长程不变性不成或缺。反过来
，只使用功夫一致性嘉奖而不使用空间关合嘉奖时
，险些所有指标都严沉退化
，由于功夫比力的前提是每次单独循环都能正确关合
，短缺空间锚点后功夫比力就失去了参考意思。 训练挨次的消融同样清澈。"直接重新同时训练两种嘉奖"的成效不如"热身叠加调度"
，原因在于训练初期的循环关合质量尚差
，功夫一致性嘉奖此时给出的是噪声信号而非有效梯度。"先只训练空间、再只训练功夫"的挨次切换战术（序贯战术）会在切换后的阶段逐步迷失空间关合能力
，出现"苦难性忘却"。只有"热身后两者并杏注永远保留空间约束"的战术在所有指标上都达到最优
，这与机械进建理论中关于多工作进建和持续进建的钻研结论相吻合。 钻研团队婉转地指出
，WorldCycle的自验证机造依赖于一个前提：作为必须是可逆的
，或者关合轨迹的净变换在数学上是已知的。对于那些性质上不成逆的过程——好比捡起一个物体后放下的过程（物体的地位可能扭转
，也可能被遮挡）、碰撞后的形变、液体流动——单一地执行逆操作并不能回到原始状态
，关合循环也就无从机关。 这意味着WorldCycle目前的大局最适合摄像机自由活动（前进、后退、旋转、起落）这类典型的可逆场景
，对于涉及物理交互、状态扭转、对象操作的更复杂作为类型
，还必要设计新的自验证机造。钻研团队以为
，通过物理守恒定律、等效终态约束或其他可解析的关合关下反扩大这套思路
，是下一步最值得索求的方向。 此表
，有两项同期工作也从分歧角度索求了循环约束在视频世界模型中的利用。一项叫Cycle-World
，用辅助的逆向预测模型来建改当前帧的潜变量
，作为推理时的误差校对机造。另一项叫"World Models as Group Actions"
，用群论框架来约束作为的代数结构
，通过合成的潜空间数据做监督。这三项工作能够粗略地概括为：WorldCycle把关合循环用作强化进建的自验证嘉奖
，Cycle-World把它用作训练时的正则化损失
，而"Group Actions"把它用作群正义的软约束。三种视角互补
，共同推动了这个领域的理解。 归根结底
，WorldCycle做的事件
，是把一个正本无解的监督问题造成了有解的——只有你奇妙地机关问题的大局。一条"来回关合蹊径"里藏着物理定律给出的美满尺度答案
，钻研团队把这个答案造成了密密麻麻的训练信号
，让模型在没有任何人为标注的情况放学会了"知路自己在哪里"。这不仅仅是视频天生领域的技术进取
，也为强化进建中"嘉奖从哪里来"这个老问题提供了一个富有启发性的新思路。对于那些同样面对"没有尺度答案却想要精确监督"困境的领域
，这套逻辑可能同样值得借鉴。若是你对齐全的技术细节感兴致
，能够通过论文编号arXiv:2608.04964找到原始论文深刻阅读。 A：WorldCycle利用"关合作为循环"的物理个性来实现无标注训练。当摄像机先向前走再向后退
，物理上必然回到原点
，这个"必须回到原点"的结论自身就是尺度答案
，不必要任何真实视频数据来证明。系统通过比力蹊径中对称帧对之间的类似度来打分
，把物理法规转化为密集的训练信号
，整个过程齐全不依赖人为标注。 A：现有的视频评测基准重要评估短片段的画面质量或单个作为的执行正确度
，无法衡量长功夫运行后的误差堆集。CycleBench专门评测"状态返回能力"
，通过机关来回蹊径、矩形蹊径、沉复循环和串联循环等四种结构
，在125到381帧的分歧长度下丈量每次模型"应该回到哪里却到了哪里"的误差
，是该领域第一个专门诊断长程漂移问题的评测工具。 A：复合作为（如同时前进和转向）在训练数据中极为罕见
，基础模型对此险些没有进建样例。WorldCycle的关键在于：复合作为同样有对应的逆操作
，把复合作为与其逆操作拼在一路同样组成关合循环
，因而循环嘉奖能够直接对复合作为轨迹进行优化
，齐全不必要复合作为的真实视频作为参考。这使得模型通过削减单步误差、进建作为的组合代数关系
，天然地获得了对复合作为的泛化能力。