研究背景：解决视频世界模型的“长时漂移”问题
近年来，视频世界模型逐渐成为生成式AI的一个重要方向，目标是学习视觉世界在用户动作条件下如何持续演化，支持交互式探索、场景预测和长期规划，在自动驾驶、具身智能和虚拟世界构建等任务中价值很高。不过，现有交互式视频世界模型面临两个关键问题：一是运动漂移，在复杂动态场景中，行人、车辆等目标会出现静止、运动异常甚至退化现象，导致生成结果缺乏真实感；二是长时不稳定，多数方法采用自回归方式逐步生成，前一步的小误差会不断累积，最终造成场景结构扭曲、语义偏移以及长序列一致性崩坏。针对这些问题，浙江大学和vivo蓝图实验室等机构的研究团队联合提出了MagicWorld，目标是让动态目标“动得真实”，让整个世界在长时间交互下保持稳定一致，为此设计了面向长时稳定性的交互式视频世界模型框架。
核心技术：MagicWorld框架
MagicWorld的整体思路可概括为三部分：基于光流的运动保持约束、基于latent相似度的历史缓存检索，以及多步聚合的增强式交互训练策略，分别对应“让运动更真实”“让模型记住过去”“让训练优化整段交互而不是单步结果”。
基于光流的运动保持：抑制动态目标运动漂移
为缓解动态主体运动退化问题，MagicWorld引入了flow - guided motion preservation。其核心思想是利用光流信息对动态区域施加更强的时间一致性约束，将监督放到latent空间中进行以减少显存开销。模型先基于flow - matching形式预测去噪后的latent表示，再利用相邻帧之间的光流进行warping，对齐连续latent帧，并对高运动区域赋予更大的约束权重。最终，动态主体运动更连贯，运动漂移现象明显缓解，这也是提升运动真实性的关键基础。
历史缓存检索：让模型“记住过去”
长时交互中模型会逐渐偏离最初世界状态，MagicWorld设计了history cache retrieval，增加了可检索的历史记忆机制。做法分三步：首先，在每个自回归步骤中，将生成的latent特征写入历史缓存池；其次，在下一步推理时，将当前输入帧的latent与缓存中的历史latent做相似度匹配；最后，选取得分最高的几个历史状态作为辅助条件注入当前生成过程。MagicWorld的检索不依赖时间邻近性和显式相机几何，而是在latent空间中做语义和结构层面的相似性匹配，能主动找回有参考价值的历史场景，维持视角切换前后的结构一致性，减少长期漂移。
多步聚合训练：从优化单步转向优化整段交互
MagicWorld在训练策略上做了改进。已有交互式蒸馏方法在每一步交互后更新模型参数，易让模型只顾当前局部最优，忽略整体质量。为此，MagicWorld提出了multi - shot aggregated DMD。训练时，先完整模拟一段多步交互rollout，将整段交互中的蒸馏损失聚合起来再统一优化，让模型学习整段交互序列是否稳定、一致。在此基础上，引入dual - reward weighting，用视觉质量和运动质量两个奖励信号加权蒸馏目标。实验表明，“多步聚合 + 双奖励”的训练方式能更有效地减少误差累积，提升长时稳定性。
数据支撑：构建真实世界数据集RealWM120K
为支持真实动态场景下的视频世界建模，论文构建了RealWM120K数据集。该数据集以全球多城市的city - walk视频为主体，覆盖不同城市、季节、时间和天气条件，配套了文本描述、相机轨迹、点云、目标mask和深度图等多模态标注。相比以往数据，它更强调真实街景中的复杂动态主体与非平凡相机运动，适合评估和训练长时交互式视频世界模型。
性能表现：在长时稳定性与运动真实性上全面提升
MagicWorld在RealWM120K - Val上进行系统评测，结果显示其整体表现优于现有主流方法。根据论文中的VBench结果，MagicWorld的Overall Score达到0.8547，为所有对比方法中最高；推理延迟为15秒，效率仅次于极少数更轻量的方法。
总结：从“能生成”走向“能长期稳定生成”
MagicWorld解决的是交互式视频世界模型走向实用化的核心瓶颈问题：如何在长时间交互中保持运动合理、场景稳定和语义一致。其思路清晰，用光流约束解决动态主体“怎么动”的问题，用历史缓存解决“如何记住过去”的问题，通过多步聚合和双奖励训练，让模型从优化单步结果转向优化整段交互轨迹，在实验中提升了运动真实性、时间一致性和长时稳定性。
