同一帧的中层特征在许多去噪步之间高度相似。
- 实验设计
- 在 Wan 2.1 1.3B 的 50 步去噪中比较第 15 个 block 的特征；另行微调，使模型在起始若干步后跳过中间 15 层。
- 观察结果
- 许多步之间的余弦相似度超过 0.95；末段与较早步骤的相似度可降至约 0.8。跳层微调后的样例仍保留主体、布局和运动。
- 证据判断
- 相似度支持计算可复用的假设。跳层实验说明经适配后这些计算可以减少，样例主要提供定性证据。
Causality in Video Diffusers is Separable from Denoising
Xingjian Bai · Guande He · Zhengqi Li · Eli Shechtman · Xun Huang · Zongze Wu
SCD 每帧计算一次历史上下文，再用轻量扩散解码器多步渲染。在 VBench 的单卡对比中，吞吐从 8.9 增至 11.1 FPS，延迟从 0.45 降至 0.29 秒，总分从 84.26 变为 84.03。
查看原论文 ↗研究问题
自回归视频扩散通常在每个去噪步重复读取历史帧。作者问的是，预测下一帧所需的时序上下文，能否提早计算并在去噪过程中复用。
方法
因果编码器每帧运行一次，生成可复用的历史上下文。扩散解码器以该上下文为条件，在当前帧内做多步去噪。论文中的因果性指生成时信息从过去流向未来。
主张与证据
深层较少使用历史帧，可以压缩这部分读取。
- 实验设计
- 按层统计当前帧指向历史帧的注意力质量，再取消最后 5 层对历史帧的直接访问并微调 5,000 步。
- 观察结果
- 深层跨帧注意力质量较低，去掉直接访问后，微调恢复了展示样例的视觉质量。
- 证据判断
- 注意力探测与干预指向同一个设计方向。结果依赖微调，深层仍有少量跨帧注意力。
从头训练时，拆分架构可降低低分辨率视频预测的每帧耗时。
- 实验设计
- 在 TECO–Minecraft 128×128 和 UCF-101 64×64 上，将 SCD 与各自的全因果 DiT 基线比较。
- 观察结果
- Minecraft 的耗时从 2.4 降至 0.52 秒/帧，FVD 从 38.7 降至 37.6。UCF-101 的耗时从 3.9 降至 1.1 秒/帧，FVD 从 187.6 降至 174.7，SSIM 和 PSNR 略降。
- 证据判断
- 两个数据集都呈现较大的速度收益，质量变化随指标而异。应保留任务分辨率与具体基线。
高分辨率模型微调后，SCD 仍能提高吞吐并降低延迟。
- 实验设计
- 在 VBench 文生视频任务，以 832×480、batch size 1、单张 H100 80 GB 比较 SCD 1.6B 与 Self Forcing 1.3B。
- 观察结果
- SCD 与基线分别为 11.1 / 8.9 FPS、0.29 / 0.45 秒延迟、84.03 / 84.26 VBench 总分。
- 证据判断
- 结果支持该配置下的速度收益和接近的总分。参数量不同，语义得分也有下降。
综合判断
探测提出架构假设，跳层和注意力干预检验局部可行性，端到端基准检验速度和质量的权衡。最直接的工程结论是，多个已测配置允许把跨帧计算移出去噪循环，并显著减少推理耗时。
适用边界
证据限定在论文评测的模型、任务与设备。晚期去噪的中层表征仍在变化，深层也保留少量跨帧依赖。VBench 的语义分数略低，接近的总分可能掩盖不同维度的变化。
后续可以怎么验证
可做固定参数量、训练预算、分辨率和去噪步数的对照，用同一组提示比较全因果、完全拆分和只在后段恢复跨帧注意力三种方案，分别报告首帧延迟、持续吞吐和长视频的主体一致性。