PAPERDAILY REPORTS

单卡视频生成暴增265倍，北大清华阿里把50步压到3步

2026-09-22 作者：arXivDaily编辑部 arXiv 2609.23153 cs · cs.CV

论文导读

北京大学、清华大学、阿里巴巴等机构提出SparkDiffusion，把视频扩散的稠密注意力改成97%稀疏，并把50步生成压到3步。在Wan2.1 14B的720P测试中，单张RTX 5090端到端最高加速265倍，1.3B模型生成480P视频的去噪时间降到1.3秒。

论文信息 arXiv 2609.23153

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

SparkDiffusion：缓解高稀疏陷阱——面向视觉生成的统一框架，实现单GPU高达265倍加速

作者 Yuxi Liu, Haoyu Li, Zekun Zhang, Tengxu Sun, Yixiang Cai, Jiayong Li, Yifei Xia, Tianle Liu, Baole Ai, Ang Wang, Jiamang Wang, Lin Qu, Kai Zhang, Kun Yuan, Bin Cui

发表机构北京大学; Melon Group; 清华大学; 阿里巴巴集团; 电子科技大学; 哈尔滨工业大学

展开完整论文资料

作者: Yuxi Liu, Haoyu Li, Zekun Zhang, Tengxu Sun, Yixiang Cai, Jiayong Li, Yifei Xia, Tianle Liu, Baole Ai, Ang Wang, Jiamang Wang, Lin Qu, Kai Zhang, Kun Yuan, Bin Cui
机构: 北京大学; Melon Group; 清华大学; 阿里巴巴集团; 电子科技大学; 哈尔滨工业大学Peking University; Melon Group; Tsinghua University; Alibaba Group; University of Electronic Science and Technology of China; Harbin Institute of Technology
AI 总结: 针对视频扩散Transformer的高稀疏陷阱，提出SparkDiffusion统一加速框架，通过稀疏预热、轨迹混合蒸馏和FP8量化，实现单GPU高达265倍加速并保持高质量。

视频扩散最贵的部分，被压缩到只算3%

视频模型要同时处理时间和空间上的大量Token，注意力计算随序列长度快速增长。直接删掉大部分连接看似简单，但稀疏率越高，模型越容易在早期把人物结构、镜头布局和大尺度运动定错，后续步骤再精修也拉不回来。

SparkDiffusion把问题拆成三个动作：先用短时间训练让稀疏结构学会粗略生成，再用混合轨迹蒸馏纠正最终输出，最后加入FP8量化和融合算子。它不是只减少一次计算，而是同时减少每一步要算的连接和总去噪步数。

图：真实轨迹、50步教师、50步稀疏模型与4步SparkDiffusion在六类形状上的生成结果对比。

为什么训练损失更低，成片反而不一定更好

团队把极高稀疏率下的停滞称为“高稀疏陷阱”。逐步训练只要求每个局部去噪动作接近教师，但最终画面误差是几十步偏差共同累积的结果。论文发现，关键错误集中在高噪声的结构生成阶段；继续延长局部训练，损失还会下降，最终视觉质量却可能不再改善。

因此第二阶段直接对齐终点分布，并混入少量完整生成轨迹。这个设计让模型先拥有可用的稀疏粗先验，再专门修正会传到成片的结构偏差。消融结果显示，只做稀疏预热或只追逐局部损失，都无法获得同样的终局质量。

图：H100与RTX 5090上，不同Wan模型的稠密基线和SparkDiffusion端到端延迟对比。

265倍对应哪组实验

最醒目的265倍来自Wan2.1-T2V-14B-720P：单张RTX 5090上，3步、无分类器引导的SparkDiffusion与50步稠密基线比较。H100上的对应加速为220倍。对Wan2.1-T2V-1.3B-480P，论文报告去噪耗时1.3秒；这些数字不能直接外推到视频编码、排队和产品接口的全部等待时间。

画质评测同时覆盖Wan2.1、Wan2.2，包含文生视频和图生视频。团队报告在长序列720P任务上维持97%注意力稀疏，在1.3B的480P任务上采用90%稀疏。比较图显示，方法试图保留主体、背景和动作连续性，而非单纯追求吞吐。