论文导读
新加坡国立大学、可灵AI、香港科技大学团队提出DiffusionART，先把同一提示下的好坏样本汇总成共同方向，再更新图像或视频生成模型。在HunyuanVideo-13B等权视觉与运动奖励实验中，达到DiffusionNFT后期奖励水平所需的GPU小时减少约12倍。它改善的是强化学习训练效率，并展示了同提示生成结果的前后变化。
省的是训练时间，先看比较口径
同一个提示，训练前后生成的视频可以出现不同的动作和细节。论文把作画和白马奔跑的连续帧成对排列，让观看者先看见变化；训练有多快，另用奖励曲线和GPU小时核对。
图：同一提示与采样条件下，基础模型和DiffusionART的视频帧按时间并列，案例包含作画与白马奔跑。
同一提示生成多段视频，给每段打分，再让模型朝高分结果调整，这是视觉生成强化学习的基本过程。但每个样本分别给出调整方向时，方向可能互相抵消，训练也可能突然崩掉。
DiffusionART在HunyuanVideo-13B上，用视觉质量与运动质量各占一半的奖励做比较。达到DiffusionNFT后50次更新的平均奖励水平，所需GPU小时少了12.02倍；相对Flow-GRPO-Fast则少了11.72倍。作者还报告，最终50次更新的平均训练奖励分别高出28.8%和53.0%。
这是特定奖励配置下的训练曲线比较，不是生成单条视频的推理速度，也不是所有任务都会节省相同比例。基线的后期奖励是实验观察到的水平，不能视为已经证明的最终收敛上限。
图：上下两幅曲线分别以训练更新数和GPU小时为横轴，比较视觉与运动奖励等权设置下的平均奖励。
一组样本，先形成一个方向
旧办法对每个样本分别算要怎么改，再希望合在一起后能朝正确方向走。团队分析发现，某些已有目标里还混着一个维持前后过程一致的作用力。正负样本能部分抵消它，却不能在每个状态都完全抵消。
新方法先汇总同一提示下的生成终点和奖励。它比较哪些视觉变化更常出现在高分样本里，从整组样本提炼一个共享的改进方向，再把这个方向用于该提示下的生成轨迹。
这样做把“先分别更新再抵消”换成“先聚合证据再决定怎么更新”。论文称它为聚合优先的奖励倾斜。理解这一步不需要把每个数学项展开，只需要记住：同一组样本先共同决定往哪走。
图：多个生成轨迹指向具有不同奖励的终点，橙色箭头表示聚合后的共享指导方向。
第二次更新，管住跑偏
有了方向，模型也不能无限往前冲。团队把样本分成两组，进行两次更新，并保留同一个参考目标。第一次沿改进方向移动，第二次除了继续改进，还会根据已产生的偏移形成恢复作用。
如果某些状态下的变化过大，额外的掩码会抑制向外继续推的更新。论文希望用这种随偏移变化的恢复，减少对慢速滑动平均模型和每个任务单独调参的依赖。
分析实验说明，稳定机制本身也有代价：只靠一个原有恢复设置，虽然可以避免观察窗口内的崩溃，却会拖慢奖励提高。DiffusionART试图把改进和恢复的顺序重新安排，让稳定训练不必付出同样的速度损失。
训练奖励和最终画面分开看
项目页同时提供同提示的训练前后图像、视频帧以及奖励曲线。画面对照说明某个例子如何变化，曲线说明一段训练过程的平均趋势，二者不能互相替代。论文还在图像生成、文本到视频和图像到视频上进行了评估。
项目公开的部分视频模型使用文本对齐、视觉质量、运动质量7:2:1的配置，不能直接把它的展示样例当作前面1:1效率实验的结果。页面也把这两类材料分开注明。
如果奖励模型只会判断两段结果哪个更好，方法也能使用胜负或平局作为反馈，不必得到连续分数。研究团队提供了训练配置和曲线核对材料，让复现者能按相同奖励、采样设置和比较水平检查速度收益。
参考资料
https://arxiv.org/abs/2610.12572
