Head Forcing: Long Autoregressive Video Generation via Head Heterogeneity
强制头部:通过头部异质性实现长自回归视频生成
机构 * AGI Lab, Westlake University University of California at Merced StepFun
AI总结 本文提出Head Forcing框架,通过差异化分配KV缓存策略提升长视频生成质量,实现分钟级生成并支持多提示交互。
大厂专区
强制头部:通过头部异质性实现长自回归视频生成
机构 * AGI Lab, Westlake University University of California at Merced StepFun
AI总结 本文提出Head Forcing框架,通过差异化分配KV缓存策略提升长视频生成质量,实现分钟级生成并支持多提示交互。
提升多模态语言模型:带有视觉偏见评估的分阶段训练
机构 * StepFun-Audio Team(StepFun-Audio团队)
AI总结 本文研究了多模态基准在视觉偏见评估下的表现,提出OmniBoost三阶段训练方法,通过混合双模SFT、混合模态RLVR和自蒸馏数据SFT提升模型性能,验证了小模型在分阶段训练下的有效性。
Comments Project page: https://cheliu-computation.github.io/omni/