arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2402.00769cs.CVcs.LG
收藏

AnimateLCM:无需个性化视频数据的高效计算个性化风格视频生成

AnimateLCM: Computation-Efficient Personalized Style Video Generation without Personalized Video Data

Avolution AI;SenseTime Research(商汤科技研究院)

Fu-Yun Wang, Zhaoyang Huang, Weikang Bian, Xiaoyu Shi, Keqiang Sun, Guanglu Song, Yu Liu, Hongsheng Li

AI总结:

本文提出AnimateLCM方法,通过双层解耦学习策略,在无需个性化视频数据的情况下,将视频扩散模型的生成时间从25秒降至约1秒,同时保持性能并提升训练效率。

摘要:

本文提出了一种在无需访问任何个性化视频数据的情况下,实现计算高效的个性化风格视频生成的有效方法。该方法将同等规模视频扩散模型所需的生成时间从25秒减少到约1秒,同时保持相同的性能水平。该方法的有效性在于其双层解耦学习方法:1)将视频风格的学习与视频生成加速分离,从而在无需任何个性化风格视频数据的情况下实现个性化风格视频生成;2)将图像生成的加速与视频运动生成的加速分离,提升了训练效率并减轻了低质量视频数据的负面影响。

英文摘要:

This paper introduces an effective method for computation-efficient personalized style video generation without requiring access to any personalized video data. It reduces the necessary generation time of similarly sized video diffusion models from 25 seconds to around 1 second while maintaining the same level of performance. The method's effectiveness lies in its dual-level decoupling learning approach: 1) separating the learning of video style from video generation acceleration, which allows for personalized style video generation without any personalized style video data, and 2) separating the acceleration of image generation from the acceleration of video motion generation, enhancing training efficiency and mitigating the negative effects of low-quality video data.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑