CoinVE-200K: A Large-Scale High-Quality Dataset for Compositional Instruction-Guided Video Editing
Tencent(腾讯)
本文提出用于组合式指令引导视频编辑的大规模高质量数据集CoinVE-200K,构建基准CoinVE-Bench及22B参数模型CoinVE-Edit,在基准测试中表现优异。
2026-08-26 cs.CV
CAGE: Unsupervised Visual Composition and Animation for Controllable Video Generation
University of Bern(伯尔尼大学);LMU Munich(慕尼黑大学)
本研究提出无监督视频生成模型CAGE,无需标注即可通过自监督局部特征约束训练,实现可控的场景组合与物体动画生成,经实验验证可生成高质量、符合控制要求的视频。
2025-03-24 cs.CV
Layer-Aware Video Composition via Split-then-Merge
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google(谷歌)
StM通过分割未标注视频并融合动态前景与背景层,提升生成视频合成的控制能力和数据效率。
2026-08-26 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University(科奇大学);KUIS AI Center(科奇大学智能系统中心)
提出将 SlotAdapt 扩展至视频的时间对象中心框架,通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
Compositional Video Generation as Flow Equalization
National University of Singapore(新加坡国立大学)
针对文本到视频扩散模型中概念影响失衡的问题,本文提出 Vico 框架,通过时空注意力图与最大流估计引导潜变量更新,显著提升组合视频生成与编辑的准确性。
2024-06-10 cs.CV
SmoothVideo: Smooth Video Synthesis with Noise Constraints on Diffusion Models for One-shot Video Tuning
Zhejiang University(浙江大学);FABU Inc.(FABU公司);Tencent(腾讯)
针对一次性视频调优中视频不连贯问题,提出跨帧噪声约束损失以平滑潜在表示,并引入新评估指标,显著提升生成视频的一致性和平滑度。
2024-02-06 cs.CV
FactorMatte: Redefining Video Matting for Re-Composition Tasks
Cornell Tech(康奈尔科技校区);Cornell University(康奈尔大学)
我们提出了“因子抠像”,一种替代配方的视频抠像问题的反事实的视频合成,更适合于重组任务。因子抠图的目标是将视频内容分离成独立的组件,每个组件都可视化场景的反事实版本,其中其他组件的内容已被删除。我们表明,因子抠图映射到一个更一般的贝叶斯框架的抠图问题,占复杂的条件层之间的相互作用。基于这一观察,我们提出了一种解决因子抠图问题的方法,该方法即使对于具有复杂跨层交互(如飞溅、阴影和反射)的视频也能产生有用的分解。我们的方法是按视频训练的,既不需要外部大型数据集的预训练,也不需要场景的3D结构的知识。我们进行了大量的实验,并表明我们的方法不仅可以解开复杂的交互场景,而且在现有的任务,如经典的视频抠图和背景减除的顶级方法。此外,我们还展示了我们的方法在一系列下游任务上的优势。请参阅我们的项目网页了解更多详情:https://factormatte.github.io
2022-11-03 cs.CV
Training-Free Semantic Video Composition via Pre-trained Diffusion Model
University of Electronic Science and Technology of China (UESTC)(电子科技大学)
本文提出一种免训练的语义视频合成流程,利用预训练扩散模型,通过平衡部分反演和帧间增强注意力机制,有效处理前景与背景之间的深层语义差异,并保证输出视频的视觉和谐与帧间连贯性。
2024-01-17 cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group(阿里巴巴集团);Ant Group(蚂蚁集团)
本文提出组合式视频生成框架 VideoComposer,通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件,实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
OmniWeaving: Towards Unified Video Generation with Free-form Composition and Reasoning
Zhejiang University(浙江大学);Tencent Hunyuan(腾讯混元);Nanyang Technological University(南洋理工大学)
本文提出OmniWeaving模型,通过大规模预训练数据学习多模态组合与推理能力,引入IntelligentVBench基准测试,展示其在开放源码统一视频生成中的领先性能。
2026-09-29 cs.CV
GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration
The University of Hong Kong(香港大学);Tsinghua University(清华大学);Microsoft Research(微软研究院)
本文提出多智能体协作框架 GenMAC,通过设计、生成与迭代重新设计流程及自路由修正机制,提升复杂组合文本提示下的视频生成质量。
2024-12-05 cs.CV
Encapsulated Composition of Text-to-Image and Text-to-Video Models for High-Quality Video Synthesis
Zhejiang University(浙江大学);Alibaba Cloud Computing(阿里云计算);South China University of Technology(华南理工大学)
本文提出无需训练的封装式视频合成器EVS,通过将T2V时序先验封装进T2I生成过程,组合两类模型以提升视频画质与运动平滑性,并实现1.6至4.5倍推理加速。
2025-07-18 cs.CV
CoMo: Compositional Motion Customization for Text-to-Video Generation
Zhejiang University(浙江大学);HKUST(香港科技大学);Xmax.AI Ltd(Xmax人工智能有限公司);HIT (SZ)(哈尔滨工业大学(深圳))
CoMo提出两阶段框架,通过解耦运动与外观并采用分而治之合并策略,实现文本到视频生成中的多主体组合运动定制,达到最先进性能。
2025-10-27 cs.CV
DyST-XL: Dynamic Layout Planning and Content Control for Compositional Text-to-Video Generation
Zhejiang University(浙江大学)
提出免训练框架DyST-XL,通过动态布局规划、双提示注意力控制和实体一致性约束,显著提升了组合式文本到视频生成中多实体交互与时空关系的准确性。
2025-04-30 cs.CV
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
National University of Singapore(新加坡国立大学);Baidu Inc.(百度公司)
本文提出ONE-SHOT框架,通过空间解耦运动注入和混合上下文整合,实现高效的人类-环境视频合成,优于现有方法,具有更好的结构控制和创意多样性。
2026-04-01 cs.CV
Real-Time Joint Audio-Video Generation by Parallel Adapter Composition
LIGHTSPEED
针对实时交互式音视频生成,提出在冻结骨干上并行训练因果与少步适配器,利用近似正交更新直接相加组合,实现无需联合训练的流式生成,质量媲美教师模型。
2026-10-09 cs.CV
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI))
提出一种快速自回归框架,通过解耦控制学习并保持统一视频先验,实现人体运动和相机轨迹的组合控制,支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
Compositional Video Synthesis with Action Graphs
Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣地亚哥分校);NVIDIA Research(英伟达研究院);Bar-Ilan University(巴伊兰大学)
动作视频是一种复杂的信号,在空间和时间上包含着丰富的成分结构。当前的视频生成方法缺乏在多个协调的和可能同时的定时动作上调节生成的能力。为了解决这一挑战,我们建议在一个称为动作图的图形结构中表示动作,并提出新的“动作图到视频”合成任务。我们的生成模型为这项任务(AG 2 Vid)解开运动和外观功能,并通过纳入行动的调度机制,促进了及时和协调的视频生成。我们在CATER和Something-Something V2数据集上对AG 2 Vid进行了训练和评估,结果表明,与基线相比,生成的视频具有更好的视觉质量和语义一致性。最后,我们的模型展示了zero-shot的能力,通过合成新的成分的学习行动。有关代码和预训练模型,请参见项目页面https://roeiherz.github.io/AG2Video
2021-06-10 cs.CV cs.LG
ID-Crafter: VLM-Grounded Online RL for Compositional Multi-Subject Video Generation
本文提出ID-Crafter框架,通过层次化注意力机制、预训练视觉语言模型和在线强化学习,提升多主体视频生成中身份保持与语义一致性。
2025-12-15 cs.CV
BlobGEN-Vid: Compositional Text-to-Video Generation with Blob Video Representations
UC Santa Barbara(加州大学圣巴巴拉分校);NVIDIA(英伟达公司)
针对现有视频生成模型可控性不足的问题,提出基于blob视频表示的BlobGEN-Vid框架,通过掩码3D注意力、文本嵌入插值等模块实现多物体运动与外观的精准控制,在多个基准上布局可控性达SOTA,结合LLM时组合准确性优于专有生成器。
2025-01-13 cs.AI cs.CV
Diffusion$^2$: Dynamic 3D Content Generation via Score Composition of Video and Multi-view Diffusion Models
Fudan University(复旦大学)
本文提出 Diffusion² 框架,通过组合视频与多视图扩散模型的分数并采用插值步方差缩减采样,直接生成密集多视图多帧图像以重建4D内容。
2024-10-02 cs.CV
ORAV: Benchmarking Audio-Video Generation from Multimodal Contexts
College of AI, Tsinghua University(清华大学人工智能学院);Tencent Hy(腾讯Hy)
提出ORAV基准,含380个多参考音视频生成任务,并开发参考感知成对评估协议,以衡量生成的可控性、组合性和参考忠实度。
2026-09-29 cs.CV
Compositional 3D-aware Video Generation with LLM Director
University of Science and Technology of China(中国科学技术大学);Microsoft(微软公司);Microsoft Research Asia(微软亚洲研究院);Shanghai Jiao Tong University(上海交通大学)
提出一种由 LLM 导演的组合式 3D 感知视频生成范式,通过分解文本提示生成各概念 3D 表示并组合优化,实现了对视频中各概念外观与运动的灵活控制和高保真生成。
2024-08-31 cs.CV
Generating Videos of Zero-Shot Compositions of Actions and Objects
Borealis AI;Simon Fraser University(西蒙菲莎大学);University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所)
人类活动视频涉及人与物体之间丰富多样的交互。在本文中,我们开发的方法生成这样的视频-取得进展,解决重要的,开放的问题,视频生成在复杂的场景。特别地,我们介绍了在zero-shot合成设置中生成人-对象交互视频的任务,即,生成在训练期间未看到的动作-对象组合的视频,已经分别看到了目标动作和目标对象。这种设置对于人类活动视频生成中的泛化特别重要,避免了在训练中观察每个可能的动作对象组合的需要,从而避免了复杂场景建模中涉及的组合爆炸。为了生成人机交互视频,我们提出了一种新的对抗框架HOI-GAN,它包括多个专注于视频不同方面的鉴别器。为了证明我们提出的框架的有效性,我们对两个具有挑战性的数据集进行了广泛的定量和定性评估:EPIC-Kitterfly和20 BN-Something-Something v2。
2020-07-17 cs.CV cs.LG eess.IV
TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Waterloo(滑铁卢大学)
本文提出 TC-Bench 基准,通过状态化提示、对齐真实视频与新指标评估文生视频和图生视频的时间组合性,发现现有模型仅能完成不足 20% 的组合变化。
2024-06-12 cs.AI cs.CL cs.CV
Training-free Motion Factorization for Compositional Video Generation
Sichuan University(四川大学);The University of Adelaide(阿德莱德大学);Nanyang Technological University(南洋理工大学);Beijing Institute of Technology(北京理工大学)
本文提出一种无需训练的运动因子分解框架,将复杂运动分解为静止、刚体和非刚体运动三类,通过规划先于生成的范式,提升视频生成中运动多样性的表现。
2026-03-30 cs.CV
Learning to Generate Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Bonn(波恩大学)
在低数据条件下训练GANs仍然是一个挑战,因为过度拟合通常会导致记忆或训练分歧。在这项工作中,我们引入了One-Shot GAN,它可以学习从一个训练集生成样本,小到一个图像或一个视频。我们提出了一个两个分支,内容和布局分支的设计,以判断内部内容分别从场景布局的现实主义。这允许合成具有不同内容和布局的视觉上合理的、新颖的场景组成,同时保留原始样本的上下文。与以前的单图像GAN模型相比,One-Shot GAN实现了更高的多样性和合成质量。它也不限于单一图像设置,在单一视频的介绍设置中成功学习。
2021-05-12 cs.CV cs.LG
Do You Guys Want to Dance: Zero-Shot Compositional Human Dance Generation with Multiple Persons
Xidian University(西安电子科技大学)
针对多人复杂背景下人类舞蹈生成泛化不足的问题,提出cHDG基准与零样本框架MultiDance-Zero,通过姿态感知反演、组合增强和一致性引导采样提升多人视频生成质量。
2024-01-24 cs.CV
CustomCrafter: Customized Video Generation with Preserving Motion and Concept Composition Abilities
Zhejiang University(浙江大学);Tencent AI Lab(腾讯人工智能实验室);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室)
本文提出CustomCrafter框架,通过即插即用主体学习模块和动态加权视频采样策略,在无需额外视频和恢复性微调的情况下,同时保持视频扩散模型的运动生成能力和概念组合能力,显著提升定制化视频生成质量。
2024-12-27 cs.CV
CreFlow: Corrective Reflow for Sparse-Reward Embodied Video Diffusion RL
Northwestern University(西北大学);University of California, San Diego(加州大学圣地亚哥分校);University of Oxford(牛津大学)
本文提出CreFlow框架,通过信用感知NFT损失和纠正回流损失提升高维视频生成性能,有效解决稀疏奖励下的具身任务执行问题。
2026-05-14 cs.CV
Omni-Video 2: Scaling MLLM-Conditioned Diffusion for Unified Video Generation and Editing
本文提出Omni-Video 2,通过连接预训练多模态大语言模型与视频扩散模型,实现视频生成与编辑的统一。核心方法是利用MLLM生成明确的目标描述以指导生成过程,并通过轻量适配器高效注入多模态条件token,提升复杂编辑任务性能。
2026-03-13 cs.CV
SOYO: A Tuning-Free Approach for Video Style Morphing via Style-Adaptive Interpolation in Diffusion Models
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学)
SOYO提出一种免调优的扩散模型视频风格渐变框架,通过注意力注入、AdaIN及自适应采样调度器解决多风格过渡中的结构不连续与风格突变问题,实现平滑稳定的视频风格渐变。
2025-03-10 cs.CV
Versatile Transition Generation with Image-to-Video Diffusion
Nanyang Technological University(南洋理工大学);ByteDance Inc.(字节跳动公司)
针对视频过渡生成未充分探索的问题,提出VTG框架,利用插值初始化、双向运动微调和表示对齐正则化,在TransitBench基准上实现平滑高保真的概念融合与场景过渡。
2025-08-03 cs.CV
ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference
ScaleVid提出无网格推理的两阶段训练框架,实现几何感知视频目标缩放,在野外视频评估中,其几何一致性、前景保真度等优于需显式3D重建的方法,推理更实用。
2026-08-13 cs.CV
Intelligent Director: An Automatic Framework for Dynamic Visual Composition using ChatGPT
Fudan University(复旦大学)
本文提出智能导演框架,利用LENS和ChatGPT自动整合图像、视频、字幕与音乐完成动态视觉合成,并通过实验验证其有效性。
2024-02-24 cs.AI cs.CV cs.MM
DreamRunner: Fine-Grained Compositional Story-to-Video Generation with Retrieval-Augmented Motion Adaptation
针对现有叙事视频生成方法难以对齐复杂单场景描述的问题,本文提出DreamRunner方法,结合脚本结构化规划、检索增强运动自适应与SR3AI模块,实现细粒度故事转视频生成,性能优于现有基线。
2025-11-14 cs.AI cs.CL cs.CV
Comp-Attn: Present-and-Align Attention for Compositional Video Generation
School of Electronic and Computer Engineering, Peking University, Shenzhen, China(北京大学电子与计算机工程学院);Peng Cheng Laboratory, Shenzhen, China(鹏城实验室);Tsinghua University, Beijing, China(清华大学)
Comp-Attn通过呈现与对齐范式解决T2V生成中主体存在与关系对齐问题,提升生成质量与效率。
2025-12-21 cs.AI cs.CV
Anchored Video Generation: Decoupling Scene Construction and Temporal Synthesis in Text-to-Video Diffusion Models
École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院洛桑分校)
本文提出锚定视频生成方法,通过解耦场景构建与时间合成任务,提升文本到视频扩散模型在复杂场景生成和时间逻辑遵循上的性能。
2026-03-25 cs.CV
TTOM: Test-Time Optimization and Memorization for Compositional Video Generation
National University of Singapore(国立新加坡大学);University of Science and Technology of China(中国科学技术大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
TTOM通过测试时优化与记忆化机制,提升组合视频生成的跨模态对齐能力,实现高效且可扩展的实时生成。
2026-02-28 cs.AI cs.CL cs.CV
Disco-LoRA: Disentangled Composition of Content, Style, and Motion for Multi-concept Video Customization
Nanjing University of Posts and Telecommunications(南京邮电大学);Hefei University of Technology(合肥工业大学);Peng Cheng Laboratory(鹏城实验室)
提出Disco-LoRA框架,通过两阶段解耦和重组内容、风格和运动概念,实现多概念视频定制,并采用Z-score正则化协调LoRA权重分布。
2026-06-26 cs.AI cs.CV
Generating Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对极低数据量下GAN训练易过拟合的问题,提出双分支判别器架构的SIV-GAN,可从单图或单视频少量帧生成多样高质量的新颖场景构图。
2023-12-13 cs.CV cs.LG
OmniVBench: A Benchmark and Large-Scale Dataset for Omni Reference-to-Video Generation
Tencent(腾讯);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有基准无法全面评估全参考到视频生成的问题,本文提出OmniVBench基准和Omni-R2V大规模数据集,涵盖7个任务族、18个细粒度任务及12,172个检查项,并揭示当前模型性能差距。
2026-10-14 cs.CV
SingDance: Compositional Zero-Shot Singing-and-Dancing Video Generation with Role-Aware Audio Conditioning
Kuaishou Technology(快手科技)
SingDance是统一视频扩散框架,将语音表达设为语义角色,通过硬紧凑路由等技术实现组合式零样本歌舞视频生成,参数少且性能具竞争力。
2026-08-18 cs.CV cs.SD
VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation
Zhejiang University(浙江大学);ByteDance(字节跳动)
提出VideoWeaver框架,让智能体自主组合基础技能生成视频,并设计智能体裁判评估过程与结果,通过技能进化算法提升生成质量。
2026-10-02 cs.CV
CoVEBench: Can Video Editing Models Handle Complex Instructions?
Nanjing University(南京大学);Kuaishou Technology(快手科技)
提出CoVEBench基准,包含416个源视频和626条多点编辑指令,通过MLLM评估指令遵循度和保真度,揭示当前模型在组合编辑中常遗漏编辑或破坏保留约束。
2026-06-11 cs.AI cs.CV
Evaluating Design Video Generation: Metrics for Compositional Fidelity
Lica World(Lica世界);San Francisco, United States of America(美国旧金山);ICML’26 Workshop on Human-AI Co-Creativity, Seoul, South Korea(ICML’26 人类-人工智能协同创作研讨会,韩国首尔)
本文提出一个自动化评估框架,用于评估设计动画中布局、动作正确性、时间质量和内容保真度,以替代主观人类评估,为该领域提供统一基准。
2026-06-08 cs.AI cs.CV cs.GR
Weave Forcing: Compositional Memory Routing for Interactive Long Video Generation
University of Electronic Science and Technology of China (UESTC)(电子科技大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
提出编织强制框架,通过语义槽路由和掩码记忆编织实现组合记忆重用,提升交互式长视频生成的跨镜头一致性。
2026-10-05 cs.AI cs.CV
Can video generation replace cinematographers? Research on the cinematic language of generated video
Tongji University(同济大学);ByteDance(字节跳动);Technical University of Munich(慕尼黑工业大学)
本研究提出三管齐下方法(数据集、CameraDiff、CameraCLIP/CLIPLoRA)增强T2V模型的电影语言控制,实验证明其实现稳定精确的电影控制并显著提升多镜头构图,弥合自动生成与专业摄影的差距。
2025-03-28 cs.AI cs.CV
Dreamweaver: Learning Compositional World Models from Pixels
KAIST(韩国科学技术院);Rutgers University(罗格斯大学);New York University(纽约大学)
Dreamweaver 提出循环块槽单元 RBSU 与多未来帧预测目标,从原始视频中学习分层组合表示,实现无需辅助数据的组合式未来视频生成,并在 DCI 框架下超越现有世界模型基线。
2025-04-10 cs.AI cs.CV cs.LG
AI Powered High Quality Text to Video Generation with Enhanced Temporal Consistency
Microsoft(微软)
针对文本到视频生成中的时间一致性和细粒度控制问题,提出MOVAI分层框架,通过组合场景解析器、时间-空间注意力机制和渐进式视频精修模块,在多项指标上实现最先进性能。
2025-10-30 cs.AI cs.CV cs.IR
Ride the Wave: Precision-Allocated Sparse Attention for Smooth Video Generation
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
本文提出PASA框架,通过动态预算分配、硬件对齐分组近似和随机选择偏置,实现高效且时间平滑的视频生成,减少视觉闪烁。
2026-04-14 cs.AI cs.CV
NeuroClips: Towards High-fidelity and Smooth fMRI-to-Video Reconstruction
Tongji University(同济大学);Ohio State University(俄亥俄州立大学);University of Technology Sydney(悉尼科技大学);Chinese Academy of Sciences(中国科学院);Beijing Anding Hospital(北京安定医院)
NeuroClips提出一种新框架,通过语义重建器和感知重建器分别处理关键帧与感知流,结合T2V扩散模型,实现从fMRI到高保真平滑视频的重建,显著提升性能。
2024-12-15 cs.AI cs.CV eess.IV
Virtual Fitting Room: Generating Arbitrarily Long Videos of Virtual Try-On from a Single Image -- Technical Preview
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);SpreeAI
本研究提出名为VFR的新型视频生成模型,以自回归逐段生成方式从单图生成任意长虚拟试穿视频,通过前缀条件和360度锚定视频解决局部平滑与全局时序一致问题,实现分钟级高质量生成,属该领域开创性工作。
2025-09-04 cs.CV cs.LG
MAVIN: Multi-Action Video Generation with Diffusion Models via Transition Video Infilling
Singapore Management University(新加坡管理大学);Tsinghua University(清华大学);Yonsei University(延世大学);Nanyang Technological University(南洋理工大学);IHPC and CFAR, Agency for Science, Technology and Research (A*STAR), Singapore(新加坡科技研究局下属的高性能计算研究院和高级研究中心)
针对多动作视频生成中动作过渡不自然的问题,提出MAVIN模型,通过拼接单动作片段并生成过渡视频,结合连续加噪、边界帧引导和高斯滤波器混合器,实现平滑连贯的过渡生成。
2024-05-28 cs.AI cs.CV