What Are You Doing? A Closer Look at Controllable Human Video Generation
Google DeepMind(谷歌DeepMind)
针对现有数据集缺乏多样性,提出WYD基准,含1544个视频和细粒度标注,评估可控人类视频生成的9个方面,并改进评估指标,深入分析开源模型,发布数据与代码。
2026-09-09 cs.CV
Point-to-Point: Sparse Motion Guidance for Controllable Video Editing
Point-to-Point通过引入锚点标记,利用视频扩散模型的先验知识,实现可控视频编辑中运动与编辑的高质量保真度。
2025-11-23 cs.CV
Kepler4D: Controllable Future Video Generation via 4D Scene State Evolution
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Michigan Ann Arbor(密歇根大学安娜堡分校);Cisco(思科)
Kepler4D通过显式4D场景状态演化,利用Chain-of-Motion和视觉语言模型生成可控的未来视频,实现物体运动控制与场景一致性。
2026-10-06 cs.CV
AutoCut: End-to-end advertisement video editing based on multimodal discretization and controllable generation
Tsinghua University(清华大学);Kuaishou Technology(快手科技)
本文提出AutoCut框架,通过多模态离散化和可控生成实现广告视频编辑,提升一致性和可控性,降低生产成本和迭代时间。
2026-03-30 cs.CV
Real-Time Motion-Controllable Autoregressive Video Diffusion
Nanyang Technological University(南洋理工大学);Xmax.AI Ltd(Xmax.AI有限公司);Zhejiang University(浙江大学);Singapore Management University(新加坡国立大学)
AR-Drag是一种基于强化学习的实时图像到视频生成模型,通过自回归机制和轨迹奖励模型实现高效运动控制,提升视频生成质量和效率。
2026-03-08 cs.CV
VAST 1.0: A Unified Framework for Controllable and Consistent Video Generation
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI))
提出VAST两阶段框架,通过StoryForge生成结构化分镜、VisionForge合成高质量视频,解耦文本理解与视频生成,实现对主体动态和场景构成的精确控制,在VBench基准上优于现有方法。
2024-12-21 cs.CV
TrackGo: A Flexible and Efficient Method for Controllable Video Generation
Beihang University(北京航空航天大学);AIsphere Tech(智谱科技)
提出 TrackGo 可控视频生成方法,通过自由形式掩码和箭头,并结合轻量级 TrackAdapter 注入时间自注意力层,在复杂运动控制的关键指标上达到 SOTA。
2025-01-05 cs.CV
Motion-Conditioned Diffusion Model for Controllable Video Synthesis
University of California, Merced(加州大学默塞德分校);Meta;NVIDIA(英伟达);Google Research(谷歌研究院)
提出 MCDiff 条件扩散模型,利用起始帧、稀疏笔画、光流补全与扩散生成实现笔画引导的可控视频合成,并在视觉质量及 MPII Human Pose 实验中达到先进效果。
2023-04-27 cs.CV
Controllable Image-to-Video Translation: A Case Study on Facial Expression Generation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Tencent AI Lab(腾讯人工智能实验室)
深度学习的最新进展使得通过使用神经网络生成照片般逼真的图像成为可能,甚至可以从输入视频剪辑中推断视频帧。在本文中,为了进一步的探索和我们自己的兴趣,在现实的应用中,我们研究图像到视频的翻译,特别是专注于面部表情的视频。与图像到图像的转换相比,这个问题通过另一个时间维度对深度神经网络提出了挑战。此外,它的单一输入图像失败了大多数依赖于递归模型的现有视频生成方法。我们提出了一种用户可控的方法,以便从单个人脸图像生成各种长度的视频剪辑。表达式的长度和类型由用户控制。为此,我们设计了一种新的神经网络架构,可以将用户输入到其跳过连接,并提出了几个改进的对抗训练方法的神经网络。实验和用户研究验证了我们的方法的有效性。特别是,我们想强调的是,即使是野生的面部图像(从网络下载和作者自己的照片),我们的模型也可以生成高质量的面部表情视频,其中大约50%被亚马逊土耳其机器人工作人员标记为真实的。
2018-08-09 cs.CV
CT-1: Vision-Language-Camera Models Transfer Spatial Reasoning Knowledge to Camera-Controllable Video Generation
Fudan University(复旦大学);Tencent(腾讯);Xiamen University(厦门大学);Shanghai Jiao Tong University(上海交通大学)
本文提出CT-1模型,通过准确估计相机轨迹将空间推理知识转移到视频生成中,利用小波正则化损失和视频扩散模型提升相机控制精度,实验显示其生成的视频质量高且控制准确率提升25.7%。
2026-04-10 cs.CV
I2V3D: Controllable image-to-video generation with 3D guidance
City University of Hong Kong(香港城市大学);Microsoft GenAI(微软生成式人工智能部门)
提出I2V3D框架,结合3D几何引导与生成模型,通过关键帧生成和免训练双向视频插值,实现单图到可控高质量视频的生成。
2025-03-12 cs.CV
A Reason-then-Describe Instruction Interpreter for Controllable Video Generation
Kling Team, Kuaishou Technology(快手科技 Kling 团队);National University of Singapore(新加坡国立大学)
ReaDe通过推理后再描述的方法,将模糊用户指令转化为精确规范,提升可控视频生成的准确性和质量。
2025-11-25 cs.CV
VHOI: Controllable Video Generation of Human-Object Interactions from Sparse Trajectories via Motion Densification
MPI for Informatics, SIC(马克斯·普朗克信息学研究所,SIC);VIA Center(VIA中心);Google(谷歌)
VHOI通过运动稠密化将稀疏轨迹转化为HOI掩码序列,再通过视频扩散模型生成可控的人-物交互视频,提出了一种新颖的HOI-aware运动表示,增强了模型对真实交互动态的理解与生成能力。
2026-04-08 cs.CV
HeartBeat: Towards Controllable Echocardiography Video Synthesis with Multimodal Conditions-Guided Diffusion Models
Shenzhen University(深圳大学);University of Leeds(利兹大学)
本文提出HeartBeat框架,通过感知并分解局部与全局多模态条件、采用两阶段训练解耦视觉与时序学习,实现可控高保真超声心动图视频合成,并可泛化到心脏MRI合成。
2024-07-05 cs.CV
ReImagine: Rethinking Controllable High-Quality Human Video Generation via Image-First Synthesis
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)科学与工程学院);Future Network of Intelligence Institute, CUHK-Shenzhen, China(CUHK-深圳智能网络研究院)
本文提出通过图像优先合成方法,结合预训练图像模型与SMPL-X运动引导,生成高质量且时间一致的视频,同时释放人类数据集与辅助模型。
2026-04-21 cs.CV
PhysCtrl: Generative Physics for Controllable and Physics-Grounded Video Generation
University of Pennsylvania(宾夕法尼亚大学);HKU(香港大学);HKUST(香港科技大学)
PhysCtrl提出一种物理接地的图像到视频生成框架,通过扩散模型学习四类材料的物理动力学并生成三维点轨迹,结合时空注意力与物理约束,实现可控且物理合理的高保真视频生成。
2025-11-07 cs.CV
Moonshot: Towards Controllable Video Generation and Editing with Multimodal Conditions
Salesforce Research(赛富时研究院);Show Lab, National University of Singapore(新加坡国立大学Show Lab)
提出Moonshot视频生成模型,通过多模态视频块(MVB)同时处理图像和文本输入,并无训练开销地集成ControlNet,显著提升了视频视觉质量与时间一致性,支持多种可控生成与编辑应用。
2024-01-03 cs.CV
Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention
University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司);Google(谷歌公司)
提出Cavia框架,通过视角集成注意力模块实现相机可控的多视角视频生成,支持多源数据联合训练,在几何一致性和感知质量上超越现有方法。
2024-10-14 cs.CV
MovieCharacter: A Tuning-Free Framework for Controllable Character Video Synthesis
Cranberry-Lemon University(蔓越莓柠檬大学)
针对现有角色视频合成依赖大量微调或复杂3D建模、可及性与实时性不足的问题,提出无需调优的模块化框架MovieCharacter,整合开源模型与成熟技术,提升了合成的效率、可及性与适配性。
2025-01-13 cs.CV
CineWeaver: Training-Free Reference-Controllable Multi-Shot Long Video Generation for Cinematic Storytelling
Shanghai Jiao Tong University(上海交通大学);China Telecom(中国电信);Institute of Artificial Intelligence (TeleAI)(人工智能研究院(电信AI))
CineWeaver是首个无训练的统一框架,通过操控位置编码、注意力模式等,实现参考可控的多镜头长视频生成,产出的电影视频时长较长且质量高。
2026-07-30 cs.CV
CAGE: Unsupervised Visual Composition and Animation for Controllable Video Generation
University of Bern(伯尔尼大学);LMU Munich(慕尼黑大学)
本研究提出无监督视频生成模型CAGE,无需标注即可通过自监督局部特征约束训练,实现可控的场景组合与物体动画生成,经实验验证可生成高质量、符合控制要求的视频。
2025-03-24 cs.CV
360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院);Peking University Shenzhen Graduate School(北京大学深圳研究生院)
针对360度全景视频采集昂贵且通用T2V模型难以适配的问题,本文提出360DVD流程,利用轻量级360-Adapter和增强技术改造预训练模型,并构建WEB360数据集实现可控全景视频生成。
2024-05-10 cs.CV
LightCtrl: Training-free Controllable Video Relighting
Tsinghua University(清华大学);GVC Lab, Great Bay University(大湾区大学GVC实验室);Adobe Research(Adobe研究院)
LightCtrl是首个无需训练的可控视频重照明方法,通过用户提供的光照轨迹实现对视频光照的显式控制,结合预训练扩散模型提升时间一致性,实验显示其在光照变化多样性和可控性上优于基线方法。
2026-03-28 cs.CV
PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding
Harbin Institute of Technology(哈尔滨工业大学)
提出PhysChoreo框架,通过两阶段方法(部分感知物理属性重建与时序指导的可编辑物理模拟)从单张图像生成物理可控且逼真的视频,在多个指标上超越现有方法。
2026-06-29 cs.CV
CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation
University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达)
针对视频扩散模型缺乏精确相机位姿控制的问题,提出CamCo,通过Plücker坐标输入相机位姿并集成对极注意力模块,显著提升了图像到视频生成的3D一致性和相机控制能力。
2024-06-04 cs.CV
AnyCharV: Bootstrap Controllable Character Video Generation with Fine-to-Coarse Guidance
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);The University of Hong Kong(香港大学)
针对现有角色视频生成方法灵活性不足的问题,提出AnyCharV框架,以姿态为引导结合两阶段训练与自举机制,实现任意源角色到目标场景的灵活生成且细节保留更优,性能超越现有SOTA方法。
2025-05-21 cs.CV
MotionClone: Training-Free Motion Cloning for Controllable Video Generation
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出免训练框架 MotionClone,利用稀疏时间注意力权重作为运动表示,通过单次去噪步骤实现从参考视频到文本/图像生成视频的高效运动克隆,在运动保真度、文本对齐和时间一致性上表现优越。
2024-10-22 cs.CV
MultiShotMaster: A Controllable Multi-Shot Video Generation Framework
Dalian University of Technology(大连理工大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);The Chinese University of Hong Kong(香港中文大学)
MultiShotMaster通过引入两种新型RoPE变体和自动化数据标注管道,实现多镜头视频的灵活生成与可控性。
2025-12-02 cs.CV
Text-to-Edit: Controllable End-to-End Video Ad Creation via Multimodal LLMs
ByteDance Inc(字节跳动公司)
本文提出基于MLLM的端到端Text-to-Edit框架,通过密集帧率、慢-快处理和文本控制机制提升视频广告编辑的时空理解与可控性。
2025-01-10 cs.CV
Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos
Tencent AI Lab(腾讯AI实验室)
提出一种两阶段训练方案,利用易获取的数据集和预训练T2I模型,通过零初始化卷积编码器和跨帧自注意力块,生成姿态可控且保留文本编辑能力的角色视频。
2024-01-03 cs.CV
LongVie: Multimodal-Guided Controllable Ultra-Long Video Generation
Nanjing University(南京大学);Fudan University(复旦大学);S-Lab, Nanyang Technological University(南洋理工大学S实验室);NVIDIA(NVIDIA公司);Shanghai AI Laboratory(上海人工智能实验室)
LongVie提出统一噪声初始化、全局控制信号归一化及多模态控制框架,解决超长视频生成中的时间不一致与视觉退化,并引入LongVGenBench基准,实现最先进性能。
2025-08-05 cs.CV
EmoWorld: A Decoupled Affective Field for Controllable Emotional Video Generation
EmoWorld是一种解耦情感场框架,通过VAS、SAS、TAS三个引导模块优化可控情感视频生成,在Wan2.2等基准上实现情感对齐、线索检测及过渡单调性提升,具备多骨干网络可移植性。
2026-08-07 cs.CV
ShotDirector: Directorially Controllable Multi-Shot Video Generation with Cinematographic Transitions
Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
ShotDirector通过整合参数级相机控制和分层编辑模式感知提示,实现了电影化可控的多镜头视频生成。
2025-12-11 cs.CV
Sync4D: Video Guided Controllable Dynamics for Physics-Based 4D Generation
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
Sync4D提出一种利用参考视频将物体运动迁移到三维生成高斯的可控动力学方法,通过混合蒙皮形状重建、部件对应和物理模拟解决形状与时间不一致问题,支持人类、四足动物和关节物体并生成任意长度动力学。
2024-07-07 cs.CV
Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(信息研究所);Microsoft(微软)
提出利用稀疏3D手部关节点作为显式控制信号,通过遮挡感知特征提取和3D加权机制,实现高保真、3D一致的第一人称手物交互视频生成。
2026-06-26 cs.CV
Controllable Longer Image Animation with Diffusion Models
Alibaba Group(阿里巴巴集团)
本文提出一种基于扩散模型的可控图像动画方法,通过运动先验和噪声重调度实现超过100帧的长视频生成,实验证明优于10个基线。
2024-05-28 cs.CV
PoseGen: In-Context LoRA Finetuning for Pose-Controllable Long Human Video Generation
Xiaoice, China(小冰公司,中国);The University of Sydney, Australia(悉尼大学,澳大利亚)
PoseGen通过上下文LoRA微调实现对人物姿态的精细控制,生成长时长视频,解决了身份漂移和视频长度限制问题。
2026-04-10 cs.CV
MyGo: Consistent and Controllable Multi-View Driving Video Generation with Camera Control
Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
针对现有生成模型多视角任务下相机运动控制不足的问题,提出端到端框架MyGo,通过插件注入相机参数、结合对极约束与邻域信息增强可控性与一致性,在两类生成任务中达最优,助力自动驾驶环境模拟。
2024-09-11 cs.CV
CamC2V: Context-aware Controllable Video Generation
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
提出CamC2V模型,通过集成多图像条件与3D约束及相机控制,实现上下文感知的连贯视频生成,在RealEstate10K数据集上FVD提升24.09%。
2026-05-28 cs.CV
High-Fidelity Relightable Monocular Portrait Animation with Lighting-Controllable Video Diffusion Model
Sichuan University(四川大学);College of Computer Science, Sichuan University(四川大学计算机学院)
本文提出光照可控视频扩散模型(LCVD),通过分离内在与外在特征子空间,实现高保真可重照明肖像动画,在光照真实性、图像质量和视频一致性上超越现有方法。
2025-02-27 cs.CV
CineMaster: A 3D-Aware and Controllable Framework for Cinematic Text-to-Video Generation
Dalian University of Technology(大连理工大学);The Chinese University of Hong Kong(香港中文大学);Kuaishou Technology(快手科技)
该研究提出CineMaster框架,通过交互式3D条件信号构建与扩散模型引导两阶段流程,结合自动化数据标注管道,实现3D感知可控的电影级文本转视频生成,性能优于现有方法。
2025-02-12 cs.CV
High-Fidelity and Freely Controllable Talking Head Video Generation
Microsoft Research(微软研究院)
针对说话头部视频中的人脸失真、属性控制不足和帧间闪烁问题,提出融合自监督与3D人脸关键点的模型,并结合运动感知对齐及上下文传播模块,实现高保真、姿态与表情可控的生成。
2023-11-02 cs.CV
DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation
Tsinghua University(清华大学);Intelligent Creation Lab, ByteDance(字节跳动智能创作实验室)
DreamID-Omni提出了一种统一框架,通过双层解耦策略和多任务训练方案,实现对可控人-centric音频视频生成的高效控制。
2026-02-12 cs.CV
ProxyUp: Training-Free Proxy-Conditioned Video Generation for Controllable Dynamics
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
现代视频生成模型精确控制复杂动力学具挑战性。提出代理条件视频生成,以代理视频控制前景物体运动。基于预训练模型构建免训练框架ProxyUp,用区域潜在噪声和随机流松弛,实验表明其在动态保真度和文本对齐方面优于基线。
2026-07-07 cs.CV
Fine-grained Controllable Video Generation via Object Appearance and Context
Google Research(谷歌研究院);UC Merced(加州大学默塞德分校)
本文提出 FACTOR 统一框架,通过联合编码器与自适应交叉注意力向文本到视频模型注入对象外观、位置和类别控制,无需微调即可实现对象级细粒度生成,可控性指标较基线提升70%。
2023-12-05 cs.CV
Dimension-Reduction Attack! Video Generative Models are Experts on Controllable Image Synthesis
Zhejiang University(浙江大学);Kunbyte AI;Ant Group(蚂蚁集团);Hangzhou Normal University(杭州师范大学)
提出DRA-Ctrl范式,通过知识压缩与任务适应将视频生成模型降维应用于可控图像合成,利用长程建模与注意力掩码机制,在多种图像生成任务上优于直接训练的图像模型。
2025-05-29 cs.CV
MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model
The University of Tokyo(东京大学);Tencent AI Lab(腾讯人工智能实验室)
该研究提出MOFA-Video可控图像动画方法,通过设计域感知运动场适配器,基于稀疏控制条件生成稠密运动流并结合图像多尺度引导特征,在冻结图像到视频扩散模型中实现多信号、多域协同的高质量可控视频生成。
2024-07-11 cs.AI cs.CV
CoMoGen: COntrollable MOtion Dynamics and Interactions with Mask-Guided Video GENeration
Technical University of Munich(慕尼黑技术大学);Max Planck Institute for Informatics, Saarland Informatics Campus(马克斯·普朗克信息研究所,萨尔兰信息校园);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Obsphera
提出CoMoGen框架,通过轻量级MaskAdapter将二进制掩码序列编码为潜在残差信号注入MMDiT模型,并利用LoRA微调运动层,实现从单张图像和掩码序列生成逼真的交互运动,在运动保真度和感知真实性上达到最优。
2026-05-21 cs.CV
Controllable Video Generation: A Survey
Hong Kong University of Science and Technology(香港科技大学);Hong Kong University of Science and Technology(Guang Zhou)(香港科技大学(广州));Tsinghua University(清华大学);Dalian University of Technology(大连理工大学);Tencent(腾讯)
本文综述了可控视频生成领域,探讨了视频扩散模型中的控制机制及不同控制信号类型的方法分类。
2026-01-19 cs.CV cs.GR
MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling
Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
本文提出MIMO框架,通过单目深度提升与空间分解编码,统一实现人物、运动和场景可控的人物视频合成,并支持任意人物、新颖3D运动及真实场景交互。
2025-06-11 cs.CV
GenHSI: Controllable Generation of Human-Scene Interaction Videos
Brown University(布朗大学)
GenHSI提出一种无需训练的可控生成长人类-场景交互视频方法,通过剧本写作、预可视化和动画三阶段生成3D-aware视频,保留人物身份并提供合理交互。
2026-04-16 cs.CV
CogOmniControl: Reasoning-Driven Controllable Video Generation via Creative Intent Cognition
SKL-IOTSC, CIS, University of Macau(澳门大学SKL-IOTSC、CIS实验室);Online-Video BU, Tencent(腾讯在线视频事业部)
本文提出CogOmniControl框架,通过将可控视频生成分解为创意意图认知和生成两个阶段,利用专门训练的CogVLM生成更专业清晰的输出,并通过强化学习对齐不同条件的控制,最终在两个基准测试中超越现有开源模型。
2026-05-19 cs.CV
DriveScape: Towards High-Resolution Controllable Multi-View Driving Video Generation
Tsinghua University(清华大学);Sensetime Research(商汤科技研究院);Northeastern University(东北大学);SenseAuto(毫末智行)
针对现有多视角驾驶视频生成方法时空一致性弱、帧率低的问题,提出端到端框架DriveScape,通过双向调制Transformer实现3D信息精准对齐,可生成10Hz高分辨率视频,在nuScenes数据集上取得SOTA结果。
2024-09-12 cs.CV
Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究所)
针对静态图像生成角色视频中的时序一致性与可控性难题,本文提出基于扩散模型的 Animate Anyone 框架,结合 ReferenceNet、pose guider 和时序建模,在时尚视频与舞蹈合成基准上达到最先进性能。
2024-06-13 cs.CV