CameraCtrl II: Dynamic Scene Exploration via Camera-controlled Video Diffusion Models
The Chinese University of Hong Kong(香港中文大学);ByteDance Seed(字节跳动 Seed);Stanford University(斯坦福大学)
针对相机条件视频生成在大幅运动下动态减弱、视角受限的问题,本文提出 CameraCtrl II,通过动态训练数据、轻量相机注入与迭代轨迹生成,实现更广范围的可控动态场景探索。
2025-03-13 cs.CV
CT-1: Vision-Language-Camera Models Transfer Spatial Reasoning Knowledge to Camera-Controllable Video Generation
Fudan University(复旦大学);Tencent(腾讯);Xiamen University(厦门大学);Shanghai Jiao Tong University(上海交通大学)
本文提出CT-1模型,通过准确估计相机轨迹将空间推理知识转移到视频生成中,利用小波正则化损失和视频扩散模型提升相机控制精度,实验显示其生成的视频质量高且控制准确率提升25.7%。
2026-04-10 cs.CV
CamPilot: Improving Camera Control in Video Diffusion Model with Efficient Camera Reward Feedback
HKUST(GZ)(香港科技大学(广州));HKUST(香港科技大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
CamPilot通过高效的3D解码器和奖励机制提升视频扩散模型的相机控制能力
2026-01-22 cs.CV
CameraAnything: Refilming Videos with Arbitrary Camera Control
The Chinese University of Hong Kong(香港中文大学);Ant Group(蚂蚁集团);Tsinghua University(清华大学);Zhejiang University(浙江大学);The Hong Kong University of Science and Technology(香港科技大学)
CameraAnything是用于相机控制视频编辑的统一框架,采用逐像素普吕克光线注入等方法联合控制相机参数,开发合成管道克服数据稀缺,能在单过程中实现多种视频编辑操作,为视频制作提供实用价值。
2026-07-28 cs.CV
CamWorldQA: Perceptual Quality Assessment of Camera-Controlled World Video Generation
Shanghai Jiao Tong University(上海交通大学);Eindhoven University of Technology(埃因霍温理工大学)
本研究推出首个相机控制型世界视频生成质量评估基准CamWorldQA,并提出含三分支的无参考评估网络CWQA,实验显示其性能优于现有方法。
2026-08-20 cs.CV
Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training
University of Rochester(罗切斯特大学)
针对现有视频扩散模型相机控制需微调、成本高且破坏预训练分布的问题,提出Latent-Reframe方法,在采样阶段通过时间感知点云对齐潜码并优化,无需训练即可实现相当或更优的控制精度与视频质量。
2024-12-08 cs.CV
SemCam: Semantic Camera Motion Control for Video Generation
Amazon Prime Video(亚马逊Prime Video);Tel Aviv University(特拉维夫大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
SemCam提出语义相机运动控制任务,通过参考视频和运动标签实现主体相对相机控制,采用低秩适应与运动调制,在109场景基准上以68.6%成功率优于基线。
2026-10-06 cs.CV
Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation
KAIST AI(韩国科学技术院人工智能研究所)
InfCam通过无限透视变形和数据增强管道,实现高姿态保真度的摄像机控制视频生成,优于现有方法。
2025-12-18 cs.CV
VividCam: Learning Unconventional Camera Motions from Virtual Synthetic Videos
UC, Santa Barbara(加州大学圣芭芭拉分校);Adobe Research(Adobe研究院);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
针对文本生成视频模型难以学习非常规相机运动的问题,提出VividCam训练范式,通过解耦策略从简单虚拟合成视频中让扩散模型学习复杂相机运动,缓解域偏移,实现精确可控的多样相机运动合成。
2026-09-22 cs.CV
CamPVG: Camera-Controlled Panoramic Video Generation with Epipolar-Aware Diffusion
Tongji University(同济大学);DAMO Academy, Alibaba Group(阿里达摩院)
本文提出CamPVG,首个基于视图控制的全景视频生成框架,通过全景Plücker嵌入和视图感知模块提升生成视频的质量与一致性。
2026-04-19 cs.CV
DeltaCam: Differential Intrinsic Camera Modeling for Video Generation
UNC, Chapel Hill USA(北卡罗来纳大学教堂山分校)
提出DeltaCam视频扩散框架,通过差分参数化神经相机适配器学习相对变化,实现焦距、光圈、ISO等内参的平滑可控视频生成,并扩展到真实场景。
2026-05-24 cs.CV
Training-free Camera Control for Video Generation
University of Science and Technology of China(中国科学技术大学)
提出免训练相机控制方法CamTrol,利用噪声潜在变量的布局先验,通过三维点云显式建模相机运动,实现即插即用的视频生成相机控制,性能优于微调方法。
2025-02-25 cs.CV
VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Snap Inc.(斯纳普公司);SFU(西蒙菲莎大学)
针对现有基于Transformer的视频扩散模型缺乏相机控制能力的问题,提出融入基于Plücker坐标时空相机嵌入的类ControlNet条件机制,首次实现该类模型的3D相机控制,在RealEstate10K数据集上取得SOTA性能。
2025-03-22 cs.CV
CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation
University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达)
针对视频扩散模型缺乏精确相机位姿控制的问题,提出CamCo,通过Plücker坐标输入相机位姿并集成对极注意力模块,显著提升了图像到视频生成的3D一致性和相机控制能力。
2024-06-04 cs.CV
Learning to Deblur and Generate High Frame Rate Video with an Event Camera
Peking University(北京大学)
事件相机是生物启发的相机,可以以高时间分辨率异步测量强度的变化。事件摄像机的优势之一是,它们在记录高速场景时不会受到运动模糊的影响。在本文中,我们制定了传统的摄像机的去模糊任务的事件是一个残留的学习,我们提出了相应的网络架构,有效的学习去模糊和高帧速率视频生成任务。我们首先训练一个修改后的U-Net网络,使用相应的事件从模糊图像恢复清晰图像。然后我们用不同的下采样块训练另一个类似的网络,以使用恢复的清晰图像和事件生成高帧速率视频。实验结果表明,我们的方法可以恢复清晰的图像和视频比国家的最先进的方法。
2020-03-20 cs.CV
Unified Camera Positional Encoding for Controlled Video Generation
Monash University(莫纳什大学);Building 4.0 CRC(4.0建筑CRC);VAST(VAST研究院)
本文提出UCPE,通过统一相机信息实现视频生成中的高可控性与视觉真实性,结合轻量级注意力适配器提升模型性能。
2026-03-26 cs.CV
ReCamMaster: Camera-Controlled Generative Rendering from A Single Video
Zhejiang University(浙江大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队);CUHK(香港中文大学);HUST(华中科技大学)
ReCamMaster利用预训练文本到视频模型的生成能力,通过简单视频条件机制和虚幻引擎5构建的多相机同步数据集,实现单视频的相机轨迹控制重渲染,显著优于现有方法。
2025-07-09 cs.CV
Direct-a-Video: Customized Video Generation with User-Directed Camera Movement and Object Motion
City University of Hong Kong(香港城市大学);Tianjin University(天津大学);Kuaishou Technology(快手科技)
本文提出 Direct-a-Video 系统,通过空间交叉注意力调制和新引入的时间交叉注意力层,分别解耦控制物体运动与摄像机平移缩放,并以自监督方式训练,无需运动标注,实现灵活可泛化的定制视频生成。
2024-05-06 cs.CV
UniMoCa: Unifying Motion and Camera Controls as Visual Proxies for Faithful Human Video Generation
SJTU(上海交通大学)
UniMoCa是统一运动与相机控制的视觉代理框架,提出MCVP表征并构建MCVP-Video数据集,在Wan2.2 I2V上实现视频生成多方面性能提升且复杂度低
2026-08-04 cs.CV
Probing into Camera Control of Video Models
Visual Geometry Group University of Oxford(视觉几何组牛津大学)
本文提出通过几何引导而非隐式映射实现摄像机控制,有效提升视频生成模型的几何表现力,并揭示了基础模型的摄像机控制偏见与差异。
2026-05-14 cs.CV
MotionFlow:Learning Implicit Motion Flow for Complex Camera Trajectory Control in Video Generation
Zhejiang University(浙江大学);Tsinghua University(清华大学);Beihang University(北航);Zhejiang Gongshang University(浙江工商大学);ShengShu(盛舒)
提出MotionFlow方法,通过将相机与物体运动转化为像素运动并利用稳定扩散网络学习参考运动图,实现复杂相机轨迹下的视频生成,大幅超越现有最优方法。
2025-09-25 cs.CV
RealCam-Vid: High-resolution Video Dataset with Dynamic Scenes and Metric-scale Camera Movements
Zhejiang University(浙江大学)
针对现有相机可控视频生成数据集缺乏动态场景和公制尺度几何一致性的问题,本文提出了首个完全开源的高分辨率动态场景数据集RealCam-Vid,为复杂环境中的逼真物体运动合成和精确相机轨迹控制提供支持。
2025-04-11 cs.CV
MyGo: Consistent and Controllable Multi-View Driving Video Generation with Camera Control
Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
针对现有生成模型多视角任务下相机运动控制不足的问题,提出端到端框架MyGo,通过插件注入相机参数、结合对极约束与邻域信息增强可控性与一致性,在两类生成任务中达最优,助力自动驾驶环境模拟。
2024-09-11 cs.CV
GimbalDiffusion: Gravity-Aware Camera Control for Video Generation
Université Laval(拉瓦尔大学);Adobe
本文提出GimbalDiffusion框架,通过物理坐标系实现摄像机运动的精确控制,引入null-pitch conditioning策略以避免冲突提示内容干扰,并建立新基准评估重力感知摄像机控制视频生成能力。
2026-08-04 cs.CV
BulletTime: Decoupled Control of Time and Camera Pose for Video Generation
ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学);CUHK(香港中文大学)
BulletTime通过分离时间与相机姿态,实现了视频生成的精细控制与高质量生成。
2026-08-25 cs.CV
High-Quality Virtual Single-Viewpoint Surgical Video: Geometric Autocalibration of Multiple Cameras in Surgical Lights
Keio University(庆应义塾大学);Graz University of Technology(格拉茨工业大学)
本文提出一种自动化图像对齐算法,通过检测手术灯移动帧、重新对齐并选择遮挡最少的相机,生成高质量无遮挡的稳定虚拟单视点手术视频,定量与用户研究均证实其优于传统方法。
2025-03-05 cs.CV
Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention
University of Texas at Austin(德克萨斯大学奥斯汀分校);Apple(苹果公司);Google(谷歌公司)
提出Cavia框架,通过视角集成注意力模块实现相机可控的多视角视频生成,支持多源数据联合训练,在几何一致性和感知质量上超越现有方法。
2024-10-14 cs.CV
SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);VISTEC, Thailand(泰国威斯泰克科学技术研究院)
提出SierpinskiCam方法,通过谢尔宾斯基圆顶纹理线索增强几何引导,并引入参考视频条件机制,解决单目视频重拍中相机大角度偏离时的稀疏区域问题,提升相机可控性、几何一致性和视频质量。
2026-11-10 cs.CV
Taming Camera-Controlled Video Generation with Verifiable Geometry Reward
AIsphere;National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
本文提出了一种在线强化学习框架,通过可验证的几何奖励提升摄像机控制的视频生成精度与一致性。
2025-12-02 cs.CV
WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories
Zhejiang University(浙江大学);Tencent Hunyuan(腾讯文心)
WorldStereo通过3D几何记忆模块实现相机引导视频生成与3D场景重建的高效融合,提升多视角一致性与重建质量。
2026-03-02 cs.CV
SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints
Kuaishou Technology(快手科技);Tsinghua University(清华大学);CUHK(香港中文大学);Zhejiang University(浙江大学)
针对多视角视频动态一致性需求,提出即插即用的SynCamMaster模块与混合训练方案,增强预训练文生视频模型的多摄像机生成能力,还发布了SynCamVideo-Dataset数据集。
2024-12-10 cs.CV
Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians
University of Glasgow(格拉斯哥大学)
本文提出一种基于动态3D高斯的图像到视频生成框架,通过单次前向传递构建3D场景表示并采样合理物体运动,实现高效且可控的视频生成,实验表明其在多个数据集上均达到SOTA视频质量和推理效率。
2026-05-14 cs.CV
Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering
University of Cambridge(剑桥大学)
本文提出SRENDER方法,通过稀疏扩散和3D渲染生成静态场景的高效视频,使视频生成速度提升40倍,保持高质量和稳定性。
2026-01-14 cs.CV
DualCamCtrl: Dual-Branch Diffusion Model for Geometry-Aware Camera-Controlled Video Generation
HKUST (GZ)(香港科技大学);HKUST(香港科技大学);Fudan University(复旦大学);Shenzhen University(深圳大学)
DualCamCtrl通过双分支扩散模型实现几何感知的摄像机控制视频生成,有效提升视频生成的一致性和准确性。
2025-12-01 cs.CV
MUGEN: Interactive Panoramic World Exploration via Camera Control
Alaya Lab(Alaya 实验室);Beijing Institute of Technology(北京理工大学);Shanghai Innovation Institute(上海创新研究院)
本文提出MUGEN数据集和Wan360模型,解决交互式全景视频生成中数据与模型差距,实现高质量、相机可控的360度视频生成。
2026-09-30 cs.CV
Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation
Alibaba DAMO Academy(阿里巴巴达摩院);Fudan University(复旦大学);Hupan Lab(虎扑实验室);Shanghai Innovation Institute(上海创新研究院)
Uni3C提出统一3D增强框架,通过即插即用的PCDController点云控制模块和联合对齐3D世界引导,实现视频生成中相机与人体运动的精确协同控制,显著优于现有方法。
2025-09-20 cs.CV
RealCam-I2V: Real-World Image-to-Video Generation with Interactive Complex Camera Control
College of Computer Science & Technology, Zhejiang University(浙江大学计算机科学与技术学院);Central Media Technology Institute, 2012 Lab, Huawei(华为2012实验室)
提出RealCam-I2V框架,通过集成单目度量深度估计建立3D场景重建,支持用户在3D场景中拖动绘制相机轨迹,并引入场景约束噪声塑造技术,显著提升了真实世界图像到视频生成的可控性与质量。
2025-07-13 cs.CV
CamLit: Unified Video Diffusion with Explicit Camera and Lighting Control
CamLit首次提出统一的视频扩散模型,结合生成新视角和光照重置,通过单张图像、相机轨迹和环境映射生成高质量视频,实现高精度的相机姿态和光照控制。
2026-03-15 cs.CV
ReRoPE: Repurposing RoPE for Relative Camera Control
Zhejiang University(浙江大学);Independent Researcher(独立研究者)
ReRoPE通过将RoPE用于相对相机控制,实现可控视频生成,提升生成质量与效率。
2026-02-08 cs.CV
CPA: Camera-pose-awareness Diffusion Transformer for Video Generation
vivo Mobile Communication Co., Ltd(维沃移动通信有限公司)
针对视频生成中相机轨迹控制不精确的问题,提出相机位姿感知的 CPA 框架,通过 SME 与 TAI 模块融合位姿条件,提升长视频的轨迹和物体一致性。
2024-12-02 cs.CV
Geo-Align: Video Generation Alignment via Metric Geometry Reward
USTC(中国科学技术大学);Shanghai AI Lab(上海人工智能实验室);ZJU(浙江大学)
提出首个基于强化学习的框架Geo-Align,通过度量3D估计器提取相机轨迹并惩罚偏差,利用真实条件视频和合成目标轨迹消除配对数据依赖,提升相机控制精度和视觉保真度。
2026-05-22 cs.CV
ReCamDriving: LiDAR-Free Camera-Controlled Video Synthesis for Novel Trajectories
Sun Yat-sen University(中山大学);ZYT;Shenzhen Polytechnic University(深圳职业技术大学);The Hong Kong University of Science and Technology(香港科技大学)
ReCamDriving通过基于3DGS的密集渲染和两阶段训练策略,实现了无需LiDAR的相机可控新型轨迹视频生成,构建了ParaDrive数据集并展示了卓越的生成效果。
2026-08-05 cs.CV
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI))
提出一种快速自回归框架,通过解耦控制学习并保持统一视频先验,实现人体运动和相机轨迹的组合控制,支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time
California Institute of Technology(加州理工学院)
DynaTokens通过轻量级可学习标记,在测试时为相机控制视频模型注入场景动态,实现动态与相机运动的更好权衡。
2026-09-29 cs.CV
Modular-Cam: Modular Dynamic Camera-view Video Generation with LLM
Tsinghua University(清华大学);Beijing University of Technology(北京工业大学)
针对复杂提示下动态场景与多视角变换的视频生成难题,提出Modular-Cam方法,通过大语言模型解耦场景、时序Transformer保证连续性、CamOperator控制视角及AdaControlNet保证一致性,实现多场景视频生成与视角细粒度控制。
2025-04-16 cs.CV
CamViG: Camera Aware Image-to-Video Generation with Multimodal Transformers
Google Research(谷歌研究院)
本文提出CamViG,通过将3D相机运动编码为调节信号,扩展多模态Transformer实现可控的图像到视频生成,并验证了相机控制的有效性与路径准确性。
2024-05-21 cs.AI cs.CV
Generating Fit Check Videos with a Handheld Camera
University of Washington(华盛顿大学)
本文提出了一种基于视频扩散模型的方法,利用手持设备和静态照片生成逼真的全身视频,通过多参考注意力机制和图像微调策略提升视频真实感。
2025-12-01 cs.CV
Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control
Stanford Univerity(斯坦福大学);CUHK(香港中文大学)
本文提出协作式视频扩散(CVD)框架,通过跨视频同步模块和极线注意力机制,实现从不同相机轨迹生成同一场景的多视频,并显著提升一致性,支持大规模3D场景生成。
2024-05-27 cs.CV cs.GR
SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Jiaotong University(上海交通大学);Nanjing University(南京大学);Beihang University(北京航空航天大学)
SymphoMotion通过联合控制相机运动和物体动态,提高视频生成的一致性和表达性,其核心方法结合了相机轨迹控制与物体动态控制机制,并引入了RealCOD-25K数据集进行大规模训练和评估,显著提升了视觉保真度和物体运动准确性。
2026-06-25 cs.CV
EPiC: Efficient Video Camera Control Learning with Precise Anchor-Video Guidance
提出EPiC框架,通过基于首帧可见性掩码构建精确对齐的锚点视频,并引入轻量模块Anchor-ControlNet,以极低参数实现高效、精确的3D摄像机控制,在RealEstate10K和MiraData上达到最先进性能。
2026-05-28 cs.AI cs.CV
Free-Form Motion Control: Controlling the 6D Poses of Camera and Objects in Video Generation
Fudan University(复旦大学);DAMO Academy, Alibaba group(阿里集团 DAMO 院);Hupan Lab(虎派实验室);Nanyang Technological University, Singapore(新加坡南洋理工大学)
本文针对视频生成中相机与物体6D位姿难以同时控制的问题,提出合成数据集SynFMC和自由形式运动控制方法FMC,实现三维感知的独立或联合位姿控制,并兼容多种个性化T2I模型,在多个场景中取得优于现有方法的效果。
2025-07-20 cs.CV
CameraEditor: Camera-Controlled Image Editing via Video-Prior Sequential Modeling
Xi’an Jiaotong University(西安交通大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
CameraEditor是将相机控制编辑转化为时间序列预测任务的图像编辑框架,通过几何感知与动态参考机制实现高精度相机控制,在自建数据集和CamEditor-Bench上表现优于现有方法。
2026-09-02 cs.CV
PartiCam: Camera Controlled Video Generation with Reward Guidance
INRIA, Univ. Rennes, CNRS, IRISA(法国国家信息与自动化研究所,雷恩大学,法国国家科学研究中心,IRISA);University of Oxford(牛津大学);Meta
PartiCam提出一种基于粒子滤波的无训练方法,通过全局-局部细化框架改进相机控制视频生成,无需重新训练模型,显著提升轨迹遵循性和视觉质量。
2026-10-01 cs.AI cs.CV
Beyond Inpainting: Unleash 3D Understanding for Stable Camera-Controlled Video Generation
BNRist, Department of Computer Science and Technology, Tsinghua University(BNRist,计算机科学与技术系,清华大学)
DepthDirector通过双流条件机制和LoRA适配器实现精确摄像机控制,提升视频生成的3D理解和视觉质量。
2026-09-29 cs.CV cs.GR