SpinMeRound: Consistent Multi-View Identity Generation Using Diffusion Models
Imperial College London(伦敦帝国学院);FAU Erlangen–Nürnberg(埃森哲-纽伦堡大学)
针对扩散模型生成新视角头部肖像时角度范围受限、面部数据表现不佳的问题,提出SpinMeRound方法,结合多输入视图与身份嵌入,实现360度头部合成且性能优于现有多视角扩散模型。
2025-09-23 cs.CV
ArbiViewGen: Controllable Arbitrary Viewpoint Camera Data Generation for Autonomous Driving via Stable Diffusion Models
提出ArbiViewGen扩散框架,通过FAVS和CVC-SSL实现无需外推真实数据的可控任意视角相机图像生成,仅需多相机图像和位姿,支持多种车辆配置。
2025-08-07 cs.CV
Extreme Two-View Geometry From Object Poses with Diffusion Models
University of Hong Kong(香港大学);Beijing Institute of Technology(北京理工大学);Shanghai Technology University(上海科技大学)
本文提出利用扩散模型Zero123学习物体先验,将双视图相机姿态估计转化为物体姿态估计问题,通过合成新视角图像匹配来确定姿态,在极端视点变化下展现出卓越的鲁棒性和泛化能力。
2024-02-05 cs.CV
Controllable Audio-Visual Viewpoint Generation from 360° Spatial Information
Sapienza University of Rome, Italy(罗马大学)
本文提出首个可控视听生成框架,利用360度空间的全景显著性图、边界框感知符号距离图和场景描述作为条件信号,实现空间感知的视点视频与音频生成。
2025-10-07 cs.AI cs.CV cs.MM
GO-Renderer: Generative Object Rendering with 3D-aware Controllable Video Diffusion Models
HKUST(香港科技大学);VAST(中国航空无线电电子研究所);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);ShanghaiTech University(上海交通大学)
本文提出GO-Renderer框架,结合重建的3D模型引导视频生成模型,实现高质物体在任意视角和光照下的渲染,无需显式建模复杂材质和光照。
2026-03-24 cs.CV
Free-viewpoint Human Animation with Pose-correlated Reference Selection
HKUST(香港科技大学);Adobe Research(奥多比研究院);Northwestern University(西北大学)
本文提出姿态相关参考选择扩散网络,通过多参考图像和自适应注意力选择机制解决自由视角下人体动画中的大视角变化问题,实验证明其优于现有方法。
2024-12-27 cs.CV
Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance Fields using Geometry-Guided Text-to-Image Diffusion Model
Graduate School of Artificial Intelligence, KAIST(韩国科学技术院人工智能研究生院)
提出Text2Control3D方法,利用ControlNet生成视角感知图像并结合可变形NeRF,实现了由单目视频控制面部表情的可控文本到3D虚拟人生成。
2023-09-07 cs.CV
Diffusion-guided Generalizable Enhancer for Urban Scene Reconstruction
Waabi;University of Toronto(多伦多大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出GenRe,一种基于扩散的通用增强器,用于城市场景重建,通过学习不同场景中的生成先验,高效地生成稳健且高保真的表示,能够可靠地泛化到挑战性的未见过的视角,从而在自动驾驶中实现鲁棒和可扩展的传感器模拟。
2026-05-21 cs.AI cs.CV cs.RO
TexTailor: Customized Text-aligned Texturing via Effective Resampling
KAIST Daejeon, South Korea(韩国庆北国立大学)
针对现有文本转纹理方法存在的视点间纹理偏移、一致性差等问题,提出TexTailor方法,通过重采样整合纹理信息、微调模型并自适应调整相机位置,在相关数据集上实现了更优的视角一致纹理合成效果。
2025-06-12 cs.AI cs.CV
CRAFT: Video Diffusion for Bimanual Robot Data Generation
University of Southern California(南加州大学)
CRAFT通过视频扩散生成双臂机器人演示数据,利用边缘结构线索提升生成多样性与鲁棒性,提升多视角任务的泛化能力。
2026-04-04 cs.AI cs.CV cs.LG
Diffuman4D: 4D Consistent Human View Synthesis from Sparse-View Videos with Spatio-Temporal Diffusion Models
Zhejiang University(浙江大学);Ant Research(蚂蚁研究院)
本文提出Diffuman4D方法,通过滑动迭代去噪过程增强4D扩散模型的时空一致性,在稀疏视角视频输入下实现高质量且一致的人体新视角视频合成,并在DNA-Rendering和ActorsHQ数据集上显著优于现有方法。
2025-07-17 cs.CV
GA-Drive: Geometry-Appearance Decoupled Modeling for Free-viewpoint Driving Scene Generation
MMLab, CUHK(CUHK的MMLab);CASIA;Shanghai Jiaotong University(上海交通大学);SenseTime Research(商汤科技研究院)
GA-Drive通过几何-外观解耦和扩散生成技术,生成可编辑的高保真驾驶场景,提升自动驾驶训练和评估的效率与效果。
2026-03-13 cs.CV
Text-guided High-definition Consistency Texture Model
Midea AIIC(美的人工智能研究院)
提出高清一致性纹理模型(HCTM),利用预训练深度到图像扩散模型、参数高效微调与多扩散策略,实现文本引导的三维网格高清且一致的纹理生成。
2023-05-10 cs.AI cs.CV
CAT3D: Create Anything in 3D with Multi-View Diffusion Models
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
针对传统三维重建需采集大量图像的问题,提出CAT3D方法,通过多视图扩散模型模拟采集过程生成一致新视图,结合重建技术实现快速高质量三维场景创建,性能优于现有方法。
2024-05-16 cs.CV
Improving Viewpoint Consistency in 3D Generation via Structure Feature and CLIP Guidance
The Australian National University(澳大利亚国立大学);CSIRO;The University of Hong Kong(香港大学)
本文提出免微调的Attention and CLIP Guidance (ACG)机制,通过自适应控制交叉注意力图、利用CLIP相似度过滤错误视点及由粗到细优化策略,有效解决了文本到3D生成中的Janus Problem,且不牺牲生成速度。
2025-08-14 cs.CV
D-CODA: Diffusion for Coordinated Dual-Arm Data Augmentation
Department of Computer Science, University of Southern California(计算机科学系,南加州大学)
本文提出D-CODA,利用扩散模型为眼在手上双手模仿学习生成视角一致的双臂腕部图像及关节动作标签,并通过约束优化保证接触约束,在仿真与真实任务中验证了其优于基线方法。
2025-08-16 cs.AI cs.CV cs.LG
ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs
Huawei Noah’s Ark Lab(华为诺亚实验室);Queen Mary University of London(伦敦大学女王学院)
ViDAR利用个性化扩散模型生成伪多视角监督,训练高斯溅射表示,实现单目视频的4D重建,在DyCheck基准上超越现有方法。
2025-06-23 cs.CV
TANGLED: Generating 3D Hair Strands from Images with Arbitrary Styles and Viewpoints
ShanghaiTech University(上海科技大学);Deemos Technology(Deemos科技公司);Huazhong University of Science and Technology(华中科技大学)
针对现有方法难以处理多样风格发型的问题,提出TANGLED方法,通过MultiHair数据集、多视图线条画条件扩散框架及辫子约束后处理模块,实现从任意风格和视角图像生成3D发丝,提升模型泛化性与应用价值。
2025-02-10 cs.CV cs.GR
Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation
Purdue University(普渡大学);TTI-Chicago(丰田工业大学芝加哥分校)
扩散模型学习预测梯度的矢量场。我们建议在学习的梯度上应用链式规则,并通过可微分渲染器的雅可比矩阵反向传播扩散模型的分数,我们将其实例化为体素辐射场。此设置将多个相机视点处的2D分数聚合为3D分数,并将预训练的2D模型重新用于3D数据生成。我们确定了这个应用中出现的分布不匹配的技术挑战,并提出了一种新的估计机制来解决它。我们在几个现成的扩散图像生成模型上运行我们的算法,包括最近发布的在大规模LAION数据集上训练的稳定扩散。
2022-12-01 cs.CV cs.LG
ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation
University of Freiburg(弗赖堡大学);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);Technical University of Munich(慕尼黑技术大学);Huawei Heisenberg Research Center (Munich)(华为海森堡研究中心(慕尼黑))
ConfCtrl通过置信度感知插值实现视频扩散中的精确相机控制,解决大视角变化下新视角生成问题,提升几何一致性与视觉合理性。
2026-03-10 cs.CV
Human4DiT: 360-degree Human Video Generation with 4D Diffusion Transformer
Tsinghua University(清华大学)
提出Human4DiT框架,结合扩散Transformer和CNN,通过分层4D Transformer架构从单张图像生成360度时空连贯的人体视频,克服了复杂运动和视角变化下的泛化难题。
2024-09-23 cs.CV
Towards 3D-Aware Video Diffusion Models: Render-Free Human Motion Control with Mesh Tokenization
DAMO Academy, Alibaba Group(阿里巴巴集团大模型实验室);Hupan Lab(虎盘实验室);Zhejiang University(浙江大学);INSAIT
提出一种无渲染框架,通过压缩的3D人体网格标记直接条件化视频生成,实现精确的人体运动控制,减少2D引导伪影并提升3D结构建模能力。
2026-06-01 cs.AI cs.CV eess.IV
Structural Energy Guidance for View-Consistent Text-to-3D Generation
Australian National University(澳大利亚国立大学);CSIRO(澳大利亚国家科学委员会);The University of Hong Kong(香港大学)
本文针对基于扩散模型的文本到3D生成中视图不一致问题,提出无需训练的SEGS框架,通过在U-Net特征的PCA子空间中构建结构能量并注入去噪过程,提升多视图一致性,实验表明有效降低Janus率并提升视图一致性评分。
2026-06-16 cs.CV
StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models
Zhejiang University(浙江大学);Li Auto Inc.(Li汽车公司);Cornell University(康奈尔大学)
针对自动驾驶场景视图合成中视角偏离训练轨迹时性能下降的问题,提出可控视频扩散模型StreetCrafter,以LiDAR点云渲染为像素级条件,实现精确相机控制、像素级编辑及实时渲染,在Waymo和PandaSet上优于现有方法。
2025-08-26 cs.CV
DiffS-NOCS: 3D Point Cloud Reconstruction through Coloring Sketches to NOCS Maps Using Diffusion Models
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Zhongguancun Academy(中关村学院);Beijing Normal University(北京师范大学)
本文提出DiffS-NOCS,利用扩散模型和ControlNet将草图转换为多视图NOCS图,并通过特征级多视图聚合提升三维一致性,实现可控且细粒度的三维点云重建。
2025-08-23 cs.CV
GeoFace: Consistent Multi-View Face Generation with Geometry-Constrained Diffusion
KAIST AI(韩国科学技术院人工智能研究所)
提出GeoFace,一种几何约束的多视角扩散框架,通过外观与几何流的共享注意力层和几何引导注意力对齐损失,实现从单张输入生成一致的多视角人脸图像和3D几何,显著提升跨视角几何一致性。
2026-06-29 cs.CV
SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints
Kuaishou Technology(快手科技);Tsinghua University(清华大学);CUHK(香港中文大学);Zhejiang University(浙江大学)
针对多视角视频动态一致性需求,提出即插即用的SynCamMaster模块与混合训练方案,增强预训练文生视频模型的多摄像机生成能力,还发布了SynCamVideo-Dataset数据集。
2024-12-10 cs.CV
Light Field Diffusion for Single-View Novel View Synthesis
University of California, Irvine(加利福尼亚大学欧文分校)
针对单视角新视角合成中现有扩散方法视角一致性差的问题,提出光场扩散方法,通过光场编码施加逐像素局部约束,实现高保真且3D一致性更强的合成效果,具备优异的零样本泛化能力。
2024-03-12 cs.CV
CameraCtrl II: Dynamic Scene Exploration via Camera-controlled Video Diffusion Models
The Chinese University of Hong Kong(香港中文大学);ByteDance Seed(字节跳动 Seed);Stanford University(斯坦福大学)
针对相机条件视频生成在大幅运动下动态减弱、视角受限的问题,本文提出 CameraCtrl II,通过动态训练数据、轻量相机注入与迭代轨迹生成,实现更广范围的可控动态场景探索。
2025-03-13 cs.CV
AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model
AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model(AnyRecon:任意视角3D重建与视频扩散模型)
AnyRecon通过视频扩散模型实现任意视角3D重建,保留显式几何控制并支持灵活条件设置,通过全局场景记忆和几何感知条件策略提升大场景重建效率与鲁棒性。
2026-04-21 cs.CV
EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh
Pico, Bytedance(字节跳动)
本文提出EX-4D框架,利用深度水密网格表示结合模拟掩码训练策略和LoRA视频扩散适配器,解决了极端视角下从单目输入生成高质量相机可控4D视频的几何一致性与遮挡问题。
2025-06-05 cs.CV
A Mathematical Introduction to Diffusion Models
Duke University(杜克大学)
从采样视角出发,以证明为导向介绍扩散模型,涵盖经典采样动力学到现代扩散采样器、误差分析及推理时控制。
2026-07-03 cs.LG math.PR
Detection-Driven Object Count Optimization for Text-to-Image Diffusion Models
Tel-Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学)
本文提出检测驱动的目标数量优化框架,利用预训练计数模型与目标检测器引导文本到图像生成,通过计数token优化、检测驱动缩放校正和参数复用,实现高效、灵活且准确的目标数量控制。
2025-06-05 cs.AI cs.CV cs.GR
MV-Performer: Taming Video Diffusion Model for Faithful and Synchronized Multi-view Performer Synthesis
Great Bay University(大亚湾大学);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院);Guangdong Provincial Key Laboratory of Future Networks of Intelligence(广东省未来网络智能化重点实验室)
MV-Performer利用相机相关法线图和融合多视角信息的视频扩散模型,从单目全身捕捉实现同步360度新视角视频合成,在三个数据集上达到最先进性能。
2025-10-08 cs.CV
MVP4D: Multi-View Portrait Video Diffusion for Animatable 4D Avatars
University of Toronto(多伦多大学);Vector Institute(向量研究所);Vector Institute Canada(加拿大向量研究所);University of Toronto Canada(多伦多大学加拿大)
本文提出MVP4D,一种基于预训练视频扩散模型的多视角视频生成方法,从单张参考图像生成360度可动画化4D化身,显著提升真实感、时间与3D一致性。
2025-10-14 cs.AI cs.CV cs.GR
MD-ProjTex: Texturing 3D Shapes with Multi-Diffusion Projection
Bilkent University(比尔肯特大学);Adobe(奥多比公司)
MD-ProjTex利用预训练扩散模型,通过UV空间多视角一致性机制融合噪声预测并联合更新去噪方向,实现了快速且3D一致的文本引导纹理生成,计算效率与结果质量均优于现有方法。
2025-04-03 cs.CV
Towards Multi-View Consistent Style Transfer with One-Step Diffusion via Vision Conditioning
The Hong Kong Polytechnic University(香港理工大学)
提出基于预训练单步扩散模型(SD-Turbo)的3D场景多视角风格迁移方法OSDiffST,通过引入视觉条件模块提取风格信息、采用LoRA适配及特定损失函数,实现了无需3D信息即可保持结构完整性和多视角一致性的高质量风格化图像合成。
2024-11-15 cs.CV
Farm3D: Learning Articulated 3D Animals by Distilling 2D Diffusion
University of Oxford(牛津大学);Visual Geometry Group(视觉几何组)
本研究提出Farm3D方法,利用Stable Diffusion生成合成训练数据并将扩散模型作为分数监督,从零学习关节式物体的单目3D重建网络,可快速从单张图像输出可控3D资产,兼顾分析与合成应用。
2024-05-14 cs.CV
Generalised Scale-Space Properties for Probabilistic Diffusion Models
Saarland University(萨尔兰大学)
本文从尺度空间研究视角分析概率扩散模型,证明其在演化概率分布上满足广义尺度空间性质,并探讨漂移-扩散在深度学习与模型驱动解释中的异同及其与渗透滤波器的关系。
2023-09-18 cs.LG eess.IV
Diffusion-Based Attention Warping for Consistent 3D Scene Editing
Tel-Aviv University(特拉维夫大学)
本研究提出一种基于扩散模型的3D场景编辑方法,通过单参考图注意力特征结合高斯溅射深度几何对齐实现多视角特征扭曲,保障编辑的视图一致性与真实感,显著提升3D场景编辑能力。
2024-12-10 cs.CV
MFR-Net: Multi-faceted Responsive Listening Head Generation via Denoising Diffusion Model
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
提出MFR-Net,利用去噪扩散模型生成多样化倾听头部视频,通过特征聚合保持身份并融合说话者特征,实现态度与观点表达的多方面响应。
2023-08-31 cs.CV
MosaicDiff: Training-free Structural Pruning for Diffusion Model Acceleration Reflecting Pretraining Dynamics
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出MosaicDiff框架,通过轨迹感知的结构化剪枝,根据扩散预训练各阶段学习速度自适应调整剪枝力度,实现免训练加速,在DiT和SDXL上大幅提升采样速度且不损质量。
2025-10-13 cs.CV cs.LG
Video Diffusion Models Excel at Tracking Similar-Looking Objects Without Supervision
KAIST(韩国科学技术院);Rutgers University(罗格斯大学)
本文提出利用预训练视频扩散模型的运动表示能力,实现无监督环境下对视觉相似对象的高效追踪,提升了追踪性能并克服了现有方法的局限。
2025-12-02 cs.AI cs.CV
Domain Guidance: A Simple Transfer Approach for a Pre-trained Diffusion Model
BNRist(北京信息科学与技术国家研究中心)
本文提出Domain Guidance,一种简单的扩散模型迁移方法,利用预训练知识引导采样至目标域,无需额外训练即可显著提升生成质量。
2025-04-02 cs.AI cs.CV cs.LG
Text2Tex: Text-driven Texture Synthesis via Diffusion Models
Technical University of Munich(慕尼黑工业大学);Snap Research(Snap研究院)
我们提出了Text2Tex,一种新的方法,从给定的文本提示生成高质量的纹理的三维网格。我们的方法将修复技术结合到一个预先训练的深度感知图像扩散模型中,从多个视点逐步合成高分辨率的部分纹理。为了避免在视图之间积累不一致和拉伸的伪影,我们动态地将渲染视图分割成一个生成掩码,该掩码表示每个可见纹素的生成状态。该分区视图表示引导深度感知修复模型生成和更新对应区域的部分纹理。此外,我们提出了一个自动视图序列生成方案,以确定下一个最佳的视图更新的部分纹理。大量的实验表明,我们的方法显着优于现有的文本驱动的方法和基于GAN的方法。
2023-03-20 cs.CV
Consistent View Synthesis with Pose-Guided Diffusion Models
Meta;University of Maryland, College Park(马里兰大学帕克分校)
针对单图像新视图合成在显著相机运动下难以保持一致性的问题,提出一种姿态引导扩散模型,利用对极线约束的注意力层关联视点,生成一致长期视频,效果优于现有transformer和GAN方法。
2023-03-30 cs.CV
MultiGen: Level-Design for Editable Multiplayer Worlds in Diffusion Game Engines
Stanford University(斯坦福大学);Google(谷歌)
本文提出MultiGen,通过引入显式外部内存模块,实现可编辑多人世界中的环境控制与共享推理,提升交互性和一致性。
2026-03-30 cs.AI cs.CV cs.GR
Diffusion Models Generate Images Like Painters: an Analytical Theory of Outline First, Details Later
Kempner Institute(肯普纳研究所);Harvard University(哈佛大学);Harvard Medical School(哈佛医学院)
本文分析了扩散模型逆向生成过程,发现其具有低维轨迹、先轮廓后细节及早期扰动影响大的特性,通过推导高斯分布下概率流 ODE 的闭式解予以理论解释,并揭示了其与 GAN 生成及图像检索的联系。
2024-03-26 cs.AI cs.CV cs.GR
Track the Noise, Move the World:3D-Grounded Motion-Consistent Noise for Controllable Video Generation
Qualcomm AI Research(高通人工智能研究中心);Trinity College Dublin(都柏林三一学院)
研究如何在视频生成中实现对物体和相机运动的精确统一控制。核心方法是构建统一框架UniCaMo,直接构造扩散模型输入噪声。主要贡献是在视频质量和运动可控性上取得先进成果,且无需对基础模型做大改动。
2026-07-07 cs.CV cs.GR
AmbiGen: Generating Ambigrams from Pre-trained Diffusion Model
Purdue University(普渡大学);University of Chicago(芝加哥大学)
本文提出 AmbiGen,通过蒸馏预训练扩散模型 DeepFloyd IF 优化字母轮廓,在两种观看方向下生成可读的双面字,并在常用词上显著提升准确率并降低编辑距离。
2023-12-05 cs.CV
A Tutorial on Diffusion Theory: From Differential Equations to Diffusion Models
本教程从微分方程角度统一阐述扩散模型的数学基础,推导ODE和SDE表示,解释分数匹配和去噪目标,并涵盖DDPM、DDIM、流匹配和扩散语言模型。
2026-05-27 cs.CL cs.LG
Geometry-Aware Diffusion Models for Multiview Scene Inpainting
York University(约克大学);Vector Institute for AI(Vector人工智能研究院);Samsung AI Centre Toronto(三星多伦多人工智能中心);Google DeepMind(谷歌DeepMind)
本文提出一种几何感知条件生成模型,通过学习空间中的跨视角信息融合实现多视角一致的三维场景修复,尤其在少视角条件下优于现有基于辐射场的方法。
2025-03-10 cs.CV
HomeDiffusion: Zero-Shot Object Customization with Multi-View Representation Learning for Indoor Scenes
Alibaba Group(阿里巴巴集团)
针对零样本对象定制中细节失真和姿态不协调问题,提出HomeDiffusion,利用多视角图像和扩散模型,在指定区域生成与背景和谐的对象,并通过交叉注意力保持细节。
2026-06-29 cs.CV
Diffusion Models are Geometry Critics: Single Image 3D Editing Using Pre-Trained Diffusion Priors
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
本研究提出一种基于预训练扩散模型的单图像3D编辑技术,通过迭代新视图合成与几何对齐算法,利用扩散模型的外观先验与几何评判功能,实现大视角变换下的高质量3D感知编辑,提升开放域泛化能力。
2024-07-13 cs.CV