Generative Gaussian Splatting: Generating 3D Scenes with Video Diffusion Priors
Meta Reality Labs(元宇宙实验室)
本文提出GGS,将3D高斯特征场与预训练潜在视频扩散模型结合,用于生成多视图一致的照片级3D场景,并在RealEstate10K和ScanNet+上显著优于基线。
2025-03-17 cs.CV
PDF: Point Diffusion Implicit Function for Large-scale Scene Neural Representation
Fudan University(复旦大学);Tencent PCG(腾讯平台与内容事业群)
本文提出点扩散隐式函数PDF,通过大规模点云超分辨率扩散模块将稀疏点云增强为稠密表面先验,缩小采样空间至场景表面,并结合Mip-NeRF 360区域采样建模背景,在大规模场景新视角合成中优于现有方法。
2023-11-03 cs.CV
ConFixGS: Learning to Fix Feedforward 3D Gaussian Splatting with Confidence-Aware Diffusion Priors in Driving Scenes
University of California, Los Angeles(加州大学洛杉矶分校);University of Cambridge(剑桥大学);Technical University of Munich(慕尼黑技术大学)
本文提出ConFixGS,通过置信度感知扩散先验学习修复馈送式3D高斯点溅射,提升稀疏视角驾驶场景中新型视角合成的鲁棒性,实验显示PSNR提升3.68dB,FID降低近一半。
2026-05-10 cs.CV
AniGS: Bridging Rendering and Diffusion Prior for 3D Scene Animation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Waymo(Waymo公司);Carnegie Mellon University(卡内基梅隆大学);Meta
AniGS旨在为3DGS重建的大型场景添加动画,用规范3DGS表示场景,借时间条件变形场建模运动,利用预训练视频扩散模型及迭代更新策略,防止静态区域运动伪影,实验证明该方法能产生自然动态和高质量新视图视频。
2026-11-04 cs.CV
Taming Video Diffusion Prior with Scene-Grounding Guidance for 3D Gaussian Splatting from Sparse Inputs
The Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对稀疏输入下3D高斯泼溅中的外推与遮挡问题,本文提出利用视频扩散先验进行生成式重建,并引入无需训练的场景锚定引导来保证生成序列一致性,同时设计轨迹初始化和优化方案,在多个基准上取得最先进性能。
2025-03-07 cs.CV
GaussVideoDreamer: 3D Scene Generation with Video Diffusion and Inconsistency-Aware Gaussian Splatting
Peking University(北京大学)
针对单图像3D场景重建的不适定性和现有方法的泛化或一致性问题,提出GaussVideoDreamer,通过渐进式视频补绘和不一致感知高斯溅射,实现更高质量、更快速度的3D场景生成,性能优于现有方法。
2025-04-16 cs.CV
DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models
Niantic
针对NeRF在少视角训练下约束不足易产生伪影的问题,提出DiffusioNeRF,用在Hypersim数据集训练的去噪扩散模型学习场景先验来正则化NeRF,在LLFF和DTU数据集上均提升了重建质量与新视角泛化能力。
2023-11-08 cs.CV
RGE-GS: Reward-Guided Expansive Driving Scene Reconstruction via Diffusion Priors
Unmanned Vehicle Dept., CaiNiao Inc., Alibaba Group(无人车辆部,菜鸟公司,阿里巴巴集团);Zhejiang University(浙江大学);BNRist, Tsinghua University(BNRist,清华大学)
针对驾驶场景单次扫描不完整及扩散先验扩展3DGS导致的物理不一致与效率问题,提出RGE-GS奖励引导框架,通过奖励筛选和差异化高斯训练实现SOTA扩展重建。
2025-07-25 cs.CV
Gaussian Scenes: Pose-Free Sparse-View Scene Reconstruction using Depth-Enhanced Diffusion Priors
CCVL, Johns Hopkins University(CCVL,约翰霍普金斯大学)
本文提出一种基于深度增强扩散先验的生成式方法,实现无相机姿态的稀疏视图360度场景重建,通过FiLM条件与置信度度量提升质量,在基准上超越现有无姿态方法并媲美有姿态方法。
2025-10-10 cs.CV
Dream-to-Recon: Monocular 3D Reconstruction with Diffusion-Depth Distillation from Single Images
Technical University of Munich(慕尼黑技术大学);MCML;SE3 Labs(SE3实验室)
本文提出Dream-to-Recon方法,利用预训练二维扩散模型和深度预测模型从单张图像生成合成几何,蒸馏前馈重建模型,在KITTI-360和Waymo数据集上达到或超越多视图监督方法,尤其擅长动态场景。
2025-08-04 cs.CV
VDEGaussian: Video Diffusion Enhanced 4D Gaussian Splatting for Dynamic Urban Scenes Modeling
Harbin Institute of Technology(哈尔滨工业大学)
本文提出一种结合视频扩散的4D高斯点云方法,解决动态场景建模中快速移动物体建模难题,通过时间一致性先验和不确定性蒸馏提升新型视角合成效果。
2026-05-08 cs.CV
RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation
University of Edinburgh(爱丁堡大学);Adobe Research(奥多比研究院);University of Glasgow(格拉斯哥大学);UCL(伦敦大学学院)
本文提出RenderDiffusion,首个仅用单目二维监督的三维扩散模型,通过在去噪过程中生成并渲染中间三维表示实现三维生成与推断,并支持二维修复编辑三维场景。
2024-02-20 cs.CV cs.LG
Dynamic-eDiTor: Training-Free Text-Driven 4D Scene Editing with Multimodal Diffusion Transformer
Purdue University(普渡大学);Korea University(韩国大学)
Dynamic-eDiTor通过多模态扩散变换器和4DGS实现无训练文本驱动的4D场景编辑,提升多视图和时间一致性。
2025-11-30 cs.AI cs.CV
SemLayoutDiff: Semantic Layout Generation with Diffusion Model for Indoor Scene Synthesis
Simon Fraser University(西蒙弗雷泽大学);CMU(卡内基梅隆大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔人工智能研究所)
SemLayoutDiff提出一种结合语义图与分类扩散模型的统一框架,实现多房间类型下受建筑约束的多样化3D室内场景合成,并在3D-FRONT数据集上超越现有方法。
2025-09-06 cs.CV cs.GR
Human-Aware 3D Scene Generation with Spatially-constrained Diffusion Models
Wuhan University(武汉大学);Hedra;JD Explore Academy(京东探索研究院)
针对从人体运动生成三维场景时物体重叠的问题,提出基于扩散模型的方法,引入两种空间碰撞引导机制,并自动化增强数据集,显著减少碰撞,生成更自然合理的场景。
2024-08-20 cs.CV cs.GR
Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation
NVIDIA;University of Toronto(多伦多大学);Vector Institute(向量研究所);Simon Fraser University(西蒙弗雷泽大学)
本文提出Lyra自蒸馏框架,通过将视频扩散模型的隐式3D知识蒸馏到显式3DGS表示中,无需多视角数据即可从文本或单图生成静态及动态3D场景,并达到最先进性能。
2025-09-23 cs.CV cs.GR
Bokeh Diffusion: Defocus Blur Control in Text-to-Image Diffusion Models
S-Lab, Nanyang Technological University(S实验室,南洋理工大学)
提出Bokeh Diffusion框架,通过物理散焦模糊参数条件化扩散模型,结合混合训练流程和接地自注意力机制,实现场景一致的散景模糊控制,支持双向模糊强度调整和真实图像编辑。
2026-06-05 cs.CV cs.GR
L3DG: Latent 3D Gaussian Diffusion
Technical University of Munich(慕尼黑工业大学);Meta Reality Labs Zurich(元现实实验室苏黎世分部)
本文提出L3DG,首次通过潜在三维高斯扩散实现三维高斯生成建模,利用VQ-VAE压缩潜在空间和稀疏卷积降低扩散复杂度,在提升物体级生成质量的同时支持房间规模场景生成与实时渲染。
2024-10-17 cs.CV cs.GR
HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
针对现有文本驱动3D场景生成中基于外绘方法导致的全局不一致和完整度低的问题,提出HoloDreamer框架,通过生成高清全景图作为整体初始化并结合3D Gaussian Splatting快速重建,实现了视觉一致且完全封闭的高质量3D场景生成。
2024-07-21 cs.CV cs.GR
3D Scene Diffusion Guidance using Scene Graphs
Technical University of Munich(慕尼黑工业大学)
本文提出利用场景图引导三维场景扩散生成,通过在去噪网络中引入关系图卷积模块建模对象间空间关系,从而显著提升生成场景与文本描述的一致性。
2023-08-08 cs.CV
Diffusion Probabilistic Models for Scene-Scale 3D Categorical Data
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
在本文中,我们学习了一个扩散模型来生成场景尺度的3D数据。具体来说,我们的模型工艺品由多个对象组成的3D场景,而最近的扩散研究集中在一个单一的对象。为了实现我们的目标,我们用离散的类标签表示场景,即,分类分布,将多个对象分配到语义类别中。因此,我们扩展离散扩散模型来学习场景尺度的分类分布。此外,我们验证了一个潜空间扩散模型,可以减少训练和部署的计算成本。据我们所知,我们的工作是第一个应用离散和潜在扩散的三维分类数据的场景规模。我们进一步建议通过使用我们的扩散模型学习条件分布来执行语义场景完成(SSC),其中条件是稀疏点云中的部分观察。在实验中,我们的经验表明,我们的扩散模型不仅产生合理的场景,但也执行场景完成任务比判别模型。我们的代码和模型可在https://github.com/zoomin-lee/scene-scale-diffusion上获得
2023-01-02 cs.CV
SceneFactor: Factored Latent 3D Diffusion for Controllable 3D Scene Generation
Technical University of Munich(慕尼黑工业大学);Carnegie Mellon University(卡内基梅隆大学)
提出SceneFactor因子化潜空间3D扩散框架,利用语义与几何流形实现文本引导的任意规模场景生成,并通过语义3D框代理空间支持直观、局部且高保真一致的可控编辑。
2024-12-03 cs.CV
DiffusionSTR: Diffusion Model for Scene Text Recognition
FA Research, Fast Accounting Co., Ltd.(快速会计有限公司FA研究院)
本文提出DiffusionSTR,首次将扩散模型应用于场景文本识别,将其视为图像条件下的文本到文本任务,在公开数据集上取得了具竞争力的准确率。
2023-06-29 cs.CV
SemCity: Semantic Scene Generation with Triplane Diffusion
KAIST(韩国科学技术院);Neosapience, Inc.(Neosapience公司)
提出SemCity,一个基于三平面扩散的3D模型,用于真实户外场景生成,支持场景修复、外扩和语义补全细化,在SemanticKITTI上验证有效。
2024-03-17 cs.CV
DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion
HKUST(香港科技大学);Tsinghua University(清华大学)
DimensionX提出基于可控视频扩散的框架,通过解耦空间与时间因素,从单张图像生成逼真的3D和4D场景,并引入轨迹感知与身份保持策略,实验证明优于现有方法。
2024-11-07 cs.AI cs.CV cs.GR
Compositional 3D Scene Generation using Locally Conditioned Diffusion
Stanford University(斯坦福大学)
设计复杂的3D场景一直是一个繁琐的手动过程,需要领域专业知识。新兴的文本到3D生成模型显示出很大的希望,使这项任务更直观,但现有的方法仅限于对象级的生成。我们引入\textbf{locally conditioned diffusion}作为一种方法组成的场景扩散,使用文本提示和边界框提供对语义部分的控制,同时确保这些部分之间的无缝过渡。我们展示了一个分数蒸馏采样-基于文本到3D合成管道,使组成的3D场景生成在更高的保真度比相关的基线。
2023-03-23 cs.CV
Diffusion-based Generation, Optimization, and Planning in 3D Scenes
National Key Laboratory of General Artificial Intelligence, BIGAI(北京通用人工智能研究院通用人工智能国家重点实验室);Tsinghua University(清华大学);Peking University(北京大学);Beijing Institute of Technology(北京理工大学)
介绍了一种用于三维场景理解的条件生成模型SceneDiffuser。SceneDiffuser为解决场景条件生成、优化和规划提供了一个统一的模型。与以前的作品相比,SceneDiffuser本质上是场景感知的,基于物理的,面向目标的。通过迭代采样策略,SceneDiffuser以完全可区分的方式通过基于扩散的去噪过程联合制定场景感知生成、基于物理的优化和面向目标的规划。这样的设计消除了不同模块之间的差异和先前场景条件生成模型的后崩溃。我们评估SceneDiffuser与各种3D场景理解任务,包括人体姿势和运动生成,灵巧把握生成,3D导航的路径规划,和机器人手臂的运动规划。结果表明,与以前的模型相比,显着的改进,展示了巨大的潜力,SceneDiffuser为广大社区的三维场景理解。
2023-01-15 cs.CV
DiffuScene: Denoising Diffusion Models for Generative Indoor Scene Synthesis
Technical University of Munich(慕尼黑工业大学);Sony Europe RDC Stuttgart(索尼欧洲研发中心斯图加特分部);Technical University of Darmstadt(达姆施塔特工业大学)
本研究提出DiffuScene扩散模型,通过无序对象属性去噪生成3D室内场景,支持场景补全等多种应用,在3D-FRONT数据集上表现优于现有最优方法。
2024-03-12 cs.CV
Scaling Diffusion Models to Real-World 3D LiDAR Scene Completion
Center for Robotics, University of Bonn(波恩大学机器人中心);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出将扩散模型直接应用于3D点云以实现真实世界场景补全,通过重新表述扩散过程并提出正则化损失稳定去噪,在单次LiDAR扫描输入下生成比现有方法更详细的完整场景。
2024-03-20 cs.CV
Move Anything with Layered Scene Diffusion
Meta AI;Nanyang Technological University(南洋理工大学)
针对扩散模型难以自由调整图像布局的问题,提出无需训练的SceneDiffusion方法,通过扩散采样中优化分层场景表示、联合去噪不同布局渲染实现空间解耦,支持多种空间与分层编辑,还可处理真实图像,响应不到1秒。
2024-04-10 cs.CV
SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors
Technical University of Munich(慕尼黑工业大学);Snap Research(Snap研究院)
SceneTex提出一种基于深度到图像扩散先验的室内场景纹理合成方法,通过多分辨率纹理场和交叉注意力解码器在RGB空间中优化生成高质量且风格一致的纹理,在3D-FRONT场景上显著优于已有方法。
2023-11-28 cs.CV
Coherent 3D Scene Diffusion From a Single RGB Image
Technical University of Munich(慕尼黑工业大学);Meta Reality Labs(元宇宙现实实验室)
该研究提出一种基于图像条件3D场景扩散的单RGB图像相干3D重建方法,通过联合建模物体关系、引入表面对齐损失解决标注不足问题,在SUN RGB-D和Pix3D基准上性能显著优于现有方法。
2024-12-13 cs.CV
Enhancing Monocular 3D Scene Completion with Diffusion Model
Australian National University(澳大利亚国立大学)
提出 FlashDreamer,利用预训练视觉语言模型生成提示并引导扩散模型从单张图像生成多视角图像,融合实现无需训练的单目 3D 场景完整重建。
2025-03-02 cs.AI cs.CV cs.GR
Adverse Weather Conditions Augmentation of LiDAR Scenes with Latent Diffusion Models
University of Wuppertal(乌珀塔尔大学);Aptiv Services Deutschland GmbH(Aptiv Services德国公司)
本文提出基于潜在扩散模型的方法,通过生成模型增强激光雷达场景在恶劣天气下的真实性,提升自动驾驶系统的鲁棒性。
2025-01-03 cs.CV
Pyramid Diffusion for Fine 3D Large Scene Generation
Southwest Jiaotong University(西南交通大学);University of Leeds(利兹大学);City University of Hong Kong(香港城市大学);NVIDIA(英伟达);The University of California, Merced(加州大学默塞德分校);Yonsei University(延世大学)
本文提出金字塔离散扩散模型(PDD),利用尺度变化的扩散模型逐步生成高质量大规模三维室外场景,支持无条件与有条件生成,并具备跨数据集微调的兼容性。
2024-07-18 cs.CV
DiffSF: Diffusion Models for Scene Flow Estimation
Linköping University(林雪平大学)
场景流估计是各种现实世界应用的重要组成部分,特别是对于自主智能体,例如自动驾驶汽车和机器人。虽然最近的场景流估计方法实现了合理的精度,但它们对现实世界系统的适用性还受益于可靠性措施。为了提高准确性,同时还提供了一个估计的不确定性,我们提出了DiffSF,结合基于变换的场景流估计与去噪扩散模型。在扩散过程中,通过加入高斯噪声,地面真实场景流矢量场逐渐扰动。在反向过程中,从随机采样的高斯噪声开始,通过调节源和目标点云来恢复场景流矢量场预测。我们表明,扩散过程大大增加了预测的鲁棒性相比,现有的方法,导致在标准场景流量估计基准的最先进的性能。此外,通过使用不同的初始状态进行多次采样,去噪过程可以预测多个假设,这使得可以测量输出的不确定性,从而使我们的方法能够检测到大多数不准确的预测。该代码可在https://github.com/ZhangYushan3/DiffSF上获得。
2024-10-04 cs.CV
Layout2Scene: 3D Semantic Layout Guided Scene Generation via Geometry and Appearance Diffusion Priors
The Shenzhen Campus of Sun Yat-sen University, Sun Yat-sen University(中山大学深圳校区,中山大学);National University of Defense Technology(国防科技大学)
针对文本条件3D场景生成缺乏精确位置控制的问题,本文提出Layout2Scene,利用语义布局并结合两阶段几何与外观扩散先验优化,生成更逼真、可灵活精确编辑的3D场景。
2025-01-05 cs.CV
Diffusion Implicit Policy for Unpaired Scene-aware Motion Synthesis
本文提出扩散隐式策略DIP,通过解耦人-场景交互与运动合成,在推理中结合隐式策略优化和扩散去噪,实现无需配对数据的场景感知运动合成,并验证其在合成与真实场景中的优越性。
2025-11-10 cs.CV
ScenDi: 3D-to-2D Scene Diffusion Cascades for Urban Generation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);The University of British Columbia(不列颠哥伦比亚大学)
ScenDi通过整合3D和2D扩散模型,解决3D城市生成中外观细节与相机可控性的平衡问题,实现高质量场景生成。
2026-01-21 cs.CV
Contrastive Sequential-Diffusion Learning: Non-linear and Multi-Scene Instructional Video Synthesis
NOVA LINCS;NOVA School of Science and Technology(NOVA科技学院);Google Research(谷歌研究院)
针对多场景教学视频合成中非线性时序下的视觉一致性难题,提出对比序列视频扩散方法,通过选择适配的历史场景引导去噪,实验验证其在真实动作数据上的实用性与一致性提升。
2024-12-06 cs.CV
Diffusion-Based Attention Warping for Consistent 3D Scene Editing
Tel-Aviv University(特拉维夫大学)
本研究提出一种基于扩散模型的3D场景编辑方法,通过单参考图注意力特征结合高斯溅射深度几何对齐实现多视角特征扭曲,保障编辑的视图一致性与真实感,显著提升3D场景编辑能力。
2024-12-10 cs.CV
Scene Graph Conditioning in Latent Diffusion
Universität Ulm(乌尔姆大学)
针对扩散模型文本控制不足,提出基于场景图与ControlNet及门控自注意力的条件生成方法,显著提升图像生成质量。
2023-10-16 cs.CV
CommonScenes: Generating Commonsense 3D Indoor Scenes with Scene Graph Diffusion
Technical University of Munich(慕尼黑工业大学);Google(谷歌);Munich Center for Machine Learning(慕尼黑机器学习中心)
CommonScenes提出一种基于场景图扩散的完全生成模型,通过变分自编码器和潜在扩散双分支生成符合常识的可控3D室内场景,并构建SG-FRONT数据集,实验证明其在一致性、质量和多样性上优于现有方法。
2023-12-30 cs.CV
Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对现有扩散模型无法在单图场景中生成一致光照的真实感物体插入效果的问题,提出以个性化大扩散模型引导物理逆渲染,恢复光照与色调映射参数,实现真实感合成及材质、色调映射自动优化。
2024-08-19 cs.AI cs.CV cs.GR
Diffusion Distillation With Direct Preference Optimization For Efficient 3D LiDAR Scene Completion
Zhejiang University(浙江大学);Peking University(北京大学);Zhejiang Green Zhixing Technology co., ltd(浙江绿智行科技有限公司)
针对扩散模型在3D LiDAR场景补全中采样慢的问题,提出Distillation-DPO框架,通过生成不同初始噪声的补全场景、以评估指标构建偏好样本对并优化学生模型,实现补全速度超5倍提升且性能更优,为偏好对齐蒸馏提供新方法。
2025-04-16 cs.CV
Inpaint3D: 3D Scene Content Generation using 2D Inpainting Diffusion
Google Research(谷歌研究院);Stanford University(斯坦福大学)
提出Inpaint3D,将仅以单张带掩码2D图像为条件的2D扩散模型蒸馏到NeRF,结合SDS、重建损失和深度监督实现任意3D区域内容生成。
2023-12-06 cs.CV
EditSSC: Toward Editable Semantic Occupancy Scenes with Unconditional Diffusion Models
Inria(法国国家信息与自动化研究所);Valeo.ai(法雷奥人工智能实验室)
提出EditSSC方法,利用2D BEV表示和现成潜扩散网络实现3D语义场景生成与免训练编辑,在SemanticKITTI上优于现有3D专用基线。
2026-06-08 cs.CV
LT3SD: Latent Trees for 3D Scene Diffusion
Technical University of Munich(慕尼黑技术大学)
提出LT3SD潜在扩散模型,利用潜在树表示从粗到细编码3D场景的几何与细节,通过场景块训练实现任意尺寸大规模3D场景的高质量生成与概率补全。
2025-05-01 cs.AI cs.CV
LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts
Sun Yat-Sen University(中山大学);Jinan University(暨南大学);University of Oxford(牛津大学)
本文提出 LAW-Diffusion,通过空间依赖解析、跨对象注意力、自适应布局引导和潜在嫁接实现可控、和谐且可局部重构的复杂场景生成,并以 SRS 指标验证其达到最优效果。
2023-08-13 cs.CV
DiffDreamer: Towards Consistent Unsupervised Single-view Scene Extrapolation with Conditional Diffusion Models
Stanford University(斯坦福大学);ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems, Tübingen(图宾根马克斯·普朗克智能系统研究所);KU Leuven(鲁汶大学)
场景外推--通过飞入给定图像来生成新视图的想法--是一项有前途但具有挑战性的任务。对于每个预测帧,必须解决联合修复和3D细化问题,这是病态的,并且包括高水平的模糊性。此外,长距离场景的训练数据难以获得,并且通常缺乏足够的视图来推断准确的相机姿态。我们介绍了DiffDreamer,一个无监督的框架,能够合成新的视图描绘一个长的相机轨迹,同时只训练互联网收集的自然场景的图像。利用引导去噪步骤的随机性质,我们训练扩散模型以细化投影RGBD图像,但将去噪步骤限制在多个过去和未来帧上以进行推理。我们证明了图像条件扩散模型可以有效地执行长距离场景外推,同时保持一致性显着优于以前的基于GAN的方法。DiffDreamer是一个强大而高效的场景外推解决方案,尽管监督有限,但仍能产生令人印象深刻的结果。项目页面:https://primecai.github.io/diffdreamer。
2023-03-18 cs.CV
Mixed Diffusion for 3D Indoor Scene Synthesis
Massachusetts Institute of Technology(麻省理工学院);Google, Inc(谷歌公司);Technische Universität München(慕尼黑工业大学)
针对平面图条件下3D室内场景合成需同时处理离散类别与连续几何的难题,本文提出混合离散-连续扩散模型MiDiffusion,通过结构化破坏提升去噪效果,并在3D-FRONT上超越现有方法。
2024-12-09 cs.CV
NeuralField-LDM: Scene Generation with Hierarchical Latent Diffusion Models
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);University of Waterloo(滑铁卢大学);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心);LMU Munich(慕尼黑大学)
本文提出NeuralField-LDM,通过场景自动编码器、潜在自动编码器与分层潜在扩散模型构建3D场景生成流程,并在生成质量上显著超越现有方法。
2023-04-19 cs.CV
HouseCrafter: Lifting Floorplans to 3D Scenes with 2D Diffusion Model
Northeastern University(东北大学);Stability AI
HouseCrafter通过适配2D扩散模型自回归生成一致的RGB-D图像,将平面图提升为房屋尺度的高质量3D室内场景,并在3D-Front上验证了有效性。
2025-08-19 cs.CV
SynCity 3000: Bootstrapping Scene-Scale 3D Diffusion
Visual Geometry Group, University of Oxford(牛津大学视觉几何组)
针对3D场景训练数据稀缺问题,该框架将图像转3D生成器改造为卷积算子,依托新合成数据引擎微调,可生成全局连贯、支持细粒度布局控制的任意规模3D场景。
2026-07-07 cs.CV