Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes
Cornell Tech（康奈尔科技学院）；Adobe Research（Adobe研究院）
我们提出了一种方法来执行新的视图和时间合成的动态场景，只需要一个单目视频与已知的相机构成作为输入。为此，我们引入了神经场景流场，这是一种新的表示方法，它将动态场景建模为外观，几何形状和3D场景运动的时变连续函数。我们的表示是通过神经网络优化，以适应所观察到的输入视图。我们表明，我们的表示可用于复杂的动态场景，包括薄结构，视图相关的效果，和自然的运动程度。我们进行了大量的实验，证明我们的方法显着优于最近的单目视图合成方法，并显示在各种现实世界的视频时空视图合成的定性结果。
2021-04-21 cs.CV
Scene Designer: a Unified Model for Scene Search and Synthesis from Sketch
Universidade de São Paulo（圣保罗大学）；University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
场景设计器是一种新颖的方法，用于搜索和生成图像，使用场景组成的手绘草图;即描述对象的外观和相对位置的绘图。我们的核心贡献是一个单一的统一模型来学习跨模态搜索嵌入，用于将草图组合匹配到图像，以及用于布局合成的对象嵌入。我们表明，一个图神经网络（GNN），然后在我们的新的对比学习设置下的Transformer是必需的，以允许学习对象类型，外观和安排之间的相关性，驱动掩模生成模块，合成连贯的场景布局，同时也提供了最先进的草图为基础的视觉搜索场景。
2021-08-16 cs.CV
Human Motion Synthesis in 3D Scenes via Unified Scene Semantic Occupancy
针对三维场景人体运动合成忽略语义理解的问题，提出SSOMotion框架，通过统一场景语义占用（SSO）的双向三平面分解与CLIP编码降维提取细粒度语义，结合指令运动方向逐帧查询控制运动，在多数据集上验证了前沿性能与泛化能力。
2025-11-11 cs.CV
Diffusion Implicit Policy for Unpaired Scene-aware Motion Synthesis
本文提出扩散隐式策略DIP，通过解耦人-场景交互与运动合成，在推理中结合隐式策略优化和扩散去噪，实现无需配对数据的场景感知运动合成，并验证其在合成与真实场景中的优越性。
2025-11-10 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
Human Synthesis and Scene Compositing
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
生成具有控制外观、姿势和形状参数的能力的良好质量和几何上合理的人类合成图像对于从照片编辑、时尚虚拟试穿到特效和图像压缩的各种任务已经变得越来越重要。在本文中，我们提出了HUSC，一个人的合成和场景合成框架的现实合成的人与不同的外观，在新的姿势和场景。我们制定的核心是三维推理的人和场景，以产生逼真的拼贴画，通过正确建模的透视效果和遮挡，考虑到场景语义，并充分处理相对规模。从概念上讲，我们的框架由三个部分组成：（1）一个人的图像合成模型与可控的姿势和外观，基于参数表示，（2）一个人的插入过程，利用几何形状和语义的3D场景，和（3）外观合成过程中创建一个无缝的混合场景和生成的人的图像的颜色，并避免视觉伪影。我们的框架的性能得到了定性和定量结果的支持，特别是DeepFashion数据集的最先进的综合得分。
2019-10-18 cs.CV
wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured using sparse monocular data
University of Toronto（多伦多大学）
我们提出了一种新的神经辐射模型，是可训练的自监督的方式，新的动态非结构化场景的视图合成。我们的端到端可训练算法可在几秒钟内学习高度复杂的真实静态场景，并在几分钟内学习具有刚性和非刚性运动的动态场景。通过区分静态和以运动为中心的像素，我们从稀疏的图像集创建高质量的表示。我们对现有的基准进行了广泛的定性和定量评估，并在具有挑战性的NVIDIA动态场景数据集上设置了最先进的性能指标。此外，我们还评估了我们的模型在具有挑战性的现实世界数据集上的性能，如Cholec80和Surgicalpaths 160。
2022-09-20 cs.CV
RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing
School of Information Science and Engineering, Hunan University（信息科学与工程学院，湖南大学）
该研究提出RoomPilot框架，通过多模态语义解析实现可控的室内场景合成，解决了现有方法输入模态有限和生成过程隐式的问题，提高了场景结构和语义的可控性。
2026-05-19 cs.CV
SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors
Technical University of Munich（慕尼黑工业大学）；Snap Research（Snap研究院）
SceneTex提出一种基于深度到图像扩散先验的室内场景纹理合成方法，通过多分辨率纹理场和交叉注意力解码器在RGB空间中优化生成高质量且风格一致的纹理，在3D-FRONT场景上显著优于已有方法。
2023-11-28 cs.CV
Realistic Image Synthesis with Configurable 3D Scene Layouts
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
最近的条件图像合成方法提供高质量的合成图像。然而，精确地调整图像内容（诸如对象的位置和方向）仍然是具有挑战性的，并且合成的图像经常具有几何无效的内容。为了给用户提供丰富的可控性方面的合成图像的三维几何，我们提出了一种新的方法来逼真的图像合成的基础上可配置的三维场景布局。我们的方法将具有语义类标签的3D场景作为输入，并训练3D场景绘画网络，该网络为输入的3D场景合成颜色值。使用经过训练的绘画网络，可以渲染和操纵输入3D场景的逼真图像。为了训练没有3D颜色监督的绘画网络，我们开发了一种现成的2D语义图像合成方法。在实验中，我们表明，我们的方法产生的图像具有几何正确的结构，并支持几何操作，如改变的观点和对象构成以及操纵的绘画风格。
2021-08-24 cs.CV
InstructScene: Instruction-Driven 3D Indoor Scene Synthesis with Semantic Graph Prior
Peking University（北京大学）
针对三维室内场景合成中自然语言指令可控性不足的问题，提出InstructScene框架，结合语义图先验与布局解码器，提升生成可控性与保真度，并构建高质量数据集，实验大幅超越现有方法。
2024-02-07 cs.CV
RF4D:Neural Radar Fields for Novel View Synthesis in Outdoor Dynamic Scenes
Nanyang Technological University, Singapore（南洋理工大学，新加坡）
RF4D通过引入雷达特定的神经场框架，提升户外动态场景中新型视角合成的鲁棒性和准确性。
2026-03-12 cs.CV
Scene Synthesis via Uncertainty-Driven Attribute Synchronization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Kuaishou Technology（快手科技）
开发深度神经网络以生成3D场景是神经合成中的一个基本问题，其直接应用于建筑CAD、计算机图形学以及生成虚拟机器人训练环境。这项任务是具有挑战性的，因为3D场景表现出不同的模式，从连续的，如对象大小和形状对之间的相对姿态，离散的模式，如对称关系的对象的出现和共现。本文介绍了一种新的神经场景合成方法，可以捕捉不同的特征模式的三维场景。我们的方法结合了基于神经网络和传统场景合成方法的优势。我们使用从训练数据中学习的参数先验分布，它提供了对象属性和相关属性的不确定性，以正则化前馈神经模型的输出。此外，我们的方法不是仅仅预测场景布局，而是预测一组过完备的属性。这种方法允许我们利用预测属性之间的基本一致性约束来修剪不可行的预测。实验结果表明，我们的方法大大优于现有的方法。生成的3D场景忠实地内插训练数据，同时保留连续和离散特征模式。
2021-09-01 cs.CV
ResNeRF: Geometry-Guided Residual Neural Radiance Field for Indoor Scene Novel View Synthesis
ResNeRF提出几何引导的两阶段框架，先基于SDF重建场景几何，再学习残差密度编码外观细节，从而在大规模室内场景中实现高保真新视角合成并达到最先进性能。
2023-07-11 cs.CV
CLIP-Layout: Style-Consistent Indoor Scene Synthesis with Semantic Furniture Embedding
Meta AI
提出CLIP-Layout自回归场景模型，利用基于CLIP的图像嵌入进行实例级家具预测，实现风格一致、功能合理的室内场景合成，并支持零样本文本引导编辑。
2023-06-02 cs.CV
TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院多模态人工智能系统国家重点实验室）；D-Robotics；Horizon Robotics
提出TabletopGen，一种无需训练的全自动桌面场景生成与交互仿真引擎，通过实例提取、位姿对齐和物理仿真生成可交互场景，用于机器人操作数据合成。
2026-07-03 cs.CV
SceneNAT: Masked Generative Modeling for Language-Guided Indoor Scene Synthesis
Seoul National University（首尔国立大学）
SceneNAT通过掩码非自回归Transformer实现语言引导的室内场景合成，提升性能与效率，同时降低计算成本。
2026-08-12 cs.CV
Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
全面的三维场景理解，几何和语义，是重要的现实世界的应用，如机器人感知。大部分现有的工作都集中在开发数据驱动的判别模型的场景理解。本文从合成模型的角度出发，结合隐式三维表示和神经渲染的最新进展，提出了一种新的场景理解方法。在神经辐射场（NeRFs）的巨大成功的基础上，我们引入了具有NeRF的场景属性合成（SS-NeRF），其不仅能够从新颖的视角渲染照片级逼真的RGB图像，而且还能够渲染各种精确的场景属性（例如，外观、几何形状和语义）。通过这样做，我们促进解决各种场景理解任务下的统一框架，包括语义分割，表面法线估计，重绘，关键点检测和边缘检测。我们的SS-NeRF框架可以是一个强大的工具，用于桥接生成学习和判别学习，从而有利于调查的一系列有趣的问题，如研究任务关系的综合范式，转移知识到新的任务，促进下游的判别任务作为数据增强的方式，并作为自动标注数据创建。
2022-06-09 cs.CV
Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical Scene Segmentation with Limited Annotations
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University College London（伦敦大学学院）；Zhejiang Lab（之江实验室）
手术场景分割对于促进机器人手术中的认知辅助至关重要。然而，以逐帧方式逐像素地注释手术视频是昂贵且耗时的。为了大大减少标记负担，在这项工作中，我们研究了机器人手术视频的半监督场景分割，这是实际上必不可少的，但以前很少探索。我们认为，临床上合适的注释情况下的等距采样。然后，我们提出了PGV-CL，一种新的伪标签引导的跨视频对比度学习方法，以提高场景分割。它有效地利用未标记的数据进行可靠的全局模型正则化，从而产生更具鉴别力的特征表示。具体地说，对于可信的表示学习，我们建议结合伪标签来指导对选择，获得更可靠的表示对像素对比度。此外，我们扩展了表示学习空间，从以前的图像级到跨视频，这可以捕捉全局语义，以利于学习过程。我们在公共机器人手术数据集EndoVis 18和公共白内障数据集CaDIS上广泛评估了我们的方法。实验结果证明了我们的方法的有效性，在不同的标记率下，我们的方法始终优于最先进的半监督方法，甚至超过了EndoVis 18上的完全监督训练，标记率为10.1%。
2022-07-20 cs.CV
DiffuScene: Denoising Diffusion Models for Generative Indoor Scene Synthesis
Technical University of Munich（慕尼黑工业大学）；Sony Europe RDC Stuttgart（索尼欧洲研发中心斯图加特分部）；Technical University of Darmstadt（达姆施塔特工业大学）
本研究提出DiffuScene扩散模型，通过无序对象属性去噪生成3D室内场景，支持场景补全等多种应用，在3D-FRONT数据集上表现优于现有最优方法。
2024-03-12 cs.CV
Contrastive Sequential-Diffusion Learning: Non-linear and Multi-Scene Instructional Video Synthesis
NOVA LINCS；NOVA School of Science and Technology（NOVA科技学院）；Google Research（谷歌研究院）
针对多场景教学视频合成中非线性时序下的视觉一致性难题，提出对比序列视频扩散方法，通过选择适配的历史场景引导去噪，实验验证其在真实动作数据上的实用性与一致性提升。
2024-12-06 cs.CV
Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technology University（南洋理工大学）
在真实世界场景中合成长期人体运动序列的能力可以促进许多应用。先前的场景感知运动合成方法受到预定义的目标对象或位置的约束，从而限制了合成运动的人-场景交互的多样性。在本文中，我们专注于合成不同的场景感知的目标动作序列的指导下，人体运动的问题。为了实现这一点，我们首先分解的多样性场景感知人体运动到三个方面，即交互多样性（例如，坐在不同的对象在给定的场景中具有不同的姿势），路径多样性（例如，移动到目标位置遵循不同的路径），和运动多样性（例如，在移动过程中有各种身体运动）。在此分解方案的基础上，提出了一个层次化的框架，每个子模块负责一个方面的建模。我们评估我们的框架的有效性，对两个具有挑战性的数据集场景感知人体运动合成。实验结果表明，该框架在多样性和自然性方面明显优于以往的方法。
2022-05-25 cs.CV
SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image
Peking University（北京大学）；Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）
本文提出SAMPLING，一种基于改进MPI的场景自适应分层多平面图像表示方法，通过自适应分箱策略和分层细化分支，解决了单张图像输入下无界室外场景新视角合成的难题，在KITTI等数据集上取得显著性能提升。
2023-09-13 cs.CV
End-to-End Optimization of Scene Layout
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
我们提出了一个端到端的变分生成模型的场景布局合成场景图的条件。与无条件场景布局生成不同，我们使用场景图作为抽象但一般的表示来指导满足场景图中包含的关系的各种场景布局的合成。这使得对合成过程的控制更加灵活，允许各种形式的输入，例如从句子中提取或从单色图像中推断的场景布局。使用我们的条件布局合成器，我们可以生成共享输入示例的相同结构的各种布局。除了这个条件生成设计，我们还集成了一个微分渲染模块，使布局优化只使用场景的2D投影。给定深度和语义图，可微分渲染模块使得能够在合成布局上进行优化，以按合成分析的方式适合给定的输入。实验表明，我们的模型实现了更高的准确性和多样性的条件场景合成，并允许基于范例的场景生成从各种输入形式。
2020-07-23 cs.CV
S-INF: Towards Realistic Indoor Scene Synthesis via Scene Implicit Neural Field
Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Sichuan Academy of Medical Sciences and Sichuan Provincial People’s Hospital（四川省医学科学院·四川省人民医院）
本文提出S-INF，通过隐式神经场解耦并融合场景布局与细粒度物体关系，结合可微渲染保证风格一致，在3D-FRONT上实现逼真室内场景合成。
2025-01-04 cs.CV
Language-driven Scene Synthesis using Multi-conditional Diffusion Model
FSOFT AI Center（FSOFT AI中心）；TU Wien（维也纳工业大学）；AIT GmbH（AIT有限公司）；Imperial College London（伦敦帝国理工学院）；Ton Duc Thang University（孙德胜大学）；University of Liverpool（利物浦大学）
提出语言驱动的场景合成任务，结合文本提示、人类动作和现有物体，通过显式预测指导点的多条件扩散模型统一处理多模态条件，优于现有基准并支持场景编辑。
2023-10-24 cs.CV
Text-Guided Scene Sketch-to-Photo Synthesis
rinna Co., Ltd.（林纳有限公司）；Osaka University（大阪大学）
我们提出了一种方法，场景级草图到照片合成与文本指导。虽然物体级草图到照片合成已经被广泛研究，但在没有充分反映目标风格的参考照片的情况下，全场景合成仍然具有挑战性。为此，我们利用最近大规模预训练生成模型的知识，从而实现文本引导的草图到照片合成，而无需参考图像。为了训练我们的模型，我们从一组照片中使用自监督学习。具体来说，我们使用一个预先训练的边缘检测器，将颜色和草图图像映射到一个标准化的边缘域，这减少了基于边缘的边缘图像（在训练过程中）和手绘草图图像（在推理过程中）之间的差距。我们通过微调潜空间扩散模型（即，稳定扩散）与草图和文本条件。实验表明，该方法将原始草图图像，而不是从彩色图像中提取的照片具有引人注目的视觉质量。
2023-02-14 cs.CV
DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK（香港中文大学）；Snap Inc.（Snap公司）；HKUST（香港科技大学）；ZJU（浙江大学）；KAUST（阿卜杜拉国王科技大学）；UCLA（加州大学洛杉矶分校）
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象，并显示有限的能力，组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示（即，无语义标注的3D边界框）作为场景布局先验，其获得简单，通用于描述各种场景内容，并且还提供信息以解开对象和背景。此外，它还可以作为场景编辑的直观用户控件。基于这样的先验知识，该模型通过仅在具有全局-局部鉴别的2D图像上进行学习，将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性，同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能，包括具有挑战性的Waymo户外数据集。项目页面：https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
Hierarchically-Structured Open-Vocabulary Indoor Scene Synthesis with Pre-trained Large Language Model
School of Software, Shandong University（山东大学软件学院）；School of Computer Science, National University of Defense Technology（国防科技大学计算机学院）；Shandong Research Institute of Industrial Technology（山东省产业技术研究院）
针对开放词汇室内场景合成中LLM输出难以转化为可行布局的问题，提出层次化场景描述、层次感知位置推断网络与分而治之布局优化，提升布局合理性及需求一致性。
2025-02-15 cs.CV
Forest2Seq: Revitalizing Order Prior for Sequential Indoor Scene Synthesis
USTC（中国科学技术大学）；Simon Fraser University（西蒙菲莎大学）
该研究提出Forest2Seq框架，通过聚类与广度优先遍历将无序对象组织为有序层级树和森林，并由transformer自回归生成3D室内场景，在FID、KL及下游任务上优于基线。
2024-07-07 cs.CV
Pseudo-Generalized Dynamic View Synthesis from a Video
Apple（苹果公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文探讨从单目视频进行泛化动态新视角合成的可行性，提出无需场景特定外观优化的伪泛化方法，证明在几何与时间一致的深度估计下可优于部分场景特定方法。
2024-02-20 cs.CV
Painting 3D Nature in 2D: View Synthesis of Natural Scenes from a Single Semantic Mask
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
该研究提出一种从单一语义掩码合成自然场景多视图一致彩色图像的新方法，以语义场为中间表示，无需多视图监督或类别级先验，优于基线方法且能生成逼真视频。
2025-04-12 cs.CV
Unified Panoramic-Gaussian Representation for Monocular 4D Scene Synthesis
School of Data Science, Fudan University（复旦大学数据科学学院）；Central Media Technology Institute, Huawei（华为中央媒体技术研究院）
提出PanoGaussian，结合全景轨迹引导与显式动态高斯表示，解决单目视频4D场景合成中视角外区域推断不一致和动态内容建模问题。
2026-07-03 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects
Nanyang Technological University（南洋理工大学）
针对现有方法只能整体风格化、无法分离定制对象的问题，提出利用专业边界框放置对象并保持跨对象风格一致的3D室内场景合成流程，可依据自然语言生成真实、多视角一致且多样的场景。
2024-01-24 cs.CV
SceneCompleter: Dense 3D Scene Completion for Generative Novel View Synthesis
Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；Department of Automation, Tsinghua University（自动化系，清华大学）
提出SceneCompleter，通过几何-外观双流扩散模型在RGBD潜空间进行密集3D场景补全，并引入场景嵌入器整合全局信息，实现跨视角一致的生成式新视角合成。
2026-06-17 cs.CV
FreeGen: Feed-Forward Reconstruction-Generation Co-Training for Free-Viewpoint Driving Scene Synthesis
School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学）
FreeGen通过重建-生成协同训练框架，提升自由视角驾驶场景合成的插值一致性与外推真实感，实现最先进的性能。
2025-12-04 cs.CV
ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing
Stanford University（斯坦福大学）
ReSpace通过自回归方法实现文本驱动的3D室内场景合成与编辑，具备明确房间边界和资产无关部署能力，支持通过自然语言添加、移除和交换物体，实验在物体添加和完整场景合成质量上超越现有方法。
2026-06-29 cs.CV
SurgicalGS: Dynamic 3D Gaussian Splatting for Accurate Robotic-Assisted Surgical Scene Reconstruction
The Hamlyn Centre for Robotic Surgery, Imperial College London（伦敦帝国理工学院哈姆林 robotic外科中心）；Hawkes Institute, University College London（伦敦大学学院霍克斯研究所）；University of Liverpool（利物浦大学）
提出SurgicalGS动态3D高斯泼溅框架，通过深度先验初始化、Flexible Deformation Model及深度正则化约束，提升机器人辅助手术场景的3D重建几何精度，在两个真实数据集上达到最先进水平。
2024-10-11 cs.CV
Learning Unified Decompositional and Compositional NeRF for Editable Novel View Synthesis
Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出统一的两阶段NeRF框架，通过one-hot物体辐射场正则化和修复伪监督实现场景分解与组合，同时提升新视角合成和场景编辑性能。
2023-08-05 cs.CV
Video Perception Models for 3D Scene Synthesis
Tsinghua University（清华大学）；Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Microsoft（微软）；Stanford University（斯坦福大学）
提出VIPScene框架，利用视频生成模型的3D物理常识知识，结合前馈3D重建与开放词汇感知，实现高真实性与结构一致性的3D场景合成，并引入FPVScore进行评估。
2025-06-25 cs.CV
Modeling Ambient Scene Dynamics for Free-view Synthesis
University of Washington（华盛顿大学）；University of Maryland（马里兰大学）；Meta
针对单目捕获的环境自然场景，本文利用环境运动的周期性建模轨迹并加入正则化，扩展 3DGS 以实现高质量、照片级真实且内存高效的动态自由视点合成。
2024-06-13 cs.CV
RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture
Apple Inc.（苹果公司）；University at Buffalo（布法罗大学）
提出RoomDreamer框架，通过Geometry Guided Diffusion和Mesh Optimization两个组件，利用自然语言同时合成与输入场景结构和提示对齐的几何与纹理，生成不同风格的3D室内场景。
2023-05-18 cs.CV
DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；SenseTime Research（商汤科技研究院）
本文提出 DEMOS 框架，利用局部 Spherical-BEV 感知和时变运动混合，根据动态 3D 场景即时预测并更新潜在运动，在 PROX、GTA-IM 与 Semantic3D 上显著优于已有方法。
2024-03-04 cs.CV
Deep Generative Modeling for Scene Synthesis via Hybrid Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snapchat Inc.（Snapchat公司）
我们提出了一种用于室内环境的深度生成场景建模技术。我们的目标是使用前馈神经网络来训练生成模型，该前馈神经网络映射先验分布（例如，正态分布）到室内场景中的主要对象的分布。我们介绍了一个三维对象排列表示模型的位置和方向的对象，根据它们的大小和形状属性。此外，我们的场景表示适用于从数据库中选择的具有不同多重性（重复计数）的3D对象。我们展示了一个原则性的方法来训练这个模型，通过结合3D对象排列表示和基于2D图像的表示的损失。我们在基准数据集上展示了我们的场景表示和深度学习方法的有效性。我们还展示了这种生成模型在场景插值和场景完成中的应用。
2018-08-06 cs.CV
LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis
Georgia Institute of Technology（佐治亚理工学院）；Ford Autonomy（福特自动驾驶部门）
提出光照感知神经场LANe，通过解耦世界与物体神经场并结合光场与着色器处理光照变化，实现了在空间光照变化下物理一致的驾驶场景组合合成。
2023-04-06 cs.CV
Layer-structured 3D Scene Inference via View Synthesis
University of California, Berkeley（加州大学伯克利分校）；Google（谷歌）
我们提出了一种方法来推断一个层次结构的三维表示的场景从一个单一的输入图像。这使我们不仅可以推断可见像素的深度，还可以捕获场景中不可直接看到的内容的纹理和深度。我们克服了缺乏直接监督所带来的挑战，而是利用更自然可用的多视图监督信号。我们的见解是使用视图合成作为代理任务：我们强制我们的表示（从单个图像推断），当从一个新的视角渲染时，与真实观察到的图像相匹配。我们提出了一个学习框架，操作化这一见解使用一个新的，可区分的新颖的视图渲染器。我们提供了定性和定量验证我们的方法在两个不同的设置，并证明我们可以学习捕捉隐藏的方面的场景。
2018-07-26 cs.CV
Detachable Novel Views Synthesis of Dynamic Scenes Using Distribution-Driven Neural Radiance Fields
PhiGent Robotics（PhiGent机器人公司）
如何从随意的单目视频中表达和合成真实世界动态场景中的新颖视图是一个长期存在的问题。现有的解决方案通常通过应用几何技术或利用几个相邻帧之间的时间信息来接近动态场景，而不考虑整个场景中的底层背景分布或光线维度上的透射率，从而限制了它们在静态和遮挡区域上的性能。我们的方法$\textbf{D}$迭代- $\textbf{D}$ riven神经辐射场提供了高质量的视图合成和一个3D解决方案，$\textbf{D}$从整个$\textbf{D}$神经场景中提取背景，这被称为$\text{D}^4$ NeRF。具体而言，它采用神经表示来捕获静态背景中的场景分布，并采用6D输入NeRF来表示动态对象。每个光线样本都被赋予一个附加的遮挡权重，以指示静态和动态分量中的透射率。我们评估$\text{D}^4$ NeRF上的公共动态场景和我们的城市驾驶场景从一个错误的驾驶数据集。大量的实验表明，我们的方法优于以往的方法在渲染纹理细节和运动区域，同时也产生一个干净的静态背景。我们的代码将在https://github.com/Luciferbobo/D4NeRF上发布。
2023-01-11 cs.CV
Free View Synthesis
Intel Labs（英特尔研究院）
我们提出了一种新的视图合成方法，从输入图像，自由分布在一个场景。我们的方法不依赖于输入视图的规则排列，可以通过场景合成自由相机移动的图像，并且适用于具有不受约束的几何布局的一般场景。我们通过SfM校准输入图像，并通过MVS建立一个粗略的几何支架。这个支架用于为场景的新视图创建代理深度图。基于该深度图，递归编码器-解码器网络处理来自附近视图的重新投影特征并合成新视图。我们的网络不需要针对特定场景进行优化。在数据集上训练后，它可以在以前看不见的环境中工作，无需微调或按场景优化。我们评估了具有挑战性的现实世界的数据集，包括坦克和寺庙，在那里我们展示了成功的视图合成的第一次，并大大优于先前和并发的工作所提出的方法。
2020-08-12 cs.CV
Broadening View Synthesis of Dynamic Scenes from Constrained Monocular Videos
Northeastern University（东北大学）
ExpanDyNeRF通过高斯溅射先验和伪地面真实生成策略，实现从受限单目视频中高质量动态场景视图合成，并在SynDM数据集上验证其在极端视角偏移下的优越性能。
2025-12-16 cs.CV
Self-Supervised Equivariant Scene Synthesis from Video
NYU（纽约大学）；NVidia（英伟达）；Technical University of Berlin（柏林工业大学）；Google（谷歌）
我们提出了一个自我监督的框架来学习场景表示从视频自动划定为背景，人物，和他们的动画。我们的方法利用了移动字符是等变的，相对于他们的跨帧的变换和背景是恒定的，相对于相同的变换。经过训练后，我们可以实时的操纵图像编码，以创建所描绘的组件的不可见组合。据我们所知，我们是第一个对可解释的背景、角色和动画进行无监督提取和合成的方法。我们在三个数据集上展示了结果：移动MNIST背景，2D视频游戏精灵和时尚建模。
2021-02-01 cs.CV
Semantic scene synthesis: Application to assistive systems
USTHB University（阿尔及尔科技大学）
这项工作的目的是提供一个语义场景合成从一个单一的深度图像。这被用于视觉障碍者和盲人的辅助系统，使他们能够通过触觉了解周围环境。盲人用触觉来识别物体，依靠听觉来代替视觉，这一事实促使我们提出这项工作。首先，对所获取的深度图像进行分割，并使用深度学习网络在辅助系统的上下文中对每个片段进行分类。其次，受盲文系统和日本汉字书写系统的启发，获得的类用语义标签编码。然后使用这些标签和提取的几何特征合成场景。我们的系统能够预测超过17类，只有通过理解所提供的说明性标签。对于其余对象，传输其几何特征。标签和几何特征被映射在合成区域上以通过触摸感测来感测。实验进行噪声和不完整的数据，包括室内场景和公共数据集的深度图像。所得结果的报告和讨论。
2021-04-14 cs.CV
Multi-Plane Neural Radiance Fields for Novel View Synthesis
University of Waterloo（滑铁卢大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
新颖的视图合成是一个长期存在的问题，围绕渲染帧的场景从新颖的相机视点。体积方法提供了一个解决方案，通过明确的三维表示的相机截头体建模闭塞。多平面图像（MPI）是使用不同深度处的前平行平面来表示场景的体积方法，但是遭受导致2D场景表示的深度离散化。另一种方法依赖于隐式3D场景表示。神经辐射场（NeRF）利用神经网络将连续的3D场景结构封装在网络权重内，从而实现真实感合成结果，然而，方法被约束到每个场景的优化设置，这在实践中是低效的。多平面神经辐射场（MINE）为隐式和显式场景表示的组合打开了大门。它支持连续的3D场景表示，特别是在深度维度上，同时利用输入图像特征来避免逐场景优化。目前在这一领域的文献工作的主要缺点是被限制到单视图输入，限制合成能力，以狭窄的视角范围。在这项工作中，我们彻底检查了单视图多平面神经辐射场的性能、概括性和效率。此外，我们提出了一个新的多平面NeRF架构，接受多个视图，以改善合成结果，扩大观看范围。通过提出的注意力感知融合模块，有效地融合了来自输入源帧的特征，以突出来自不同视点的重要信息。实验表明，基于注意力的融合的有效性和我们提出的方法相比，多视图NeRF和MPI技术的有前途的成果。
2023-03-03 cs.CV
SceneReVis: A Self-Reflective Vision-Grounded Framework for 3D Indoor Scene Synthesis via Multi-Turn RL
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；Microsoft Research Asia, Beijing, China（微软亚洲研究院）；Peking University, Beijing, China（北京大学）；ShanghaiTech University, Shanghai, China（上海科技大学）
SceneReVis 通过多轮强化学习和多模态反馈，实现高保真 3D 室内场景合成，提升空间规划能力。
2026-10-16 cs.CV
