DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK（香港中文大学）；Snap Inc.（Snap公司）；HKUST（香港科技大学）；ZJU（浙江大学）；KAUST（阿卜杜拉国王科技大学）；UCLA（加州大学洛杉矶分校）
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象，并显示有限的能力，组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示（即，无语义标注的3D边界框）作为场景布局先验，其获得简单，通用于描述各种场景内容，并且还提供信息以解开对象和背景。此外，它还可以作为场景编辑的直观用户控件。基于这样的先验知识，该模型通过仅在具有全局-局部鉴别的2D图像上进行学习，将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性，同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能，包括具有挑战性的Waymo户外数据集。项目页面：https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
BlobGAN-3D: A Spatially-Disentangled 3D-Aware Generative Model for Indoor Scenes
KAUST（阿卜杜拉国王科技大学）
3D感知图像合成已经吸引了越来越多的兴趣，因为它模拟了我们现实世界的3D性质。然而，在多对象场景中对生成的图像执行逼真的对象级编辑仍然是一个挑战。最近，称为BlobGAN的2D GAN在真实世界室内场景数据集上展示了强大的多对象编辑功能。在这项工作中，我们提出了BlobGAN-3D，这是对原始2D BlobGAN的3D感知改进。我们使明确的相机姿态控制，同时保持在场景中的各个对象的解纠缠扩展到3D斑点的2D斑点。我们保留了BlobGAN的对象级编辑功能，此外还允许灵活控制场景中对象的3D位置。我们在真实世界的室内数据集上测试了我们的方法，结果表明，与2D Blob GAN和其他3D感知GAN基线相比，我们的方法可以实现相当的图像质量，同时能够在具有挑战性的多对象真实世界场景中实现相机姿态控制和对象级编辑。
2023-03-26 cs.CV
Imaginarium: Vision-guided High-Quality 3D Scene Layout Generation
Tsinghua University（清华大学）；Tencent（腾讯）；Southeast University（东南大学）；University of Science and Technology of China（中国科学技术大学）
本文提出视觉引导的3D场景布局生成系统，构建含2037个资产和147个布局的库，利用图像生成与解析模块，优化布局，显著提升丰富性和质量。
2025-10-17 cs.CV
LayoutAgent: A Vision-Language Agent Guided Compositional Diffusion for Spatial Layout Planning
Personalization Team, Walmart Global Tech（Walmart全球科技个性化团队）
本文提出 LayoutAgent 框架，结合视觉-语言模型预处理与机器人学中的组合扩散生成尊重语义和物理关系的边界框，并由前景条件生成器合成完整场景，在布局连贯性、空间真实性和美学对齐上优于现有模型。
2025-09-24 cs.AI cs.CV cs.LG
SLayR: Scene Layout Generation with Rectified Flow
Saarland University（萨尔大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；University of Technology Nuremberg（纽伦堡工业大学）
SLayR提出基于整流流的Transformer文本到布局生成模型，解决模糊提示下场景布局生成的多样性与合理性问题，超越LLM基线并引入新基准，以至少小3倍的参数量实现最先进性能。
2025-03-12 cs.CV
Semantic Palette: Guiding Scene Generation with Class Proportions
Inria Paris（法国国家信息与自动化研究所巴黎分部）；Sorbonne University（索邦大学）
尽管最近生成对抗网络（GANs）在合成照片级逼真图像方面取得了进展，但生成复杂的城市场景仍然是一个具有挑战性的问题。以前的工作分解成两个连续的阶段场景生成：无条件语义布局合成和图像合成的布局条件。在这项工作中，我们提出了条件布局生成以及更高的语义控制：给定一个向量的类比例，我们生成布局与匹配的组成。为此，我们引入了一个有条件的框架，新颖的架构设计和学习目标，有效地适应类的比例，以指导场景生成过程。建议的架构还允许部分布局编辑有趣的应用程序。由于语义控制，我们可以生成接近真实分布的布局，有助于增强整个场景生成过程。在不同的指标和城市场景基准上，我们的模型优于现有的基线。此外，我们证明了我们的方法用于数据增强的优点：在真实布局图像对上训练的语义分割器以及由我们的方法生成的附加分割器优于仅在真实对上训练的模型。
2021-06-03 cs.CV
SceneCraft: Layout-Guided 3D Scene Generation
Shanghai Jiao Tong University（上海交通大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
SceneCraft通过将三维语义布局渲染为多视角二维代理图，并利用语义与深度条件扩散模型生成图像来学习NeRF，实现了超越单房间的复杂室内场景生成。
2025-05-08 cs.CV
Learning to Generate Images of Outdoor Scenes from Attributes and Semantic Layouts
Hacettepe University（哈西特佩大学）；Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
自动图像合成研究一直在快速增长，深度网络变得越来越有表现力。在过去的几年里，我们已经观察到数字，室内场景，鸟类，椅子等的图像被自动生成。通过引入对象名称、句子、限界框和关键点定位等多种形式的条件变量，增强了图像生成器的表达能力。在这项工作中，我们提出了一种新的深度条件生成对抗网络架构，它的优势来自集成为条件变量的语义布局和场景属性。我们表明，我们的架构是能够在不同的条件下，例如白天，夜晚，阳光下，雾，清晰的对象边界生成逼真的户外场景图像。
2016-12-01 cs.CV
Build-A-Scene: Interactive 3D Layout Control for Diffusion-Based Image Generation
KAUST（阿卜杜拉国王科技大学）
提出Build-A-Scene方法，通过3D框和动态自注意力模块实现交互式3D布局控制，支持多阶段生成与对象保留，显著提升复杂场景生成成功率。
2024-08-27 cs.CV
CC3D: Layout-Conditioned Generation of Compositional 3D Scenes
University of Toronto（多伦多大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）；Simon Fraser University（西蒙菲莎大学）
CC3D是一种基于2D语义布局的条件生成模型，通过建模3D场景的组合特性并引入新型3D场表示，实现了高效、高质量且可控的多对象复杂3D场景生成。
2023-09-08 cs.CV
Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images
MIT Interdisciplinary Center, Herzliya（赫兹利亚跨学科中心（MIT））；Stanford University（斯坦福大学）
从单目图像数据集学习3D生成模型可以实现自监督3D推理和可控合成。最先进的3D生成模型是使用神经3D体积表示进行合成的GANs。通过从给定相机渲染体积来合成图像。这些模型可以在任何生成的图像中将3D场景与相机视点分离。然而，大多数模型并没有解开图像形成的其他因素，如几何形状和外观。在本文中，我们设计了一个三维GAN，它可以学习一个解纠缠模型的对象，只是从单目观察。我们的模型可以理清场景中的几何形状和外观变化，即，我们可以独立地从生成模型的几何和外观空间中采样。这是实现使用一种新的非刚性可变形场景配方。表示对象实例的3D体积被计算为非刚性变形的规范3D体积。我们的方法在训练过程中共同学习规范体积及其变形。该公式还帮助我们使用在3D变形场上定义的新颖姿态正则化损失来改善3D场景和相机视点之间的解纠缠。此外，我们还对逆变形进行了建模，从而能够计算由我们的模型生成的图像之间的密集对应关系。最后，我们设计了一种方法，将真实图像嵌入到我们的解纠缠生成模型的潜在空间中，从而实现对真实图像的编辑。
2022-03-29 cs.CV cs.GR
Compact Scene Graphs for Layout Composition and Patch Retrieval
Intel AI Lab（英特尔人工智能实验室）
结构化表示（如场景图）是一种高效且紧凑的表示，可用于下游渲染或检索任务。然而，现有的努力，从场景图生成逼真的图像表现不佳的场景组成的混乱或复杂的场景。我们提出了两个贡献，以改善现场组成。首先，我们增强了场景图表示与基于关系，这增加了最小的存储开销。其次，我们使用极值点表示来监督场景组合网络的学习。这些方法实现了显着更高的性能比现有的工作（69.0%对51.2%的关系得分度量）。我们还演示了如何场景图可以用来检索姿势约束的图像补丁，语义相似的源查询。改进用于绘制或检索的结构化场景图表示是实现真实感图像生成的重要一步。
2019-04-19 cs.CV
Learning to Generate Novel Scene Compositions from Single Images and Videos
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）
在低数据条件下训练GANs仍然是一个挑战，因为过度拟合通常会导致记忆或训练分歧。在这项工作中，我们引入了One-Shot GAN，它可以学习从一个训练集生成样本，小到一个图像或一个视频。我们提出了一个两个分支，内容和布局分支的设计，以判断内部内容分别从场景布局的现实主义。这允许合成具有不同内容和布局的视觉上合理的、新颖的场景组成，同时保留原始样本的上下文。与以前的单图像GAN模型相比，One-Shot GAN实现了更高的多样性和合成质量。它也不限于单一图像设置，在单一视频的介绍设置中成功学习。
2021-05-12 cs.CV cs.LG
Seq-SG2SL: Inferring Semantic Layout from Scene Graph Through Sequence to Sequence Learning
Alibaba AI Labs（阿里巴巴人工智能实验室）
从场景图生成语义布局是连接文本到图像的关键中间任务。我们提出了一个概念上简单，灵活和通用的框架，使用序列到序列（seq-to-seq）学习这项任务。该框架称为Seq-SG 2SL，为两种模态导出序列代理，基于Transformer的seq-to-seq模型学习将一个转换为另一个。场景图被分解成一系列的语义片段（SF），每个关系一个。语义布局表示为一系列砖块动作代码段（BACS）的结果，规定了布局中每个对象限界框的位置和比例。将SF和BACS这两个构建块视为两个不同词汇表中的对应术语，seq-to-seq模型适合用于翻译。在BLEU的启发下，提出了一种新的语义布局评价指标SLEU（semantic layout evaluation understudy）。SLEU将布局中的关系定义为unigrams，并查看n-gram的空间分布。与BLEU的二进制精度不同，SLEU允许通过对Jaccard指数进行阈值化而在空间上存在一些公差，因此更适合于任务。在具有挑战性的Visual Genome数据集上的实验结果表明，基于图卷积的非顺序方法有所改进。
2019-08-19 cs.CV
Unified Editing of Panorama, 3D Scenes, and Videos Through Disentangled Self-Attention Injection
KAIST（韩国科学技术院）
提出一种仅用2D扩散模型的统一编辑框架，通过解耦自注意力注入实现全景图、3D场景和视频的语义一致编辑。
2024-05-27 cs.AI cs.CV
Object-Centric Image Generation from Layouts
Mila（米拉）；Microsoft Research（微软研究院）
尽管最近在单对象和单域图像生成方面取得了令人印象深刻的成果，但具有多个对象的复杂场景的生成仍然具有挑战性。在本文中，我们从模型必须能够理解单个对象以及对象之间的关系的想法开始，以便很好地生成复杂的场景。我们的布局到图像生成方法，我们称之为以对象为中心的生成对抗网络（或OC-GAN），依赖于一个新的场景图相似性模块（SGSM）。SGSM学习场景中对象之间的空间关系的表示，这导致我们的模型的改进的布局保真度。我们还提出了修改发电机的调节机制，提高其对象的实例意识。除了提高图像质量外，我们的贡献还减轻了以前方法中的两种故障模式：（1）在布局中没有相应的边界框的情况下生成虚假对象，以及（2）布局中的重叠边界框导致图像中的合并对象。广泛的定量评估和消融研究证明了我们的贡献的影响，我们的模型在COCO-Stuff和Visual Genome数据集上的表现优于以前的最先进方法。最后，我们解决了一个重要的限制，在以前的作品中使用的评价指标，通过引入SceneFID -一个对象为中心的适应流行的Fr{é}chet初始距离度量，更适合于多对象图像。
2020-12-03 cs.CV cs.LG eess.IV
LLplace: The 3D Indoor Scene Layout Generation and Editing via Large Language Model
Southern University of Science and Technology（南方科技大学）；University of Warwick（华威大学）；York University（约克大学）
本文提出LLplace，一种基于轻量级微调开源大语言模型Llama3的3D室内场景布局生成与编辑方法，无需空间关系先验和上下文示例，仅凭用户输入即可通过对话实现高质量布局生成及物体增删的动态编辑。
2024-06-06 cs.CV
Realistic Image Synthesis with Configurable 3D Scene Layouts
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
最近的条件图像合成方法提供高质量的合成图像。然而，精确地调整图像内容（诸如对象的位置和方向）仍然是具有挑战性的，并且合成的图像经常具有几何无效的内容。为了给用户提供丰富的可控性方面的合成图像的三维几何，我们提出了一种新的方法来逼真的图像合成的基础上可配置的三维场景布局。我们的方法将具有语义类标签的3D场景作为输入，并训练3D场景绘画网络，该网络为输入的3D场景合成颜色值。使用经过训练的绘画网络，可以渲染和操纵输入3D场景的逼真图像。为了训练没有3D颜色监督的绘画网络，我们开发了一种现成的2D语义图像合成方法。在实验中，我们表明，我们的方法产生的图像具有几何正确的结构，并支持几何操作，如改变的观点和对象构成以及操纵的绘画风格。
2021-08-24 cs.CV
Semantic Bottleneck Scene Generation
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
将标签条件图像合成方法的高保真生成能力与无条件生成模型的灵活性相结合，提出了一种用于复杂场景无条件合成的语义瓶颈GAN模型。我们假设在训练过程中可以使用逐像素分割标签，并使用它们来学习场景结构。在推理过程中，我们的模型首先从头开始合成一个逼真的分割布局，然后合成一个逼真的场景，该布局的条件。对于前者，我们使用一个无条件的渐进分割生成网络，捕捉现实的语义场景布局的分布。对于后者，我们使用了一个条件分割到图像合成网络，捕捉分布的照片级逼真的图像的语义布局的条件。当进行端到端训练时，所产生的模型在Frechet Inception Distance和用户学习评估方面，在两个具有挑战性的领域的无监督图像合成中优于最先进的生成模型。此外，我们证明了生成的分割图可以用作额外的训练数据，以大大提高最近的分割到图像合成网络。
2019-11-26 cs.CV cs.LG stat.ML
SemLayoutDiff: Semantic Layout Generation with Diffusion Model for Indoor Scene Synthesis
Simon Fraser University（西蒙弗雷泽大学）；CMU（卡内基梅隆大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所）
SemLayoutDiff提出一种结合语义图与分类扩散模型的统一框架，实现多房间类型下受建筑约束的多样化3D室内场景合成，并在3D-FRONT数据集上超越现有方法。
2025-09-06 cs.CV cs.GR
LAW-Diffusion: Complex Scene Generation by Diffusion with Layouts
Sun Yat-Sen University（中山大学）；Jinan University（暨南大学）；University of Oxford（牛津大学）
本文提出 LAW-Diffusion，通过空间依赖解析、跨对象注意力、自适应布局引导和潜在嫁接实现可控、和谐且可局部重构的复杂场景生成，并以 SRS 指标验证其达到最优效果。
2023-08-13 cs.CV
Urban Architect: Steerable 3D Urban Scene Generation with Layout Prior
Tongji University（同济大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Michigan（密歇根大学）；The Chinese University of Hong Kong（香港中文大学）；CPII
本文提出Urban Architect框架，以组合式3D布局为先验，结合布局引导变分得分蒸馏和可扩展哈希网格，首次实现覆盖逾1000米的可操控大规模文本到3D城市场景生成与编辑。
2024-04-10 cs.CV
DepthGAN: GAN-based Depth Generation of Indoor Scenes from Semantic Layouts
University of Chinese Academy of Sciences（中国科学院大学）；Chongqing University（重庆大学）
受计算效率和精度的限制，生成复杂的3D场景仍然是现有生成网络的一个挑战性问题。在这项工作中，我们提出了DepthGAN，这是一种只使用语义布局作为输入生成深度图的新方法。首先，我们引入了一个精心设计的Transformer块级联作为我们的生成器来捕获深度图中的结构相关性，这使得全局特征聚合和局部注意力之间取得了平衡。同时，我们提出了一个交叉注意融合模块，以指导边缘保护有效地在深度生成，它利用额外的外观监督信息。最后，我们在Structured3d全景数据集上进行了大量的实验，实验结果表明，本文提出的深度GAN算法在深度生成任务中，无论是在量化结果还是视觉效果上都取得了优异的性能，而且我们生成的深度图可以重建出具有合理结构和空间一致性的室内三维场景。
2022-03-22 cs.CV
Layout Agnostic Scene Text Image Synthesis with Diffusion Models
Rutgers University（罗格斯大学）；Meta AI
针对扩散模型生成场景文本时依赖布局导致样式单一的问题，提出无需预定义布局的SceneTextGen模型，通过整合字符级编码器等三个组件提升文本生成多样性与准确率，在公开数据集上字符识别率优于现有方法。
2024-09-15 cs.CV
Disentangled Contrastive Image Translation for Nighttime Surveillance
本文提出解耦对比学习方法 DiCo，通过颜色不变量物理先验和前景背景解耦表示，在生成对抗网络中实现夜间监控图像到白天的高保真转换，并发布 NightSuR 数据集。
2023-07-11 cs.CV
LayoutGAN: Generating Graphic Layouts with Wireframe Discriminators
Beijing Institute of Technology（北京理工大学）；Adobe Research（奥多比研究院）
布局对于图形设计和场景生成非常重要。我们提出了一种新的生成对抗网络，称为LayoutGAN，它通过对不同类型的2D元素的几何关系建模来合成布局。LayoutGAN的生成器将一组随机放置的2D图形元素作为输入，并使用自注意模块来联合优化它们的标签和几何参数，以生成逼真的布局。精确的对齐对于良好的布局至关重要。因此，我们提出了一种新的可微分线框渲染层，将生成的布局映射到线框图像，基于CNN的渲染器用于优化图像空间中的布局。通过MNIST数字生成、文档布局生成、剪贴画抽象场景生成和七巧板图形设计等实验验证了LayoutGAN的有效性。
2019-01-21 cs.CV
Exploiting Relationship for Complex-scene Image Generation
JD AI Research（京东人工智能研究院）；Ryerson University（瑞尔森大学）
生成对抗网络（GANs）的重大进展促进了基于语言输入的真实单对象图像生成。然而，复杂的场景生成（多个对象之间的各种交互）仍然遭受混乱的布局和对象失真，由于布局和外观的不同配置。现有的方法大多是对象驱动的，忽略了它们之间的相互关系，在复杂的场景图像中发挥了重要作用。这项工作探讨了关系感知的复杂场景图像生成，其中多个对象是相互关联的场景图。在关系的帮助下，我们提出了生成框架中的三个主要更新。首先，合理的空间布局推断联合考虑语义和对象之间的关系。与标准位置回归相比，我们发现相对尺度和距离是一个更可靠的目标。其次，由于对象之间的关系显着影响对象的外观，我们设计了一个关系引导的生成器来生成对象反映他们的关系。第三，提出了一种新的场景图映射方法，保证了生成图像与输入场景图的一致性。我们的方法倾向于合成合理的布局和对象，尊重图像中多个对象的相互作用。在Visual Genome和HICO-DET数据集上的实验结果表明，我们提出的方法在IS和FID指标方面明显优于现有技术。基于我们的用户研究和视觉检查，我们的方法是更有效地生成逻辑布局和外观的复杂场景。
2021-04-01 cs.CV
VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对现有文本生成视频方法多聚焦单场景短视频、难以实现长视频时间一致性的问题，提出VideoDirectorGPT框架，用GPT-4生成视频规划，结合Layout2Vid生成器实现多场景一致视频生成，性能媲美单场景SOTA。
2024-07-12 cs.AI cs.CL cs.CV
Autoregressive Diffusion for Compositional Text-to-Scene Generation
Meta Reality Labs（Meta现实实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种新的文本到场景生成方法，通过自回归3D扩散模型生成布局和形状，解决文本描述与生成场景不一致的问题。
2026-11-02 cs.AI cs.CV
FreeInsert: Disentangled Text-Guided Object Insertion in 3D Gaussian Scene without Spatial Priors
Tianjin University（天津大学）；University of Trento（特伦托大学）
FreeInsert提出利用MLLM、LGM和扩散模型将物体生成与空间放置解耦，在无需2D掩码或3D边界框等空间先验的条件下，实现语义连贯、空间精确且视觉逼真的3D场景物体插入。
2025-11-08 cs.CV
Mise-en-Scène: Implicit Layout Emergence in Diffusion Transformers for Human-AI Design Co-Creation
Canva Research（Canva研究院）
本文提出Mise-en-Scène框架，通过微调扩散Transformer实现隐式布局涌现，结合匹配放置步骤保证素材保真度，在PrismLayersPlus基准上生成的设计感知质量显著优于现有方法。
2026-08-20 cs.CV
Scene Graph Disentanglement and Composition for Generalizable Complex Image Generation
Shanghai Jiao Tong University（上海交通大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）；University of Science and Technology of China（中国科学技术大学）；The University of Hong Kong（香港大学）
本文提出利用场景图解耦与组合实现可泛化复杂图像生成，通过SL-VAE、CMA和MLS提升生成多样性、可控性及图操控一致性。
2024-10-01 cs.CV
Ctrl-Room: Controllable Text-to-3D Room Meshes Generation with Layout Constraints
Hong Kong University of Science and Technology（香港理工大学）；LightIllusion, China（中国LightIllusion公司）；Alibaba Group（阿里巴巴集团）；Simon Fraser University, Canada（加拿大Simon Fraser大学）
Ctrl-Room提出两阶段方法，通过布局生成和外观生成分离建模，实现从文本提示生成可编辑的高质量三维房间网格，并在Structured3D数据集上优于现有方法。
2025-09-24 cs.CV
MALeR: Improving Compositional Fidelity in Layout-Guided Generation
Adobe Research（Adobe研究）
MALeR针对布局引导图像生成中的主体越界、分布外伪影和属性泄漏问题，提出布局约束与掩码属性感知绑定机制，显著提升复杂组合场景下的组合准确性与属性绑定效果。
2025-11-08 cs.CV
Conditional 360-degree Image Synthesis for Immersive Indoor Scene Decoration
Hong Kong University of Science and Technology（香港科技大学）；VinAI Research（VinAI研究院）；Deakin University（迪肯大学）
针对360度室内图像条件装饰问题，提出带360感知布局生成器与场景清空循环约束的生成框架，在Structure3D上达SOTA，泛化性好且能提供沉浸式装饰效果。
2023-07-18 cs.CV
InSpace: Structure-Aware 3D Indoor Scene Generation from a Single 360° Image
KAIST（韩国科学技术院）；NAVER LABS（NAVER实验室）；Chung-Ang University（中央大学）
针对单图像到3D生成扩展到室内场景有挑战的问题，提出InSpace框架，利用360°图像，经估计部分场景几何、生成粗结构、产生详细布局和资产几何三阶段，还建数据集，实验表明其性能强。
2026-07-07 cs.CV
Planner3D: LLM-enhanced graph prior meets 3D indoor scene explicit regularization
University of Twente（特温特大学）；NEC Lab America（美国 NEC 实验室）；AWS AI, Amazon（亚马逊 AWS AI）；University of Bath（巴斯大学）
提出Planner3D框架，利用大语言模型增强场景图先验，通过统一图编码器指导布局与形状联合生成，并引入显式正则化约束3D布局，显著提升了场景级保真度。
2024-08-26 cs.CV
Frido: Feature Pyramid Diffusion for Complex Scene Image Synthesis
Microsoft（微软）
扩散模型（DM）在高质量图像合成方面显示出巨大的潜力。然而，当涉及到产生具有复杂场景的图像时，如何正确地描述图像全局结构和对象细节仍然是一个具有挑战性的任务。在本文中，我们提出了Frido，一个特征金字塔扩散模型执行多尺度粗到细的图像合成去噪过程。我们的模型将输入图像分解为尺度相关的矢量量化特征，然后通过粗到细的门控来产生图像输出。在上述多尺度表示学习阶段期间，可以进一步利用诸如文本、场景图或图像布局的附加输入条件。因此，Frido也可以应用于条件或跨模态图像合成。我们在各种无条件和有条件的图像生成任务上进行了广泛的实验，从文本到图像合成，布局到图像，场景图到图像，到标签到图像。更具体地说，我们在五个基准测试中获得了最先进的FID分数，即COCO和OpenImages上的布局到图像，COCO和Visual Genome上的场景图到图像，以及COCO上的标签到图像。代码可在https://github.com/davidhalladay/Frido上获得。
2022-12-01 cs.AI cs.CV cs.LG
MVRoom: Controllable 3D Indoor Scene Generation with Multi-View Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Hupan Lab（虎斑实验室）
MVRoom通过多视角扩散模型实现可控的3D室内场景生成，结合布局感知的极线注意力机制和迭代框架，提升多视角一致性和生成质量。
2025-12-03 cs.AI cs.CV
PhiP-G: Physics-Guided Text-to-3D Compositional Scene Generation
School of Future Technology, Shanghai University（上海大学未来技术学院）；Institute of Artificial Intelligence, Shanghai University（上海大学人工智能研究院）
针对文本到3D组合场景生成中布局不符物理定律、复杂描述捕捉难等问题，提出框架 PhiP-G。该框架结合LLM智能体、多模态2D生成与3D高斯生成构建物理世界模型，显著提升了场景生成质量、物理合理性及效率。
2025-02-02 cs.AI cs.CV
Unifying Layout Generation with a Decoupled Diffusion Model
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
布局生成的目的是合成真实感图形场景，由不同属性的元素组成，包括类别，大小，位置和元素之间的关系。这是一个至关重要的任务，以减轻负担，重型平面设计作品的格式化场景，例如，出版物、文档和用户界面（UI）。不同的应用场景对统一各种布局生成子任务提出了很大的挑战，包括条件和无条件生成。在本文中，我们提出了一个布局扩散生成模型（LDGM），以实现这种统一与一个单一的解耦扩散模型。LDGM将任意缺失或粗糙元素属性的布局视为来自已完成布局的中间扩散状态。由于不同的属性有其各自的语义和特征，我们建议解耦的扩散过程，以提高训练样本的多样性和学习的逆过程共同利用全局范围的上下文，以促进生成。因此，我们的LDGM可以从头开始生成布局或以任意可用属性为条件。大量的定性和定量实验表明，我们提出的LDGM优于现有的布局生成模型在功能和性能。
2023-03-09 cs.CV
DepR: Depth Guided Single-view Scene Reconstruction with Instance-level Diffusion
ShanghaiTech University（上海科技大学）；UC San Diego（加州大学圣地亚哥分校）；Lambda, Inc.（Lambda公司）；Stanford University（斯坦福大学）
本研究提出深度引导的单视角场景重建框架DepR，通过在训练与推理全程利用深度信息，结合实例级扩散与组合式范式，在有限合成数据训练下实现了SOTA性能与强泛化性。
2025-07-30 cs.CV
SceneComposer: Any-Level Semantic Image Synthesis
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（奥多比研究院）
我们提出了一个新的框架，有条件的图像合成从语义布局的任何精度水平，从纯文本到一个2D的语义画布精确的形状。更具体地说，输入布局由一个或多个语义区域组成，这些语义区域具有自由形式的文本描述和可调整的精度级别，这些精度级别可以基于所需的可控性来设置。该框架自然地减少到文本到图像（T2 I）在最低级别没有形状信息，它成为分割到图像（S2 I）在最高级别。通过支持之间的水平，我们的框架是灵活的，以协助不同的绘图专业知识和用户在不同阶段的创作工作流程。我们引入了几种新技术来解决这个新设置带来的挑战，包括用于收集训练数据的管道;精确编码的掩码金字塔和文本特征图表示，以联合编码精度级别，语义和成分信息;以及多尺度引导扩散模型来合成图像。为了评估所提出的方法，我们收集了一个测试数据集，包含用户绘制的布局与不同的场景和风格。实验结果表明，该方法可以在给定精度下生成高质量的布局图像，并与现有方法进行了比较。项目页面\url{https://zengxianyu.github.io/scenec/}
2022-11-21 cs.CV
Interactive Image Synthesis with Panoptic Layout Generation
Huawei Technologies（华为技术有限公司）
基于用户引导输入的交互式图像合成是一项具有挑战性的任务，用户希望能够轻松地控制生成图像的场景结构，虽然基于布局的图像合成方法已经取得了显著的进展，但是为了在交互式场景中得到逼真的伪图像，现有方法需要高精度的输入，可能需要多次调整，对新手用户不友好。当边界框的放置受到扰动时，基于布局的模型在构造的语义布局中遭受“缺失区域”，从而在生成的图像中产生不期望的伪影。在这项工作中，我们提出了全景布局生成对抗网络（PLGAN）来解决这一挑战。PLGAN采用全景理论，该理论将对象类别区分为具有无定形边界的“东西”和具有明确定义的形状的“事物”，使得东西和实例布局通过单独的分支构建，然后融合到全景布局中。特别是，填充布局可以采用无定形形状，并填充实例布局遗漏的区域。我们通过实验比较了我们的PLGAN与COCO-Stuff，Visual Genome和Landscape数据集上最先进的基于布局的模型。PLGAN的优点不仅在视觉上得到了证明，而且在初始得分、Fréchet初始距离、分类准确度得分和覆盖率方面得到了定量验证。
2022-03-28 cs.CV
HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control
Tsinghua University（清华大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Chinese University of Hong Kong（香港中文大学）
提出HandsOnWorld框架，通过单目重建从无约束视频中学习手部控制，利用Plücker手部映射解耦相机与手部运动，生成高保真自我中心视频。
2026-08-17 cs.CV
Image Generation from Layout
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
尽管最近在生成模型上取得了重大进展，但描绘多个和复杂对象布局的图像的受控生成仍然是一个难题。其中的核心挑战是外观的多样性，一个给定的对象可能拥有，因此，指数集的图像符合指定的布局。为了解决这些挑战，我们提出了一种新的方法，基于布局的图像生成;我们称之为Layout 2 Im。给定粗略的空间布局（边界框+对象类别），我们的模型可以生成一组逼真的图像，这些图像在所需位置具有正确的对象。每个对象的表示被分解为指定/确定的部分（类别）和未指定/不确定的部分（外观）。类别使用词嵌入进行编码，外观被提取到从正态分布采样的低维向量中。使用卷积LSTM将各个对象表示组合在一起，以获得完整布局的编码，然后解码为图像。引入了几个损失术语，以鼓励准确和多样化的生成。所提出的Layout 2 Im模型显著优于先前的最新技术水平，在非常具有挑战性的COCO-Stuff和Visual Genome数据集上，最佳报告的初始得分分别提高了24.66%和28.57%。大量的实验也证明了我们的方法的能力，生成复杂和多样化的图像与多个对象。
2019-10-14 cs.CV eess.IV
Training-free Composite Scene Generation for Layout-to-Image Synthesis
The University of Sydney（悉尼大学）；School of Computer Science（计算机学院）
本文提出一种无训练的布局到图像合成方法，通过标记间约束和自注意力约束解决语义冲突，提升生成图像的保真度和复杂度。
2024-07-18 cs.AI cs.CV
LayoutVAE: Stochastic Scene Layout Generation From a Label Set
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（北极光人工智能）；University of British Columbia（不列颠哥伦比亚大学）
近年来，研究界对场景生成的兴趣越来越大。然而，用于从文本描述生成场景布局的模型在很大程度上忽略了文本所指示的结构内的看似合理的视觉变化。我们提出了LayoutVAE，一个基于变分自编码器的框架，用于生成随机场景布局。LayoutVAE是一个多功能的建模框架，允许在给定标签集的情况下生成完整的图像布局，或者在给定新标签的情况下为现有图像生成每个标签布局。此外，它还能够检测不寻常的布局，潜在地提供了一种方法来评估布局生成问题。在MNIST布局和具有挑战性的COCO 2017 Panoptic数据集上进行的大量实验验证了我们提出的框架的有效性。
2021-06-01 cs.CV
Physically Aware 360$^\circ$ View Generation from a Single Image using Disentangled Scene Embeddings
Disentangled360通过结合方向解耦体积渲染和单图像360°视图合成，实现了医学影像和自然场景重建中的高效真实感视图生成。
2025-12-11 cs.CV
3DitScene: Editing Any Scene via Language-guided Disentangled Gaussian Splatting
The Chinese University of Hong Kong（香港中文大学）；Stanford University（斯坦福大学）；Snap Inc.（Snap公司）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；ByteDance（字节跳动）
3DitScene提出语言引导的解耦高斯泼溅框架，统一2D到3D场景编辑，支持全局与个体精细控制，实验验证其有效性与多功能性。
2024-05-28 cs.CV
End-to-End Optimization of Scene Layout
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
我们提出了一个端到端的变分生成模型的场景布局合成场景图的条件。与无条件场景布局生成不同，我们使用场景图作为抽象但一般的表示来指导满足场景图中包含的关系的各种场景布局的合成。这使得对合成过程的控制更加灵活，允许各种形式的输入，例如从句子中提取或从单色图像中推断的场景布局。使用我们的条件布局合成器，我们可以生成共享输入示例的相同结构的各种布局。除了这个条件生成设计，我们还集成了一个微分渲染模块，使布局优化只使用场景的2D投影。给定深度和语义图，可微分渲染模块使得能够在合成布局上进行优化，以按合成分析的方式适合给定的输入。实验表明，我们的模型实现了更高的准确性和多样性的条件场景合成，并允许基于范例的场景生成从各种输入形式。
2020-07-23 cs.CV
TransmissiveGS: Residual-Guided Disentangled Gaussian Splatting for Transmissive Scene Reconstruction and Rendering
HKUST（香港理工大学）
本文提出TransmissiveGS框架，通过双高斯表示和延迟着色函数解耦透射场景的反射与透射，利用多视图不一致性分离反射和透射，并引入高频正则化和新合成数据集提升重建与渲染质量。
2026-05-11 cs.CV
Cross-view Geo-localization via Learning Disentangled Geometric Layout Correspondence
University of Vermont（佛蒙特大学）；Vermont Complex Systems Center, University of Vermont（佛蒙特大学佛蒙特复杂系统中心）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）；Information Technology University（信息技术大学）；University of Science and Technology of China（中国科学技术大学）
针对跨视图地理定位在跨区域场景下性能差的问题，提出GeoDTR模型，通过几何布局提取器解耦几何信息并结合两类数据增强与反事实学习，提升了同区域与跨区域基准的定位性能。
2023-06-16 cs.CV
Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation
State University of New York at Buffalo（纽约州立大学布法罗分校）
针对VEST中纠缠表示导致的运动与渲染误差，本文通过3D点云解耦场景几何与运动，并分两阶段预测自运动及动态对象残差运动，在两个城市数据集上优于强基线。
2024-08-02 cs.CV
