LANe: Lighting-Aware Neural Fields for Compositional Scene Synthesis
Georgia Institute of Technology（佐治亚理工学院）；Ford Autonomy（福特自动驾驶部门）
提出光照感知神经场LANe，通过解耦世界与物体神经场并结合光场与着色器处理光照变化，实现了在空间光照变化下物理一致的驾驶场景组合合成。
2023-04-06 cs.CV
UrbanGIRAFFE: Representing Urban Scenes as Compositional Generative Neural Feature Fields
Zhejiang University（浙江大学）
生成具有可控摄像机姿态和场景内容的真实感图像对于包括AR/VR和仿真在内的许多应用都是必不可少的。尽管在3D感知生成模型方面取得了快速进展，但大多数现有方法都集中在以对象为中心的图像上，并且不适用于生成城市场景以进行自由相机视点控制和场景编辑。为了解决这个具有挑战性的任务，我们提出了UrbanGIRAFFE，它使用一个粗略的3D全景先验，包括不可数的东西和可数的对象的布局分布，以指导3D感知生成模型。我们的模型是合成和可控的，因为它将场景分解为物质，物体和天空。利用语义体素网格形式的填充先验，我们构建了一个条件填充生成器，有效地结合了粗糙的语义和几何信息。对象布局先验进一步允许我们从杂乱的场景中学习对象生成器。适当的损失函数，我们的方法有利于逼真的三维感知图像合成与不同的可控性，包括大的相机运动，编辑的东西，和对象操作。我们在合成和真实世界的数据集上验证了我们的模型的有效性，包括具有挑战性的KITTI-360数据集。
2023-03-28 cs.CV
SPOON: Towards Coherent Compositional 3D Scene Generation from Uncalibrated Multi-view Images
The University of Hong Kong（香港大学）；Shenzhen Loop Area Institute（深圳河套学院）；The Hong Kong University of Science and Technology（香港科技大学）；Sun Yat-sen University（中山大学）；TranscEngram
SPOON通过引导-路由-协调范式，利用重建几何协调多视角姿态，实现一致的三维场景生成，在ARSG-110K上显著降低倒角距离。
2026-10-01 cs.CV
WorldSculpt: Generating Compositional Worlds from Grounded Videos
Alaya Lab（阿里达摩院Alaya实验室）；The University of Tokyo（东京大学）
本研究提出WorldSculpt，通过适配单物体3D生成先验到多视图观测，实现从接地视频生成含数百物体的复杂组合式3D世界，所提Pixal3D方法在基准测试中优于现有技术，还可转换3DGS世界为组合网格场景。
2026-09-09 cs.CV
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
Tsinghua University（清华大学）；Galbot Project（Galbot项目）
SimRecon通过引入主动视角优化和场景图合成器，解决了从真实视频中重建复杂场景时的视觉和物理真实性问题，实现了感知-生成-模拟的全流程流水线。
2026-03-03 cs.CV
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University（首尔国立大学）
提出CS-CLIP，利用场景图构建结构化负样本，解决组合推理中元素特定偏差，实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
Compositional Human-Scene Interaction Synthesis with Semantic Control
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
在虚拟人和他们的3D环境之间合成自然交互对于许多应用来说是至关重要的，例如计算机游戏和AR/VR体验。我们的目标是合成与由高级语义规范控制的给定3D场景交互的人类，作为动作类别和对象实例对，例如，“坐在椅子上”。将交互语义纳入生成框架的关键挑战是学习有效捕获异构信息的联合表示，包括人体关节，3D对象几何形状和交互的意图。为了解决这个问题，我们设计了一种新的基于变换的生成模型，其中关节的三维人体表面点和三维物体被联合编码在一个统一的潜在空间，和语义的人和物体之间的相互作用是通过位置编码嵌入。此外，受人类可以同时与多个对象进行交互的组合性质的启发，我们将交互语义定义为不同数量的原子动作对象对的组合。我们提出的生成模型可以自然地结合不同数量的原子交互，这使得合成合成的人的场景交互，而不需要复合交互数据。我们扩展的PROX数据集与交互语义标签和场景实例分割来评估我们的方法，并证明我们的方法可以生成逼真的人与场景的交互与语义控制。我们的感知研究表明，我们合成的虚拟人可以自然地与3D场景进行交互，大大优于现有的方法。我们将我们的方法命名为COINS，用于具有语义控制的组合交互合成。代码和数据可在https://github.com/zkf1997/COINS上获得。
2022-07-26 cs.CV
RoomTex: Texturing Compositional Indoor Scenes via Iterative Inpainting
Shanghai AI Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
提出由粗到细的3D场景纹理框架RoomTex，通过全景图引导和迭代修复技术，解决组合室内场景的风格不一致和遮挡问题，生成高保真纹理并支持交互式编辑。
2024-06-04 cs.CV
Semantic Compositional Learning for Low-shot Scene Graph Generation
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）
场景图为许多下游任务提供了有价值的信息。许多场景图生成（SGG）模型仅使用有限的注释关系三元组进行训练，导致其在低拍摄（少数和零）场景中表现不佳，特别是在罕见的谓词上。为了解决这个问题，我们提出了一种新的语义组合学习策略，使其能够构建额外的，现实的关系三元组与来自不同图像的对象。具体来说，我们的策略分解的关系三元组识别和删除不必要的组件，并组成一个新的关系三元组融合语义或视觉上相似的对象从视觉组件字典，同时确保现实的新组成的三元组。值得注意的是，我们的策略是通用的，可以与现有的SGG模型相结合，以显着提高其性能。我们对基准数据集Visual Genome进行了全面评估。对于最近的三个SGG模型，添加我们的策略将其性能提高了近50%，并且它们都大大超过了当前的最先进水平。
2021-08-19 cs.CV
CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
Vision and Image Processing Lab, University of Waterloo, Canada（滑铁卢大学视觉与图像处理实验室）
提出CoGS框架，通过组合式高斯泼溅将单目视频分解为人体、刚体物体和静态场景三个分支，并采用六阶段优化实现动态人-物交互场景的忠实重建。
2026-06-27 cs.CV
SceneTransporter: Optimal Transport-Guided Compositional Latent Diffusion for Single-Image Structured 3D Scene Generation
Xi’an Research Institute of Hi-Tech（西安高新技术研究院）；Tsinghua University（清华大学）；SkyWork AI；Tongji University（同济大学）；Fudan University（复旦大学）；Beijing Normal University（北京师范大学）
SceneTransporter通过最优传输引导的组合潜在扩散模型，提升单图像结构化3D场景生成的实例连贯性和几何保真度。
2026-02-26 cs.CV
Compositional Scene Modeling with Global Object-Centric Representations
Fudan University（复旦大学）
由于对象之间的透视和遮挡，同一对象的外观在不同场景图像中可能不同。人类可以很容易地识别同一个对象，即使存在遮挡，通过完成基于其在内存中的规范图像的遮挡部分。实现这种能力对于机器学习来说仍然是一个挑战，特别是在无监督学习的设置下。受人类这种能力的启发，本文提出了一种组合场景建模方法，可以在没有任何监督的情况下推断对象的规范图像的全局表示。每个对象的表示被分成表征全局不变信息（即对象的规范表示）的内在部分和表征场景相关信息（例如，位置和大小）。为了推断每个对象的内在表示，我们采用了补丁匹配策略，以对齐的对象的典型表示的一个潜在的被遮挡的对象的表示，并采样的最可能的典型表示的基础上，由摊销变分推理确定的对象的类别。在四个以对象为中心的学习基准上进行了大量的实验，实验结果表明，该方法不仅在分割和重建方面优于现有技术，而且具有良好的全局对象识别性能。
2022-11-24 cs.CV
REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Tencent（腾讯）；Harvard University（哈佛大学）
REPARO提出一种从单图像生成组合式3D资产的两步方法：先提取并重建单个物体网格，再通过结合最优传输外观损失与语义损失的可微渲染优化布局，有效提升多物体场景的独立性、细节精度与整体连贯性。
2025-08-27 cs.CV
DrivingVoxels: Compositional Sparse Voxel Rasterization for Dynamic Driving Scene Reconstruction
Noah’s Ark, Huawei Paris Research Center, France（华为巴黎研究中心诺亚方舟实验室）；EURECOM, France（法国EURECOM）
提出DrivingVoxels框架，通过组合多个独立八叉树的稀疏体素联合光栅化，结合LiDAR引导的结构初始化，高效重建动态驾驶场景，在PandaSet上达到与3DGS相当或更优的感知与结构指标，且训练时间更短。
2026-06-23 cs.CV
Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder
Institute of Computing Science, Poznan University of Technology（波兹南理工大学计算机科学学院）
针对深度学习架构缺乏捕捉基础视觉概念方法的问题，提出结合领域特定语言与卷积神经网络的神经符号组合自编码器，在合成基准上实现图像形成过程解耦、小数据学习等能力。
2024-09-15 cs.CV
Compositional Scene Representation Learning via Reconstruction: A Survey
本综述梳理了基于深度神经网络、以重建为基础的组合式场景表征学习的发展历程与方法分类，给出代表性方法的基准测试及开源复现工具箱，并探讨了现有方法局限与未来研究方向。
2023-06-14 cs.CV cs.LG
MALeR: Improving Compositional Fidelity in Layout-Guided Generation
Adobe Research（Adobe研究）
MALeR针对布局引导图像生成中的主体越界、分布外伪影和属性泄漏问题，提出布局约束与掩码属性感知绑定机制，显著提升复杂组合场景下的组合准确性与属性绑定效果。
2025-11-08 cs.CV
MCCD: Multi-Agent Collaboration-based Compositional Diffusion for Complex Text-to-Image Generation
Academy for Engineering and Technology（工程与技术学院）；Cognition and Intelligent Technology Laboratory (CIT Lab)（认知与智能技术实验室）；School of Future Science and Engineering（未来科学与工程学院）；Jilin Provincial Key Laboratory of Intelligence Science and Engineering（吉林省智能科学与工程重点实验室）；Engineering Research Center of AI and Robotics, Ministry of Education（人工智能与机器人工程研究中心）
本文提出MCCD方法，通过多智能体场景解析和分层组合扩散，在无需训练的情况下提升复杂文本到图像生成的性能。
2025-05-06 cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，索非亚大学“圣克莱门特·奥赫里德斯基”）
COM4D通过设计空间和时间注意力训练，仅用静态多物体或动态单物体监督，一致预测4D/3D对象的结构和时空配置，无需4D组合训练数据，实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
深度生成模型允许以高分辨率进行逼真的图像合成。但对于许多应用程序来说，这还不够：内容创建还需要可控。虽然最近的几项工作研究了如何解开数据变化的潜在因素，但大多数都是在2D中操作，因此忽略了我们的世界是三维的。此外，只有少数作品考虑场景的组成性质。我们的关键假设是，将合成的3D场景表示到生成模型中会导致更可控的图像合成。将场景表示为合成生成神经特征场，使我们能够从背景中分离出一个或多个对象以及单个对象的形状和外观，同时从非结构化和无姿势的图像集合中学习，而无需任何额外的监督。将该场景表示与神经渲染流水线相结合，产生了快速且逼真的图像合成模型。正如我们的实验所证明的那样，我们的模型能够解开单个对象，并允许在场景中平移和旋转它们以及改变相机姿势。
2021-04-29 cs.CV cs.LG
GaussianBlock: Building Part-Aware Compositional and Editable 3D Scene by Primitives and Gaussians
Lancaster University（兰卡斯特大学）
提出GaussianBlock，一种部件感知的组合式3D重建方法，通过基元与3D高斯的混合表示及注意力引导中心化损失，实现语义解纠缠、可编辑且高保真的场景重建。
2025-04-24 cs.CV
Comprehensive Visual Question Answering on Point Clouds through Compositional Scene Manipulation
The Future Network of Intelligence Institute, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）未来智能网络研究院）；School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）
该研究提出了大规模VQA-3D数据集CLEVR3D，通过组合场景操作策略生成多样化问题，显著提升了3D场景理解任务的性能。
2023-05-22 cs.CV
Adventurer's Treasure Hunt: A Transparent System for Visually Grounded Compositional Visual Question Answering based on Scene Graphs
University of Bremen（不来梅大学）
为了提高VQA推理过程的透明性和可视性，提出了一个基于场景图的组合式VQA任务模块化系统。我们的系统被称为“冒险家的寻宝”（或ATH），以我们在模型的答案搜索过程和冒险家的宝藏搜索之间的类比命名。我们开发ATH时考虑了三个特征：1.通过设计，ATH允许我们明确量化每个子组件对整体VQA性能的影响，以及它们对各自子任务的性能。2.通过对寻宝之后的搜索任务进行建模，ATH本质上为处理的问题产生了一个明确的、基于视觉的推理路径。3. ATH是第一个GQA训练的VQA系统，它通过直接查询视觉知识库来动态提取答案，而不是从预先固定的答案词汇表上专门学习的分类器的输出分布中选择一个。我们报告了所有组件的详细结果及其对GQA数据集整体VQA性能的贡献，并表明ATH在所有检查系统中获得了最高的视觉基础分数。
2021-06-28 cs.CV
Text2Scene: Generating Compositional Scenes from Textual Descriptions
University of Virginia（弗吉尼亚大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们提出了Text2 Scene，这是一个从自然语言描述生成各种形式的组合场景表示的模型。与最近的工作不同，我们的方法不使用生成对抗网络（GANs）。相反，Text2Scene通过关注输入文本的不同部分和生成场景的当前状态，学习在每个时间步长顺序生成对象及其属性（位置，大小，外观等）。我们表明，根据微小的修改，所提出的框架可以处理不同形式的场景表示，包括卡通场景，对应于真实图像的对象布局，和合成图像的生成。与使用自动度量的最先进的基于GAN的方法相比，我们的方法不仅具有竞争力，而且具有产生可解释结果的优势。
2019-06-09 cs.CL cs.CV
Pano3DComposer: Feed-Forward Compositional 3D Scene Generation from Single Panoramic Image
Sun Yat-sen University（中山大学）
Pano3DComposer通过端到端框架从单张全景图像高效生成高精度3D场景，采用Object-World Transformation Predictor和Coarse-to-Fine对齐机制提升几何一致性。
2026-03-06 cs.CV
Object-Compositional Neural Implicit Surfaces
Monash University（莫纳什大学）；The Chinese University of Hong Kong（香港中文大学）；University of Oxford（牛津大学）；Nanyang Technological University（南洋理工大学）
神经隐式表示在多视点图像的新视点合成和高质量三维重建中显示了其有效性。然而，大多数方法专注于整体场景表示，但忽略了其中的单个对象，从而限制了潜在的下游应用。为了学习对象组合表示，一些作品将2D语义图作为训练中的线索，以掌握对象之间的差异。但它们忽略了对象几何信息与实例语义信息之间的紧密联系，导致单个实例的建模不准确。本文提出了一种新的框架，ObjectSDF，建立一个对象组成的神经隐式表示与高保真的三维重建和对象表示。针对传统体渲染流水线的二义性，结合单个物体的符号距离函数（SDF）对场景进行建模，以施加显式的表面约束。区分不同实例的关键是重新审视单个对象的SDF和语义标签之间的强关联。特别地，我们将语义信息转换为对象SDF的函数，并开发了一个统一的和紧凑的表示场景和对象。实验结果表明，ObjectSDF框架在表示整体对象组合场景和单个实例方面的优越性。代码可以在www.example.com上找到
2022-08-01 cs.CV
Evaluating Compositional Scene Understanding in Multimodal Generative Models
Department of Psychology, University of California, Los Angeles（加州大学洛杉矶分校心理学系）；Microsoft Research, NYC（微软研究院纽约分部）；Air Force Research Laboratory（美国空军研究实验室）；Department of Statistics, University of California, Los Angeles（加州大学洛杉矶分校统计学系）
本研究评估了DALL-E 3、GPT-4V等当前多模态生成模型在组合场景理解上的能力，发现其较前代有所提升，但在处理多物体和多重关系的复杂场景时仍远不及人类水平。
2025-03-29 cs.AI cs.CV
LAYOUTDREAMER: Physics-guided Layout for Text-to-3D Compositional Scene Generation
ShangHai University（上海大学）
LayoutDreamer通过结合3D高斯点云和物理引导，实现了高质量的文本到3D组合场景生成，提升了场景的真实性和可控性。
2025-03-22 cs.AI cs.CV cs.GR
Unsupervised Learning of Compositional Scene Representations from Multiple Unspecified Viewpoints
Shanghai Key Laboratory of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）
视觉场景具有极其丰富的多样性，这不仅是因为存在着物体和背景的无限组合，而且还因为同一场景的观察结果可能会随着视点的变化而发生很大的变化。当从多个视点观察包含多个对象的视觉场景时，人类能够从每个视点以合成的方式感知场景，同时在不同的视点之间实现所谓的“对象恒定性”，即使确切的视点是未知的。这种能力对于人类在移动时识别同一物体并有效地从视觉中学习至关重要。设计具有类似能力的模型是有趣的。在本文中，我们考虑了一个新的问题，学习组成场景表示从多个未指定的观点，而不使用任何监督，并提出了一个深度生成模型，分离潜在的表示为一个视点无关的部分和视点相关的部分来解决这个问题。为了推断潜在表征，包含在不同视点中的信息由神经网络迭代地整合。在几个专门设计的合成数据集上的实验表明，该方法能够有效地从多个未指定的视点进行学习。
2021-12-12 cs.CV cs.LG
Trans4D: Realistic Geometry-Aware Transition for Compositional Text-to-4D Synthesis
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）；Stanford University（斯坦福大学）
针对现有4D生成方法难以合成复杂4D过渡中显著物体形变与场景交互的问题，提出Trans4D文本到4D合成框架，结合MLLMs的物理感知规划与几何感知过渡网络，实现逼真复杂场景4D过渡，性能优于现有SOTA方法。
2024-10-09 cs.CV
Learning and generalization of compositional representations of visual scenes
Intel Labs（英特尔实验室）；UC Berkeley（加州大学伯克利分校）
由多个对象组成的复杂视觉场景，每个对象都具有属性，例如对象名称、位置、姿势、颜色等，为了训练神经网络，通常，深度学习网络是在分类场景描述的监督下训练的。场景的普通分类描述包含单个对象的名称，但缺乏关于其他属性的信息。在这里，我们使用分布式表示的对象属性和矢量操作的矢量符号架构，以创建一个完整的组成描述的场景在一个高维矢量。为了控制场景的组成，我们使用人工图像组成的多个，翻译和彩色MNIST数字。与学习类别标签相比，我们在这里训练深度神经网络来输出输入图像的完整组成向量描述。然后，深度网络的输出可以由VSA谐振器网络解释，以提取单个对象的对象身份或其他属性。我们评估随机生成的场景的系统的性能和泛化性能。具体来说，我们证明了网络能够学习任务，并推广到看不见的数字形状和场景配置。此外，训练模型的泛化能力有限。例如，在训练数据中存在间隙的情况下，如在训练期间在特定图像位置中未示出的对象，学习不会自动填充该间隙。
2023-03-23 cs.CV cs.NE
PhiP-G: Physics-Guided Text-to-3D Compositional Scene Generation
School of Future Technology, Shanghai University（上海大学未来技术学院）；Institute of Artificial Intelligence, Shanghai University（上海大学人工智能研究院）
针对文本到3D组合场景生成中布局不符物理定律、复杂描述捕捉难等问题，提出框架 PhiP-G。该框架结合LLM智能体、多模态2D生成与3D高斯生成构建物理世界模型，显著提升了场景生成质量、物理合理性及效率。
2025-02-02 cs.AI cs.CV
gCoRF: Generative Compositional Radiance Fields
MIT（麻省理工学院）
对象的3D生成模型能够通过3D控制实现照片级逼真的图像合成。现有方法将场景建模为全局场景表示，忽略了场景的组成方面。组合推理除了支持可推广的3D推理之外，还可以支持各种各样的编辑应用程序。在本文中，我们提出了一个合成生成模型，其中对象的每个语义部分表示为一个独立的3D表示，只从野外2D数据中学习。我们从一个全局生成模型（GAN）开始，并学习使用2D分割掩码的监督将其分解为不同的语义部分。然后，我们学习合成独立采样的部分，以创建连贯的全局场景。不同的部分可以独立采样，同时保持对象的其余部分固定。我们评估我们的方法对各种各样的对象和部件，并演示编辑应用程序。
2022-10-31 cs.CV cs.GR
MoCA: Mixture-of-Components Attention for Scalable Compositional 3D Generation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Tencent Hunyuan（腾讯文恩）
MoCA通过重要性路由和组件压缩技术，实现高效可扩展的组合性3D生成，优于现有基线方法。
2025-12-08 cs.CV
Dynamic LiDAR Re-simulation using Compositional Neural Fields
ETH Zurich（苏黎世联邦理工学院）；TU Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达公司）
提出 DyNFL 组合神经场方法，通过分离重建静态背景与动态物体并进行光线丢弃组合，实现可编辑、高保真的动态驾驶场景 LiDAR 重仿真。
2024-04-03 cs.CV
CompoNeRF: Text-guided Multi-object Compositional NeRF with Editable 3D Scene Layout
HKUST(GZ)（香港科技大学（广州））；OPPO（OPPO公司）；HKUST（香港科技大学）
提出CompoNeRF框架，通过集成可编辑3D场景布局与双层文本引导机制，解决多物体场景生成中的引导崩溃问题，实现高保真、可编辑重组的多物体3D场景生成。
2024-09-24 cs.CV
Generative Hierarchical Models for Parts, Objects, and Scenes
Rutgers University（罗格斯大学）；Xi’an Jiaotong University（西安交通大学）
部件和对象之间的组成结构是自然场景中固有的。通过无监督学习对这种组合层次结构进行建模可以带来各种好处，例如可解释性和可转移性，这在许多下游任务中非常重要。在本文中，我们提出了第一个深度潜变量模型，称为RICH，用于学习可解释组成层次的表示。RICH的核心是一个潜在的场景图表示，它根据场景实体的组成关系将它们组织成一个树结构。在推理过程中，采用自顶向下的方法，RICH能够使用更高级别的表示来指导更低级别的分解。这避免了自底向上方法所面临的部件和对象之间布线的难题。在包含多个对象与不同部分组成的图像上的实验中，我们证明了RICH能够学习潜在的组成层次结构，并生成想象中的场景。
2019-10-21 cs.CV cs.LG stat.ML
Learning Unified Decompositional and Compositional NeRF for Editable Novel View Synthesis
Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出统一的两阶段NeRF框架，通过one-hot物体辐射场正则化和修复伪监督实现场景分解与组合，同时提升新视角合成和场景编辑性能。
2023-08-05 cs.CV
Loci-Segmented: Improving Scene Segmentation Learning
University of Tübingen（蒂宾根大学）
提出Loci-Segmented系统，无需背景信息或槽分配即可动态分割场景为可解释的背景和槽对象编码，在MOVi等数据集上视频分解性能大幅提升，可作为下游任务基础模型。
2024-02-06 cs.CV
CP4D: Compositional Physics-aware 4D Scene Generation
School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学）；Zhongguancun Academy（中关村学院）；the State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所）；Eastern Institute of Technology（东部技术研究所）；Tsinghua University（清华大学）
提出CP4D范式，通过静态环境与物理动态对象组合，结合物理模拟器与视频扩散模型生成轨迹，实现高保真、物理一致的4D场景。
2026-06-08 cs.CV
Learning Multi-Object Dynamics with Compositional Neural Radiance Fields
TU Berlin（柏林工业大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）
提出了一种基于隐式对象编码器、神经辐射场（NeRFs）和图神经网络从图像观测中学习组合多对象动力学模型的方法。NeRF由于其强大的3D先验，已成为表示场景的流行选择。然而，大多数NeRF方法都是在单个场景上训练的，用全局模型来表示整个场景，对包含不同数量对象的新场景进行泛化，这是一个挑战。相反，我们提出了一个组合，以对象为中心的自动编码器框架，将场景的多个视图映射到一组分别代表每个对象的潜在向量。潜在向量参数化个体NeRF，场景可以从个体NeRF重建。在此基础上，我们在潜空间中训练了一个图神经网络动力学模型，实现了动力学预测的组合性。我们的方法的一个关键特征是，通过NeRF解码器强制潜向量对3D信息进行编码，这使我们能够在学习动态模型时结合结构先验，使长期预测与几个基线相比更加稳定。模拟和真实世界的实验表明，我们的方法可以建模和学习的动态组成的场景，包括刚性和可变形的对象。视频：https://dannydriess.github.io/compnerfdyn/
2022-07-27 cs.CV cs.LG cs.RO
Frankenstein: Generating Semantic-Compositional 3D Scenes in One Tri-Plane
Shanghai Jiao Tong University（上海交通大学）；Tencent XR Vision Labs（腾讯XR视觉实验室）；The University of Tokyo（东京大学）；Australian National University（澳大利亚国立大学）
Frankenstein提出基于扩散的框架，在单一三平面张量中编码并生成多个语义分离的3D形状，实现房间内部和人体化身等组合式场景的单次生成，并支持逐部分重纹理、物体重排和衣物重新绑定等下游应用。
2024-08-30 cs.AI cs.CV cs.GR
RICO: Regularizing the Unobservable for Indoor Compositional Reconstruction
Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）
本文提出 RICO，通过正则化被遮挡背景的几何平滑度并利用物景关系约束前景的 SDF 与深度，提升部分观测室内场景的组合式重建质量。
2023-09-29 cs.CV
SimuScene: Simulation-Ready Compositional 3D Scene Reconstruction from a Single Image
Seoul National University（首尔国立大学）
提出SimuScene，一种将物理仿真融入形状和布局估计的组合式3D重建流水线，通过物理引擎诊断重建错误并驱动修正，生成稳定且仿真就绪的场景。
2026-11-04 cs.CV cs.RO
A Compositional Feature Embedding and Similarity Metric for Ultra-Fine-Grained Visual Categorization
Griffith University（格里菲斯大学）
细粒度视觉分类（FGVC）是近年来发展起来的一种分类方法，其目标是以较小的类间方差对目标进行分类。然而，超细粒度的视觉分类（超FGVC），其目标是识别具有极其相似的模式的子类，并没有得到太多的关注。在超FGVC数据集中，随着粒度的下降，每个类别的样本总是稀缺的，这将导致过拟合问题。此外，不同类别之间的差异太微妙，即使是专业专家也无法区分。针对这些问题，提出了一种新的组合特征嵌入和相似性度量（CECS）。具体来说，在组成特征嵌入模块中，我们在原始输入图像中随机选择补丁，然后将这些补丁替换为来自不同类别的图像的补丁或屏蔽掉。然后利用替换后的图像对原始输入图像进行增强，可以提供更多样的样本，从而在很大程度上缓解了由于训练样本有限而导致的过拟合问题。此外，不同样本的学习迫使模型不仅学习最具区分力的特征，而且学习剩余区域中的其他信息特征，从而增强模型的泛化能力和鲁棒性。在组合相似性度量模块中，提出了一种新的相似性度量方法，通过缩小类内距离和扩大类间距离来提高分类性能。两个ultra-FGVC数据集和一个FGVC数据集与最近的基准方法的实验结果一致表明，所提出的CECS方法达到了最先进的性能。
2021-10-27 cs.CV
Compositional Law Parsing with Latent Random Functions
Fudan University（复旦大学）
人的认知具有组合性。我们通过将场景分解为不同的概念来理解场景（例如，物体的形状和位置），并学习这些概念的各自规律，这些规律可以是自然的（例如，运动定律）或人为的（例如，游戏规则）。这些法律的自动解析表明模型的理解场景的能力，这使得法律解析在许多视觉任务中发挥着核心作用。提出了一种用于组合式LAw解析（CLAP）的深层潜变量模型，该模型通过编码-解码架构将场景中的概念表示为潜变量，实现了类似人类的组合能力。CLAP采用神经过程实例化的概念特定的潜在随机函数来捕获概念的规律。我们的实验结果表明，CLAP优于基线方法在多个视觉任务，如直观的物理，抽象的视觉推理，场景表示。通过修改样本上的特定潜在随机函数，法律操作实验说明了CLAP的可解释性。例如，CLAP从场景中移动的球中学习位置变化和外观恒定性的规律，从而可以在样本之间交换规律或将现有的规律组合成新的规律。
2023-02-25 cs.AI cs.CV cs.LG
GraphDreamer: Compositional 3D Scene Synthesis from Scene Graphs
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；University of Cambridge（剑桥大学）
本文提出GraphDreamer框架，利用场景图中的节点和边信息引导预训练文本到图像扩散模型，并结合有符号距离场与穿透约束，实现无需图像级监督的组合式3D场景生成与对象解耦。
2024-06-10 cs.CV cs.GR cs.LG
Compositional Factorization of Visual Scenes with Convolutional Sparse Coding and Resonator Networks
Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校红木理论神经科学中心）；Université Paris-Saclay（巴黎-萨克雷大学）；Örebro University（厄勒布鲁大学）；Research Institutes of Sweden（瑞典研究院）
本文提出将卷积稀疏编码与谐振器网络结合，把图像稀疏特征编码为高维向量并分解以解析场景，提升分布式表示容量并减少搜索冲突，实现快速准确的场景分解。
2024-04-29 cs.CV cs.NE
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
University College London（伦敦大学学院）；Alan Turing Institute（阿兰·图灵研究所）；Reality Labs Research, Meta（元现实实验室研究部门）
该研究提出文本引导的3D场景编辑模型ReplaceAnything3D（RAM3D），采用“擦除-替换”方法，可基于文本提示替换场景中特定物体，同时保持多视图3D一致性，在多种真实场景中实现了前景物体与场景的良好融合。
2024-01-31 cs.AI cs.CV cs.GR
Compositional Generative Model of Unbounded 4D Cities
S-Lab, Nanyang Technological University, Singapore（南洋理工大学S实验室）
针对4D城市生成的挑战性，提出组合式生成模型CityDreamer4D，通过分离动静物体、采用不同神经场与定制参数化方式，结合新数据集，实现SOTA的无界4D城市生成并支持多下游应用。
2025-09-01 cs.CV
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
Southeast University（东南大学）；Xiaohongshu Inc.（小红书公司）；Monash University（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）；Anhui University（安徽大学）
CompGen通过课程强化学习框架提升文本到图像生成的组合能力，采用场景图和自适应采样算法优化模型性能。
2025-11-23 cs.CV
Compositional Feature Augmentation for Unbiased Scene Graph Generation
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港理工大学）；FinVolution
本文提出组合特征增强策略，通过增强关系三元组特征多样性，解决SGG中的偏见问题。
2026-01-17 cs.CV
CityDreamer: Compositional Generative Model of Unbounded 3D Cities
Nanyang Technological University（南洋理工大学）
CityDreamer 提出一种组合式生成模型，将三维城市分解为建筑实例与背景物体的神经场，并结合鸟瞰图表示、哈希网格及 CityGen 数据集，实现无界三维城市的逼真生成与局部编辑。
2024-06-06 cs.CV
Compositional Image Decomposition with Diffusion Models
MIT（麻省理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；TU Delft（代尔夫特理工大学）
本文提出无监督方法 Decomp Diffusion，将单张图像分解为多个由扩散模型表示的组件，并能灵活重组不同来源的组件以生成训练中未见过的全新场景。
2024-06-27 cs.CV cs.LG
