Gaussian Object Carver: Object-Compositional Gaussian Splatting with surfaces completion
Horizon Robotics（Horizon Robotics (地平线机器人)）
本文提出GOC框架，将3D Gaussian Splatting与单目几何先验、多视图正则化及零样本OSC结合，实现可编辑、对象组合式且能补全遮挡表面的高质量3D场景重建。
2024-12-03 cs.CV cs.RO
Learning Multi-Object Dynamics with Compositional Neural Radiance Fields
TU Berlin（柏林工业大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）
提出了一种基于隐式对象编码器、神经辐射场（NeRFs）和图神经网络从图像观测中学习组合多对象动力学模型的方法。NeRF由于其强大的3D先验，已成为表示场景的流行选择。然而，大多数NeRF方法都是在单个场景上训练的，用全局模型来表示整个场景，对包含不同数量对象的新场景进行泛化，这是一个挑战。相反，我们提出了一个组合，以对象为中心的自动编码器框架，将场景的多个视图映射到一组分别代表每个对象的潜在向量。潜在向量参数化个体NeRF，场景可以从个体NeRF重建。在此基础上，我们在潜空间中训练了一个图神经网络动力学模型，实现了动力学预测的组合性。我们的方法的一个关键特征是，通过NeRF解码器强制潜向量对3D信息进行编码，这使我们能够在学习动态模型时结合结构先验，使长期预测与几个基线相比更加稳定。模拟和真实世界的实验表明，我们的方法可以建模和学习的动态组成的场景，包括刚性和可变形的对象。视频：https://dannydriess.github.io/compnerfdyn/
2022-07-27 cs.CV cs.LG cs.RO
Compositional 3D Human-Object Neural Animation
The University of Sydney（悉尼大学）
本文提出基于隐式神经表示与CC-NeRF的组合式三维人-物神经动画框架，通过潜码解耦人物和物体，实现新颖交互、人物、物体及姿态驱动下的HOI渲染与泛化控制。
2023-04-27 cs.AI cs.CV cs.LG
Rethinking the compositionality of point clouds through regularization in the hyperbolic space
Politecnico di Torino（都灵理工大学）
3D对象的点云表现出固有的组成性质，其中简单的部分可以组装成逐渐更复杂的形状以形成整个对象。为了建立有效的模型，明确地捕捉这种部分-整体层次结构是一个长期追求的目标，但其树状性质使这项任务变得难以捉摸。在本文中，我们建议将点云分类器的特征嵌入到双曲空间中，并显式地正则化空间以考虑部分-整体层次。双曲空间是唯一能够成功地嵌入层次结构的树状性质的空间。这导致了最先进的监督模型的点云分类性能的大幅提高。
2022-09-21 cs.CV eess.IV
CG3D: Compositional Generation for Text-to-3D via Gaussian Splatting
University of California Los Angeles（加州大学洛杉矶分校）
CG3D利用可组合的高斯辐射场表示，解决了文本到3D生成中多物体场景、文本控制组合和物理真实性问题，在物体组合与物理精度上超越扩散模型。
2023-11-29 cs.AI cs.CV
ReplaceAnything3D:Text-Guided 3D Scene Editing with Compositional Neural Radiance Fields
University College London（伦敦大学学院）；Alan Turing Institute（阿兰·图灵研究所）；Reality Labs Research, Meta（元现实实验室研究部门）
该研究提出文本引导的3D场景编辑模型ReplaceAnything3D（RAM3D），采用“擦除-替换”方法，可基于文本提示替换场景中特定物体，同时保持多视图3D一致性，在多种真实场景中实现了前景物体与场景的良好融合。
2024-01-31 cs.AI cs.CV cs.GR
Learning Structured Visual Compositional Representations for Weakly Supervised Referring Expression Comprehension
The University of Western Australia（西澳大利亚大学）；Murdoch University（莫道克大学）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对弱监督指称表达式理解问题，提出结构化视觉组合表示学习框架，显式建模一元对象嵌入和成对关系嵌入，引入组合对齐机制，实验证明该方法有效。
2026-07-07 cs.CV
COAP: Compositional Articulated Occupancy of People
ETH Zürich（苏黎世联邦理工学院）；Reality Labs Research（现实实验室研究部）
我们提出了一种新的神经隐式表示铰接人体。与显式模板网格相比，神经隐式身体表示提供了一种有效的机制来建模与环境的交互，这对于三维场景中的人体运动重建和合成至关重要。然而，现有的神经内隐机构遭受要么高度阐述的姿态或推理时间缓慢的泛化能力差。在这项工作中，我们观察到，有关人体的形状和运动学结构的先验知识可以利用，以提高泛化和效率。我们将全身几何结构分解为局部身体部位，并采用部分感知的编码器-解码器架构来学习神经关节占用，该神经关节占用对局部复杂变形进行建模。我们的局部形状编码器不仅代表相应的身体部位的身体变形，而且还代表相邻的身体部位。解码器结合了局部身体形状的几何约束，这显着提高了姿势泛化。我们证明，我们的模型是适合解决与3D环境的自相交和碰撞。定量和定性实验表明，我们的方法大大优于现有的解决方案，在效率和准确性。代码和模型可在https://neuralbodies.github.io/COAP/index.html上获得
2022-04-13 cs.CV
Compositional Convolutional Neural Networks: A Robust and Interpretable Model for Object Recognition under Occlusion
Johns Hopkins University（约翰斯·霍普金斯大学）
现实世界应用中的计算机视觉系统需要对部分遮挡具有鲁棒性，同时也是可解释的。在这项工作中，我们证明了黑盒深度卷积神经网络（DCNN）对部分遮挡的鲁棒性有限。我们通过将DCNN与基于部分的模型统一到组合卷积神经网络（CompositionalNets）中来克服这些限制-这是一种可解释的深度架构，对部分遮挡具有天生的鲁棒性。具体来说，我们建议用一个可以端到端训练的可微分组合模型来取代DCNN的全连接分类头。组合模型的结构使CompositionalNets能够将图像分解为对象和上下文，以及进一步分解各个部分和对象姿态的对象表示。我们的合成模型的生成性质，使其能够本地化遮挡和识别对象的基础上，他们的非遮挡部分。我们进行了广泛的实验，在图像分类和目标检测的人工遮挡对象的图像从PASCAL 3D+和ImageNet数据集，和真实图像的部分遮挡车辆从MS-COCO数据集。我们的实验表明，由几种流行的DCNN主干（VGG-16，ResNet 50，ResNext）制成的CompositionalNets在分类和检测部分遮挡对象方面比非组合对应物有很大的改进。此外，他们可以准确地定位封堵器，尽管只接受了班级级监督的培训。最后，我们证明CompositionalNets提供了人类可解释的预测，因为它们的各个组件可以被理解为检测部分和估计对象的观点。
2020-06-28 cs.CV
Interpretable Neural Computation for Real-World Compositional Visual Question Answering
Shanghai Jiao Tong University（上海交通大学）
视觉问答的研究主要有两条主线：基于多跳推理的组合模型和基于隐特征空间的单块网络。前者在可解释性和组合性方面表现出色，但在真实世界的图像上失败，而后者通常由于模型灵活性和参数效率而获得更好的性能。我们的目标是将两者结合起来，为现实世界的组合VQA构建一个可解释的框架。在我们的框架中，图像和问题被分解为场景图和程序，符号程序执行器以完全透明的方式运行它们以选择注意区域，然后将其迭代传递给视觉语言预训练编码器以预测答案。在GQA基准测试上进行的实验表明，我们的框架优于现有的合成技术，并实现了单片之间的竞争力的准确性。在有效性、可扩展性和分布度量方面，我们的框架远远超过其他框架。
2020-10-10 cs.CV
Something-Else: Compositional Action Recognition with Spatial-Temporal Interaction Networks
University of Oxford（牛津大学）；TwentyBN；UC Berkeley（加州大学伯克利分校）；Tel Aviv University（特拉维夫大学）
人类的动作是自然合成的：人类可以很容易地识别和执行与训练演示中使用的对象不同的动作。在本文中，我们通过观察主体与客体之间的相互作用来研究动作的组合性。我们提出了一个新的模型，可以明确的原因组成对象和代理执行一个动作之间的几何关系。为了训练我们的模型，我们在Something-Something数据集上收集密集的对象框注释。我们提出了一种新的成分动作识别任务，其中动词和名词的训练组合不与测试集重叠。我们的模型的新颖的方面是适用于活动与突出的对象交互动态和对象，可以跟踪使用国家的最先进的方法;对于活动没有明确定义的空间对象代理的相互作用，我们依赖于基线场景级的时空表示。我们表明，我们的方法的有效性，不仅在建议的组成动作识别任务，但也在一个Few-Shot组成设置，需要模型概括在对象外观和动作类别。
2020-09-12 cs.CV
Combining Compositional Models and Deep Networks For Robust Object Classification under Occlusion
Johns Hopkins University（约翰霍普金斯大学）
深度卷积神经网络（DCNN）是强大的模型，在对象分类方面产生了令人印象深刻的结果。然而，最近的工作表明，它们不能很好地推广到部分遮挡的对象和掩模攻击。与DCNN相比，组合模型对部分遮挡是鲁棒的，但是，它们不像深度模型那样具有区分性。在这项工作中，我们将DCNN和组合对象模型结合起来，以保留两种方法中最好的一种：一种对部分遮挡和掩码攻击具有鲁棒性的判别模型。我们的模型分两步学习。首先，训练标准DCNN用于图像分类。随后，我们将DCNN特征聚类到字典中。我们表明，字典组件类似于对象部分检测器，并学习每个对象类的部分的空间分布。我们提出的混合物的组成模型，以占空间激活模式的大的变化（例如，由于在3D姿态的对象的变化）。在运行时，图像首先由DCNN以前馈方式分类。预测的不确定性被用来检测部分被遮挡的对象，这反过来又被分类的组成模型。我们的实验结果表明，组合模型和DCNN解决了当前计算机视觉深度学习方法的一个基本问题：组合模型识别遮挡对象，即使在训练期间没有接触遮挡对象，同时保持对非遮挡对象的高区分性能。
2020-01-29 cs.CV
Detecting Human-Object Interaction via Fabricated Compositional Learning
The University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shenzhen Technology University（深圳技术大学）
人-物交互（HOI）检测是从图像/视频中推断出人与物体之间的关系，是高层次场景理解的一项基本任务。然而，HOI检测通常受到与物体相互作用的开放长尾性质的影响，而人类具有非常强大的成分感知能力来认知罕见或不可见的HOI样本。受此启发，我们设计了一种新的HOI组合学习框架，称为装配组合学习（FCL），以解决开放长尾HOI检测的问题。具体来说，我们引入对象构造器来生成有效的对象表示，然后将动词和构造的对象组合起来以组成新的HOI样本。使用所提出的对象制造器，我们能够为罕见和不可见的类别生成大规模的HOI样本，以减轻HOI检测中的开放长尾问题。在最流行的HOI检测数据集HICO-DET上进行的大量实验证明了所提出的方法对不平衡HOI检测的有效性，并显着提高了罕见和不可见HOI类别的最新性能。代码可在https://github.com/zhihou7/HOI-CL上获得。
2021-03-25 cs.CV
Compositional Convolutional Neural Networks: A Deep Architecture with Innate Robustness to Partial Occlusion
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究结果表明，深度卷积神经网络（DCNN）在部分遮挡下不能很好地泛化。受组合模型在部分遮挡对象分类方面的成功启发，我们建议将组合模型和DCNN集成到一个统一的深度模型中，该模型对部分遮挡具有固有的鲁棒性。我们称这种结构为组合卷积神经网络。特别是，我们建议用可微组合模型取代DCNN的全连接分类头。合成模型的生成性质使其能够定位遮挡物，并随后聚焦于对象的非遮挡部分。我们进行分类实验，人工遮挡图像以及真实图像的部分遮挡对象的MS-COCO数据集。结果表明，DCNN不能对遮挡对象进行鲁棒分类，即使在使用部分遮挡强烈增强的数据进行训练时也是如此。我们提出的模型在对部分遮挡对象进行分类时，即使在训练过程中没有接触到遮挡对象，也比标准DCNN有很大的优势。额外的实验表明，CompositionalNets也可以准确地定位遮挡物，尽管只使用类标签进行训练。在这项工作中使用的代码是公开的。
2020-04-17 cs.CV
Training-Free Object-Background Compositional T2I via Dynamic Spatial Guidance and Multi-Path Pruning
Cardiff University（卡迪夫大学）；Carleton University（卡尔顿大学）
本文提出无需训练的框架，通过动态空间引导和多路径剪枝，提升文本到图像扩散模型中背景与物体的组合性与平衡性。
2026-04-10 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University（科奇大学）；KUIS AI Center（科奇大学智能系统中心）
提出将 SlotAdapt 扩展至视频的时间对象中心框架，通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
Compositional Learning in Transformer-Based Human-Object Interaction Detection
Tongji University（同济大学）
本文针对HOI检测中的长尾分布问题，提出一种不依赖辅助信息的Transformer组合学习框架，通过跨实例重组人物对与交互表示提升泛化能力，在稀有类别上取得最优性能。
2023-08-11 cs.CV
Distributed Implicit Harm: A Compositional Safety Blind Spot in MLLM-Based Video Moderation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；State University of New York at Buffalo（纽约州立大学布法罗分校）；Kuaishou Technology（快手科技）
该研究发现基于 MLLM 的视频 moderation 存在分布式隐含危害（DIH）这一组合安全盲点，开发多智能体合成框架构建含超9000个视频的数据集，测试30余种MLLM发现其检测DIH存在显著缺陷。
2026-09-02 cs.AI cs.CV
Semantic Part Segmentation using Compositional Model combining Shape and Appearance
University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们研究的问题，语义部分分割的动物。这比标准的目标检测、目标分割和姿态估计任务更具挑战性，因为动物的语义部分通常具有相似的外观和高度变化的形状。为了应对这些挑战，我们建立了一个混合的组合模型来表示对象边界和语义部分的边界。我们将边缘，外观和语义部分线索到组成模型。鉴于部分级别的分割注释，我们开发了一种新的算法来学习的组合模型的各种姿势和观点的某些动物类的混合物。此外，一个线性复杂性算法提供了有效的推理组合模型使用动态规划。我们使用Pascal VOC 2010上新注释的数据集评估我们的方法，该数据集具有像素部分标签。实验结果证明了该方法的有效性。
2014-12-18 cs.CV
3D Compositional Zero-shot Learning with DeCompositional Consensus
ETH Zürich（苏黎世联邦理工学院）；TUM（慕尼黑工业大学）；Google（谷歌）
部件表示不同对象之间几何和语义相似性的基本单位。我们认为，部分知识应该是可组合的观察对象类之外。为此，我们提出了3D成分零样本学习作为一个问题的部分泛化从看不见的对象类的语义分割。我们提供了一个结构化的研究，通过基准任务与建议的Compositional-PartNet数据集。该数据集是通过处理原始PartNet以最大化不同对象之间的部分重叠来创建的。现有的点云零件分割方法无法推广到这种设置中看不见的对象类。作为一种解决方案，我们提出了DeCompositional Consensus，它将部分分割网络与部分评分网络相结合。我们的方法的关键直觉是，当每个部分被拆开时，某些部分的分割掩码应该与其部分分数达成共识。这两个网络在生成最合适的分割掩模之前对每个对象部分中定义的不同部分组合进行推理。我们证明了我们的方法允许成分zero-shot分割和广义zero-shot分类，并建立了这两个任务的最新技术水平。
2022-04-15 cs.CV
Localizing Occluders with Compositional Convolutional Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
组合卷积网络是神经网络特征的生成组合模型，其在对部分遮挡对象进行分类时实现了最先进的结果，即使在训练期间它们没有暴露于遮挡对象时也是如此。在这项工作中，我们研究了CompositionalNets在图像中定位遮挡物的性能。我们发现，原来的模型是不能够本地化遮挡。我们建议通过将特征激活建模为von-Mises-Fisher分布的混合来克服这一限制，这也允许CompositionalNets的端到端训练。我们的实验结果表明，所提出的扩展增加了模型的性能在定位遮挡以及在分类部分遮挡对象。
2019-11-18 cs.CV
HECTOR: Hybrid Editable Compositional Object References for Video Generation
HECTOR通过混合可编辑组合对象引用，实现了视频生成中对复杂时空约束的高保真度满足和运动可控性提升。
2026-03-09 cs.CV
Learning by Imagining: Debiased Feature Augmentation for Compositional Zero-Shot Learning
针对组合零样本学习中属性与物体纠缠及长尾分布的挑战，提出去偏特征增强方法DeFA，结合解耦重构与去偏策略合成高保真特征以提升泛化能力，在三种数据集的闭集与开集设置下达到SOTA。
2025-09-16 cs.CV
Compositional Scene Modeling with Global Object-Centric Representations
Fudan University（复旦大学）
由于对象之间的透视和遮挡，同一对象的外观在不同场景图像中可能不同。人类可以很容易地识别同一个对象，即使存在遮挡，通过完成基于其在内存中的规范图像的遮挡部分。实现这种能力对于机器学习来说仍然是一个挑战，特别是在无监督学习的设置下。受人类这种能力的启发，本文提出了一种组合场景建模方法，可以在没有任何监督的情况下推断对象的规范图像的全局表示。每个对象的表示被分成表征全局不变信息（即对象的规范表示）的内在部分和表征场景相关信息（例如，位置和大小）。为了推断每个对象的内在表示，我们采用了补丁匹配策略，以对齐的对象的典型表示的一个潜在的被遮挡的对象的表示，并采样的最可能的典型表示的基础上，由摊销变分推理确定的对象的类别。在四个以对象为中心的学习基准上进行了大量的实验，实验结果表明，该方法不仅在分割和重建方面优于现有技术，而且具有良好的全局对象识别性能。
2022-11-24 cs.CV
Divide and Conquer: Answering Questions with Object Factorization and Compositional Reasoning
University of Minnesota（明尼苏达大学）
人类具有回答不同问题的先天能力，这源于基于语义关系将不同概念关联起来并将困难问题分解为子任务的自然能力。相反，现有的视觉推理方法假设训练样本捕捉每一个可能的对象和推理问题，并依赖于黑盒模型，通常利用统计先验。他们还没有发展出在现实世界中解决新事物或虚假偏见的能力，也没有解释他们决定背后的理由。受人类对视觉世界推理的启发，我们从组合的角度解决了上述挑战，并提出了一个由原则性对象分解方法和新型神经模块网络组成的整体框架。我们的因式分解方法根据对象的关键特征进行分解，并自动导出代表各种对象的原型。通过这些原型编码重要的语义，所提出的网络然后通过在公共语义空间上测量对象的相似性来关联对象，并通过组合推理过程做出决策。它能够回答不同对象的问题，而不管它们在训练过程中是否可用，并克服有偏见的问答分布问题。除了增强的泛化能力，我们的框架还提供了一个可解释的接口，用于理解模型的决策过程。我们的代码可在https://github.com/szzexpoi/POEM上获得。
2023-03-18 cs.CV
Compositional Sketch Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出了一种算法，用于搜索图像集，使用手绘草图，描述多个对象的外观和相对位置。基于草图的图像检索（SBIR）方法主要匹配查询包含一个单一的，占主导地位的对象不变，其在图像中的位置。我们的工作利用图纸作为一个简洁和直观的表示指定整个场景组成。我们训练一个卷积神经网络（CNN）来编码草图对象中被掩盖的视觉特征，将这些特征汇集到一个空间描述符中，对构图中对象的空间关系和外观进行编码。将CNN骨干训练为在三元组损失下的连体网络产生用于测量组成相似性的度量搜索嵌入，其可以通过应用乘积量化来有效地用于视觉搜索。
2021-06-15 cs.CV
Modelling Spatio-Temporal Interactions For Compositional Action Recognition
Centre for Frontier AI Research（前沿人工智能研究中心）；Institute of High Performance Computing（高性能计算研究所）
本文面向组合式动作识别，提出融合逐帧手物细粒度交互、长程时空交互及全局运动信息的 token 建模方法，并在 Something-Else 上取得最优性能。
2024-09-19 cs.CV
Compositional Prompt Tuning with Motion Cues for Open-vocabulary Video Relation Detection
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
利用大规模预训练的视觉语言模型进行提示微调，可以在有限的基本类别上训练开放词汇预测，例如，目标分类和检测。在本文中，我们提出了组成提示微调与运动线索：一个扩展的提示微调模式的组成预测的视频数据。特别是，我们提出了用于开放词汇视频视觉关系检测（Open-VidVRD）的关系提示（RePro），其中传统的提示微调很容易偏向于某些主体-对象组合和运动模式。为此，RePro解决了Open-VidVRD的两个技术挑战：1）提示标记应该尊重主体和客体的两个不同语义角色，以及2）调整应该考虑主体-客体组合的不同时空运动模式。没有花里胡哨的东西，我们的RePro在两个VidVRD基准测试上实现了最先进的性能，不仅包括基本训练对象和谓词类别，还包括看不见的类别。广泛的消融也证明了建议的成分和多模式设计的提示的有效性。代码可在https://github.com/Dawn-LX/OpenVoc-VidVRD上获得。
2023-02-01 cs.CV
Visual Compositional Learning for Human-Object Interaction Detection
The University of Sydney（悉尼大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
人-物交互检测的目的是定位和推断图像中人与物体之间的关系。它之所以具有挑战性，是因为大量的宾语和动词类型的可能组合形成了一个长尾分布。我们设计了一个深度视觉组合学习（VCL）框架，这是一个简单而有效的框架，可以有效地解决这个问题。VCL首先将HOI表示分解为对象和动词特定的特征，然后通过拼接分解的特征在特征空间中组成新的交互样本。分解和合成的集成使VCL能够在不同的HOI样本和图像之间共享对象和动词特征，并生成新的交互样本和新类型的HOI，从而在很大程度上解决了长尾分布问题，并有利于低拍摄或zero-shot HOI检测。大量的实验表明，所提出的VCL可以有效地提高HICO-DET和V-COCO上的HOI检测的泛化能力，并且优于目前最先进的HICO-DET方法。代码可在https://github.com/zhihou7/VCL上获得。
2020-10-04 cs.CV
Do VLMs Have Bad Eyes? Diagnosing Compositional Failures via Mechanistic Interpretability
University of Southern California（南加州大学）
本文通过机制可解释性方法诊断视觉语言模型组合失败的原因，发现CLIP视觉编码器MLP层中神经元的特征叠加现象直接损害了组合特征表示与对象绑定能力。
2025-08-26 cs.CV
Not Just Object, But State: Compositional Incremental Learning without Forgetting
International School of Information Science & Engineering, Dalian University of Technology（大连理工大学信息科学与工程国际学院）；MAIS&CRIPAC, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对增量学习忽略对象状态组合的问题，提出复合增量学习任务及基于多池提示的CompILer方法，通过池间差异、池内多样性和对象注入状态提示解决组合边界模糊，在两个数据集上取得最优性能。
2025-03-27 cs.CV
WorldSculpt: Generating Compositional Worlds from Grounded Videos
Alaya Lab（阿里达摩院Alaya实验室）；The University of Tokyo（东京大学）
本研究提出WorldSculpt，通过适配单物体3D生成先验到多视图观测，实现从接地视频生成含数百物体的复杂组合式3D世界，所提Pixal3D方法在基准测试中优于现有技术，还可转换3DGS世界为组合网格场景。
2026-09-09 cs.CV
Learning to Compose: Improving Object Centric Learning by Injecting Compositionality
School of Computing, KAIST（计算学院，韩国科学技术院）
本文提出一种显式鼓励组合性的新目标，通过约束两幅图像对象表示的任意混合有效并最大化复合数据似然，在现有以对象为中心学习框架中持续提升学习效果和架构鲁棒性。
2024-05-01 cs.CV cs.LG
Learning Invariant Visual Representations for Compositional Zero-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
作文零样本学习（CNOML）的目的是利用从训练集中的属性-对象作文中学习到的知识来识别新的作文。以往的工作主要是将一幅图像和一幅构图投影到一个公共的嵌入空间中来衡量它们的兼容性得分。然而，属性和对象共享上面学习的视觉表示，导致模型利用虚假的相关性和对可见对的偏见。相反，我们重新考虑作为一个分布外泛化的问题。如果一个对象被视为一个域，我们可以学习对象不变的特征，以可靠地识别附加到任何对象的属性。类似地，当识别具有属性的对象作为域时，也可以学习属性不变特征。具体来说，我们提出了一个不变特征学习框架，在表示和梯度级别对齐不同的域，以捕获与任务相关的内在特征。实验结果表明，该方法的性能明显优于现有的方法。
2022-07-18 cs.CV
Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning
Xidian University（西安电子科技大学）
成分零次学习（Compositional Zero-Shot Learning，CNOL）的目的是在训练过程中识别由可见状态和对象形成的不可见成分。由于相同的态在与不同的物体纠缠时，在视觉上可能会有不同的表现，因此，量子纠缠仍然是一个具有挑战性的任务。一些方法使用两个训练好的分类器识别状态和对象，忽略了对象和状态之间的交互影响;另一些方法试图学习状态-对象组合的联合表示，导致可见和不可见组合集之间的域间隙。在本文中，我们提出了一种新的暹罗对比嵌入网络（SCEN）（代码：https：//github.com/XDUxyLi/SCEN-master），用于不可见成分识别。考虑到状态和对象之间的纠缠，我们将视觉特征嵌入到一个暹罗对比空间中，分别捕获它们的原型，减轻了状态和对象之间的相互作用。此外，我们设计了一个状态转换模块（STM），以增加训练成分的多样性，提高识别模型的鲁棒性。大量的实验表明，我们的方法显着优于三个具有挑战性的基准数据集，包括最近提出的C-QGA数据集的最先进的方法。
2022-06-29 cs.CV
Learning Attention Propagation for Compositional Zero-Shot Learning
DFKI（德国人工智能研究中心）；ETH Zürich（苏黎世联邦理工学院）；TU Kaiserslautern（凯泽斯劳滕工业大学）；MindGarage
成分零样本学习的目标是识别对象类及其状态的可见视觉基元的不可见成分。虽然所有原语（状态和对象）在训练过程中都是可观察的，但它们之间复杂的交互使得这项任务特别困难。例如，湿改变狗的视觉外观与自行车非常不同。此外，我们认为，组合物之间的关系超越了共享的状态或对象。一个杂乱的办公室可以包含一个忙碌的桌子;即使这些组合不共享一个状态或对象，一个忙碌的桌子的存在可以引导一个杂乱的办公室的存在。我们提出了一种新的方法，称为组合注意力嵌入（CAPE）作为解决方案。我们的方法的关键直觉是，一个丰富的依赖结构之间存在的组合物所产生的复杂的相互作用的原语除了其他组合物之间的依赖关系。CAPE学习识别这种结构，并在它们之间传播知识，以学习所有可见和不可见成分的类嵌入。在具有挑战性的广义成分zero-shot设置，我们表明，我们的方法优于以前的基线设置一个新的国家的最先进的三个公开可用的基准。
2022-10-20 cs.CV
DALL-E for Detection: Language-driven Compositional Image Synthesis for Object Detection
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
我们提出了一种新的范例，使用文本到图像合成框架（例如，DALL-E、稳定扩散等）。所提出的方法将训练数据生成解耦为前景对象掩模生成和背景（上下文）图像生成。对于前景对象掩模生成，我们使用具有对象类名的简单文本模板作为DALL-E的输入来生成一组不同的前景图像。然后使用前景-背景分割算法来生成前景对象掩模。接下来，为了生成上下文图像，首先通过对表示上下文的一小组图像应用图像描述方法来生成上下文的语言描述。这些语言描述，然后使用DALL-E框架生成不同的上下文图像集。然后将这些与第一步中生成的对象掩码合成，以提供用于分类器的增强训练集。我们证明了我们的方法的优势，四个目标检测数据集，包括Pascal VOC和COCO目标检测任务。此外，我们还强调了我们的数据生成方法的组成性质的分布和zero-shot的数据生成方案。
2022-12-22 cs.CV
Progressive Reasoning with Primitive Correction for Compositional Zero-Shot Learning
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Key Laboratory of Big Data & Artificial Intelligence in Transportation (Ministry of Education)（交通运输大数据与人工智能教育部重点实验室）
研究组合零样本学习问题，提出PRPC框架，通过逐步推理明确建模属性和对象间双向依赖性，对原语相互校正，将其公式化为结构化推理过程并结合强化学习后训练，在基准测试中达最优性能。
2026-07-08 cs.CV
Compositional Video Prediction
Verisk Analytics（Verisk分析公司）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一个像素级的未来预测给定的场景的输入图像的方法。我们观察到，一个场景是由不同的实体，经历运动，并提出了一种方法，操作化这一见解。我们隐式地预测独立实体的未来状态，同时推理它们的相互作用，并使用这些预测的状态组成未来的视频帧。我们克服了固有的多模态的任务，使用一个全球性的概率水平的潜在随机变量，并表明，这使我们能够样本多样化和合理的未来。我们经验验证我们的方法对替代表示和方式，将多模态。我们检查了两个数据集，一个包含可能会掉落的堆叠对象，另一个包含人类在健身房进行活动的视频，并表明我们的方法允许在这些不同的设置中进行逼真的随机视频预测。有关视频预测，请参见https://judyye.github.io/CVP/。
2019-08-22 cs.CV
A Graph Theoretic Approach for Object Shape Representation in Compositional Hierarchies Using a Hybrid Generative-Descriptive Model
The University of Birmingham（伯明翰大学）
提出了一种基于图论的对象形状表示方法，并将其应用于一种层次化的组合结构中，称为组合层次结构（CHOP）。在所提出的方法中，词汇学习是使用一个混合生成描述模型。首先，使用最小条件熵聚类算法学习部件之间的统计关系。然后，描述部分的选择被定义为一个频繁子图发现问题，并使用最小描述长度（MDL）原则解决。最后，通过压缩内部数据表示与发现的子结构构造部件组合。形状表示和计算复杂性属性的方法和算法进行检查使用六个基准的二维形状图像数据集。实验表明，CHOP可以采用部分共享和索引机制，快速推理的部分组成使用学习形状词汇。此外，CHOP提供了更好的形状检索性能比国家的最先进的形状检索方法。
2015-01-23 cs.CV
Synthetic Curriculum Reinforces Compositional Text-to-Image Generation
Southeast University（东南大学）；Xiaohongshu Inc.（小红书公司）；Monash University（墨尔本大学）；Shanghai Jiao Tong University（上海交通大学）；Anhui University（安徽大学）
CompGen通过课程强化学习框架提升文本到图像生成的组合能力，采用场景图和自适应采样算法优化模型性能。
2025-11-23 cs.CV
Comp4D: LLM-Guided Compositional 4D Scene Generation
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
提出Comp4D框架，利用LLM分解文本提示并规划轨迹，分别构建场景中各4D物体，结合组合式分数蒸馏技术，实现了高质量且具备丰富物体交互的组合式4D场景生成。
2024-03-25 cs.CV
Learning a Hierarchical Compositional Shape Vocabulary for Multi-class Object Representation
University of Toronto（多伦多大学）；University of Ljubljana（卢布尔雅那大学）；University of Birmingham（伯明翰大学）
层次结构允许在多个表示级别的对象之间共享特征，可以以非常紧凑的方式对指数变化进行编码，并实现快速推理。这使得它们可能适合学习和识别更多数量的对象类。然而，到目前为止，分层方法的成功一直受到手工制作的功能或预定分组规则的使用的阻碍。本文提出了一种新的框架，用于学习表示多个对象类的分层组成形状词汇。该方法采用简单的轮廓片段，并学习其频繁的空间配置。这些被递归地组合成越来越复杂和类别特定的形状组合物，每个形状组合物都具有高度的形状可变性。在词汇表的顶层，组成足够大和复杂，以表示对象的整个形状。我们通过逐渐增加分析窗口的大小和降低学习形状配置的空间分辨率，一层接一层地学习词汇。较低的层是在所有类的图像上联合学习的，而词汇的较高层是通过一个接一个地呈现算法来增量学习的。实验结果表明，学习的多类对象表示与对象类的数量有利地缩放，并实现了最先进的检测性能，更快的推理以及更短的训练时间。
2014-08-23 cs.CV
Complexity of Representation and Inference in Compositional Models with Part Sharing
University of California, Los Angeles（加州大学洛杉矶分校）
本文描述了串行和并行的多个对象的组成模型与部分共享。对象是由部件-子部件组合构建的，并以对象部件的层次字典表示。这些部分表示在大小递减的网格上，从而产生执行摘要描述。我们描述了这些模型的推理和学习算法。我们从计算时间（对于串行计算机）和节点数量（例如，“神经元”）用于并行计算机。特别是，我们计算的复杂性收益的部分共享和依赖的字典规模与层次结构的水平。我们探讨了三种制度的缩放行为，其中字典大小（i）随水平呈指数级增加，（ii）由应用于真实数据的无监督组合学习算法确定，（iii）随规模呈指数级下降。这一分析表明，在某些制度中，使用共享的部分，使算法，可以执行推理的时间线性的指数数量的对象的水平。在其他制度部分共享串行计算机几乎没有优势，但可以给并行计算机上的线性处理。
2013-01-16 cs.CV
RICO: Regularizing the Unobservable for Indoor Compositional Reconstruction
Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）
本文提出 RICO，通过正则化被遮挡背景的几何平滑度并利用物景关系约束前景的 SDF 与深度，提升部分观测室内场景的组合式重建质量。
2023-09-29 cs.CV
UrbanGIRAFFE: Representing Urban Scenes as Compositional Generative Neural Feature Fields
Zhejiang University（浙江大学）
生成具有可控摄像机姿态和场景内容的真实感图像对于包括AR/VR和仿真在内的许多应用都是必不可少的。尽管在3D感知生成模型方面取得了快速进展，但大多数现有方法都集中在以对象为中心的图像上，并且不适用于生成城市场景以进行自由相机视点控制和场景编辑。为了解决这个具有挑战性的任务，我们提出了UrbanGIRAFFE，它使用一个粗略的3D全景先验，包括不可数的东西和可数的对象的布局分布，以指导3D感知生成模型。我们的模型是合成和可控的，因为它将场景分解为物质，物体和天空。利用语义体素网格形式的填充先验，我们构建了一个条件填充生成器，有效地结合了粗糙的语义和几何信息。对象布局先验进一步允许我们从杂乱的场景中学习对象生成器。适当的损失函数，我们的方法有利于逼真的三维感知图像合成与不同的可控性，包括大的相机运动，编辑的东西，和对象操作。我们在合成和真实世界的数据集上验证了我们的模型的有效性，包括具有挑战性的KITTI-360数据集。
2023-03-28 cs.CV
Translational Concept Embedding for Generalized Compositional Zero-shot Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Florida State University（佛罗里达州立大学）
广义组合零样本学习是指以zero-shot方式学习属性-对象对的组合概念，其中模型在一组可见概念上训练，并在一组可见和不可见概念上测试。这个任务是非常具有挑战性的，因为不仅看到和看不见的概念之间的差距，而且属性和对象之间的上下文依赖性。本文介绍了一种新的方法，称为翻译概念嵌入，以解决这两个困难在一个统一的框架。它将属性应用于对象的效果建模为将平移属性特征添加到对象原型。我们显式地考虑到属性和对象之间的上下文依赖关系，通过生成有条件地依赖于对象原型的平移属性功能。此外，我们设计了一个比率方差约束损失，以提高模型对未知概念的泛化能力。它通过利用预先训练的词嵌入中的知识来规范概念之间的距离。我们评估了我们的模型在无偏和有偏概念分类任务下的性能，并表明我们的模型能够在预测看不见的概念和看到的概念方面实现良好的平衡。
2021-12-20 cs.CV
MoCA: Mixture-of-Components Attention for Scalable Compositional 3D Generation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Tencent Hunyuan（腾讯文恩）
MoCA通过重要性路由和组件压缩技术，实现高效可扩展的组合性3D生成，优于现有基线方法。
2025-12-08 cs.CV
Compositional Human-Scene Interaction Synthesis with Semantic Control
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
在虚拟人和他们的3D环境之间合成自然交互对于许多应用来说是至关重要的，例如计算机游戏和AR/VR体验。我们的目标是合成与由高级语义规范控制的给定3D场景交互的人类，作为动作类别和对象实例对，例如，“坐在椅子上”。将交互语义纳入生成框架的关键挑战是学习有效捕获异构信息的联合表示，包括人体关节，3D对象几何形状和交互的意图。为了解决这个问题，我们设计了一种新的基于变换的生成模型，其中关节的三维人体表面点和三维物体被联合编码在一个统一的潜在空间，和语义的人和物体之间的相互作用是通过位置编码嵌入。此外，受人类可以同时与多个对象进行交互的组合性质的启发，我们将交互语义定义为不同数量的原子动作对象对的组合。我们提出的生成模型可以自然地结合不同数量的原子交互，这使得合成合成的人的场景交互，而不需要复合交互数据。我们扩展的PROX数据集与交互语义标签和场景实例分割来评估我们的方法，并证明我们的方法可以生成逼真的人与场景的交互与语义控制。我们的感知研究表明，我们合成的虚拟人可以自然地与3D场景进行交互，大大优于现有的方法。我们将我们的方法命名为COINS，用于具有语义控制的组合交互合成。代码和数据可在https://github.com/zkf1997/COINS上获得。
2022-07-26 cs.CV
Distilled Reverse Attention Network for Open-world Compositional Zero-Shot Learning
University of New South Wales（新南威尔士大学）；Jiangnan University（江南大学）；University of Technology Sydney（悉尼科技大学）
开放世界组合零样本学习（OW-CNOML）旨在识别所见属性和对象的新组合。在OW-CNOML中，由于无约束的OW测试空间，建立在传统封闭世界设置上的方法严重退化。虽然以前的作品缓解了这个问题，修剪组合物根据外部知识或相关性看到的对，他们引入的偏见，损害的泛化。因此，一些方法使用独立构造和训练的分类器来预测状态和对象，忽略了属性高度依赖于上下文并且在视觉上与对象纠缠在一起。在本文中，我们提出了一种新的蒸馏反向注意力网络来应对这些挑战。我们还分别对属性和对象进行建模，但具有不同的动机，分别捕获上下文和局部性。我们进一步设计了一个反向和蒸馏策略，学习在反向注意和知识蒸馏的监督下训练数据中的基本组件的解纠缠表示。我们在三个数据集上进行实验，并始终达到最先进的（SOTA）性能。
2023-03-01 cs.CV
Compositional Zero-Shot Learning with Contextualized Cues and Adaptive Contrastive Training
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；UNSW（新南威尔士大学）
针对基于 CLIP 的组合式零样本学习难以理解和关联属性与物体的问题，本文提出 ULAO 框架，通过上下文化原语理解与自适应困难负样本对比训练，在 CW 和 OW 场景的三个基准上达到最先进性能。
2024-12-10 cs.CV
MAC: A Benchmark for Multiple Attributes Compositional Zero-Shot Learning
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）
MAC数据集通过多属性组合学习提升零样本学习的挑战性，提出MVP-Integrator方法实现更准确的属性关联与语义理解。
2026-01-10 cs.CV
REPARO: Compositional 3D Assets Generation with Differentiable 3D Layout Alignment
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Tencent（腾讯）；Harvard University（哈佛大学）
REPARO提出一种从单图像生成组合式3D资产的两步方法：先提取并重建单个物体网格，再通过结合最优传输外观损失与语义损失的可微渲染优化布局，有效提升多物体场景的独立性、细节精度与整体连贯性。
2025-08-27 cs.CV
Compositional Scalable Object SLAM
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个快速，可扩展，准确的同时定位与地图构建（SLAM）系统，表示室内场景的对象的图形。利用人工环境的结构化和可识别的对象所占据的观察，我们表明，组成的可扩展对象映射公式是服从于一个强大的SLAM解决方案，无漂移的大规模室内重建。为了实现这一目标，我们提出了一种新的语义辅助数据关联策略，获得明确的持久对象地标，和2.5D合成渲染方法，使可靠的帧到模型RGB-D跟踪。因此，我们提供了一个优化的在线实现，可以运行在接近帧速率与一个单一的图形卡，并提供了一个全面的评估对国家的最先进的基线。将在https：//placeholder上提供开源实现。
2020-11-05 cs.CV cs.RO
