NAVER: A Neuro-Symbolic Compositional Automaton for Visual Grounding with Explicit Logic Reasoning
Monash University（莫纳什大学）
本文提出NAVER，一种组合视觉定位方法，通过在有限状态自动机中集成显式概率逻辑推理和自我纠正机制，解决了现有组合方法在复杂语言逻辑推理上的局限，提升了鲁棒性和可解释性，并实现了SoTA性能。
2025-08-14 cs.CV
Learning visual representations for compositional analysis of artworks and photographs
KU Leuven University（KU Leuven大学（荷语鲁汶大学））
该研究对比了受人类启发的构图分析方法与微调基础模型两种范式，在三类任务上评估性能，发现前者冻结编码器时具竞争力且可解释，后者微调后性能更优但可解释性与泛化性下降。
2026-08-17 cs.CV
Compositional Temporal Visual Grounding of Natural Language Event Descriptions
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）
时间基础需要在自然语言事件描述和它们的视觉解释之间建立对应。组合建模成为核心：我们首先将原子描述“吃苹果的女孩”，“击球手击球”接地到短视频片段，然后建立片段之间的时间关系。这种组合结构使模型能够通过识别它们的原子子事件来识别在训练期间未看到的更广泛的事件。显式时间建模考虑了可以用语言表达的各种各样的时间关系：例如，在“女孩吃完苹果后从桌子上站起来”的描述中，事件的视觉顺序是颠倒的，首先是“吃苹果”，然后是“从桌子站起来”。“我们利用这些观察来开发一个统一的深度架构CTG-Net，以执行自然语言事件描述到视频的时间基础。我们证明了我们的系统在DiDeMo，Tempo-TL和Tempo-HL时间接地数据集上的性能优于现有的最先进的方法。
2019-12-04 cs.CV
Adventurer's Treasure Hunt: A Transparent System for Visually Grounded Compositional Visual Question Answering based on Scene Graphs
University of Bremen（不来梅大学）
为了提高VQA推理过程的透明性和可视性，提出了一个基于场景图的组合式VQA任务模块化系统。我们的系统被称为“冒险家的寻宝”（或ATH），以我们在模型的答案搜索过程和冒险家的宝藏搜索之间的类比命名。我们开发ATH时考虑了三个特征：1.通过设计，ATH允许我们明确量化每个子组件对整体VQA性能的影响，以及它们对各自子任务的性能。2.通过对寻宝之后的搜索任务进行建模，ATH本质上为处理的问题产生了一个明确的、基于视觉的推理路径。3. ATH是第一个GQA训练的VQA系统，它通过直接查询视觉知识库来动态提取答案，而不是从预先固定的答案词汇表上专门学习的分类器的输出分布中选择一个。我们报告了所有组件的详细结果及其对GQA数据集整体VQA性能的贡献，并表明ATH在所有检查系统中获得了最高的视觉基础分数。
2021-06-28 cs.CV
ExoViP: Step-by-step Verification and Exploration with Exoskeleton Modules for Compositional Visual Reasoning
BIGAI（北京智源人工智能研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
ExoViP提出一种即插即用的外骨骼验证模块，通过三个子验证器逐步校验并校准视觉模块预测和LLM推理轨迹，从而纠正VL编程中规划与执行阶段的错误，在多个组合视觉推理基准上实现一致提升。
2024-08-05 cs.CV
Human-like compositional learning of visually-grounded concepts using synthetic environments
Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文在3D合成环境中研究多模态强化学习智能体如何通过试错学习将限定词和介词等复杂概念与视觉目标组合基础化，并证明课程学习可减少15%训练回合、提升学习效率，使智能体能够分解未见指令并快速适应新视觉组合。
2025-04-09 cs.CV
MathSticks: A Benchmark for Visual Symbolic Compositional Reasoning with Matchstick Puzzles
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）；The University of Sydney（悉尼大学）；Beihang University（北航大学）
本研究提出用于视觉符号组合推理的火柴谜题基准MathSticks，覆盖多维度任务设置与百万级实例，评估发现现有视觉-语言模型存在明显局限，人类表现更优，为相关推理能力研究提供了严格测试平台。
2025-10-01 cs.CV
Is Visual in-Context Learning for Compositional Medical Tasks within Reach?
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Mercedes-Benz Tech Innovation（梅赛德斯-奔驰技术创新）；University of Applied Sciences Berlin（柏林应用技术大学）
本文研究视觉上下文学习在组合式医疗任务中的可行性，提出基于合成任务生成引擎的训练方法，并分析码本与掩码训练目标的作用，为多模态医疗任务序列提供见解。
2025-07-02 cs.CV
EVA3D: Compositional 3D Human Generation from 2D Image Collections
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
逆向图形旨在从2D观察中恢复3D模型。利用微分渲染，最近的3D感知生成模型已经显示出令人印象深刻的结果，使用2D图像的刚性对象生成。然而，由于其姿势和外观的复杂性和多样性，生成铰接对象（如人体）仍然具有挑战性。在这项工作中，我们提出了EVA3D，一个无条件的3D人类生成模型只从2D图像集合中学习。EVA3D可以对具有详细几何形状的3D人体进行采样，并渲染高质量的图像（高达512x256），而无需花里胡哨（例如超分辨率）。EVA3D的核心是一个合成的人类NeRF表示，它将人体划分为局部部分。每个部分由单独的体积表示。这种组合表示实现了1）固有的人类先验，2）网络参数的自适应分配，3）有效的训练和渲染。此外，为了适应稀疏2D人体图像集合的特征（例如姿势分布不平衡），我们提出了一种姿势引导的采样策略，以实现更好的GAN学习。大量的实验验证了EVA3D在几何和纹理质量方面都达到了最先进的3D人体生成性能。值得注意的是，EVA3D展示了巨大的潜力和可扩展性，以“逆图形”不同的人体与一个干净的框架。
2022-10-10 cs.CV
Detecting Human-Object Interaction via Fabricated Compositional Learning
The University of Sydney（悉尼大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shenzhen Technology University（深圳技术大学）
人-物交互（HOI）检测是从图像/视频中推断出人与物体之间的关系，是高层次场景理解的一项基本任务。然而，HOI检测通常受到与物体相互作用的开放长尾性质的影响，而人类具有非常强大的成分感知能力来认知罕见或不可见的HOI样本。受此启发，我们设计了一种新的HOI组合学习框架，称为装配组合学习（FCL），以解决开放长尾HOI检测的问题。具体来说，我们引入对象构造器来生成有效的对象表示，然后将动词和构造的对象组合起来以组成新的HOI样本。使用所提出的对象制造器，我们能够为罕见和不可见的类别生成大规模的HOI样本，以减轻HOI检测中的开放长尾问题。在最流行的HOI检测数据集HICO-DET上进行的大量实验证明了所提出的方法对不平衡HOI检测的有效性，并显着提高了罕见和不可见HOI类别的最新性能。代码可在https://github.com/zhihou7/HOI-CL上获得。
2021-03-25 cs.CV
Semantically Guided Dynamic Visual Prototype Refinement for Compositional Zero-Shot Learning
National Key Laboratory of Radar Signal Processing, Xidian University（雷达信号处理国家级重点实验室，西安电子科技大学）；Research Institute of Systems Engineering, Academy of Military Science（系统工程研究所，军事科学院）
Duplex通过动态视觉原型精炼和双原型学习，提升组合零样本学习中语义判别性和泛化能力。
2026-02-02 cs.CV
Compositional Human Pose Regression
Microsoft Research（微软研究院）；Tongji University（同济大学）
基于回归的方法的性能不如基于检测的方法用于人体姿势估计。一个核心问题是，在姿势中的结构信息没有很好地利用在以前的回归方法。在这项工作中，我们提出了一个结构感知回归方法。它采用了重新参数化的姿势表示，使用骨骼而不是关节。它利用关节连接结构来定义一个组合损失函数，该函数对姿势中的长程相互作用进行编码。该方法简单、有效、通用，可在统一的环境中进行二维和三维姿态估计。综合评价验证了该方法的有效性。它显著推进了Human3.6M的最新技术水平，并与MPII的最新结果竞争。
2017-08-02 cs.CV
A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets
WeChat AI, Tencent Inc, China（腾讯公司）
本文提出基于块的扩散方法自动生成反事实图文数据集，并设计区分集合间与集合内样本的损失函数，以少量训练数据显著提升视觉-语言模型的组合性推理性能，在多个基准上取得最优结果。
2025-07-07 cs.CV
Compositional Learning in Transformer-Based Human-Object Interaction Detection
Tongji University（同济大学）
本文针对HOI检测中的长尾分布问题，提出一种不依赖辅助信息的Transformer组合学习框架，通过跨实例重组人物对与交互表示提升泛化能力，在稀有类别上取得最优性能。
2023-08-11 cs.CV
Learning Compositional Neural Information Fusion for Human Parsing
Inception Institute of Artificial Intelligence（人工智能研究院）；Tianjin University（天津大学）；University of California, Los Angeles（加州大学洛杉矶分校）
这项工作提出将神经网络与人体的组成层次结构相结合，以实现高效和完整的人体解析。我们制定的方法作为一个神经信息融合框架。我们的模型通过层次结构从三个推理过程中收集信息：直接推理（使用图像信息直接预测人体的每个部分），自底向上推理（从组成部分收集知识）和自顶向下推理（利用来自父结点的上下文）。自下而上和自上而下的推理分别明确地模拟了人体的组成和分解关系。此外，多源信息的融合取决于输入，即，通过估计和考虑来源的置信度。整个模型是端到端可区分的，明确地建模信息流和结构。我们的方法在四个流行的数据集上进行了广泛的评估，在所有情况下都优于最先进的技术，具有23fps的快速处理速度。我们的代码和结果已经发布，以帮助简化未来在这个方向的研究。
2020-01-19 cs.CV
From Shallow to Deep: Compositional Reasoning over Graphs for Visual Question Answering
University of Chinese Academy of Sciences（中国科学院大学）
为了实现一个通用的视觉问答（VQA）系统，它是必不可少的学习回答更深层次的问题，需要对图像和外部知识的组合推理。同时，推理过程应该是明确的和可解释的，以理解模型的工作机制。这对人类来说很容易，但对机器来说很有挑战性。在本文中，我们提出了一个层次图神经模块网络（HGNMN），原因在多层图与神经模块，以解决上述问题。具体来说，我们首先从视觉，语义和常识的观点，因为支持答案的线索可能存在于不同的模态的多层图编码的图像。我们的模型由几个精心设计的神经模块组成，它们在图上执行特定的功能，可用于在不同的图内和图之间进行多步推理。与现有的模块化网络相比，我们将视觉推理从一个图扩展到更多的图。我们可以显式地跟踪推理过程中，根据模块的权重和图的关注度。实验表明，我们的模型不仅达到了最先进的性能在CRIC数据集上，但也获得了明确的和可解释的推理过程。
2022-06-25 cs.CV
Visual Compositional Tuning
Princeton University（普林斯顿大学）；Meta AI
本文提出COMPACT方法，通过组合多个基本视觉能力提升视觉指令调谐数据效率，减少训练样本数量并提升多模态任务性能。
2026-05-14 cs.CV
VC-Tooler: Learning Compositional and Adaptive Visual Tool Use
VC-Tooler是一种学习组合式与自适应视觉工具使用的模型，通过分层合成轨迹库与两阶段训练，在通用和具身基准上达到开源模型最优性能，且具良好迁移能力。
2026-08-04 cs.CV
Flexible Compositional Learning of Structured Visual Concepts
New York University（纽约大学）
人类是高效的学习者，能够从几个例子中掌握一个新概念的含义。与流行的计算机视觉系统不同，人类可以灵活地利用视觉世界的组成结构，将新概念理解为现有概念的组合。在本文中，我们研究人们如何学习不同类型的视觉组成，使用抽象的视觉形式与丰富的关系结构。我们发现人们可以在各种场景中仅通过几个示例做出有意义的组合概括，并且我们开发了一个贝叶斯程序归纳模型，该模型提供了与行为数据的密切拟合。与过去的工作，研究特殊情况下的组合性，我们的工作表明，一个单一的计算方法可以解释许多不同类型的组合概括。
2021-05-20 cs.CV cs.LG
Compositional Human-Scene Interaction Synthesis with Semantic Control
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌）
在虚拟人和他们的3D环境之间合成自然交互对于许多应用来说是至关重要的，例如计算机游戏和AR/VR体验。我们的目标是合成与由高级语义规范控制的给定3D场景交互的人类，作为动作类别和对象实例对，例如，“坐在椅子上”。将交互语义纳入生成框架的关键挑战是学习有效捕获异构信息的联合表示，包括人体关节，3D对象几何形状和交互的意图。为了解决这个问题，我们设计了一种新的基于变换的生成模型，其中关节的三维人体表面点和三维物体被联合编码在一个统一的潜在空间，和语义的人和物体之间的相互作用是通过位置编码嵌入。此外，受人类可以同时与多个对象进行交互的组合性质的启发，我们将交互语义定义为不同数量的原子动作对象对的组合。我们提出的生成模型可以自然地结合不同数量的原子交互，这使得合成合成的人的场景交互，而不需要复合交互数据。我们扩展的PROX数据集与交互语义标签和场景实例分割来评估我们的方法，并证明我们的方法可以生成逼真的人与场景的交互与语义控制。我们的感知研究表明，我们合成的虚拟人可以自然地与3D场景进行交互，大大优于现有的方法。我们将我们的方法命名为COINS，用于具有语义控制的组合交互合成。代码和数据可在https://github.com/zkf1997/COINS上获得。
2022-07-26 cs.CV
Learning Invariant Visual Representations for Compositional Zero-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
作文零样本学习（CNOML）的目的是利用从训练集中的属性-对象作文中学习到的知识来识别新的作文。以往的工作主要是将一幅图像和一幅构图投影到一个公共的嵌入空间中来衡量它们的兼容性得分。然而，属性和对象共享上面学习的视觉表示，导致模型利用虚假的相关性和对可见对的偏见。相反，我们重新考虑作为一个分布外泛化的问题。如果一个对象被视为一个域，我们可以学习对象不变的特征，以可靠地识别附加到任何对象的属性。类似地，当识别具有属性的对象作为域时，也可以学习属性不变特征。具体来说，我们提出了一个不变特征学习框架，在表示和梯度级别对齐不同的域，以捕获与任务相关的内在特征。实验结果表明，该方法的性能明显优于现有的方法。
2022-07-18 cs.CV
Primitive-Driven Compositional Forensic Visual Prompting for Open-World Face Anti-Spoofing
School of Computer Science, University of South China（南华大学计算机学院）；MAIS, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of California, Merced（加州大学默塞德分校）
针对开放世界人脸活体检测的协变量与语义偏移问题，提出基元驱动的组合式取证视觉提示框架，在9个协议上实现先进性能，具备强跨域泛化与未见攻击适配能力。
2026-08-25 cs.CV
A Compositional Feature Embedding and Similarity Metric for Ultra-Fine-Grained Visual Categorization
Griffith University（格里菲斯大学）
细粒度视觉分类（FGVC）是近年来发展起来的一种分类方法，其目标是以较小的类间方差对目标进行分类。然而，超细粒度的视觉分类（超FGVC），其目标是识别具有极其相似的模式的子类，并没有得到太多的关注。在超FGVC数据集中，随着粒度的下降，每个类别的样本总是稀缺的，这将导致过拟合问题。此外，不同类别之间的差异太微妙，即使是专业专家也无法区分。针对这些问题，提出了一种新的组合特征嵌入和相似性度量（CECS）。具体来说，在组成特征嵌入模块中，我们在原始输入图像中随机选择补丁，然后将这些补丁替换为来自不同类别的图像的补丁或屏蔽掉。然后利用替换后的图像对原始输入图像进行增强，可以提供更多样的样本，从而在很大程度上缓解了由于训练样本有限而导致的过拟合问题。此外，不同样本的学习迫使模型不仅学习最具区分力的特征，而且学习剩余区域中的其他信息特征，从而增强模型的泛化能力和鲁棒性。在组合相似性度量模块中，提出了一种新的相似性度量方法，通过缩小类内距离和扩大类间距离来提高分类性能。两个ultra-FGVC数据集和一个FGVC数据集与最近的基准方法的实验结果一致表明，所提出的CECS方法达到了最先进的性能。
2021-10-27 cs.CV
Not Only Text: Exploring Compositionality of Visual Representations in Vision-Language Models
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）；University of Twente（特文特大学）
本文针对视觉-语言模型视觉嵌入空间的组合性不明问题，提出测地可分解嵌入框架，证明预训练VLM视觉表征存在组合结构，在组合分类和群体鲁棒性任务上表现更优，提升了模型可解释性。
2025-03-21 cs.CV cs.LG
Visual Concepts and Compositional Voting
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
用模式理论\cite{Mumford2010pattern}来表述视觉是非常有吸引力的，其中模式是由基本构建块的组合分层定义的。但是，将模式理论应用于现实世界的图像，目前还不如深度网络等判别方法成功。然而，深度网络是难以解释的黑盒子，很容易通过添加遮挡对象来欺骗。人们很自然地想知道，通过更好地理解深度网络，我们是否可以提取可用于开发模式理论模型的构建块。这促使我们使用PASCAL 3D+数据集的车辆图像来研究深度网络的内部表示。我们使用聚类算法来研究人口活动的功能，并提取一组视觉概念，我们显示是视觉上紧密，对应的语义部分的车辆。为了分析这一点，我们通过它们的语义部分来注释这些车辆，以创建一个新的数据集VehicleSemanticParts，并将视觉概念作为无监督的部分检测器进行评估。我们表明，视觉概念表现相当不错，但优于监督判别方法，如支持向量机（SVM）。接下来，我们将对视觉概念以及它们与语义部分的关系进行更详细的分析。在此之后，我们使用视觉概念作为一个简单的模式理论模型的构建块，我们称之为组合投票。在这个模型中，几个视觉概念结合起来检测语义部分。我们表明，这种方法明显优于SVM和专门为语义部分检测训练的深度网络等判别方法。最后，我们通过创建一个带有遮挡的注释数据集（称为VehicleOcclusion）来研究遮挡，并表明当遮挡量变大时，组合投票甚至优于深度网络。
2017-11-13 cs.CV
Hierarchical Visual Primitive Experts for Compositional Zero-Shot Learning
Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
本文提出Composition Transformer（CoT）框架，通过分层物体与属性专家显式建模属性-物体语境关系，并结合少数属性增强策略缓解长尾偏置，在多个组合零样本学习基准上取得最先进性能。
2023-08-08 cs.CV
VSC: Visual Search Compositional Text-to-Image Diffusion Model
VinUniversity（文大学）；POSTECH（POSTECH大学）；Academia Sinica（学术院）；KAIST（韩国科学技术院）
本文提出 VSC，一种组合式文本到图像扩散模型，通过将复杂提示分解为子提示并融合成对图像嵌入与文本嵌入，结合基于分割的定位训练，显著提升了多属性到对象的绑定准确性与图像质量。
2025-05-02 cs.CV
VISTA: Test-Time Compositional Alignment for Visual Autoregressive Generation
Sharif University of Technology（谢里夫理工大学）
VISTA是首个面向视觉自回归图像生成的测试时对齐框架，基于Infinity构建，可提升组合生成能力，在2B、8B模型上分别将平均目标分数提近20%、近6%，且不损失图像质量。
2026-10-20 cs.CV
H4D: Human 4D Modeling by Learning Neural Compositional Representation
Fudan University（复旦大学）；Google（谷歌）
尽管基于深度学习的3D重建取得了令人印象深刻的结果，但直接学习以详细几何形状对4D人体捕获进行建模的技术研究较少。这项工作提出了一种新的框架，可以有效地学习一个紧凑的和组成的表示动态人体利用人体之前，从广泛使用的SMPL参数模型。特别是，我们的表示，命名为H4D，代表了一个动态的三维人类在一个时间跨度与SMPL参数的形状和初始姿态，和潜在的代码编码的运动和辅助信息。提出了一种简单而有效的线性运动模型，以提供粗略和正则化的运动估计，然后利用辅助代码中编码的残差对姿态和几何细节进行逐帧补偿。在技术上，我们引入了新的基于GRU的体系结构，以促进学习和提高表示能力。大量的实验表明，我们的方法不仅是有效的恢复动态人体准确的运动和详细的几何形状，但也适合各种4D人体相关的任务，包括运动重定向，运动完成和未来的预测。请查看项目页面的视频和代码：https://boyanjiang.github.io/H4D/。
2022-04-19 cs.CV
Compositional Scene Understanding through Inverse Generative Modeling
Harvard University（哈佛大学）
本文提出将场景理解视为逆生成建模问题，通过组合式构建生成模型以推断物体集合和全局场景因子，实现对新场景的稳健泛化，并可直接应用于预训练文本到图像模型进行零样本多物体感知。
2025-06-23 cs.CV
Human Pose as Compositional Tokens
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
人体姿势通常由身体关节的坐标向量或其热图嵌入表示。虽然易于数据处理，不切实际的姿态估计承认，由于缺乏身体关节之间的依赖建模。在本文中，我们提出了一个结构化的表示，命名为姿势组成令牌（PCT），探索联合依赖。它由M个离散令牌表示姿态，每个令牌表征具有若干相互依赖的关节的子结构。组合设计使其能够以低成本实现小的重建误差。然后，我们投姿态估计作为一个分类任务。特别是，我们学习一个分类器来预测图像中M个标记的类别。预先学习的解码器网络用于从令牌恢复姿态，而无需进一步的后处理。我们表明，它实现了更好的或可比的姿态估计结果，现有的方法在一般情况下，但继续工作时，发生遮挡，这是普遍存在的实践。代码和模型可在https://github.com/Gengzigang/PCT上公开获取。
2023-03-21 cs.CV
Exploring Compositional Visual Generation with Latent Classifier Guidance
University of California, San Diego（加州大学圣地亚哥分校）；The Pennsylvania State University（宾夕法尼亚州立大学）；NEC Laboratories America（NEC美国实验室）；Northwestern University（西北大学）
本文提出在潜在语义空间中使用扩散模型和潜在分类器引导进行组合视觉生成，通过训练辅助分类器实现非线性导航并最大化条件对数概率下界，同时引入新引导项保持语义，在图像生成和操纵任务中取得有竞争力的结果。
2023-05-24 cs.CV
HYDRA: A Hyper Agent for Dynamic Compositional Visual Reasoning
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）；Building 4.0 CRC（4.0 CRC大楼）
HYDRA提出一种多阶段动态组合视觉推理框架，集成规划器、RL智能体和推理器，通过反馈循环动态选择指令，提升推理可靠性与性能，在四个数据集上达到最先进水平。
2024-07-21 cs.CV
CoGS: Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video
Vision and Image Processing Lab, University of Waterloo, Canada（滑铁卢大学视觉与图像处理实验室）
提出CoGS框架，通过组合式高斯泼溅将单目视频分解为人体、刚体物体和静态场景三个分支，并采用六阶段优化实现动态人-物交互场景的忠实重建。
2026-06-27 cs.CV
Learning Graph Embeddings for Compositional Zero-shot Learning
University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；TUM（慕尼黑工业大学）；Google（谷歌）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
在组合零样本学习中，目标是识别训练集中观察到的视觉基元状态（例如，旧的，可爱的）和对象（例如，汽车，狗）的未见过的组合（例如，老狗）。这是具有挑战性的，因为相同的状态可以改变例如狗的视觉外观与汽车截然不同。作为一种解决方案，我们提出了一种新的图形公式，称为组合图嵌入（CGE），学习图像特征，组合分类器，并在端到端的方式视觉原语的潜在表示。我们的方法的关键是利用图结构中的状态，对象和它们的组合之间的依赖关系，以执行从可见到不可见的组合的相关知识转移。通过学习对概念之间的语义进行编码的联合兼容性，我们的模型允许泛化到看不见的组合，而不依赖于WordNet等外部知识库。我们表明，在具有挑战性的广义组成zero-shot设置我们的CGE显着优于麻省理工学院的国家和UT美捷步的最先进的。我们还提出了一个新的基准，这项任务的基础上，最近的GQA数据集。代码可在：https://github.com/ExplainableML/czsl
2021-05-03 cs.CV
Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder
Institute of Computing Science, Poznan University of Technology（波兹南理工大学计算机科学学院）
针对深度学习架构缺乏捕捉基础视觉概念方法的问题，提出结合领域特定语言与卷积神经网络的神经符号组合自编码器，在合成基准上实现图像形成过程解耦、小数据学习等能力。
2024-09-15 cs.CV
Linguistically Driven Graph Capsule Network for Visual Question Reasoning
Sun Yat-sen University（中山大学）；University of California, Los Angles（加利福尼亚大学洛杉矶分校）
最近，视觉问答的研究已经探索了端到端网络的各种架构，并在自然和合成数据集上取得了可喜的成果，这需要显式的组合推理。然而，有人认为，这些黑盒方法缺乏结果的可解释性，因此不能很好地执行泛化任务，由于过拟合的数据集偏差。在这项工作中，我们的目标是结合双方的优势，克服他们的局限性，实现一个端到端的一般图像的可解释的结构推理，而不需要布局注释。受胶囊网络可以在常规卷积神经网络（CNN）中雕刻树结构的特性的启发，我们提出了一种称为“语言驱动的图胶囊网络”的分层组合推理模型，其中组合过程由语言解析树指导。具体来说，我们在最低层绑定每个胶囊，以桥接原始问题中单个单词的语言嵌入与视觉证据，然后将它们路由到相同的胶囊，如果它们在解析树中是兄弟姐妹。该合成过程通过对语言驱动的条件随机场（CRF）执行推理来实现，并且跨多个图形胶囊层执行，这导致CNN内部的合成推理过程。在CLEVR数据集、CLEVR合成生成测试和FigureQA数据集上的实验证明了我们的端到端模型的有效性和合成泛化能力。
2020-03-23 cs.CV
FINECAPTION: Compositional Image Captioning Focusing on Wherever You Want at Any Granularity
University of Rochester（罗切斯特大学）；Adobe Research（奥多比研究院）
针对VLMs在细粒度区域组合信息感知上的不足，本文提出FINECAPTION模型，可识别任意掩码并处理高分辨率图像，实现多粒度组合式图像描述，并构建了COMPOSITIONCAP数据集，实验证明其优于现有最先进方法。
2024-11-23 cs.CV
Enhancing Multimodal Compositional Reasoning of Visual Language Models with Generative Negative Mining
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对视觉语言模型多模态组合推理能力弱的问题，提出双向生成式难负样本挖掘框架，生成图像和文本双模态难负样本，显著提升模型相关任务性能。
2023-11-07 cs.CV
Self-Questioning Vision-Language Models: Reinforcement Learning for Compositional Visual Reasoning
Massachusetts Institute of Technology（麻省理工学院）
提出自问式框架，通过GRPO强化学习训练VLM自动分解问题并回答子问题，提升组合视觉推理能力，在CLEVR和A-OKVQA上验证有效性。
2026-06-16 cs.CV
OC-NMN: Object-centric Compositional Neural Module Network for Generative Visual Analogical Reasoning
Mila（米拉研究所）；ServiceNow Research（ServiceNow研究院）
本文提出OC-NMN，通过模块化将视觉生成推理任务分解为对象原语组合，无需领域特定语言即可生成新训练任务，从而提升模型在MNIST数字算术运算基准上的分布外泛化能力。
2023-10-28 cs.AI cs.CV
Dynamic Compositional Graph Convolutional Network for Efficient Composite Human Motion Prediction
Sun Yat-Sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）；Sony R&D Center China（索尼中国研发中心）；Peking University（北京大学）
针对复合人体动作预测任务，本文提出CAG模块生成合成训练数据，并设计DC-GCN模型以高效处理复合动作，在极低额外计算成本下实现了最先进的预测精度。
2023-11-23 cs.CV
Learning Compositional Representations for Few-Shot Recognition
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人学院）
现代深度学习方法的一个关键限制在于训练它们所需的数据量。相比之下，人类可以从几个例子中学习识别新的类别。这种快速学习能力的工具是人脑中概念表征的组成结构--这是深度学习模型所缺乏的。在这项工作中，我们通过引入一个简单的正则化技术，允许学习的表示可分解为部分，从而朝着弥合人类和机器学习之间的差距迈出了一步。我们的方法使用类别级别的属性注释来将网络的特征空间分解为与属性对应的子空间。这些属性可以是纯视觉的，如物体的部分，也可以是更抽象的，如开放性和对称性。我们在三个数据集上展示了组合表示的价值：CUB-200-2011，SUN 397和ImageNet，并表明它们需要更少的例子来学习新类别的分类器。
2019-08-17 cs.CV
Visual Programming: Compositional visual reasoning without training
Allen Institute for AI（艾伦人工智能研究所）
我们提出了VISPROG，神经符号的方法来解决复杂的和组成的视觉任务的自然语言的指令。VISPROG避免了任何针对特定任务的培训。相反，它使用大语言模型的上下文学习能力来生成类似Python的模块化程序，然后执行这些程序以获得解决方案以及全面和可解释的原理。生成的程序的每一行都可以调用若干现成的计算机视觉模型、图像处理例程或python函数中的一个，以产生可以由程序的后续部分消耗的中间输出。我们展示了VISPROG的灵活性4个不同的任务-组成的视觉问答，zero-shot推理的图像对，事实知识对象标记，和语言引导的图像编辑。我们相信，像VISPROG这样的神经符号方法是一个令人兴奋的途径，可以轻松有效地扩展人工智能系统的范围，为人们可能希望执行的复杂任务的长尾服务。
2022-11-18 cs.AI cs.CL cs.CV
SADL: An Effective In-Context Learning Method for Compositional Visual QA
Posts and Telecommunications Institute of Technology（邮电技术学院）；Deakin University（迪肯大学）；Applied Artificial Intelligence Institute（应用人工智能研究所）；Amazon（亚马逊公司）
本文提出SADL视觉语言提示框架，通过语义采样、复杂问题分解和逐步伪标签标注提升LVLMs在组合式视觉问答上的ICL性能。
2024-07-02 cs.CV
A Benchmark for Compositional Visual Reasoning
Carney Institute for Brain Science（卡尼脑科学研究所）；Brown University（布朗大学）；Centre de Recherche Cerveau et Cognition（脑与认知研究中心）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）
人类视觉的一个基本组成部分是我们解析复杂视觉场景并判断其组成对象之间关系的能力。近年来，视觉推理的人工智能基准测试推动了快速发展，最先进的系统现在在其中一些基准测试上达到了人类的准确性。然而，在人类和人工智能系统学习新的视觉推理任务的样本效率方面仍然存在重大差距。人类在学习方面的非凡效率至少部分归因于他们利用组合性的能力-这样他们就可以在学习新任务时有效地利用以前获得的知识。在这里，我们介绍了一种新的视觉推理基准，组合视觉关系（CVR），以推动更数据有效的学习算法的发展。我们从流体智能和非语言推理测试中获得灵感，并描述了一种用于大规模创建抽象规则和相关图像数据集组合的新方法。我们提出的基准测试包括样本效率，泛化和跨任务规则的传输，以及利用组合性的能力。我们系统地评估了现代神经架构，并发现令人惊讶的是，在大多数数据体系中，卷积架构在所有性能指标上都超过了基于transformer的架构。然而，所有的计算模型都比人类的数据效率低得多，即使在使用自我监督学习信息丰富的视觉表示之后。总的来说，我们希望我们的挑战将激发人们对开发神经架构的兴趣，这些神经架构可以学会利用组合性实现更有效的学习。
2022-06-11 cs.AI cs.CV
Compositional Memory for Visual Question Answering
Jiangxi Normal University（江西师范大学）；NICTA（国家信息与通信技术研究院）；ANU（澳大利亚国立大学）；Toyota Research Institute North America（丰田北美研究院）
视觉问答（VQA）是近年来计算机视觉研究的热点之一。许多最先进的方法天真地将整体视觉特征与语言特征一起使用到长短期记忆（LSTM）模块中，忽略了它们之间复杂的交互。这种粗糙的建模也阻碍了探索更细粒度的局部特征的可能性，这些特征有助于随着时间动态地回答问答。本文通过直接建模语言和所有可能的局部图像补丁之间的时间动态来解决这个基本问题。当按顺序遍历问题词时，我们的端到端方法显式地融合了与词相关的特征和注意力机制中多个局部补丁处可用的特征，并进一步组合融合的信息以生成动态消息，我们称之为事件。然后，我们将这些片段连同上下文视觉信息和语言信息一起馈送到标准的问答模块。受最近深度学习实践的启发，我们在训练过程中使用辅助损失函数来提高性能。我们在两个最新的公共数据集上的实验表明，我们的方法具有优越的性能。值得注意的是，在DARQUAR数据集上，我们将最先进的技术水平提高了6个$\%$，我们还在最新的MSCOCO-VQA数据集上评估了我们的方法。
2015-11-18 cs.CV
Do VLMs Have Bad Eyes? Diagnosing Compositional Failures via Mechanistic Interpretability
University of Southern California（南加州大学）
本文通过机制可解释性方法诊断视觉语言模型组合失败的原因，发现CLIP视觉编码器MLP层中神经元的特征叠加现象直接损害了组合特征表示与对象绑定能力。
2025-08-26 cs.CV
Compositional Sketch Search
University of Surrey（萨里大学）；Adobe Research（Adobe研究院）
我们提出了一种算法，用于搜索图像集，使用手绘草图，描述多个对象的外观和相对位置。基于草图的图像检索（SBIR）方法主要匹配查询包含一个单一的，占主导地位的对象不变，其在图像中的位置。我们的工作利用图纸作为一个简洁和直观的表示指定整个场景组成。我们训练一个卷积神经网络（CNN）来编码草图对象中被掩盖的视觉特征，将这些特征汇集到一个空间描述符中，对构图中对象的空间关系和外观进行编码。将CNN骨干训练为在三元组损失下的连体网络产生用于测量组成相似性的度量搜索嵌入，其可以通过应用乘积量化来有效地用于视觉搜索。
2021-06-15 cs.CV
Visual Adaptive Prompting for Compositional Zero-Shot Learning
University of West Florida（乌斯托尔大学）；Florida Institute for Human and Machine Cognition (IHMC)（佛罗里达人类与机器认知研究所）
针对CZSL中静态文本提示难以适配视觉情境的问题，提出VAPS，通过可学习视觉提示库、相似度检索与提示适配器动态选择属性和物体提示，在封闭及开放世界基准上达到SOTA。
2025-07-24 cs.CV cs.LG
Prompting Language-Informed Distribution for Compositional Zero-Shot Learning
Michigan State University（密歇根州立大学）；University of Maryland（马里兰大学）
针对组合零样本学习中现有方法泛化能力不足的问题，提出语言感知分布提示模型PLID，结合大语言模型构建类别分布并增强组合性，通过VLPD模块融合分类决策，在多个数据集上取得优于现有方法的性能。
2024-07-10 cs.CV
Semantic Compositional Learning for Low-shot Scene Graph Generation
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）
场景图为许多下游任务提供了有价值的信息。许多场景图生成（SGG）模型仅使用有限的注释关系三元组进行训练，导致其在低拍摄（少数和零）场景中表现不佳，特别是在罕见的谓词上。为了解决这个问题，我们提出了一种新的语义组合学习策略，使其能够构建额外的，现实的关系三元组与来自不同图像的对象。具体来说，我们的策略分解的关系三元组识别和删除不必要的组件，并组成一个新的关系三元组融合语义或视觉上相似的对象从视觉组件字典，同时确保现实的新组成的三元组。值得注意的是，我们的策略是通用的，可以与现有的SGG模型相结合，以显着提高其性能。我们对基准数据集Visual Genome进行了全面评估。对于最近的三个SGG模型，添加我们的策略将其性能提高了近50%，并且它们都大大超过了当前的最先进水平。
2021-08-19 cs.CV
Few-Shot Learning of Visual Compositional Concepts through Probabilistic Schema Induction
University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research（微软研究院）；Air Force Research Laboratory（空军研究实验室）
提出概率模式归纳（PSI）模型，利用深度学习在少量结构化视觉示例上进行类比映射，形成组合概念，并证明其类人少样本学习优势。
2025-05-14 cs.CV
Learning Compositional Representation for Few-shot Visual Question Answering
UBTECH Sydney AI Centre（优必选悉尼人工智能中心）；School of Computer Science at The University of Sydney（悉尼大学计算机学院）；The University of Sydney（悉尼大学）
现有的视觉问答方法在具有大量训练数据的问题上表现良好，但在具有少量实例的新颖问题上精度有限。然而，人类可以快速适应这些新的类别，只需一瞥，因为他们学会了组织以前见过的概念，以形成新的类别，这是深度学习方法很难探索的。因此，在本文中，我们提出了从具有足够数据的答案中提取属性，这些属性随后被组合以约束Few-Shot答案的学习。我们生成的Few-Shot数据集的VQA与各种答案和他们的属性，没有任何人工的努力。有了这个数据集，我们构建了我们的属性网络，通过从图像的部分而不是整个图像中学习属性的特征来理清属性。在VQA v2.0验证数据集上的实验结果证明了该方法的有效性和答案与其对应属性之间的约束关系，以及该方法在训练样本较少的情况下处理答案的能力。
2021-02-21 cs.CV
