Visual Adaptive Prompting for Compositional Zero-Shot Learning
University of West Florida（乌斯托尔大学）；Florida Institute for Human and Machine Cognition (IHMC)（佛罗里达人类与机器认知研究所）
针对CZSL中静态文本提示难以适配视觉情境的问题，提出VAPS，通过可学习视觉提示库、相似度检索与提示适配器动态选择属性和物体提示，在封闭及开放世界基准上达到SOTA。
2025-07-24 cs.CV cs.LG
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
University of Freiburg；Bosch Center for Artificial Intelligence；Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
2026-10-02 cs.AI cs.CV cs.LG
C-VQA: A Compositional Split of the Visual Question Answering (VQA) v1.0 Dataset
Virginia Tech（弗吉尼亚理工大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Georgia Institute of Technology（佐治亚理工学院）
可视化问答（VQA）在过去的几年里受到了广泛的关注。已经为这个任务提出了许多深度学习模型。然而，事实证明，这些模型在很大程度上是由训练数据中的表面相关性驱动的，并且缺乏组合性--即回答关于可见概念的不可见组合的问题的能力。这种组合性是可取的，也是智能的核心。在本文中，我们提出了一个新的设置视觉问答的测试问题，答案对是组成新颖的训练问题，答案对。为了便于在此设置下开发模型，我们提出了VQA v1.0数据集的新组合分割，我们称之为组合VQA（C-VQA）。我们分析了问题和答案在C-VQA分裂中的分布。最后，我们评估了几个现有的VQA模型在这个新的设置，并表明这些模型的性能下降了显着的量相比，原来的VQA设置。
2017-04-26 cs.AI cs.CL cs.CV
Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)（希茨中心–Ixa，巴斯克国家大学（UPV/EHU））
本文探讨了双编码视觉-语言模型中组合性问题的根源，提出通过改进推断协议提升组合性能，引入轻量级变压器学习局部对齐，优于全微调和端到端训练方法。
2026-04-16 cs.CL cs.CV cs.LG
Interpretable Neural Computation for Real-World Compositional Visual Question Answering
Shanghai Jiao Tong University（上海交通大学）
视觉问答的研究主要有两条主线：基于多跳推理的组合模型和基于隐特征空间的单块网络。前者在可解释性和组合性方面表现出色，但在真实世界的图像上失败，而后者通常由于模型灵活性和参数效率而获得更好的性能。我们的目标是将两者结合起来，为现实世界的组合VQA构建一个可解释的框架。在我们的框架中，图像和问题被分解为场景图和程序，符号程序执行器以完全透明的方式运行它们以选择注意区域，然后将其迭代传递给视觉语言预训练编码器以预测答案。在GQA基准测试上进行的实验表明，我们的框架优于现有的合成技术，并实现了单片之间的竞争力的准确性。在有效性、可扩展性和分布度量方面，我们的框架远远超过其他框架。
2020-10-10 cs.CV
A Neurosymbolic Agent System for Compositional Visual Reasoning
Georgia Institute of Technology（佐治亚理工学院）；Cisco Systems（思科系统）
针对现有视觉-语言模型组合视觉推理能力不足的问题，本文提出神经符号视觉-语言智能体系统VLAgent，通过两阶段推理架构、SS-parser和执行验证器提升推理效果，在多个基准上超越现有代表性方法。
2025-10-04 cs.CV
CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning
Stanford University（斯坦福大学）；Facebook AI Research（Facebook人工智能研究院）
在构建能够推理和回答视觉数据问题的人工智能系统时，我们需要诊断测试来分析我们的进展并发现不足。现有的视觉问答基准可以提供帮助，但有很强的偏见，模型可以利用这些偏见来正确回答问题，而无需推理。它们还合并了多种错误来源，使得很难确定模型的弱点。我们提出了一个诊断数据集，测试一系列的视觉推理能力。它包含最小的偏见，并有详细的注释，描述了每个问题所需的推理类型。我们使用这个数据集来分析各种现代视觉推理系统，为它们的能力和局限性提供新的见解。
2016-12-20 cs.CL cs.CV cs.LG
Rethinking Visual Privacy: A Compositional Privacy Risk Framework for Severity Assessment with VLMs
University of Southern California（南加州大学）；Meta Superintelligence Labs（Meta超级智能实验室）；Amazon AGI（亚马逊AGI）
提出组合隐私风险分类法（CPRT），将视觉属性按独立可识别性和组合危害潜力分级，并构建6.7K图像数据集，评估VLM在组合隐私风险评估中的表现。
2026-07-02 cs.CV
Learning Structured Visual Compositional Representations for Weakly Supervised Referring Expression Comprehension
The University of Western Australia（西澳大利亚大学）；Murdoch University（莫道克大学）；Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对弱监督指称表达式理解问题，提出结构化视觉组合表示学习框架，显式建模一元对象嵌入和成对关系嵌入，引入组合对齐机制，实验证明该方法有效。
2026-07-07 cs.CV
Learning Visual Proxy for Compositional Zero-Shot Learning
Tianjin University（天津大学）；Zhejiang University（浙江大学）；Zhejiang University of Technology（浙江工业大学）；Hainan University（海南大学）
针对组合式零样本学习中模态差距大、文本原型缺乏细粒度视觉线索的问题，提出视觉代理学习与跨模态联合学习方法，在四个基准上取得优异性能，有效提升组合泛化能力。
2025-09-02 cs.CV
MM-CondChain: A Programmatically Verified Benchmark for Visually Grounded Deep Compositional Reasoning
MM-CondChain提出了一种可编程验证的视觉基础深度组合推理基准，通过多层推理链评估多模态大语言模型在复杂视觉任务中的表现，实验表明深度组合推理仍是重大挑战。
2026-03-12 cs.CV
EPIC: Efficient Predicate-Guided Inference-Time Control for Compositional Text-to-Image Generation
Graduate School of Artificial Intelligence, POSTECH（人工智能研究生院，POSTECH）；Department of Computer Science & Engineering, POSTECH（计算机科学与工程系，POSTECH）
EPIC通过谓词引导的搜索方法提升组合式文本到图像生成的准确性，减少计算成本，提升生成质量。
2026-05-12 cs.CV cs.LG
Compositional Scene Representation Learning via Reconstruction: A Survey
本综述梳理了基于深度神经网络、以重建为基础的组合式场景表征学习的发展历程与方法分类，给出代表性方法的基准测试及开源复现工具箱，并探讨了现有方法局限与未来研究方向。
2023-06-14 cs.CV cs.LG
Towards Truly Zero-shot Compositional Visual Reasoning with LLMs as Programmers
Google DeepMind（谷歌DeepMind）
本研究针对LLM作为视觉推理控制器时需人工设计特定上下文示例的问题，提出含时空抽象例程、用少量标注自动生成上下文示例的框架，提升了性能与鲁棒性，免去人工设计成本。
2024-05-14 cs.AI cs.CV cs.LG
Learning the Compositional Visual Coherence for Complementary Recommendations
University of Science and Technology of China（中国科学技术大学）；Columbia University（哥伦比亚大学）；Tianjin University（天津大学）；JD AI Research（京东人工智能研究院）
补充推荐是指为用户提供与其所获得的产品相匹配的产品建议，近年来已成为学术界和工业界的研究热点。然而，由于其复杂性和主观性，它具有挑战性。现有的工作主要集中在两个项目之间的共同购买的关系建模，但项目集合的组合关联在很大程度上是未开发的。实际上，当用户为所购买的产品选择补充项目时，除了全局印象之外，用户还会考虑视觉语义一致性（例如颜色搭配、纹理兼容性）。为此，在本文中，我们提出了一种新的内容注意神经网络（CANN）模型的全面组成一致性的全球内容和语义内容。具体来说，我们首先提出了一个\textit{Global Coherence Learning}（GCL）模块的基础上多头注意力的全球成分一致性建模。然后，我们从不同的语义区域生成语义焦点表示，并设计了一个\textit{Focal Coherence Learning}（FCL）模块来学习不同的语义焦点表示的焦点成分一致性。最后，我们优化CANN在一个新的组合优化策略。大量的实验上的大规模的真实世界的数据清楚地证明了CANN的有效性相比，一些国家的最先进的方法。
2020-06-08 cs.CV cs.IR cs.LG
Visual Programming: Compositional visual reasoning without training
Allen Institute for AI（艾伦人工智能研究所）
我们提出了VISPROG，神经符号的方法来解决复杂的和组成的视觉任务的自然语言的指令。VISPROG避免了任何针对特定任务的培训。相反，它使用大语言模型的上下文学习能力来生成类似Python的模块化程序，然后执行这些程序以获得解决方案以及全面和可解释的原理。生成的程序的每一行都可以调用若干现成的计算机视觉模型、图像处理例程或python函数中的一个，以产生可以由程序的后续部分消耗的中间输出。我们展示了VISPROG的灵活性4个不同的任务-组成的视觉问答，zero-shot推理的图像对，事实知识对象标记，和语言引导的图像编辑。我们相信，像VISPROG这样的神经符号方法是一个令人兴奋的途径，可以轻松有效地扩展人工智能系统的范围，为人们可能希望执行的复杂任务的长尾服务。
2022-11-18 cs.AI cs.CL cs.CV
Distilling Audio-Visual Knowledge by Compositional Contrastive Learning
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Tencent PCG（腾讯平台与内容事业群）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
与从单一模态学习相比，获得多模态提示（例如视觉和音频）使一些认知任务能够更快地完成。在这项工作中，我们建议跨异构模态的知识转移，即使这些数据模态可能不语义相关。我们不是直接对齐不同模态的表示，而是跨模态组合音频、图像和视频表示，以揭示更丰富的多模态知识。我们的主要思想是学习一个复合嵌入，关闭跨模态的语义差距，并捕捉任务相关的语义，这有利于拉在一起的组合对比学习跨模态的表示。我们在三个视频数据集上建立了一个新的，全面的多模态蒸馏基准：UCF101，ActivityNet和VGGSound。此外，我们证明，我们的模型显着优于各种现有的知识蒸馏方法在转移视听知识，以提高视频表示学习。代码发布在这里：https://github.com/yanbeic/CCL。
2021-04-22 cs.AI cs.CV cs.LG
NAVER: A Neuro-Symbolic Compositional Automaton for Visual Grounding with Explicit Logic Reasoning
Monash University（莫纳什大学）
本文提出NAVER，一种组合视觉定位方法，通过在有限状态自动机中集成显式概率逻辑推理和自我纠正机制，解决了现有组合方法在复杂语言逻辑推理上的局限，提升了鲁棒性和可解释性，并实现了SoTA性能。
2025-08-14 cs.CV
Learning visual representations for compositional analysis of artworks and photographs
KU Leuven University（KU Leuven大学（荷语鲁汶大学））
该研究对比了受人类启发的构图分析方法与微调基础模型两种范式，在三类任务上评估性能，发现前者冻结编码器时具竞争力且可解释，后者微调后性能更优但可解释性与泛化性下降。
2026-08-17 cs.CV
Adding simple structure at inference improves Vision-Language Compositionality
HiTZ Center – Ixa, University of the Basque Country (UPV/EHU)（希茨中心–Ixa，巴斯克大学（UPV/EHU））
针对双编码器视觉-语言模型组合性不足的问题，提出在推理阶段通过分割图像、匹配文本片段与图像块并聚合相似度的方法，无需训练即可稳定提升模型图文检索的组合性表现，尤其在属性-对象绑定任务中效果显著。
2025-06-11 cs.CL cs.CV cs.LG
OC-NMN: Object-centric Compositional Neural Module Network for Generative Visual Analogical Reasoning
Mila（米拉研究所）；ServiceNow Research（ServiceNow研究院）
本文提出OC-NMN，通过模块化将视觉生成推理任务分解为对象原语组合，无需领域特定语言即可生成新训练任务，从而提升模型在MNIST数字算术运算基准上的分布外泛化能力。
2023-10-28 cs.AI cs.CV
Compositional Video Generation via Inference-Time Guidance
Tel-Aviv University（特拉维夫大学）；Bar Ilan University（巴伊兰大学）；NVIDIA Research（NVIDIA研究）
本文提出CVG方法，通过利用交叉注意力图中的空间时间接地信号，提升冻结文本到视频模型的组合忠实度，无需修改模型结构或微调生成器。
2026-05-14 cs.CV
Compositional Temporal Visual Grounding of Natural Language Event Descriptions
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）
时间基础需要在自然语言事件描述和它们的视觉解释之间建立对应。组合建模成为核心：我们首先将原子描述“吃苹果的女孩”，“击球手击球”接地到短视频片段，然后建立片段之间的时间关系。这种组合结构使模型能够通过识别它们的原子子事件来识别在训练期间未看到的更广泛的事件。显式时间建模考虑了可以用语言表达的各种各样的时间关系：例如，在“女孩吃完苹果后从桌子上站起来”的描述中，事件的视觉顺序是颠倒的，首先是“吃苹果”，然后是“从桌子站起来”。“我们利用这些观察来开发一个统一的深度架构CTG-Net，以执行自然语言事件描述到视频的时间基础。我们证明了我们的系统在DiDeMo，Tempo-TL和Tempo-HL时间接地数据集上的性能优于现有的最先进的方法。
2019-12-04 cs.CV
Compositional diversity in visual concept learning
New York University（纽约大学）
本文研究人类在视觉概念学习中的组合泛化能力，提出贝叶斯程序归纳模型和神经符号程序归纳模型，在少样本分类与生成任务中揭示人类和模型如何从已有部件组合出新概念并产生多样化行为。
2023-05-30 cs.AI cs.CV cs.LG
Adventurer's Treasure Hunt: A Transparent System for Visually Grounded Compositional Visual Question Answering based on Scene Graphs
University of Bremen（不来梅大学）
为了提高VQA推理过程的透明性和可视性，提出了一个基于场景图的组合式VQA任务模块化系统。我们的系统被称为“冒险家的寻宝”（或ATH），以我们在模型的答案搜索过程和冒险家的宝藏搜索之间的类比命名。我们开发ATH时考虑了三个特征：1.通过设计，ATH允许我们明确量化每个子组件对整体VQA性能的影响，以及它们对各自子任务的性能。2.通过对寻宝之后的搜索任务进行建模，ATH本质上为处理的问题产生了一个明确的、基于视觉的推理路径。3. ATH是第一个GQA训练的VQA系统，它通过直接查询视觉知识库来动态提取答案，而不是从预先固定的答案词汇表上专门学习的分类器的输出分布中选择一个。我们报告了所有组件的详细结果及其对GQA数据集整体VQA性能的贡献，并表明ATH在所有检查系统中获得了最高的视觉基础分数。
2021-06-28 cs.CV
A Benchmark for Compositional Visual Reasoning
Carney Institute for Brain Science（卡尼脑科学研究所）；Brown University（布朗大学）；Centre de Recherche Cerveau et Cognition（脑与认知研究中心）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）
人类视觉的一个基本组成部分是我们解析复杂视觉场景并判断其组成对象之间关系的能力。近年来，视觉推理的人工智能基准测试推动了快速发展，最先进的系统现在在其中一些基准测试上达到了人类的准确性。然而，在人类和人工智能系统学习新的视觉推理任务的样本效率方面仍然存在重大差距。人类在学习方面的非凡效率至少部分归因于他们利用组合性的能力-这样他们就可以在学习新任务时有效地利用以前获得的知识。在这里，我们介绍了一种新的视觉推理基准，组合视觉关系（CVR），以推动更数据有效的学习算法的发展。我们从流体智能和非语言推理测试中获得灵感，并描述了一种用于大规模创建抽象规则和相关图像数据集组合的新方法。我们提出的基准测试包括样本效率，泛化和跨任务规则的传输，以及利用组合性的能力。我们系统地评估了现代神经架构，并发现令人惊讶的是，在大多数数据体系中，卷积架构在所有性能指标上都超过了基于transformer的架构。然而，所有的计算模型都比人类的数据效率低得多，即使在使用自我监督学习信息丰富的视觉表示之后。总的来说，我们希望我们的挑战将激发人们对开发神经架构的兴趣，这些神经架构可以学会利用组合性实现更有效的学习。
2022-06-11 cs.AI cs.CV
Compositional Adversarial Training for Robust Visual Watermarking
University of Maryland（马里兰大学）
本文提出了一种组合对抗训练（CAT）框架，通过在结构化空间中构建组合转换的min-max问题，提升视觉水印的鲁棒性，实验表明其在多种攻击设置下优于随机增强基线。
2026-05-16 cs.CV cs.LG
ExoViP: Step-by-step Verification and Exploration with Exoskeleton Modules for Compositional Visual Reasoning
BIGAI（北京智源人工智能研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
ExoViP提出一种即插即用的外骨骼验证模块，通过三个子验证器逐步校验并校准视觉模块预测和LLM推理轨迹，从而纠正VL编程中规划与执行阶段的错误，在多个组合视觉推理基准上实现一致提升。
2024-08-05 cs.CV
Human-like compositional learning of visually-grounded concepts using synthetic environments
Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文在3D合成环境中研究多模态强化学习智能体如何通过试错学习将限定词和介词等复杂概念与视觉目标组合基础化，并证明课程学习可减少15%训练回合、提升学习效率，使智能体能够分解未见指令并快速适应新视觉组合。
2025-04-09 cs.CV
Semantic Compositional Networks for Visual Captioning
Duke University（杜克大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
提出了一种用于图像描述的语义合成网络（SCN），标签），并且每个标签的概率用于构成长短期记忆（LSTM）网络中的参数。SCN将LSTM的每个权重矩阵扩展为标签相关权重矩阵的集合。集合中的每个成员用于生成图像标题的程度与对应标签的图像相关概率有关。除了为图像添加字幕外，我们还扩展了SCN以生成视频剪辑的字幕。我们定性分析了SCN中的语义组成，并在三个基准数据集上定量评估了该算法：COCO，Flickr30k和Youtube2Text。实验结果表明，该方法显着优于现有的最先进的方法，在多个评价指标。
2017-03-28 cs.CL cs.CV cs.LG
MathSticks: A Benchmark for Visual Symbolic Compositional Reasoning with Matchstick Puzzles
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）；The University of Sydney（悉尼大学）；Beihang University（北航大学）
本研究提出用于视觉符号组合推理的火柴谜题基准MathSticks，覆盖多维度任务设置与百万级实例，评估发现现有视觉-语言模型存在明显局限，人类表现更优，为相关推理能力研究提供了严格测试平台。
2025-10-01 cs.CV
Task-Aware Feature Generation for Zero-Shot Compositional Learning
UC Berkeley（加州大学伯克利分校）
视觉概念（例如，红苹果，大象）通常在语义上是组成的并且组成的每个元素可以被重用以构造新颖的概念（例如，红色大象）。组合特征合成是利用图像的语义组合性生成图像特征分布，是一种很有前途的样本有效模型泛化方法。在这项工作中，我们提出了一个任务感知的特征生成（TFG）框架组成的学习，它生成新的视觉概念的功能，通过转移知识，从以前看到的概念。这些合成特征然后用于训练分类器以zero-shot方式识别新概念。我们新颖的TFG设计逐层注入任务条件噪声，在每个级别产生与任务相关的变化。我们发现所提出的生成器设计提高了分类精度和样本效率。我们的模型在三个zero-shot成分学习（ZSCL）基准测试中建立了一个新的最先进的模型，大大优于以前的判别模型。我们的模型在广义ZSCL设置中将现有技术的性能提高了2倍以上。
2020-03-23 cs.CV cs.LG
Complexity of Representation and Inference in Compositional Models with Part Sharing
University of California, Los Angeles（加州大学洛杉矶分校）
本文描述了串行和并行的多个对象的组成模型与部分共享。对象是由部件-子部件组合构建的，并以对象部件的层次字典表示。这些部分表示在大小递减的网格上，从而产生执行摘要描述。我们描述了这些模型的推理和学习算法。我们从计算时间（对于串行计算机）和节点数量（例如，“神经元”）用于并行计算机。特别是，我们计算的复杂性收益的部分共享和依赖的字典规模与层次结构的水平。我们探讨了三种制度的缩放行为，其中字典大小（i）随水平呈指数级增加，（ii）由应用于真实数据的无监督组合学习算法确定，（iii）随规模呈指数级下降。这一分析表明，在某些制度中，使用共享的部分，使算法，可以执行推理的时间线性的指数数量的对象的水平。在其他制度部分共享串行计算机几乎没有优势，但可以给并行计算机上的线性处理。
2013-01-16 cs.CV
Meta Module Network for Compositional Visual Reasoning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）
神经模块网络（NMN）由于其手工制作的神经模块具有显式多跳推理能力，因此具有很强的可解释性和组合性。然而，大多数NMN具有两个关键缺点：1）可扩展性：针对特定功能的定制模块在扩展到复杂任务中的更大功能集时变得不切实际; 2）可推广性：刚性的预定义模块库存使得难以推广到新任务/域中的不可见功能。为了设计一个功能更强大的NMN架构，我们提出了Meta Module Network（MMN），它以一个新的元模块为中心，可以动态地接受函数配方并变形为不同的实例模块。然后将实例模块编织成执行图，用于复杂的视觉推理，继承了NMN的强大可解释性和组合性。通过这种灵活的实例化机制，实例模块的参数从中央Meta模块继承，随着函数集的增长保持相同的模型复杂度，这保证了更好的可扩展性。同时，当函数被编码到嵌入空间中时，看不见的函数可以很容易地基于其与先前观察到的函数的结构相似性来表示，这确保了更好的泛化性。在GQA和CLEVR数据集上进行的实验验证了MMN相对于最先进的NMN设计的优越性。对GQA数据集上的hold-out未知函数的合成实验也证明了MMN的强泛化能力。我们的代码和模型发布在Github https://github.com/wenhuchen/Meta-Module-Network上。
2020-11-08 cs.CV cs.LG
Leveraging Textual Compositional Reasoning for Robust Change Captioning
CORTEX通过整合文本线索和组合推理，提升图像变化描述的鲁棒性与准确性。
2025-11-28 cs.AI cs.CV
Is Visual in-Context Learning for Compositional Medical Tasks within Reach?
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Mercedes-Benz Tech Innovation（梅赛德斯-奔驰技术创新）；University of Applied Sciences Berlin（柏林应用技术大学）
本文研究视觉上下文学习在组合式医疗任务中的可行性，提出基于合成任务生成引擎的训练方法，并分析码本与掩码训练目标的作用，为多模态医疗任务序列提供见解。
2025-07-02 cs.CV
Progressive Compositionality in Text-to-Image Generative Models
Yale University（耶鲁大学）；University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）
针对扩散模型在复杂场景下组合关系理解不足的问题，利用LLM和VQA构建了包含1.5万对图像的对比数据集ConPair，并提出多阶段课程EvoGen进行对比学习，有效提升了组合T2I基准性能。
2025-04-26 cs.CV cs.LG
CLEVR-Math: A Dataset for Compositional Language, Visual and Mathematical Reasoning
Umeå University（于默奥大学）；Örebro University（厄勒布鲁大学）
我们介绍CLEVR-Math，一个多模态数学单词问题数据集，由涉及加法/减法的简单数学单词问题组成，部分由文本描述表示，部分由说明场景的图像表示。文本描述了在图像中描绘的场景上执行的操作。由于提出的问题可能不是关于图像中的场景，而是关于应用动作之前或之后的场景状态，因此求解器设想或想象由于这些动作而导致的状态变化。解决这些应用题需要语言、视觉和数学推理的结合。我们采用最先进的神经和神经符号模型的视觉问答CLEVR-Math和经验评估他们的表现。我们的研究结果表明，这两种方法都不能推广到连锁经营。我们讨论了这两个在解决多模态字问题解决的任务的局限性。
2022-08-10 cs.CL cs.CV cs.LG
Semantically Guided Dynamic Visual Prototype Refinement for Compositional Zero-Shot Learning
National Key Laboratory of Radar Signal Processing, Xidian University（雷达信号处理国家级重点实验室，西安电子科技大学）；Research Institute of Systems Engineering, Academy of Military Science（系统工程研究所，军事科学院）
Duplex通过动态视觉原型精炼和双原型学习，提升组合零样本学习中语义判别性和泛化能力。
2026-02-02 cs.CV
A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets
WeChat AI, Tencent Inc, China（腾讯公司）
本文提出基于块的扩散方法自动生成反事实图文数据集，并设计区分集合间与集合内样本的损失函数，以少量训练数据显著提升视觉-语言模型的组合性推理性能，在多个基准上取得最优结果。
2025-07-07 cs.CV
Explain Before You Answer: A Survey on Compositional Visual Reasoning
Monash University（墨尔本大学）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Griffith University（格里菲斯大学）；Princeton University（普林斯顿大学）；Allen Institute for Artificial Intelligence（人工智能研究院）
综述2023年至2025年组合视觉推理文献，形式化核心定义，追溯范式转变，编目基准指标，提炼见解、识别挑战并概述方向，为该领域提供统一分类、历史路线图和批判性展望。
2026-07-09 cs.AI cs.CV
Learning Compositional Neural Information Fusion for Human Parsing
Inception Institute of Artificial Intelligence（人工智能研究院）；Tianjin University（天津大学）；University of California, Los Angeles（加州大学洛杉矶分校）
这项工作提出将神经网络与人体的组成层次结构相结合，以实现高效和完整的人体解析。我们制定的方法作为一个神经信息融合框架。我们的模型通过层次结构从三个推理过程中收集信息：直接推理（使用图像信息直接预测人体的每个部分），自底向上推理（从组成部分收集知识）和自顶向下推理（利用来自父结点的上下文）。自下而上和自上而下的推理分别明确地模拟了人体的组成和分解关系。此外，多源信息的融合取决于输入，即，通过估计和考虑来源的置信度。整个模型是端到端可区分的，明确地建模信息流和结构。我们的方法在四个流行的数据集上进行了广泛的评估，在所有情况下都优于最先进的技术，具有23fps的快速处理速度。我们的代码和结果已经发布，以帮助简化未来在这个方向的研究。
2020-01-19 cs.CV
From Shallow to Deep: Compositional Reasoning over Graphs for Visual Question Answering
University of Chinese Academy of Sciences（中国科学院大学）
为了实现一个通用的视觉问答（VQA）系统，它是必不可少的学习回答更深层次的问题，需要对图像和外部知识的组合推理。同时，推理过程应该是明确的和可解释的，以理解模型的工作机制。这对人类来说很容易，但对机器来说很有挑战性。在本文中，我们提出了一个层次图神经模块网络（HGNMN），原因在多层图与神经模块，以解决上述问题。具体来说，我们首先从视觉，语义和常识的观点，因为支持答案的线索可能存在于不同的模态的多层图编码的图像。我们的模型由几个精心设计的神经模块组成，它们在图上执行特定的功能，可用于在不同的图内和图之间进行多步推理。与现有的模块化网络相比，我们将视觉推理从一个图扩展到更多的图。我们可以显式地跟踪推理过程中，根据模块的权重和图的关注度。实验表明，我们的模型不仅达到了最先进的性能在CRIC数据集上，但也获得了明确的和可解释的推理过程。
2022-06-25 cs.CV
Visual Compositional Tuning
Princeton University（普林斯顿大学）；Meta AI
本文提出COMPACT方法，通过组合多个基本视觉能力提升视觉指令调谐数据效率，减少训练样本数量并提升多模态任务性能。
2026-05-14 cs.CV
Disentanglement-Based Equivariant Learning for Compositional VQA
IEEE Publication Technology Group（IEEE出版技术组）；School of Computing and Artificial Intelligence, Southwest Jiaotong University（计算机与人工智能学院，西南交通大学）；Engineering Research Center of Sustainable Urban Intelligence Transportation, Ministry of Education, China（可持续智慧城市交通工程研究中心，中华人民共和国教育部）；State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统（MAIS）国家重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
提出DEAL框架，通过因果干预解耦视觉和文本概念，并利用等变约束增强组合推理能力，在CLEVR-CoGenT和GQA-SGL上超越现有方法。
2026-06-01 cs.CV cs.LG
VC-Tooler: Learning Compositional and Adaptive Visual Tool Use
VC-Tooler是一种学习组合式与自适应视觉工具使用的模型，通过分层合成轨迹库与两阶段训练，在通用和具身基准上达到开源模型最优性能，且具良好迁移能力。
2026-08-04 cs.CV
Compositional Law Parsing with Latent Random Functions
Fudan University（复旦大学）
人的认知具有组合性。我们通过将场景分解为不同的概念来理解场景（例如，物体的形状和位置），并学习这些概念的各自规律，这些规律可以是自然的（例如，运动定律）或人为的（例如，游戏规则）。这些法律的自动解析表明模型的理解场景的能力，这使得法律解析在许多视觉任务中发挥着核心作用。提出了一种用于组合式LAw解析（CLAP）的深层潜变量模型，该模型通过编码-解码架构将场景中的概念表示为潜变量，实现了类似人类的组合能力。CLAP采用神经过程实例化的概念特定的潜在随机函数来捕获概念的规律。我们的实验结果表明，CLAP优于基线方法在多个视觉任务，如直观的物理，抽象的视觉推理，场景表示。通过修改样本上的特定潜在随机函数，法律操作实验说明了CLAP的可解释性。例如，CLAP从场景中移动的球中学习位置变化和外观恒定性的规律，从而可以在样本之间交换规律或将现有的规律组合成新的规律。
2023-02-25 cs.AI cs.CV cs.LG
Curriculum Learning for Compositional Visual Reasoning
Conservatoire National des Arts et Métiers（法国国立工艺学院）；XXII Group（XXII集团）
可视化问答（VQA）是一项复杂的任务，需要大量的数据集和昂贵的训练。神经模块网络（NMN）首先将问题转换为推理路径，然后沿着该路径分析图像并提供答案。我们提出了一种NMN方法，该方法依赖于预定义的跨模态嵌入来在GQA数据集上进行“热启动”学习，然后专注于课程学习（CL），以改善训练并更好地利用数据。几个困难的标准被用来定义CL方法。我们表明，通过适当选择的CL方法的训练成本和训练数据的量可以大大降低，与最终的VQA精度的影响有限。此外，我们在训练过程中引入了中间损失，并发现这可以简化CL策略。
2023-03-27 cs.CL cs.CV cs.LG
Open World Compositional Zero-Shot Learning
University of Tübingen（蒂宾根大学）；TU München（慕尼黑工业大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
成分零样本学习（CNOML）需要识别在训练过程中看不到的状态对象成分。在这项工作中，而不是假设先验知识的看不见的组合物，我们在开放世界的设置，其中的搜索空间包括大量的看不见的组合物，其中一些可能是不可行的。在这种情况下，我们从视觉特征和合成嵌入之间的余弦相似性开始。在估计每个组合的可行性得分之后，我们使用这些得分直接屏蔽输出空间，或者作为训练期间视觉特征和组合嵌入之间的余弦相似性的余量。我们在两个标准的CNOHL基准测试上的实验表明，所有的方法在开放世界环境中应用时，都会出现严重的性能下降。虽然我们简单的CNOML模型在封闭世界场景中实现了最先进的性能，但我们的可行性分数提高了我们在开放世界环境中的性能，明显优于以前的最先进水平。
2021-03-30 cs.CV cs.LG
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
Stanford University（斯坦福大学）
我们介绍了GQA，一个新的数据集，用于现实世界的视觉推理和组合问答，寻求解决以前的VQA数据集的关键缺点。我们已经开发了一个强大而强大的问题引擎，利用场景图结构创建22M不同的推理问题，所有这些问题都带有表示其语义的功能程序。我们使用的程序来获得严格的控制答案分布，并提出了一个新的可调平滑技术，以减轻问题的偏见。该数据集附带了一套新的指标，用于评估一致性、基础和合理性等基本质量。对基线以及最先进的模型进行了广泛的分析，为不同的问题类型和拓扑提供了细粒度的结果。虽然盲LSTM仅获得42.1%，强大的VQA模型获得54.1%，但人类性能最高可达89.3%，为新研究提供了充分的探索机会。我们强烈希望GQA能够为下一代模型提供一个支持资源，增强鲁棒性，提高一致性，并对图像和语言进行更深入的语义理解。
2019-05-10 cs.AI cs.CL cs.CV
Learning Invariant Visual Representations for Compositional Zero-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
作文零样本学习（CNOML）的目的是利用从训练集中的属性-对象作文中学习到的知识来识别新的作文。以往的工作主要是将一幅图像和一幅构图投影到一个公共的嵌入空间中来衡量它们的兼容性得分。然而，属性和对象共享上面学习的视觉表示，导致模型利用虚假的相关性和对可见对的偏见。相反，我们重新考虑作为一个分布外泛化的问题。如果一个对象被视为一个域，我们可以学习对象不变的特征，以可靠地识别附加到任何对象的属性。类似地，当识别具有属性的对象作为域时，也可以学习属性不变特征。具体来说，我们提出了一个不变特征学习框架，在表示和梯度级别对齐不同的域，以捕获与任务相关的内在特征。实验结果表明，该方法的性能明显优于现有的方法。
2022-07-18 cs.CV
Primitive-Driven Compositional Forensic Visual Prompting for Open-World Face Anti-Spoofing
School of Computer Science, University of South China（南华大学计算机学院）；MAIS, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；University of California, Merced（加州大学默塞德分校）
针对开放世界人脸活体检测的协变量与语义偏移问题，提出基元驱动的组合式取证视觉提示框架，在9个协议上实现先进性能，具备强跨域泛化与未见攻击适配能力。
2026-08-25 cs.CV
The ART of Composition: Attention-Regularized Training for Compositional Visual Grounding
The University of British Columbia（不列颠哥伦比亚大学）；Nanyang Technological University（南洋理工大学）
本文提出CompART，通过分解标题为以对象为中心的短语并构建复合短语，提升多对象定位能力，验证了其在多种视觉语言模型上的有效性。
2026-05-07 cs.CL cs.CV cs.LG
A Compositional Feature Embedding and Similarity Metric for Ultra-Fine-Grained Visual Categorization
Griffith University（格里菲斯大学）
细粒度视觉分类（FGVC）是近年来发展起来的一种分类方法，其目标是以较小的类间方差对目标进行分类。然而，超细粒度的视觉分类（超FGVC），其目标是识别具有极其相似的模式的子类，并没有得到太多的关注。在超FGVC数据集中，随着粒度的下降，每个类别的样本总是稀缺的，这将导致过拟合问题。此外，不同类别之间的差异太微妙，即使是专业专家也无法区分。针对这些问题，提出了一种新的组合特征嵌入和相似性度量（CECS）。具体来说，在组成特征嵌入模块中，我们在原始输入图像中随机选择补丁，然后将这些补丁替换为来自不同类别的图像的补丁或屏蔽掉。然后利用替换后的图像对原始输入图像进行增强，可以提供更多样的样本，从而在很大程度上缓解了由于训练样本有限而导致的过拟合问题。此外，不同样本的学习迫使模型不仅学习最具区分力的特征，而且学习剩余区域中的其他信息特征，从而增强模型的泛化能力和鲁棒性。在组合相似性度量模块中，提出了一种新的相似性度量方法，通过缩小类内距离和扩大类间距离来提高分类性能。两个ultra-FGVC数据集和一个FGVC数据集与最近的基准方法的实验结果一致表明，所提出的CECS方法达到了最先进的性能。
2021-10-27 cs.CV
