OC-NMN: Object-centric Compositional Neural Module Network for Generative Visual Analogical Reasoning
Mila(米拉研究所);ServiceNow Research(ServiceNow研究院)
本文提出OC-NMN,通过模块化将视觉生成推理任务分解为对象原语组合,无需领域特定语言即可生成新训练任务,从而提升模型在MNIST数字算术运算基准上的分布外泛化能力。
2023-10-28 cs.AI cs.CV
A Benchmark for Compositional Visual Reasoning
Carney Institute for Brain Science(卡尼脑科学研究所);Brown University(布朗大学);Centre de Recherche Cerveau et Cognition(脑与认知研究中心);CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Artificial and Natural Intelligence Toulouse Institute(图卢兹人工智能与自然智能研究所)
人类视觉的一个基本组成部分是我们解析复杂视觉场景并判断其组成对象之间关系的能力。近年来,视觉推理的人工智能基准测试推动了快速发展,最先进的系统现在在其中一些基准测试上达到了人类的准确性。然而,在人类和人工智能系统学习新的视觉推理任务的样本效率方面仍然存在重大差距。人类在学习方面的非凡效率至少部分归因于他们利用组合性的能力-这样他们就可以在学习新任务时有效地利用以前获得的知识。在这里,我们介绍了一种新的视觉推理基准,组合视觉关系(CVR),以推动更数据有效的学习算法的发展。我们从流体智能和非语言推理测试中获得灵感,并描述了一种用于大规模创建抽象规则和相关图像数据集组合的新方法。我们提出的基准测试包括样本效率,泛化和跨任务规则的传输,以及利用组合性的能力。我们系统地评估了现代神经架构,并发现令人惊讶的是,在大多数数据体系中,卷积架构在所有性能指标上都超过了基于transformer的架构。然而,所有的计算模型都比人类的数据效率低得多,即使在使用自我监督学习信息丰富的视觉表示之后。总的来说,我们希望我们的挑战将激发人们对开发神经架构的兴趣,这些神经架构可以学会利用组合性实现更有效的学习。
2022-06-11 cs.AI cs.CV
ComPhy: Compositional Physical Reasoning of Objects and Events from Videos
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);Harvard University(哈佛大学);MIT(麻省理工学院);The University of Hong Kong(香港大学)
自然界中物体的运动是由复杂的相互作用及其性质决定的。虽然一些属性,如形状和材料,可以通过物体的视觉外观来识别,但其他属性,如质量和电荷,则无法直接看到。可见和隐藏属性之间的组合性对人工智能模型从物理世界进行推理提出了独特的挑战,而人类可以毫不费力地通过有限的观察来推断它们。现有的视频推理研究主要集中在视觉上可观察的元素,如对象的外观,运动,接触互动。在本文中,我们首先通过引入组合物理推理(ComPhy)数据集来强调推断隐藏的物理特性的重要性。对于给定的一组对象,ComPhy包括一些在不同初始条件下移动和交互的视频。该模型的评估是基于其解开组成隐藏属性(如质量和电荷)的能力,并使用这些知识来回答其中一个视频上发布的一组问题。几个国家的最先进的视频推理模型在ComPhy的评估结果显示不令人满意的性能,因为他们无法捕捉这些隐藏的属性。我们进一步提出了一个名为Compositional Physics Learner(CPL)的Oracle神经符号框架,将视觉感知,物理属性学习,动态预测和符号执行结合到一个统一的框架中。CPL可以有效地识别物体的物理特性,从他们的相互作用和预测他们的动态回答问题。
2022-05-02 cs.AI cs.CV cs.LG
TimeBlind: A Spatio-Temporal Compositionality Benchmark for Video LLMs
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
TimeBlind通过细粒度时空理解基准揭示视频大语言模型对时间动态理解的不足,展示其在实例准确率上的显著劣势,强调对静态视觉捷径的依赖。
2026-09-09 cs.AI cs.CV
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
Stanford University(斯坦福大学)
我们介绍了GQA,一个新的数据集,用于现实世界的视觉推理和组合问答,寻求解决以前的VQA数据集的关键缺点。我们已经开发了一个强大而强大的问题引擎,利用场景图结构创建22M不同的推理问题,所有这些问题都带有表示其语义的功能程序。我们使用的程序来获得严格的控制答案分布,并提出了一个新的可调平滑技术,以减轻问题的偏见。该数据集附带了一套新的指标,用于评估一致性、基础和合理性等基本质量。对基线以及最先进的模型进行了广泛的分析,为不同的问题类型和拓扑提供了细粒度的结果。虽然盲LSTM仅获得42.1%,强大的VQA模型获得54.1%,但人类性能最高可达89.3%,为新研究提供了充分的探索机会。我们强烈希望GQA能够为下一代模型提供一个支持资源,增强鲁棒性,提高一致性,并对图像和语言进行更深入的语义理解。
2019-05-10 cs.AI cs.CL cs.CV
Distilling Audio-Visual Knowledge by Compositional Contrastive Learning
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);Tencent PCG(腾讯平台与内容事业群);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
与从单一模态学习相比,获得多模态提示(例如视觉和音频)使一些认知任务能够更快地完成。在这项工作中,我们建议跨异构模态的知识转移,即使这些数据模态可能不语义相关。我们不是直接对齐不同模态的表示,而是跨模态组合音频、图像和视频表示,以揭示更丰富的多模态知识。我们的主要思想是学习一个复合嵌入,关闭跨模态的语义差距,并捕捉任务相关的语义,这有利于拉在一起的组合对比学习跨模态的表示。我们在三个视频数据集上建立了一个新的,全面的多模态蒸馏基准:UCF101,ActivityNet和VGGSound。此外,我们证明,我们的模型显着优于各种现有的知识蒸馏方法在转移视听知识,以提高视频表示学习。代码发布在这里:https://github.com/yanbeic/CCL。
2021-04-22 cs.AI cs.CV cs.LG
Dense but Efficient VideoQA for Intricate Compositional Reasoning
Kakao Brain;Hanyang University(汉阳大学)
众所周知,大多数传统的视频问答(VideoQA)数据集由需要简单推理过程的简单问题组成。然而,长视频不可避免地包含复杂的组合语义结构以及时空轴,这需要一个模型来理解视频中固有的组合结构。在本文中,我们提出了一种新的组合视频问答方法的基础上Transformer架构与变形注意力机制,以解决复杂的视频问答任务。引入可变形注意力,从密集的视觉特征图中采样信息丰富的视觉特征子集,以有效地覆盖时间上长范围的帧。此外,复杂问句中的依存结构也与语言嵌入相结合,以便于理解疑问词之间的关系。大量的实验和烧蚀研究表明,建议的密集,但有效的模型优于其他基线。
2022-10-19 cs.CV
VideoTetris: Towards Compositional Text-to-Video Generation
Peking University(北京大学);Kuaishou Technology(快手科技)
针对复杂长视频生成中多对象及数量动态变化的挑战,提出VideoTetris框架,通过时空组合扩散和增强型视频数据预处理及参考帧注意力机制,实现高质量的组合式文本到视频生成。
2024-10-14 cs.CV
Neural-Symbolic VideoQA: Learning Compositional Spatio-Temporal Reasoning for Real-world Video Question Answering
Harbin University of Science and Technology(哈尔滨理工大学)
本文提出神经符号框架 NS-VideoQA,通过 SPN 将视频结构化为符号表示,并用 SRM 与多态执行器完成组合式时空推理,在 AGQA Decomp 上验证了有效性。
2024-04-05 cs.CV
T2V-CompBench: A Comprehensive Benchmark for Compositional Text-to-video Generation
The University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本研究首次针对组合式文本生成视频展开系统研究,提出涵盖7类组合维度、含1400条文本提示的基准T2V-CompBench,设计三类评估指标并验证其有效性,经多模型基准测试发现当前模型在该任务上仍具挑战,为后续研究提供参考。
2025-01-15 cs.CV
Align and Aggregate: Compositional Reasoning with Video Alignment and Answer Aggregation for Video Question-Answering
Shanghai Jiao Tong University(上海交通大学);Tongji University(同济大学)
本文提出模型无关的 VA³ 框架,通过视频对齐、答案聚合和问题分解提升视频问答的组合一致性与准确性,并引入新指标和 LLM 自动分解流程验证其有效性。
2024-07-03 cs.CV
Compositional Video Generation via Inference-Time Guidance
Tel-Aviv University(特拉维夫大学);Bar Ilan University(巴伊兰大学);NVIDIA Research(NVIDIA研究)
本文提出CVG方法,通过利用交叉注意力图中的空间时间接地信号,提升冻结文本到视频模型的组合忠实度,无需修改模型结构或微调生成器。
2026-05-14 cs.CV
CoinVE-200K: A Large-Scale High-Quality Dataset for Compositional Instruction-Guided Video Editing
Tencent(腾讯)
本文提出用于组合式指令引导视频编辑的大规模高质量数据集CoinVE-200K,构建基准CoinVE-Bench及22B参数模型CoinVE-Edit,在基准测试中表现优异。
2026-08-26 cs.CV
HECTOR: Hybrid Editable Compositional Object References for Video Generation
HECTOR通过混合可编辑组合对象引用,实现了视频生成中对复杂时空约束的高保真度满足和运动可控性提升。
2026-03-09 cs.CV
A Neurosymbolic Agent System for Compositional Visual Reasoning
Georgia Institute of Technology(佐治亚理工学院);Cisco Systems(思科系统)
针对现有视觉-语言模型组合视觉推理能力不足的问题,本文提出神经符号视觉-语言智能体系统VLAgent,通过两阶段推理架构、SS-parser和执行验证器提升推理效果,在多个基准上超越现有代表性方法。
2025-10-04 cs.CV
Video-adverb retrieval with compositional adverb-action embeddings
University of Tübingen(蒂宾根大学);MPI for Intelligent Systems(智能系统马克斯·普朗克研究所)
提出在联合嵌入空间中对齐视频与组合式副词-动作文本嵌入的检索框架,结合残差门控、三元组损失和回归目标,在五个基准及未见组合泛化任务上达到最优。
2023-09-26 cs.CV
COCO-Tree: Compositional Hierarchical Concept Trees for Enhanced Reasoning in Vision Language Models
University of Virginia(弗吉尼亚大学)
本文提出COCO-Tree方法,通过从LLMs学习神经符号概念树来增强VLMs的组合推理能力,在四个基准上使七种开源VLMs的组合泛化提升5-10%,并提供可解释的推理过程。
2025-10-13 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University(科奇大学);KUIS AI Center(科奇大学智能系统中心)
提出将 SlotAdapt 扩展至视频的时间对象中心框架,通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
NAVER: A Neuro-Symbolic Compositional Automaton for Visual Grounding with Explicit Logic Reasoning
Monash University(莫纳什大学)
本文提出NAVER,一种组合视觉定位方法,通过在有限状态自动机中集成显式概率逻辑推理和自我纠正机制,解决了现有组合方法在复杂语言逻辑推理上的局限,提升了鲁棒性和可解释性,并实现了SoTA性能。
2025-08-14 cs.CV
AgentComp: From Agentic Reasoning to Compositional Mastery in Text-to-Image Models
TikTok;University of Maryland(马里兰大学)
AgentComp通过训练模型区分组合性相似的提示和图像,提升文本-图像模型的组合性生成能力,实现更准确的图像生成。
2025-12-09 cs.CV
Compositional Video Generation as Flow Equalization
National University of Singapore(新加坡国立大学)
针对文本到视频扩散模型中概念影响失衡的问题,本文提出 Vico 框架,通过时空注意力图与最大流估计引导潜变量更新,显著提升组合视频生成与编辑的准确性。
2024-06-10 cs.CV
Measuring Compositional Consistency for Video Question Answering
Veermata Jijabai Technological Institute(维尔马塔·吉贾拜技术学院);Stanford University(斯坦福大学);University of Washington(华盛顿大学)
最近的视频问答基准测试表明,最先进的模型很难回答组合问题。然而,目前还不清楚哪些类型的组合推理导致模型预测错误。此外,很难辨别模型是使用组合推理还是利用数据偏差来得出答案。在本文中,我们开发了一个问题分解引擎,以编程方式解构成一个有向无环图的子问题的组成问题。该图被设计成使得每个父问题是其子问题的组合。我们提出AGQA分解,一个基准包含$2.3M$问题图,平均每个图的$11.49$子问题,和$4.55M$总新的子问题。使用问题图,我们评估了三个国家的最先进的模型与一套新的组成一致性指标。我们发现,模型要么不能通过大多数组合正确推理,要么依赖于不正确的推理来获得答案,经常自相矛盾,或者在中间推理步骤失败时达到高准确度。
2022-05-24 cs.CV
Compositional Prompt Tuning with Motion Cues for Open-vocabulary Video Relation Detection
Zhejiang University(浙江大学);The Hong Kong University of Science and Technology(香港科技大学);Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
利用大规模预训练的视觉语言模型进行提示微调,可以在有限的基本类别上训练开放词汇预测,例如,目标分类和检测。在本文中,我们提出了组成提示微调与运动线索:一个扩展的提示微调模式的组成预测的视频数据。特别是,我们提出了用于开放词汇视频视觉关系检测(Open-VidVRD)的关系提示(RePro),其中传统的提示微调很容易偏向于某些主体-对象组合和运动模式。为此,RePro解决了Open-VidVRD的两个技术挑战:1)提示标记应该尊重主体和客体的两个不同语义角色,以及2)调整应该考虑主体-客体组合的不同时空运动模式。没有花里胡哨的东西,我们的RePro在两个VidVRD基准测试上实现了最先进的性能,不仅包括基本训练对象和谓词类别,还包括看不见的类别。广泛的消融也证明了建议的成分和多模式设计的提示的有效性。代码可在https://github.com/Dawn-LX/OpenVoc-VidVRD上获得。
2023-02-01 cs.CV
GenMAC: Compositional Text-to-Video Generation with Multi-Agent Collaboration
The University of Hong Kong(香港大学);Tsinghua University(清华大学);Microsoft Research(微软研究院)
本文提出多智能体协作框架 GenMAC,通过设计、生成与迭代重新设计流程及自路由修正机制,提升复杂组合文本提示下的视频生成质量。
2024-12-05 cs.CV
CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
Seoul National University(首尔国立大学)
提出CS-CLIP,利用场景图构建结构化负样本,解决组合推理中元素特定偏差,实现稳健的最先进性能并保留通用能力。
2026-09-09 cs.AI cs.CV
Compositional Video Prediction
Verisk Analytics(Verisk分析公司);Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院)
我们提出了一个像素级的未来预测给定的场景的输入图像的方法。我们观察到,一个场景是由不同的实体,经历运动,并提出了一种方法,操作化这一见解。我们隐式地预测独立实体的未来状态,同时推理它们的相互作用,并使用这些预测的状态组成未来的视频帧。我们克服了固有的多模态的任务,使用一个全球性的概率水平的潜在随机变量,并表明,这使我们能够样本多样化和合理的未来。我们经验验证我们的方法对替代表示和方式,将多模态。我们检查了两个数据集,一个包含可能会掉落的堆叠对象,另一个包含人类在健身房进行活动的视频,并表明我们的方法允许在这些不同的设置中进行逼真的随机视频预测。有关视频预测,请参见https://judyye.github.io/CVP/。
2019-08-22 cs.CV
MM-CondChain: A Programmatically Verified Benchmark for Visually Grounded Deep Compositional Reasoning
MM-CondChain提出了一种可编程验证的视觉基础深度组合推理基准,通过多层推理链评估多模态大语言模型在复杂视觉任务中的表现,实验表明深度组合推理仍是重大挑战。
2026-03-12 cs.CV
VideoComposer: Compositional Video Synthesis with Motion Controllability
Alibaba Group(阿里巴巴集团);Ant Group(蚂蚁集团)
本文提出组合式视频生成框架 VideoComposer,通过压缩视频运动向量与统一的 STC-encoder 融合文本、空间和时间条件,实现高帧间一致性的多形式运动可控视频合成。
2023-06-06 cs.CV
From Shallow to Deep: Compositional Reasoning over Graphs for Visual Question Answering
University of Chinese Academy of Sciences(中国科学院大学)
为了实现一个通用的视觉问答(VQA)系统,它是必不可少的学习回答更深层次的问题,需要对图像和外部知识的组合推理。同时,推理过程应该是明确的和可解释的,以理解模型的工作机制。这对人类来说很容易,但对机器来说很有挑战性。在本文中,我们提出了一个层次图神经模块网络(HGNMN),原因在多层图与神经模块,以解决上述问题。具体来说,我们首先从视觉,语义和常识的观点,因为支持答案的线索可能存在于不同的模态的多层图编码的图像。我们的模型由几个精心设计的神经模块组成,它们在图上执行特定的功能,可用于在不同的图内和图之间进行多步推理。与现有的模块化网络相比,我们将视觉推理从一个图扩展到更多的图。我们可以显式地跟踪推理过程中,根据模块的权重和图的关注度。实验表明,我们的模型不仅达到了最先进的性能在CRIC数据集上,但也获得了明确的和可解释的推理过程。
2022-06-25 cs.CV
COMPOSER: Compositional Reasoning of Group Activity in Videos with Keypoint-Only Modality
Rutgers University(罗格斯大学);NEC Laboratories America, Inc.(美国NEC实验室);Bar-Ilan University(巴伊兰大学);Google Research(谷歌研究院)
群体活动识别检测由一组参与者共同执行的活动,这需要参与者和对象的组合推理。我们通过将视频建模为表示视频中的多尺度语义概念的令牌来完成任务。我们提出了组合,多尺度Transformer为基础的架构,执行基于注意力的推理令牌在每个规模和学习组活动组成。此外,先前的作品遭受场景偏见与隐私和道德问题。我们只使用关键点模态,这减少了场景偏差,并防止获取可能包含用户隐私或偏见信息的详细视觉数据。我们通过聚类中间尺度表示,同时保持尺度之间一致的聚类分配,改进了COMPOSER中的多尺度表示。最后,我们使用辅助预测和针对关键点信号定制的数据增强等技术来辅助模型训练。我们证明了模型的强度和可解释性两个广泛使用的数据集(排球和集体活动)。仅使用关键点模态,COMPOSER就实现了高达+5.4%的改进。代码可在https://github.com/hongluzhou/composer上获得
2022-07-25 cs.CV
ExoViP: Step-by-step Verification and Exploration with Exoskeleton Modules for Compositional Visual Reasoning
BIGAI(北京智源人工智能研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
ExoViP提出一种即插即用的外骨骼验证模块,通过三个子验证器逐步校验并校准视觉模块预测和LLM推理轨迹,从而纠正VL编程中规划与执行阶段的错误,在多个组合视觉推理基准上实现一致提升。
2024-08-05 cs.CV
Falcon: Functional Assembly and Language for Compositional Reasoning in X-ray
Khalifa University(哈利法大学)
针对X射线安检中威胁来自分散组件功能兼容性的问题,提出Falcon框架,通过结构化安全状态表示实现组合威胁推理,并构建Falcon-X基准验证其有效性。
2026-06-25 cs.CV
A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets
WeChat AI, Tencent Inc, China(腾讯公司)
本文提出基于块的扩散方法自动生成反事实图文数据集,并设计区分集合间与集合内样本的损失函数,以少量训练数据显著提升视觉-语言模型的组合性推理性能,在多个基准上取得最优结果。
2025-07-07 cs.CV
DyST-XL: Dynamic Layout Planning and Content Control for Compositional Text-to-Video Generation
Zhejiang University(浙江大学)
提出免训练框架DyST-XL,通过动态布局规划、双提示注意力控制和实体一致性约束,显著提升了组合式文本到视频生成中多实体交互与时空关系的准确性。
2025-04-30 cs.CV
GoT-CQA: Graph-of-Thought Guided Compositional Reasoning for Chart Question Answering
Xi’an Jiaotong University(西安交通大学);Lenovo Research(联想研究院)
本文提出GoT-CQA模型,通过将图表问题转化为由定位、数值和逻辑算子组成的有向无环思维图,并设计自动组合推理框架执行多步推理,在ChartQA和PlotQA-D上显著提升了复杂图表问答性能。
2024-09-04 cs.CV
Progressive Reasoning with Primitive Correction for Compositional Zero-Shot Learning
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);Key Laboratory of Big Data & Artificial Intelligence in Transportation (Ministry of Education)(交通运输大数据与人工智能教育部重点实验室)
研究组合零样本学习问题,提出PRPC框架,通过逐步推理明确建模属性和对象间双向依赖性,对原语相互校正,将其公式化为结构化推理过程并结合强化学习后训练,在基准测试中达最优性能。
2026-07-08 cs.CV
CoMo: Compositional Motion Customization for Text-to-Video Generation
Zhejiang University(浙江大学);HKUST(香港科技大学);Xmax.AI Ltd(Xmax人工智能有限公司);HIT (SZ)(哈尔滨工业大学(深圳))
CoMo提出两阶段框架,通过解耦运动与外观并采用分而治之合并策略,实现文本到视频生成中的多主体组合运动定制,达到最先进性能。
2025-10-27 cs.CV
Divide and Conquer: Answering Questions with Object Factorization and Compositional Reasoning
University of Minnesota(明尼苏达大学)
人类具有回答不同问题的先天能力,这源于基于语义关系将不同概念关联起来并将困难问题分解为子任务的自然能力。相反,现有的视觉推理方法假设训练样本捕捉每一个可能的对象和推理问题,并依赖于黑盒模型,通常利用统计先验。他们还没有发展出在现实世界中解决新事物或虚假偏见的能力,也没有解释他们决定背后的理由。受人类对视觉世界推理的启发,我们从组合的角度解决了上述挑战,并提出了一个由原则性对象分解方法和新型神经模块网络组成的整体框架。我们的因式分解方法根据对象的关键特征进行分解,并自动导出代表各种对象的原型。通过这些原型编码重要的语义,所提出的网络然后通过在公共语义空间上测量对象的相似性来关联对象,并通过组合推理过程做出决策。它能够回答不同对象的问题,而不管它们在训练过程中是否可用,并克服有偏见的问答分布问题。除了增强的泛化能力,我们的框架还提供了一个可解释的接口,用于理解模型的决策过程。我们的代码可在https://github.com/szzexpoi/POEM上获得。
2023-03-18 cs.CV
Towards Temporal Compositional Reasoning in Long-Form Sports Videos
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS)
本文提出SportsTime基准和CoTR方法,通过时间接地证据组成提升体育视频长期推理能力,优于现有多模态大语言模型。
2026-07-14 cs.CV
Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
针对现有时间定位模型组合泛化能力不足的问题,本文提出新任务与数据集划分,并采用变分跨图推理及自适应结构化语义学习,实现视频与语言层次化语义图的细粒度对应,显著提升组合泛化性能。
2023-01-22 cs.CV
ConMe: Rethinking Evaluation of Compositional Reasoning for Modern VLMs
MIT(麻省理工学院);IBM Research(IBM研究院);UC Berkeley(加州大学伯克利分校);MIT-IBM(麻省理工学院-IBM联合机构);Tuebingen AI Center(蒂宾根人工智能中心);UMass Amherst(马萨诸塞大学阿默斯特分校);JKU(约翰内斯·开普勒大学)
本文提出ConMe基准及数据生成流程,通过VLMs相互对话协作暴露弱点,自主生成困难组合推理问答,使最先进VLMs性能下降达33%,重新确立CR挑战。
2024-11-13 cs.CV
HYDRA: A Hyper Agent for Dynamic Compositional Visual Reasoning
Faculty of Information Technology, Monash University(莫纳什大学信息技术学院);Building 4.0 CRC(4.0 CRC大楼)
HYDRA提出一种多阶段动态组合视觉推理框架,集成规划器、RL智能体和推理器,通过反馈循环动态选择指令,提升推理可靠性与性能,在四个数据集上达到最先进水平。
2024-07-21 cs.CV
SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding
Queen Mary University of London(伦敦玛丽女王大学);Michigan State University(密歇根州立大学)
针对组合式时序定位中现有方法负样本语义不合理、DETR类方法显著性响应异常的问题,提出SHINE框架,通过大模型生成合理难负样本并结合由粗到细的显著性排序策略,有效提升模型组合泛化能力,经基准实验验证了有效性。
2024-07-15 cs.CV
Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees
University of Southern California(南加州大学);Nuro
Proof-of-Perception通过组合性符合保证实现多模态推理的可信工具使用,提升性能和可靠性,同时更高效地利用计算资源。
2026-02-27 cs.CV
Compositional Temporal Grounding with Structured Variational Cross-Graph Correspondence Learning
Zhejiang University(浙江大学);University of Technology Sydney(悉尼科技大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
视频中的时间基础旨在定位一个语义上对应于给定查询语句的目标视频片段。由于自然语言描述的语义多样性,时间接地允许活动接地超出预定义的类,近年来受到越来越多的关注。语义的多样性源于语言学中的组合性原则,其中新的语义可以通过以新的方式组合已知的词(组合概括)来系统地描述。然而,目前的时间接地数据集没有专门测试的组成概括性。为了系统地测量时间基础模型的组成概括性,我们引入了一个新的组成时间基础任务,并构建了两个新的数据集分割,即,Charades-CG和ActivityNet-CG。评估我们新数据集分割的最先进方法,我们根据经验发现它们无法推广到具有所见单词的新颖组合的查询。为了应对这一挑战,我们提出了一个变分交叉图推理框架,明确地将视频和语言分解成多个结构化层次结构,并学习它们之间的细粒度语义对应。实验表明,我们的方法优越的组成的概括性。本作品的知识库位于https://github.com/YYJMJC/ Compositional-Temporal-Grounding。
2022-03-28 cs.CV
Enhancing Multimodal Compositional Reasoning of Visual Language Models with Generative Negative Mining
Technical University of Munich(慕尼黑工业大学);LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对视觉语言模型多模态组合推理能力弱的问题,提出双向生成式难负样本挖掘框架,生成图像和文本双模态难负样本,显著提升模型相关任务性能。
2023-11-07 cs.CV
Diagnosing the Sources of Compositional Failure in Vision-Language Models: A Controlled Analysis
The Ohio State University(俄亥俄州立大学);Netflix Research(Netflix 研究院)
本文提出COMPASS框架,通过分解组合描述,量化视觉-语言模型中组合失败的各因素,发现技能退化主要受自身负载影响,跨负载多为正向,表明组合退化不能仅归因于联合推理。
2026-09-28 cs.CV
Linguistically Driven Graph Capsule Network for Visual Question Reasoning
Sun Yat-sen University(中山大学);University of California, Los Angles(加利福尼亚大学洛杉矶分校)
最近,视觉问答的研究已经探索了端到端网络的各种架构,并在自然和合成数据集上取得了可喜的成果,这需要显式的组合推理。然而,有人认为,这些黑盒方法缺乏结果的可解释性,因此不能很好地执行泛化任务,由于过拟合的数据集偏差。在这项工作中,我们的目标是结合双方的优势,克服他们的局限性,实现一个端到端的一般图像的可解释的结构推理,而不需要布局注释。受胶囊网络可以在常规卷积神经网络(CNN)中雕刻树结构的特性的启发,我们提出了一种称为“语言驱动的图胶囊网络”的分层组合推理模型,其中组合过程由语言解析树指导。具体来说,我们在最低层绑定每个胶囊,以桥接原始问题中单个单词的语言嵌入与视觉证据,然后将它们路由到相同的胶囊,如果它们在解析树中是兄弟姐妹。该合成过程通过对语言驱动的条件随机场(CRF)执行推理来实现,并且跨多个图形胶囊层执行,这导致CNN内部的合成推理过程。在CLEVR数据集、CLEVR合成生成测试和FigureQA数据集上的实验证明了我们的端到端模型的有效性和合成泛化能力。
2020-03-23 cs.CV
A Grammatical Compositional Model for Video Action Detection
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Northwestern University(西北大学)
针对视频交互动作的类内差异与细粒度类间区别,提出基于与或图的语法组合模型 GCM,并以端到端神经网络融合语法结构与 DNN 特征,在 AVA 和 Something-Else 上验证优势及可解释性。
2023-10-04 cs.CV
Directing the World: Fast Autoregressive Video Generation with Compositional Human-Camera Control
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI))
提出一种快速自回归框架,通过解耦控制学习并保持统一视频先验,实现人体运动和相机轨迹的组合控制,支持稳定长程生成与高视觉质量。
2026-06-29 cs.CV
Dense and Aligned Captions (DAC) Promote Compositional Reasoning in VL Models
IBM Research(IBM研究院);Weizmann Institute of Science(魏茨曼科学研究所);Tel-Aviv University(特拉维夫大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Technion(以色列理工学院)
本文针对视觉语言模型的物体偏置与组合推理缺陷,提出利用CC3M自动构建密集且图像对齐字幕的微调方法,使CLIP性能较基础模型最高提升约27%。
2023-06-01 cs.CV
ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
National University of Singapore(新加坡国立大学);Baidu Inc.(百度公司)
本文提出ONE-SHOT框架,通过空间解耦运动注入和混合上下文整合,实现高效的人类-环境视频合成,优于现有方法,具有更好的结构控制和创意多样性。
2026-04-01 cs.CV
VideoComp: Advancing Fine-Grained Compositional and Temporal Alignment in Video-Text Models
Google DeepMind(谷歌DeepMind)
本文提出 VideoComp 基准与学习框架,通过构建多事件视频组合性基准和分层成对偏好损失,提升视频-文本模型在细粒度时序对齐上的能力。
2025-04-10 cs.AI cs.CL cs.CV
SimRecon: SimReady Compositional Scene Reconstruction from Real Videos
Tsinghua University(清华大学);Galbot Project(Galbot项目)
SimRecon通过引入主动视角优化和场景图合成器,解决了从真实视频中重建复杂场景时的视觉和物理真实性问题,实现了感知-生成-模拟的全流程流水线。
2026-03-03 cs.CV