Extending Compositional Attention Networks for Social Reasoning in Videos
National Technical University of Athens(雅典国立技术大学);Institute for Speech and Language Processing(言语与语言处理研究所)
我们提出了一种新的深度架构,用于推理视频中的社交互动。我们利用组合注意力网络(MAC)的多步推理能力,并提出了一个多模态扩展(MAC-X)。MAC-X是基于一个循环的细胞,执行迭代中级融合的输入模态(视觉,听觉,文本)在多个推理步骤,通过使用时间注意力机制。然后,我们将MAC-X与LSTM结合起来,在端到端架构中进行时间输入处理。我们的消融研究表明,建议的MAC-X架构可以有效地利用多模态输入线索使用中级融合机制。我们将MAC-X应用于Social IQ数据集中的社交视频问答任务,并在当前最先进的技术水平上获得了2.5%的二进制准确度绝对提高。
2022-10-03 cs.AI cs.CL cs.CV
CounterCurate: Enhancing Physical and Semantic Visio-Linguistic Compositional Reasoning via Counterfactual Examples
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
CounterCurate框架通过物理基础数据增强和语义反事实微调,显著提升了CLIP和LLaVA等模型的视觉-语言组合推理能力。
2024-06-12 cs.AI cs.CL cs.CV
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research(萨马人工智能研究院)
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离,有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图,网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
The Power of Power Law: Asymmetry Enables Compositional Reasoning
Princeton University(普林斯顿大学);Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
本文研究了幂律分布对组合推理任务的影响,发现其在状态跟踪和多步算术等任务中优于均匀分布,通过理论分析揭示了幂律分布通过引入有益的不对称性,使模型能更高效地学习长尾技能。
2026-07-10 cs.AI cs.CL cs.LG
CausalARC: Abstract Reasoning with Causal World Models
CausalARC通过因果世界模型进行低数据和分布外推理,结合原则性数据增强提供少量示例反馈,用于评估语言模型在抽象推理、反事实推理、程序合成和因果发现中的表现。
2026-03-19 cs.AI cs.CL cs.LG
Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation
Heidelberg University(海德堡大学)
提出动态模块化推理模型MORSE,通过模块化自注意力机制动态路由输入至专用头以分解推理过程,在结构化解释生成任务中显著提升了神经模型的组合泛化能力。
2023-09-14 cs.CL
Faith and Fate: Limits of Transformers on Compositionality
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学);University of Southern California(南加州大学);University of Chicago(芝加哥大学)
本文通过多位数乘法、逻辑网格谜题和动态规划三类组合任务,实证与理论结合地揭示Transformer大语言模型将多步组合推理退化为线性化子图匹配,缺乏系统性解题能力,且性能随任务复杂度增加而快速下降。
2023-10-31 cs.AI cs.CL cs.LG
Disentangling Reasoning Capabilities from Language Models with Compositional Reasoning Transformers
Sun Yat-sen University(中山大学);Harbin Institute of Technology(哈尔滨工业大学);Microsoft Research Asia(微软亚洲研究院)
本文介绍了ReasonFormer,一个统一的推理框架,用于反映人类在复杂决策中的模块化和组合推理过程。受认知科学中双加工理论的启发,表征模块(自动思维)和推理模块(控制思维)被解耦,以捕获不同层次的认知。在表示模块的顶部,预先训练的推理模块是模块化的,并且在特定和基本的推理技能方面是专业的(例如,逻辑、简单QA等)。为了模拟受控组合思维过程,不同的推理模块被动态激活,并以并行和级联的方式组合,以控制激活什么推理技能以及推理过程将达到多深以解决当前问题。统一推理框架用单个模型解决多个任务,并以端到端的方式进行训练和推理。在11个需要不同推理技能和复杂性的数据集上进行评估,ReasonFormer表现出显著的性能提升,揭示了组合推理能力。Few-Shot实验通过学习为有限数据的新任务组合预训练技能,并将表示模块和推理模块解耦,从而表现出更好的泛化能力。进一步的分析表明,推理模块的模块化,不同的任务激活不同的推理技能在不同的推理深度。
2022-12-07 cs.CL
CausalVLBench: Benchmarking Visual Causal Reasoning in Large Vision-Language Models
Department of Electrical Engineering and Computer Science University of Arkansas(电气工程与计算机科学系 奎萨克大学)
本文提出CausalVLBench基准,包含因果结构推断、干预目标预测和反事实预测三个任务,评估开源LVLMs在视觉因果推理上的能力,揭示其优缺点并指引改进方向。
2025-10-10 cs.AI cs.CL cs.LG
Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning
Department of Electrical and Computer Engineering, Princeton University, New Jersey, USA(电气与计算机工程系,普林斯顿大学,新泽西州,美国)
本文提出利用知识图谱作为隐式奖励模型,通过路径衍生信号提升模型在复杂推理任务中的组合推理能力。
2026-03-06 cs.AI cs.CL
Complexity Control Facilitates Reasoning-Based Compositional Generalization in Transformers
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Institute for Advanced Algorithms Research, Shanghai Seres Information Technology Co., Ltd(上海赛尔斯信息技术有限公司高级算法研究院)
该研究探究Transformer组合任务行为的内部机制,发现复杂度控制策略影响其学习推理规则还是依赖记忆映射,基于推理的方案有更低复杂度偏差,且结论在多类真实任务中得到验证。
2025-01-15 cs.CL cs.LG
Unveiling Causal Reasoning in Large Language Models: Reality or Mirage?
Intelligent Game and Decision Lab(智能游戏与决策实验室);National University of Defense Technology(国防科技大学);University of Melbourne(墨尔本大学);University of Sydney(悉尼大学);Hong Kong Baptist University(香港 Baptist 大学)
本文揭示LLMs仅能进行浅层一级因果推理而缺乏类人二级推理能力,提出结合通用知识与目标导向提示的G^2-Reasoner方法,显著提升了LLMs在新颖和反事实语境下的因果推理能力。
2025-06-26 cs.AI cs.CL cs.LG
The Mystery of Compositional Generalization in Graph-based Generative Commonsense Reasoning
Heidelberg University(海德堡大学)
针对大语言模型组合泛化能力存疑的问题,提出基于推理图的CGGC挑战,评估发现7种知名LLM表现不佳,分析推理图结构难度后提出由易到难的样本组织方式可提升其组合泛化能力。
2024-10-08 cs.CL
COLD: Causal reasOning in cLosed Daily activities
Indian Institute of Technology Kanpur (IIT Kanpur)(印度理工学院坎普尔分校)
为评估LLM的类人因果推理能力,本文提出COLD框架,基于日常活动构建约900万条因果查询,评估发现LLM在简单日常活动的因果推理上仍具挑战,并通过后门标准探索其因果推理能力。
2024-11-29 cs.AI cs.CL cs.LG
Compositional Language Understanding with Text-based Relational Reasoning
Mila(米拉研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学);Facebook AI Research (FAIR)(脸书人工智能研究院);Samsung Advanced Institute of Technology (SAIT)(三星综合技术院)
用于自然语言推理的神经网络主要集中在提取、基于事实的问答(QA)和常识推理。然而,了解神经网络可以从自然语言执行关系推理和组合概括的程度也至关重要-这些能力通常被注释工件和标准QA基准中语言建模的主导地位所掩盖。在这项工作中,我们提出了一个新的基准数据集的语言理解,隔离性能的关系推理。我们还提出了一个神经消息传递基线,并表明,该模型,其中包括一个关系归纳偏差,是优于组合推广相比,传统的递归神经网络方法。
2018-11-08 cs.AI cs.CL
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
Stanford University(斯坦福大学)
我们介绍了GQA,一个新的数据集,用于现实世界的视觉推理和组合问答,寻求解决以前的VQA数据集的关键缺点。我们已经开发了一个强大而强大的问题引擎,利用场景图结构创建22M不同的推理问题,所有这些问题都带有表示其语义的功能程序。我们使用的程序来获得严格的控制答案分布,并提出了一个新的可调平滑技术,以减轻问题的偏见。该数据集附带了一套新的指标,用于评估一致性、基础和合理性等基本质量。对基线以及最先进的模型进行了广泛的分析,为不同的问题类型和拓扑提供了细粒度的结果。虽然盲LSTM仅获得42.1%,强大的VQA模型获得54.1%,但人类性能最高可达89.3%,为新研究提供了充分的探索机会。我们强烈希望GQA能够为下一代模型提供一个支持资源,增强鲁棒性,提高一致性,并对图像和语言进行更深入的语义理解。
2019-05-10 cs.AI cs.CL cs.CV
Exploring the Compositional Deficiency of Large Language Models in Mathematical Reasoning
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学上海智能信息处理重点实验室)
本研究构建含逻辑陷阱的MathTrap数据集,发现LLMs虽具备所需知识却无法自发组合以处理数学推理中的新案例,并验证了提示、微调及类人“慢思考”可部分缓解此组合性缺陷。
2024-10-10 cs.AI cs.CL
CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院)
在构建能够推理和回答视觉数据问题的人工智能系统时,我们需要诊断测试来分析我们的进展并发现不足。现有的视觉问答基准可以提供帮助,但有很强的偏见,模型可以利用这些偏见来正确回答问题,而无需推理。它们还合并了多种错误来源,使得很难确定模型的弱点。我们提出了一个诊断数据集,测试一系列的视觉推理能力。它包含最小的偏见,并有详细的注释,描述了每个问题所需的推理类型。我们使用这个数据集来分析各种现代视觉推理系统,为它们的能力和局限性提供新的见解。
2016-12-20 cs.CL cs.CV cs.LG
Reasoning about Affordances: Causal and Compositional Reasoning in LLMs
University College London(伦敦大学学院)
本研究通过两个实验考察LLMs与人类在对象可供性上的因果与组合推理,发现GPT-4o和Claude 3.5在思维链提示下表现接近人类,且优于前代,表明模型在该领域推理能力持续提升。
2025-02-23 cs.AI cs.CL
Understanding and Patching Compositional Reasoning in LLMs
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
本文揭示大语言模型组合推理失败主要源于隐式推理结果生成或利用不当,定位中间层多头自注意力模块为关键,并提出轻量级方法CREME通过编辑这些模块修复推理错误。
2024-06-06 cs.CL
Compositional Questions Do Not Necessitate Multi-hop Reasoning
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of California, Irvine(加州大学欧文分校)
多跳阅读理解(RC)问题具有挑战性,因为它们需要阅读和推理多个段落。我们认为,它可以是难以构建大型多跳RC数据集。例如,即使是高度组合的问题,如果它们针对特定的实体类型,或者回答它们所需的事实是多余的,也可以通过单跳来回答。我们的分析以HotpotQA为中心,在那里我们表明单跳推理可以解决比以前想象的更多的数据集。我们介绍了一个单跳的BERT为基础的RC模型,达到67 F1-国家的最先进的多跳模型相媲美。我们还设计了一个评估设置,其中人类没有显示所有必要的段落,用于预期的多跳推理,但仍然可以回答超过80%的问题。连同详细的错误分析,这些结果表明,应该有一个越来越多的关注证据在多跳推理的作用,甚至可能转向信息检索风格的评估与大型和多样化的证据收集。
2019-06-07 cs.AI cs.CL
NePTune: A Neuro-Pythonic Framework for Tunable Compositional Reasoning on Vision-Language
Michigan State University(密歇根州立大学)
本文提出免训练神经符号框架 NePTune,将自然语言查询动态转为含软逻辑算子的 Python 程序,以增强 VLM 的组合推理、泛化与适应能力。
2025-09-30 cs.AI cs.CL cs.CV
AgentCoMa: A Compositional Benchmark Mixing Commonsense and Mathematical Reasoning in Real-World Scenarios
Imperial College London(帝国理工学院伦敦分校);RIKEN(日本研究机构);University of Sheffield(谢菲尔德大学);University College London(伦敦大学学院)
提出AgentCoMa基准,测试大语言模型在组合常识与数学推理任务上的性能,发现模型在单独步骤上准确率高但组合后平均下降近30%。
2026-05-25 cs.CL
SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim Verification on Scientific Tables
National University of Singapore(新加坡国立大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Sea AI Lab(Sea人工智能实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对现有科学事实核查基准的偏差和过度依赖文本证据的问题,提出包含1.2K条专家验证声明的SCITAB基准,要求基于科学表格进行组合推理验证,实验表明现有先进模型在该任务上面临重大挑战。
2023-10-23 cs.AI cs.CL
Visual Programming: Compositional visual reasoning without training
Allen Institute for AI(艾伦人工智能研究所)
我们提出了VISPROG,神经符号的方法来解决复杂的和组成的视觉任务的自然语言的指令。VISPROG避免了任何针对特定任务的培训。相反,它使用大语言模型的上下文学习能力来生成类似Python的模块化程序,然后执行这些程序以获得解决方案以及全面和可解释的原理。生成的程序的每一行都可以调用若干现成的计算机视觉模型、图像处理例程或python函数中的一个,以产生可以由程序的后续部分消耗的中间输出。我们展示了VISPROG的灵活性4个不同的任务-组成的视觉问答,zero-shot推理的图像对,事实知识对象标记,和语言引导的图像编辑。我们相信,像VISPROG这样的神经符号方法是一个令人兴奋的途径,可以轻松有效地扩展人工智能系统的范围,为人们可能希望执行的复杂任务的长尾服务。
2022-11-18 cs.AI cs.CL cs.CV
ReaSCAN: Compositional Reasoning in Language Grounding
Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学);IHPC, A*STAR(新加坡科技研究局信息与通信研究所)
将语言组合映射到指称、关系和动作的能力是语言理解的重要组成部分。最近的gSCAN数据集(Ruis et al. 2020,NeurIPS)是一个鼓舞人心的尝试,旨在评估模型在涉及导航指令的场景中学习这种基础的能力。然而,我们表明,gSCAN的高度约束的设计意味着,它不需要组合的解释,它的指令和场景的许多细节是不需要任务的成功。为了解决这些局限性,我们提出了ReaSCAN,这是一个基准数据集,它建立在gSCAN基础上,但需要对实体和关系进行组合语言解释和推理。我们在ReaSCAN上评估了两个模型:多模态基线和最先进的图卷积神经模型。这些实验表明,ReaSCAN对于两种神经架构都比gSCAN要难得多。这表明ReaSCAN可以作为一个有价值的基准,以促进我们对模型的组合泛化和推理能力的理解。
2021-09-18 cs.CL
e-CARE: a New Dataset for Exploring Explainable Causal Reasoning
Harbin Institute of Technology(哈尔滨工业大学)
理解因果关系对于各种自然语言处理(NLP)应用至关重要。除了标记的实例之外,因果关系的概念解释还可以提供对因果事实的深入理解,以促进因果推理过程。然而,这样的解释信息仍然是缺乏现有的因果推理资源。在本文中,我们填补了这一空白,提出了一个人类注释的可解释的因果推理数据集(e-CARE),其中包含超过21 K的因果推理问题,连同自然语言形成的解释的因果问题。实验结果表明,对于现有的因果推理模型而言,如何对因果事实进行有效的解释仍然是一个挑战,而解释信息有助于提高因果推理模型的准确性和稳定性。
2022-05-12 cs.AI cs.CL
CSyMR: Benchmarking Compositional Music Information Retrieval in Symbolic Music Reasoning
University of California, San Diego(加州大学圣地亚哥分校)
CSyMR-Bench通过工具增强的检索和推理框架,在符号音乐推理中实现组合音乐信息检索的准确率提升。
2026-02-27 cs.AI cs.CL cs.LG
CompA: Addressing the Gap in Compositional Reasoning in Audio-Language Models
University of Maryland, College Park(马里兰大学帕克分校);Adobe(奥多比公司);NVIDIA(英伟达公司)
本文提出 CompA 基准评估音频语言模型的组合推理能力,发现现有模型表现接近随机猜测,并通过组合感知困难负样本和模块化对比损失微调 CLAP 提出 CompA-CLAP,显著提升了组合推理性能。
2024-07-30 cs.AI cs.CL cs.SD
Obtaining Faithful Interpretations from Compositional Neural Networks
Allen Institute for AI(艾伦人工智能研究所);Tel-Aviv University(特拉维夫大学);University of California, Irvine(加利福尼亚大学欧文分校);University of Pennsylvania(宾夕法尼亚大学)
神经模块网络(NMN)是一种流行的组合性建模方法:当应用于语言和视觉问题时,它们实现了高精度,同时反映了网络架构中问题的组成结构。然而,先前的工作隐含地假设,网络模块的结构,描述了抽象的推理过程,提供了一个忠实的解释模型的推理,也就是说,所有的模块执行其预期的行为。在这项工作中,我们提出并进行系统的评估NMN的中间输出NLVR2和DROP,两个数据集,需要组成多个推理步骤。我们发现,中间输出不同于预期的输出,说明网络结构不提供一个忠实的解释模型的行为。为了弥补这一点,我们用辅助监督训练模型,并为模块架构提出特定的选择,以最小的精度代价产生更好的忠诚度。
2020-09-08 cs.AI cs.CL cs.CV
Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models
University of California, Riverside(加州大学河滨分校)
本文提出测试时匹配算法,通过改进评估指标提升多模态模型的组合推理能力,使SigLIP-B16和GPT-4.1在Winoground等基准上取得新突破。
2026-04-24 cs.AI cs.CL cs.CV
LLM Guided Inductive Inference for Solving Compositional Problems
Anarchy, Extensional, Inc(Anarchy Extensional公司);Yoyodyne Inc(Yoyodyne公司)
本文提出REBEL方法,通过递归问题分解、动态规划和前向链式策略,使LLM能够利用仅以自然语言描述的外部工具,解决开放世界中需要深度嵌套工具调用的组合推理问题。
2023-09-20 cs.AI cs.CL
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
WebAggregator: Enhancing Compositional Reasoning Capabilities of Deep Research Agent Foundation Models
MoE Lab, The Chinese University of Hong Kong(莫埃实验室,香港中文大学);Tencent AI Lab(腾讯AI实验室)
本文提出WebAggregator数据合成管道,通过主动探索和组合逻辑提案,提升深度研究代理的组合推理能力,并在多个基准测试中超越GPT-4.1和Claude-3.7-Sonnet。
2026-04-29 cs.CL
TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning
Tsinghua University(清华大学);Sun-Yat Sen University(孙逸人大学);Tencent Youtu Lab(腾讯优图实验室);University of Illinois Chicago(伊利诺伊大学香槟分校)
TangramPuzzle通过几何基准测试评估多模态大语言模型的组合空间推理能力,发现模型在匹配轮廓时忽视几何约束,导致碎片变形。
2026-09-09 cs.AI cs.CL cs.CV
CreDes: Causal Reasoning Enhancement and Dual-End Searching for Solving Long-Range Reasoning Problems using LLMs
School of Computer and Communication Engineering(计算机与通信工程学院);University of Science and Technology Beijing(北京科技大学)
本文提出CreDes框架,通过因果关系增强保证推理与状态转移一致,并以双端搜索缩小长程搜索空间,从而提升LLM组合优化任务的准确率与效率。
2024-10-02 cs.AI cs.CL
Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models
Technical University of Munich(慕尼黑工业大学)
针对大语言模型无法组合序数量词的问题,提出可微模糊推理层(DFIL),通过双路径头结合标量瓶颈与隶属函数,实现单调性和t-范数组合推理,无需组合训练数据。
2026-09-23 cs.CL
AGQA: A Benchmark for Compositional Spatio-Temporal Reasoning
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
视觉事件是一个时间动作的组合,涉及空间上与对象交互的演员。在开发能够推理组合时空事件的计算机视觉模型时,我们需要能够分析进展并发现缺点的基准。现有的视频问答基准测试是有用的,但它们往往将多个错误来源合并到一个准确性度量中,并且具有模型可以利用的强烈偏见,因此很难查明模型的弱点。我们提出了行动基因组问答(AGQA),一个新的基准组合时空推理。AGQA包含$9.6K$视频的$192M$不平衡问题答案对。我们还提供了一个平衡的子集的$3.9M$问题答案对,$3$数量级大于现有的基准,最大限度地减少偏见,通过平衡的答案分布和类型的问题结构。虽然人类评估者将我们的问题-答案对中的$86.02\%$标记为正确,但最好的模型只能达到$47.74\%$的准确性。此外,AGQA还引入了多个训练/测试分割来测试各种推理能力,包括对新组合、间接引用和更多组合步骤的概括。使用AGQA,我们评估了现代视觉推理系统,证明了最好的模型几乎没有比利用语言偏见的非视觉基线更好的表现,并且现有的模型都没有推广到训练过程中看不到的新成分。
2021-03-30 cs.CL cs.CV
Exploring the Limitations of Large Language Models in Compositional Relation Reasoning
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
本文提出了多语言组合关系(MCR)基准,包含1,500个测试用例及五种语言,全面评估大型语言模型在组合关系推理中的鲁棒性与多语言适应性。
2024-09-21 cs.CL
GroundCocoa: A Benchmark for Evaluating Compositional & Conditional Reasoning in Language Models
针对LLMs在简单任务中意外出错的问题,该研究聚焦组合式与条件式推理,提出词汇多样的基准GroundCocoa(关联机票预订任务),发现最先进LLMs性能差异显著,GPT-4 Turbo准确率未超67%。
2025-02-13 cs.CL
CORE: Improving Compositional Reasoning in MLLM Embedding via Reranker Distillation
Alibaba Group(阿里巴巴集团);University of Chinese Academy of Sciences(中国科学院大学);Yale University(耶鲁大学);CASIA(中国科学院自动化研究所)
该研究提出CORE方法,通过将MLLM重排器的组合判断蒸馏到嵌入模型,在COLA等三个组合推理基准及MCMR基准上实现了最优性能,提升了嵌入模型的组合检索能力。
2026-09-04 cs.AI cs.CL cs.CV
Curriculum Learning for Compositional Visual Reasoning
Conservatoire National des Arts et Métiers(法国国立工艺学院);XXII Group(XXII集团)
可视化问答(VQA)是一项复杂的任务,需要大量的数据集和昂贵的训练。神经模块网络(NMN)首先将问题转换为推理路径,然后沿着该路径分析图像并提供答案。我们提出了一种NMN方法,该方法依赖于预定义的跨模态嵌入来在GQA数据集上进行“热启动”学习,然后专注于课程学习(CL),以改善训练并更好地利用数据。几个困难的标准被用来定义CL方法。我们表明,通过适当选择的CL方法的训练成本和训练数据的量可以大大降低,与最终的VQA精度的影响有限。此外,我们在训练过程中引入了中间损失,并发现这可以简化CL策略。
2023-03-27 cs.CL cs.CV cs.LG
CLEVR-Math: A Dataset for Compositional Language, Visual and Mathematical Reasoning
Umeå University(于默奥大学);Örebro University(厄勒布鲁大学)
我们介绍CLEVR-Math,一个多模态数学单词问题数据集,由涉及加法/减法的简单数学单词问题组成,部分由文本描述表示,部分由说明场景的图像表示。文本描述了在图像中描绘的场景上执行的操作。由于提出的问题可能不是关于图像中的场景,而是关于应用动作之前或之后的场景状态,因此求解器设想或想象由于这些动作而导致的状态变化。解决这些应用题需要语言、视觉和数学推理的结合。我们采用最先进的神经和神经符号模型的视觉问答CLEVR-Math和经验评估他们的表现。我们的研究结果表明,这两种方法都不能推广到连锁经营。我们讨论了这两个在解决多模态字问题解决的任务的局限性。
2022-08-10 cs.CL cs.CV cs.LG
Progressive Multi-granular Alignments for Grounded Reasoning in Large Vision-Language Models
Posts and Telecommunications Institute of Technology(邮电技术学院);University of Arkansas(阿肯色大学)
本文提出渐进式多粒度视觉-语言对齐框架PromViL,通过构建从简单到复杂的多模态层次结构并逐步对齐文本与视觉区域,利用低层上下文指导高层推理,显著提升了大型视觉-语言模型在视觉基础和组合问答任务上的表现。
2024-12-19 cs.CL cs.CV cs.LG
Inference-Time Structural Reasoning for Compositional Vision-Language Understanding
本文提出统一评估和增强框架,评估四种架构各异的VLMs在Winoground基准上的表现,通过结构化关系先验提升模型能力,发现SG增强对已有能力强的模型有益。
2026-03-28 cs.CL cs.CV
TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives
Arizona State University(亚利桑那州立大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
TripletCLIP通过合成困难负样本对,增强CLIP的组合推理能力,在SugarCrepe上提升超9%,并改进零样本分类与检索。
2024-11-04 cs.CL cs.CV
StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs
Nanyang Technological University(南洋理工大学);Salesforce Research(Salesforce研究院);University of Alberta(阿尔伯塔大学)
针对现有大语言模型评估方法的成本高、有偏差、易受污染作弊等问题,提出基于规则评估的StructTest基准,通过多领域组合式结构化输出任务测试推理能力,验证了其对顶尖模型仍具挑战性,可作为客观评估的补充方案。
2025-03-19 cs.CL
Synergizing Large Language Models and Theory for Human-like Causal Reasoning
Center for Data Science, AAIS, Peking University(数据科学中心,AAIS,北京大学);Wangxuan Institute of Computer Technology, Peking University(王轩计算机技术研究所,北京大学);Tsinghua University(清华大学);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室)
本文提出 HCR-Reasoner 框架,将实际因果性与因果判断理论整合进 LLM,并构建含 1,093 个实例的 HCR-Bench,显著提升模型与人类因果判断的一致性。
2026-10-14 cs.CL
Divide and Translate: Compositional First-Order Logic Translation and Verification for Complex Logical Reasoning
KAIST(韩国科学技术院);MIT(麻省理工学院)
本文提出 CLOVER 方法,通过将自然语言句子组合式地解析并翻译为一阶逻辑公式,再结合 SAT 求解器进行语义验证,从而提升 LLM 在复杂逻辑推理任务上的表现,并在七个基准上取得最优结果。
2025-02-25 cs.CL
What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning
University of Southern California(南加州大学);University of California, Santa Barbara(加州大学圣芭芭拉分校);Texas A&M University(德克萨斯A&M大学)
针对VLM在因果推理中的不足,提出VQA-Causal和VCR-Causal基准,发现模型在因果任务上仅略优于随机猜测,归因于训练数据缺乏因果表达,并通过难负例微调改善。
2026-06-24 cs.CL
ANetQA: A Large-scale Benchmark for Fine-grained Compositional Reasoning over Untrimmed Videos
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang University(浙江大学);AI Lab at Lenovo Research(联想研究院人工智能实验室)
针对现有视频问答基准细粒度语义推理能力不足的问题,提出基于ActivityNet非修剪视频的大规模细粒度组合推理基准ANetQA,规模远超同类基准,实验显示现有最优模型与人类表现差距显著。
2023-05-04 cs.CL cs.CV