Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected Reasoning
Stony Brook University(石溪大学);Allen Institute for AI(艾伦人工智能研究所)
在多跳问答方面有真正的进展吗?模型通常利用数据集工件来产生正确的答案,而不将多个支持事实的信息连接起来。这限制了我们衡量真实进展的能力,并违背了构建多跳QA数据集的目的。我们为解决这一问题作出三项贡献。首先,我们将这种不受欢迎的行为形式化为跨支持事实子集的断开推理。这允许开发一个模型不可知的探针,用于测量任何模型可以通过断开推理欺骗多少。其次,使用\emph{contrastive support sufficiency}的概念,我们引入了现有数据集的自动转换,减少了断开推理的数量。第三,我们的实验表明,在阅读理解环境中,多跳问答并没有取得太大的进展。对于最近的一个大规模模型(XLNet),我们发现,在HotpotQA上的F1得分72中,只有18分是通过多事实推理获得的,与简单的RNN基线大致相同。我们的转换大大减少了断开推理(答案F1中的19分)。它是对抗性办法的补充,共同产生进一步的削减。
2020-11-17 cs.AI cs.CL cs.LG
Measuring CLEVRness: Blackbox testing of Visual Reasoning Models
University of Warsaw(华沙大学);Google(谷歌);DeepMind(深度思维)
我们如何衡量智能系统的推理能力?可视化的问答提供了一个方便的框架来测试模型的能力,通过询问模型,通过对场景的问题。然而,尽管有大量的各种视觉QA数据集和架构,有时甚至会产生超人的性能,但这些架构是否真的可以推理的问题仍然有待讨论。为了回答这个问题,我们扩展了视觉问答框架,并提出了以下行为测试的形式,两个玩家的游戏。我们考虑CLEVR的黑盒神经模型。这些模型是在诊断数据集基准推理上训练的。接下来,我们训练一个对抗玩家,他重新配置场景以欺骗CLEVR模型。我们表明,CLEVR模型,否则可以在人类水平上执行,可以很容易地被我们的代理愚弄。我们的研究结果怀疑数据驱动的方法是否可以在不利用这些数据集中经常存在的众多偏见的情况下进行推理。最后,我们还提出了一个对照实验来测量这种模型学习和执行推理的效率。
2022-02-28 cs.AI cs.CV cs.LG
Neural networks for abstraction and reasoning: Towards broad generalization in machines
University of Cambridge(剑桥大学)
本研究探索多种神经网络方法(包括改进的DreamCoder和大型语言模型)解决抽象与推理语料库(ARC)任务,通过新语言、识别模型、编码方案及集成分析提升广泛泛化能力,并发布arckit库。
2024-02-05 cs.AI cs.CL cs.LG
IconQA: A New Benchmark for Abstract Diagram Understanding and Visual Language Reasoning
Sun Yat-sen University(中山大学);East China Normal University(华东师范大学);Columbia University(哥伦比亚大学)
当前的视觉问答任务主要考虑回答自然图像的人工标注问题。然而,除了自然图像之外,具有语义丰富性的抽象图在视觉理解和推理研究中仍然是不足的。在这项工作中,我们引入了一个新的挑战图标问答(IconQA)的目标是回答一个问题的图标图像的上下文中。我们发布了IconQA,这是一个大规模的数据集,包括107,439个问题和三个子任务:多图像选择,多文本选择和填空。IconQA数据集的灵感来自现实世界的图表文字问题,这些问题突出了抽象图表理解和全面认知推理的重要性。因此,IconQA不仅需要对象识别和文本理解等感知技能,还需要多种认知推理技能,如几何推理,常识推理和算术推理。为了方便潜在的IconQA模型学习图标图像的语义表示,我们进一步发布了一个图标数据集Icon 645,其中包含377个类的645,687个彩色图标。我们进行了广泛的用户研究和盲实验,并复制了广泛的先进的VQA方法,以基准测试IconQA任务。此外,我们开发了一个强大的IconQA基线Patch-TRM,它应用了一个金字塔跨模态Transformer,并在图标数据集上预先训练了输入图嵌入。IconQA和Icon 645可在https://iconqa.github.io上获得。
2022-07-25 cs.AI cs.CL cs.CV
ORCHARD: A Benchmark For Measuring Systematic Generalization of Multi-Hierarchical Reasoning
Nanyang Technological University(南洋理工大学)
对于自然语言处理来说,利用多层次结构进行推理的能力是顺序归纳偏差的一个有吸引力和令人期望的特性。最先进的Transformers和LSTM架构是否隐式地对这些偏差进行编码?为了回答这个问题,我们提出了ORCHARD,这是一个诊断数据集,用于系统地评估最先进的神经序列模型中的分层推理。虽然已经有了先前的评估框架,如ListOps或逻辑推理,但我们的工作提出了一种新颖且更自然的设置,在这种设置中,我们的模型学习使用多个显式层次结构进行推理,而不是只有一个,即,需要同时进行长期序列记忆、关系推理和层次结构推理的能力。因此,在一系列严格实验的支持下,我们发现(1)Transformer和LSTM模型在系统泛化方面令人惊讶地失败了,(2)随着层次结构之间引用的增加,Transformer的性能并不比随机更好。
2021-11-28 cs.AI cs.CL cs.LG
Fast and flexible: Human program induction in abstract reasoning tasks
New York University(纽约大学)
抽象和推理语料库(ARC)是Chollet(2019)最近提出的一个具有挑战性的程序归纳数据集。在这里,我们报告了从人类解决ARC任务子集(1000个中的40个)的行为研究中收集的第一组结果。虽然这个任务子集包含相当大的变化,但我们的研究结果表明,人类能够推断出底层程序,并为新的测试输入示例生成正确的测试输出,每个参与者平均解决了80%的任务,并且65%的任务由超过80%的参与者解决。此外,我们发现有趣的模式的行为一致性和变化的动作序列在生成过程中,自然语言的描述,以描述每个任务的转换,以及人们犯的错误。我们的研究结果表明,人们可以快速可靠地确定任务的相关特征和属性,以组成正确的解决方案。未来的建模工作可以结合这些发现,可能通过连接我们在这里收集的自然语言描述的ARC的底层语义。
2021-03-10 cs.AI cs.HC cs.LG
A-I-RAVEN and I-RAVEN-Mesh: Two New Benchmarks for Abstract Visual Reasoning
Warsaw University of Technology(华沙理工大学);AGH University of Krakow(AGH克拉科夫大学)
针对抽象视觉推理领域的模型泛化与知识迁移评估需求,提出A-I-RAVEN与I-RAVEN-Mesh两个新基准,经13个主流模型测试揭示了现有方法的相关缺陷。
2025-05-16 cs.AI cs.CV cs.LG
Abstract Visual Reasoning Enabled by Language
ETH Zürich(苏黎世联邦理工学院)
本文提出一种基于学习的通用框架,通过将ARC任务从视觉转换到语言领域,利用预训练模型实现从手工先验到学习先验的转变,虽未超越最先进模型,但解决了部分此前未解任务。
2023-06-22 cs.AI cs.CL cs.LG
MathBode: Measuring the Stability of LLM Reasoning using Frequency Response
MathBode通过频率响应分析大语言模型推理的稳定性,揭示系统性低通行为和相位滞后,提供可重复的动态诊断方法。
2025-12-03 cs.AI cs.LG cs.SY
Attention on Abstract Visual Reasoning
注意力机制一直在提高深度学习模型在从语音理解到程序归纳等广泛应用中的性能。然而,尽管心理学实验表明,注意力在视觉推理中起着至关重要的作用,但到目前为止,注意力机制的全部潜力还没有被探索用于解决图像数据上的抽象认知任务。在这项工作中,我们提出了一个混合网络架构,自我注意力和关系推理的基础上。我们称这种新的模型为注意力关系网络(ARNe)。ARNe结合了最近引入的Transformer和Wild Relation Network(WReN)的功能。我们测试ARNe的程序生成矩阵(PGMs)数据集的抽象视觉推理。ARNe在这项任务上优于WReN模型11.28 ppt。对象之间的关系概念被有效地学习,只需要35%的训练样本就可以超过基线模型的报告精度。我们提出的混合模型,代表了一种替代学习抽象的关系,使用自我注意力,并证明了Transformer网络也非常适合抽象的视觉推理。
2019-11-14 cs.LG stat.ML
Abstract Diagrammatic Reasoning with Multiplex Graph Networks
University of Cambridge(剑桥大学)
抽象推理,特别是在视觉领域,是一种复杂的人类能力,但它仍然是人工神经学习系统的一个具有挑战性的问题。在这项工作中,我们提出了MXGNet,多层图神经网络的多面板图形推理任务。MXGNet结合了三个强大的概念,即对象级表示,图神经网络和多重图,用于解决视觉推理任务。MXGNet首先为图的所有面板中的每个元素提取对象级表示,然后形成一个多层多路复用图,捕获不同图面板中对象之间的多种关系。MXGNet总结了从任务图中提取的多个图,并使用此总结从给定的候选项中选择最可能的答案。我们已经在两种类型的图形推理任务上测试了MXGNet,即图三段论和Raven Progressive Matrices(RPM)。对于欧拉图三段论任务,MXGNet达到了99.8%的最高准确率。对于PGM和RAVEN这两个用于RPM推理的综合数据集,MXGNet的性能远远优于最先进的模型。
2020-06-19 cs.LG stat.ML
Improving Generalization for Abstract Reasoning Tasks Using Disentangled Feature Representations
ML6;IDlab, Ghent University - imec(根特大学-imec IDlab)
在这项工作中,我们探讨了无监督的表示学习的泛化特性,利用解开VAE的学习一组关系推理问题,从乌鸦渐进矩阵的一个有用的潜在空间。我们发现,通过使用正确的目标函数进行无监督训练来学习的潜在表示,显着优于纯监督学习训练的相同架构,特别是在泛化方面。
2018-11-12 cs.LG cs.NE stat.ML
Slot Abstractors: Toward Scalable Abstract Visual Reasoning
Princeton University(普林斯顿大学);Princeton Neuroscience Institute(普林斯顿神经科学研究所);University of California Los Angeles(加州大学洛杉矶分校)
本文提出Slot Abstractors方法,结合基于槽的物体中心表示与Abstractors的关系归纳偏置,解决了多物体多关系视觉推理的可扩展性问题,在多个任务上达到最先进性能。
2024-06-02 cs.CV cs.LG
Few-Shot Abstract Visual Reasoning With Spectral Features
Western University(西安大略大学)
我们提出了一种图像预处理技术,能够提高性能的Few-Shot分类抽象视觉推理任务。许多具有抽象特征的视觉推理任务对于人类来说很容易通过很少的例子学习,但是对于具有相同数量样本的计算机视觉方法来说非常困难,尽管深度学习模型能够学习抽象特征。同异(SD)问题代表了一种类型的视觉推理任务,需要在单个图像内的模式重复的知识,和现代计算机视觉方法在很大程度上动摇了这些分类问题,即使提供了大量的训练数据。我们提出了一个简单的方法来解决这些问题的基础上的洞察力,从图像的幅度谱中去除峰值是能够强调图像的独特部分。当与几个分类器相结合时,我们的方法在具有少样本学习的SD SVRT任务上表现良好,在所有任务上的最佳可比结果上有所改善,对于某些分类器,平均绝对准确率提高了近40%。特别是,我们发现,将关系网络与这种图像预处理方法相结合,可以在几个SD任务上将其性能从机会级提高到90%以上的准确度。
2019-10-04 cs.CV cs.LG stat.ML
Are Disentangled Representations Helpful for Abstract Visual Reasoning?
IDSIA(IDSIA研究所);USI(瑞士意大利语区大学);SUPSI(瑞士应用科学大学);ETH Zurich(苏黎世联邦理工学院);MPI-IS(马克斯·普朗克智能系统研究所);NNAISENSE(NNAISENSE公司);Google Research, Brain Team(谷歌研究院大脑团队)
解纠缠表示独立地编码关于数据中变化的显著因素的信息。虽然人们经常认为这种表征格式在学习解决许多现实世界的下游任务方面是有用的,但很少有经验证据支持这种说法。在本文中,我们进行了一项大规模的研究,调查是否解开表示更适合抽象推理任务。使用两个类似于乌鸦的渐进矩阵的新任务,我们评估了360个最先进的无监督解纠缠模型所学习的表示的有用性。基于这些表示,我们训练了3600个抽象推理模型,并观察到解纠缠表示实际上确实会导致更好的下游性能。特别是,它们可以使用更少的样本进行更快的学习。
2020-01-07 cs.CV cs.LG cs.NE
Neural-guided, Bidirectional Program Search for Abstraction and Reasoning
Massachusetts Institute of Technology(麻省理工学院);Raytheon BBN Technologies(雷神BBN技术公司);Boston University(波士顿大学);Princeton University(普林斯顿大学)
当今人工智能研究面临的挑战之一是设计能够利用系统推理来概括新任务的系统。抽象和推理语料库(ARC)通过一组视觉推理任务来衡量这种能力。在本文中,我们报告了ARC的渐进式进展,并为两种不基于蛮力搜索的抽象和推理方法奠定了基础。我们首先应用现有的程序合成系统称为DreamCoder创建符号抽象的任务解决到目前为止,并显示它如何使解决越来越具有挑战性的ARC任务。其次,我们设计了一个推理算法的动机,人类的方式接近ARC。我们的算法构造了一个搜索图,并在此图结构的原因,发现任务的解决方案。更具体地说,我们扩展现有的执行引导的程序合成方法与演绎推理的基础上的功能逆语义,使神经引导的双向搜索算法。我们证明了算法的有效性三个域:ARC,24场比赛的任务,和一个“双加”算术难题。
2021-10-26 cs.AI cs.LG
CausalARC: Abstract Reasoning with Causal World Models
CausalARC通过因果世界模型进行低数据和分布外推理,结合原则性数据增强提供少量示例反馈,用于评估语言模型在抽象推理、反事实推理、程序合成和因果发现中的表现。
2026-03-19 cs.AI cs.CL cs.LG
RLAD: Training LLMs to Discover Abstractions for Solving Reasoning Problems
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
针对大模型推理中轨迹难复用、探索退化的问题,提出双智能体强化学习范式RLAD,联合训练抽象生成器与解法生成器,实现结构化探索,提升难问题泛化能力,且测试时侧重抽象生成更能提升性能。
2025-10-02 cs.AI cs.CL cs.LG
Learning Differentiable Logic Programs for Abstract Visual Reasoning
针对抽象视觉推理中一阶逻辑表达受限与内存开销大的问题,提出图基可微前向推理器NEUMANN及高效结构学习算法,并引入幕后视觉推理任务,实验表明其性能优于神经、符号及神经符号基线。
2025-07-04 cs.AI cs.CV cs.LG
Learning Visual Abstract Reasoning through Dual-Stream Networks
Beijing Normal University(北京师范大学);Chinese Institute for Brain Research(中国脑科学研究所)
针对深度神经网络在视觉抽象推理任务中的局限,提出受视觉处理双通路假说启发的双流推理网络(DRNet),通过双流捕获特征并经推理模块提取规则,在多个RPM基准上实现最优平均性能且泛化能力强。
2024-11-29 cs.AI cs.CV cs.LG
Johnny: Structuring Representation Space to Enhance Machine Abstract Reasoning Ability
University of Science and Technology Beijing(北京科技大学)
本文提出Johnny表示空间框架和Spin-Transformer架构,通过结构化表示空间与轻量级注意力优化,提升RPM抽象推理性能并降低计算开销。
2025-05-13 cs.CV cs.LG
JaxARC: A High-Performance JAX-based Environment for Abstraction and Reasoning Research
Luddy School of Informatics, Computing, and Engineering(信息学、计算与工程学院)
JaxARC是一种基于JAX的高性能强化学习环境,用于支持大规模抽象与推理研究,通过大规模并行和高吞吐量提升实验效率。
2026-01-24 cs.AI cs.LG
Understanding Formal Reasoning Failures in LLMs as Abstract Interpreters
University of Southern California(南加州大学)
本研究针对LLM用于程序验证时语义推理机制不明的问题,提出两种激发抽象解释推理的提示策略,在SV-COMP基准的22个程序上评估了多款前沿LLM,分析了不变量可靠性与推理错误模式,为LLM与程序验证交叉研究提供了新方向。
2025-09-30 cs.LG cs.PL cs.SE
Abstract Reasoning via Logic-guided Generation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
抽象推理,即,从给定的观察中推断复杂的模式,是人工智能的核心组成部分。虽然人类通过消除错误的候选人或首先构建答案来找到答案,但基于深度神经网络(DNN)的方法专注于前一种判别方法。本文旨在为后一种方法设计一个框架,并弥合人工智能和人类智能之间的差距。为此,我们提出了逻辑引导生成(Logic-guided generation,LoGe),这是一种新的生成式DNN框架,可以将抽象推理减少为命题逻辑中的优化问题。LoGe由三个步骤组成:从图像中提取命题变量,用逻辑层推理答案变量,并从变量重构答案图像。我们证明,在RAVEN基准测试下,LoGe优于黑盒DNN框架的生成抽象推理,即,基于从观察捕获各种属性的正确规则来重构答案。
2021-08-11 cs.AI cs.CV cs.LG
Neural Abstract Reasoner
Sofia High School of Mathematics(索菲亚数学高中);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Sciro Research(西罗研究中心)
抽象推理和逻辑推理是神经网络的难题,但对于它们在高度结构化领域的应用至关重要。在这项工作中,我们证明了一种众所周知的技术,如谱正则化,可以显着提高神经学习器的能力。我们介绍神经抽象推理机(NAR),一个记忆增强架构,能够学习和使用抽象规则。我们表明,当用谱正则化训练时,NAR在抽象和推理语料库上实现了$78.8\%$的准确性,比最著名的人类手工符号求解器提高了4倍。我们提供了一些直观的谱正则化的影响,在抽象推理领域的理论推广界和Solomonoff的理论归纳推理的基础上。
2020-11-12 cs.AI cs.LG
Unsupervised Abstract Reasoning for Raven's Problem Matrices
瑞文推理测验(RPM)与人类智力高度相关,被广泛用于测量人类的抽象推理能力。在本文中,为了研究深度神经网络的抽象推理能力,我们提出了第一种用于解决RPM问题的无监督学习方法。由于地面真值标签是不允许的,我们设计了一个基于RPM公式的先验约束的伪目标来近似地面真值标签,这有效地将无监督学习策略转换为有监督策略。然而,正确的答案是错误的标记的伪目标,从而噪声对比将导致不准确的模型训练。为了缓解这个问题,我们建议提高模型的性能与否定的答案。此外,我们开发了一个分散的方法,以适应不同的RPM问题的特征表示。在三个数据集上的大量实验表明,我们的方法甚至优于一些监督方法。我们的代码可在https://github.com/visiontao/ncd上获得。
2021-09-21 cs.AI cs.CV cs.LG
Latent JEPA: Abstract Future Prediction for Latent Reasoning in Chemistry
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究提出潜在JEPA框架,结合自回归学习与联合嵌入预测,通过训练连续潜在思维预测未来视图,在ChemCoTBench上提升分子优化及编辑反应指标,验证抽象未来预测作为连接潜在推理与科学结果的学习原则。
2026-10-02 cs.CL cs.LG
Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures
IBM Research – Zurich(IBM苏黎世研究院);ETH Zurich(苏黎世联邦理工学院)
本研究提出Learn-VRF方法,利用向量符号架构的分布式计算,仅需一次训练遍历即可学习瑞文渐进矩阵的规则公式,参数紧凑且可解释,在分布内与分布外任务上均优于纯连接主义基线。
2024-01-29 cs.AI cs.LG
A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
University Medical Center Utrecht(乌得勒支大学医学中心);KU Leuven(鲁汶大学)
时间深深地融入了人们对世界的感知和交流。我们几乎是无意识地为我们的语言话语提供了时间线索,比如动词时态,没有这些线索,我们很难造句。从文本中提取时间线索,并构建关于描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一个连贯的时间视图的过程,在时间信息抽取中起着核心作用。本文综述了过去几十年来关于文本时间信息抽取的时间推理研究,并提供了一个将符号推理与基于机器学习的信息抽取系统相结合的案例研究。
2020-05-15 cs.AI cs.CL cs.LG
Iterative In-Context Learning to Enhance LLMs Abstract Reasoning: The Case-Study of Algebraic Tasks
本研究通过迭代上下文学习方法提升大语言模型在代数任务中的推理能力,发现简单示例能提高模型泛化性能。
2026-03-10 cs.LG
Contextual RNN-GANs for Abstract Reasoning Diagram Generation
IIT Kanpur(印度理工学院坎普尔分校);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
理解、预测和生成物体的运动和变换是人工智能的核心问题。对演进图像的序列进行建模可以提供更好的运动表示和模型,并且最终可以用于预测、模拟或视频生成。图解抽象推理是一种途径,其中图表以复杂的模式演变,并且需要推断潜在的模式序列并生成序列中的下一个图像。为此,我们开发了一种新的基于递归神经网络的上下文生成对抗网络(Context-RNN-GANs),其中生成器和生成器模块都基于上下文历史(建模为RNN),并且对抗器引导生成器为图像序列中的特定时间步生成逼真的图像。我们在一个新的图表抽象推理数据集上评估了Context-RNN-GAN模型(及其变体),在那里它与10年级的人类表现具有竞争力,但与大学水平的人类表现相比,仍然有有趣的改进空间。我们还评估了我们的模型在一个标准的视频下一帧预测任务,实现了可比的最先进的性能提高。
2016-12-06 cs.AI cs.CV cs.LG
AR$^2$: Adversarial Reinforcement Learning for Abstract Reasoning in Large Language Models
Department of Mathematical Sciences National Chengchi University Taipei Taiwan(数学科学系 国立政治大学 台北 台湾);Department of Computer Science National Chengchi University Taipei Taiwan(计算机科学系 国立政治大学 台北 台湾);Institute of Information Science Academia Sinica Taipei Taiwan(信息科学研究所 中国学术院 台北 台湾);National Chengchi University(国立政治大学)
针对现有大语言模型强化学习训练忽略抽象能力显式培养的问题,提出AR²对抗强化学习框架,通过教师模型改写问题、学生模型提取核心求解的方式,显著提升模型在陌生高难度编程任务上的准确率与泛化能力。
2025-08-27 cs.AI cs.CL cs.LG
ACRE: Abstract Causal REasoning Beyond Covariation
UCLA(加州大学洛杉矶分校)
因果归纳,即,识别导致变量之间可观察关系的不可观察机制在现代科学发现中发挥了关键作用,特别是在只有稀疏和有限数据的情况下。人类,甚至是幼儿,在各种环境中都能令人惊讶地很好地诱导出因果关系,尽管这是众所周知的困难。然而,与人类认知的普遍特征相反,缺乏一个诊断基准来衡量现代人工智能(AI)系统的因果归纳。因此,在这项工作中,我们介绍了抽象因果推理(ACRE)数据集的系统评估当前的视觉系统的因果归纳。出于对Blicket实验中因果发现的研究流的动机,我们在独立场景或干预场景中使用以下四种类型的问题查询视觉推理系统:直接,间接,屏蔽关闭和向后阻塞,有意超越通过协变诱导因果关系的简单策略。通过分析这个测试平台上的视觉推理架构,我们注意到纯神经模型在其机会水平性能下倾向于联想策略,而神经符号组合在向后阻塞推理中挣扎。这些不足要求未来的研究模型具有更全面的因果归纳能力。
2021-03-26 cs.AI cs.CV cs.LG
A Systematic Study of Small Language Models on Abstract Reasoning Tasks
Leibniz University of Hanover(莱布尼茨汉诺威大学);TIB – Leibniz Information Centre for Science and Technology and University Library(TIB – 莱布尼茨科学技术信息中心与大学图书馆);Amazon(亚马逊)
本研究系统剖析小语言模型在抽象推理任务上的表现,发现分布内准确率可达但习得敏感且分布外性能骤降,模型、适应机制、评估分布和响应格式均影响推理分数。
2026-10-07 cs.CL cs.LG
ArcMemo: Abstract Reasoning Composition with Lifelong LLM Memory
针对大语言模型推理轨迹中模式易丢失的问题,提出概念级终身记忆方法ArcMemo,在ARC-AGI基准上较无记忆基线获7.5%相对提升,实现测试时持续自我提升。
2025-10-04 cs.AI cs.CL cs.LG
Learning Algebraic Representation for Systematic Generalization in Abstract Reasoning
University of California, Los Angeles(加州大学洛杉矶分校);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Tsinghua University(清华大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
智能是由联结主义者还是古典主义者实现的?虽然联结主义方法取得了超人的表现,但越来越多的证据表明,这种特定任务的优势在系统概括中特别脆弱。这一观察存在于联结主义者和古典主义者之间的核心争论中,后者不断主张在认知结构中进行代数处理。在这项工作中,我们遵循古典主义者的呼吁,并提出了一种混合的方法来提高系统的概括推理。具体来说,我们展示了一个原型与代数表示的抽象时空推理任务的乌鸦的渐进矩阵(RPM),并提出了代数意识的神经半符号(ALANS)的学习。ALANS学习者的动机是抽象代数和表征理论。它由一个神经视觉感知前端和一个代数抽象推理后端组成:前端从基于对象的表示中总结视觉信息,而后端将其转换为代数结构,并在飞行中诱导隐藏的操作符。诱导运算符稍后被执行以预测答案的表示,并且选择与预测最相似的选择作为解决方案。大量的实验表明,通过将代数处理,ALANS学习者优于各种纯连接模型在域需要系统的概括。我们进一步展示了学习的代数表示的生成性质;它可以通过同构来解码以生成答案。
2022-07-20 cs.AI cs.CV cs.LG
MISR: Measuring Instrumental Self-Reasoning in Frontier Models
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文提出 MISR 任务套件,在自我修改、知识寻求等多类智能体场景中评估 LLM 的工具性自我推理能力,发现该能力仅出现于最强前沿模型且高度依赖上下文。
2024-12-05 cs.AI cs.CL cs.LG
Measuring the Privacy Leakage via Graph Reconstruction Attacks on Simplicial Neural Networks (Student Abstract)
Texas Tech University(德克萨斯理工大学);Xavier University of Louisiana(泽维尔大学路易斯安那分校);The Ohio State University(俄亥俄州立大学)
在本文中,我们通过研究图表示是否可以被反转来恢复用于生成它们的图,通过图重构攻击(GRA)来测量隐私泄漏。我们提出了一个GRA,通过一个图形解码器,最大限度地减少部分图和重建图之间的重建损失的表示恢复图的邻接矩阵。我们研究了在图上训练的三种类型的表示,即,表示输出从图卷积网络(GCN),图注意力网络(GAT),和我们提出的单纯神经网络(SNN)通过高阶组合拉普拉斯算子。与仅编码成对关系的前两种类型的表示不同,第三种类型的表示,即,SNN输出、编码高阶交互(例如,同调特征)之间的节点。我们发现,SNN的输出揭示了最低的隐私保护能力,以保护GRA,其次是GAT和GCN,这表明了建立更多的私人表示与高阶节点信息,可以防御潜在的威胁,如GRA的重要性。
2023-02-08 cs.CR cs.LG
Stratified Rule-Aware Network for Abstract Visual Reasoning
Beihang University(北京航空航天大学)
抽象推理是指分析信息,在无形的层面上发现规则,并以创新的方式解决问题的能力。Raven's Progressive Matrices(RPM)测验是一种用来测试抽象推理能力的测验。要求受试者从答案集中识别正确的选择,以填充RPM右下角的缺失面板(例如,3 $\times$ 3矩阵),遵循矩阵内的基本规则。最近的研究,利用卷积神经网络(CNN),取得了令人鼓舞的进展,完成RPM测试。然而,他们部分地忽略了RPM求解器的必要的归纳偏差,如每行/列内的顺序敏感性和增量规则归纳。为了解决这个问题,在本文中,我们提出了一个分层的规则感知网络(SRAN)生成的规则嵌入两个输入序列。我们的SRAN学习多粒度的规则嵌入在不同的水平,并通过门控融合模块逐步集成分层的嵌入流程。在嵌入的帮助下,应用规则相似性度量来保证SRAN不仅可以使用元组损失进行训练,而且可以有效地推断出最佳答案。本文进一步指出了目前流行的RPM测试数据集RAVEN存在的严重缺陷,这些缺陷阻碍了对抽象推理能力的公正评价。针对上述缺陷,本文提出了一种属性二分法(Attribute Bisection Tree,ABT)的答案集生成算法,形成了一种改进的答案集,即Impartial-RAVEN(简称I-RAVEN)。在PGM和I-RAVEN数据集上进行了大量的实验,结果表明我们的SRAN在相当大的程度上优于最先进的模型。
2022-06-07 cs.AI cs.CV cs.LG
Large Language Models Are Not Strong Abstract Reasoners
University of Auckland(奥克兰大学)
本文针对大型语言模型在抽象推理任务上的能力进行评估,引入了一个新基准,发现即使应用改进技术,LLMs性能仍有限,并提出引导其遵循因果路径以提升泛化与推理能力。
2024-01-02 cs.CL cs.LG
Revisiting Disentanglement in Downstream Tasks: A Study on Its Necessity for Abstract Visual Reasoning
Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院);Carnegie Mellon University(卡内基梅隆大学)
本文通过跨数据集、方法和架构的实验,证明维度级解耦对抽象视觉推理并非必要,表征信息量才是更优的性能指标。
2024-03-01 cs.CV cs.LG
Abstract Spatial-Temporal Reasoning via Probabilistic Abduction and Execution
UCLA Center for Vision Cognition Learning and Autonomy(加州大学洛杉矶分校视觉认知学习与自主中心)
时空推理是人工智能中一项具有挑战性的任务,这是由于其要求高但独特的性质:理论上要求基于头脑中的时空知识进行表示和推理,应用上要求能够在空间和时间中导航和行动的高级认知系统。最近的工作集中在这种抽象推理任务-乌鸦的进步矩阵(RPM)。尽管RPM取得了令人鼓舞的进展,在准确性方面达到了人类水平的性能,但现代方法既没有处理类似人类的泛化推理,也没有生成答案的潜力。为了填补这一空白,我们提出了一个神经符号概率绑架和执行(PrAE)学习者;中央的PrAE学习者是概率绑架和执行的概率场景表示的过程中,类似于心理操纵的对象。具体来说,我们从一个单一的模型中解开感知和推理。神经视觉感知前端预测对象的属性,随后由场景推理引擎聚合以产生概率场景表示。在符号逻辑推理后端,PrAE学习器使用表示来推导隐藏规则。通过对概率表示执行规则来预测答案。整个系统以分析合成的方式进行端到端的训练,没有任何视觉属性注释。大量的实验表明,PrAE学习器提高了交叉配置的泛化能力,并能够呈现一个答案,与以前的作品,只是从候选人中进行分类选择。
2021-05-14 cs.AI cs.CV cs.LG
Counterfactual Fair Opportunity: Measuring Decision Model Fairness with Counterfactual Reasoning
Polytechnic University of Bari(巴里理工大学);University of Bari(巴里大学)
越来越多的人工智能和机器学习模型的应用带来了不公平行为的潜在风险,根据最近的法规,已经引起了研究界的关注。一些研究人员专注于寻求新的公平定义或开发方法来识别有偏见的预测。然而,没有人试图利用反事实空间来达到这一目的。在这个方向上,在这项工作中提出的方法,旨在揭示不公平的模型行为,使用反事实推理的情况下,在无意识设置的公平。定义了机会平等的反事实版本--反事实公平机会,并引入了两种新的度量方法来分析反事实样本中的敏感信息。在三个不同数据集上的实验结果显示了我们的方法和指标的有效性,揭示了经典机器学习和去偏置模型的不公平行为。
2023-02-16 cs.AI cs.CY cs.LG
Advancing Generalization Across a Variety of Abstract Visual Reasoning Tasks
Warsaw University of Technology(华沙理工大学);AGH University of Krakow(AGH科技大学)
针对抽象视觉推理任务中分布外泛化难的问题,提出具备组卷积、归一化和并行设计的PoNG模型,在多个基准上展现出更强的泛化能力。
2025-05-19 cs.AI cs.CV cs.LG
Deep Learning Methods for Abstract Visual Reasoning: A Survey on Raven's Progressive Matrices
本文聚焦抽象视觉推理中的Raven's Progressive Matrices任务,综述了相关深度学习方法、模型及基准,分析前沿方法性能并提出领域趋势,展示了RPM研究对现实问题的价值。
2022-04-19 cs.AI cs.CV cs.LG
A Review of Emerging Research Directions in Abstract Visual Reasoning
Warsaw University of Technology(华沙理工大学)
抽象视觉推理(AVR)问题通常用于近似人类智能。他们测试在全新的环境中应用以前获得的知识,经验和技能的能力,这使得他们特别适合这项任务。最近,AVR问题已经成为流行的代理研究机器智能,这导致了新的不同类型的问题和多个基准集的出现。在这项工作中,我们回顾了这一新兴的AVR研究,并提出了一个分类法来分类AVR任务沿5个维度:输入形状,隐藏规则,目标任务,认知功能,和主要的挑战。在本次调查中采取的角度允许AVR的问题,其共享和独特的属性,提供了一个统一的观点,解决AVR任务的现有方法,显示如何AVR的问题与实际应用,并概述了未来工作的前景。其中之一是,在机器学习文献中,不同的任务被孤立地考虑,这与AVR任务被用来测量人类智力的方式形成鲜明对比,在AVR任务中,多种类型的问题被组合在一个智商测试中。
2022-03-07 cs.AI cs.CV cs.LG
Effective Abstract Reasoning with Dual-Contrast Network
National University of Singapore(新加坡国立大学)
作为提高机器抽象推理能力的一步,我们的目标是用神经网络解决Raven's Progressive Matrices(RPM),因为解决RPM难题与人类智力高度相关。与以前使用辅助注释或假设隐藏规则来产生适当的特征表示的方法不同,我们只使用每个问题的真实答案进行模型学习,旨在使智能代理具有较强的学习能力和少量的监督。基于RPM问题公式,填充到第三行/列的缺失条目中的正确答案必须最好地满足前两行/列之间共享的相同规则。因此,我们设计了一个简单而有效的双对比度网络(DCNet),利用RPM难题的固有结构。具体而言,规则对比模块被设计为比较填充的行/列与前两行/列之间的潜在规则;选择对比模块被设计为增加候选选择之间的相对差异。在RAVEN和PGM数据集上的实验结果表明,DCNet的性能优于最先进的方法5.77%的大幅度。在少量训练样本和模型推广上的进一步实验也证明了DCNet的有效性。代码可在https://github.com/visiontao/dcnet上获得。
2022-05-27 cs.AI cs.CV cs.LG
What Makes a Maze Look Like a Maze?
Stanford University(斯坦福大学);MIT(麻省理工学院)
本文提出 DSG 框架,通过大型语言模型提取抽象概念的依赖图 schema,并用视觉-语言模型分层落地到图像,从而显著提升视觉抽象推理能力。
2025-02-17 cs.AI cs.CL cs.CV