Mind The Gap: Quantifying Mechanistic Gaps in Algorithmic Reasoning via Neural Compilation
Arizona State University（亚利桑那州立大学）
本文通过神经编译量化算法推理中的机制性差距，探讨神经网络学习算法的有效性与忠实性。
2025-12-06 cs.AI cs.LG
When No Paths Lead to Rome: Benchmarking Systematic Neural Relational Reasoning
Cardiff University（卡迪夫大学）；University of Milano-Bicocca（米兰-比科卡大学）
针对现有系统化关系推理基准过度简化且依赖路径组合假设的问题，本文提出新基准NoRA，通过增加难度层级，要求模型超越路径推理，以推动该领域发展。
2025-10-27 cs.AI cs.LG
Weight-of-Thought Reasoning: Exploring Neural Network Weights for Enhanced LLM Reasoning
Georgia Institute of Technology（佐治亚理工学院）
针对大语言模型推理依赖 token 级输出、未考虑内部权重动态的问题，提出思维权重推理方法，通过图消息传递等探索权重空间构建推理节点图，在多类推理任务上性能更优且增强可解释性。
2025-04-14 cs.AI cs.CL cs.LG
Reasoning about Entailment with Neural Attention
University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）
虽然大多数自动识别蕴涵关系的方法使用的分类器采用从复杂的自然语言处理流水线获得的手工设计的特征，但实际上它们的性能仅略好于仅使用词汇相似性的词袋对分类器。到目前为止，为蕴涵构建端到端可区分神经网络的唯一尝试未能胜过这样一个简单的相似性分类器。在本文中，我们提出了一个神经模型，阅读两个句子，以确定蕴涵使用长短期记忆单位。我们扩展了这个模型，一个词一个词的神经注意力机制，鼓励推理对词和短语的蕴涵。此外，我们提出了一个定性分析的注意力权重产生的这个模型，证明了这样的推理能力。在一个大型蕴涵数据集上，该模型的性能远远优于以前的最佳神经模型和具有工程特征的分类器。它是第一个通用的端到端可微系统，在文本蕴涵数据集上实现了最先进的准确性。
2016-03-01 cs.AI cs.CL cs.LG
Learning of Human-like Algebraic Reasoning Using Deep Feedforward Neural Networks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Forestry University（北京林业大学）；Griffith University（格里菲斯大学）
在符号推理和深度学习之间有很大的差距。在这项研究中，我们探索了使用深度学习来改善符号推理的可能性。简而言之，在推理系统中，深度前馈神经网络用于在从人类产生的代数推理示例学习之后引导重写过程。为了使神经网络能够识别具有非确定性大小的代数表达式的模式，使用简化的部分树来表示表达式。此外，表示自上而下和自下而上的信息的表达式，集中化技术被用来改善减少部分树。此外，符号关联向量和规则应用记录被用来改善重写过程。实验结果表明，只有当前向神经网络具有足够的隐层时，代数推理实例才能准确地学习。此外，集中技术，符号关联向量和规则应用记录可以降低推理的出错率。特别是，上述方法导致了4.6%的出错率的推理数据集的线性方程，微分和积分。
2017-04-25 cs.AI cs.LG cs.LO
An AI Monkey Gets Grapes for Sure -- Sphere Neural Networks for Reliable Decision-Making
Phillips Academy Andover（安多弗菲利普斯学术 academy）
本文提出球神经网络，通过在n维球面上嵌入概念，实现可靠决策，能掌握16种三段论任务。
2026-01-01 cs.AI
Recurrent Aggregators in Neural Algorithmic Reasoning
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文针对神经算法推理中 GNN 的等变聚合设计，提出以循环神经网络替代聚合器的 RNAR，并在 CLRS-30 的 Heapsort 与 Quickselect 上取得最先进结果。
2024-12-01 cs.AI cs.LG
Neural Collaborative Reasoning
Rutgers University（罗格斯大学）；Tsinghua University（清华大学）
现有的协同过滤（CF）方法大多是基于匹配的思想设计的，即，通过使用浅模型或深模型从数据中学习用户和项目嵌入，它们试图捕获数据中的关联相关性模式，使得用户嵌入可以使用设计的或学习的相似性函数与相关项目嵌入相匹配。然而，作为一种认知而非感知智能任务，推荐不仅需要从数据中进行模式识别和匹配的能力，还需要对数据进行认知推理的能力。在本文中，我们提出了先进的协同过滤（CF）的协同推理（CR），这意味着每个用户都知道的推理空间的一部分，他们合作的推理空间，以估计对方的喜好。从技术上讲，我们提出了一个神经协作推理（NCR）框架来连接学习和推理。具体来说，我们整合了表示学习和逻辑推理的力量，其中表示从感知角度捕获数据中的相似模式，逻辑有助于认知推理，以做出明智的决策。然而，一个重要的挑战是在一个共享的优化和推理架构中桥接可微神经网络和符号推理。为了解决这个问题，我们提出了一个模块化的推理架构，它学习逻辑运算，如AND（$\wedge$），OR（$\vee$）和NOT（$\neg$）作为隐含推理的神经模块（$\rightarrow$）。这样，逻辑表达式可以等效地组织为神经网络，从而可以在连续空间中进行逻辑推理和预测。在真实数据集上的实验验证了该框架与浅层、深层和推理模型相比的优势。
2021-05-03 cs.AI cs.IR cs.LG
Contrastive Reasoning in Neural Networks
Georgia Institute of Technology（佐治亚理工学院）
神经网络将数据表示为高维流形中训练权重的投影。训练的权重充当由因果类依赖性组成的知识库。建立在识别这些依赖关系的特征上的推理被称为前馈推理。基于经典的因果归纳推理模型，这种推理机制是合理的。基于归纳推理的前馈推理由于其数学上的简单性和易操作性而被广泛应用。然而，前馈模型不能很好地推广到未经训练的情况。为了减轻这种泛化的挑战，我们建议使用一个效果到原因的推理模型，原因溯因。这里，特征表示给定一定效果的现有权重依赖性的变化。我们将这种变化称为对比，将随之而来的推理机制称为对比推理。在本文中，我们形式化的结构对比推理，并提出了一种方法来提取神经网络的对比度的概念。我们在神经网络的推理流程的两个阶段中展示了对比推理的价值：推断和直观地解释对象识别应用的决策。我们通过报告在CIFAR-10 C，噪声STL-10和VisDA数据集上分别提出的对比框架下平均准确率提高了3.47%，2.56%和5.48%，说明了对比识别失真图像的价值。
2021-03-23 cs.AI cs.CV cs.LG
Open-Book Neural Algorithmic Reasoning
East China Normal University（华东师范大学）
本文提出开卷学习框架，使网络在推理时可访问全部训练实例，并在CLRS基准上验证其显著提升推理能力，同时利用开卷注意力机制揭示不同算法任务间的内在联系，支持可解释的多任务训练。
2024-12-30 cs.AI cs.LG
Efficient Symbolic Reasoning for Neural-Network Verification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Google Research（谷歌研究院）
神经网络已成为现代软件系统的一个组成部分。然而，它们仍然存在各种问题，特别是易受对抗攻击的伤害。在这项工作中，我们提出了一个新的程序推理框架的神经网络验证，我们称之为符号推理。我们的框架的关键组成部分是使用的符号域和二次关系。符号域具有非常灵活的语义，二次关系具有很强的表达能力。它们允许我们将神经网络的许多验证问题编码为二次规划。我们的计划，然后放松二次规划的半定规划，可以有效地解决。这个框架允许我们在不同的场景下验证各种神经网络属性，特别是那些对非符号域具有挑战性的属性。此外，它引入了新的表示和观点的验证任务。我们相信，我们的框架可以带来新的理论见解和实用工具的验证问题的神经网络。
2023-03-23 cs.AI cs.LG cs.SC
Relational reasoning and generalization using non-symbolic neural networks
Stanford University（斯坦福大学）
平等（身份）的概念是简单和普遍存在的，使其成为一个关键的案例研究更广泛的问题表示支持抽象的关系推理。以前的研究表明，神经网络不是人类关系推理的合适模型，因为它们不能表示数学上的同一性，即最基本的平等形式。我们重新讨论这个问题。在我们的实验中，我们使用任意表示和在单独的任务上预先训练的表示来评估平等的样本外泛化，以使它们具有结构。我们发现神经网络能够学习（1）基本等式（数学恒等式），（2）仅使用正训练实例的序列等式问题（学习ABA模式序列），以及（3）仅使用基本等式训练实例的复杂分层等式问题（“零射击”泛化）。在后两种情况下，我们的模型执行先前工作中提出的任务，以划分人类独特的符号能力。这些结果表明，符号推理的基本方面可以从数据驱动的非符号学习过程中出现。
2022-05-01 cs.AI cs.CL cs.LG
Graph Neural Reasoning for 2-Quantified Boolean Formula Solvers
Purdue University（普渡大学）；Sun Yat-Sen University（中山大学）
在本文中，我们研究了学习GNN（图神经网络）为基础的解决方案和基于GNN的算法为指定的QBF（量化布尔公式）问题的可行性。我们设计并评估了几种2 QBF公式的GNN结构，并推测GNN在学习2 QBF求解器方面存在局限性。然后，我们展示了如何学习启发式CEGAR 2 QBF求解器。我们进一步探索将基于GNN的算法推广到更大的不可见实例，并发现一些有趣的挑战。总之，本文提供了将GNN嵌入应用于指定QBF求解器的全面调查视图，旨在为将ML应用于更复杂的符号推理问题提供指导。
2019-04-27 cs.AI cs.LG cs.LO
Neural Logic Reasoning
Tsinghua University（清华大学）；Rutgers University（罗格斯大学）
近年来，深度神经网络在许多研究领域取得了成功。大多数神经网络设计背后的基本思想是从数据中学习相似模式进行预测和推理，缺乏认知推理的能力。然而，具体的推理能力对许多理论和实践问题至关重要。另一方面，传统的符号推理方法虽然能够很好地进行逻辑推理，但大多是基于硬规则的推理，由于不同的任务可能需要不同的规则，这限制了它们对不同任务的泛化能力。推理和泛化能力对于推荐系统等预测任务都很重要，其中推理在用户历史和目标项目之间提供了强有力的联系，以进行准确的预测，泛化有助于模型在嘈杂的输入中绘制鲁棒的用户画像。在本文中，我们提出了逻辑集成神经网络（LINN），以整合深度学习和逻辑推理的能力。LINN是一个动态的神经架构，它根据输入的逻辑表达式构建计算图。它学习基本的逻辑运算，如AND，OR，NOT作为神经模块，并通过网络进行命题逻辑推理进行推理。理论任务的实验表明，LINN在求解逻辑方程和变量方面取得了显著的成绩。此外，我们测试我们的方法的实际任务的建议制定成一个逻辑推理问题的任务。实验结果表明，LINN在Top-K推荐中的性能明显优于现有推荐模型，验证了LINN在实际应用中的潜力。
2020-08-20 cs.AI cs.IR cs.LG
Neural-Symbolic Argumentation Mining: an Argument in Favor of Deep Learning and Reasoning
University of Bologna（博洛尼亚大学）；TU Darmstadt（达姆施塔特工业大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
深度学习为论证挖掘领域带来了显着的贡献，但现有的方法仍然需要填补执行高级推理任务的空白。在这份立场文件中，我们认为神经符号和统计关系学习可以在整合符号和子符号方法以实现这一目标方面发挥至关重要的作用。
2020-01-28 cs.AI
Sphere Neural-Networks for Rational Reasoning
The University of Cambridge（剑桥大学）
本文提出球面神经网络（SphNNs），将计算单元从向量推广至球面，通过神经符号几何图神经网络实现无需训练数据、O(N)复杂度的长链三段论推理，并指出球面非零半径是突破传统深度学习理性推理瓶颈的关键。
2025-02-25 cs.AI
Bayesian Reasoning with Trained Neural Networks
Technical University Munich（慕尼黑工业大学）；Max Planck Institut for Astrophysics（马克斯·普朗克天体物理研究所）
我们展示了如何使用经过训练的神经网络来执行贝叶斯推理，以解决其初始范围之外的任务。深度生成模型提供先验知识，分类/回归网络施加约束。手头的任务被制定为贝叶斯推理问题，我们通过变分或抽样技术近似解决。这种方法建立在已经训练好的网络之上，可解决的问题随着可用网络的数量呈指数级增长。在其最简单的形式中，该方法产生了条件生成模型。然而，多个同时存在的约束构成了复杂的问题。我们将该方法与专门训练的生成器进行了比较，展示了如何解决谜语，并展示了其与最先进架构的兼容性。
2021-06-01 cs.AI cs.LG stat.ML
Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?
Tohoku University（东北大学）；Langsmith, Inc.（朗史密斯公司）；RIKEN（理化学研究所）
组合性是符号推理的一个关键属性。然而，最近的神经模型如何捕捉组合性仍然在符号推理任务中探索不足。这项研究通过系统地检查最近发表的预训练seq2seq模型，并使用精心控制的多跳算术符号推理数据集，以经验的方式解决了这个问题。我们介绍了一个技能树的组合在算术符号推理，定义了复杂性的层次结构，以及三个组合维度：系统性，生产力和替代性。我们的实验表明，在这三种类型的组成，模型的斗争与系统性，表现不佳，即使相对简单的组成。即使在用中间推理步骤训练模型之后，这个困难也没有解决。
2023-02-15 cs.AI cs.CL
A neural network model of perception and reasoning
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）
感知和推理是如何从神经元网络活动中产生的，人们对此知之甚少。这反映在连接主义人工智能的基本局限性上，以通过基于梯度的优化训练的深度神经网络为代表。尽管在许多任务上取得了成功，但这些网络仍然是无法解释的黑匣子，无法进行符号推理和概念泛化。在这里，我们表明，一组简单的生物一致的组织原则赋予这些能力的神经网络。为了证明这一点，我们在一种新的机器学习算法中实现了这些原则，该算法基于概念构建而不是优化，以设计使用可解释的神经元活动进行推理的深度神经网络。在包括NP难题在内的一系列任务中，他们的推理能力赋予了额外的认知功能，比如通过自我分析进行审议，容忍对抗攻击，以及从简单的例子中学习可转移的规则来解决从未遇到过的复杂问题。这些网络还自然地显示出当前深度神经网络中固有的生物神经系统的特性，包括稀疏性、模块性以及分布式和局部放电模式。因为它们不会牺牲标准学习任务的性能、紧凑性或训练时间，这些网络为人工智能提供了一种新的无黑盒方法。它们同样可以作为一个定量框架来理解认知从神经元网络中的出现。
2020-02-26 cs.AI cs.NE q-bio.NC
Reasoning with Memory Augmented Neural Networks for Language Comprehension
University of Massachusetts Medical School（马萨诸塞大学医学院）；Bedford VAMC（贝德福德退伍军人医疗中心）
假设检验是支持人类推理的重要认知过程。本文介绍了一种基于记忆增强神经网络的计算假设检验方法。我们的方法涉及一个假设测试循环，重新考虑并逐步完善以前形成的假设，以生成新的假设进行测试。我们使用神经语义编码器（NSE）将所提出的方法应用于语言理解任务。我们的NSE模型实现了最先进的结果，与标准机器理解基准（如儿童图书测试（CBT）和Who-Did-What（WDW）新闻文章数据集）上的单个和集成系统之前获得的结果相比，准确率绝对提高了1.2%至2.6%。
2017-02-28 cs.AI cs.CL cs.NE
New Movement and Transformation Principle of Fuzzy Reasoning and Its Application to Fuzzy Neural Network
Kim Il Sung University（金日成综合大学）；Pyongyang University of Computer Technology（平壤计算机技术大学）
在本文中，我们提出了一个新的模糊推理原则，所谓的运动和转换原则（MTP）。该原理是通过前件模糊集与模糊化观测信息之间的移动、变换和移动-变换操作，对后件模糊集进行移动和变换，得到新的模糊推理结果。在此基础上提出了基于MTP的模糊肯定前件和模糊否定前件。将该方法与Mamdani模糊系统、Sugeno模糊系统、Wang距离型模糊推理方法和Hellendoorn函数型模糊推理方法进行了比较。并将其应用于基于MTP的模糊神经网络的学习实验中，与Sugeno方法进行了比较。通过模糊神经网络对降水量数据和安全态势数据的预测实验，学习精度和时间性能得到明显提高。因此，我们表明，我们的方法的基础上MTP计算简单，不涉及非线性运算，所以它是很容易处理的数学。
2018-11-10 cs.AI
DepWiGNN: A Depth-wise Graph Neural Network for Multi-hop Spatial Reasoning in Text
The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）
针对文本多跳空间推理中现有方法忽略语言与符号结构鸿沟、经典GNN因过平滑难以处理长依赖的问题，提出DepWiGNN，通过节点存储机制和深度维度聚合实现长依赖捕获，在相关数据集上表现优于现有方法及其他三类GNN。
2024-03-08 cs.AI cs.CL
Towards A Unified Neural Architecture for Visual Recognition and Reasoning
Brown University（布朗大学）；Google（谷歌）
本文提出一种统一的神经架构，通过通用令牌接口融合视觉识别与推理，发现目标检测对推理最有益，且骨干模型选择对推理影响大，主张视觉推理应作为头等公民对待。
2023-11-10 cs.CV cs.LG
A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
University Medical Center Utrecht（乌得勒支大学医学中心）；KU Leuven（鲁汶大学）
时间深深地融入了人们对世界的感知和交流。我们几乎是无意识地为我们的语言话语提供了时间线索，比如动词时态，没有这些线索，我们很难造句。从文本中提取时间线索，并构建关于描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一个连贯的时间视图的过程，在时间信息抽取中起着核心作用。本文综述了过去几十年来关于文本时间信息抽取的时间推理研究，并提供了一个将符号推理与基于机器学习的信息抽取系统相结合的案例研究。
2020-05-15 cs.AI cs.CL cs.LG
Reasoning on a Budget: A Survey of Adaptive and Controllable Test-Time Compute in LLMs
Huawei Noah’s Ark Lab（华为诺亚实验室）
本综述系统梳理了 LLM 测试时计算的高效策略，提出 L1-可控性与 L2-自适应性两层分类法，并通过基准测试揭示推理性能与 token 使用的权衡，为构建计算高效且可响应用户约束的 LLM 提供指导。
2025-07-02 cs.AI cs.LG
Reasoning with Language Model Prompting: A Survey
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Donghai Laboratory（东海实验室）
本文综述了基于语言模型提示的推理研究，系统梳理现有工作、比较总结并提供资源，同时探讨推理能力涌现的原因和未来方向。
2023-09-18 cs.AI cs.CL cs.CV
Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs
Meta AI；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Rochester（罗切斯特大学）
本文综述了代码与推理在大语言模型中的相互增强关系，分析了代码作为推理媒介的作用及推理对代码智能的推动，并提出了未来研究方向。
2025-02-26 cs.AI cs.CL cs.LG
Solving Visual Analogies Using Neural Algorithmic Reasoning
BITS Pilani, K.K. Birla Goa Campus（印度比尔拉理工学院果阿校区）；TCS Research, New Delhi（塔塔咨询服务公司研究院）
我们考虑一类视觉类比推理问题，涉及到发现的序列的转换对输入/输出图像相关，以便类似地转换未来的输入。这个程序合成任务可以很容易地通过符号搜索来解决。使用（Velickovic和Blundell 2021）的“神经类比推理”方法的变体，我们转而搜索一系列基本神经网络变换，这些变换操纵从符号空间导出的分布式表示，输入图像直接编码到符号空间。我们评估的程度，我们的“神经推理”的方法概括了看不见的形状和位置的图像。
2021-11-19 cs.AI cs.LG
Learning Guided Automated Reasoning: A Brief Survey
Czech Technical University in Prague（捷克技术大学布拉格）；Radboud University Nijmegen（拉德堡德大学奈杰姆）；Czech Academy of Sciences Institute for Computer Science（捷克科学院计算机科学研究所）；University of Innsbruck（因斯布鲁克大学）
本文综述了利用机器学习引导自动推理的方法，涵盖前提选择、证明引导及反馈循环，旨在缓解组合爆炸并提升定理证明效率。
2024-03-06 cs.AI cs.LG cs.LO
A Survey of Test-Time Compute: From Intuitive Inference to Deliberate Reasoning
Soochow University（苏州大学）；National University of Singapore（新加坡国立大学）
本文全面综述了测试时计算扩展，追溯其从System-1到System-2模型的演进，探讨了通过参数更新、树搜索等技术提升模型推理与泛化能力的方法及未来方向。
2025-06-29 cs.AI cs.CL cs.LG
Neural Probabilistic Logic Learning for Knowledge Graph Reasoning
Beijing University of Posts and Telecommunications（北京邮电大学）；Jiaxing University（嘉兴大学）
本文提出神经概率逻辑学习框架NPLL，通过评分模块增强嵌入网络表达能力，并结合基于变分推断的马尔可夫逻辑网络提升可解释性，在多个基准数据集上显著提高了知识图谱推理的准确性与质量。
2024-07-04 cs.AI cs.LG
Recursive Inference Machines for Neural Reasoning
Department of Computer Science, Technical University of Darmstadt（德累斯顿技术大学计算机科学系）；Department of Computer Science, The University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系）；Hessian Center for Artificial Intelligence (hessian.ai)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）
递归推断机通过结合递归推断机制提升神经推理性能，优于现有方法在多个基准测试中表现更佳。
2026-03-05 cs.AI cs.LG
Wiring the 'Why': A Unified Taxonomy and Survey of Abductive Reasoning in LLMs
Sharif University of Technology（谢里夫理工大学）
本文首次系统调研大语言模型中的演绎推理，提出统一的两阶段定义，分类现有工作，并通过基准测试和对比分析揭示当前方法的不足。
2026-04-09 cs.AI cs.LG
Commonsense Reasoning for Conversational AI: A Survey of the State of the Art
Georgia Institute of Technology（佐治亚理工学院）
基于transformer的大型预训练语言模型，如BERT、GPT和T5，已经证明了对上下文语义和语言语法的深刻理解。他们的成功使对话式人工智能取得了重大进展，包括开发开放式对话系统，能够进行连贯、突出的对话，可以回答问题、随意聊天和完成任务。然而，最先进的模型仍然难以处理涉及更高层次推理的任务--包括人类认为微不足道的常识推理。本文介绍了最近的会话人工智能研究的调查集中在常识推理。本文列出了相关的训练数据集，并描述了将常识纳入对话式AI的主要方法。本文还讨论了用于评估会话AI问题中常识的基准。最后，本文提出了两个国家的最先进的开放式对话模型，BlenderBot 3和LaMDA的有限的常识能力的初步观察，其自然互动的负面影响。这些观察进一步激发了对会话AI中常识推理的研究。
2023-02-15 cs.CL cs.LG
Enhancing Neural Mathematical Reasoning by Abductive Combination with Symbolic Library
Nanjing University（南京大学）；Polixir Technologies（智谱科技）
近年来，数学推理已被证明是对神经系统的一个严峻挑战。包括表达翻译，逻辑推理和数学知识获取在内的能力似乎是克服挑战所必需的。本文证明了一些能力可以通过溯因组合与离散系统，已编程与人类知识。在一个数学推理数据集上，我们采用最近提出的溯因学习框架，提出了结合Transformer神经模型和符号数学库的ABL-Sym算法。ABL-Sym在插值任务上显示出9.73%的精度提高，在外推任务上显示出47.22%的精度提高，超过了最先进的方法。在线演示：http://math.polixir.ai
2022-03-28 cs.AI cs.LG
A Survey on Machine Learning Approaches for Modelling Intuitive Physics
Institute for Infocomm Research, A*STAR（A*STAR信息通信研究所）；National University of Singapore（新加坡国立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Centre for Frontier AI Research, A*STAR（A*STAR前沿人工智能研究中心）
认知科学的研究已经提供了大量的证据，证明人类的认知能力可以从嘈杂的感知输入中对物体进行物理推理。这种认知能力通常被称为直觉物理学。随着深度学习的进步，人们越来越感兴趣的是构建能够从给定场景执行物理推理的智能系统，以构建更好的AI系统。因此，许多当代的方法在建模直观的物理机器认知的启发来自认知科学的文献。尽管在机器认知的物理推理方面有广泛的工作，但缺乏对这些深度学习方法进行组织和分组的评论。特别是在直觉物理学和人工智能的交叉点上，需要理解各种各样的想法和方法。因此，本文对直观物理启发的物理推理深度学习方法的最新进展和技术进行了全面的调查。该调查将首先将现有的深度学习方法分类为物理推理的三个方面，然后将其组织为三种通用技术方法，并提出该领域的六个分类任务。最后，我们强调了当前领域的挑战，并提出了一些未来的研究方向。
2022-04-28 cs.AI cs.LG
Exploring The Spatial Reasoning Ability of Neural Models in Human IQ Tests
Korea University（高丽大学）；NAVER；KAIST（韩国科学技术院）
尽管神经模型在图像识别和问答等各种任务上表现出色，但只有少数研究测量了它们的推理能力。在这项工作中，我们专注于空间推理和探索神经模型的空间理解。首先，我们描述了以下两个空间推理智商测试：旋转和形状组成。使用定义良好的规则，我们构建了由各种复杂程度组成的数据集。我们在泛化方面设计了各种实验，并在新生成的数据集上评估了六种不同的基线模型。我们提供了一个分析的结果和影响模型的泛化能力的因素。此外，我们分析了神经模型如何解决视觉辅助空间推理测试。我们的发现将为理解机器以及机器与人类之间的差异提供有价值的见解。
2020-04-11 cs.AI cs.CV cs.LG
Multi-Step Reasoning with Large Language Models, a Survey
LIACS（莱顿大学信息科学研究中心）；Leiden University（莱顿大学）
本文综述了大语言模型的多步推理领域，提出了生成、评估和控制多步推理的分类法，指出该方法已超越数学应用题扩展至逻辑、博弈和机器人领域，并总结了强化学习微调等核心方法与未来研究议程。
2025-11-02 cs.AI cs.CL cs.LG
Knowledge-based Analogical Reasoning in Neuro-symbolic Latent Spaces
TCS Research（塔塔咨询服务公司研究院）
类比推理问题挑战了连接主义和符号AI系统，因为这些系统需要结合背景知识、推理和模式识别。虽然符号系统摄取明确的领域知识并执行演绎推理，但它们对噪声敏感，并且需要将输入映射到预设的符号特征。另一方面，连接主义系统可以直接摄取丰富的输入空间，如图像，文本或语音，即使有噪声输入也能识别模式。然而，联结主义模型努力包括演绎推理的明确领域知识。在本文中，我们提出了一个框架，结合了神经网络的模式识别能力与符号推理和背景知识解决一类类比推理问题的属性集和可能的关系，他们是已知的先验。我们从“神经算法推理”方法[DeepMind 2020]中获得灵感，并通过以下方式使用特定于问题的背景知识：（i）基于问题的符号模型学习分布式表示;（ii）训练反映问题中所涉及关系的神经网络转换;最后（iii）训练从图像到分布式表示的神经网络编码器（i）。这三个要素使我们能够使用神经网络作为操纵分布式表示的基本函数来执行基于搜索的推理。我们在RAVENs Progressive Matrices中的视觉类比问题上测试了这一点，并实现了与人类表现相竞争的准确性，并且在某些情况下，优于最初的端到端基于神经网络的方法。虽然最近的神经模型在规模上训练产生SOTA，但我们新的神经符号推理方法是解决这个问题的一个有希望的方向，并且可以说是更通用的，特别是对于领域知识可用的问题。
2022-09-19 cs.AI cs.LG
Interpretable by AI Mother Tongue: Native Symbolic Reasoning in Neural Models
PARRAWA AI
该框架让神经模型发展出原生符号语言AI母语，通过嵌入推理、门控归纳和顺序训练，实现透明推理，在AI任务上兼顾准确性与可验证性。
2025-08-26 cs.AI cs.CL cs.LG
Neural-guided, Bidirectional Program Search for Abstraction and Reasoning
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）；Boston University（波士顿大学）；Princeton University（普林斯顿大学）
当今人工智能研究面临的挑战之一是设计能够利用系统推理来概括新任务的系统。抽象和推理语料库（ARC）通过一组视觉推理任务来衡量这种能力。在本文中，我们报告了ARC的渐进式进展，并为两种不基于蛮力搜索的抽象和推理方法奠定了基础。我们首先应用现有的程序合成系统称为DreamCoder创建符号抽象的任务解决到目前为止，并显示它如何使解决越来越具有挑战性的ARC任务。其次，我们设计了一个推理算法的动机，人类的方式接近ARC。我们的算法构造了一个搜索图，并在此图结构的原因，发现任务的解决方案。更具体地说，我们扩展现有的执行引导的程序合成方法与演绎推理的基础上的功能逆语义，使神经引导的双向搜索算法。我们证明了算法的有效性三个域：ARC，24场比赛的任务，和一个“双加”算术难题。
2021-10-26 cs.AI cs.LG
Improving Coherence and Consistency in Neural Sequence Models with Dual-System, Neuro-Symbolic Reasoning
MIT（麻省理工学院）；DeepMind；NYU（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
人类推理通常可以理解为两个系统之间的相互作用：直觉和联想（“系统1”）和深思熟虑和逻辑（“系统2”）。神经序列模型-在执行复杂的结构化任务方面越来越成功-展示了系统1的优势和失败模式：它们速度快，可以从数据中学习模式，但通常不一致和不连贯。在这项工作中，我们寻求一种轻量级的，无需训练的方法，通过添加System 2启发的逻辑推理来改进现有的System 1类序列模型。我们探讨了这个主题的几种变化，其中候选人的神经序列模型的逻辑一致性检查的符号推理模块，它可以接受或拒绝的代。我们的方法使用神经推理在神经系统1和逻辑系统2之间进行调解。结果表明，该方法可以提高基于神经的故事生成的一致性和准确性。
2021-12-15 cs.AI cs.CL cs.LG
The ARC of Progress towards AGI: A Living Survey of Abstraction and Reasoning
TIB - Leibniz Information Centre for Science and Technology（TIB - 科学技术信息研究中心）；L3S Research Center, Leibniz University of Hannover（L3S研究所以汉诺威莱布尼茨大学）；Dresden University of Technology, Amazon (work done outside of Amazon)（德累斯顿技术大学，亚马逊（非亚马逊工作））
本文通过分析三个版本的82种方法及ARC Prize竞赛，揭示了不同范式在版本间性能下降的规律，指出组合泛化能力的局限性，并强调测试时适应和精炼循环的重要性。
2026-03-09 cs.AI cs.LG
Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)
University of Rochester（罗切斯特大学）；University of Central Florida（中央佛罗里达大学）；Corning Inc.（康宁公司）
本文综述了多模态推理的进展，探讨了推理在多模态任务中的挑战与优化方法，为未来研究提供指导。
2025-11-25 cs.CL cs.LG
From Multimodal Perception to Strategic Reasoning: A Survey on AI-Generated Game Commentary
Peking University（北京大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出统一框架，将AI生成游戏评论分为描述性、分析性和背景性三类，综述方法、数据集和评估指标，并指出未来方向。
2026-07-01 cs.AI cs.CL cs.LG
Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning
University of California, Los Angeles（加州大学洛杉矶分校）
神经符号计算的目标是整合联结主义和符号主义范式。先前的方法使用强化学习（RL）方法来学习神经符号模型，该方法忽略了符号推理模块中的错误传播，因此在稀疏奖励的情况下收敛缓慢。在本文中，我们解决这些问题，并关闭循环的神经符号学习（1）引入\textbf{grammar}模型作为一个\textit{symbolic prior}桥梁神经感知和符号推理，（2）提出了一种新的\textbf{back-search}算法，模仿自上而下的人类学习过程，通过符号推理模块有效地传播错误。我们进一步解释所提出的学习框架作为极大似然估计使用马尔可夫链蒙特卡罗采样和回搜索算法作为一个大都会黑斯廷斯采样器。实验在两个弱监督的神经符号任务上进行：（1）新引入的HWF数据集上的手写公式识别;（2）CLEVR数据集上的视觉问题回答。结果表明，我们的方法显着优于RL方法的性能，收敛速度和数据效率。我们的代码和数据在\url{https://liqing-ustc.github.io/NGS}上发布。
2020-07-27 cs.AI cs.CV cs.LG
The Price of Reasoning: Cost-Quality Tradeoffs in Reinforcement Learning for Neural Machine Translation
研究神经机器翻译强化学习中推理痕迹对翻译质量的影响，通过在训练或推理阶段省略推理痕迹进行实验，发现推理尤其是推理阶段能提升质量，还研究了推理导致计算需求增加与翻译质量提升间的成本-质量权衡。
2026-07-22 cs.AI cs.CL cs.LG
From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）；Peng Cheng Laboratory（鹏城实验室）
本文系统综述了基于大语言模型的跨模态推理方法，提出三级分类体系，分析典型模型设计策略与运行技术，并指出当前挑战与未来研究方向。
2024-09-19 cs.AI cs.CL cs.CV
Integrating Logical Rules Into Neural Multi-Hop Reasoning for Drug Repurposing
Siemens AG（西门子股份公司）；Ludwig Maximilian University of Munich（慕尼黑大学）
生物医学数据的图结构与典型的知识图谱基准测试任务中的图结构不同。生物医学数据的一个特殊属性是存在长期依赖性，这可以通过描述为逻辑规则的模式来捕获。我们提出了一种新的方法，结合这些规则与神经多跳推理方法，使用强化学习。我们进行了实证研究的基础上，通过制定这个任务作为一个链接预测问题的药物再利用的现实世界的任务。我们将我们的方法应用于生物医学知识图谱Hetionet，并表明我们的方法优于几种基线方法。
2020-07-10 cs.AI cs.LG stat.ML
Plane Geometry Problem Solving with Multi-modal Reasoning: A Survey
Graduate School of Artificial Intelligence, POSTECH（POSTECH人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系）；Australian National University（澳大利亚国立大学）
本文针对平面几何问题求解（PGPS）领域缺乏系统综述的现状，梳理现有PGPS方法的编码器-解码器框架及组件设计，分析相关挑战与未来方向，重点指出编码幻觉与基准数据泄露问题。
2025-05-20 cs.CV cs.LG
A Survey of Reasoning with Foundation Models
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；Shanghai AI Lab（上海人工智能实验室）；Dalian University of Technology（大连理工大学）；Fudan University（复旦大学）；Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）
本文综述面向推理的基础模型、任务、方法与基准，并展望多模态学习、自主智能体和超级对齐等未来方向，以推动 AGI 发展。
2024-01-25 cs.AI cs.CL cs.CV
Artificial Intelligence for Mathematical Reasoning: An Integrated Survey of Language Models, Neuro-symbolic Systems, and Verified Discovery
University of California, Berkeley（加州大学伯克利分校）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）
本文综述了数学推理领域从早期规则系统到当代推理模型、多智能体系统及验证发现工作流的演变，沿非正式推理、形式推理、数学发现及推理技术四轴组织，并评估了基准测试、失败模式及未来方向。
2026-07-28 cs.AI cs.CL cs.CV
Can recursive neural tensor networks learn logical reasoning?
Stanford University（斯坦福大学）
递归神经网络模型及其伴随的单词向量表示在一系列语义日益复杂的任务中取得了成功，但几乎没有人知道它们准确捕捉解释或推理所需的语言意义方面的能力。为了评估这一点，我训练了一个递归模型，在一个新的语料库上构建了短句逻辑推理的例子，比如从"一些狗走路"或"一些猫走路"推断"一些动物走路"，假设狗和猫是动物。该模型学习的表示，以及推广到新类型的推理模式，在所有，但少数情况下，结果是有希望的学习表示模型捕捉逻辑推理的能力。
2014-02-15 cs.CL cs.LG
Neural Amortized Inference for Nested Multi-agent Reasoning
Dartmouth College（达特茅斯学院）；Google Research（谷歌研究院）；New York University（纽约大学）；University of Virginia（弗吉尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对嵌套多智能体推理计算复杂度随层级指数增长的问题，提出利用神经网络摊销高阶社会推理的新方法，在两个多智能体交互领域验证了其高效性与低精度损失的优势。
2023-08-21 cs.AI cs.LG cs.MA
