Learning Multi-Step Reasoning by Solving Arithmetic Tasks
Singapore University of Technology and Design（新加坡科技设计大学）
本文针对小型语言模型缺乏多步推理能力的问题，提出在合成多步算术任务数据集 MsAT 上持续预训练，并在四个数学应用题数据集上验证了其增强数学推理的效果。
2023-06-07 cs.CL
Algorithmic Phase Transitions in Language Models: A Mechanistic Case Study of Arithmetic
Carnegie Mellon University（卡内基梅隆大学）；Dartmouth College（达特茅斯学院）
该研究定义并探究语言模型的算法稳定性，以双操作数算术为案例发现Gemma-2-2b在位数不同的加法子任务上采用不同计算模型，指出算法不稳定性或影响逻辑推理零样本性能。
2024-12-10 cs.CL
Arithmetic Word Problem Solver using Frame Identification
KCIS, LTRC, IIIT-Hyderabad（海得拉巴国际信息技术研究所KCIS、LTRC）
自动Word问题解决一直对NLP社区构成巨大挑战。通常，应用题是由几个句子组成的叙述性问题，问题是关于句子中所指的量。解决应用题涉及跨句子推理，识别操作，它们的顺序，相关量和丢弃不相关量。在本文中，我们提出了一种新的方法自动算术字问题的解决。我们的方法从帧识别开始。每个帧可以被分类为状态帧或动作帧。框架识别依赖于句子中的动词。每个帧都是唯一的，并由其时隙标识。使用句子的依赖性解析输出来填充槽。插槽是实体持有者、实体、实体的数量、接收者、附加信息，如地点、时间。槽和框架有助于确定所问问题的类型和所指的实体。动作帧作用于状态帧，这导致状态帧的数量发生变化。然后，这些帧被用来构建一个图，其中任何数量的变化都可以传播到相邻的节点。目前大多数的求解器只能回答与数量相关的问题，而我们的系统可以回答不同类型的问题，如“谁”，“什么”除了数量相关的问题“多少”。本文的主要贡献有三点。1.框架注释语料库（使用框架注释工具）2.帧识别模块3.一个新的易于理解的解决应用题的框架
2018-08-09 cs.CL
Solving Arithmetic Word Problems Automatically Using Transformer and Unambiguous Representations
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
构建精确和自动的数学应用题求解器已被证明是相当具有挑战性的。使用机器学习的先前尝试已经在特定于数学单词问题的语料库上进行了训练，以在答案计算之前产生中缀符号的算术表达式。我们发现定制的神经网络很难很好地推广。本文概述了Transformer网络的使用，该网络经过训练，可以将数学应用题转换为中缀、前缀和后缀表示法中的等效算术表达式。除了直接在特定领域的语料库上进行训练外，我们还使用了一种在一般文本语料库上进行预训练的方法，以提供基本的语言能力来探索它是否能提高性能。我们比较了大量神经配置产生的结果，发现大多数配置在四个数据集中的三个数据集上的性能优于先前报道的方法，准确性显著提高了20个百分点以上。与以前的技术水平相比，最好的神经方法平均将准确率提高了近10%。
2019-12-02 cs.CL cs.LG stat.ML
ArthModel: Enhance Arithmetic Skills to Large Language Model
本文提出ArthModel，通过训练大语言模型生成后缀表达式并结合小型预训练模型调用原生函数求解算术问题，以提示注入方式返回结果，从而增强大语言模型的算术能力。
2023-11-30 cs.CL
Modular Arithmetic: Language Models Solve Math Digit by Digit
German Research Center for AI (DFKI)（德国人工智能研究中心（DFKI））；Saarland University（萨尔兰大学）；Center for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心（CERTAIN））
本研究揭示LLMs通过独立作用于不同数字位置的特定电路逐位解决算术问题，这些电路不受模型大小和分词策略影响，并通过因果干预验证了其因果作用。
2025-08-04 cs.AI cs.CL
Quantity Tagger: A Latent-Variable Sequence Labeling Approach to Solving Addition-Subtraction Word Problems
StatNLP Research Group（StatNLP研究小组）；Singapore University of Technology and Design（新加坡科技设计大学）
算术题通常包括一个包含几个常量的文本描述。解决问题的关键是揭示量之间的潜在数学关系（如加法和减法），然后生成方程来求解。这项工作提出了一种新的方法，数量标记，自动发现这种隐藏的关系，通过标记每个数量与一种类型的数学运算对应的符号。对于每一个量，我们假设存在一个潜在的，可变大小的量跨度周围的文本中的数量令牌，它传达的信息，用于确定其符号。实验结果表明，与现有方法相比，我们的方法在两个数据集上分别实现了5和8个点的准确性增益。
2019-08-31 cs.CL
How well do Large Language Models perform in Arithmetic tasks?
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
本研究提出了算术数据集 MATH 401，用于评估 GPT-4、ChatGPT 等大型语言模型在各类算术表达式上的计算能力，填补了该领域评测空白并进行了详细分析。
2023-03-16 cs.AI cs.CL
Small Language Models are Equation Reasoners
Hongik University（弘益大学）；Sangmyung University（祥明大学）；Ewha Womans University（梨花女子大学）；Yonsei University（延世大学）
本文研究小型语言模型在算术推理上表现不佳的原因，提出自然语言格式变异性带来歧义的假设，并通过仅用方程格式的实验证明其能有效提升sLM（尤其是T5-Tiny）的算术推理能力。
2024-09-19 cs.CL
Mapping to Declarative Knowledge for Word Problem Solving
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
数学应用题形成了一系列定量推理问题的自然抽象，例如理解金融新闻，体育比赛结果和战争伤亡。解决这样的问题需要理解的几个数学概念，如量纲分析，子集关系等，在本文中，我们开发的声明性规则，管理这些概念的自然语言描述的数学表达式的翻译。然后，我们提出了一个框架，将这样的陈述性知识的文字问题解决。我们的方法通过学习为解决方案表达式的每个操作选择相关的声明性知识，来学习将算术单词问题文本映射到数学表达式。这提供了一种在同一问题中处理多个概念的方法，同时支持答案表达式的可解释性。我们的方法将声明性知识的映射建模为潜在变量，从而消除了对昂贵注释的需求。实验评估表明，我们的领域知识为基础的求解器优于所有其他系统，它更好地概括在现实的情况下，它所暴露的训练数据是有偏见的以不同的方式比测试数据。
2017-12-26 cs.CL
IGC: Integrating a Gated Calculator into an LLM to Solve Arithmetic Tasks Reliably and Efficiently
Saarland University（萨尔大学）
本文提出集成门控计算器（IGC）模块，使LLM在GPU上模拟计算器执行算术，微调Llama后在BigBench Arithmetic上以98%-99%准确率超越所有模型，并首次解决乘法子任务。
2025-01-01 cs.CL cs.LG
Arithmetic Reasoning with LLM: Prolog Generation & Permutation
Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning（上海人工智能与深度学习前沿科学中心）；New York University Shanghai（上海纽约大学）
本文提出用LLM生成Prolog程序解决算术问题，以替代易出错的CoT方法，并在GSM8K基准上超越CoT，同时利用谓词置换进行数据增强以提升训练鲁棒性。
2024-05-28 cs.AI cs.CL
OccamLLM: Fast and Exact Language Model Arithmetic in a Single Step
Massachusetts Institute of Technology（麻省理工学院）
本文提出OccamLLM框架，利用LLM隐藏状态控制OccamNet符号架构，在单个自回归步骤内实现精确算术，并在算术运算和数学基准上超越GPT 4o。
2024-09-03 cs.AI cs.CL cs.LG
Mathify: Evaluating Large Language Models on Mathematical Problem Solving Tasks
IIIT-Delhi（德里印度信息技术学院）；MIDAS Labs（MIDAS实验室）
本文提出了名为MathQuest的数学数据集，并通过对LLaMA-2、WizardMath和MAmmoTH三个大型语言模型进行微调实验，发现MAmmoTH-13B在解决NCERT数学问题方面表现最佳，可作为稳健可靠的基准。
2024-04-19 cs.AI cs.CL
Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners?
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；KU Leuven（鲁汶大学）；New York University（纽约大学）
本文将算术解题分为文本理解、规划与执行三步，并用神经符号生成的受控题目测试 LLM，发现其在前两步具有类人认知偏差，而在算术执行步骤没有。
2024-06-17 cs.AI cs.CL cs.LG
Verb Categorisation for Hindi Word Problem Solving
IIIT-Hyderabad（海得拉巴国际信息技术学院）
针对印地语算术应用题求解任务，该研究构建了基于动词分类的规则式求解器，创建了印地语动词分类数据，并对比了多种动词分类方法的效果。
2023-12-18 cs.AI cs.CL
Arithmetic with Language Models: from Memorization to Computation
University of Bologna（博洛尼亚大学）
本文通过二进制加法和乘法任务训练轻量级语言模型，揭示其以“编码-回归-解码”机制在值空间中完成算术计算，从而从记忆走向可外推的计算能力。
2024-08-02 cs.AI cs.CL
Language Models are Homer Simpson! Safety Re-Alignment of Fine-tuned Language Models through Task Arithmetic
Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
针对微调导致语言模型安全性受损的问题，提出通过任务算术将安全向量加至模型权重的RESTA方法，有效降低有害性并保持任务性能。
2024-02-19 cs.AI cs.CL
Reflection of Thought: Inversely Eliciting Numerical Reasoning in Language Models via Solving Linear Systems
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；Sea AI Lab（Sea人工智能实验室）
基于自然语言的数值推理一直是研究界的一个长期目标。然而，尖端的语言模型已被证明难以可靠地推广到广泛的数字，尽管它们已显示出对常见和简单数字的推理能力。在本文中，我们提出了一种新的方法来提取和利用数字推理知识隐藏在预先训练的语言模型使用简单的锚号码。具体地说，我们首先利用简单数作为锚点来探测从语言模型中隐式推断出的算术表达式，然后显式地将表达式应用于复数上以得到相应的答案。为了逆导出算术表达式，我们将任务转换并制定为可解析解的线性系统。在多个数值推理基准上的实验结果表明，该方法显著提高了现有LM的数值推理能力。更重要的是，我们的方法是无训练的，只在推理阶段工作，使其具有高度的可移植性，并在所有zero-shot，Few-Shot和微调场景中跨各种语言模型（GPT-3，T5，BART等）实现一致的性能优势。
2022-10-11 cs.CL cs.IR cs.NA
Solving Situation Puzzles with Large Language Model and External Reformulation
Columbia University（哥伦比亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）
针对大语言模型解决情境谜题时易提重复或过细问题的多轮推理困境，提出外部重构方法，在多轮问答或猜错后重构谜题，实验证明其在胜率等指标上优于直接用大语言模型，为提升复杂交互场景下的大模型推理能力提供新思路。
2025-03-24 cs.CL cs.LG
Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges
New York University Abu Dhabi（纽约大学阿布扎比分校）
针对现有LLM数学推理评估数值范围有限、缺乏推理过程洞察的问题，本文提出GSM-Ranges数据集生成器和区分逻辑与非逻辑错误的评分方法，揭示了模型在分布外数值推理的弱点及文字题中计算性能下降的问题。
2025-02-12 cs.AI cs.CL cs.LG
Language Models Trained to do Arithmetic Predict Human Risky and Intertemporal Choice
Department of Computer Science（计算机科学系）；Princeton University（普林斯顿大学）；Department of Psychology（心理学系）；University of Warwick（沃里克大学）
本文提出通过计算等价任务（如期望值算术）预训练LLM，并证明在生态有效算术数据上训练的Arithmetic-GPT能比传统认知模型更准确地预测人类风险与跨期选择行为。
2025-05-06 cs.AI cs.CL econ.GN
Program Induction by Rationale Generation : Learning to Solve and Explain Algebraic Word Problems
DeepMind；University of Oxford（牛津大学）
解决代数应用题需要执行一系列算术运算-一个程序-以获得最终答案。然而，由于程序可以是任意复杂的，直接从问答对中归纳它们是一个巨大的挑战。为了使这项任务更加可行，我们通过生成答案推理、自然语言序列和人类可读的数学表达式来解决这些问题，这些表达式通过一系列小步骤得出最终答案。虽然基本原理没有明确地指定程序，但它们通过中间里程碑为它们的结构提供了一个脚手架。为了评估我们的方法，我们创建了一个新的100，000个样本的问题，答案和理由数据集。实验结果表明，间接监督程序学习的答案理据是一个很有前途的战略，诱导算术程序。
2017-10-23 cs.AI cs.CL cs.LG
