Recall and Learn: A Memory-augmented Solver for Math Word Problems
CVTE Research(CVTE研究院);Hunan University(湖南大学)
本文研究数学应用题,即根据文本描述自动回答数学问题。虽然最近的方法已经证明了他们有前途的结果,这些方法大多是基于模板的生成方案,导致有限的泛化能力。为此,我们提出了一种新的类似人类的类比学习方法的回忆和学习的方式。我们提出的框架是由记忆,表征,类比和推理模块,这是为了使一个新的练习,参考过去学习的练习。具体来说,给定一个数学应用题,该模型首先通过记忆模块检索相似的问题,然后使用表示模块对未解决的问题和每个检索到的问题进行编码。此外,为了以类比的方式解决问题,提出了一个类比模块和一个具有复制机制的推理模块来建模问题和每个检索到的问题之间的相互关系。在两个著名的数据集上进行的大量实验表明,与其他最先进的竞争对手相比,我们所提出的算法具有整体性能比较和微观研究的优越性。
2021-09-27 cs.AI cs.CL
GAPS: Geometry-Aware Problem Solver
University of Strathclyde(斯特拉斯克莱德大学);Mind Rank Ltd.(Mind Rank 有限公司)
针对现有几何问题求解方法忽略题型差异、侧重计算忽视证明的问题,提出GAPS模型,通过题型分类、算子操作数分离生成及几何元素增强,在UniGeo数据集上显著超越SOTA模型Geoformer。
2024-01-29 cs.AI cs.CL
Unbiased Math Word Problems Benchmark for Mitigating Solving Bias
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
在本文中,我们重新审视了当前数学应用题(MWP)基准评估模型时的解决偏差。然而,现有的求解器存在求解偏差,包括数据偏差和学习偏差,这是由于有偏见的数据集和不适当的训练策略。我们的实验验证了MWP求解器很容易被有偏见的训练数据集所偏见,这些训练数据集不涵盖所有MWP的每个问题叙述的不同问题,因此求解器只能学习浅层语义而不是深层语义来理解问题。此外,MWP可以通过多个等价方程自然求解,而当前数据集仅将其中一个等价方程作为地面真值,迫使模型匹配标记的地面真值,而忽略其他等价方程。在这里,我们首先介绍了一个新的MWP数据集,名为UnbiasedMWP,它是通过改变我们收集的数据中的接地表达式,并手动用相应的多个新问题注释它们而构建的。然后,为了进一步减轻学习偏差,我们提出了一种动态目标选择(DynamicTargetSelection,简称DTS)策略,该策略根据当前模型输出与候选等价方程之间的最长前缀匹配来动态选择更合适的目标表达式,该候选等价方程是在训练过程中应用交换律获得的。结果表明,我们的UnbiasedMWP比原始数据和其他数据集具有更少的偏差,为公平评估求解器的推理技能而不是匹配最近邻提供了一个有希望的基准。使用我们的BMPs训练的求解器在多个MWP基准测试中实现了更高的精度。源代码可在https://github.com/yangzhch6/UnbiasedMWP上获得。
2022-05-17 cs.AI cs.CL
MathDuels: A Self-Play Benchmark That Grows
Department of Computer and Information Science, University of Pennsylvania(宾夕法尼亚大学计算机与信息科学系);Department of Mathematics, University of Pennsylvania(宾夕法尼亚大学数学系)
MathDuels通过让模型同时扮演问题提出者和解决者角色,揭示了模型在两者能力上的差异,展示了评估方法在区分模型能力上的有效性。
2026-08-11 cs.CL cs.SE
Adversarial Examples for Evaluating Math Word Problem Solvers
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
标准的准确性指标表明,数学应用题(MWP)求解器在基准数据集上实现了高性能。然而,现有的MWP求解器在多大程度上真正理解语言及其与数字的关系仍然不清楚。在本文中,我们生成对抗攻击来评估最先进的MWP求解器的鲁棒性。我们提出了两种生成对抗攻击的方法:问句重排和句子释义。我们在两个基准数据集上对三个神经MWP求解器进行了实验。平均而言,我们的攻击方法能够在这些数据集上将MWP求解器的准确性降低40个百分点以上。我们的研究结果表明,现有的MWP求解器是敏感的语言变化的问题文本。我们通过人工评估来验证生成的对抗性示例的有效性和质量。
2021-09-13 cs.CL
Explaining Math Word Problem Solvers
St. Olaf College(圣奥拉夫学院);University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
本研究通过扰动输入并评估模型性能,发现神经数学应用题求解器依赖表面词语而非语义逻辑,存在过拟合现象。
2023-07-24 cs.CL
Solving Math Word Problem with Problem Type Classification
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
针对单一数学应用题求解器存在的适用范围有限、易过拟合的问题,研究提出结合问题类型分类的集成方法,同时对两类求解器分别采用集成技术,有效提升了数学应用题求解性能。
2023-08-26 cs.CL
Structure-Unified M-Tree Coding Solver for MathWord Problem
Nanjing University(南京大学)
数学应用题求解器的设计作为自然语言处理中的一项挑战性任务,近年来引起了越来越多的研究关注。在以前的工作中,模型设计考虑到在输出端的数学表达式的树结构的属性,取得了更好的性能。然而,对应于MWP的表达通常是多样的(例如,$n_1+n_2 \times n_3-n_4$、$n_3\times n_2-n_4+n_1$等),相应的二叉树也是如此,由于输出空间的不确定性,这给模型学习带来了困难。在本文中,我们提出了结构统一的M-Tree编码求解器(SUMC-求解器),它适用于一个树与任何M分支(M-tree),以统一的输出结构。为了学习M-tree,我们使用映射将M-tree转换为M-tree代码,其中代码存储从树根到叶子节点的路径信息和叶子节点本身的信息,然后设计一个序列到代码(seq 2code)模型来生成代码。在广泛使用的MAWPS和Math 23 K数据集上的实验结果表明,SUMC-Solver不仅在类似的实验设置下优于几种最先进的模型,而且在低资源条件下表现得更好。
2022-10-25 cs.CL
The Gap of Semantic Parsing: A Survey on Automatic Math Word Problem Solvers
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学)
自动解决数学应用题(MWP)是一项挑战,主要是由于人类可读的单词和机器可理解的逻辑之间存在语义差距。尽管MWPs的历史可以追溯到20世纪60年代,但随着人工智能(AI)的发展,MWPs在过去几年中重新获得了广泛的关注。成功解决MWPs被认为是迈向通用AI的里程碑。许多系统声称在自制和小规模数据集上取得了有希望的结果。然而,当应用于大型和多样化的数据集时,文献中提出的方法都没有达到高精度,这表明当前的MWP求解器仍有很大的改进空间。这促使我们提出了一个全面的调查,以提供一个清晰和完整的图片自动数学问题求解器。在这次调查中,我们强调代数字问题,总结其提取的功能和提出的技术,以弥合语义差距,并比较其在公开访问的数据集的性能。我们还介绍了其他类型的数学问题的自动求解器,例如需要理解图表的几何问题。最后,我们确定了几个新兴的研究方向,为读者在MWPs的兴趣。
2019-04-29 cs.CL
Generalizing Math Word Problem Solvers via Solution Diversification
University of Notre Dame(圣母大学);Hong Kong University of Science and Technology(香港科技大学);Singapore Management University(新加坡管理大学);Tencent AI Lab(腾讯AI实验室);University of Electronic Science and Technology of China(电子科技大学)
当前的数学应用题(MWP)求解器通常是由(one-problem; one-solution)对训练的Seq 2Seq模型,每个模型由问题描述和显示推理流程的解决方案组成,以获得正确答案。然而,一个MWP问题自然具有多个解方程。使用(一个问题;一个解决方案)对的MWP求解器的训练排除了其他正确的解决方案,从而限制了MWP求解器的泛化能力。解决这个问题的一个可行的方法是对一个给定的问题增加多个解决方案。然而,很难通过人工努力收集多样化和准确的增强解决方案。在本文中,我们设计了一个新的训练框架的MWP求解器,通过引入解决方案缓冲区和解决方案缓存。缓冲器包括由MWP求解器生成的解决方案以促进训练数据多样性。参加培训的缓冲溶液质量控制专员。我们的框架灵活地适用于所有Seq 2Seq MWP求解器的全,半弱和弱监督训练的广泛设置。我们在基准数据集Math 23 k和一个名为Weak 12 k的新数据集上进行了广泛的实验,并表明我们的框架通过生成正确和多样化的解决方案来提高不同设置下各种MWP求解器的性能。
2022-12-01 cs.AI cs.CL
GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯AI实验室)
本文提出GSM-Plus基准,通过对GSM8K施加多种数学扰动,系统评估25个LLMs在4种提示技术下的数学推理鲁棒性,并探索迭代生成与验证中间思路的组合提示方法。
2024-07-02 cs.CL
Techniques to Improve Neural Math Word Problem Solvers
McGill University(麦吉尔大学)
开发数学应用题自动求解器是一项具有挑战性的任务,它需要对自然语言的理解和数学推理能力。最近的基于神经元的方法主要使用语言模型对问题文本进行编码,并迭代地对数量和运算符上的数学表达式进行解码。注意,MWP的问题文本由上下文部分和问题部分组成,最近的工作发现这些神经求解器可能仅在上下文文本和黄金表达式之间执行浅模式匹配,其中问题文本没有得到很好的利用。同时,现有的解码过程未能将数学定律强制执行到设计中,其中数学等价表达式的表示是不同的。为了解决这两个问题,我们提出了一个新的编码器-解码器架构,充分利用问题的文本,并保留逐步交换律。除了生成数量嵌入,我们的编码器进一步编码的问题文本,并使用它来指导解码过程。在每一步中,我们的解码器使用深度集来计算表达式表示,以便这些嵌入在任何数量排列下都是不变的。对四个既定基准的实验表明,我们的框架优于最先进的神经MWP求解器,表明了我们技术的有效性。我们还对结果进行了详细的分析,以显示我们的方法的局限性,并进一步讨论未来的工作。代码可在https://github.com/sophistz/Question-Aware-Deductive-MWP上获得。
2023-02-06 cs.CL cs.SC
Solving Math Word Problems by Combining Language Models With Symbolic Solvers
Stanford University(斯坦福大学)
本文提出将 LLM 增量形式化出的变量与方程交给外部符号求解器,在 GSM8K 上媲美 PAL,并在更难的 ALGEBRA 数据集上绝对提升 20%。
2023-04-16 cs.AI cs.CL
Seeking Diverse Reasoning Logic: Controlled Equation Expression Generation for Solving Math Word Problems
Meituan(美团);Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
为了解决数学应用题,人类学生利用不同的推理逻辑,达到不同的可能方程的解决方案。然而,自动求解器的主流序列到序列方法旨在解码由人类注释监督的固定解方程。在本文中,我们提出了一个控制方程生成求解器,利用一组控制代码来引导模型考虑一定的推理逻辑和解码相应的方程表达式转换从人类的参考。实验结果表明,我们的方法普遍提高了单未知(Math23K)和多未知(DRAW1K,HMWP)基准测试的性能,在具有挑战性的多未知数据集上的准确率大幅提高了13.2%。
2022-11-30 cs.CL
Why are NLP Models Fumbling at Elementary Math? A Survey of Deep Learning based Word Problem Solvers
L3S Research Center(L3S研究中心);IBM Research(IBM研究院);Queen’s University(女王大学);University of Örebro(厄勒布鲁大学)
从过去十年的后半期开始,人们对开发自动解决数学应用题(MWP)的算法越来越感兴趣。这是一个具有挑战性和独特的任务,需要融合表面水平的文本模式识别与数学推理。尽管进行了广泛的研究,但我们距离建立小学数学应用题的鲁棒表示和一般任务的有效解决方案仍然很远。在本文中,我们批判性地研究了各种模型,已开发的解决字的问题,他们的优点和缺点和未来的挑战。在过去的两年里,许多深度学习模型在基准数据集上记录了相互竞争的结果,这使得对文献的关键性和概念性分析在这个时候非常有用。我们退后一步,分析为什么,尽管在学术兴趣丰富,主要使用的实验和数据集设计仍然是一个绊脚石。从分析文献的角度,我们也努力为未来的数学应用题研究提供一个路线图。
2022-05-31 cs.AI cs.CL
Let GPT be a Math Tutor: Teaching Math Word Problem Solvers with Customized Exercise Generation
University of Notre Dame(圣母大学);Georgia Institute of Technology(佐治亚理工学院);Allen Institute for AI(艾伦人工智能研究所)
本文提出一种将LLM数学应用题求解能力蒸馏到学生模型的新方法,利用GPT-3作为导师迭代评估弱点并生成定制练习进行训练,在三个基准上以更少参数超越GPT-3和PaLM。
2023-05-22 cs.AI cs.CL cs.LG
GOLD: Geometry Problem Solver with Natural Language Description
University of Strathclyde(思克莱德大学)
GOLD模型通过分别处理几何图中的符号与几何基元,将提取的几何关系转化为自然语言描述,并利用大语言模型求解几何题,在多个数据集上显著超越此前最佳方法。
2024-05-01 cs.AI cs.CL
Investigating Math Word Problems using Pretrained Multilingual Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文从跨语言和多语言的角度重新审视数学应用题。我们使用带有复制机制的序列到序列模型在预训练的多语言语言模型上构建我们的MWP求解器。我们比较了MWP求解器在跨语言和多语言场景中的表现。为了便于跨语言性能的比较,我们首先将大规模英语数据集MathQA作为中文数据集Math23K的对应数据。然后通过机器翻译和人工标注将几个英文数据集扩展为双语数据集。我们的实验表明,MWP求解器可能不会被转移到不同的语言,即使目标表达式具有相同的操作符集和常量。但是对于跨语言和多语言的情况,如果问题类型在源语言和目标语言上都存在,则可以更好地推广。
2022-11-13 cs.AI cs.CL
HeurEvo: Agentic Evolution of Hybrid Solver-Augmented Heuristics for Time-Critical Mathematical Optimization
Microsoft(微软);Purdue University(普渡大学)
针对现有混合优化方法难以整体协调算法结构与求解器的问题,提出HeurEvo框架,通过计划-代码-组件协同进化,在严格时限内生成高质量解,超越传统求解器。
2026-09-30 cs.CL cs.LG cs.NE
Non-Autoregressive Math Word Problem Solver with Unified Tree Structure
National University of Singapore(新加坡国立大学);University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学)
本文提出基于统一树结构的非自回归数学应用题求解器MWP-NAS,通过可置换的统一树表示解决多解变体带来的学习与评估问题,并设计路径度量指标,在Math23K和MAWPS上验证了有效性。
2023-10-28 cs.AI cs.CL
Pretrained Language Models are Symbolic Mathematics Solvers too!
Sharif University of Technology(谢里夫理工大学);University of Tartu(塔尔图大学);University of South Carolina(南卡罗来纳大学)
解决符号数学一直是人类智慧的舞台,需要组合推理和递归。然而,最近的研究表明,像Transformers这样的大规模语言模型是通用的,并且令人惊讶的是,它可以作为序列到序列的任务来训练,以解决复杂的数学方程。这些大型的Transformer模型需要大量的训练数据来推广到看不见的符号数学问题。在本文中,我们提出了一种解决符号任务的有效方法,首先通过语言翻译预训练Transformer模型,然后微调预训练的Transformer模型来解决符号数学的下游任务。我们使用我们的预训练模型在集成任务上实现了相当的准确性,同时使用了大约$1.5$数量级的训练样本,相对于最先进的符号数学深度学习。与积分相比,微分方程任务的测试准确度要低得多,因为它们需要更高阶的递归,而这些递归在语言翻译中是不存在的。我们从Anna Karenina Principle(AKP)中提出了预训练语言模型的泛化性。我们用不同的语言翻译对模型进行预训练。我们的研究结果表明,在解决符号数学任务的语言偏见。最后,我们研究了微调模型对分布偏移的符号数学任务的鲁棒性,并且我们的方法在函数集成的分布偏移场景中具有更好的推广性。
2023-03-14 cs.CL cs.LG stat.ML
Tracing and Manipulating Intermediate Values in Neural Math Problem Solvers
Tohoku University(东北大学);RIKEN(理化学研究所)
语言模型如何处理需要多个推理步骤的复杂输入还没有得到很好的理解。先前的研究表明,关于这些输入的中间值的信息可以从模型的激活中提取出来,但目前还不清楚这些信息是在哪里编码的,以及这些信息是否确实在推理过程中使用。我们介绍了一种方法来分析如何一个Transformer模型处理这些输入,专注于简单的算术问题和它们的中间值。为了跟踪中间值的信息被编码的位置,我们使用主成分分析(PCA)来测量中间值和模型激活之间的相关性。然后,我们通过操纵模型权重进行因果干预。这种干预表明,通过跟踪确定的权重不仅与中间值相关,而且与模型预测有因果关系。我们的研究结果表明,该模型具有局部性的某些中间值,这是有用的,以提高模型的可解释性。
2023-01-17 cs.AI cs.CL cs.LG
Analogical Math Word Problems Solving with Enhanced Problem-Solution Association
University of Notre Dame(圣母大学);Hong Kong University of Science and Technology(香港科技大学)
数学应用题解决是问答中的一项重要任务,它要求学生具有类人推理能力。类比推理在数学教育中应用已久,因为它使学生能够应用数学情境中常见的关系结构来解决新问题。在本文中,我们建议建立一个新的MWP求解器,利用类比MWP,提高求解器的泛化能力,在不同种类的MWP。其核心思想是将相似的MWP对关联到一个潜在空间中,即,编码接近另一个类比MWP的MWP,而远离非类比MWP。此外,一个解决方案,集成到MWP求解器,以增强MWP的表示和他们的真正的解决方案之间的关联。评估结果验证了我们提出的类比学习策略在Math 23 k上的MWP-BERT性能优于最先进的Generate 2 Rank模型,编码器中的参数减少了5倍。我们还发现,我们的模型具有更强的泛化能力,在解决困难的MWPs由于类比学习容易MWPs。
2022-12-01 cs.AI cs.CL
From Blind Solvers to Logical Thinkers: Benchmarking LLMs' Logical Integrity on Faulty Mathematical Problems
New Jersey Institute of Technology(新泽西理工学院);Millburn High School(米尔本高中);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出 FaultyMath 基准数据集,系统评估大语言模型识别有缺陷数学问题并展现逻辑推理完整性的能力,发现现有模型大多仍表现为盲目求解器而非逻辑思考者。
2025-04-04 cs.AI cs.CL cs.LO
Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems
Wuhan University(武汉大学);University of Sydney(悉尼大学)
针对思维链在数学应用题中的语义理解错误,提出深入理解问题(DUP)方法,提取关键解题信息,在10个基准上大幅领先,并在GSM8K零样本下达到97.1%的新SOTA。
2025-03-27 cs.AI cs.CL