SEGO: Sequential Subgoal Optimization for Mathematical Problem-Solving
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出SEGO框架,通过建立子目标分解与求解概率的联系,生成并优化特定子目标以训练策略模型,在GSM8K和MATH基准上显著提升了LLMs的数学问题求解能力。
2023-10-19 cs.CL
MathEDU: Feedback Generation on Problem-Solving Processes for Mathematical Learning Support
Department of Computer Science, National Yang Ming Chiao Tung University, Taiwan(计算机科学系,National Yang Ming Chiao Tung大学,台湾)
MathEDU研究通过构建数学问题解决过程反馈数据集,评估不同模型在正确性分类、错误识别和反馈生成任务中的可靠性,发现生成反馈存在显著差距,需提升教学意识的AI反馈。
2026-01-18 cs.CL
ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving
本文提出ArithmAttack方法,评估LLMs在包含标点符号噪声的提示下鲁棒性,发现所有模型在噪声增加时表现下降。
2026-03-15 cs.CL
End-to-End Bangla AI for Solving Math Olympiad Problem Benchmark: Leveraging Large Language Model Using Integrated Approach
Bangladesh University of Engineering and Technology(孟加拉工程技术大学)
本文提出结合模型配置评估、数据集微调与 RAG 的集成方法,提升 LLM 在孟加拉语奥林匹克级数学问题中的多语言推理能力。
2025-01-08 cs.CL
Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving
Yildiz Technical University(伊尔德兹技术大学);Kadir Has University(卡迪尔哈斯大学)
本研究针对数学应用题求解提出多种数据增强方法,并引入基于Llama-7b的上下文学习增强,在9个基线模型上验证了其有效性,且拼接多源增强示例可进一步提升性能。
2024-04-05 cs.CL
Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大语言模型(LLMs)解决数学应用题(MWPs)的推理难题,本文提出基于计算图检索相似问题作为示例的类比学习方法,在六个数据集上实现平均6.7%的绝对性能提升,有效增强LLMs的MWP求解能力。
2024-11-25 cs.CL
Decomposition for Enhancing Attention: Improving LLM-based Text-to-SQL through Workflow Paradigm
Sun Yat-sen University(中山大学);Platform and Content Group, Tencent(腾讯平台与内容事业群)
本文提出一种基于工作流范式的文本到SQL方法,通过信息确定、问题分类、自校正和主动学习等模块增强大语言模型的注意力与求解范围,在多个数据集上取得显著提升。
2024-07-03 cs.CL
Mathematical Formalized Problem Solving and Theorem Proving in Different Fields in Lean 4
本文探索利用大型语言模型将自然语言数学证明形式化为 Lean 4 代码,通过比较传统与 AI 增强方法,展示了 AI 在加速和提升数学定理证明形式化方面的巨大潜力。
2024-11-08 cs.CL
GeoMathCode: Understanding Interleaved Math-Code Reasoning for Geometry Problem Solving
Idiap Research Institute(Idiap研究 institute);X-Humanoid;Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Cancer Biomarker Centre, CRUK Manchester Institute(癌症生物标志物中心,CRUK曼彻斯特研究所)
本文提出GeoMathCode,通过程序化表示作为中间视觉输出,分析多模态大模型在几何问题中的推理与代码生成,发现推理与代码步骤在潜在空间可解耦,监督微调使推理流形更结构化,且层次化代码结构包含更多数学符号信息。
2026-05-25 cs.CL
A Solver-in-the-Loop Framework for Improving LLMs on Answer Set Programming for Logic Puzzle Solving
本文提出了一种求解器循环框架,通过引导求解器进行指令微调,提升LLM在Answer Set Programming中生成逻辑谜题解答的性能。
2025-12-18 cs.AI cs.CL
MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data
University of Liverpool(利物浦大学);Johns Hopkins University(约翰斯·霍普金斯大学);Mathematica Policy Research(Mathematica政策研究公司);AGI Odyssey(AGI奥德赛)
本研究提出MathOdyssey数据集,用于基准测试LLMs的数学问题解决能力,发现模型在奥林匹克级和复杂大学问题上表现不佳,开源与闭源模型差距缩小。
2024-06-26 cs.AI cs.CL
SAAS: Solving Ability Amplification Strategy for Enhanced Mathematical Reasoning in Large Language Models
Upstage AI;Mathpresso Inc.(Mathpresso公司)
提出 SAAS 顺序学习策略,通过先 CoT 后 PoT 的训练顺序增强 LLM 的数学推理与解题能力,并在多个基准上达到 SOTA。
2024-10-02 cs.AI cs.CL
Mathify: Evaluating Large Language Models on Mathematical Problem Solving Tasks
IIIT-Delhi(德里印度信息技术学院);MIDAS Labs(MIDAS实验室)
本文提出了名为MathQuest的数学数据集,并通过对LLaMA-2、WizardMath和MAmmoTH三个大型语言模型进行微调实验,发现MAmmoTH-13B在解决NCERT数学问题方面表现最佳,可作为稳健可靠的基准。
2024-04-19 cs.AI cs.CL
Advancing Mathematical Reasoning in Language Models: The Impact of Problem-Solving Data, Data Synthesis Methods, and Training Stages
Jinan University(暨南大学);TAL Education Group(好未来教育集团);ShanghaiTech University(上海科技大学);Guangdong Institute of Smart Education(广东省智慧教育研究院)
该研究针对大语言模型持续预训练数学推理提升弱于监督微调的问题,探究解题数据、合成方法及训练阶段的影响,发现解题数据更有效、辅导扩增合成法最优,最终开发出MathGPT-8B数学基础模型。
2025-03-24 cs.AI cs.CL
DART-Math: Difficulty-Aware Rejection Tuning for Mathematical Problem-Solving
Tsinghua University(清华大学);Helixon Research(Helixon研究院);HKUST(香港科技大学)
提出难度感知拒绝微调方法DART,通过为困难查询分配更多合成试验构建小规模数据集,仅用7B开放权重模型合成数据,微调出的DART-MATH在6个数学基准上表现优于或可比以往方法,提供了高效低成本的公开资源。
2024-12-23 cs.AI cs.CL
Flow-DPO: Improving LLM Mathematical Reasoning through Online Multi-Agent Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Microsoft Research(微软研究院)
针对大语言模型难以生成高质量数学推理轨迹的问题,提出Flow-DPO方法,通过多组件LLM协作的增量Flow构建解题方案,结合带滚动推演的在线DPO学习训练,有效提升了模型数学推理性能。
2024-10-29 cs.CL cs.LG
MathGLM-Vision: Solving Mathematical Problems with Multi-Modal Large Language Model
Tsinghua University(清华大学);Beihang University(北京航空航天大学)
本文构建多模态数学数据集 MathVL,并通过监督微调不同参数规模骨干模型提出 MathGLM-Vision,在公开基准和 MathVL-test 上显著提升多模态数学推理能力。
2024-12-02 cs.AI cs.CL
Solving Math Word Problems by Combining Language Models With Symbolic Solvers
Stanford University(斯坦福大学)
本文提出将 LLM 增量形式化出的变量与方程交给外部符号求解器,在 GSM8K 上媲美 PAL,并在更难的 ALGEBRA 数据集上绝对提升 20%。
2023-04-16 cs.AI cs.CL
The potential of large language models for improving probability learning: A study on ChatGPT3.5 and first-year computer engineering students
Rey Juan Carlos University(胡安·卡洛斯国王大学);European Commission, Joint Research Centre(欧盟委员会联合研究中心);CETINIA: Research Centre for Intelligent Information Technologies(CETINIA智能信息技术研究中心)
该研究评估ChatGPT解答计算机工程入门概率题的效能,发现其推理表达优于平均水平学生但数值运算有缺陷,用R脚本输出解答可弥补不足,证明大语言模型有潜力作为概率学习助手。
2023-10-09 cs.AI cs.CL
Max It or Miss It: Benchmarking LLM On Solving Extremal Problems
University of Maryland(马里兰大学);Fudan University(复旦大学)
本文构建含93个标准化数学极值问题的 ExtremBench,评估 Qwen3、GPT-OSS、DeepSeek 等模型,发现其极值求解能力与 AIME25、MATH-500 等通用数学基准表现并不一致。
2025-10-17 cs.AI cs.CL cs.LG
Improving Compositional Generalization in Math Word Problem Solving
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
组合泛化是指模型基于在训练期间观察到的数据组件泛化到新组合的输入数据的能力。由于概括是语言和问题解决技能的一个重要方面,它引发了一系列关于不同任务的合成概括分析。然而,对数学应用题(MWPs)的类似讨论是有限的。本文研究了MWP求解中的合成泛化问题。具体来说,我们首先介绍了一种数据分割方法,从现有的MWP数据集创建组合分裂。同时,我们综合数据来隔离成分的影响。为了提高MWP求解中的组合泛化能力,我们提出了一种迭代数据增强方法,该方法将不同的组合变化纳入训练数据中,并可与MWP方法协作。在评估过程中,我们检查了一组方法,发现它们在评估的数据集上都遇到了严重的性能损失。我们还发现我们的数据增强方法可以显着提高一般MWP方法的合成概括。代码可在https://github.com/demoleiwang/CGMWP上获得。
2022-09-03 cs.CL
VAMPS: Visual-Assisted Mathematical Problem Solving Benchmark
University of California, Berkeley(加州大学伯克利分校)
提出VAMPS基准,通过1,168道双语多选题评估多模态大模型在借助绘图工具进行数学推理时的表现,发现直接解析求解优于工具辅助视觉求解。
2026-06-02 cs.AI cs.CL cs.CV
A Novel Representation to Improve Team Problem Solving in Real-Time
Stony Brook University(石溪大学)
本文提出一种新颖表示方法,通过捕捉团队问题解决中的心理意象并计算相关指标,实现对团队行为的实时理解与改进,并以案例研究加以验证。
2023-10-30 cs.CL
Reverse Operation based Data Augmentation for Solving Math Word Problems
Kyoto University(京都大学);Peking University(北京大学);Waseda University(早稻田大学)
数学应用题的自动求解是自然语言处理领域的一个重要课题。最近的模型已经达到了性能瓶颈,需要更多高质量的数据进行训练。我们提出了一种新的数据增强方法,该方法反转数学应用题的数学逻辑,以产生新的高质量数学问题,并引入新的知识点,可以帮助学习数学推理逻辑。我们将增强的数据应用于两个SOTA数学单词问题解决模型,并将我们的结果与强大的数据增强基线进行比较。实验结果表明了该方法的有效性。我们在https://github.com/yiyunya/RODA上发布我们的代码和数据。
2021-11-10 cs.CL
Semantically-Aligned Equation Generation for Solving and Reasoning Math Word Problems
National Taiwan University(国立台湾大学)
解决数学应用题是一项具有挑战性的任务,需要准确的自然语言理解来连接自然语言文本和数学表达式。基于人类对数学应用题文本生成公式的直觉,提出了一种基于文本语义的符号操作神经网络方法,用于数学应用题的自动求解.本文将方程的生成过程视为语义世界和符号世界之间的桥梁,提出的神经数学求解器基于编码器-解码器框架。在该模型中,编码器被设计为理解问题的语义,而解码器则专注于跟踪生成的符号的语义,然后决定下一步生成哪个符号。初步的实验是在一个数据集Math 23 K,我们的模型显着优于国家的最先进的单一模型和最好的非检索为基础的模型超过约10%的准确性,证明了有效的桥梁符号和语义世界的数学单词问题。
2019-06-09 cs.CL
ComSearch: Equation Searching with Combinatorial Strategy for Solving Math Word Problems with Weak Supervision
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Xiaomi AI Lab(小米人工智能实验室);Peking University(北京大学)
以往的研究已经引入了一个弱监督的范式来解决数学应用题,只需要答案值注释。当这些方法搜索作为伪标签的正确值方程候选时,它们在巨大的方程空间的狭窄子空间中搜索。为了解决这个问题,我们提出了一种新的搜索算法与组合策略\textbf{ComSearch},它可以压缩搜索空间,排除数学等价方程。压缩允许搜索算法枚举所有可能的方程并获得高质量的数据。我们研究了伪标签中包含错误数学逻辑的噪声,我们称之为\textit{false-matching}问题,并提出了一个排序模型来消除伪标签。我们的方法拥有一个灵活的框架,利用现有的两个有监督的数学单词问题求解器训练伪标签,并在弱监督任务中实现最先进的性能。
2023-03-07 cs.CL
MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based Formalisms
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们介绍了一个大规模的数学应用题数据集和一个可解释的神经数学问题求解器,它学会将问题映射到操作程序。由于注释方面的挑战,该领域目前的数据集要么规模相对较小,要么没有为各种问题类型提供精确的操作注释。我们引入了一种新的表示语言来模拟精确的操作程序,对应于每个数学问题,旨在提高学习模型的性能和可解释性。使用这种表示语言,我们的新数据集MathQA通过完全指定的操作程序显着增强了AQuA数据集。我们还介绍了一个神经序列程序模型,增强了自动问题分类。我们的实验表明,我们的MathQA以及AQuA数据集的竞争基线有所改进。结果仍然明显低于人类的表现,这表明该数据集为未来的研究提出了新的挑战。我们的数据集可在:https://math-qa.github.io/math-QA/
2019-05-30 cs.CL
Seeking Patterns, Not just Memorizing Procedures: Contrastive Learning for Solving Math Word Problems
Tencent Cloud Xiaowei(腾讯云小微);Peking University(北京大学)
数学应用题解决需要发现自然语言叙述中的数量关系。最近的工作表明,现有的模型从上下文中记忆过程,并依赖于浅层算法来解决MWPs。在本文中,我们看看这个问题,并认为,原因是缺乏全面的了解MWP模式。我们首先研究了神经网络如何只从语义上理解模式,并观察到,如果原型方程是相同的,大多数问题得到更接近的表示和那些表示除了他们或接近其他原型往往会产生错误的解决方案。受此启发,我们提出了一种对比学习方法,其中神经网络感知模式的分歧。我们通过将原型方程转化为树并寻找相似的树结构来收集对比实例。求解模型在收集的示例上使用辅助目标进行训练,从而使具有相似原型的问题的表示更加接近。我们在中文数据集Math23k和英文数据集MathQA上进行了实验。我们的方法大大提高了单语和多语言设置的性能。
2022-03-10 cs.CL
Seeking Diverse Reasoning Logic: Controlled Equation Expression Generation for Solving Math Word Problems
Meituan(美团);Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
为了解决数学应用题,人类学生利用不同的推理逻辑,达到不同的可能方程的解决方案。然而,自动求解器的主流序列到序列方法旨在解码由人类注释监督的固定解方程。在本文中,我们提出了一个控制方程生成求解器,利用一组控制代码来引导模型考虑一定的推理逻辑和解码相应的方程表达式转换从人类的参考。实验结果表明,我们的方法普遍提高了单未知(Math23K)和多未知(DRAW1K,HMWP)基准测试的性能,在具有挑战性的多未知数据集上的准确率大幅提高了13.2%。
2022-11-30 cs.CL
Textual Enhanced Contrastive Learning for Solving Math Word Problems
Meituan(美团);Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
数学应用题的求解是一项分析量之间关系的任务,需要准确理解上下文自然语言信息。最近的研究表明,目前的模型依赖于浅层次的几何学来预测解决方案,很容易被小的文本扰动所误导。为了解决这个问题,我们提出了一个文本增强的对比学习框架,该框架强制模型区分语义相似的例子,同时保持不同的数学逻辑。我们采用自我监督的方式策略,通过文本重新排序或问题重构来丰富具有细微文本差异的示例。然后,我们从等式和文本的角度检索最难区分的样本,并引导模型学习它们的表示。实验结果表明,我们的方法在广泛使用的基准数据集和精心设计的中英文挑战数据集上都达到了最先进的水平。\footnote {我们的代码和数据可在\url{https://github.com/yiyunya/Textual_CL_MWP}获得
2022-11-29 cs.CL
Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems
Embibe
数学推理将是人工智能取得重大进展的下一个前沿领域之一。解决数学应用题(MWPs)并因此获得更好的数学推理能力的持续激增将继续成为未来研究的关键。我们检查非神经和神经的方法来解决以自然语言叙述的数学应用题。我们还强调了这些方法的能力是可推广的,数学上合理的,可解释的和可解释的。神经方法主导了当前的最新技术水平,我们调查了它们,强调了MWP求解的三种策略:(1)直接答案生成,(2)用于推断答案的表达式树生成,以及(3)用于答案计算的模板检索。此外,我们还讨论了技术方法,回顾了直观的设计选择的演变,以解决MWPs,并检查他们的数学推理能力。我们最终确定了几个差距,保证需要外部知识和知识注入学习,在解决MWPs的其他几个机会。
2021-10-29 cs.AI cs.CL
Measuring Mathematical Problem Solving With the MATH Dataset
UC Berkeley(加州大学伯克利分校);UChicago(芝加哥大学)
许多智力活动需要数学问题的解决,但这种技能仍然超出了计算机的能力。为了在机器学习模型中衡量这种能力,我们引入了MATH,这是一个包含12,500个具有挑战性的竞赛数学问题的新数据集。数学中的每个问题都有一个完整的分步解决方案,可以用来教模型生成答案推导和解释。为了促进未来的研究和提高数学的准确性,我们还提供了一个大型的辅助预训练数据集,帮助教授模型数学基础。即使我们能够提高数学的准确性,我们的结果表明,准确性仍然相对较低,即使有巨大的Transformer模型。此外,我们发现,简单地增加预算和模型参数计数将是不切实际的实现强大的数学推理,如果缩放趋势继续。虽然缩放Transformers可以自动解决大多数其他基于文本的任务,但缩放目前并不能解决数学问题。为了在数学问题解决方面有更多的牵引力,我们可能需要更广泛的研究社区的新算法进步。
2021-11-08 cs.AI cs.CL cs.LG
Analogical Math Word Problems Solving with Enhanced Problem-Solution Association
University of Notre Dame(圣母大学);Hong Kong University of Science and Technology(香港科技大学)
数学应用题解决是问答中的一项重要任务,它要求学生具有类人推理能力。类比推理在数学教育中应用已久,因为它使学生能够应用数学情境中常见的关系结构来解决新问题。在本文中,我们建议建立一个新的MWP求解器,利用类比MWP,提高求解器的泛化能力,在不同种类的MWP。其核心思想是将相似的MWP对关联到一个潜在空间中,即,编码接近另一个类比MWP的MWP,而远离非类比MWP。此外,一个解决方案,集成到MWP求解器,以增强MWP的表示和他们的真正的解决方案之间的关联。评估结果验证了我们提出的类比学习策略在Math 23 k上的MWP-BERT性能优于最先进的Generate 2 Rank模型,编码器中的参数减少了5倍。我们还发现,我们的模型具有更强的泛化能力,在解决困难的MWPs由于类比学习容易MWPs。
2022-12-01 cs.AI cs.CL
Solving Math Word Problems with Double-Decoder Transformer
提出了一种基于Transformer的数学应用题方程生成模型。当不使用复制和对齐机制时,它比RNN模型取得了更好的结果,并且可以胜过复杂的复制和对齐RNN模型。我们还表明,训练一个Transformer共同在一个生成任务与两个解码器,从左到右和从右到左,是有益的。这样的Transformer比仅具有一个解码器的Transformer性能更好,这不仅是因为集成效应,而且还因为它改进了编码器训练过程。我们还尝试将强化学习添加到我们的模型中,与MLE训练相比,表现出更好的性能。
2019-08-28 cs.CL cs.LG
REAMS: Reasoning Enhanced Algorithm for Maths Solving
Thapar(塔帕尔学院);University of British Columbia(不列颠哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出基于零样本学习、数学推理与程序合成的 REAMS 方法,在 MIT、哥伦比亚大学课程及 MATH 数据集上取得 90.15% 的求解准确率,超越此前 81% 的基准。
2025-09-16 cs.AI cs.CL cs.PL
Learning to Reason Deductively: Math Word Problem Solving as Complex Relation Extraction
Singapore University of Technology and Design(新加坡科技设计大学);ByteDance AI Lab(字节跳动人工智能实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校)
解决数学应用题需要对文本中的量进行演绎推理。最近的各种研究工作主要依赖于序列到序列或序列到树模型来生成数学表达式,而不显式地执行给定上下文中的量之间的关系推理。虽然在经验上是有效的,但这种方法通常不提供对所生成的表达式的解释。在这项工作中,我们认为任务是一个复杂的关系抽取问题,提出了一种新的方法,提出了可解释的演绎推理步骤,迭代地构建目标表达式,其中每一步都涉及一个原始的操作两个数量定义它们的关系。通过对四个基准数据集的广泛实验,我们表明所提出的模型显着优于现有的强基线。我们进一步证明,演绎过程不仅提出了更多的可解释的步骤,但也使我们能够作出更准确的预测问题,需要更复杂的推理。
2022-09-15 cs.CL cs.LG
Solving Math Word Problems with Reexamination
National University of Singapore(新加坡国立大学);University of Electronic Science and Technology of China(电子科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种与模型无关的伪对偶(PseDual)学习方案,通过引入数字填充任务及计划融合策略实现训练中的复查过程,有效提升了多种数学应用题求解器的性能。
2023-11-20 cs.AI cs.CL
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology(阿萨努拉科技大学)
本文构建含10,000道题的PatiGonit数据集,并微调多种Transformer模型求解孟加拉语数学应用题,其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY
Beyond Solving Math Quiz: Evaluating the Ability of Large Reasoning Models to Ask for Information
Sichuan University, China(四川大学);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China(教育部机器学习与工业智能工程研究中心);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Institute of Data Science, National University of Singapore, Singapore(新加坡国立大学数据科学研究所)
本文针对现有基准仅评估大型推理模型解答完整数学问题的局限,构建了不完整问题数据集,系统评估并揭示了LRMs在主动询问信息方面的不足,同时分析了过度思考与幻觉行为,探讨了监督微调的潜力与挑战。
2025-08-15 cs.AI cs.CL cs.IR