VerityMath: Advancing Mathematical Reasoning by Self-Verification Through Unit Consistency
Singapore University of Technology and Design（新加坡科技设计大学）
本研究提出VerityMath方法，通过定义和验证数学应用题中数量的单位一致性，微调开源LLMs以提升推理能力，虽当前性能略逊，但提供了错误分析和改进方向。
2024-07-21 cs.CL cs.PL
When Not to Answer: Evaluating Prompts on GPT Models for Effective Abstention in Unanswerable Math Word Problems
Islamic University of Technology（伊斯兰理工大学）；University of California, Riverside（加州大学河滨分校）
本文通过UWMP数据集和GPT模型API实验，评估提示方法对GPT在不可解答数学应用题中有效弃权（不执行）的作用，揭示其幻觉缺陷并提出改进方向。
2024-10-16 cs.CL cs.LG
Logic Contrastive Reasoning with Lightweight Large Language Model for Math Word Problems
Zhejiang Lab（之江实验室）
本文提出一种基于逻辑相似度筛选参考问题并结合正负例提示的轻量级大语言模型数学推理方法，首次将检索增强生成用于数学解题，在SVAMP和GSM8K上分别提升15.8%和21.5%，并分析了推理错误。
2024-08-29 cs.AI cs.CL
Learning Mathematical Rules with Large Language Models
J.P. Morgan AI Research（摩根大通人工智能研究院）
该研究提出构建含数学规则的合成数据并微调大型语言模型，实证表明模型可在一定程度上学习、泛化分配律和方程化简等规则，并迁移到应用题中。
2024-10-25 cs.AI cs.CL cs.LG
Large Language Models Don't Make Sense of Word Problems. A Scoping Review from a Mathematics Education Perspective
University of Education Freiburg（弗赖堡教育学院）；KU Leuven（鲁汶大学）；Technical University of Munich（慕尼黑工业大学）；Portland State University（波特兰州立大学）
从数学教育视角的范围综述发现，最新LLMs虽能近乎完美解决常规应用题，但在处理需结合现实背景的题目时存在弱点，仅掌握表面求解过程，限制了其教学价值。
2025-08-09 cs.CL math.HO
FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models
Tianjin University（天津大学）；China University of Geosciences（中国地质大学）；The University of Queensland（昆士兰大学）
本文提出 FineMath 细粒度中文数学评估基准，覆盖小学数学 17 类应用题并按推理步骤人工标注难度，实验揭示中文 LLM 数学推理仍有明显提升空间。
2024-09-06 cs.AI cs.CL
Generate & Rank: A Multi-task Framework for Math Word Problems
Huawei HiSilicon（华为海思）；Peking University（北京大学）
数学应用题是自然语言处理中的一个具有挑战性和关键性的任务。最近的许多研究将MWP形式化为生成任务，并采用序列到序列模型将问题描述转换为数学表达式。然而，数学表达式容易出现小错误，而生成目标并不明确地处理这样的错误。为了解决这个问题，我们设计了一个新的排名任务MWP和提出生成&排名，一个多任务框架的基础上生成预训练的语言模型。通过与生成和排名的联合训练，模型从自己的错误中学习，并能够区分正确和不正确的表达。同时，我们执行专门为MWP设计的基于树的扰动和在线更新以提高排名。我们证明了我们提出的方法在基准测试中的有效性，结果表明，我们的方法在所有数据集中的性能始终优于基线。特别地，在经典的Math23 k中，我们的方法比最先进的方法高7%（78.4% $\rightarrow$ 85.4%）。
2021-09-07 cs.AI cs.CL
Solving Math Word Problems by Combining Language Models With Symbolic Solvers
Stanford University（斯坦福大学）
本文提出将 LLM 增量形式化出的变量与方程交给外部符号求解器，在 GSM8K 上媲美 PAL，并在更难的 ALGEBRA 数据集上绝对提升 20%。
2023-04-16 cs.AI cs.CL
Agentic Retrieval and Reinforcement Learned Equation Chains: A Controlled Generation Framework for Complex and Novel Physics Word Problems
University of California, Berkeley（加州大学伯克利分校）
提出ARVRE两阶段框架，通过离线时序差分学习构建有效物理方程链，结合智能检索增强生成控制问题结构与难度，再由大语言模型生成自然语言问题，实现复杂、新颖且可解的物理文字题生成。
2026-06-16 cs.AI cs.CL cs.MA
Mathematical Model of Word Length on the Basis of the Cebanov-Fucks Distribution with Uniform Parameter Distribution
13个类型学上不同的语言的数据已被处理使用一个双参数字长模型，基于1-位移均匀泊松分布。第二个参数对第一个参数的统计依赖关系被揭示为德语文本和字母类型。
2001-02-24 cs.CL
A Multi-language Platform for Generating Algebraic Mathematical Word Problems
University of Moratuwa（莫拉图瓦大学）
现有的方法自动生成数学应用题被剥夺了定制性和创造性，由于其采用的基于模板的机制的固有性质。我们提出了一个解决这个问题的方法，使用深度神经语言生成机制。我们的方法使用字符级长短期记忆网络（LSTM）来生成单词问题，并使用POS（词性）标签来解决生成的问题中发现的约束。我们的方法能够生成英语和僧伽罗语的数学单词问题，准确率超过90%。
2019-11-19 cs.CL cs.LG stat.ML
Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems
Embibe
数学推理将是人工智能取得重大进展的下一个前沿领域之一。解决数学应用题（MWPs）并因此获得更好的数学推理能力的持续激增将继续成为未来研究的关键。我们检查非神经和神经的方法来解决以自然语言叙述的数学应用题。我们还强调了这些方法的能力是可推广的，数学上合理的，可解释的和可解释的。神经方法主导了当前的最新技术水平，我们调查了它们，强调了MWP求解的三种策略：（1）直接答案生成，（2）用于推断答案的表达式树生成，以及（3）用于答案计算的模板检索。此外，我们还讨论了技术方法，回顾了直观的设计选择的演变，以解决MWPs，并检查他们的数学推理能力。我们最终确定了几个差距，保证需要外部知识和知识注入学习，在解决MWPs的其他几个机会。
2021-10-29 cs.AI cs.CL
Reverse Operation based Data Augmentation for Solving Math Word Problems
Kyoto University（京都大学）；Peking University（北京大学）；Waseda University（早稻田大学）
数学应用题的自动求解是自然语言处理领域的一个重要课题。最近的模型已经达到了性能瓶颈，需要更多高质量的数据进行训练。我们提出了一种新的数据增强方法，该方法反转数学应用题的数学逻辑，以产生新的高质量数学问题，并引入新的知识点，可以帮助学习数学推理逻辑。我们将增强的数据应用于两个SOTA数学单词问题解决模型，并将我们的结果与强大的数据增强基线进行比较。实验结果表明了该方法的有效性。我们在https://github.com/yiyunya/RODA上发布我们的代码和数据。
2021-11-10 cs.CL
Isometric Lineation in English Texts: An Empirical and Mathematical Examination of its Character and Consequences
在本文中，我们建立在早期的观察和理论，关于单词的长度频率和顺序分布，开发一个数学表征的一些语言功能区分等距线文本从unlineated文本，换句话说，功能区分等距诗从散文。结果表明，音节的频率，使完整的话产生一个平坦的分布散文，而诗句表现出的行长度的位置和随后的倍数的位置的峰值。数据从几个诗句作者，包括一个详细的数学分析的动力学基础高峰创建，并提供评论的过程中，作者构建线。我们注意到，散文的词长序列是随机的，而划线则需要非随机的词长序列，这可能会给原本高度有序的语法序列带来一定程度的随机性。此外，我们观察到，这种效果可以改善减少平均文字长度的文本（确认早期的观察，诗句往往使用较短的话）和使用不同的线从核心等距集。变异行的频率与多音节词的频率一致，这表明变异行的使用是由多音节词的位置。探讨了不同诗行长度的制约作用、格律制约与诗歌效果的关系以及格律的共性。
1998-08-14 cmp-lg cs.CL
Quantity Tagger: A Latent-Variable Sequence Labeling Approach to Solving Addition-Subtraction Word Problems
StatNLP Research Group（StatNLP研究小组）；Singapore University of Technology and Design（新加坡科技设计大学）
算术题通常包括一个包含几个常量的文本描述。解决问题的关键是揭示量之间的潜在数学关系（如加法和减法），然后生成方程来求解。这项工作提出了一种新的方法，数量标记，自动发现这种隐藏的关系，通过标记每个数量与一种类型的数学运算对应的符号。对于每一个量，我们假设存在一个潜在的，可变大小的量跨度周围的文本中的数量令牌，它传达的信息，用于确定其符号。实验结果表明，与现有方法相比，我们的方法在两个数据集上分别实现了5和8个点的准确性增益。
2019-08-31 cs.CL
Mathematical Word Problem Generation from Commonsense Knowledge Graph and Equations
TAL Education Group（好未来教育集团）
数学应用题生成在教育评价中的应用越来越受到人们的关注。与标准的自然问题生成不同，MWP生成需要维护数量和变量之间的底层数学运算，同时确保输出与给定主题之间的相关性。为了解决上述问题，我们开发了一个端到端的神经模型，从常识知识图谱和方程中生成现实世界场景中的各种MWP。所提出的模型（1）从符号方程和常识知识的边增强Levi图中学习两种表示;（2）在生成MWP时通过自规划模块自动融合方程和常识知识信息。在教育金标准集和大规模生成的MWP集上的实验表明，我们的方法在MWP生成任务上是优越的，并且在自动评估指标方面优于SOTA模型，即，BLEU-4、ROUGE-L、Self-BLEU和人工评估指标，即，等式关联、话题关联和语言连贯。为了鼓励可重复的结果，我们在\url{https://github.com/tal-ai/MaKE_EMNLP2021}上公开了我们的代码和MWP数据集。
2021-09-09 cs.AI cs.CL
ComSearch: Equation Searching with Combinatorial Strategy for Solving Math Word Problems with Weak Supervision
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Xiaomi AI Lab（小米人工智能实验室）；Peking University（北京大学）
以往的研究已经引入了一个弱监督的范式来解决数学应用题，只需要答案值注释。当这些方法搜索作为伪标签的正确值方程候选时，它们在巨大的方程空间的狭窄子空间中搜索。为了解决这个问题，我们提出了一种新的搜索算法与组合策略\textbf{ComSearch}，它可以压缩搜索空间，排除数学等价方程。压缩允许搜索算法枚举所有可能的方程并获得高质量的数据。我们研究了伪标签中包含错误数学逻辑的噪声，我们称之为\textit{false-matching}问题，并提出了一个排序模型来消除伪标签。我们的方法拥有一个灵活的框架，利用现有的两个有监督的数学单词问题求解器训练伪标签，并在弱监督任务中实现最先进的性能。
2023-03-07 cs.CL
Detecting multiword phrases in mathematical text corpora
Cologne University of Applied Sciences（科隆应用科学大学）；Institute of Information Science（信息科学研究所）
本文提出了一种在数学文本语料库中检测多词短语的方法。所使用的方法是基于数学术语的特征。它使用一个名为Lingo的软件工具，可以通过以前定义的词典识别特定的词类，如形容词，人名或名词。多字组的检测是通过算法完成的。索引和信息检索的方法可能的优点和应用基于字典的自动索引的方法，而不是词干程序的结论进行了讨论。
2012-10-02 cs.CL cs.IR
Explaining Math Word Problem Solvers
St. Olaf College（圣奥拉夫学院）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本研究通过扰动输入并评估模型性能，发现神经数学应用题求解器依赖表面词语而非语义逻辑，存在过拟合现象。
2023-07-24 cs.CL
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）
表示两个给定单词（或实体）之间存在的语义关系是自然语言处理（NLP）广泛应用的重要第一步，如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移（\PairDiff）。尽管取得了经验上的成功，但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子，可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明，如果词嵌入是标准化的和不相关的，这样的操作将是独立的双线性项，并可以简化为一个线性形式，其中\PairDiff是一个特殊情况。对于众多的词嵌入类型，我们实证验证了不相关的假设，证明了我们的理论结果的普遍适用性。此外，我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
A Joint Probabilistic Classification Model of Relevant and Irrelevant Sentences in Mathematical Word Problems
Purdue University（普渡大学）；University of Colorado Denver（科罗拉多大学丹佛分校）
数学应用题的难易程度估计是许多教育应用的重要任务。数学应用题中相关句和不相关句的识别是计算应用题难度的重要步骤。本文提出了一种新的文本分类应用，以确定两种类型的句子在数学应用题，即相关和不相关的句子。提出了一种新的联合概率分类模型，该模型利用数学应用题中所有句子之间的相关性、问题句子与其他句子之间的相关性以及句子文本之间的相关性来估计数学应用题中所有句子的分类决策的联合概率。所提出的模型相比，i）一个SVM分类器，使独立的分类决策，为个别句子，只使用句子文本和ii）一种新的SVM分类器，认为问题句子和其他句子之间的相关性以及句子文本。一组广泛的实验证明了联合概率分类模型的有效性，用于识别相关和不相关的句子，以及新的SVM分类器，利用问题句子和其他句子之间的相关性。此外，实证结果和分析表明，i）不去除停用词是非常有益的，并且ii）利用词性标注并没有做出显著的改进，尽管它已经被证明对于数学单词问题类型分类的相关任务是有效的。
2014-11-21 cs.CL cs.IR cs.LG
Tree-Based Representation and Generation of Natural and Mathematical Language
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
数学语言在科学交流和教育场景中很重要，但与自然语言相比，研究相对不足。数学语言的最新研究集中在表示独立的数学表达式，特别是在它们的自然树格式中，或者在预先训练的自然语言模型中进行数学推理。关于联合建模和生成自然语言和数学语言的现有工作简单地将数学表达式视为文本，而没有考虑数学表达式的刚性结构属性。在本文中，我们提出了一系列的修改现有的语言模型，共同表示和生成文本和数学：表示数学表达式的节点令牌在其操作符树格式的序列，使用数学符号和树位置嵌入，以保持语义和结构属性的数学表达式，并使用约束解码方法来生成数学上有效的表达式。我们在GPT-2的基础上进行修改，得到一个模型MathGPT，并证明它在数学表达式生成任务上优于基线。
2023-02-15 cs.CL
Hidden Markov Based Mathematical Model dedicated to Extract Ingredients from Recipe Text
Paris University（巴黎大学）
自然语言处理（NLP）是人工智能的一个分支，它赋予机器解码人类语言的能力。词性标注是一项需要标注语料库的预处理任务。基于规则的方法和随机方法在POS标签预测中取得了显著的效果。在这项工作中，我执行了一个基于隐马尔可夫结构的数学模型，并获得了从文本食谱中提取的成分的高精度，其性能大于传统方法在不考虑未知词的情况下所能实现的性能。
2021-09-28 cs.CL
CLEVR-Math: A Dataset for Compositional Language, Visual and Mathematical Reasoning
Umeå University（于默奥大学）；Örebro University（厄勒布鲁大学）
我们介绍CLEVR-Math，一个多模态数学单词问题数据集，由涉及加法/减法的简单数学单词问题组成，部分由文本描述表示，部分由说明场景的图像表示。文本描述了在图像中描绘的场景上执行的操作。由于提出的问题可能不是关于图像中的场景，而是关于应用动作之前或之后的场景状态，因此求解器设想或想象由于这些动作而导致的状态变化。解决这些应用题需要语言、视觉和数学推理的结合。我们采用最先进的神经和神经符号模型的视觉问答CLEVR-Math和经验评估他们的表现。我们的研究结果表明，这两种方法都不能推广到连锁经营。我们讨论了这两个在解决多模态字问题解决的任务的局限性。
2022-08-10 cs.CL cs.CV cs.LG
Translating a Math Word Problem to an Expression Tree
UESTC（电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
序列到序列（SEQ2SEQ）模型已成功地应用于自动数学应用题解决。尽管它很简单，但仍然存在一个缺点：一个数学应用题可以通过多个方程正确解决。这种非确定性的转换损害了最大似然估计的性能。本文考虑到表达式树的唯一性，提出了一种公式规范化方法，对重复公式进行规范化处理。此外，我们分析了三个流行的SEQ2SEQ模型的数学应用题解决的性能。我们发现每种模型在解决问题时都有其独特之处，因此提出了一种集成模型来结合它们的优点。在Math23K数据集上的实验表明，基于方程归一化的集成模型的性能明显优于现有的方法。
2018-11-15 cs.CL
Semantically-Aligned Equation Generation for Solving and Reasoning Math Word Problems
National Taiwan University（国立台湾大学）
解决数学应用题是一项具有挑战性的任务，需要准确的自然语言理解来连接自然语言文本和数学表达式。基于人类对数学应用题文本生成公式的直觉，提出了一种基于文本语义的符号操作神经网络方法，用于数学应用题的自动求解.本文将方程的生成过程视为语义世界和符号世界之间的桥梁，提出的神经数学求解器基于编码器-解码器框架。在该模型中，编码器被设计为理解问题的语义，而解码器则专注于跟踪生成的符号的语义，然后决定下一步生成哪个符号。初步的实验是在一个数据集Math 23 K，我们的模型显着优于国家的最先进的单一模型和最好的非检索为基础的模型超过约10%的准确性，证明了有效的桥梁符号和语义世界的数学单词问题。
2019-06-09 cs.CL
Techniques to Improve Neural Math Word Problem Solvers
McGill University（麦吉尔大学）
开发数学应用题自动求解器是一项具有挑战性的任务，它需要对自然语言的理解和数学推理能力。最近的基于神经元的方法主要使用语言模型对问题文本进行编码，并迭代地对数量和运算符上的数学表达式进行解码。注意，MWP的问题文本由上下文部分和问题部分组成，最近的工作发现这些神经求解器可能仅在上下文文本和黄金表达式之间执行浅模式匹配，其中问题文本没有得到很好的利用。同时，现有的解码过程未能将数学定律强制执行到设计中，其中数学等价表达式的表示是不同的。为了解决这两个问题，我们提出了一个新的编码器-解码器架构，充分利用问题的文本，并保留逐步交换律。除了生成数量嵌入，我们的编码器进一步编码的问题文本，并使用它来指导解码过程。在每一步中，我们的解码器使用深度集来计算表达式表示，以便这些嵌入在任何数量排列下都是不变的。对四个既定基准的实验表明，我们的框架优于最先进的神经MWP求解器，表明了我们技术的有效性。我们还对结果进行了详细的分析，以显示我们的方法的局限性，并进一步讨论未来的工作。代码可在https://github.com/sophistz/Question-Aware-Deductive-MWP上获得。
2023-02-06 cs.CL cs.SC
Natural Language Premise Selection: Finding Supporting Statements for Mathematical Text
University of Manchester（曼彻斯特大学）
数学文本是使用单词和数学表达式的组合编写的。这种组合，以及特定的句子结构方式，使得最先进的NLP工具在数学话语之上理解和推理变得具有挑战性。在这项工作中，我们提出了一个新的NLP任务，自然前提选择，这是用来检索支持的定义和支持命题是有用的生成一个非正式的数学证明一个特定的声明。我们还提供了一个数据集，NL-PS，它可以用来评估自然前提选择任务的不同方法。使用不同的基线，我们展示了与任务相关的潜在解释挑战。
2020-04-30 cs.CL
Generating Math Word Problems from Equations with Topic Controlling and Commonsense Enforcement
Peking University（北京大学）；Sogou Technology Inc.（搜狗科技有限公司）
近年来，在神经语言模型的帮助下，文本生成任务取得了重大进展。然而，数学问题文本的生成是一个具有挑战性的课题，迄今为止，这方面的研究进展甚微。在本文中，我们提出了一种新的方程到问题的文本生成模型。在该模型中，1）提出了一种灵活的数学方程编码方案，并通过可变自动编码器（VAE）对方程编码器进行了增强; 2）给定一个数学方程，进行主题选择，然后引入动态主题记忆机制来限制生成器的主题分布; 3）避免了传统生成模型中的常识违反，我们用背景知识图（KG）预训练词嵌入，并且我们将解码的词链接到KG中的相关词，旨在将背景知识注入我们的模型中。我们通过自动度量和人工评估来评估我们的模型，实验表明，我们的模型在生成问题文本的准确性和丰富性方面优于基线和以前的模型。
2021-07-25 cs.CL
Bridging the Culture Gap: A Framework for LLM-Driven Socio-Cultural Localization of Math Word Problems in Low-Resource Languages
Saarland University（萨尔兰大学）；Saarland Informatics Campus（萨尔兰信息技术校园）；Instituto Politécnico Nacional（墨西哥理工学院）；University of South Florida（佛罗里达州立大学）
本文提出一种基于LLM的数学应用题社会文化本地化框架，通过自动构建包含本地名称、组织和货币的本地化数据集，缓解英语中心主义偏差并提升模型鲁棒性。
2026-04-20 cs.CL
A mathematical model for universal semantics
Princeton University（普林斯顿大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们通过对文本中重复出现的模式进行数学分析，用独立于语言的数字指纹来表征单词的含义。在长时间尺度上通过马尔可夫过程近似文本，我们能够从中等长度的特定文档中提取主题，发现同义词，并勾画语义场，而无需咨询外部知识库或词库。我们的马尔可夫语义模型使我们能够代表每个主题的概念由一个低维向量，解释为代数不变量的简洁的统计操作的文件，针对本地环境的个别单词。这些独立于语言的语义表示使机器人阅读器能够理解给定语言的短文本（自动问答），并在不同语言之间匹配中等长度的文本（自动单词翻译）。我们的语义指纹量化了5个主要语系14种代表性语言中单词的本地含义，提出了一种通用且具有成本效益的机制，可以在语义层面处理人类语言。我们的协议和源代码可在https://github.com/yajun-zhou/linguae-naturalis-principia-mathematica上公开获取
2020-07-12 cs.AI cs.CL cs.LG
Why are NLP Models Fumbling at Elementary Math? A Survey of Deep Learning based Word Problem Solvers
L3S Research Center（L3S研究中心）；IBM Research（IBM研究院）；Queen’s University（女王大学）；University of Örebro（厄勒布鲁大学）
从过去十年的后半期开始，人们对开发自动解决数学应用题（MWP）的算法越来越感兴趣。这是一个具有挑战性和独特的任务，需要融合表面水平的文本模式识别与数学推理。尽管进行了广泛的研究，但我们距离建立小学数学应用题的鲁棒表示和一般任务的有效解决方案仍然很远。在本文中，我们批判性地研究了各种模型，已开发的解决字的问题，他们的优点和缺点和未来的挑战。在过去的两年里，许多深度学习模型在基准数据集上记录了相互竞争的结果，这使得对文献的关键性和概念性分析在这个时候非常有用。我们退后一步，分析为什么，尽管在学术兴趣丰富，主要使用的实验和数据集设计仍然是一个绊脚石。从分析文献的角度，我们也努力为未来的数学应用题研究提供一个路线图。
2022-05-31 cs.AI cs.CL
Learning by Applying: A General Framework for Mathematical Reasoning via Enhancing Explicit Knowledge Learning
University of Science and Technology of China（中国科学技术大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
数学推理是通用人工智能的关键能力之一，它要求机器从解决问题中掌握数学逻辑和知识。然而，就在推理过程中学习和应用的知识而言，现有的方法并不透明（因此不可解释）。在本文中，我们提出了一个通用的学习应用（LeAp）框架，以增强现有的模型（骨干）在一个原则性的方式通过显式知识学习。在LeAp中，我们在一个新的问题-知识-表达范式中进行知识学习，知识编码器从问题数据中获取知识，知识解码器将知识应用于表达推理。学习到的数学知识，包括词-词关系和词-算子关系，形成了一个显性的知识图谱，将知识的“学”与“用”有机地连接起来。此外，对于问题的解决，我们设计了一个语义增强模块和推理增强模块，应用知识，以提高问题的理解和符号推理能力的任何骨干，分别。从理论上证明了LeAp自主学习机制的优越性。在三个真实数据集上的实验表明，LeAp提高了所有骨干的性能，学习准确的知识，并实现了更可解释的推理过程。
2023-02-11 cs.AI cs.CL cs.LG
Tackling Math Word Problems with Fine-to-Coarse Abstracting and Reasoning
Fudan University（复旦大学）；Mila（米拉人工智能研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）；CIFAR（加拿大高等研究院）
数学应用题是一项重要的任务，它要求学生具备对数学文本的理解和推理能力。现有的方法大多将其形式化为一个生成任务，采用Seq2Seq或Seq2Tree模型将输入的数学问题用自然语言编码为全局表示，并生成输出的数学表达式。这样的方法只能学习浅层次的语法，无法捕捉输入中的细粒度变化。本文提出了一种从细到粗的数学应用题建模方法，既能捕捉到局部的细粒度信息，又能捕捉到全局的逻辑结构，而不是从全局特征中生成一个完整的方程序列或表达式树，而是迭代地组合低层操作数来预测高层操作数，对问题进行抽象，并自下而上对求解操作数进行推理.我们的模型自然对局部变化更敏感，可以更好地推广到看不见的问题类型。Math23k和SVAMP数据集上的广泛评估证明了我们方法的准确性和鲁棒性。
2022-05-17 cs.AI cs.CL
Learning Mathematical Properties of Integers
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）；DiDi Labs（滴滴实验室）
在高维向量空间中嵌入词在许多自然语言应用中已被证明是有价值的。在这项工作中，我们研究了类似训练的整数嵌入是否可以捕获对数学应用有用的概念。我们探索数学知识的整数嵌入，将它们应用于一组数值推理任务，并表明通过学习数学序列数据的表示，我们可以大大提高从英语文本语料库中学习到的数字嵌入。
2021-09-15 cs.CL cs.LG
TopicEq: A Joint Topic and Mathematical Equation Model for Scientific Texts
Yale University（耶鲁大学）
科学文献依靠数学和文本来交流思想。受科学文本中数学方程和单词上下文之间的主题对应关系的启发，我们提出了一种新的主题模型，该模型联合生成数学方程及其周围的文本（TopicEq）。使用相关主题模型的扩展，从潜在主题的混合物中生成上下文，并且由依赖于潜在主题激活的RNN生成方程。为了实验这个模型，我们创建了一个从arXiv的一系列科学文章中提取的40万方程上下文对的语料库，并使用变分自编码器方法拟合模型。实验结果表明，该联合模型显著优于现有的主题模型和方程模型的科技文本。此外，我们定性地表明，该模型有效地捕捉主题和数学之间的关系，使新的应用程序，如主题感知方程生成，方程主题推理，主题感知对齐的数学符号和单词。
2019-04-25 cs.CL cs.IR cs.LG
Generating Pedagogically Meaningful Visuals for Math Word Problems: A New Benchmark and Analysis of Text-to-Image Models
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；University of Zurich（苏黎世大学）
本文提出Math2Visual框架，基于教师访谈定义的视觉语言自动生成数学应用题教学视觉内容，构建1,903个标注数据集并微调文本到图像模型，建立教育视觉生成新基准。
2025-06-04 cs.AI cs.CL cs.HC
The Mathematics of Text Structure
Oxford University（牛津大学）；Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）
在以前的工作中，我们给出了一个数学基础，称为DiscoCat，用于描述单词如何在句子中相互作用，以产生句子的含义。为此，我们利用了语法和意义空间类别的完美结构匹配。在这里，我们给出了一个数学基础，被称为DisCoCirc，句子如何在文本中相互作用，以产生该文本的意义。首先，让我们重温一下DiscoCat。在DisCoCat中，所有的意义都被固定为状态（即没有输入），而在DisCoCirc中，单词的意义对应于一个类型或系统，并且这个系统的状态可以演变。句子是电路中的门，它更新这些单词的可变含义。就像在DisCoCat中一样，词义可以存在于各种空间中，例如命题空间、向量空间或认知空间。组成结构是代表信息流的字符串图，整个文本产生一个单一的字符串图，其中单词的含义提升到整个文本的含义。虽然本文中的发展独立于物理实施例（参见图1）。经典与量子计算），组合形式主义和建议的意义模型都是高度量子启发的，并且在量子计算机上实现将带来一系列好处。我们还赞扬吉姆·兰贝克在数学语言学中的作用，以及更具体地发展迪斯科计划。
2020-02-28 cs.CL math.CT quant-ph
Analogical Math Word Problems Solving with Enhanced Problem-Solution Association
University of Notre Dame（圣母大学）；Hong Kong University of Science and Technology（香港科技大学）
数学应用题解决是问答中的一项重要任务，它要求学生具有类人推理能力。类比推理在数学教育中应用已久，因为它使学生能够应用数学情境中常见的关系结构来解决新问题。在本文中，我们建议建立一个新的MWP求解器，利用类比MWP，提高求解器的泛化能力，在不同种类的MWP。其核心思想是将相似的MWP对关联到一个潜在空间中，即，编码接近另一个类比MWP的MWP，而远离非类比MWP。此外，一个解决方案，集成到MWP求解器，以增强MWP的表示和他们的真正的解决方案之间的关联。评估结果验证了我们提出的类比学习策略在Math 23 k上的MWP-BERT性能优于最先进的Generate 2 Rank模型，编码器中的参数减少了5倍。我们还发现，我们的模型具有更强的泛化能力，在解决困难的MWPs由于类比学习容易MWPs。
2022-12-01 cs.AI cs.CL
Verb Categorisation for Hindi Word Problem Solving
IIIT-Hyderabad（海得拉巴国际信息技术学院）
针对印地语算术应用题求解任务，该研究构建了基于动词分类的规则式求解器，创建了印地语动词分类数据，并对比了多种动词分类方法的效果。
2023-12-18 cs.AI cs.CL
Analogies Explained: Towards Understanding Word Embeddings
University of Edinburgh（爱丁堡大学）
众所周知，由诸如word2vec（W2V）的神经网络方法生成的词嵌入表现出看似线性的行为，例如，类比“woman is to queen as man is to king”的嵌入近似地描述了一个单词。这个属性特别有趣，因为嵌入并没有经过训练来实现它。已经提出了几种解释，但每一种都引入了在实践中不成立的假设。我们得出一个概率接地释义，我们重新解释为词的转换，数学描述“$w_x$是$w_y$“的定义。从这些概念，我们证明存在的线性关系的W2V型嵌入的类比现象的基础，确定明确的错误条款。
2019-05-11 cs.CL cs.LG stat.ML
Solving Math Word Problems with Double-Decoder Transformer
提出了一种基于Transformer的数学应用题方程生成模型。当不使用复制和对齐机制时，它比RNN模型取得了更好的结果，并且可以胜过复杂的复制和对齐RNN模型。我们还表明，训练一个Transformer共同在一个生成任务与两个解码器，从左到右和从右到左，是有益的。这样的Transformer比仅具有一个解码器的Transformer性能更好，这不仅是因为集成效应，而且还因为它改进了编码器训练过程。我们还尝试将强化学习添加到我们的模型中，与MLE训练相比，表现出更好的性能。
2019-08-28 cs.CL cs.LG
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
本文构建含10,000道题的PatiGonit数据集，并微调多种Transformer模型求解孟加拉语数学应用题，其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY
A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
自回归语言模型，使用大型文本语料库进行预训练，以便在下一个单词预测方面做得很好，已经成功地解决了许多下游任务，即使使用了zero-shot。然而，对这种成功的理论认识很少。本文通过考虑以下问题对这一现象进行了数学研究：（1）下一个词预测的预训练任务和文本分类之间的直观联系是什么？(2)我们如何在数学上形式化这种联系，并量化语言建模的好处？对于（1），我们假设并经验验证了感兴趣的分类任务可以重新表述为句子完成任务，从而使语言建模成为有意义的预训练任务。通过对这一假设的数学形式化，我们朝着（2）取得了进展，并表明在交叉熵（对数困惑度）中是$ε$最优的语言模型学习特征，这些特征可以线性地解决具有$\mathcal{O}(\sqrtε)$错误的分类任务，从而证明在语言建模方面做得好可以有利于下游任务。我们通过实验验证了各种假设和理论发现，并利用分析中的见解设计了一个新的目标函数，该函数在某些分类任务中表现良好。
2021-04-14 cs.AI cs.CL cs.LG
