From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision
Guangdong University of Technology（广东工业大学）
本文提出两阶段蒸馏与精炼框架，从 LLM 构建并补全问题-方程对以弱监督训练小型 MWP 模型，在 Math23K 和 Weak12K 上显著提升且成本远低于 ChatGPT。
2024-03-21 cs.CL
Mathematical Word Problem Generation from Commonsense Knowledge Graph and Equations
TAL Education Group（好未来教育集团）
数学应用题生成在教育评价中的应用越来越受到人们的关注。与标准的自然问题生成不同，MWP生成需要维护数量和变量之间的底层数学运算，同时确保输出与给定主题之间的相关性。为了解决上述问题，我们开发了一个端到端的神经模型，从常识知识图谱和方程中生成现实世界场景中的各种MWP。所提出的模型（1）从符号方程和常识知识的边增强Levi图中学习两种表示;（2）在生成MWP时通过自规划模块自动融合方程和常识知识信息。在教育金标准集和大规模生成的MWP集上的实验表明，我们的方法在MWP生成任务上是优越的，并且在自动评估指标方面优于SOTA模型，即，BLEU-4、ROUGE-L、Self-BLEU和人工评估指标，即，等式关联、话题关联和语言连贯。为了鼓励可重复的结果，我们在\url{https://github.com/tal-ai/MaKE_EMNLP2021}上公开了我们的代码和MWP数据集。
2021-09-09 cs.AI cs.CL
Detecting multiword phrases in mathematical text corpora
Cologne University of Applied Sciences（科隆应用科学大学）；Institute of Information Science（信息科学研究所）
本文提出了一种在数学文本语料库中检测多词短语的方法。所使用的方法是基于数学术语的特征。它使用一个名为Lingo的软件工具，可以通过以前定义的词典识别特定的词类，如形容词，人名或名词。多字组的检测是通过算法完成的。索引和信息检索的方法可能的优点和应用基于字典的自动索引的方法，而不是词干程序的结论进行了讨论。
2012-10-02 cs.CL cs.IR
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）
表示两个给定单词（或实体）之间存在的语义关系是自然语言处理（NLP）广泛应用的重要第一步，如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移（\PairDiff）。尽管取得了经验上的成功，但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子，可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明，如果词嵌入是标准化的和不相关的，这样的操作将是独立的双线性项，并可以简化为一个线性形式，其中\PairDiff是一个特殊情况。对于众多的词嵌入类型，我们实证验证了不相关的假设，证明了我们的理论结果的普遍适用性。此外，我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
A Joint Probabilistic Classification Model of Relevant and Irrelevant Sentences in Mathematical Word Problems
Purdue University（普渡大学）；University of Colorado Denver（科罗拉多大学丹佛分校）
数学应用题的难易程度估计是许多教育应用的重要任务。数学应用题中相关句和不相关句的识别是计算应用题难度的重要步骤。本文提出了一种新的文本分类应用，以确定两种类型的句子在数学应用题，即相关和不相关的句子。提出了一种新的联合概率分类模型，该模型利用数学应用题中所有句子之间的相关性、问题句子与其他句子之间的相关性以及句子文本之间的相关性来估计数学应用题中所有句子的分类决策的联合概率。所提出的模型相比，i）一个SVM分类器，使独立的分类决策，为个别句子，只使用句子文本和ii）一种新的SVM分类器，认为问题句子和其他句子之间的相关性以及句子文本。一组广泛的实验证明了联合概率分类模型的有效性，用于识别相关和不相关的句子，以及新的SVM分类器，利用问题句子和其他句子之间的相关性。此外，实证结果和分析表明，i）不去除停用词是非常有益的，并且ii）利用词性标注并没有做出显著的改进，尽管它已经被证明对于数学单词问题类型分类的相关任务是有效的。
2014-11-21 cs.CL cs.IR cs.LG
Hidden Markov Based Mathematical Model dedicated to Extract Ingredients from Recipe Text
Paris University（巴黎大学）
自然语言处理（NLP）是人工智能的一个分支，它赋予机器解码人类语言的能力。词性标注是一项需要标注语料库的预处理任务。基于规则的方法和随机方法在POS标签预测中取得了显著的效果。在这项工作中，我执行了一个基于隐马尔可夫结构的数学模型，并获得了从文本食谱中提取的成分的高精度，其性能大于传统方法在不考虑未知词的情况下所能实现的性能。
2021-09-28 cs.CL
CLEVR-Math: A Dataset for Compositional Language, Visual and Mathematical Reasoning
Umeå University（于默奥大学）；Örebro University（厄勒布鲁大学）
我们介绍CLEVR-Math，一个多模态数学单词问题数据集，由涉及加法/减法的简单数学单词问题组成，部分由文本描述表示，部分由说明场景的图像表示。文本描述了在图像中描绘的场景上执行的操作。由于提出的问题可能不是关于图像中的场景，而是关于应用动作之前或之后的场景状态，因此求解器设想或想象由于这些动作而导致的状态变化。解决这些应用题需要语言、视觉和数学推理的结合。我们采用最先进的神经和神经符号模型的视觉问答CLEVR-Math和经验评估他们的表现。我们的研究结果表明，这两种方法都不能推广到连锁经营。我们讨论了这两个在解决多模态字问题解决的任务的局限性。
2022-08-10 cs.CL cs.CV cs.LG
Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework
Software Engineering Institute, East China Normal University（东华师范大学软件工程研究院）；School of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Shanghai Key Laboratory of Trustworthy Computing, Shanghai, China（上海可信计算关键实验室）
针对数学应用题错误分类依赖静态预定义类别的问题，提出动态自适应框架，构建含304,865个错误样本的MWPES-300K数据集，并引入错误感知提示（EAP）提升推理性能。
2025-09-08 cs.CL
An Independent Evaluation of ChatGPT on Mathematical Word Problems (MWP)
Arizona State University（亚利桑那州立大学）
我们研究了一个商业上可用的大语言模型（LLM）被称为ChatGPT的数学单词问题（MWPs）从数据集DRAW-1 K的性能。据我们所知，这是ChatGPT的第一次独立评估。我们发现ChatGPT的性能根据显示其工作的需求而发生显着变化，当它提供工作时，有20%的时间失败，而当它不提供工作时，则有84%。与未知数的数量和操作的数量相关的关于MWP的其他几个因素导致与先前相比更高的失败概率，特别注意（在所有实验中）失败概率随着加法和减法操作的数量线性增加。我们还发布了ChatGPT对MWP的响应数据集，以支持LLM性能表征的进一步工作，并提供基线机器学习模型来预测ChatGPT是否可以正确回答MWP。我们发布了一个由ChatGPT的响应组成的数据集，以支持该领域的进一步研究。
2023-02-28 cs.AI cs.CL cs.LG
word2vec Parameter Learning Explained
Mikolov等人提出的word2vec模型及其应用在近两年引起了广泛的关注。通过word2vec模型学习的单词的向量表示已被证明具有语义意义，并且在各种NLP任务中非常有用。随着越来越多的研究人员希望尝试word2vec或类似技术，我注意到缺乏全面详细解释词嵌入模型参数学习过程的材料，从而阻碍了非神经网络专家的研究人员了解此类模型的工作机制。本说明提供了word2vec模型的参数更新方程的详细推导和解释，包括原始的连续词袋（CBOW）和跳跃语法（SG）模型，以及高级优化技术，包括分层softmax和负采样。直观的解释梯度方程也提供旁边的数学推导。在附录中，提供了神经元网络和反向传播的基础知识。我还创建了一个交互式演示wevi，以促进对模型的直观理解。
2016-06-05 cs.CL
SafeMath: Safe Solutions for Unsafe Math Word Problems
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Cisco Systems（思科系统公司）；National University of Singapore（新加坡国立大学）
本文研究了有害数学问题对LLM的影响，提出SafeMath技术在保障安全的同时提升数学推理能力。
2026-09-02 cs.CL cs.CY
Techniques to Improve Neural Math Word Problem Solvers
McGill University（麦吉尔大学）
开发数学应用题自动求解器是一项具有挑战性的任务，它需要对自然语言的理解和数学推理能力。最近的基于神经元的方法主要使用语言模型对问题文本进行编码，并迭代地对数量和运算符上的数学表达式进行解码。注意，MWP的问题文本由上下文部分和问题部分组成，最近的工作发现这些神经求解器可能仅在上下文文本和黄金表达式之间执行浅模式匹配，其中问题文本没有得到很好的利用。同时，现有的解码过程未能将数学定律强制执行到设计中，其中数学等价表达式的表示是不同的。为了解决这两个问题，我们提出了一个新的编码器-解码器架构，充分利用问题的文本，并保留逐步交换律。除了生成数量嵌入，我们的编码器进一步编码的问题文本，并使用它来指导解码过程。在每一步中，我们的解码器使用深度集来计算表达式表示，以便这些嵌入在任何数量排列下都是不变的。对四个既定基准的实验表明，我们的框架优于最先进的神经MWP求解器，表明了我们技术的有效性。我们还对结果进行了详细的分析，以显示我们的方法的局限性，并进一步讨论未来的工作。代码可在https://github.com/sophistz/Question-Aware-Deductive-MWP上获得。
2023-02-06 cs.CL cs.SC
Natural Language Premise Selection: Finding Supporting Statements for Mathematical Text
University of Manchester（曼彻斯特大学）
数学文本是使用单词和数学表达式的组合编写的。这种组合，以及特定的句子结构方式，使得最先进的NLP工具在数学话语之上理解和推理变得具有挑战性。在这项工作中，我们提出了一个新的NLP任务，自然前提选择，这是用来检索支持的定义和支持命题是有用的生成一个非正式的数学证明一个特定的声明。我们还提供了一个数据集，NL-PS，它可以用来评估自然前提选择任务的不同方法。使用不同的基线，我们展示了与任务相关的潜在解释挑战。
2020-04-30 cs.CL
Bridging the Culture Gap: A Framework for LLM-Driven Socio-Cultural Localization of Math Word Problems in Low-Resource Languages
Saarland University（萨尔兰大学）；Saarland Informatics Campus（萨尔兰信息技术校园）；Instituto Politécnico Nacional（墨西哥理工学院）；University of South Florida（佛罗里达州立大学）
本文提出一种基于LLM的数学应用题社会文化本地化框架，通过自动构建包含本地名称、组织和货币的本地化数据集，缓解英语中心主义偏差并提升模型鲁棒性。
2026-04-20 cs.CL
VerityMath: Advancing Mathematical Reasoning by Self-Verification Through Unit Consistency
Singapore University of Technology and Design（新加坡科技设计大学）
本研究提出VerityMath方法，通过定义和验证数学应用题中数量的单位一致性，微调开源LLMs以提升推理能力，虽当前性能略逊，但提供了错误分析和改进方向。
2024-07-21 cs.CL cs.PL
Build Electronic Arabic Lexicon
University of Kufa（库法大学）
阿拉伯语词汇有很多种，它们的组织方式不同，所包含的阿拉伯语词汇数量也不同。本文利用数学关系对阿拉伯语单词的个数进行了计数，证明了法拉希迪提出的阿拉伯语单词的个数。本文还提出了一种新的方法来建立一个电子阿拉伯语词典，通过使用哈希函数，将每个单词（作为输入）转换为对应的一个唯一的整数（作为输出），这些整数将被用作索引的词典条目。
2013-11-23 cs.CL
A mathematical model for universal semantics
Princeton University（普林斯顿大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们通过对文本中重复出现的模式进行数学分析，用独立于语言的数字指纹来表征单词的含义。在长时间尺度上通过马尔可夫过程近似文本，我们能够从中等长度的特定文档中提取主题，发现同义词，并勾画语义场，而无需咨询外部知识库或词库。我们的马尔可夫语义模型使我们能够代表每个主题的概念由一个低维向量，解释为代数不变量的简洁的统计操作的文件，针对本地环境的个别单词。这些独立于语言的语义表示使机器人阅读器能够理解给定语言的短文本（自动问答），并在不同语言之间匹配中等长度的文本（自动单词翻译）。我们的语义指纹量化了5个主要语系14种代表性语言中单词的本地含义，提出了一种通用且具有成本效益的机制，可以在语义层面处理人类语言。我们的协议和源代码可在https://github.com/yajun-zhou/linguae-naturalis-principia-mathematica上公开获取
2020-07-12 cs.AI cs.CL cs.LG
Why are NLP Models Fumbling at Elementary Math? A Survey of Deep Learning based Word Problem Solvers
L3S Research Center（L3S研究中心）；IBM Research（IBM研究院）；Queen’s University（女王大学）；University of Örebro（厄勒布鲁大学）
从过去十年的后半期开始，人们对开发自动解决数学应用题（MWP）的算法越来越感兴趣。这是一个具有挑战性和独特的任务，需要融合表面水平的文本模式识别与数学推理。尽管进行了广泛的研究，但我们距离建立小学数学应用题的鲁棒表示和一般任务的有效解决方案仍然很远。在本文中，我们批判性地研究了各种模型，已开发的解决字的问题，他们的优点和缺点和未来的挑战。在过去的两年里，许多深度学习模型在基准数据集上记录了相互竞争的结果，这使得对文献的关键性和概念性分析在这个时候非常有用。我们退后一步，分析为什么，尽管在学术兴趣丰富，主要使用的实验和数据集设计仍然是一个绊脚石。从分析文献的角度，我们也努力为未来的数学应用题研究提供一个路线图。
2022-05-31 cs.AI cs.CL
Automatic Generation of Word Problems for Academic Education via Natural Language Processing (NLP)
Department of Industrial Engineering（工业工程系）；DHBW Center for Advanced Studies（DHBW高级研究中心）；Heilbronn（海尔布隆）
数字学习平台使学生能够按照灵活和个性化的时间表学习，并提供即时反馈机制。STEM教育领域要求学生解决大量的训练练习，以掌握基本概念。很明显，目前的在线教育在锻炼多样性和个性化方面存在限制。许多练习在结构和内容上几乎没有变化，阻碍了学生对抽象能力的采用。本文提出了一种生成多样化、上下文丰富的词汇问题的方法。除了要求生成的语言在语法上正确之外，应用题的性质还意味着对内容有效性的额外限制。所提出的方法被证明是有效的生成有效的数理统计应用题。实验结果提出了一个折衷的生成时间和行使的有效性。系统可以很容易地被参数化，以根据特定用例的要求来处理这种权衡。
2021-09-30 cs.CL
Learning by Applying: A General Framework for Mathematical Reasoning via Enhancing Explicit Knowledge Learning
University of Science and Technology of China（中国科学技术大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
数学推理是通用人工智能的关键能力之一，它要求机器从解决问题中掌握数学逻辑和知识。然而，就在推理过程中学习和应用的知识而言，现有的方法并不透明（因此不可解释）。在本文中，我们提出了一个通用的学习应用（LeAp）框架，以增强现有的模型（骨干）在一个原则性的方式通过显式知识学习。在LeAp中，我们在一个新的问题-知识-表达范式中进行知识学习，知识编码器从问题数据中获取知识，知识解码器将知识应用于表达推理。学习到的数学知识，包括词-词关系和词-算子关系，形成了一个显性的知识图谱，将知识的“学”与“用”有机地连接起来。此外，对于问题的解决，我们设计了一个语义增强模块和推理增强模块，应用知识，以提高问题的理解和符号推理能力的任何骨干，分别。从理论上证明了LeAp自主学习机制的优越性。在三个真实数据集上的实验表明，LeAp提高了所有骨干的性能，学习准确的知识，并实现了更可解释的推理过程。
2023-02-11 cs.AI cs.CL cs.LG
Tackling Math Word Problems with Fine-to-Coarse Abstracting and Reasoning
Fudan University（复旦大学）；Mila（米拉人工智能研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）；CIFAR（加拿大高等研究院）
数学应用题是一项重要的任务，它要求学生具备对数学文本的理解和推理能力。现有的方法大多将其形式化为一个生成任务，采用Seq2Seq或Seq2Tree模型将输入的数学问题用自然语言编码为全局表示，并生成输出的数学表达式。这样的方法只能学习浅层次的语法，无法捕捉输入中的细粒度变化。本文提出了一种从细到粗的数学应用题建模方法，既能捕捉到局部的细粒度信息，又能捕捉到全局的逻辑结构，而不是从全局特征中生成一个完整的方程序列或表达式树，而是迭代地组合低层操作数来预测高层操作数，对问题进行抽象，并自下而上对求解操作数进行推理.我们的模型自然对局部变化更敏感，可以更好地推广到看不见的问题类型。Math23k和SVAMP数据集上的广泛评估证明了我们方法的准确性和鲁棒性。
2022-05-17 cs.AI cs.CL
Learning Mathematical Properties of Integers
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）；DiDi Labs（滴滴实验室）
在高维向量空间中嵌入词在许多自然语言应用中已被证明是有价值的。在这项工作中，我们研究了类似训练的整数嵌入是否可以捕获对数学应用有用的概念。我们探索数学知识的整数嵌入，将它们应用于一组数值推理任务，并表明通过学习数学序列数据的表示，我们可以大大提高从英语文本语料库中学习到的数字嵌入。
2021-09-15 cs.CL cs.LG
Topological Data Analysis for Word Sense Disambiguation
我们开发并测试了一种新的无监督算法的词义归纳和消歧，它使用拓扑数据分析。解决这个问题的典型方法包括基于词嵌入中简单的低级别距离特征的聚类。我们的方法依赖于先进的数学概念，在该领域的拓扑结构，提供了一个更丰富的概念化的集群的词义归纳任务。我们在SemCor数据集上使用持久同源条形码算法，并证明我们的方法在词义诱导上具有较低的相对误差。这表明了自然语言处理的拓扑算法的承诺，我们主张在这个有前途的领域的未来工作。
2022-03-01 cs.CL math.AT
When Not to Answer: Evaluating Prompts on GPT Models for Effective Abstention in Unanswerable Math Word Problems
Islamic University of Technology（伊斯兰理工大学）；University of California, Riverside（加州大学河滨分校）
本文通过UWMP数据集和GPT模型API实验，评估提示方法对GPT在不可解答数学应用题中有效弃权（不执行）的作用，揭示其幻觉缺陷并提出改进方向。
2024-10-16 cs.CL cs.LG
Logic Contrastive Reasoning with Lightweight Large Language Model for Math Word Problems
Zhejiang Lab（之江实验室）
本文提出一种基于逻辑相似度筛选参考问题并结合正负例提示的轻量级大语言模型数学推理方法，首次将检索增强生成用于数学解题，在SVAMP和GSM8K上分别提升15.8%和21.5%，并分析了推理错误。
2024-08-29 cs.AI cs.CL
Learning Mathematical Rules with Large Language Models
J.P. Morgan AI Research（摩根大通人工智能研究院）
该研究提出构建含数学规则的合成数据并微调大型语言模型，实证表明模型可在一定程度上学习、泛化分配律和方程化简等规则，并迁移到应用题中。
2024-10-25 cs.AI cs.CL cs.LG
Large Language Models Don't Make Sense of Word Problems. A Scoping Review from a Mathematics Education Perspective
University of Education Freiburg（弗赖堡教育学院）；KU Leuven（鲁汶大学）；Technical University of Munich（慕尼黑工业大学）；Portland State University（波特兰州立大学）
从数学教育视角的范围综述发现，最新LLMs虽能近乎完美解决常规应用题，但在处理需结合现实背景的题目时存在弱点，仅掌握表面求解过程，限制了其教学价值。
2025-08-09 cs.CL math.HO
Network-Efficient Distributed Word2vec Training System for Large Vocabularies
Yahoo, Inc.（雅虎公司）；Uber ATC（优步先进技术中心）；Deco Software（Deco软件公司）
Word2vec是一个流行的算法家族，用于在大型文本语料库上对单词的密集向量表示进行无监督训练。所得到的向量已被证明可以捕获其对应单词之间的语义关系，并且在将许多自然语言处理（NLP）任务减少为对这些向量的数学运算方面显示出了希望。虽然迄今为止word2vec的应用都集中在具有几百万个单词的词汇表上，其中词汇表是同时训练向量的单词集合，但在NLP之外的领域中，新的应用正在出现，词汇表包括数亿个单词。现有的word2vec训练系统对于训练如此大的词汇表是不切实际的，因为它们要么要求所有词汇表单词的向量被存储在单个服务器的存储器中，要么由于大量的网络数据传输而遭受不可接受的训练延迟。在本文中，我们提出了一种新的分布式，并行训练系统，使前所未有的实际训练向量的词汇量有几个100万字的商品服务器上的共享集群，使用远低于现有的解决方案的网络流量。我们在一个基准数据集上对所提出的系统进行了评估，结果表明，相对于非分布式训练，向量的质量不会降低。最后，在几个季度里，该系统已被部署用于将查询与雅虎赞助搜索广告平台Gemini中的广告进行匹配，从而显著改善了业务指标。
2016-06-27 cs.CL
FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models
Tianjin University（天津大学）；China University of Geosciences（中国地质大学）；The University of Queensland（昆士兰大学）
本文提出 FineMath 细粒度中文数学评估基准，覆盖小学数学 17 类应用题并按推理步骤人工标注难度，实验揭示中文 LLM 数学推理仍有明显提升空间。
2024-09-06 cs.AI cs.CL
Structured Reasoning with Tree-of-Thoughts for Bengali Math Word Problems
Department of Computer Science and Engineering（计算机科学与工程系）；Ahsanullah University of Science and Technology（阿沙努尔大学科学与技术学院）；Southeast University（东南大学）
本文提出基于树状思维的结构化推理方法，用于提升孟加拉语数学应用题的解决效果，通过实验验证ToT在中等至大规模模型中的有效性。
2025-12-05 cs.CL
Generate & Rank: A Multi-task Framework for Math Word Problems
Huawei HiSilicon（华为海思）；Peking University（北京大学）
数学应用题是自然语言处理中的一个具有挑战性和关键性的任务。最近的许多研究将MWP形式化为生成任务，并采用序列到序列模型将问题描述转换为数学表达式。然而，数学表达式容易出现小错误，而生成目标并不明确地处理这样的错误。为了解决这个问题，我们设计了一个新的排名任务MWP和提出生成&排名，一个多任务框架的基础上生成预训练的语言模型。通过与生成和排名的联合训练，模型从自己的错误中学习，并能够区分正确和不正确的表达。同时，我们执行专门为MWP设计的基于树的扰动和在线更新以提高排名。我们证明了我们提出的方法在基准测试中的有效性，结果表明，我们的方法在所有数据集中的性能始终优于基线。特别地，在经典的Math23 k中，我们的方法比最先进的方法高7%（78.4% $\rightarrow$ 85.4%）。
2021-09-07 cs.AI cs.CL
Be Careful When Assuming the Obvious: Commentary on "The placement of the head that minimizes online memory: a complex systems approach"
Ferrer-i-Cancho（2015）提出了一个关于词序的共时性和历时性的数学模型，该模型基于记忆成本是距离的永不递减函数的假设和一些非常普遍的语言学假设。然而，即使是这些最小的和看似明显的假设是不安全的，因为他们似乎在最近的类型学和心理语言学的证据。语序和记忆的相互作用还有更深的层次需要探索。
2014-08-20 cs.CL
Generating Pedagogically Meaningful Visuals for Math Word Problems: A New Benchmark and Analysis of Text-to-Image Models
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；University of Zurich（苏黎世大学）
本文提出Math2Visual框架，基于教师访谈定义的视觉语言自动生成数学应用题教学视觉内容，构建1,903个标注数据集并微调文本到图像模型，建立教育视觉生成新基准。
2025-06-04 cs.AI cs.CL cs.HC
The Mathematics of Text Structure
Oxford University（牛津大学）；Cambridge Quantum Computing Ltd.（剑桥量子计算有限公司）
在以前的工作中，我们给出了一个数学基础，称为DiscoCat，用于描述单词如何在句子中相互作用，以产生句子的含义。为此，我们利用了语法和意义空间类别的完美结构匹配。在这里，我们给出了一个数学基础，被称为DisCoCirc，句子如何在文本中相互作用，以产生该文本的意义。首先，让我们重温一下DiscoCat。在DisCoCat中，所有的意义都被固定为状态（即没有输入），而在DisCoCirc中，单词的意义对应于一个类型或系统，并且这个系统的状态可以演变。句子是电路中的门，它更新这些单词的可变含义。就像在DisCoCat中一样，词义可以存在于各种空间中，例如命题空间、向量空间或认知空间。组成结构是代表信息流的字符串图，整个文本产生一个单一的字符串图，其中单词的含义提升到整个文本的含义。虽然本文中的发展独立于物理实施例（参见图1）。经典与量子计算），组合形式主义和建议的意义模型都是高度量子启发的，并且在量子计算机上实现将带来一系列好处。我们还赞扬吉姆·兰贝克在数学语言学中的作用，以及更具体地发展迪斯科计划。
2020-02-28 cs.CL math.CT quant-ph
The Gap of Semantic Parsing: A Survey on Automatic Math Word Problem Solvers
Zhejiang University（浙江大学）；University of Electronic Science and Technology of China（电子科技大学）；Singapore Management University（新加坡管理大学）
自动解决数学应用题（MWP）是一项挑战，主要是由于人类可读的单词和机器可理解的逻辑之间存在语义差距。尽管MWPs的历史可以追溯到20世纪60年代，但随着人工智能（AI）的发展，MWPs在过去几年中重新获得了广泛的关注。成功解决MWPs被认为是迈向通用AI的里程碑。许多系统声称在自制和小规模数据集上取得了有希望的结果。然而，当应用于大型和多样化的数据集时，文献中提出的方法都没有达到高精度，这表明当前的MWP求解器仍有很大的改进空间。这促使我们提出了一个全面的调查，以提供一个清晰和完整的图片自动数学问题求解器。在这次调查中，我们强调代数字问题，总结其提取的功能和提出的技术，以弥合语义差距，并比较其在公开访问的数据集的性能。我们还介绍了其他类型的数学问题的自动求解器，例如需要理解图表的几何问题。最后，我们确定了几个新兴的研究方向，为读者在MWPs的兴趣。
2019-04-29 cs.CL
Verb Categorisation for Hindi Word Problem Solving
IIIT-Hyderabad（海得拉巴国际信息技术学院）
针对印地语算术应用题求解任务，该研究构建了基于动词分类的规则式求解器，创建了印地语动词分类数据，并对比了多种动词分类方法的效果。
2023-12-18 cs.AI cs.CL
PatiGonit22K: A Comprehensive Dataset for Solving Complex Bengali MWPs
Ahsanullah University of Science and Technology（阿山努拉科技大学）；Southeast University（东南大学）
该研究针对孟加拉语数学应用题因标注数据集有限未充分探索的问题，通过扩展原始数据集开发了含22441个问题的PatiGonit22K数据集，涵盖不同难度方程，经多步骤处理确保质量，为低资源语言相关研究提供了全面资源。
2026-07-28 cs.CL
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
本文构建含10,000道题的PatiGonit数据集，并微调多种Transformer模型求解孟加拉语数学应用题，其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY
Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem
East China Normal University（华东师范大学）；Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
本研究构建含5200道题的UMWP不可解数学应用题数据集，提出结合文本相似度与数学表达式检测的评估方法，测试31个大语言模型，证实上下文学习与RLHF训练可显著提升模型避免幻觉的能力。
2024-03-06 cs.CL
Word Length Frequency and Distribution in English: Observations, Theory, and Implications for the Construction of Verse Lines
最近在诗歌理论和经验度量方面的观察表明，构建一个诗歌行涉及到对源文本的模式匹配搜索，并且找到的元素（完整单词总计指定数量的音节）的数量通过将单词总数除以源文本中每个单词的平均音节数来给出。本文使后一点明确的数学，并在这个演示过程中显示，在英语输出的单词长度频率总数是几何分布（以前的研究人员报告了调整泊松分布），顺序分布是随机的，在全球范围内，与显着的非随机性的精细结构。数据来自一个不到200万个单词的语料库，以及一个71,000个单词形式的音节计数词典。模式匹配理论被证明是内部连贯的，它是观察到，这里描述的一些分析技术形成一个令人满意的测试规则（等距）划线的文本。
1998-08-13 cmp-lg cs.CL
Logique mathématique et linguistique formelle
Université de Bordeaux（波尔多大学）
正如这个词的词源所显示的那样，逻辑与语言密切相关，古代和中世纪哲学家的工作就是例证。在二十世纪初，数学基础的危机发明了数理逻辑，并将逻辑作为数学的语言基础。在这个新定义的数学框架中，逻辑和语言之间的关系是如何演变的？在回顾了逻辑学与语言学关系的历史之后，我们着重讨论了当前的一些问题：1）语法作为一个演绎系统; 2）句子的句法结构转换为表示其意义的逻辑公式; 3）在解释词语时考虑语境。本讲座表明，类型理论提供了一个方便的框架，既为自然语言的句法和解释的任何一个层次（词，句子，话语）。
2013-11-08 cs.CL math.LO
A Primer on Word Embeddings: AI Techniques for Text Analysis in Social Work
University of Michigan（密歇根大学）；Wayne State University（韦恩州立大学）；Tianjin University of Technology（天津理工大学）
本文向社会工作研究者介绍词嵌入技术，阐述其如何通过语义搜索、聚类和检索增强生成等方法增强文本分析工作流程，并指出需开发领域特定模型与符合伦理的最佳实践以推动研究与服务。
2024-11-11 cs.CL
A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
自回归语言模型，使用大型文本语料库进行预训练，以便在下一个单词预测方面做得很好，已经成功地解决了许多下游任务，即使使用了zero-shot。然而，对这种成功的理论认识很少。本文通过考虑以下问题对这一现象进行了数学研究：（1）下一个词预测的预训练任务和文本分类之间的直观联系是什么？(2)我们如何在数学上形式化这种联系，并量化语言建模的好处？对于（1），我们假设并经验验证了感兴趣的分类任务可以重新表述为句子完成任务，从而使语言建模成为有意义的预训练任务。通过对这一假设的数学形式化，我们朝着（2）取得了进展，并表明在交叉熵（对数困惑度）中是$ε$最优的语言模型学习特征，这些特征可以线性地解决具有$\mathcal{O}(\sqrtε)$错误的分类任务，从而证明在语言建模方面做得好可以有利于下游任务。我们通过实验验证了各种假设和理论发现，并利用分析中的见解设计了一个新的目标函数，该函数在某些分类任务中表现良好。
2021-04-14 cs.AI cs.CL cs.LG
Training Verifiers to Solve Math Word Problems
OpenAI
最先进的语言模型可以在许多任务上与人类的表现相匹配，但它们仍然很难稳健地执行多步数学推理。为了诊断当前模型的故障并支持研究，我们引入了GSM8K，这是一个包含8.5K高质量语言多样的小学数学单词问题的数据集。我们发现，即使是最大的Transformer模型未能实现高的测试性能，尽管这个问题的分布的概念简单。为了提高性能，我们提出了训练验证器来判断模型完成的正确性。在测试时，我们生成许多候选解决方案，并选择一个排名最高的验证者。我们证明，验证显着提高性能的GSM 8K，我们提供了强有力的经验证据，验证规模更有效地增加数据比微调基线。
2021-11-18 cs.CL cs.LG
Swap distance minimization in SOV languages. Cognitive and mathematical foundations
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Michigan（密歇根大学）
本文研究SOV语言中交换距离最小化原则，引入语序旋转概念作为认知基础，在Korean、Malayalam和Sinhalese三种语言中验证了该原则，发现交换距离最小化比偏好规范语序的作用更强。
2023-12-07 cs.CL physics.soc-ph
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
该研究结合数学分析与Wikipedia、LDA合成数据实验，揭示Transformer的嵌入层与自注意力层通过同主题词高内积、高注意力值编码主题结构，为其语义学习机制提供细粒度机制性理解。
2023-07-24 cs.CL cs.LG stat.ML
Linear programming word problems formulation using EnsembleCRF NER labeler and T5 text generator with data augmentations
Infrrd AI Lab（Infrrd人工智能实验室）
我们提出了一种集成方法来预测线性规划应用题中的标签。实体识别和意义表征是NL4Opt竞赛中需要解决的两类任务。我们提出了ensembleCRF方法来识别命名实体的第一个任务。我们发现，在我们的分析中，单一模型并没有改善给定的任务。一组预测模型预测实体。在ensembleCRF方法中，将生成的结果合并以形成共识结果。我们提出了一个合奏文本生成器产生的代表性句子的第二个任务。由于输出中的溢出，我们考虑将问题划分为多个小任务。单个模型会根据提示生成不同的表示。所有生成的文本被组合以形成一个集合，并产生线性规划问题的数学意义。
2022-12-30 cs.AI cs.CL
Augmenting Math Word Problems via Iterative Question Composing
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qizhi Institute（上海期智研究院）
本文提出MMIQC数据集及迭代问题编写（IQC）增强方法，通过LLM迭代生成新问题并拒绝采样，显著提升开源模型在MATH基准上的数学推理能力，Qwen-72B-MMIQC准确率达45.0%。
2024-12-16 cs.AI cs.CL cs.LG
Math Word Problem Solving by Generating Linguistic Variants of Problem Statements
Islamic University of Technology（伊斯兰技术大学）
本文提出一种基于生成问题文本语言变体的数学应用题求解框架，通过求解多个变体并对预测表达式进行多数投票，结合DeBERTa编码器，提升了模型的数学推理能力和鲁棒性。
2023-06-24 cs.AI cs.CL
Self-organization of vocabularies under different interaction orders
Facultad de Ingeniería y Ciencias（工程与科学学院）；Universidad Adolfo Ibáñez（阿道夫·伊瓦涅斯大学）
传统上，词汇表的形成已经研究了基于代理的模型（特别是，随机对代理商协商词义协会在每个离散的时间步骤中的博弈）。本文提出了一个新的问题的第一个近似：在何种程度上的谈判的词义协会的影响，个人互动的顺序？自动机网络提供了足够的数学框架来探索这个问题。计算机模拟表明，在二维格子上，词义联想形成的典型特征在同时更新小部分人口的随机方案下被恢复。
2016-04-07 cs.CL physics.soc-ph
A Statistical Model of Word Rank Evolution
University of California Merced（加利福尼亚大学默塞德分校）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
大量语言数据集的可用性使数据驱动的方法能够研究语言变化。Google图书语料库的单字频率数据集被用来调查八种语言的单词排名动态。我们观察了从1900年到2008年的一元图的排名变化，并将其与我们为分析开发的赖特-费舍尔启发模型进行了比较。该模型模拟了一个中性的进化过程，限制没有消失和添加的单词。这项工作解释了该模型的数学框架-写为具有多项式转移概率的马尔可夫链-以显示单词的频率如何随时间变化。从我们对数据和模型的观察来看，单词等级稳定性表现出两种类型的特征：（1）等级的增加/减少是单调的，或者（2）等级保持不变。根据我们的模型，高排名的单词往往更稳定，而低排名的单词往往更不稳定。有些词的等级变化有两种方式：（a）随着时间的推移，等级的小幅度上升/下降变化的积累;（b）等级上升/下降的冲击。我们所研究的所有语言中的大多数单词都是等级稳定的，但并不像中性模型预测的那样稳定。停用词和Swadesh词被观察到在八种语言中排名稳定，表明在既定语言中的语言一致性。这些特征表明，所有语言中的单字频率都以一种与纯粹中性进化过程不一致的方式发生了变化。
2022-02-14 cs.CL stat.AP
GanitLLM: Difficulty-Aware Bengali Mathematical Reasoning through Curriculum-GRPO
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
本文提出GanitLLM模型及新的难度感知孟加拉数学语料库和基于课程的GRPO流程，提升低资源环境下孟加拉数学推理能力。
2026-04-19 cs.AI cs.CL cs.LG
Mathematical Language Processing Project
Technische Universität Berlin（柏林工业大学）
在自然语言中，词和短语本身就隐含着语义。相比之下，数学公式中标识符的含义是未定义的。因此，科学家必须研究上下文来解码含义。数学语言处理（MLP）项目旨在支持这一过程。在本文中，我们比较了两种发现标识符定义元组的方法。首先，我们使用一个简单的模式匹配方法。其次，我们提出的MLP方法，使用部分的语音标记的距离以及句子的位置来计算标识符定义的概率。我们的原型系统，应用于维基百科的文本语料库的评估表明，我们的方法大大增强了用户体验。在公式中悬停标识符时，会出现具有最可能定义的工具提示。使用随机样本进行的测试表明，显示的定义与标识符的实际含义非常匹配。
2014-07-01 cs.CL cs.DL cs.IR
The Limits of Word Level Differential Privacy
RWTH Aachen University（亚琛工业大学）；SAP Security Research（SAP安全研究院）；University of Waterloo（滑铁卢大学）
随着隐私和信任问题在研究界越来越受到关注，已经做出了各种尝试来匿名化文本数据。这些方法中的一个重要子集结合了不同的私有机制来干扰词嵌入，从而替换句子中的单个词。虽然这些方法代表了非常重要的贡献，与其他技术相比具有各种优势，并且确实显示出匿名化能力，但它们有几个缺点。在本文中，我们调查这些弱点，并展示了显着的数学约束，减少理论上的隐私保证，以及主要的实际缺陷方面的保护，防止去匿名攻击，保留原始句子的内容，以及语言输出的质量。最后，我们提出了一种新的文本匿名化方法的基础上Transformer为基础的语言模型微调的释义，规避了大多数已确定的弱点，也提供了一个正式的隐私保证。我们评估我们的方法的性能，通过彻底的实验，并表现出优越的性能超过所讨论的机制。
2022-05-02 cs.CL cs.CR cs.LG
