Automated Discovery of Mathematical Definitions in Text with Deep Neural Networks
Shamoon College of Engineering（沙蒙工程学院）
从文本中自动提取定义是一项重要的任务，在诸如科学文本的摘要、分析、自动分类生成、本体生成、概念识别和问答等自然语言处理领域中具有大量的应用。对于包含在单个句子中的定义，这个问题可以被视为将句子分为定义和非定义的二元分类。在本文中，我们专注于自动检测的单句定义的数学文本，这是很难从周围的文本分离。我们尝试了几种数据表示，包括句子句法结构和词嵌入，并应用卷积神经网络（CNN）和长短期记忆网络（LSTM）等深度学习方法，以识别数学定义。我们的实验证明了CNN及其与LSTM组合在语法丰富的输入表示上的优越性。我们还提出了一个新的数据集的定义提取数学文本。我们证明了这个数据集对于训练旨在提取数学定义的监督模型是有益的。我们对不同领域的实验表明，数学定义需要特殊处理，并且使用跨领域学习对该任务效率低下。
2020-11-09 cs.CL cs.IR
MathGloss: Building mathematical glossaries from text
University of Chicago（芝加哥大学）
MathGloss项目利用现代NLP工具自动从文本构建本科数学知识图谱，整合Wikidata、Lean 4、MuLiMa等五种资源，旨在促进数学家与形式化工具间的相互理解。
2023-11-21 cs.CL
Can reasoning models comprehend mathematical problems in Chinese ancient texts? An empirical study based on data from Suanjing Shishu
Nanjing Agricultural University（南京农业大学）
本研究构建基于《算经十书》的古文数学基准Guji_MATH，通过闭卷、开卷两种模式评测6款推理模型的古算题解题能力，发现模型表现弱于现代数学任务，为古籍知识挖掘与推理模型跨文化能力评估提供新方向。
2025-06-13 cs.AI cs.CL
SAND-Math: Using LLMs to Generate Novel, Difficult and Useful Mathematics Questions and Answers
Advanced Micro Devices, Inc. (AMD)（先进微器件公司（AMD））
提出SAND-Math流水线，通过从零合成数学问题并利用难度提升步骤增加复杂性，生成高质量训练数据，显著提升数学LLMs在AIME25基准上的性能。
2025-11-04 cs.CL
Machine Translation of Mathematical Text
我们已经实现了一个机器翻译系统，PolyMath翻译器，包含数学文本的LaTeX文档。目前的实现将英语LaTeX翻译为法语LaTeX，在数学句子的测试语料库上获得了53.5的BLEU分数。它可以生成LaTeX文档，无需进一步编辑即可编译为PDF。系统首先使用pandoc通用文档转换器解析LaTeX输入，将输入LaTeX文档的主体转换为包含数学符号的英语句子。我们使用OpenNMT在包含一小部分特定领域句子的组合语料库上训练了一个基于transformer的翻译器模型。我们的完整系统同时使用这个Transformer模型和Google翻译，后者被用作备份，以更好地处理我们的训练数据集中没有出现的语言特征。如果Transformer模型对其翻译没有信心，这是由高困惑分数确定的，那么我们使用带有自定义词汇表的Google翻译。这个备份在我们的数学句子测试语料库中使用了26%的时间。PolyMath翻译器可在www.polymathtrans.ai上作为网络服务提供。
2020-10-11 cs.CL
Fine-Tuning BERTs for Definition Extraction from Mathematical Text
University of Chicago（芝加哥大学）
本文通过微调三个BERT模型进行数学文本定义抽取，并在Chicago、TAC和WFMALL数据集上验证，发现高性能Sentence-BERT以更少计算开销取得与先前模型相当的准确率、召回率和精确率。
2024-06-27 cs.CL
Transparent AI for Mathematics: Transformer-Based Large Language Models for Mathematical Entity Relationship Extraction with XAI
本文提出基于Transformer的大语言模型，结合XAI方法，实现数学实体关系提取，达到高准确率并提升模型可解释性，为自动问题解决和知识图谱构建提供有效框架。
2026-03-06 cs.CL
Can Language Models Rival Mathematics Students? Evaluating Mathematical Reasoning through Textual Manipulation and Human Experiments
Taras Shevchenko National University of Kyiv（基辅塔拉斯舍甫琴科国立大学）；University of Cambridge（剑桥大学）
本研究引入Combi-Puzzles数据集，比较多种LLM与人类在组合数学问题上的表现，发现GPT-4模型优于其他模型且胜过人类，而问题文本修改显著影响LLM性能但不影响人类。
2024-12-16 cs.CL
Image-to-LaTeX Converter for Mathematical Formulas and Text
Saarland University（萨尔大学）
本文构建并微调了基于Swin Transformer和GPT-2的图像到LaTeX转换模型，结合LoRA适配手写公式，并通过BLEU对比验证其性能，同时开源模型与分布式训练代码。
2024-08-07 cs.CL cs.CV
Autonomous Data Selection with Zero-shot Generative Classifiers for Mathematical Texts
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海启智研究院）
本文提出AutoDS方法，利用基础语言模型自身作为零样本生成式分类器自动筛选高质量数学文本，在持续预训练中显著提升数学推理性能并实现约两倍的token效率提升。
2025-07-22 cs.AI cs.CL cs.LG
Architecture and evolution of semantic networks in mathematics texts
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·保尔森工程与应用科学学院）；University of Pennsylvania（宾夕法尼亚大学）；Santa Fe Institute（圣塔菲研究所）
知识是相互联系的概念的网络。然而，知识的拓扑结构如何限制其获取仍然是未知的，阻碍了学习增强策略的发展。本文研究了大学线性代数教材中反映数学概念及其关系的语义网络的拓扑结构。我们假设，这些网络将表现出结构的顺序，反映了逻辑顺序的主题，确保可访问性。我们发现，网络表现出强大的核心-外围架构，其中一个密集的核心概念提出了早期的补充与稀疏的外围均匀整个博览会，后者是由许多小模块，每个反映更窄的域。使用应用拓扑学的工具，我们发现，语义网络的阐述性演变产生并随后填补了知识空白，并且这些空白的密度与每本教科书的社区评级呈负相关。从广义上讲，我们的研究奠定了基础，为未来的努力发展最佳的教科书的阐述和教学在课堂设置的设计原则。
2019-09-24 cs.CL physics.soc-ph q-bio.NC
Isometric Lineation in English Texts: An Empirical and Mathematical Examination of its Character and Consequences
在本文中，我们建立在早期的观察和理论，关于单词的长度频率和顺序分布，开发一个数学表征的一些语言功能区分等距线文本从unlineated文本，换句话说，功能区分等距诗从散文。结果表明，音节的频率，使完整的话产生一个平坦的分布散文，而诗句表现出的行长度的位置和随后的倍数的位置的峰值。数据从几个诗句作者，包括一个详细的数学分析的动力学基础高峰创建，并提供评论的过程中，作者构建线。我们注意到，散文的词长序列是随机的，而划线则需要非随机的词长序列，这可能会给原本高度有序的语法序列带来一定程度的随机性。此外，我们观察到，这种效果可以改善减少平均文字长度的文本（确认早期的观察，诗句往往使用较短的话）和使用不同的线从核心等距集。变异行的频率与多音节词的频率一致，这表明变异行的使用是由多音节词的位置。探讨了不同诗行长度的制约作用、格律制约与诗歌效果的关系以及格律的共性。
1998-08-14 cmp-lg cs.CL
JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem Understanding
Renmin University of China（中国人民大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK（科大讯飞）
本文旨在通过提出第一个中文数学预训练语言模型~（PLM）来有效理解和表示数学问题，以提高机器的数学智能。与其他标准NLP任务不同，数学文本很难理解，因为它们在问题陈述中涉及数学术语，符号和公式。通常，它需要复杂的数学逻辑和背景知识来解决数学问题。考虑到数学文本的复杂性，我们设计了一种新的课程预训练方法，以提高数学PLM的学习，包括基础和高级课程。特别地，我们首先基于位置偏置掩蔽策略执行标记级预训练，然后设计基于逻辑的预训练任务，分别旨在恢复混洗的句子和公式。最后，我们引入了一个更困难的预训练任务，该任务强制PLM检测和纠正其生成的解决方案中的错误。我们进行了大量的实验离线评价（包括九个数学相关的任务）和在线$A/B$测试。实验结果表明，我们的方法相比，一些有竞争力的基线的有效性。我们的代码可在：\textcolor{blue}{\url{https://github.com/RUCAIBox/JiuZhang}} .
2022-06-13 cs.AI cs.CL
Equation Parsing: Mapping Sentences to Grounded Equations
University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）
识别文本中表达的数学关系对于理解广泛的自然语言文本至关重要，这些文本从选举报道到财经新闻，从体育评论到数学应用题。本文的重点是识别和理解一句话中描述的数学关系。我们介绍了方程解析的问题-给定一个句子，确定代表变量的名词短语，并生成表达句子中描述的关系的数学方程。我们介绍了投影方程解析的概念，并提供了一个有效的算法来解析文本投影方程。我们的系统使用了高精度的数学表达式词典和结构化预测器的管道，并在$70\%$的情况下生成正确的方程。在$60\%$的时候，它还能识别正确的名词短语$\rightarrow$变量映射，显著优于基线。我们还发布了一个新的注释数据集用于任务评估。
2016-09-28 cs.CL
OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；University of Cambridge（剑桥大学）；Princeton University（普林斯顿大学）
OpenWebMath是一个从Common Crawl提取的包含147亿数学网页词元的开放数据集，通过忠实保留数学符号的提取与过滤方法，训练出的14亿参数模型在推理任务上优于使用20倍通用数据训练的模型。
2023-10-10 cs.AI cs.CL cs.LG
Mathematical Entities: Corpora and Benchmarks
National Institute of Standards and Technology（美国国家标准与技术研究院）；Topos Institute（拓扑斯研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文构建含182397句的三个数学标注语料库及元数据基准，评估神经与符号模型，发现术语和定义提取难以泛化，并提供基于搜索与实体链接的学习助手。
2024-06-17 cs.CL math.HO
A mathematical model for universal semantics
Princeton University（普林斯顿大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们通过对文本中重复出现的模式进行数学分析，用独立于语言的数字指纹来表征单词的含义。在长时间尺度上通过马尔可夫过程近似文本，我们能够从中等长度的特定文档中提取主题，发现同义词，并勾画语义场，而无需咨询外部知识库或词库。我们的马尔可夫语义模型使我们能够代表每个主题的概念由一个低维向量，解释为代数不变量的简洁的统计操作的文件，针对本地环境的个别单词。这些独立于语言的语义表示使机器人阅读器能够理解给定语言的短文本（自动问答），并在不同语言之间匹配中等长度的文本（自动单词翻译）。我们的语义指纹量化了5个主要语系14种代表性语言中单词的本地含义，提出了一种通用且具有成本效益的机制，可以在语义层面处理人类语言。我们的协议和源代码可在https://github.com/yajun-zhou/linguae-naturalis-principia-mathematica上公开获取
2020-07-12 cs.AI cs.CL cs.LG
The GF Mathematics Library
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Sistemes Avançats de Control（高级控制系统研究所）
本文介绍了一个多语种数学文本处理系统--数学语法库。我们解释了它起源的背景，它当前的设计和功能以及当前的开发目标。我们还提出了两个原型服务，并评论在人工数学助理领域的未来可能的应用。
2012-02-22 cs.CL cs.MS
A Survey in Mathematical Language Processing
University of Manchester（曼彻斯特大学）；Idiap Research Institute（伊迪亚普研究所）
本文综述非形式化数学语言处理在五个子领域的近年进展，总结成功方法与局限，以服务定量科学和数学发现的自动化。
2024-04-08 cs.CL
Classification and Clustering of arXiv Documents, Sections, and Abstracts, Comparing Encodings of Natural and Mathematical Language
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）；FIZ Karlsruhe（卡尔斯鲁厄专业信息中心）；George Washington University（乔治华盛顿大学）
在本文中，我们将展示如何选择和结合编码的自然和数学语言影响分类和聚类的文件与数学内容。我们通过使用arXiv预印本服务器中的文档、章节和摘要集来证明这一点，这些文档、章节和摘要都是按其主题类（数学、计算机科学、物理等）标记的。比较文本和公式的不同编码，并评估所选分类和聚类算法的性能和运行时间。我们的编码实现分类精度高达$82.8\%$和集群纯度高达$69.4\%$（集群的数量等于类的数量），和$99.9\%$（未指定的集群数量）分别。我们观察到文本和数学相似性之间的相关性相对较低，这表明文本和公式的独立性，并激励将它们作为文档的单独特征。可以采用分类和聚类，例如，用于文档搜索和推荐。此外，我们表明，计算机在分类文档时优于人类专家。最后，我们评估和讨论多标签分类和公式语义。
2020-05-22 cs.CL cs.DL cs.IR
Techniques to Improve Neural Math Word Problem Solvers
McGill University（麦吉尔大学）
开发数学应用题自动求解器是一项具有挑战性的任务，它需要对自然语言的理解和数学推理能力。最近的基于神经元的方法主要使用语言模型对问题文本进行编码，并迭代地对数量和运算符上的数学表达式进行解码。注意，MWP的问题文本由上下文部分和问题部分组成，最近的工作发现这些神经求解器可能仅在上下文文本和黄金表达式之间执行浅模式匹配，其中问题文本没有得到很好的利用。同时，现有的解码过程未能将数学定律强制执行到设计中，其中数学等价表达式的表示是不同的。为了解决这两个问题，我们提出了一个新的编码器-解码器架构，充分利用问题的文本，并保留逐步交换律。除了生成数量嵌入，我们的编码器进一步编码的问题文本，并使用它来指导解码过程。在每一步中，我们的解码器使用深度集来计算表达式表示，以便这些嵌入在任何数量排列下都是不变的。对四个既定基准的实验表明，我们的框架优于最先进的神经MWP求解器，表明了我们技术的有效性。我们还对结果进行了详细的分析，以显示我们的方法的局限性，并进一步讨论未来的工作。代码可在https://github.com/sophistz/Question-Aware-Deductive-MWP上获得。
2023-02-06 cs.CL cs.SC
The Complexity of Comparative Text Analysis -- "The Gardener is always the Murderer" says the Fourth Machine
Zuse Institute Berlin (ZIB)（柏林祖斯研究所）；Technische Universität Berlin (TUB)（柏林工业大学）
有一个激烈的争论是，与整个人类研究团队的能力相比，计算机可以在多大程度上映射文本分析的复杂性。对给定文本的“深入”分析仍然超出了现代计算机的可能性。在现有的计算文本分析算法的核心是实数运算，如根据代数域的规则进行加法和乘法。然而，“比较”的过程有一个非常精确的数学结构，它不同于代数域的结构。“比较”的数学结构可以用布尔环来表示。我们建立在这个结构，并定义相应的代数方程提升算法的比较文本分析到“正确的”代数基础。从这个角度出发，我们可以考察比较文本分析的{ \em计算}复杂性问题。
2020-12-11 cs.CL
Reluctant Paraphrase: Textual Restructuring under an Optimisation Model
本文开发了一个计算模型的释义下，文本修改进行不情愿的，也就是说，有外部约束，如长度或可读性，否则理想的文本，和修改的文本是必要的，以确保符合这些约束。这个问题类似于数学优化问题：文本约束可以被描述为一组约束方程，对文本的最小更改的要求可以表示为要最小化的函数;因此可以使用该领域的技术来解决问题。这项工作是作为一个计算释义系统的一部分，使用的JTAG系统作为基础。本文将提出一个理论计算框架内工作的不情愿的释义范例：三种类型的文本约束，释义对文本的影响进行了描述，并概述了一个模型，将数学优化技术。
1997-07-03 cmp-lg cs.CL
Learning Mathematical Properties of Integers
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）；DiDi Labs（滴滴实验室）
在高维向量空间中嵌入词在许多自然语言应用中已被证明是有价值的。在这项工作中，我们研究了类似训练的整数嵌入是否可以捕获对数学应用有用的概念。我们探索数学知识的整数嵌入，将它们应用于一组数值推理任务，并表明通过学习数学序列数据的表示，我们可以大大提高从英语文本语料库中学习到的数字嵌入。
2021-09-15 cs.CL cs.LG
Mathematical and Linguistic Characterization of Orhan Pamuk's Nobel Works
Kadir Has University（卡迪尔哈斯大学）
本文以帕慕克作品为例，结合分形几何与Zipf定律对土耳其文学文本进行统计和语言学分析，发现《我的名字叫红》的Zipf维数显著不同于其他小说，但语料库间无根本语言学差异。
2023-04-11 cs.CL
A Mathematical Exploration of Why Language Models Help Solve Downstream Tasks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
自回归语言模型，使用大型文本语料库进行预训练，以便在下一个单词预测方面做得很好，已经成功地解决了许多下游任务，即使使用了zero-shot。然而，对这种成功的理论认识很少。本文通过考虑以下问题对这一现象进行了数学研究：（1）下一个词预测的预训练任务和文本分类之间的直观联系是什么？(2)我们如何在数学上形式化这种联系，并量化语言建模的好处？对于（1），我们假设并经验验证了感兴趣的分类任务可以重新表述为句子完成任务，从而使语言建模成为有意义的预训练任务。通过对这一假设的数学形式化，我们朝着（2）取得了进展，并表明在交叉熵（对数困惑度）中是$ε$最优的语言模型学习特征，这些特征可以线性地解决具有$\mathcal{O}(\sqrtε)$错误的分类任务，从而证明在语言建模方面做得好可以有利于下游任务。我们通过实验验证了各种假设和理论发现，并利用分析中的见解设计了一个新的目标函数，该函数在某些分类任务中表现良好。
2021-04-14 cs.AI cs.CL cs.LG
Semantic Parsing of Mathematics by Context-based Learning from Aligned Corpora and Theorem Proving
University of Innsbruck（因斯布鲁克大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们研究的非正式数学表达式到正式的，深入的计算机理解的非正式数学文本的主要先决条件的自动解析方法。我们提出了一种基于上下文的解析方法，结合了有效的统计学习的深度解析树的语义修剪类型检查和大理论自动定理证明。我们表明，这些方法非常显着地改进了Flyspeck语料库中解析定理的先前结果。
2016-11-29 cs.AI cs.CL
Generating Pedagogically Meaningful Visuals for Math Word Problems: A New Benchmark and Analysis of Text-to-Image Models
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；University of Zurich（苏黎世大学）
本文提出Math2Visual框架，基于教师访谈定义的视觉语言自动生成数学应用题教学视觉内容，构建1,903个标注数据集并微调文本到图像模型，建立教育视觉生成新基准。
2025-06-04 cs.AI cs.CL cs.HC
Mathematical Structure of Syntactic Merge
California Institute of Technology（加州理工学院）；University of Arizona（亚利桑那大学）；Massachusetts Institute of Technology（麻省理工学院）
本文用霍普夫代数刻画最简方案中的句法合并操作，借助重正化物理中的形式体系解释语言学现象，并为外在化与句法参数提供数学模型。
2023-05-29 cs.CL math.QA math.RA
A Joint Probabilistic Classification Model of Relevant and Irrelevant Sentences in Mathematical Word Problems
Purdue University（普渡大学）；University of Colorado Denver（科罗拉多大学丹佛分校）
数学应用题的难易程度估计是许多教育应用的重要任务。数学应用题中相关句和不相关句的识别是计算应用题难度的重要步骤。本文提出了一种新的文本分类应用，以确定两种类型的句子在数学应用题，即相关和不相关的句子。提出了一种新的联合概率分类模型，该模型利用数学应用题中所有句子之间的相关性、问题句子与其他句子之间的相关性以及句子文本之间的相关性来估计数学应用题中所有句子的分类决策的联合概率。所提出的模型相比，i）一个SVM分类器，使独立的分类决策，为个别句子，只使用句子文本和ii）一种新的SVM分类器，认为问题句子和其他句子之间的相关性以及句子文本。一组广泛的实验证明了联合概率分类模型的有效性，用于识别相关和不相关的句子，以及新的SVM分类器，利用问题句子和其他句子之间的相关性。此外，实证结果和分析表明，i）不去除停用词是非常有益的，并且ii）利用词性标注并没有做出显著的改进，尽管它已经被证明对于数学单词问题类型分类的相关任务是有效的。
2014-11-21 cs.CL cs.IR cs.LG
