MathBERT: A Pre-Trained Model for Mathematical Formula Understanding
像BERT这样的大规模预训练模型在各种自然语言处理（NLP）任务中取得了巨大的成功，但如何使其适应数学相关任务仍然是一个挑战。目前的预训练模型忽略了公式的结构特征以及公式与上下文的语义对应关系。为了解决这些问题，我们提出了一种新的预训练模型，即\textbf{MathBERT}，它与数学公式及其相应的上下文联合训练。此外，为了进一步捕捉公式的语义级结构特征，设计了一个新的预训练任务来预测从运算符树（OPT）中提取的掩码公式子结构，这是公式的语义结构表示。我们在三个下游任务上进行了各种实验来评估MathBERT的性能，包括数学信息检索、公式主题分类和公式标题生成。实验结果表明，MathBERT显着优于现有的方法在所有这三个任务。此外，我们定性地表明，这个预先训练的模型有效地捕获了公式的语义级结构信息。据我们所知，MathBERT是第一个用于数学公式理解的预训练模型。
2021-05-02 cs.AI cs.CL
A mathematical model for universal semantics
Princeton University（普林斯顿大学）；Beijing Institute of Big Data Research（北京大数据研究院）
我们通过对文本中重复出现的模式进行数学分析，用独立于语言的数字指纹来表征单词的含义。在长时间尺度上通过马尔可夫过程近似文本，我们能够从中等长度的特定文档中提取主题，发现同义词，并勾画语义场，而无需咨询外部知识库或词库。我们的马尔可夫语义模型使我们能够代表每个主题的概念由一个低维向量，解释为代数不变量的简洁的统计操作的文件，针对本地环境的个别单词。这些独立于语言的语义表示使机器人阅读器能够理解给定语言的短文本（自动问答），并在不同语言之间匹配中等长度的文本（自动单词翻译）。我们的语义指纹量化了5个主要语系14种代表性语言中单词的本地含义，提出了一种通用且具有成本效益的机制，可以在语义层面处理人类语言。我们的协议和源代码可在https://github.com/yajun-zhou/linguae-naturalis-principia-mathematica上公开获取
2020-07-12 cs.AI cs.CL cs.LG
Towards Semantic Markup of Mathematical Documents via User Interaction
Heriot-Watt University（赫瑞-瓦特大学）
本文提出从现有 sTeX 宏定义半自动生成文法并解析数学公式的方法，配合 GUI 消歧工具，帮助作者将普通 LaTeX 文档转换为语义标记。
2024-08-05 cs.CL cs.IR
Semantic Parsing of Mathematics by Context-based Learning from Aligned Corpora and Theorem Proving
University of Innsbruck（因斯布鲁克大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们研究的非正式数学表达式到正式的，深入的计算机理解的非正式数学文本的主要先决条件的自动解析方法。我们提出了一种基于上下文的解析方法，结合了有效的统计学习的深度解析树的语义修剪类型检查和大理论自动定理证明。我们表明，这些方法非常显着地改进了Flyspeck语料库中解析定理的先前结果。
2016-11-29 cs.AI cs.CL
A Transformer Architecture for Online Gesture Recognition of Mathematical Expressions
University of Pisa（比萨大学）；University College Dublin（都柏林大学学院）
Transformer架构提供了一个强大的框架，作为一个端到端的模型，用于从对应于手写笔画的在线手写手势中构建表达式树。特别地，注意力机制被成功地用于编码、学习和执行表达式的底层语法，从而创建被正确解码为精确的数学表达式树的潜在表示，从而为消融的输入和看不见的字形提供鲁棒性。第一次，编码器被馈送有可能形成无限大的词汇表的时空数据令牌，其发现在线手势识别之外的应用。一个新的监督数据集的在线手写手势的训练模型提供了通用的手写识别任务，并提出了一个新的度量的输出表达式树的语法正确性的评估。一个适合于边缘推断的小型Transformer模型被成功训练到94%的平均归一化Levenshtein准确度，从而导致94%的预测的有效后缀RPN树表示。
2022-11-04 cs.CL cs.CV
Link prediction Graph Neural Networks for structure recognition of Handwritten Mathematical Expressions
Vietnamese-German University（越南-德国大学）
本文提出一种基于图神经网络的方法，通过深度BLSTM和2D-CFG解析器构建初始图，并利用链接预测模型精炼结构，实现手写数学表达式的高效结构识别。
2025-11-04 cs.CL cs.CV
Grounding Spatio-Semantic Referring Expressions for Human-Robot Interaction
National University of Singapore（新加坡国立大学）
人类语言是人类与机器人进行交互的最自然的接口之一。本文提出了一种机器人系统，检索日常对象与无约束的自然语言的描述。该系统的一个核心问题是语义和空间基础，即从图像和自然语言表达中推断对象及其空间关系。我们引入了一个两阶段的神经网络接地管道，映射自然语言引用表达式直接在图像中的对象。第一阶段使用指称表达中的视觉描述来生成相关对象的候选集合。第二阶段检查候选词之间的所有成对关系，并根据指称表达式中的空间描述来预测最可能的指称对象。我们的系统的一个关键特征是，通过利用带有文本描述的大型图像数据集，它允许不受限制的对象类型和自然语言引用表达式。初步结果表明，我们的系统在标准基准数据集上的性能优于接近最先进的对象理解系统。我们还提出了一个机器人系统，遵循语音命令，挑选和放置以前看不见的对象。
2017-07-18 cs.AI cs.CL cs.RO
E-Gen: Leveraging E-Graphs to Improve Continuous Representations of Symbolic Expressions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出E-Gen，一种基于e-graph的大规模数学表达式数据集生成方案，并利用等价生成与对比学习训练嵌入模型，在多个数学语言处理任务上超越先前方法和大语言模型。
2025-03-09 cs.CL cs.LG cs.SC
Semantic Parsing with Candidate Expressions for Knowledge Base Question Answering
Pohang University of Science and Technology（浦项科技大学）
本文提出基于候选表达式增强的语义解析器，用于知识库问答，通过引入子类型推断和联合类型规则提升解析效率和准确性。
2025-12-31 cs.CL
Semantics of Multiword Expressions in Transformer-Based Models: A Survey
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
该综述首次系统研究Transformer模型对多词表达的语义处理能力，发现其语义捕捉不稳定、依赖表层信息且语义集中于早期层，质疑了模型的细粒度语义建模能力，并呼吁建立更可比的评估体系。
2024-01-27 cs.CL
Attending to Mathematical Language with Transformers
U.S. Bank（美国合众银行）
数学表达式的生成，评估和训练神经网络模型的基础上的Transformer架构。表达和它们的目标被分析为字符级序列转导任务，其中编码器和解码器建立在注意力机制上。训练了三个模型来理解和评估数学中的符号变量和表达式：（1）没有递归或卷积的自关注和前馈Transformer，（2）具有递归的通用Transformer，以及（3）具有递归和自适应计算时间的自适应通用Transformer。在评估表达式与目标值的匹配方面，模型的测试准确率分别达到76.1%、78.8%和84.9%。对于推断错误的情况，结果与目标仅相差一个或两个字符。这些模型特别学会了对分配给符号变量的变量数字的正、负十进制数进行加、减、乘。
2019-09-14 cs.CL cs.LG
Natural Language Semantics With Pictures: Some Language & Vision Datasets and Potential Uses for Computational Semantics
Bielefeld University（比勒费尔德大学）；University of Potsdam（波茨坦大学）
近年来，在“深度学习革命”的推动和推动下，引入了越来越大的用自然语言表达式注释的图像语料库。我们调查了其中的一些语料库，采取了一个角度，扭转了通常的方向性，因为它是，通过查看图像作为语义注释的自然语言表达。我们讨论的数据集，可以从语料库中派生，和任务的潜在利益的计算语义，可以在这些定义。在这方面，我们利用语料库提供的关系（即，表情和图像之间的联系，以及与同一图像链接的两个表情之间的联系）和我们可以添加的关系（表情之间或图像之间的相似关系）。具体而言，我们表明，以这种方式，我们可以创建数据，可用于学习和评估词汇和成分接地语义，我们表明，“链接到同一图像”的关系跟踪语义含义关系，即使在没有链接图像作为证据的情况下，注释者也可以识别。最后，作为这种方法可能带来的好处的一个例子，我们表明，一个示例模型为基础的方法，含义击败了（简单的）分布空间为基础的一些衍生数据集，同时贷款本身的可解释性。
2019-04-15 cs.CL cs.CV
Identifying Bengali Multiword Expressions using Semantic Clustering
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）；National Institute of Technology, Meghalaya（梅加拉亚国立理工学院）；Jadavpur University（贾达普大学）
自然语言理解和生成的关键问题之一是多词表达式的正确处理。由于其在词汇、句法和语义等方面的特殊性和多样性，MWE给精确的语言处理带来了巨大的困难。MWE的语义不能在组合其组成部分的语义之后表达。因此，语义聚类的形式主义通常被视为提取MWE的工具，特别是对于孟加拉语等资源约束语言。本语义聚类方法有助于定位存在于文档中的同义名词标记的聚类。这些聚类反过来又有助于使用向量空间模型来测量潜在候选短语的组成词之间的相似性，并判断该短语是否适合作为MWE。在这个实验中，我们将语义聚类方法应用于名词-名词二元语法MWE，尽管它可以扩展到任何类型的MWE。同时，著名的统计模型，即逐点互信息（PMI），对数似然比（LLR），显著性函数也被用来提取MWE从孟加拉语语料库。比较评估表明，语义聚类方法优于所有其他竞争的统计模型。作为这项实验的副产品，我们已经开始开发一个标准的孟加拉语词典，作为一个生产孟加拉语词库。
2014-01-23 cs.CL
Idiomatic Expression Identification using Semantic Compatibility
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
习惯表达是自然语言的一个组成部分，并不断地被添加到语言中。由于它们的非组合性以及它们根据具体上下文具有比喻或字面意义的能力，它们一直是NLP系统的经典挑战。为了解决这一挑战，我们研究了检测句子是否具有惯用表达并将其本地化的任务。针对该任务的现有技术研究了特定类别的惯用表达，提供了它们对新惯用法的可推广性的有限视图。我们提出了一个多阶段的神经结构与注意力流机制来识别这些表达式。该网络有效地融合上下文和词汇信息在不同层次上使用词和子词表示。三个最大的基准数据集的不同的句法模式和程度的非组合性的惯用表达的实证评估表明，我们提出的模型实现了新的国家的最先进的结果。该模型的一个显着特点是能够识别训练过程中看不到的习语，在最大数据集上的竞争基线上获得1.4%至30.8%的收益。
2021-10-19 cs.CL
Classifying Idiomatic and Literal Expressions Using Topic Models and Intensity of Emotions
Montclair State University（蒙特克莱尔州立大学）；Bauman State Technical University（鲍曼国立技术大学）
我们描述了一个自动分类的成语和文字表达的算法。我们的出发点是，在一个给定的文本片段，如一个段落，是一个共同的讨论主题的高级代表的话不太可能是一个习惯表达的一部分。我们的另一个假设是，习语发生的背景下，通常，更有情感，因此，我们纳入了一个简单的分析的强度的情绪表达的背景。我们调查袋的话主题表示的一至三个段落包含一个表达式，应被归类为成语或字面（目标短语）。我们使用无监督聚类方法，潜在狄利克雷分配（LDA）（Blei等人，2003年）。由于习惯表达具有非组合性，我们假设它们通常呈现出与局部主题中使用的词不同的语义。我们把习语看作是语义离群点，而语义转移的识别就是离群点检测。因此，这种主题表示允许我们使用局部语义上下文来区分习语和字面意思。我们的成果令人鼓舞。
2018-02-27 cs.CL
Pronoun Resolution in Japanese Sentences Using Surface Expressions and Examples
本文提出了一种利用实例、表层表达、主题和焦点来估计日语句子中指示代词、人称代词和零代词的指称对象的方法。与传统的工作，这是语义标记的语义约束，我们使用的例子，语义约束，并在我们的实验表明，例子是有用的语义标记。我们还提出了许多新的方法来估计代词的所指。例如，我们用"X of Y“的形式来估计指示形容词的指称对象。除了我们的新方法外，我们还使用了许多传统方法。实验结果表明，使用这些方法对训练句的指示代词、人称代词和零代词的指称物估计的准确率为87%，对测试句的准确率为78%。
1999-12-13 cs.CL
Don't Blame Distributional Semantics if it can't do Entailment
Universitat Pompeu Fabra（庞培法布拉大学）
分布语义学在计算语言学和认知科学中在建模各种语义现象（例如语义相似性）方面取得了巨大的经验成功，并且分布模型广泛用于最先进的自然语言处理系统中。然而，分布语义学在更广泛的语言和认知理论中的理论地位仍然不清楚：分布语义学模型是什么？它本身能成为语言表达意义的一个充分适当的模型吗？标准的答案是，分布语义学在这方面并不充分，因为它在形式语义学方法的一些核心方面有所欠缺：真值条件，蕴涵，引用和组合性的某些方面。我们认为，这个标准答案基于一个误解：这些方面不属于表达意义的理论，它们是说话者意义的方面，即，在特定语境下的交际意图。一句口号是：言语不指代，说话者指代。澄清这一点使我们能够认为，分布语义学本身就是一个适当的表达意义的模型。我们的建议揭示了分布语义在更广泛的语言和认知理论中的作用，它与形式语义的关系，以及它在计算模型中的地位。
2019-05-17 cs.AI cs.CL cs.IR
Effective weakly supervised semantic frame induction using expression sharing in hierarchical hidden Markov models
University of Antwerp（安特卫普大学）；KU Leuven（鲁汶大学）；TEXTGAIN
我们提出了一个框架，从话语中的自适应命令和控制界面的语义框架的感应。该系统是在单个用户的话语和表示控件的相应语义框架上训练的。在训练期间，没有关于话语段与帧时隙和值之间的对准的先验信息可用。此外，训练数据中的语义帧可以包含未在话语中表达的信息。为了解决这个弱监督分类任务，我们提出了一个基于隐马尔可夫模型（HHRM）的框架。结构修改，导致一个层次的HMM，和一个扩展称为表达式共享的介绍，以尽量减少训练时间和用户所需的工作量。用于本研究的数据集是PATCOR，其中包含在语音引导的纸牌游戏Patience的上下文中发出的命令。实验进行了正字法和语音的命令，分割不同级别的n-gram粒度。实验结果表明，所有研究的系统扩展的积极影响，与不同的输入表示之间的一些效果差异。最后，通过对最优系统配置下的Hold out数据进行评价实验，证明了该扩展系统能够以相对较少的训练数据达到较高的精度。
2019-01-30 cs.CL
