Solving Sinhala Language Arithmetic Problems using Neural Networks
Sri Lanka Institute of Information Technology（斯里兰卡信息技术学院）
提出了一种利用神经网络解决僧伽罗语中算术问题的方法。该系统包括（a）关键字识别、（b）问题识别、（c）数学运算识别，并使用神经网络进行组合。朴素贝叶斯分类用于识别关键字，条件随机场用于识别问题以及应在识别的关键字上执行的操作，以达到预期的结果。“一对所有分类”是使用句子的神经网络完成的。通过神经网络将所有函数组合起来，建立一个方程来求解问题。本文将ARIS和Mahoshadha中的每种方法与本文中提出的方法进行了比较。Mahoshadha2学习解决算术问题，准确率为76%。
2018-09-11 cs.CL
Solving Arithmetic Word Problems Automatically Using Transformer and Unambiguous Representations
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
构建精确和自动的数学应用题求解器已被证明是相当具有挑战性的。使用机器学习的先前尝试已经在特定于数学单词问题的语料库上进行了训练，以在答案计算之前产生中缀符号的算术表达式。我们发现定制的神经网络很难很好地推广。本文概述了Transformer网络的使用，该网络经过训练，可以将数学应用题转换为中缀、前缀和后缀表示法中的等效算术表达式。除了直接在特定领域的语料库上进行训练外，我们还使用了一种在一般文本语料库上进行预训练的方法，以提供基本的语言能力来探索它是否能提高性能。我们比较了大量神经配置产生的结果，发现大多数配置在四个数据集中的三个数据集上的性能优于先前报道的方法，准确性显著提高了20个百分点以上。与以前的技术水平相比，最好的神经方法平均将准确率提高了近10%。
2019-12-02 cs.CL cs.LG stat.ML
Learning Multi-Step Reasoning by Solving Arithmetic Tasks
Singapore University of Technology and Design（新加坡科技设计大学）
本文针对小型语言模型缺乏多步推理能力的问题，提出在合成多步算术任务数据集 MsAT 上持续预训练，并在四个数学应用题数据集上验证了其增强数学推理的效果。
2023-06-07 cs.CL
Towards Understanding Linear Word Analogies
Vector Institute（向量研究所）；University of Toronto（多伦多大学）
该研究针对非线性SGNS词向量模型中向量运算可求解词类比的现象，在无强假设下给出形式化解释，证明关系比率猜想对SGNS成立，解释词向量加法的降权特性及欧氏距离的信息论意义。
2026-09-07 cs.CL
Reverse Operation based Data Augmentation for Solving Math Word Problems
Kyoto University（京都大学）；Peking University（北京大学）；Waseda University（早稻田大学）
数学应用题的自动求解是自然语言处理领域的一个重要课题。最近的模型已经达到了性能瓶颈，需要更多高质量的数据进行训练。我们提出了一种新的数据增强方法，该方法反转数学应用题的数学逻辑，以产生新的高质量数学问题，并引入新的知识点，可以帮助学习数学推理逻辑。我们将增强的数据应用于两个SOTA数学单词问题解决模型，并将我们的结果与强大的数据增强基线进行比较。实验结果表明了该方法的有效性。我们在https://github.com/yiyunya/RODA上发布我们的代码和数据。
2021-11-10 cs.CL
Vector Arithmetic in Concept and Token Subspaces
Northeastern University（东北大学）
该研究通过概念和令牌子空间的向量算术揭示语言模型中的语义与表层信息结构。
2025-11-22 cs.CL
D-Bees: A Novel Method Inspired by Bee Colony Optimization for Solving Word Sense Disambiguation
词义消歧是计算语言学领域的一个问题，它是指在一定的语境中，找到一个词（或一组词）的预期意义。词义消歧最近被认为是一个组合优化问题，其目标是找到一个最大化目标词之间语义相关性的意义序列。在这篇文章中，一种新的算法来解决的WSD问题称为D-Bees提出的启发，蜂群优化（BCO）人工蜜蜂代理合作解决问题。在标准数据集（SemEval 2007粗粒度英语全词任务语料库）上评估D-Bees算法，并将其与模拟退火、遗传算法和两种蚁群优化技术（ACO）进行比较。可以看出，BCO和ACO的方法是相同的。
2014-05-06 cs.CL
Mapping to Declarative Knowledge for Word Problem Solving
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）
数学应用题形成了一系列定量推理问题的自然抽象，例如理解金融新闻，体育比赛结果和战争伤亡。解决这样的问题需要理解的几个数学概念，如量纲分析，子集关系等，在本文中，我们开发的声明性规则，管理这些概念的自然语言描述的数学表达式的翻译。然后，我们提出了一个框架，将这样的陈述性知识的文字问题解决。我们的方法通过学习为解决方案表达式的每个操作选择相关的声明性知识，来学习将算术单词问题文本映射到数学表达式。这提供了一种在同一问题中处理多个概念的方法，同时支持答案表达式的可解释性。我们的方法将声明性知识的映射建模为潜在变量，从而消除了对昂贵注释的需求。实验评估表明，我们的领域知识为基础的求解器优于所有其他系统，它更好地概括在现实的情况下，它所暴露的训练数据是有偏见的以不同的方式比测试数据。
2017-12-26 cs.CL
Quantity Tagger: A Latent-Variable Sequence Labeling Approach to Solving Addition-Subtraction Word Problems
StatNLP Research Group（StatNLP研究小组）；Singapore University of Technology and Design（新加坡科技设计大学）
算术题通常包括一个包含几个常量的文本描述。解决问题的关键是揭示量之间的潜在数学关系（如加法和减法），然后生成方程来求解。这项工作提出了一种新的方法，数量标记，自动发现这种隐藏的关系，通过标记每个数量与一种类型的数学运算对应的符号。对于每一个量，我们假设存在一个潜在的，可变大小的量跨度周围的文本中的数量令牌，它传达的信息，用于确定其符号。实验结果表明，与现有方法相比，我们的方法在两个数据集上分别实现了5和8个点的准确性增益。
2019-08-31 cs.CL
Semantically-Aligned Equation Generation for Solving and Reasoning Math Word Problems
National Taiwan University（国立台湾大学）
解决数学应用题是一项具有挑战性的任务，需要准确的自然语言理解来连接自然语言文本和数学表达式。基于人类对数学应用题文本生成公式的直觉，提出了一种基于文本语义的符号操作神经网络方法，用于数学应用题的自动求解.本文将方程的生成过程视为语义世界和符号世界之间的桥梁，提出的神经数学求解器基于编码器-解码器框架。在该模型中，编码器被设计为理解问题的语义，而解码器则专注于跟踪生成的符号的语义，然后决定下一步生成哪个符号。初步的实验是在一个数据集Math 23 K，我们的模型显着优于国家的最先进的单一模型和最好的非检索为基础的模型超过约10%的准确性，证明了有效的桥梁符号和语义世界的数学单词问题。
2019-06-09 cs.CL
Algorithmic Phase Transitions in Language Models: A Mechanistic Case Study of Arithmetic
Carnegie Mellon University（卡内基梅隆大学）；Dartmouth College（达特茅斯学院）
该研究定义并探究语言模型的算法稳定性，以双操作数算术为案例发现Gemma-2-2b在位数不同的加法子任务上采用不同计算模型，指出算法不稳定性或影响逻辑推理零样本性能。
2024-12-10 cs.CL
Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对大语言模型（LLMs）解决数学应用题（MWPs）的推理难题，本文提出基于计算图检索相似问题作为示例的类比学习方法，在六个数据集上实现平均6.7%的绝对性能提升，有效增强LLMs的MWP求解能力。
2024-11-25 cs.CL
Improving Compositional Generalization in Math Word Problem Solving
East China Normal University（华东师范大学）；Singapore Management University（新加坡管理大学）
组合泛化是指模型基于在训练期间观察到的数据组件泛化到新组合的输入数据的能力。由于概括是语言和问题解决技能的一个重要方面，它引发了一系列关于不同任务的合成概括分析。然而，对数学应用题（MWPs）的类似讨论是有限的。本文研究了MWP求解中的合成泛化问题。具体来说，我们首先介绍了一种数据分割方法，从现有的MWP数据集创建组合分裂。同时，我们综合数据来隔离成分的影响。为了提高MWP求解中的组合泛化能力，我们提出了一种迭代数据增强方法，该方法将不同的组合变化纳入训练数据中，并可与MWP方法协作。在评估过程中，我们检查了一组方法，发现它们在评估的数据集上都遇到了严重的性能损失。我们还发现我们的数据增强方法可以显着提高一般MWP方法的合成概括。代码可在https://github.com/demoleiwang/CGMWP上获得。
2022-09-03 cs.CL
Vocab Diet: Reshaping the Vocabulary of LLMs via Vector Arithmetic
The Hebrew University of Jerusalem（海法大学）
本文提出通过向量运算重塑LLM词汇，利用变换向量替代单一词表，减少词汇槽位占用，提升多语言覆盖和多样性，同时保持下游性能。
2026-04-20 cs.CL
Task Arithmetic with Support Languages for Low-Resource ASR
本文提出通过任务算术结合不同任务训练的模型，提升低资源语言ASR性能，实验显示在23种语言上词错误率提升达10%。
2026-03-15 cs.CL
Solving Cosine Similarity Underestimation between High Frequency Words by L2 Norm Discounting
University of Liverpool（利物浦大学）；Cardiff University（卡迪夫大学）；Amazon（亚马逊）
针对BERT等掩码语言模型中高频词余弦相似度低估问题，提出基于词频的L2范数折扣方法，并针对停用词特殊处理，有效解决了相似度低估现象。
2023-05-17 cs.CL
ComSearch: Equation Searching with Combinatorial Strategy for Solving Math Word Problems with Weak Supervision
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Xiaomi AI Lab（小米人工智能实验室）；Peking University（北京大学）
以往的研究已经引入了一个弱监督的范式来解决数学应用题，只需要答案值注释。当这些方法搜索作为伪标签的正确值方程候选时，它们在巨大的方程空间的狭窄子空间中搜索。为了解决这个问题，我们提出了一种新的搜索算法与组合策略\textbf{ComSearch}，它可以压缩搜索空间，排除数学等价方程。压缩允许搜索算法枚举所有可能的方程并获得高质量的数据。我们研究了伪标签中包含错误数学逻辑的噪声，我们称之为\textit{false-matching}问题，并提出了一个排序模型来消除伪标签。我们的方法拥有一个灵活的框架，利用现有的两个有监督的数学单词问题求解器训练伪标签，并在弱监督任务中实现最先进的性能。
2023-03-07 cs.CL
Seeking Diverse Reasoning Logic: Controlled Equation Expression Generation for Solving Math Word Problems
Meituan（美团）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
为了解决数学应用题，人类学生利用不同的推理逻辑，达到不同的可能方程的解决方案。然而，自动求解器的主流序列到序列方法旨在解码由人类注释监督的固定解方程。在本文中，我们提出了一个控制方程生成求解器，利用一组控制代码来引导模型考虑一定的推理逻辑和解码相应的方程表达式转换从人类的参考。实验结果表明，我们的方法普遍提高了单未知（Math23K）和多未知（DRAW1K，HMWP）基准测试的性能，在具有挑战性的多未知数据集上的准确率大幅提高了13.2%。
2022-11-30 cs.CL
How well do Large Language Models perform in Arithmetic tasks?
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
本研究提出了算术数据集 MATH 401，用于评估 GPT-4、ChatGPT 等大型语言模型在各类算术表达式上的计算能力，填补了该领域评测空白并进行了详细分析。
2023-03-16 cs.AI cs.CL
Verb Categorisation for Hindi Word Problem Solving
IIIT-Hyderabad（海得拉巴国际信息技术学院）
针对印地语算术应用题求解任务，该研究构建了基于动词分类的规则式求解器，创建了印地语动词分类数据，并对比了多种动词分类方法的效果。
2023-12-18 cs.AI cs.CL
Textual Enhanced Contrastive Learning for Solving Math Word Problems
Meituan（美团）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
数学应用题的求解是一项分析量之间关系的任务，需要准确理解上下文自然语言信息。最近的研究表明，目前的模型依赖于浅层次的几何学来预测解决方案，很容易被小的文本扰动所误导。为了解决这个问题，我们提出了一个文本增强的对比学习框架，该框架强制模型区分语义相似的例子，同时保持不同的数学逻辑。我们采用自我监督的方式策略，通过文本重新排序或问题重构来丰富具有细微文本差异的示例。然后，我们从等式和文本的角度检索最难区分的样本，并引导模型学习它们的表示。实验结果表明，我们的方法在广泛使用的基准数据集和精心设计的中英文挑战数据集上都达到了最先进的水平。\footnote {我们的代码和数据可在\url{https://github.com/yiyunya/Textual_CL_MWP}获得
2022-11-29 cs.CL
Translating a Math Word Problem to an Expression Tree
UESTC（电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
序列到序列（SEQ2SEQ）模型已成功地应用于自动数学应用题解决。尽管它很简单，但仍然存在一个缺点：一个数学应用题可以通过多个方程正确解决。这种非确定性的转换损害了最大似然估计的性能。本文考虑到表达式树的唯一性，提出了一种公式规范化方法，对重复公式进行规范化处理。此外，我们分析了三个流行的SEQ2SEQ模型的数学应用题解决的性能。我们发现每种模型在解决问题时都有其独特之处，因此提出了一种集成模型来结合它们的优点。在Math23K数据集上的实验表明，基于方程归一化的集成模型的性能明显优于现有的方法。
2018-11-15 cs.CL
Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving
Yildiz Technical University（伊尔德兹技术大学）；Kadir Has University（卡迪尔哈斯大学）
本研究针对数学应用题求解提出多种数据增强方法，并引入基于Llama-7b的上下文学习增强，在9个基线模型上验证了其有效性，且拼接多源增强示例可进一步提升性能。
2024-04-05 cs.CL
Data-Driven Methods for Solving Algebra Word Problems
University of Washington（华盛顿大学）
我们探索当代的，数据驱动的技术来解决最近的大规模数据集的数学应用题。我们表明，经过良好调整的神经方程分类器可以在这些数据集上胜过更复杂的模型，如序列到序列和自我注意。我们的错误分析表明，虽然完全数据驱动的模型显示出一些承诺，语义和世界知识是必要的进一步发展。
2018-04-28 cs.AI cs.CL
Seeking Patterns, Not just Memorizing Procedures: Contrastive Learning for Solving Math Word Problems
Tencent Cloud Xiaowei（腾讯云小微）；Peking University（北京大学）
数学应用题解决需要发现自然语言叙述中的数量关系。最近的工作表明，现有的模型从上下文中记忆过程，并依赖于浅层算法来解决MWPs。在本文中，我们看看这个问题，并认为，原因是缺乏全面的了解MWP模式。我们首先研究了神经网络如何只从语义上理解模式，并观察到，如果原型方程是相同的，大多数问题得到更接近的表示和那些表示除了他们或接近其他原型往往会产生错误的解决方案。受此启发，我们提出了一种对比学习方法，其中神经网络感知模式的分歧。我们通过将原型方程转化为树并寻找相似的树结构来收集对比实例。求解模型在收集的示例上使用辅助目标进行训练，从而使具有相似原型的问题的表示更加接近。我们在中文数据集Math23k和英文数据集MathQA上进行了实验。我们的方法大大提高了单语和多语言设置的性能。
2022-03-10 cs.CL
MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based Formalisms
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们介绍了一个大规模的数学应用题数据集和一个可解释的神经数学问题求解器，它学会将问题映射到操作程序。由于注释方面的挑战，该领域目前的数据集要么规模相对较小，要么没有为各种问题类型提供精确的操作注释。我们引入了一种新的表示语言来模拟精确的操作程序，对应于每个数学问题，旨在提高学习模型的性能和可解释性。使用这种表示语言，我们的新数据集MathQA通过完全指定的操作程序显着增强了AQuA数据集。我们还介绍了一个神经序列程序模型，增强了自动问题分类。我们的实验表明，我们的MathQA以及AQuA数据集的竞争基线有所改进。结果仍然明显低于人类的表现，这表明该数据集为未来的研究提出了新的挑战。我们的数据集可在：https://math-qa.github.io/math-QA/
2019-05-30 cs.CL
OLGA : An Ontology and LSTM-based approach for generating Arithmetic Word Problems (AWPs) of transfer type
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
算术应用题（AWP）的机器生成具有挑战性，因为它们表达了数量和数学关系，并且需要一致。ML求解器需要一个带有语言变体的大型注释训练集。利用领域知识进行一致性检查是必要的，而基于LSTM的方法对于产生具有语言变体的文本是很好的。结合这些，我们提出了一个系统，OLGA，产生一致的TC（Transfer-Case）类型的字的问题，涉及代理之间的对象转移。虽然我们提供了一个用于训练的一致的2-agent TC问题的数据集，但只有大约36%的基于LSTM的生成器的输出是一致的。我们使用的TC-Ontology的扩展，我们以前提出的，以确定问题的一致性。在剩下的64%中，大约40%有轻微的错误，我们使用相同的本体修复。为了检查一致性和修复过程，我们构造了一个自动生成问题的实例特定表示（ABox）。我们使用一个句子分类器和BERT模型来完成这个任务。这些LM的训练集是问题文本，其中，用本体类名注释了重复部分。随着三代理问题的时间越来越长，基于LSTM的方法产生的一致性问题的百分比会进一步下降。因此，我们提出了一个基于本体的方法，扩展一致的2-代理问题一致的3-代理问题。总的来说，我们的方法产生了大量的一致的TC型AWP涉及2或3代理。由于ABox拥有问题的所有信息，因此也可以生成任何注释。采用所提出的方法来生成其他类型的AWP是未来有趣的工作。
2022-11-22 cs.AI cs.CL cs.IR
Solving Historical Dictionary Codes with a Neural Language Model
DiDi Labs（滴滴实验室）
我们解决困难的基于单词的替代代码，通过构建一个解码格和搜索该格与神经语言模型。我们将我们的方法应用于从美国国会图书馆获得的18世纪末和19世纪初美国陆军将军詹姆斯·威尔金森与西班牙王室特工之间交换的一组加密信件。我们能够正确地破译75.1%的密码令牌。
2020-10-09 cs.CL
Solving Math Word Problem with Problem Type Classification
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
针对单一数学应用题求解器存在的适用范围有限、易过拟合的问题，研究提出结合问题类型分类的集成方法，同时对两类求解器分别采用集成技术，有效提升了数学应用题求解性能。
2023-08-26 cs.CL
TaxoLLaMA: WordNet-based Model for Solving Multiple Lexical Semantic Tasks
HSE University（高等经济大学）；Skoltech（斯科尔科沃科学技术研究院）；AIRI（人工智能研究院）；Universität Hamburg（汉堡大学）
本文提出TaxoLLaMA，一个基于LLaMA-2-7b并采用4-bit量化和LoRA的轻量级一体化模型，在16个词汇语义任务中取得11项SotA和4项top-2结果，并展现出强大的零样本及多语言领域适应能力。
2024-06-17 cs.CL
Explaining Math Word Problem Solvers
St. Olaf College（圣奥拉夫学院）；University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本研究通过扰动输入并评估模型性能，发现神经数学应用题求解器依赖表面词语而非语义逻辑，存在过拟合现象。
2023-07-24 cs.CL
Solving Math Word Problems by Combining Language Models With Symbolic Solvers
Stanford University（斯坦福大学）
本文提出将 LLM 增量形式化出的变量与方程交给外部符号求解器，在 GSM8K 上媲美 PAL，并在更难的 ALGEBRA 数据集上绝对提升 20%。
2023-04-16 cs.AI cs.CL
Solving Math Word Problems with Double-Decoder Transformer
提出了一种基于Transformer的数学应用题方程生成模型。当不使用复制和对齐机制时，它比RNN模型取得了更好的结果，并且可以胜过复杂的复制和对齐RNN模型。我们还表明，训练一个Transformer共同在一个生成任务与两个解码器，从左到右和从右到左，是有益的。这样的Transformer比仅具有一个解码器的Transformer性能更好，这不仅是因为集成效应，而且还因为它改进了编码器训练过程。我们还尝试将强化学习添加到我们的模型中，与MLE训练相比，表现出更好的性能。
2019-08-28 cs.CL cs.LG
$K$-MSHC: Unmasking Minimally Sufficient Head Circuits in Large Language Models with Experiments on Syntactic Classification Tasks
Dartmouth College（达特茅斯学院）
本文提出$K$-MSHC方法及Search-K-MSHC算法，用于识别大语言模型中执行分类任务所需的最小注意力头集合，并在Gemma-9B上通过三类句法任务实验揭示了任务特定的头电路组织与跨任务重叠模式。
2025-06-05 cs.CL cs.LG
Program Induction by Rationale Generation : Learning to Solve and Explain Algebraic Word Problems
DeepMind；University of Oxford（牛津大学）
解决代数应用题需要执行一系列算术运算-一个程序-以获得最终答案。然而，由于程序可以是任意复杂的，直接从问答对中归纳它们是一个巨大的挑战。为了使这项任务更加可行，我们通过生成答案推理、自然语言序列和人类可读的数学表达式来解决这些问题，这些表达式通过一系列小步骤得出最终答案。虽然基本原理没有明确地指定程序，但它们通过中间里程碑为它们的结构提供了一个脚手架。为了评估我们的方法，我们创建了一个新的100，000个样本的问题，答案和理由数据集。实验结果表明，间接监督程序学习的答案理据是一个很有前途的战略，诱导算术程序。
2017-10-23 cs.AI cs.CL cs.LG
Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems
Embibe
数学推理将是人工智能取得重大进展的下一个前沿领域之一。解决数学应用题（MWPs）并因此获得更好的数学推理能力的持续激增将继续成为未来研究的关键。我们检查非神经和神经的方法来解决以自然语言叙述的数学应用题。我们还强调了这些方法的能力是可推广的，数学上合理的，可解释的和可解释的。神经方法主导了当前的最新技术水平，我们调查了它们，强调了MWP求解的三种策略：（1）直接答案生成，（2）用于推断答案的表达式树生成，以及（3）用于答案计算的模板检索。此外，我们还讨论了技术方法，回顾了直观的设计选择的演变，以解决MWPs，并检查他们的数学推理能力。我们最终确定了几个差距，保证需要外部知识和知识注入学习，在解决MWPs的其他几个机会。
2021-10-29 cs.AI cs.CL
Solving Word-Sense Disambiguation and Word-Sense Induction with Dictionary Examples
University of Ljubljana（卢布尔雅那大学）
针对资源匮乏语言缺乏大型数据集的问题，提出利用LLMs从词典例句生成句子对以解决语境词任务，并进而适应词义消歧和词义归纳任务，在斯洛文尼亚语上优于现有模型。
2025-03-06 cs.AI cs.CL
Lexical Acquisition via Constraint Solving
本文介绍了一种自动获取未登录词句法和语义分类的方法。我们的方法减少了搜索空间的词汇习得问题，同时利用左，右上下文的未知词。链接语法提供了一个方便的框架来实现我们的方法。
1995-02-22 cmp-lg cs.CL
Learning to Reason Deductively: Math Word Problem Solving as Complex Relation Extraction
Singapore University of Technology and Design（新加坡科技设计大学）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
解决数学应用题需要对文本中的量进行演绎推理。最近的各种研究工作主要依赖于序列到序列或序列到树模型来生成数学表达式，而不显式地执行给定上下文中的量之间的关系推理。虽然在经验上是有效的，但这种方法通常不提供对所生成的表达式的解释。在这项工作中，我们认为任务是一个复杂的关系抽取问题，提出了一种新的方法，提出了可解释的演绎推理步骤，迭代地构建目标表达式，其中每一步都涉及一个原始的操作两个数量定义它们的关系。通过对四个基准数据集的广泛实验，我们表明所提出的模型显着优于现有的强基线。我们进一步证明，演绎过程不仅提出了更多的可解释的步骤，但也使我们能够作出更准确的预测问题，需要更复杂的推理。
2022-09-15 cs.CL cs.LG
Guiding Word Equation Solving using Graph Neural Networks (Extended Technical Report)
Uppsala University（乌普萨拉大学）；University of Regensburg（雷根斯堡大学）
本文提出基于尼尔森变换的图神经网络引导词方程求解算法，通过五种图表示编码结构信息，将拆分决策作为多分类任务，实现求解器DragonLi，在可满足问题及多方程合取上表现优异。
2024-11-19 cs.AI cs.CL cs.LG
Analogical Math Word Problems Solving with Enhanced Problem-Solution Association
University of Notre Dame（圣母大学）；Hong Kong University of Science and Technology（香港科技大学）
数学应用题解决是问答中的一项重要任务，它要求学生具有类人推理能力。类比推理在数学教育中应用已久，因为它使学生能够应用数学情境中常见的关系结构来解决新问题。在本文中，我们建议建立一个新的MWP求解器，利用类比MWP，提高求解器的泛化能力，在不同种类的MWP。其核心思想是将相似的MWP对关联到一个潜在空间中，即，编码接近另一个类比MWP的MWP，而远离非类比MWP。此外，一个解决方案，集成到MWP求解器，以增强MWP的表示和他们的真正的解决方案之间的关联。评估结果验证了我们提出的类比学习策略在Math 23 k上的MWP-BERT性能优于最先进的Generate 2 Rank模型，编码器中的参数减少了5倍。我们还发现，我们的模型具有更强的泛化能力，在解决困难的MWPs由于类比学习容易MWPs。
2022-12-01 cs.AI cs.CL
Solving Math Word Problems with Reexamination
National University of Singapore（新加坡国立大学）；University of Electronic Science and Technology of China（电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出一种与模型无关的伪对偶（PseDual）学习方案，通过引入数字填充任务及计划融合策略实现训练中的复查过程，有效提升了多种数学应用题求解器的性能。
2023-11-20 cs.AI cs.CL
Solving Verbal Comprehension Questions in IQ Test by Knowledge-Powered Word Embedding
The University of Virginia（弗吉尼亚大学）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Yidian Inc（一点公司）
智商测试是一套标准化的问题，旨在评估人类的智力。言语理解题是智商测试中经常出现的一种题型，它主要测试人的言语能力，包括对多义词、同义词和反义词的理解，以及词与词之间的类比。在这项工作中，我们探索此类测试是否可以通过人工智能技术自动解决，特别是最近开发并成功应用于多个领域的深度学习技术。然而，我们发现这项任务相当具有挑战性，并且简单地应用现有技术（例如，词嵌入）不能取得很好的效果，这主要是由于词的多义性和词之间的复杂关系。为了应对这些挑战，我们提出了一个新的框架，包括三个组成部分。首先，我们建立一个分类器来识别口头问题的特定类型（例如，类比、分类、同义词或反义词）。其次，我们获得分布式表示的单词和关系，利用一种新的词嵌入方法，考虑到多意义的单词和字典中包含的单词（或其意义）之间的关系知识。第三，对于每种类型的问题，我们提出了一个具体的解决方案的基础上获得的分布式单词表示和关系表示。实验结果表明，所提出的框架不仅可以优于现有的方法来解决口头理解问题，但也超过了亚马逊机械土耳其工人参与研究的平均表现。结果表明，适当使用深度学习技术，我们可能会更接近人类的智能。
2016-04-26 cs.CL cs.IR cs.LG
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology（阿萨努拉科技大学）
本文构建含10,000道题的PatiGonit数据集，并微调多种Transformer模型求解孟加拉语数学应用题，其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY
A Diversity-Enhanced Knowledge Distillation Model for Practical Math Word Problem Solving
Faculty of Artificial Intelligence in Education, Central China Normal University（华中师范大学教育人工智能学院）；School of Information and Safety Engineering, Zhongnan University of Economics and Law（中南财经政法大学信息与安全工程学院）；School of Computer, Central China Normal University（华中师范大学计算机学院）；Information Retrieval and Knowledge Management Research Lab, York University（约克大学信息检索与知识管理研究实验室）
针对 Seq2Seq 类 MWP 求解器难以生成多样等价方程的问题，提出 DivKD，通过自适应知识蒸馏和条件变分自编码器增强学生模型，在四个基准上提升准确率且保持高效。
2025-01-07 cs.AI cs.CL
Solving puzzles described in English by automated translation to answer set programming and learning how to do that translation
Arizona State University（亚利桑那州立大学）
我们提出了一个系统，能够自动解决组合逻辑难题（简化）英语。它涉及到翻译成答案集编程（ASP）的难题的英文描述，并使用ASP求解器提供的难题的解决方案。为了翻译这些描述，我们使用了一种基于概率组合范畴语法（PCCG）的基于微积分的方法，其中单词的含义与参数相关联，以便能够区分同一单词的多种含义。许多单词的含义和参数都是学习的。在ASP中使用适用于大量逻辑谜题的本体来表示谜题。
2011-08-18 cs.AI cs.CL cs.LO
WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems
Flipkart（Flipkart公司）；IIT Bombay（印度理工学院孟买分校）；Quadeye（Quadeye公司）；IBM India Research Lab（IBM印度研究实验室）
针对数学应用题求解需全量方程标注成本高的问题，提出仅用最终答案监督的弱监督模型WARM，先学生成方程再训练求解器，性能优于现有弱监督方法，还发布多语言数据集并拓展半监督版本。
2023-06-13 cs.CL cs.LG
Analyzing Structures in the Semantic Vector Space: A Framework for Decomposing Word Embeddings
Technische Universität Darmstadt（达姆施塔特工业大学）
词嵌入是丰富的词表示，与深度神经网络相结合，可以为许多NLP任务带来巨大的性能提升。然而，词嵌入由密集的实值向量表示，因此它们不能直接解释。因此，基于它们的计算操作也没有得到很好的理解。在本文中，我们提出了一种方法来分析语义向量空间中的结构，以更好地理解潜在的语义编码原则。我们提出了一个框架分解词嵌入到更小的有意义的单位，我们称之为子向量。该框架开辟了一个广泛的可能性分析现象的向量空间语义，以及解决具体的自然语言处理问题：我们介绍了类别完成任务，并表明，基于子向量的方法优于监督技术;我们提出了一个基于子向量的方法来解决单词类比任务，大大优于传统的向量偏移方法的不同变体。
2019-12-17 cs.CL cs.LG
