Investigating the Impact of Word Informativeness on Speech Emotion Recognition
University of Helsinki(赫尔辛基大学)
本文提出利用预训练语言模型计算的词语信息量筛选语义重要语音片段,并仅在这些片段上提取声学特征,从而有效提升语音情感识别性能。
2025-06-02 cs.CL eess.AS
Solving Math Word Problems by Combining Language Models With Symbolic Solvers
Stanford University(斯坦福大学)
本文提出将 LLM 增量形式化出的变量与方程交给外部符号求解器,在 GSM8K 上媲美 PAL,并在更难的 ALGEBRA 数据集上绝对提升 20%。
2023-04-16 cs.AI cs.CL
When Not to Answer: Evaluating Prompts on GPT Models for Effective Abstention in Unanswerable Math Word Problems
Islamic University of Technology(伊斯兰理工大学);University of California, Riverside(加州大学河滨分校)
本文通过UWMP数据集和GPT模型API实验,评估提示方法对GPT在不可解答数学应用题中有效弃权(不执行)的作用,揭示其幻觉缺陷并提出改进方向。
2024-10-16 cs.CL cs.LG
Learning to Substitute Words with Model-based Score Ranking
Duke University(杜克大学)
针对词语替换依赖人工标注且主观性强的问题,提出用BARTScore定义替换分布并设计对齐句子评分的损失函数,实现无标注学习,性能超过BERT、BART、GPT-4和LLaMA。
2025-02-14 cs.AI cs.CL
Large Language Models Don't Make Sense of Word Problems. A Scoping Review from a Mathematics Education Perspective
University of Education Freiburg(弗赖堡教育学院);KU Leuven(鲁汶大学);Technical University of Munich(慕尼黑工业大学);Portland State University(波特兰州立大学)
从数学教育视角的范围综述发现,最新LLMs虽能近乎完美解决常规应用题,但在处理需结合现实背景的题目时存在弱点,仅掌握表面求解过程,限制了其教学价值。
2025-08-09 cs.CL math.HO
Are Large Language Models Really Robust to Word-Level Perturbations?
Columbia University(哥伦比亚大学);Tsinghua University(清华大学);The University of Sydney(悉尼大学);JD Explore(京东探索研究院);Tencent AI Lab(腾讯人工智能实验室)
本文提出 TREvaL,用预训练奖励模型评估 LLM 在开放式长对话中对词级扰动的鲁棒性,发现其普遍脆弱且 SFT、RLHF 后鲁棒性趋于下降。
2023-09-27 cs.AI cs.CL
Chat More If You Like: Dynamic Cue Words Planning to Flow Longer Conversations
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所);Beijing Xiaomi Mobile Software(北京小米移动软件有限公司)
构建一个开放域的多话轮会话系统是人工智能领域最有趣和最具挑战性的研究课题之一。许多研究工作致力于构建这样的对话系统,但很少有人阐明在一个正在进行的对话中的会话流建模。此外,人们在谈话中谈论高度相关的方面是很常见的。而且话题连贯、漂移自然,这说明了对话流建模的必要性。为此,我们提出了多轮提示词驱动的会话系统与强化学习方法(RLCw),努力选择一个自适应的提示词与最大的未来信用,从而提高质量的生成的反应。我们引入了一个新的奖励来衡量的有效性和相关性方面的线索词的质量。为了进一步优化模型的长期会话,本文采用了强化的方法。在真实数据集上的实验表明,我们的模型在模拟转弯、多样性和人类评估方面始终优于一组竞争基线。
2018-11-19 cs.CL
TreeCut: A Synthetic Unanswerable Math Word Problem Dataset for LLM Hallucination Evaluation
Columbia University(哥伦比亚大学)
本研究提出合成数据集TreeCut,通过树结构移除必要条件生成不可解数学题,实验发现其能有效诱发GPT-4o等大模型产生幻觉,并分析了影响幻觉率的相关因素。
2025-05-20 cs.AI cs.CL cs.LG
Automatic Generation of Socratic Subquestions for Teaching Math Word Problems
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
苏格拉底式提问是一种教育方法,通过向学生提出一系列深思熟虑的问题,让他们发现复杂问题的答案。生成教学合理的问题是具有挑战性的,需要理解的推理过程中涉及的问题。我们假设,这种提问策略不仅可以提高人类的表现,但也有助于数学应用题(MWP)解决者。在这项工作中,我们探索的能力,大语言模型(LM)在生成序列的问题,指导数学应用题解决。我们提出了各种基于输入条件和强化学习的引导问题生成方案。在自动和人类的质量评价,我们发现,LM约束与理想的问题属性生成优越的问题,提高了数学应用题求解器的整体性能。我们进行了初步的用户研究,以探讨这种问题生成模型在教育领域的潜在价值。结果表明,问题的难度水平起着重要的作用,在确定是否提问提高或阻碍人类的表现。我们讨论了在教育中使用这种提问策略的未来。
2022-11-23 cs.CL cs.CY cs.LG
Speech perception: a model of word recognition
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);Clarendon Institute(克拉伦登研究所);Faculty of Linguistics, Philology and Phonetics(语言学、语文学与语音学学院)
提出一个考虑声音相关性的语音感知模型,将单词视为下降动力学吸引子,词汇表偏短词,并分析误听下长短词解密行为差异。
2024-10-24 cond-mat.stat-mech cs.CL
Making "fetch" happen: The influence of social and linguistic context on nonstandard word growth and decline
在网络社区里,新词层出不穷:今天的“哈哈”可能会被明天的“lol”所取代。“在线写作的变化通常被视为一个社会过程,创新通过言语社区中的个人网络传播。但与其他类型的创新不同,语言变化是由它所参与的系统塑造和约束的。为了研究语言变化中社会因素和结构因素之间的联系,我们对在线社区Reddit中的非标准词增长进行了大规模分析。我们发现,在许多语言环境中的传播是增长的标志:出现在更多语言环境中的单词增长得更快,生存时间更长。我们还发现,社会传播可能发挥不太重要的作用,在解释字的增长和下降比以前假设的。
2018-02-13 cs.CL
Explaining Math Word Problem Solvers
St. Olaf College(圣奥拉夫学院);University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
本研究通过扰动输入并评估模型性能,发现神经数学应用题求解器依赖表面词语而非语义逻辑,存在过拟合现象。
2023-07-24 cs.CL
Reverse Operation based Data Augmentation for Solving Math Word Problems
Kyoto University(京都大学);Peking University(北京大学);Waseda University(早稻田大学)
数学应用题的自动求解是自然语言处理领域的一个重要课题。最近的模型已经达到了性能瓶颈,需要更多高质量的数据进行训练。我们提出了一种新的数据增强方法,该方法反转数学应用题的数学逻辑,以产生新的高质量数学问题,并引入新的知识点,可以帮助学习数学推理逻辑。我们将增强的数据应用于两个SOTA数学单词问题解决模型,并将我们的结果与强大的数据增强基线进行比较。实验结果表明了该方法的有效性。我们在https://github.com/yiyunya/RODA上发布我们的代码和数据。
2021-11-10 cs.CL
Translating a Math Word Problem to an Expression Tree
UESTC(电子科技大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
序列到序列(SEQ2SEQ)模型已成功地应用于自动数学应用题解决。尽管它很简单,但仍然存在一个缺点:一个数学应用题可以通过多个方程正确解决。这种非确定性的转换损害了最大似然估计的性能。本文考虑到表达式树的唯一性,提出了一种公式规范化方法,对重复公式进行规范化处理。此外,我们分析了三个流行的SEQ2SEQ模型的数学应用题解决的性能。我们发现每种模型在解决问题时都有其独特之处,因此提出了一种集成模型来结合它们的优点。在Math23K数据集上的实验表明,基于方程归一化的集成模型的性能明显优于现有的方法。
2018-11-15 cs.CL
Semantically-Aligned Equation Generation for Solving and Reasoning Math Word Problems
National Taiwan University(国立台湾大学)
解决数学应用题是一项具有挑战性的任务,需要准确的自然语言理解来连接自然语言文本和数学表达式。基于人类对数学应用题文本生成公式的直觉,提出了一种基于文本语义的符号操作神经网络方法,用于数学应用题的自动求解.本文将方程的生成过程视为语义世界和符号世界之间的桥梁,提出的神经数学求解器基于编码器-解码器框架。在该模型中,编码器被设计为理解问题的语义,而解码器则专注于跟踪生成的符号的语义,然后决定下一步生成哪个符号。初步的实验是在一个数据集Math 23 K,我们的模型显着优于国家的最先进的单一模型和最好的非检索为基础的模型超过约10%的准确性,证明了有效的桥梁符号和语义世界的数学单词问题。
2019-06-09 cs.CL
Generating Math Word Problems from Equations with Topic Controlling and Commonsense Enforcement
Peking University(北京大学);Sogou Technology Inc.(搜狗科技有限公司)
近年来,在神经语言模型的帮助下,文本生成任务取得了重大进展。然而,数学问题文本的生成是一个具有挑战性的课题,迄今为止,这方面的研究进展甚微。在本文中,我们提出了一种新的方程到问题的文本生成模型。在该模型中,1)提出了一种灵活的数学方程编码方案,并通过可变自动编码器(VAE)对方程编码器进行了增强; 2)给定一个数学方程,进行主题选择,然后引入动态主题记忆机制来限制生成器的主题分布; 3)避免了传统生成模型中的常识违反,我们用背景知识图(KG)预训练词嵌入,并且我们将解码的词链接到KG中的相关词,旨在将背景知识注入我们的模型中。我们通过自动度量和人工评估来评估我们的模型,实验表明,我们的模型在生成问题文本的准确性和丰富性方面优于基线和以前的模型。
2021-07-25 cs.CL
MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based Formalisms
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
我们介绍了一个大规模的数学应用题数据集和一个可解释的神经数学问题求解器,它学会将问题映射到操作程序。由于注释方面的挑战,该领域目前的数据集要么规模相对较小,要么没有为各种问题类型提供精确的操作注释。我们引入了一种新的表示语言来模拟精确的操作程序,对应于每个数学问题,旨在提高学习模型的性能和可解释性。使用这种表示语言,我们的新数据集MathQA通过完全指定的操作程序显着增强了AQuA数据集。我们还介绍了一个神经序列程序模型,增强了自动问题分类。我们的实验表明,我们的MathQA以及AQuA数据集的竞争基线有所改进。结果仍然明显低于人类的表现,这表明该数据集为未来的研究提出了新的挑战。我们的数据集可在:https://math-qa.github.io/math-QA/
2019-05-30 cs.CL
ComSearch: Equation Searching with Combinatorial Strategy for Solving Math Word Problems with Weak Supervision
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Xiaomi AI Lab(小米人工智能实验室);Peking University(北京大学)
以往的研究已经引入了一个弱监督的范式来解决数学应用题,只需要答案值注释。当这些方法搜索作为伪标签的正确值方程候选时,它们在巨大的方程空间的狭窄子空间中搜索。为了解决这个问题,我们提出了一种新的搜索算法与组合策略\textbf{ComSearch},它可以压缩搜索空间,排除数学等价方程。压缩允许搜索算法枚举所有可能的方程并获得高质量的数据。我们研究了伪标签中包含错误数学逻辑的噪声,我们称之为\textit{false-matching}问题,并提出了一个排序模型来消除伪标签。我们的方法拥有一个灵活的框架,利用现有的两个有监督的数学单词问题求解器训练伪标签,并在弱监督任务中实现最先进的性能。
2023-03-07 cs.CL
Ape210K: A Large-Scale and Template-Rich Dataset of Math Word Problems
近年来,数学应用题的自动求解受到越来越多的关注。以前的作品所使用的评估数据集在规模和多样性方面有严重的局限性。在本文中,我们发布了一个新的大规模和模板丰富的数学应用题数据集Ape210K。它由21万个中国小学水平的数学问题组成,是最大的公共数据集Math23K的9倍。每个问题都包含黄金答案和导出答案所需的方程。Ape210K也具有更大的多样性,拥有56K模板,是Math23K的25倍。我们的分析表明,解决Ape210 K不仅需要自然语言的理解,但常识知识。我们希望Ape210K成为数学应用题解决系统的基准。实验表明,Math23K数据集上的最先进模型在Ape210K上表现不佳。我们提出了一个拷贝增强和特征丰富的序列到序列(seq2seq)模型,它在Math23K数据集上的性能比现有模型高出3.2%,并作为Ape210K数据集的强大基线。人类和我们的基线模型之间的差距仍然很大,需要进一步的研究努力。我们在https://github.com/yuantiku/ape210k上公开提供Ape210K数据集
2020-10-09 cs.CL
Seeking Diverse Reasoning Logic: Controlled Equation Expression Generation for Solving Math Word Problems
Meituan(美团);Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
为了解决数学应用题,人类学生利用不同的推理逻辑,达到不同的可能方程的解决方案。然而,自动求解器的主流序列到序列方法旨在解码由人类注释监督的固定解方程。在本文中,我们提出了一个控制方程生成求解器,利用一组控制代码来引导模型考虑一定的推理逻辑和解码相应的方程表达式转换从人类的参考。实验结果表明,我们的方法普遍提高了单未知(Math23K)和多未知(DRAW1K,HMWP)基准测试的性能,在具有挑战性的多未知数据集上的准确率大幅提高了13.2%。
2022-11-30 cs.CL
The Gap of Semantic Parsing: A Survey on Automatic Math Word Problem Solvers
Zhejiang University(浙江大学);University of Electronic Science and Technology of China(电子科技大学);Singapore Management University(新加坡管理大学)
自动解决数学应用题(MWP)是一项挑战,主要是由于人类可读的单词和机器可理解的逻辑之间存在语义差距。尽管MWPs的历史可以追溯到20世纪60年代,但随着人工智能(AI)的发展,MWPs在过去几年中重新获得了广泛的关注。成功解决MWPs被认为是迈向通用AI的里程碑。许多系统声称在自制和小规模数据集上取得了有希望的结果。然而,当应用于大型和多样化的数据集时,文献中提出的方法都没有达到高精度,这表明当前的MWP求解器仍有很大的改进空间。这促使我们提出了一个全面的调查,以提供一个清晰和完整的图片自动数学问题求解器。在这次调查中,我们强调代数字问题,总结其提取的功能和提出的技术,以弥合语义差距,并比较其在公开访问的数据集的性能。我们还介绍了其他类型的数学问题的自动求解器,例如需要理解图表的几何问题。最后,我们确定了几个新兴的研究方向,为读者在MWPs的兴趣。
2019-04-29 cs.CL
Which Word Orders Facilitate Length Generalization in LMs? An Investigation with GCG-Based Artificial Languages
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本研究采用GCG人工语言扩展形式化并聚焦长度泛化评估,发现类型学上合理的词序更易被语言模型生产性泛化。
2025-10-14 cs.CL
A Deep Decoder Structure Based on WordEmbedding Regression for An Encoder-Decoder Based Model for Image Captioning
Amirkabir University of Technology(阿米尔卡比尔理工大学)
图像的文本描述是近年来计算机视觉和自然语言处理研究者关注的一个问题。为了解决这个问题,已经提出了数十种基于深度学习的模型。现有的方法是基于神经编码器-解码器结构配备的注意力机制。这些方法致力于训练解码器,以最小化给定前一个单词的句子中下一个单词的对数似然,这导致输出空间的稀疏性。在这项工作中,我们提出了一种新的方法来训练解码器回归的词嵌入的下一个字相对于以前的,而不是最小化的对数似然。所提出的方法能够学习和提取长期信息,并可以生成更长的细粒度字幕,而无需引入任何外部存储单元。此外,通过所提出的技术训练的解码器可以在生成字幕时考虑所生成的单词的重要性。此外,提出了一种新的语义注意力机制,通过图像引导注意点,考虑到先前生成的单词的含义。我们评估所提出的方法与MS-COCO数据集。所提出的模型优于最先进的模型,特别是在生成较长的字幕。它实现了CIDEr得分等于125.0和BLEU-4得分等于50.5,而最先进的模型的最佳得分分别为117.1和48.0。
2019-06-26 cs.AI cs.CL cs.CV
Adversarial Examples for Evaluating Math Word Problem Solvers
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
标准的准确性指标表明,数学应用题(MWP)求解器在基准数据集上实现了高性能。然而,现有的MWP求解器在多大程度上真正理解语言及其与数字的关系仍然不清楚。在本文中,我们生成对抗攻击来评估最先进的MWP求解器的鲁棒性。我们提出了两种生成对抗攻击的方法:问句重排和句子释义。我们在两个基准数据集上对三个神经MWP求解器进行了实验。平均而言,我们的攻击方法能够在这些数据集上将MWP求解器的准确性降低40个百分点以上。我们的研究结果表明,现有的MWP求解器是敏感的语言变化的问题文本。我们通过人工评估来验证生成的对抗性示例的有效性和质量。
2021-09-13 cs.CL
Are NLP Models really able to Solve Simple Math Word Problems?
Microsoft Research India(微软研究院印度)
设计数学应用题(MWP)的NLP求解器的问题已经看到了持续的研究活动和测试准确性的稳定增长。由于现有的求解器实现高性能的基准数据集上的初级水平MWPs包含一个未知的算术字的问题,这样的问题往往被认为是“解决”的大部分研究的注意力转移到更复杂的MWPs。在本文中,我们限制我们的注意力在四年级及以下的英语MWPs教学。我们提供了强有力的证据表明,现有的MWP求解器依赖于浅层算法来实现高性能的基准数据集。为此,我们表明,MWP求解器,没有访问的问题,在MWP仍然可以解决大部分的MWP。类似地,将MWP视为词袋的模型也可以实现令人惊讶的高准确性。此外,我们引入了一个挑战数据集,SVAMP,通过应用精心选择的变化从现有的数据集采样的例子。最先进的模型所达到的最佳精度在SVAMP上要低得多,因此即使是最简单的MWP也有很多工作要做。
2021-04-15 cs.CL
A Theme-Rewriting Approach for Generating Algebra Word Problems
University of Washington(华盛顿大学)
文本呈现具有特定主题或整体背景的连贯故事,例如科幻小说或西部片。在本文中,我们提出了一种文本生成方法,称为{ \it重写},编辑现有的人类创作的叙述,改变他们的主题,而不改变底层的故事。我们将这种方法应用于数学应用题,它可以帮助学生通过快速将所有家庭作业转换为他们最喜欢的电影的主题而不改变正在教授的数学概念来保持更多的参与。我们的重写方法使用两个阶段的解码过程中,提出新的单词从目标主题和分数产生的故事,根据一些因素定义方面的句法,语义和主题的连贯性。实验表明,最终的故事通常很好地代表了新的主题,同时仍然测试了原始的数学概念,表现优于一些基线。我们还发布了一个新的数据集,其中包含了几个主题中的数学应用题的人工重写。
2016-10-19 cs.CL
Making "fetch" happen: The influence of social and linguistic context on nonstandard word growth and decline
Georgia Institute of Technology(佐治亚理工学院)
在网络社区里,新词层出不穷:今天的“哈哈”可能会被明天的“lol”所取代。“在线写作的变化通常被视为一个社会过程,创新通过言语社区中的个人网络传播。但与其他类型的创新不同,语言变化是由它所参与的系统塑造和约束的。为了研究语言变化中社会因素和结构因素之间的联系,我们对在线社区Reddit中的非标准词增长进行了大规模分析。我们发现,在许多语言环境中的传播是增长的标志:出现在更多语言环境中的单词增长得更快,生存时间更长。我们还发现,社会传播可能发挥不太重要的作用,在解释字的增长和下降比以前假设的。
2018-08-31 cs.CL cs.SI physics.soc-ph
Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems
Embibe
数学推理将是人工智能取得重大进展的下一个前沿领域之一。解决数学应用题(MWPs)并因此获得更好的数学推理能力的持续激增将继续成为未来研究的关键。我们检查非神经和神经的方法来解决以自然语言叙述的数学应用题。我们还强调了这些方法的能力是可推广的,数学上合理的,可解释的和可解释的。神经方法主导了当前的最新技术水平,我们调查了它们,强调了MWP求解的三种策略:(1)直接答案生成,(2)用于推断答案的表达式树生成,以及(3)用于答案计算的模板检索。此外,我们还讨论了技术方法,回顾了直观的设计选择的演变,以解决MWPs,并检查他们的数学推理能力。我们最终确定了几个差距,保证需要外部知识和知识注入学习,在解决MWPs的其他几个机会。
2021-10-29 cs.AI cs.CL
A Multi-language Platform for Generating Algebraic Mathematical Word Problems
University of Moratuwa(莫拉图瓦大学)
现有的方法自动生成数学应用题被剥夺了定制性和创造性,由于其采用的基于模板的机制的固有性质。我们提出了一个解决这个问题的方法,使用深度神经语言生成机制。我们的方法使用字符级长短期记忆网络(LSTM)来生成单词问题,并使用POS(词性)标签来解决生成的问题中发现的约束。我们的方法能够生成英语和僧伽罗语的数学单词问题,准确率超过90%。
2019-11-19 cs.CL cs.LG stat.ML
Why are NLP Models Fumbling at Elementary Math? A Survey of Deep Learning based Word Problem Solvers
L3S Research Center(L3S研究中心);IBM Research(IBM研究院);Queen’s University(女王大学);University of Örebro(厄勒布鲁大学)
从过去十年的后半期开始,人们对开发自动解决数学应用题(MWP)的算法越来越感兴趣。这是一个具有挑战性和独特的任务,需要融合表面水平的文本模式识别与数学推理。尽管进行了广泛的研究,但我们距离建立小学数学应用题的鲁棒表示和一般任务的有效解决方案仍然很远。在本文中,我们批判性地研究了各种模型,已开发的解决字的问题,他们的优点和缺点和未来的挑战。在过去的两年里,许多深度学习模型在基准数据集上记录了相互竞争的结果,这使得对文献的关键性和概念性分析在这个时候非常有用。我们退后一步,分析为什么,尽管在学术兴趣丰富,主要使用的实验和数据集设计仍然是一个绊脚石。从分析文献的角度,我们也努力为未来的数学应用题研究提供一个路线图。
2022-05-31 cs.AI cs.CL
Solving Math Word Problems with Double-Decoder Transformer
提出了一种基于Transformer的数学应用题方程生成模型。当不使用复制和对齐机制时,它比RNN模型取得了更好的结果,并且可以胜过复杂的复制和对齐RNN模型。我们还表明,训练一个Transformer共同在一个生成任务与两个解码器,从左到右和从右到左,是有益的。这样的Transformer比仅具有一个解码器的Transformer性能更好,这不仅是因为集成效应,而且还因为它改进了编码器训练过程。我们还尝试将强化学习添加到我们的模型中,与MLE训练相比,表现出更好的性能。
2019-08-28 cs.CL cs.LG
Tackling Math Word Problems with Fine-to-Coarse Abstracting and Reasoning
Fudan University(复旦大学);Mila(米拉人工智能研究所);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);CIFAR(加拿大高等研究院)
数学应用题是一项重要的任务,它要求学生具备对数学文本的理解和推理能力。现有的方法大多将其形式化为一个生成任务,采用Seq2Seq或Seq2Tree模型将输入的数学问题用自然语言编码为全局表示,并生成输出的数学表达式。这样的方法只能学习浅层次的语法,无法捕捉输入中的细粒度变化。本文提出了一种从细到粗的数学应用题建模方法,既能捕捉到局部的细粒度信息,又能捕捉到全局的逻辑结构,而不是从全局特征中生成一个完整的方程序列或表达式树,而是迭代地组合低层操作数来预测高层操作数,对问题进行抽象,并自下而上对求解操作数进行推理.我们的模型自然对局部变化更敏感,可以更好地推广到看不见的问题类型。Math23k和SVAMP数据集上的广泛评估证明了我们方法的准确性和鲁棒性。
2022-05-17 cs.AI cs.CL
Training Verifiers to Solve Math Word Problems
OpenAI
最先进的语言模型可以在许多任务上与人类的表现相匹配,但它们仍然很难稳健地执行多步数学推理。为了诊断当前模型的故障并支持研究,我们引入了GSM8K,这是一个包含8.5K高质量语言多样的小学数学单词问题的数据集。我们发现,即使是最大的Transformer模型未能实现高的测试性能,尽管这个问题的分布的概念简单。为了提高性能,我们提出了训练验证器来判断模型完成的正确性。在测试时,我们生成许多候选解决方案,并选择一个排名最高的验证者。我们证明,验证显着提高性能的GSM 8K,我们提供了强有力的经验证据,验证规模更有效地增加数据比微调基线。
2021-11-18 cs.CL cs.LG
Investigating Math Word Problems using Pretrained Multilingual Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文从跨语言和多语言的角度重新审视数学应用题。我们使用带有复制机制的序列到序列模型在预训练的多语言语言模型上构建我们的MWP求解器。我们比较了MWP求解器在跨语言和多语言场景中的表现。为了便于跨语言性能的比较,我们首先将大规模英语数据集MathQA作为中文数据集Math23K的对应数据。然后通过机器翻译和人工标注将几个英文数据集扩展为双语数据集。我们的实验表明,MWP求解器可能不会被转移到不同的语言,即使目标表达式具有相同的操作符集和常量。但是对于跨语言和多语言的情况,如果问题类型在源语言和目标语言上都存在,则可以更好地推广。
2022-11-13 cs.AI cs.CL
Recall and Learn: A Memory-augmented Solver for Math Word Problems
CVTE Research(CVTE研究院);Hunan University(湖南大学)
本文研究数学应用题,即根据文本描述自动回答数学问题。虽然最近的方法已经证明了他们有前途的结果,这些方法大多是基于模板的生成方案,导致有限的泛化能力。为此,我们提出了一种新的类似人类的类比学习方法的回忆和学习的方式。我们提出的框架是由记忆,表征,类比和推理模块,这是为了使一个新的练习,参考过去学习的练习。具体来说,给定一个数学应用题,该模型首先通过记忆模块检索相似的问题,然后使用表示模块对未解决的问题和每个检索到的问题进行编码。此外,为了以类比的方式解决问题,提出了一个类比模块和一个具有复制机制的推理模块来建模问题和每个检索到的问题之间的相互关系。在两个著名的数据集上进行的大量实验表明,与其他最先进的竞争对手相比,我们所提出的算法具有整体性能比较和微观研究的优越性。
2021-09-27 cs.AI cs.CL
Gated Embeddings in End-to-End Speech Recognition for Conversational-Context Fusion
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种新的会话上下文感知端到端的语音识别器的基础上的门控神经网络,结合会话上下文/词/语音嵌入。与传统的语音识别模型不同,我们的模型学习跨越句子的较长对话上下文信息,因此更好地识别长对话。具体地,我们提出使用基于文本的外部词和/或句子嵌入(即,fastText,BERT),从而显著改善了单词出错率,并具有更好的会话上下文表示。我们评估的Switchboard会话语音语料库的模型,并表明我们的模型优于标准的端到端的语音识别模型。
2019-06-27 cs.CL cs.SD eess.AS
Pointer Sentinel Mixture Models
MetaMind - A Salesforce Company(MetaMind - 赛富时公司)
最近的神经网络序列模型与softmax分类器已经取得了最好的语言建模性能,只有非常大的隐藏状态和大的词汇。即使这样,他们也很难预测罕见或看不见的单词,即使上下文使预测明确无误。我们介绍了指针哨兵混合体系结构的神经序列模型,它有能力从最近的上下文中再现一个字,或从标准的softmax分类器产生一个字。我们的指针哨兵LSTM模型在Penn Treebank上实现了最先进的语言建模性能(70.9困惑度),同时使用的参数比标准softmax LSTM少得多。为了评估语言模型如何利用更长的上下文和处理更真实的词汇表和更大的语料库,我们还介绍了免费提供的WikiText语料库。
2016-09-26 cs.AI cs.CL
A Diverse Corpus for Evaluating and Developing English Math Word Problem Solvers
Academia Sinica(中央研究院)
我们提出了ASDiv(Academia Sinica Diverse MWP Dataset),一个多样化的(在语言模式和问题类型方面)英语数学应用题(MWP)语料库,用于评估各种MWP求解器的能力。现有的MWP语料库研究人工智能的进展仍然有限,无论是在语言使用模式或问题类型。因此,我们提出了一个新的英语MWP语料库2,305 MWPs,涵盖更多的文本模式和大多数问题类型教小学。每个MWP都标注了其问题类型和等级(用于指示难度级别)。此外,我们提出了一个度量标准来衡量一个给定的MWP语料库的词汇使用的多样性,并证明ASDiv比现有的语料库更多样化。实验表明,我们提出的语料库更忠实地反映了MWP求解器的真实能力。
2021-06-30 cs.AI cs.CL
Heterogeneous Line Graph Transformer for Math Word Problems
Southeast University(东南大学);University of Notre Dame(圣母大学)
本文描述了一个新的机器学习模型的设计和实现的在线学习系统。我们的目标是提高系统的智能化水平,使一个自动化的数学应用题求解器,可以支持广泛的功能,如家庭作业校正,难度估计,优先级推荐。我们最初计划使用现有的模型,但意识到它们将数学单词问题处理为令牌的序列或同构图。忽略了实体、单位、比率和数字等多种类型的令牌之间的关系。我们决定设计和实现一个新的模型,使用这种关系数据来弥合人类可读语言和机器可理解逻辑形式之间的信息鸿沟。提出了一种异构线图Transformer(HLGT)模型,该模型通过对数学应用题进行语义角色标注,构建异构线图,然后进行感知边类型的节点表示学习。我们添加了数值比较作为辅助任务,以改进模型训练以供实际使用。实验结果表明,该模型实现了更好的性能比现有的模型,并建议它仍然远远低于人类的表现。信息利用和知识发现是不断需要改进的在线学习系统。
2022-08-12 cs.AI cs.CL cs.LG
A Joint Probabilistic Classification Model of Relevant and Irrelevant Sentences in Mathematical Word Problems
Purdue University(普渡大学);University of Colorado Denver(科罗拉多大学丹佛分校)
数学应用题的难易程度估计是许多教育应用的重要任务。数学应用题中相关句和不相关句的识别是计算应用题难度的重要步骤。本文提出了一种新的文本分类应用,以确定两种类型的句子在数学应用题,即相关和不相关的句子。提出了一种新的联合概率分类模型,该模型利用数学应用题中所有句子之间的相关性、问题句子与其他句子之间的相关性以及句子文本之间的相关性来估计数学应用题中所有句子的分类决策的联合概率。所提出的模型相比,i)一个SVM分类器,使独立的分类决策,为个别句子,只使用句子文本和ii)一种新的SVM分类器,认为问题句子和其他句子之间的相关性以及句子文本。一组广泛的实验证明了联合概率分类模型的有效性,用于识别相关和不相关的句子,以及新的SVM分类器,利用问题句子和其他句子之间的相关性。此外,实证结果和分析表明,i)不去除停用词是非常有益的,并且ii)利用词性标注并没有做出显著的改进,尽管它已经被证明对于数学单词问题类型分类的相关任务是有效的。
2014-11-21 cs.CL cs.IR cs.LG
Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem
Nanjing University(南京大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Squirrel AI Learning(松鼠AI智适应教育)
著名的Seq 2Seq技术及其众多变体在许多任务上实现了出色的性能,例如神经机器翻译,语义解析和数学单词问题解决。然而,这些模型要么只考虑输入对象作为序列,而忽略了重要的结构信息的编码,或他们简单地处理输出对象作为序列输出,而不是结构对象的解码。在本文中,我们提出了一种新的图到树神经网络,即Graph 2 Tree组成的图编码器和分层树解码器,编码增强的图结构的输入和解码的树结构的输出。特别是,我们研究了我们的模型解决两个问题,神经语义解析和数学单词问题。我们广泛的实验表明,我们的Graph 2 Tree模型在这些任务上的性能优于或匹配其他最先进的模型。
2020-10-06 cs.CL cs.LG stat.ML
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology(阿萨努拉科技大学)
本文构建含10,000道题的PatiGonit数据集,并微调多种Transformer模型求解孟加拉语数学应用题,其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY