Solving Math Word Problem with Problem Type Classification
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
针对单一数学应用题求解器存在的适用范围有限、易过拟合的问题,研究提出结合问题类型分类的集成方法,同时对两类求解器分别采用集成技术,有效提升了数学应用题求解性能。
2023-08-26 cs.CL
Elementary Math Word Problem Generation using Large Language Models
Department of Computer Science and Engineering(计算机科学与工程系);University of Moratuwa(穆塔瓦大学);Acceler Logic(Acceler Logic公司);School of Mathematical and Computational Sciences(数学与计算科学学院);Massey University(马希大学)
本文提出MathWiz系统,利用大语言模型生成数学单词问题,无需额外输入,仅需指定问题数量、年级和题型。通过实验验证生成问题的质量高,但仍有改进空间。
2026-03-26 cs.CL
Foundation of Intelligence: Review of Math Word Problems from Human Cognition Perspective
Department of Statistics, University of Oxford(统计学系、牛津大学)
本文从人类认知视角系统评述数学应用题求解研究,总结5项关键认知能力,比较神经网络与LLM求解器,并在5个基准上统一评估,为AI推理提供综合参考。
2025-10-24 cs.AI
Cutting Through the Noise: Boosting LLM Performance on Math Word Problems
Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
针对LLM在含无关信息的数学应用题上性能下降的问题,提出生成对抗变体的提示框架及数据集PROBLEMATHIC,并通过微调提升模型鲁棒性约8%。
2025-09-15 cs.CL
Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning
Ahsanullah University of Science and Technology(阿沙努拉科技大学)
针对孟加拉语低资源且缺乏数学推理标注数据集的问题,构建了含8792道题的SOMADHAN数据集,评估多种大模型并验证思维链与LoRA微调的效果,推动低资源语言推理研究。
2025-07-30 cs.CL cs.LG
Reasoning in Large Language Models Through Symbolic Math Word Problems
University of Pennsylvania(宾夕法尼亚大学);Aragon High School(阿拉贡高中);Princeton University(普林斯顿大学);Google Research(谷歌研究院)
本文通过创建SVAMP数据集的符号版本SVAMP_Sym,研究LLMs在数学应用题中的推理能力,提出自我提示方法使符号推理与数值答案对齐,提升推理可解释性并实现集成效果。
2023-08-03 cs.AI cs.CL cs.LG
Iterative LLM-Based Generation and Refinement of Distracting Conditions in Math Word Problems
Michigan State University(密歇根州立大学);Jinan University(济南大学);TAL Education Group(TAL教育集团)
针对现有带干扰条件数学应用题数据集稀缺且易识别的问题,提出一个迭代式LLM框架,从多角度生成不改变原解答的干扰条件,高效且保持数据质量。
2025-10-16 cs.CL
Ask-Before-Detection: Identifying and Mitigating Conformity Bias in LLM-Powered Error Detector for Math Word Problem Solutions
Michigan State University(密歇根州立大学);Squirrel Ai Learning(松鼠AI智适应教育);Carleton College(卡尔顿学院)
本文揭示了基于LLM的数学应用题错误检测器中忽略多种有效解法的从众偏差,提出Ask-Before-Detect框架生成自适应参考解答以缓解偏差,在GSM8K数据集上验证了其有效性。
2024-12-22 cs.CL
Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving
Yildiz Technical University(伊尔德兹技术大学);Kadir Has University(卡迪尔哈斯大学)
本研究针对数学应用题求解提出多种数据增强方法,并引入基于Llama-7b的上下文学习增强,在9个基线模型上验证了其有效性,且拼接多源增强示例可进一步提升性能。
2024-04-05 cs.CL
Solving Math Word Problems Using Estimation Verification and Equation Generation
Computer Science University of Iowa(计算机科学 威斯康星大学);Computer Science University of Colorado(计算机科学 色达省大学);Foster School of Business University of Washington(福斯特商学院 威斯康星大学)
本文提出先用LLM生成方程并由外部求解器求解,再通过LLM估计验证答案、失败时迭代纠正的方法,在数值与代数应用题上取得新SOTA,并引入SVAMPClean和Trig300数据集。
2025-09-23 cs.AI
Empowering Bengali Education with AI: Solving Bengali Math Word Problems through Transformer Models
Ahsanullah University of Science and Technology(阿萨努拉科技大学)
本文构建含10,000道题的PatiGonit数据集,并微调多种Transformer模型求解孟加拉语数学应用题,其中mT5以97.30%准确率取得最佳效果。
2025-01-05 cs.AI cs.CL cs.CY
Will Affective Computing Emerge from Foundation Models and General AI? A First Evaluation on ChatGPT
University of Augsburg(奥格斯堡大学);SyncPilot GmbH(SyncPilot有限公司);Nanyang Technological University(南洋理工大学);Imperial College London(帝国理工学院)
ChatGPT显示了新兴通用人工智能功能的潜力,因为它在许多自然语言处理任务中表现出了出色的性能。在这项工作中,我们评估的能力ChatGPT进行文本分类的三个情感计算问题,即,大五人格预测,情感分析,自杀倾向检测。我们使用三个基线,一个强大的语言模型(Roberta-base),一个带有预训练嵌入的传统单词模型(Word 2 Vec)和一个简单的词袋基线(BoW)。结果表明,针对特定下游任务训练的RoBERTa通常具有优越的性能。另一方面,ChatGPT提供了不错的结果,并且与Word 2 Vec和BoW基线相对相当。ChatGPT进一步显示了对噪声数据的鲁棒性,其中Word 2 Vec模型由于噪声而获得更差的结果。结果表明,ChatGPT是一个很好的通才模型,能够在没有任何专门培训的情况下在各种问题上取得良好的结果,但是,它不如下游任务的专门模型。
2023-03-03 cs.AI cs.CL
Can LLMs Solve longer Math Word Problems Better?
The Hong Kong University of Science and Technology(香港科技大学);University of Science and Technology of China(中国科学技术大学)
本研究提出上下文长度泛化性(CoLeG)概念及E-GSM数据集,针对LLMs解决长数学应用题能力不足,分别对专有和开源模型采用新提示与辅助微调任务,有效提升推理效能。
2025-02-26 cs.CL
Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大语言模型(LLMs)解决数学应用题(MWPs)的推理难题,本文提出基于计算图检索相似问题作为示例的类比学习方法,在六个数据集上实现平均6.7%的绝对性能提升,有效增强LLMs的MWP求解能力。
2024-11-25 cs.CL
Solving Math Word Problems via Cooperative Reasoning induced Language Models
Tsinghua University(清华大学);Waseda University(早稻田大学);International Digital Economy Academy(国际数字经济学院)
针对数学应用题求解,受人类双系统推理启发,提出协作推理框架CoRe,以生成器与验证器协作提升推理性能,在多个数据集上较最优基线最高提升9.6%。
2023-12-29 cs.CL
Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework
Software Engineering Institute, East China Normal University(东华师范大学软件工程研究院);School of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Shanghai Key Laboratory of Trustworthy Computing, Shanghai, China(上海可信计算关键实验室)
针对数学应用题错误分类依赖静态预定义类别的问题,提出动态自适应框架,构建含304,865个错误样本的MWPES-300K数据集,并引入错误感知提示(EAP)提升推理性能。
2025-09-08 cs.CL
Exposing the Achilles' Heel: Evaluating LLMs Ability to Handle Mistakes in Mathematical Reasoning
Microsoft Research(微软研究院)
本文通过构建包含正确与错误推理步骤的MWP-MISTAKE数据集,系统评估了GPT-4o等大语言模型在数学推理中检测和纠正错误的能力,揭示了数据污染问题并提出了改进方向。
2024-06-16 cs.AI cs.CL cs.LG
From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision
Guangdong University of Technology(广东工业大学)
本文提出两阶段蒸馏与精炼框架,从 LLM 构建并补全问题-方程对以弱监督训练小型 MWP 模型,在 Math23K 和 Weak12K 上显著提升且成本远低于 ChatGPT。
2024-03-21 cs.CL
Why Does ChatGPT "Delve" So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models
Florida State University(佛罗里达州立大学)
本研究通过形式化方法识别出21个因LLM使用而过度出现的科学摘要词汇,并探究其过度表征的原因,发现模型架构、算法或训练数据并非主因,RLHF可能起一定作用,但实验显示参与者对“delve”反应特殊,凸显了模型开发透明度对研究的重要性。
2024-12-16 cs.AI cs.CL cs.LG
A Diverse Corpus for Evaluating and Developing English Math Word Problem Solvers
Academia Sinica(中央研究院)
我们提出了ASDiv(Academia Sinica Diverse MWP Dataset),一个多样化的(在语言模式和问题类型方面)英语数学应用题(MWP)语料库,用于评估各种MWP求解器的能力。现有的MWP语料库研究人工智能的进展仍然有限,无论是在语言使用模式或问题类型。因此,我们提出了一个新的英语MWP语料库2,305 MWPs,涵盖更多的文本模式和大多数问题类型教小学。每个MWP都标注了其问题类型和等级(用于指示难度级别)。此外,我们提出了一个度量标准来衡量一个给定的MWP语料库的词汇使用的多样性,并证明ASDiv比现有的语料库更多样化。实验表明,我们提出的语料库更忠实地反映了MWP求解器的真实能力。
2021-06-30 cs.AI cs.CL
Word Definitions from Large Language Models
Department of Computer Science(计算机科学系);Earlham College(埃尔哈姆学院);Stony Brook University(石溪大学)
本研究比较了传统词典与ChatGPT生成的词定义,发现ChatGPT定义高度准确且在低频词上优于GloVE和FastText词嵌入。
2025-01-06 cs.CL
Is ChatGPT Transforming Academics' Writing Style?
International School for Advanced Studies (SISSA)(国际高等研究学院(SISSA));Imperial College London(伦敦帝国学院)
基于100万篇arXiv论文摘要的词频统计分析,评估ChatGPT对学术写作风格的影响,发现计算机科学领域约35%摘要呈LLM风格,并讨论其利弊。
2024-11-08 cs.AI cs.CL cs.DL
Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem
East China Normal University(华东师范大学);Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
本研究构建含5200道题的UMWP不可解数学应用题数据集,提出结合文本相似度与数学表达式检测的评估方法,测试31个大语言模型,证实上下文学习与RLHF训练可显著提升模型避免幻觉的能力。
2024-03-06 cs.CL
Can ChatGPT Learn to Count Letters?
Universidad Politécnica de Madrid(马德里理工大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Tianjin University(天津大学);University of Electronic Science and Technology of China(电子科技大学);Northeastern University(东北大学)
针对大语言模型在数字母任务上的不足,本文研究ChatGPT能否学会该技能,并提出高效解决方案。
2025-02-23 cs.AI cs.CL
DEMASQ: Unmasking the ChatGPT Wordsmith
Technical University of Darmstadt(达姆施塔特工业大学)
针对现有文本检测方法识别ChatGPT生成内容精度不足、适用场景受限的问题,提出基于能量的检测器DEMASQ,通过多普勒效应启发的优化和可解释AI扰动提升检测能力,在多领域基准数据集上实现高准确率。
2023-11-08 cs.CR cs.LG
Are NLP Models really able to Solve Simple Math Word Problems?
Microsoft Research India(微软研究院印度)
设计数学应用题(MWP)的NLP求解器的问题已经看到了持续的研究活动和测试准确性的稳定增长。由于现有的求解器实现高性能的基准数据集上的初级水平MWPs包含一个未知的算术字的问题,这样的问题往往被认为是“解决”的大部分研究的注意力转移到更复杂的MWPs。在本文中,我们限制我们的注意力在四年级及以下的英语MWPs教学。我们提供了强有力的证据表明,现有的MWP求解器依赖于浅层算法来实现高性能的基准数据集。为此,我们表明,MWP求解器,没有访问的问题,在MWP仍然可以解决大部分的MWP。类似地,将MWP视为词袋的模型也可以实现令人惊讶的高准确性。此外,我们引入了一个挑战数据集,SVAMP,通过应用精心选择的变化从现有的数据集采样的例子。最先进的模型所达到的最佳精度在SVAMP上要低得多,因此即使是最简单的MWP也有很多工作要做。
2021-04-15 cs.CL
MWPToolkit: An Open-Source Framework for Deep Learning-Based Math Word Problem Solvers
Xihua University(西华大学);Singapore Management University(新加坡管理大学);East China Normal University(华东师范大学);Tencent AI Lab(腾讯人工智能实验室);Zhejiang University(浙江大学)
自20世纪60年代以来,开发自动数学应用题(MWP)求解器一直是NLP研究人员的兴趣。在过去的几年里,有越来越多的数据集和基于深度学习的方法被提出来有效地解决MWP。然而,现有的方法大多是基于一个或两个数据集,在不同的配置下各不相同,导致方法之间缺乏统一、标准化、公平和全面的比较。本文介绍了MWPToolkit,第一个开源框架解决MWPs。在MWPToolkit中,我们将现有MWP求解器的过程分解为多个核心组件,并将其模型解耦为高度可重用的模块。我们还提供了一个超参数搜索功能,以提高性能。总的来说,我们实现和比较17 MWP求解器4广泛使用的单方程生成基准和2多方程生成基准。这些功能使我们的MWPToolkit适合研究人员重现先进的基线模型和快速开发新的MWP求解器。代码和文档可在https://github.com/LYH-YF/MWPToolkit上获得。
2021-09-18 cs.CL
"Genlangs" and Zipf's Law: Do languages generated by ChatGPT statistically look human?
本文检验ChatGPT生成的Voxphera、Vivenzia和Lumivoxa是否符合Zipf定律,发现其词频排名关系接近人类自然语言和人工语言,从而支持LLM生成语言具有类人统计特征。
2023-03-31 cs.CL
Structured Reasoning with Tree-of-Thoughts for Bengali Math Word Problems
Department of Computer Science and Engineering(计算机科学与工程系);Ahsanullah University of Science and Technology(阿沙努尔大学科学与技术学院);Southeast University(东南大学)
本文提出基于树状思维的结构化推理方法,用于提升孟加拉语数学应用题的解决效果,通过实验验证ToT在中等至大规模模型中的有效性。
2025-12-05 cs.CL
ChatGPT as speechwriter for the French presidents
Science Po(巴黎政治学院);Laboratoire LIG(LIG实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University of Neuchatel(纳沙泰尔大学)
本研究通过对比 ChatGPT 生成的年终致辞与法国四位总统的真实致辞,分析其写作风格特征,发现其存在词汇使用失衡、句子标准化等特点,且在给定示例时能生成风格接近的文本。
2024-11-27 cs.AI cs.CL cs.CY
Mathematical Word Problem Generation from Commonsense Knowledge Graph and Equations
TAL Education Group(好未来教育集团)
数学应用题生成在教育评价中的应用越来越受到人们的关注。与标准的自然问题生成不同,MWP生成需要维护数量和变量之间的底层数学运算,同时确保输出与给定主题之间的相关性。为了解决上述问题,我们开发了一个端到端的神经模型,从常识知识图谱和方程中生成现实世界场景中的各种MWP。所提出的模型(1)从符号方程和常识知识的边增强Levi图中学习两种表示;(2)在生成MWP时通过自规划模块自动融合方程和常识知识信息。在教育金标准集和大规模生成的MWP集上的实验表明,我们的方法在MWP生成任务上是优越的,并且在自动评估指标方面优于SOTA模型,即,BLEU-4、ROUGE-L、Self-BLEU和人工评估指标,即,等式关联、话题关联和语言连贯。为了鼓励可重复的结果,我们在\url{https://github.com/tal-ai/MaKE_EMNLP2021}上公开了我们的代码和MWP数据集。
2021-09-09 cs.AI cs.CL
Generalizing Math Word Problem Solvers via Solution Diversification
University of Notre Dame(圣母大学);Hong Kong University of Science and Technology(香港科技大学);Singapore Management University(新加坡管理大学);Tencent AI Lab(腾讯AI实验室);University of Electronic Science and Technology of China(电子科技大学)
当前的数学应用题(MWP)求解器通常是由(one-problem; one-solution)对训练的Seq 2Seq模型,每个模型由问题描述和显示推理流程的解决方案组成,以获得正确答案。然而,一个MWP问题自然具有多个解方程。使用(一个问题;一个解决方案)对的MWP求解器的训练排除了其他正确的解决方案,从而限制了MWP求解器的泛化能力。解决这个问题的一个可行的方法是对一个给定的问题增加多个解决方案。然而,很难通过人工努力收集多样化和准确的增强解决方案。在本文中,我们设计了一个新的训练框架的MWP求解器,通过引入解决方案缓冲区和解决方案缓存。缓冲器包括由MWP求解器生成的解决方案以促进训练数据多样性。参加培训的缓冲溶液质量控制专员。我们的框架灵活地适用于所有Seq 2Seq MWP求解器的全,半弱和弱监督训练的广泛设置。我们在基准数据集Math 23 k和一个名为Weak 12 k的新数据集上进行了广泛的实验,并表明我们的框架通过生成正确和多样化的解决方案来提高不同设置下各种MWP求解器的性能。
2022-12-01 cs.AI cs.CL
Delving into the Utilisation of ChatGPT in Scientific Publications in Astronomy
European Space Agency (ESA)(欧洲空间局(ESA))
本研究通过提取ChatGPT偏好词汇并检索NASA天体物理数据系统的百万篇天文学论文,统计发现2024年这类词汇显著增长,证实大语言模型在天文写作中广泛应用,呼吁制定相关伦理实用指南。
2024-09-06 astro-ph.IM cs.CL cs.DL
Semantically-Aligned Universal Tree-Structured Solver for Math Word Problems
Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
一个实用的文本数学应用题(MWPs)自动求解器应该能够解决各种文本MWPs,而大多数现有的工作只集中在一个未知的线性MWPs。在这里,我们提出了一个简单而有效的方法,称为通用表达式树(UET),使第一次尝试表示各种MWPs的方程统一。然后,语义对齐的通用树结构求解器(SAU-Solver)的编码器-解码器框架的基础上,提出了解决多种类型的MWP在一个统一的模型,受益于我们的UET表示。我们的SAU-Solver生成一个通用的表达式树,根据生成的符号的语义决定生成哪个符号,就像人类解决MWP一样。此外,我们的SAU-Solver还包括一个新的子树级semanticallyaligned正则化,以进一步加强语义约束和合理性生成的表达式树对齐与上下文信息。最后,为了验证我们的求解器的通用性和扩展MWPs的研究边界,我们引入了一个新的具有挑战性的混合数学应用题数据集(HMWP),由三种类型的MWPs。在多个MWPs数据集上的实验结果表明,该模型可以解决通用类型的MWPs,并且性能优于几种最先进的模型。
2020-10-14 cs.CL
Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Politécnica de Madrid(马德里理工大学);Universidad de Valladolid(巴利亚多利德大学)
本文以ChatGPT为案例,提出评估对话式大语言模型生成文本词汇丰富度的方法,揭示词汇多样性受模型版本、参数(如存在惩罚)和角色设定的影响,并公开数据集与工具以推动相关研究。
2024-10-21 cs.CL
Trace Is In Sentences: Unbiased Lightweight ChatGPT-Generated Text Detector
本文针对 ChatGPT 生成文本检测易受改写干扰和词级偏差影响的问题,提出一种基于句子内部结构建模的轻量级检测框架,并通过对比学习和因果反事实方法消除偏差,在两类数据集上验证了有效性。
2025-09-23 cs.CL eess.SP
Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning
ByteDance Research(字节跳动研究院);Singapore University of Technology and Design(新加坡科技设计大学)
针对数学应用题求解中提示泛化难、训练数据缺CoT标注的问题,提出动态程序提示与程序蒸馏两种利用训练数据的少样本方法,在三个标准数据集上显著优于基线,提升了提示泛化性与小模型性能。
2023-06-09 cs.CL
Is ChatGPT a Good Causal Reasoner? A Comprehensive Evaluation
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
本研究首次全面评估ChatGPT的因果推理能力,发现其推理不佳但解释良好,存在严重幻觉,且受提示词、问题形式及事件特征影响,并提供了代码链接。
2023-10-12 cs.AI cs.CL
Adversarial Examples for Evaluating Math Word Problem Solvers
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
标准的准确性指标表明,数学应用题(MWP)求解器在基准数据集上实现了高性能。然而,现有的MWP求解器在多大程度上真正理解语言及其与数字的关系仍然不清楚。在本文中,我们生成对抗攻击来评估最先进的MWP求解器的鲁棒性。我们提出了两种生成对抗攻击的方法:问句重排和句子释义。我们在两个基准数据集上对三个神经MWP求解器进行了实验。平均而言,我们的攻击方法能够在这些数据集上将MWP求解器的准确性降低40个百分点以上。我们的研究结果表明,现有的MWP求解器是敏感的语言变化的问题文本。我们通过人工评估来验证生成的对抗性示例的有效性和质量。
2021-09-13 cs.CL
Unsupervised Human Activity Recognition through Two-stage Prompting with ChatGPT
Osaka University(大阪大学)
针对无监督人类活动识别需人工准备活动描述的问题,提出基于ChatGPT的两阶段提示工程,在三个数据集上取得了当前最优性能。
2023-06-03 cs.CL cs.HC
Towards Tractable Mathematical Reasoning: Challenges, Strategies, and Opportunities for Solving Math Word Problems
Embibe
数学推理将是人工智能取得重大进展的下一个前沿领域之一。解决数学应用题(MWPs)并因此获得更好的数学推理能力的持续激增将继续成为未来研究的关键。我们检查非神经和神经的方法来解决以自然语言叙述的数学应用题。我们还强调了这些方法的能力是可推广的,数学上合理的,可解释的和可解释的。神经方法主导了当前的最新技术水平,我们调查了它们,强调了MWP求解的三种策略:(1)直接答案生成,(2)用于推断答案的表达式树生成,以及(3)用于答案计算的模板检索。此外,我们还讨论了技术方法,回顾了直观的设计选择的演变,以解决MWPs,并检查他们的数学推理能力。我们最终确定了几个差距,保证需要外部知识和知识注入学习,在解决MWPs的其他几个机会。
2021-10-29 cs.AI cs.CL
Investigating Math Word Problems using Pretrained Multilingual Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文从跨语言和多语言的角度重新审视数学应用题。我们使用带有复制机制的序列到序列模型在预训练的多语言语言模型上构建我们的MWP求解器。我们比较了MWP求解器在跨语言和多语言场景中的表现。为了便于跨语言性能的比较,我们首先将大规模英语数据集MathQA作为中文数据集Math23K的对应数据。然后通过机器翻译和人工标注将几个英文数据集扩展为双语数据集。我们的实验表明,MWP求解器可能不会被转移到不同的语言,即使目标表达式具有相同的操作符集和常量。但是对于跨语言和多语言的情况,如果问题类型在源语言和目标语言上都存在,则可以更好地推广。
2022-11-13 cs.AI cs.CL
Examining Linguistic Shifts in Academic Writing Before and After the Launch of ChatGPT: A Study on Preprint Papers
Nanjing University of Science and Technology(南京理工大学);Wuhan University(武汉大学)
本研究通过分析arXiv上82万余篇预印本摘要,系统考察ChatGPT发布前后学术写作的语言特征变化,揭示了LLMs对学术写作的广泛影响及不同语言水平、学科群体的使用差异。
2025-05-18 cs.CL
MathScale: Scaling Instruction Tuning for Mathematical Reasoning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Microsoft Research Asia(微软亚洲研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对大语言模型数学推理能力不足的问题,提出可扩展方法MathScale,基于概念图生成200万道数学题数据集MathScaleQA,构建多难度基准MwpBench,微调后同规模模型数学推理性能达SOTA。
2024-03-05 cs.AI cs.CL cs.LG
LogicSolver: Towards Interpretable Math Word Problem Solving with Logical Prompt-enhanced Learning
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Sun Yat-sen University(中山大学);Guangdong University of Technology(广东工业大学);Dark Matter AI Inc.(暗物质人工智能公司)
最近,深度学习模型在MWP求解中在答案准确性上取得了很大进展。然而,它们是不可解释的,因为它们主要依赖于浅层数学来实现高性能,而不理解和推理基础的数学逻辑。为了解决这个问题并向可解释的MWP求解迈出一步,我们首先构建了一个名为InterMWP的高质量MWP数据集,该数据集由11,495个MWP组成,并基于代数知识注释了可解释的逻辑公式,作为每个解方程的基础语言逻辑。与现有的MWP数据集不同,我们的InterMWP基准要求求解器不仅要输出解表达式,还要预测相应的逻辑公式。我们进一步提出了一种新的方法与逻辑提示和解释生成,称为LogicSolver。对于每个MWP,我们的LogicSolver首先检索一些高度相关的代数知识,然后将它们传递给主干模型作为提示,以改进MWP的语义表示。有了这些改进的语义表示,我们的LogicSolver生成相应的解决方案表达式和可解释的知识公式,根据所生成的解决方案表达式,同时。实验结果表明,我们的LogicSolver具有更强的基于逻辑公式的可解释性比基线,同时实现更高的答案准确性与逻辑提示的帮助下,同时。源代码和数据集可在https://github.com/yangzhch6/InterMWP上获得。
2022-10-24 cs.AI cs.CL
Human-LLM Coevolution: Evidence from Academic Writing
International School for Advanced Studies (SISSA)(国际高等研究院(SISSA));Imperial College London(伦敦帝国学院)
该研究通过分析arXiv论文摘要词频,发现2024年初ChatGPT过度使用词汇(如delve)频率显著下降,偏好词汇(如significant)上升,揭示人类与LLMs在学术写作中的协同进化,为机器生成文本检测带来挑战,且词频分析仍可评估LLMs影响。
2025-02-17 cs.AI cs.CL cs.CY
Emojis Decoded: Leveraging ChatGPT for Enhanced Understanding in Social Media Communications
University of Maryland(马里兰大学);University of Arizona(亚利桑那大学)
本文评估ChatGPT在表情符号标注与语义解释任务中的表现,验证其可替代人工标注并提升在线沟通清晰度。
2025-04-07 cs.AI cs.CL
Emergence of a phonological bias in ChatGPT
Institució Catalana de Recerca i Estudis Avançats (ICREA)(加泰罗尼亚研究与高等教育机构(ICREA));Universitat Pompeu Fabra(庞培法布拉大学)
ChatGPT表现出类似人类的辅音偏见,其在不同语言中均能识别单词,表明语言处理机制的相似性。
2026-02-25 cs.CL
Improving Compositional Generalization in Math Word Problem Solving
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
组合泛化是指模型基于在训练期间观察到的数据组件泛化到新组合的输入数据的能力。由于概括是语言和问题解决技能的一个重要方面,它引发了一系列关于不同任务的合成概括分析。然而,对数学应用题(MWPs)的类似讨论是有限的。本文研究了MWP求解中的合成泛化问题。具体来说,我们首先介绍了一种数据分割方法,从现有的MWP数据集创建组合分裂。同时,我们综合数据来隔离成分的影响。为了提高MWP求解中的组合泛化能力,我们提出了一种迭代数据增强方法,该方法将不同的组合变化纳入训练数据中,并可与MWP方法协作。在评估过程中,我们检查了一组方法,发现它们在评估的数据集上都遇到了严重的性能损失。我们还发现我们的数据增强方法可以显着提高一般MWP方法的合成概括。代码可在https://github.com/demoleiwang/CGMWP上获得。
2022-09-03 cs.CL
SBI-RAG: Enhancing Math Word Problem Solving for Students through Schema-Based Instruction and Retrieval-Augmented Generation
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本文提出结合大语言模型的SBI-RAG框架,利用schemas引导逐步推理生成解答,在GSM8K数据集上评估表明其增强了推理清晰度与结构化解题过程,为学生提供教育益处。
2024-11-10 cs.AI cs.IR cs.LG
Automatic Generation of Socratic Subquestions for Teaching Math Word Problems
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
苏格拉底式提问是一种教育方法,通过向学生提出一系列深思熟虑的问题,让他们发现复杂问题的答案。生成教学合理的问题是具有挑战性的,需要理解的推理过程中涉及的问题。我们假设,这种提问策略不仅可以提高人类的表现,但也有助于数学应用题(MWP)解决者。在这项工作中,我们探索的能力,大语言模型(LM)在生成序列的问题,指导数学应用题解决。我们提出了各种基于输入条件和强化学习的引导问题生成方案。在自动和人类的质量评价,我们发现,LM约束与理想的问题属性生成优越的问题,提高了数学应用题求解器的整体性能。我们进行了初步的用户研究,以探讨这种问题生成模型在教育领域的潜在价值。结果表明,问题的难度水平起着重要的作用,在确定是否提问提高或阻碍人类的表现。我们讨论了在教育中使用这种提问策略的未来。
2022-11-23 cs.CL cs.CY cs.LG
Using large language models to estimate features of multi-word expressions: Concreteness, valence, arousal
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Politécnica de Madrid(马德里理工大学);Ghent University(根特大学)
本研究评估了ChatGPT-4o预测多词表达的具体性、效价和唤醒度的能力,发现其与人类评分高度相关且超越以往AI模型,并提供了包含逾19万词汇及多词表达的数据集。
2024-08-16 cs.CL
Instructing Large Language Models to Identify and Ignore Irrelevant Conditions
Xi’an Jiaotong University(西安交通大学);University of Notre Dame(圣母大学)
针对数学应用题中无关条件干扰LLM推理的问题,提出I³C方法,通过识别、验证并忽略无关条件,结合少样本选择,在多个数据集上显著提升准确率。
2024-03-19 cs.CL
Unbiased Math Word Problems Benchmark for Mitigating Solving Bias
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Sun Yat-sen University(中山大学);Dark Matter AI Inc.(暗物质人工智能公司)
在本文中,我们重新审视了当前数学应用题(MWP)基准评估模型时的解决偏差。然而,现有的求解器存在求解偏差,包括数据偏差和学习偏差,这是由于有偏见的数据集和不适当的训练策略。我们的实验验证了MWP求解器很容易被有偏见的训练数据集所偏见,这些训练数据集不涵盖所有MWP的每个问题叙述的不同问题,因此求解器只能学习浅层语义而不是深层语义来理解问题。此外,MWP可以通过多个等价方程自然求解,而当前数据集仅将其中一个等价方程作为地面真值,迫使模型匹配标记的地面真值,而忽略其他等价方程。在这里,我们首先介绍了一个新的MWP数据集,名为UnbiasedMWP,它是通过改变我们收集的数据中的接地表达式,并手动用相应的多个新问题注释它们而构建的。然后,为了进一步减轻学习偏差,我们提出了一种动态目标选择(DynamicTargetSelection,简称DTS)策略,该策略根据当前模型输出与候选等价方程之间的最长前缀匹配来动态选择更合适的目标表达式,该候选等价方程是在训练过程中应用交换律获得的。结果表明,我们的UnbiasedMWP比原始数据和其他数据集具有更少的偏差,为公平评估求解器的推理技能而不是匹配最近邻提供了一个有希望的基准。使用我们的BMPs训练的求解器在多个MWP基准测试中实现了更高的精度。源代码可在https://github.com/yangzhch6/UnbiasedMWP上获得。
2022-05-17 cs.AI cs.CL