ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
ChatGPT是由OpenAI开发的前沿人工智能语言模型,由于其在回答后续问题方面惊人的强大能力而引起了大量关注。在这份报告中,我们的目标是评估ChatGPT的语法错误纠正(GEC)任务,并将其与商业GEC产品(例如,语法上)和最先进的模型(例如,GECToR)。通过对CoNLL2014基准数据集的测试,我们发现ChatGPT在自动评估指标方面的表现不如那些基线(例如,$F_{0.5}$评分),尤其是在长句上。我们检查了输出,发现ChatGPT超越了一个接一个的修正。具体而言,它更喜欢改变某些短语或句子结构的表面表达,同时保持语法正确性。人工评估定量地证实了这一点,并表明ChatGPT产生较少的校正不足或错误校正问题,但更多的过度校正。这些结果表明,ChatGPT被自动评估指标严重低估,可能是GEC的一个有前途的工具。
2023-03-15 cs.CL
Evaluation of large-scale synthetic data for Grammar Error Correction
ByteDance(字节跳动)
语法纠错主要依赖于大量高质量的语法正确和错误句子对的合成并行数据的可用性。合成数据的质量是根据GEC系统在使用它进行预训练时的表现来评估的。但这并没有提供对定义这些数据质量的必要因素的深入了解。因此,这项工作的目的是引入3个指标-可靠性,多样性和分布匹配,以提供更多的洞察大规模合成数据的质量生成的GEC任务,以及自动评估他们。自动评估这三个度量还可以帮助向数据生成系统提供反馈,从而提高动态生成的合成数据的质量
2022-10-31 cs.AI cs.CL
Learning Unification-Based Natural Language Grammars
当解析非限制性语言时,广泛覆盖的语法通常生成不足。可以通过句子纠正或语法纠正来解决未成年人问题。本论文主要研究自动语法纠正(或语法的机器学习)作为解决未成年人问题的一种方法。一般来说,语法校正方法可以分为{ \it数据驱动}或{ \it基于模型}。数据驱动型学习者使用数据密集型方法来获取语法。它们通常使用不适合实际文本处理需要的语法形式主义,并且不能保证所得到的语法足以用于随后的语义解释。也就是说,数据驱动的学习者获得的语法生成的字符串,人类会判断为语法错误的(他们{ \it过度生成}),并且无法分配语言上合理的解析。基于模型的学习者是知识密集型的,并且成功依赖于语法性的{ \it模型}的完整性。但在实践中,该模型将是不完整的。鉴于在这篇论文中,我们通过学习来处理未成年人,我们假设数据驱动和基于模型的学习的结合使用将允许数据驱动学习来补偿基于模型的学习的不完整性,而基于模型的学习将补偿数据驱动学习的不健全性。我们描述了一个系统,我们已经用来测试的假设经验。该系统将数据驱动和基于模型的学习相结合,以获得更适合于实际文本分析的基于统一的语法。本文以英语口语语料库为语料,通过对欠生成、过生成和句法可译性的定量测量,证明了这一假设的正确性。
1995-02-03 cmp-lg cs.CL
The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding
该研究针对语法约束解码中刚性屏蔽扭曲模型分布的问题,利用增量解析的语法状态提出轻量级离线 logit 校正,在几乎不增加开销的情况下优于基线方法,兼顾了语言模型的概率完整性与语法一致性。
2026-10-08 cs.CL cs.LG
GrammarGPT: Exploring Open-Source LLMs for Native Chinese Grammatical Error Correction with Supervised Fine-Tuning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Soochow University(苏州大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Science and Technology of China(中国科学技术大学)
本文提出 GrammarGPT,利用 ChatGPT 合成与人工标注的约千条混合数据及错误不变增强,对开源 LLM 进行指令微调,在中文语法纠错任务上以少 1200 倍数据显著超越 SOTA。
2023-08-17 cs.CL
ChineseErrorCorrector3-4B: State-of-the-Art Chinese Spelling and Grammar Corrector
East China Normal University School of Computer Science and Technology(华东师范大学计算机科学与技术学院)
ChineseErrorCorrector3-4B基于Qwen3-4B,实现了中文拼写和语法纠正的最新成果,优于现有模型并在多个基准测试中取得领先。
2025-11-13 cs.AI cs.CL
An Ontology for Comprehensive Tutoring of Euphonic Conjunctions of Sanskrit Grammar
Meenakshi College for Women(米纳克希女子学院);Mother Teresa Women’s University(特蕾莎修女女子大学);SRM University(SRM大学)
连词是梵语形态学和音系学中非常重要的一个方面。传统和现代的梵语委婉连词研究方法有着不同的思路。前者涉及对帕尼尼的《阿诗塔迪亚依》所体现的帕尼尼系统的严格研究,而后者通常涉及使用实例研究一些重要的连读变调规则。前者不适合初学者,而后者则不足以全面了解连读变调的操作规律。之所以如此,是因为不仅有大量的连读变调规则和例外,而且还涉及复杂的优先规则。因此,需要一个新的本体论的变调辅导。这项工作提出了一个全面的本体,旨在使学生用户学习阶段的所有关于委婉的连词和相关的警句的梵文语法,并测试和评估学生用户的进展。本体论构成了多媒体连读变调导师的基础,该导师被给予包括梵文学者在内的不同类别的用户进行广泛而严格的测试。
2015-02-03 cs.CL
Evaluating Small Decoder-Only Language Models for Grammar Correction and Text Simplification
New York University(纽约大学)
本文评估了小型解码器-only语言模型在语法纠正和文本简化任务中的性能,发现其在效率上有优势,但性能仍低于现有大型语言模型,需进一步改进以缩小差距。
2026-01-07 cs.CL
An Analysis of Source-Side Grammatical Errors in NMT
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
神经机器翻译(NMT)的质量在面对源端噪声时会显着降低。本文通过对几个语法校正语料库的评价,首次对最先进的英-德NMT进行了大规模的语法噪声研究。我们提出的方法来评估NMT的鲁棒性没有真正的参考,我们用它们进行广泛的分析,不同的语法错误对NMT输出的影响。我们还介绍了一种技术,用于可视化由源端错误引起的发散分布,这允许额外的见解。
2019-05-24 cs.CL
Assessing the Efficacy of Grammar Error Correction: A Human Evaluation Approach in the Japanese Context
Waseda University(早稻田大学)
本文以日本大学生写作为对象,结合 ERRANT 自动评估与人工标注评估 SeqTagger 的语法纠错和检错性能,发现其精确率高但召回率有限,并识别了主要漏检错误类型。
2024-02-29 cs.CL
A New Evaluation Method: Evaluation Data and Metrics for Chinese Grammar Error Correction
Guangdong University of Foreign Studies(广东外语外贸大学)
汉语语法纠错作为自然语言处理中的一项基础性工作,逐渐受到广泛关注,成为研究热点。然而,现有的CGEC评价体系的一个明显不足是评价值受中文分词结果或不同语言模型的影响较大。在不同的分词系统或不同的语言模型下,同一个纠错模型的评价值会有很大的不同。然而,预期这些度量应该独立于分词结果和语言模型,因为它们可能导致在评估不同方法时缺乏唯一性和可比性。为此,本文提出了基于参考和无参考两个维度的CGEC评价指标,其中基于参考的评价指标引入了句子级准确度和字符级BLEU来评价正确句子。此外,在无参照度量方面,我们采用了字符级语义保持来衡量修正后句子的语义保持程度。我们对这三个指标的合理性和有效性进行了深入的评价和分析,并期望它们成为CGEC的新标准。
2022-04-30 cs.CL
Natural Answer Generation: From Factoid Answer to Full-length Answer using Grammar Correction
Indian Institute of Technology Bombay, Mumbai(印度理工学院孟买分校);Indian Institute of Technology Patna(印度理工学院巴特那分校);LG Soft India(LG软件印度公司)
现在的问答系统通常使用基于模板的语言生成。虽然对于特定领域的任务来说已经足够了,但是这些系统对于独立于领域的系统来说限制太多,并且是预定义的。本文提出了一个系统,输出一个完整的长度的答案给出一个问题和提取的事实答案(短跨度,如命名实体)作为输入。我们的系统使用选区和依赖解析树的问题。基于transformer的语法纠错模型GECToR(2020)被用作后处理步骤,以提高流畅性。我们将我们的系统与(i)改进的指针生成器(SOTA)和(ii)微调的DialoGPT进行比较。我们还测试了我们的方法对存在(是-否)的问题,更好的结果。我们的模型比最先进的(SOTA)方法生成准确和流畅的答案。评估是在NewsQA和SqUAD数据集上进行的,ROUGE-1评分分别增加0.4和0.9个百分点。与SOTA相比,推理时间减少了85%.用于我们评估的改进数据集将作为研究贡献的一部分发布。
2021-12-07 cs.AI cs.CL
Grammar Control in Dialogue Response Generation for Language Learning Chatbots
EPFL(洛桑联邦理工学院);University of Tübingen(蒂宾根大学);ETH Zürich(苏黎世联邦理工学院);Leibniz-Institut für Wissensmedien(莱布尼茨知识媒体研究所)
针对语言学习聊天机器人难以控制语法等语言形式以匹配学习者需求的问题,该研究将对话响应生成模型基于语法技能教学知识库,评估相关策略,发现策略性解码Llama3在容忍轻微质量损失时优于GPT-3.5,模拟显示其能支持适配学习者熟练度的语法习得。
2025-02-11 cs.CL
GramCheck: A Grammar and Style Checker
本文提出了一种语法和风格检查演示程序的西班牙语和希腊语母语作家在项目GramCheck开发。除了简短的西班牙语语法错误类型学之外,还基于PROLOG扩展对高度类型化的基于统一的语法的广泛使用,提出了一种基于语言学的检测和诊断方法。演示器,目前包括协议错误和某些头参数关系问题的全面覆盖,还提供了一个分析-传输-综合周期的方式进行校正。最后,对当前系统的未来扩展进行了讨论。
1996-07-01 cmp-lg cs.CL
Leveraging LLMs for Bangla Grammar Error Correction:Error Categorization, Synthetic Data, and Model Evaluation
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文通过构建含12类错误的孟加拉语GEC数据集Vaiyakarana并对LLMs进行指令微调,使模型在语法错误识别上接近人类水平,GEC性能较零样本提升3-7个百分点。
2025-06-05 cs.AI cs.CL
Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
National Institute of Technology, Tiruchirappalli(国家技术研究所蒂鲁吉拉伯利分校);Tamil University, Thanjavur(泰米尔大学)
针对泰米尔语低资源特性及现有方法无法处理上下文错误的问题,提出端到端序列到序列模型,通过四阶段渐进式微调mT5-small和mBART-50,在合成语料库上取得连音准确率87.5%、主谓一致准确率43.5%的结果。
2026-09-04 cs.CL
UA-GEC: Grammatical Error Correction and Fluency Corpus for the Ukrainian Language
Grammarly(Grammarly公司)
我们提出了一个语料库专业注释的语法错误纠正(GEC)和流畅性编辑在乌克兰语。据我们所知,这是乌克兰语的第一个GEC语料库。我们收集了来自不同贡献者的错误文本(20,715句),包括母语和非母语人士。这些数据涵盖了各种各样的写作领域,从文字聊天和散文到正式写作。专业的校对人员纠正并注释了语料库中与流畅性、语法、标点符号和拼写有关的错误。该语料库可用于开发和评估乌克兰的GEC系统。更一般地说,它可以用于研究多语言和低资源NLP,形态丰富的语言,文档级GEC和流畅性校正。该语料库可在https://github.com/grammarly/ua-gec上公开获取
2022-11-08 cs.CL
GEE! Grammar Error Explanation with Large Language Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);QuillBot(QuillBot公司)
针对语法纠错工具缺乏自然语言解释的问题,提出语法错误解释任务,构建两步流水线(结构化原子编辑提取+GPT-4生成解释),在德语和中文数据上分别达到93.9%和98.0%的正确解释率。
2023-11-16 cs.CL
Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction
AI Graduate School(AI研究生院);Gwangju Institute of Science and Technology(光州科学技术院)
本文分析了无监督神经语法归纳中的结构优化歧义与简单性偏置问题,提出逐句分析聚焦方法,利用预训练解析器的结构偏置减少损失评估的分析池,显著提升了性能并降低了方差与简单性偏置。
2024-07-23 cs.CL
Tree-Transformer: A Transformer-Based Method for Correction of Tree-Structured Data
Boston University(波士顿大学);Draper(德雷珀实验室)
许多常见的顺序数据源(如源代码和自然语言)都具有自然的树结构表示。这些树可以通过将序列拟合到语法来生成,从而产生序列中标记的层次排序。这种结构编码了高度的句法信息,使其成为解决语法纠正等问题的理想方法。然而,很少有工作已经做了开发神经网络,可以操作和利用树结构的数据。在本文中,我们提出了树转换器\textemdash{},一种新的神经网络架构,旨在任意输入和输出树之间的转换。我们将此架构应用于源代码和自然语言领域的校正任务。在源代码上,我们的模型实现了$25\%$ $\text{F}0.5$的最佳顺序方法的改进。在自然语言方面,我们取得了与最复杂的最先进系统相当的结果,在CoNLL 2014基准测试中获得了$10\%$召回率的改善,并在$50.43$的AESW基准测试中获得了迄今为止最高的$\text{F}0.5$分数。
2019-08-01 cs.CL cs.LG stat.ML
A Systematic Review of Automated Grammar Checking in English Language
Jabalpur Engineering College(贾巴尔普尔工程学院)
语法检查是检测和纠正文本中的语法错误的任务。英语是科技领域的主要语言。因此,非英语母语者必须能够在阅读、写作或口语时使用正确的英语语法。这就产生了对自动语法检查工具的需求。到目前为止,已经提出并实施了许多方法。但在过去的十年里,在调查文献方面所做的努力较少。本系统综述的目的是检查现有的文献,突出当前的问题,并提出未来研究的潜在方向。这篇系统综述是对12项主要研究进行分析的结果,这些研究是在设计了一种搜索策略以选择在网络上找到的论文后获得的。我们还提出了一个可能的方案,语法错误的分类。在主要的观察中,我们发现,缺乏有效的和强大的语法检查工具的实时的应用程序。我们提出了几个有用的插图-最突出的是我们为每种方法提供的示意图和一个表格,该表格总结了这些方法的不同维度,如目标错误类型,使用的语言数据集,方法的优势和局限性。这有助于更好地理解,比较和评价以前的研究。
2018-03-29 cs.CL
Construction Grammar and Language Models
University of Bath(巴斯大学);University of York(约克大学);University of Birmingham(伯明翰大学)
本文探讨计算方法与构式语法的三种交互路径,重点综述语言模型及其构式知识涌现实验,旨在促进自然语言处理与构式语法领域合作。
2023-09-04 cs.CL
From MTEB to MTOB: Retrieval-Augmented Classification for Descriptive Grammars
HSE University(高等经济大学);Sberbank(俄罗斯联邦储蓄银行);Institute of Linguistics RAS(俄罗斯科学院语言学研究所)
本文提出基于检索增强生成的基准,评估语言模型从248种语言的描写语法中提取类型学特征的能力,以支持低资源语言NLP任务。
2024-12-26 cs.CL
Self-Correction Makes LLMs Better Parsers
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
针对大语言模型在句法解析上的不足,本文提出利用现有树库语法规则引导模型自我纠正错误的方法,在多个数据集上显著提升域内及跨域解析性能。
2025-04-19 cs.CL
Advancing Automated Speaking Assessment Leveraging Multifaceted Relevance and Grammar Information
Department of Computer Science and Information Engineering(计算机科学与信息工程系);Department of Computer Science(计算机科学系)
本文提出混合评分模型,通过多方面相关性模块整合图像与范例信息,并利用语法纠错提取细粒度错误特征,显著提升自动化口语评估的内容相关性与整体性能。
2026-09-15 cs.CL cs.SD eess.AS
CLFEC: A New Task for Unified Linguistic and Factual Error Correction in paragraph-level Chinese Professional Writing
Huazhong University of Science and Technology(华中科技大学);WPS AI, Kingsoft Office(WPS AI,Kingsoft Office)
本文提出CLFEC任务,旨在解决段落级中文专业写作中语言和事实错误的联合纠错问题,构建了多领域数据集,并系统研究了基于LLM的纠错方法,揭示了实际挑战并展示了统一纠错的优势。
2026-06-04 cs.CL
The Grammar of Emergent Languages
University of Amsterdam(阿姆斯特丹大学);Institute of Cognitive Science(认知科学研究所);University of Osnabruek(奥斯纳布吕克大学);Institute for Logic, Language and Computation(逻辑、语言与计算研究所)
在本文中,我们考虑的语法属性出现在参考游戏中,使用无监督语法归纳(UGI)技术最初设计用于分析自然语言。我们认为UGI技术是适当的分析新兴的语言,然后我们研究,如果出现在一个典型的参考游戏设置的语言表现出句法结构,并在何种程度上这取决于最大的消息长度和数量的符号,代理商被允许使用。我们的实验表明,一定的消息长度和词汇量的结构出现所需的,但他们也说明,需要更复杂的游戏场景,以获得更类似于人类语言中观察到的句法属性。我们认为,UGI技术应该是分析新兴语言的标准工具包的一部分,并发布一个全面的库,以方便未来的研究人员进行这种分析。
2020-10-09 cs.AI cs.CL
FreeTalky: Don't Be Afraid! Conversations Made Easier by a Humanoid Robot using Persona-based Dialogue
Korea University(高丽大学);University of Copenhagen(哥本哈根大学);NAVER Corp.(NAVER公司)
我们提出了一个基于深度学习的外语学习平台,名为FreeTalky,通过采用人形机器人NAO和各种深度学习模型,为那些在处理外语时经历焦虑的人提供。NAO中嵌入的基于人物的对话系统为用户提供了有趣且一致的多轮对话。此外,语法错误校正系统促进用户语法技能的提高。因此,我们的系统使个性化学习的基础上的人物对话和促进语法学习的用户使用语法错误反馈。此外,我们通过人类评估,验证了FreeTalky是否通过用NAO机器人代替对话中的真实人类来减轻异语恐惧症。
2021-12-08 cs.CL cs.CY
Precise Robot Command Understanding Using Grammar-Constrained Large Language Models
Industrial and Manufacturing Engineering, Florida State University(佛罗里达州立大学工业与制造工程系)
本文提出一种结合语法驱动NLU系统和微调LLM的混合模型,通过两阶段过程确保生成的指令在机器人可读的JSON格式中有效,提升工业人机协作的安全性和效率。
2026-04-05 cs.CL cs.RO
A Probabilistic Generative Grammar for Semantic Parsing
Carnegie Mellon University(卡内基梅隆大学)
领域通用语义解析是自然语言处理中的长期目标,其中语义解析器能够鲁棒地解析来自其被训练的领域之外的句子。目前的方法在很大程度上依赖于新领域的额外监督,以便推广到这些领域。我们提出了一个自然语言语句和逻辑形式的生成模型,并展示了它的应用语义解析。我们的方法依赖于域独立的监督推广到新的领域。我们推导并实现有效的算法,用于训练,解析和句子生成。这项工作依赖于一个新的应用程序的层次狄利克雷过程(HDP)的结构化预测,我们也在这份手稿。这份手稿是博士论文第4章的摘录。Saparov(2022)的论文,其中模型在更大的自然语言理解系统中起着核心作用。这份手稿对Saparov,Saraswat和Mitchell(2017)首次介绍的工作进行了新的简化和更完整的介绍。在这个新的演示文稿中,训练算法,解析算法和句子生成算法的描述和正确性证明都得到了简化。我们还描述了新的应用分层Dirichlet过程的结构化预测。此外,我们扩展了早期的工作与一个新的模型的词形态,它利用了全面的形态数据从维基词典。
2022-02-09 cs.CL cs.LG stat.ML
FlaCGEC: A Chinese Grammatical Error Correction Dataset with Fine-grained Linguistic Annotation
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
针对现有中文语法纠错数据集缺乏语法错误深层语言结构的问题,研究者构建了带细粒度语言标注的FlaCGEC数据集,实验表明该数据集具有挑战性,可用于模型泛化能力诊断。
2023-09-26 cs.AI cs.CL
Explicit Grammar Semantic Feature Fusion for Robust Text Classification
Department of Computer Science, American International University-Bangladesh(计算机科学系,美国国际大学-孟加拉国)
本文提出显式语法语义特征融合方法,通过编码语法结构并融合语义信息,构建轻量文本分类模型,提升跨领域学习效果
2026-02-24 cs.CL
ChatLang-8: An LLM-Based Synthetic Data Generation Framework for Grammatical Error Correction
Atommerce;Upstage AI;Korea University(高丽大学)
本文提出含主题、语法选择与评估模块的 LLM 合成数据框架,并构建含 100 万句对的 ChatLang-8 数据集,显著改善 GEC 数据分布与模型性能。
2024-06-11 cs.AI cs.CL
Leveraging Large Language Models in Code Question Answering: Baselines and Issues
Innopolis University(因诺波利斯大学)
本文提出通过微调大型语言模型于统一Python问答数据集,并测试不同预处理方式,实现源代码问答,发现语法校正提升指标,但公共数据集质量差。
2024-11-05 cs.AI cs.CL
Teacher Perception of Automatically Extracted Grammar Concepts for L2 Language Learning
Carnegie Mellon University(卡内基梅隆大学);Kannada Academy(卡纳达学院);George Mason University(乔治梅森大学)
语言教学的挑战之一是如何以有意义的方式组织语言的句法、语义或语音规则。这不仅需要教学技能,还需要对这种语言有深刻的理解。虽然可以用英语和一些广泛使用的语言提供编制这类课程的综合材料,但对于许多其他语言,教师需要根据学生的需要手工编制这些材料。这一过程是具有挑战性的,因为i)它要求可以接触到这些专家并拥有必要的资源,ii)即使有这样的专家,描述一种语言的所有复杂性也是耗时的,而且容易被遗漏。在这篇文章中,我们提出了一个自动的框架,旨在促进这一进程,自动发现和可视化描述的不同方面的语法。具体来说,我们从自然文本语料库中提取描述,回答有关形态句法(学习词序,协议,情况下标记,或构词)和语义(学习词汇)的问题,并显示说明性的例子。我们采用这种方法来教授印度语言,卡纳达语和马拉地语,这与英语不同,没有发达的教学资源,因此,可能会受益于这种做法。为了评估提取材料的感知效用,我们寻求北美学校的语言教育工作者的帮助,他们教授这些语言来进行手动评估。总的来说,教师发现这些材料很有趣,可以作为他们自己备课甚至是学习者评估的参考材料。
2022-06-10 cs.CL
Grammars of Formal Uncertainty: When to Trust LLMs in Automated Reasoning Tasks
Case Western Reserve University(凯斯西储大学);Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
本文针对LLM生成形式化规范时的概率性与验证确定性之间的冲突,提出PCFG框架建模输出不确定性,并通过信号融合实现选择性验证,大幅降低错误率,推动可靠自动化推理。
2025-05-26 cs.AI cs.CL cs.LO
Grammar Concept Annotation at Scale: Deployed Fine-Tuned Small Language Models Outperform Prompted Frontier Models
Preply(普雷普利)
该研究针对大规模语法标注成本高的问题,微调 Qwen3.5 小型语言模型并部署 0.8B 模型,其性能优于提示式 GPT-5.4、GPT-5.6 Sol,还降低了服务成本并提升了学习者参与度与业务指标。
2026-10-14 cs.AI cs.CL
Teacher Perception of Automatically Extracted Grammar Concepts for L2 Language Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Kannada Academy(卡纳达学院);George Mason University(乔治梅森大学)
本文提出从自然文本语料库中自动提取并可视化语法描述的方法,用于辅助卡纳达语和马拉地语的二语教学,并通过北美教师的评估验证了材料的实用性。
2023-10-27 cs.CL
Enhancing Grammatical Error Correction Systems with Explanations
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Westlake University(西湖大学);Zhejiang University(浙江大学)
本研究为增强语法错误纠正系统的解释性,推出标注证据词与错误类型的大型数据集EXPECT,提出基线模型并分析,经人工验证其解释可辅助二语学习者理解语法规则、判断是否接受修正。
2023-06-10 cs.CL
Integration of LLM Quality Assurance into an NLG System
AX Semantics
本文提出将LLM用于NLG系统生成文本的语法和拼写纠正质量保证组件,并在三种语言的体育新闻文本上验证了其能提供可接受的纠正效果。
2025-01-27 cs.CL
Real-Word Error Correction with Trigrams: Correcting Multiple Errors in a Sentence
Department of Computer Engineering, Kerman Branch, Islamic Azad University(伊斯兰阿扎德大学克尔曼分校计算机工程系)
拼写纠正是文本挖掘中的一项基本任务。在这项研究中,我们评估了由Mays,Damerau和Mercer提出的实字纠错模型,并描述了该模型的几个缺点。我们提出了一个新的变化,侧重于检测和纠正多个真实的字错误的句子,通过操纵概率上下文无关文法(PCFG),区分项目之间的搜索空间。我们在华尔街日报语料库上测试了我们的方法,并表明它优于Hirst和Budanitsky的基于WordNet的方法以及Wilcox-O 'Hearn,Hirst和Budanitsky的固定窗口大小方法。O 'Hearn,Hirst和Budanitsky的固定窗口大小方法。
2023-02-07 cs.AI cs.CL
Using Chatbots to Teach Languages
Columbia University(哥伦比亚大学);University of California, Davis(加州大学戴维斯分校);Zhejiang University(浙江大学)
本文报告了建立一个在线语言学习工具,通过使用对话系统作为会话练习伙伴,为学习者提供会话体验的进展。我们的系统可以适应用户的语言熟练程度的飞行。我们还提供自动语法错误反馈,以帮助用户从错误中学习。根据我们的第一批采用者,我们的系统是有趣和有用的。此外,我们将为学习技术社区提供关于语言学习和语法纠正的大规模对话数据集。我们的下一步是通过使用强化学习算法使我们的系统更适应用户简档信息。
2022-07-31 cs.AI cs.CL
Phrase-based Machine Translation is State-of-the-Art for Automatic Grammatical Error Correction
Adam Mickiewicz University(亚当·密茨凯维奇大学)
在这项工作中,我们研究参数调整到M^2度量,自动语法纠错(GEC)任务的标准度量。在Moses调优框架中实现M^2作为评分器后,我们研究了密集和稀疏特征的相互作用,不同的优化器以及CoNLL-2014共享任务的调优策略。我们注意到在使用M^2优化稀疏特征权重时的不稳定行为,并提供了部分解决方案。我们发现,在相同的公开数据上进行训练时,具有特定任务参数调整的基于短语的最基本SMT设置在很大程度上优于CoNLL-2014测试集的所有先前公布的结果(46.37%M^2超过先前的41.75%,由具有神经功能的SMT系统)。我们新引入的密集和稀疏特征扩大了这一差距,我们将最先进的M^2提高到49.49%。
2016-10-05 cs.CL
Grammatical Error Correction for Low-Resource Languages: The Case of Zarma
Rochester Institute of Technology(罗切斯特理工学院);Ashesi University(阿什esi大学);George Mason University(乔治·梅森大学)
本研究针对扎尔马语的语法错误纠正,比较了基于规则、机器翻译和大型语言模型三种方法,发现MT模型在自动和人工评估中表现最佳。
2026-02-04 cs.CL cs.LG
An Analysis of Language Frequency and Error Correction for Esperanto
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
该研究针对低资源语言世界语的GEC缺口,构建了Eo-GP和Eo-GEC数据集,实验发现GPT-4在世界语语法错误修正任务上优于GPT-3.5,为低资源语言的GEC提供了新方向。
2026-08-19 cs.CL
Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese
该研究构建含四类错误的巴西葡萄牙语GEC数据集,评估GPT-3.5、GPT-4与办公软件的语法纠错效果,发现GPT-4召回率最高但大模型精确率低易过度纠正,验证了其在非英语GEC场景的潜力。
2023-07-18 cs.AI cs.CL
Multi-Dimensional Evaluation of LLMs for Grammatical Error Correction
King's College London(伦敦国王学院);Hosei University(Hosei大学);Waseda University(早稻田大学);University of Sheffield(谢菲尔德大学)
本文评估最新LLM在语法纠错中的表现,发现微调后的GPT-4o在编辑精度、流畅度保持和意义保留上表现最佳,同时揭示参考基度量低估GEC性能的问题。
2026-05-08 cs.CL
Personalizing Grammatical Error Correction: Adaptation to Proficiency Level and L1
Grammarly(Grammarly公司);Dataminr(Dataminr公司)
语法纠错(GEC)系统已经在各种软件应用程序中无处不在,并且已经开始接近某些数据集的人类水平性能。然而,很少有人知道如何有效地个性化这些系统的用户的特点,如他们的熟练程度和第一语言,或新兴领域的文本。我们提出的第一个结果适应通用神经GEC系统的熟练程度和第一语言的作家,只使用几千个注释的句子。我们的研究是同类研究中最广泛的,涵盖了五个熟练程度和十二种不同的语言,并比较了三种不同的适应情况:只适应熟练程度,只适应第一语言,或同时适应两个方面。我们表明,定制这两种情况下实现了最大的性能改善(3.6 F0.5)相对于一个强大的基线。
2020-06-04 cs.CL
Correcting Real-Word Spelling Errors: A New Hybrid Approach
拼写纠正是自然语言处理领域的主要任务之一。与常见的拼写错误相反,传统的拼写校正方法无法检测到真实单词错误。Mays、Damerau和Mercer提出的实词纠错模型在不同的评价中表现出很好的性能。然而,在这项研究中,提出了一种新的混合方法,它依赖于统计和句法知识来检测和纠正实词错误。在这个模型中,约束语法(CG)被用来区分在搜索空间中的校正候选集。Mays,Damerau和Mercer的三元组方法被操纵来估计句法上良好形式的校正候选者的概率。这里提出的方法是测试华尔街日报语料库。该模型比Hirst和Budanitsky提出的基于WordNet的方法和Wilcox-O 'Hearn和Hirst提出的固定窗口大小的方法更实用。
2023-02-09 cs.AI cs.CL
Accurate but Natural? Diagnosing Grammatical and Idiomatic Gaps in Japanese EFL Writing
Kyoto University(京都大学);Ritsumeikan University(立命馆大学)
本研究提出分层LLM修正流水线,结合CEFR-J语法提取器,诊断日本初中生英语写作的语法准确性与习语性差距,为个性化教学反馈提供循证支持。
2026-08-25 cs.CL
Pillars of Grammatical Error Correction: Comprehensive Inspection Of Contemporary Approaches In The Era of Large Language Models
Grammarly;EPAM Systems
本文全面审查了大型语言模型时代的GEC方法,通过比较单模型、集成与排序方法,在CoNLL-2014-test和BEA-test上刷新了最优性能,并公开了代码与模型以促进可复现研究。
2024-04-23 cs.CL
GECTurk: Grammatical Error Correction and Detection Dataset for Turkish
Koç University(科奇大学)
本文提出面向土耳其语的GECTurk数据集及合成数据生成流水线,覆盖20余条语法规则并构建13万平行句对,通过三类基线模型验证其在领域外场景下的高质量与可迁移性。
2023-09-20 cs.CL cs.LG
A Comprehensive Approach to Misspelling Correction with BERT and Levenshtein Distance
Amirkabir University of Technology(阿米尔卡比尔理工大学);Sharif DeepMine Ltd.(谢里夫DeepMine有限公司)
本研究提出一种结合BERT掩码语言模型与Levenshtein距离的综合方法,用于识别和纠正文本中的多种拼写错误,在波斯语评估中表现优于现有系统。
2024-07-24 cs.AI cs.CL cs.LG
RoLegalGEC: Legal Domain Grammatical Error Detection and Correction Dataset for Romanian
National University of Science and Technology POLITEHNICA Bucharest(波兰亚技术大学布加勒斯特分校);Paris 1 Panthéon-Sorbonne University(巴黎1大学蓬莎博纳大学);University of Bucharest(布加勒斯特大学)
本文提出RoLegalGEC数据集,包含35万条法律文本中的语法错误及标注,评估多种神经网络模型用于检测和纠正语法错误,丰富罗马尼亚语研究资源。
2026-04-22 cs.AI cs.CL cs.LG