To Err Is Human, but Llamas Can Learn It Too
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本研究探讨了通过使用语言模型(LM)的人工错误生成(AEG)来增强语法错误纠正(GEC)。具体来说,我们微调基于Llama 2的LM的错误生成,并发现这种方法产生类似于人为错误的合成错误。接下来,我们在这些人工错误的帮助下训练GEC Llama模型,并优于以前最先进的纠错模型,在所有测试语言(德语,乌克兰语和爱沙尼亚语)中的增益范围为0.8到6 F0.5点。此外,我们证明了通过微调较小的序列到序列模型并提示大型商业LM(GPT-3.5和GPT-4)产生错误也会导致合成错误,从而有益地影响错误生成模型。
2024-10-04 cs.CL
Evaluation of really good grammatical error correction
Stockholm University(斯德哥尔摩大学)
本文利用瑞典语学习者文本数据集结合指标与人工评判评估多种 GEC 系统,发现少样本 GPT-3 显著领先,并揭示现有评估偏差,发布人工译后编辑与多维评价数据集。
2023-08-17 cs.CL
Introducing OmniGEC: A Silver Multilingual Dataset for Grammatical Error Correction
Ukrainian Catholic University(乌克兰天主教大学);Softserve;Grammarly
本文提出覆盖11种语言的多语言银标语法纠错数据集 OmniGEC,融合维基百科人工修正与 GPT-4o-mini 自动纠正数据,并基于其微调两个开源大模型取得段落级多语言 GEC 的 SOTA 结果。
2025-09-18 cs.AI cs.CL cs.LG
Scoring Edit Impact in Grammatical Error Correction via Embedded Association Graphs
本文提出评分语法纠错中编辑影响的新任务,通过嵌入关联图捕捉编辑间的潜在依赖,利用困惑度评分估计编辑对句子流畅度的贡献,实验表明方法在多语种和多系统上优于基线。
2026-04-08 cs.CL
A Formal Framework for Fluency-based Multi-Reference Evaluation in Grammatical Error Correction
The University of British Columbia(不列颠哥伦比亚大学);Open Writing Evaluation(开放写作评估);Université de Rennes(雷恩大学);The Chinese University of Hong Kong(香港中文大学);Trent University(特伦特大学);KAIST(韩国科学技术院)
本文提出一个形式化框架,将n-gram相似度聚合到多参考语法纠错评估中,通过四种策略实例化GLEU,并在多语言语料上验证其有效性与多样性。
2025-10-08 cs.CL
RedPenNet for Grammatical Error Correction: Outputs to Tokens, Attentions to Spans
WebSpellChecker LLC(WebSpellChecker有限责任公司)
本文提出 RedPenNet 文本编辑方法,通过减少 Sequence-To-Edits 模型的架构与参数冗余并保留半自回归优势,在 BEA-2019 和 UAGEC+Fluency 语法纠错基准上取得领先性能,并应用于乌克兰语 GEC 任务。
2023-09-19 cs.CL
Large Language Models Are State-of-the-Art Evaluator for Grammatical Error Correction
Tokyo Metropolitan University(东京都立大学);CyberAgent Inc.(CyberAgent公司);Hitotsubashi University(一桥大学)
本研究探索大型语言模型在语法错误纠正评估中的应用,通过设计多标准提示,发现GPT-4达到0.662的Kendall相关系数,超越现有方法,并强调模型规模与流畅性标准的重要性。
2024-05-26 cs.CL
Prompting open-source and commercial language models for grammatical error correction of English learner text
Writer Inc.(Writer公司);King’s College London(伦敦国王学院);Imperial College London(伦敦帝国学院)
本研究评估七个开源和三个商业LLMs在四个GEC基准上的表现,发现LLMs并非总优于有监督模型,开源模型在最小编辑基准上表现更佳,且零样本提示具竞争力。
2025-04-06 cs.CL
A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Tohoku University(东北大学);Tokyo Metropolitan University(东京都立大学)
现有的语法错误纠正(GEC)方法主要依赖于对手动创建的GEC数据集的监督学习。然而,很少有人关注验证和确保数据集的质量,以及低质量的数据如何影响GEC的性能。我们确实发现,有一个不可忽视的“噪音”量,错误被不适当地编辑或留下未纠正。为了解决这个问题,我们设计了一种自细化方法,其关键思想是通过利用现有模型的预测一致性来对这些数据集进行去噪,并优于强去噪基线方法。我们进一步应用了特定于任务的技术,并在CoNLL-2014、JFLEG和BLOG-2019基准测试中实现了最先进的性能。然后,我们分析了所提出的去噪方法的效果,发现我们的方法可以提高更正的覆盖率,并促进流畅性编辑,这反映在更高的召回率和整体性能上。
2020-10-07 cs.CL
JELV: A Judge of Edit-Level Validity for Evaluation and Automated Reference Expansion in Grammatical Error Correction
JELV通过验证编辑的有效性,提升语法纠错系统的评估和参考多样性,实现更准确的模型泛化。
2025-12-07 cs.CL
Multi-Dimensional Evaluation of LLMs for Grammatical Error Correction
King's College London(伦敦国王学院);Hosei University(Hosei大学);Waseda University(早稻田大学);University of Sheffield(谢菲尔德大学)
本文评估最新LLM在语法纠错中的表现,发现微调后的GPT-4o在编辑精度、流畅度保持和意义保留上表现最佳,同时揭示参考基度量低估GEC性能的问题。
2026-05-08 cs.CL
Edit-level Majority Voting Mitigates Over-Correction in LLM-based Grammatical Error Correction
Nara Institute of Science and Technology(奈良科学技术研究所)
本文提出一种无需训练的推理方法,通过多候选生成模型进行编辑层面多数投票,缓解LLM在语法纠错中的过纠正问题,在多个语言基准测试中优于贪婪和MBR解码。
2026-05-13 cs.CL
Grammatical Error Correction Evaluation by Optimally Transporting Edit Representation
Nara Institute of Science and Technology(奈良科学技術研究所)
本文提出UOT-ERRANT度量方法,通过最优传输编辑表示提升语法错误纠正评估性能,尤其在流畅性领域表现突出。
2026-02-05 cs.CL
GPT-3.5 for Grammatical Error Correction
University of Helsinki(赫尔辛基大学)
本研究探索 GPT-3.5 在多语言语法错误纠正中的三类应用,评估发现其英语表现较好但存在过度纠正问题,且在标点、时态等错误类型上仍有不足。
2024-05-14 cs.AI cs.CL
Exploring Effectiveness of GPT-3 in Grammatical Error Correction: A Study on Performance and Controllability in Prompt-Based Methods
Tokyo Institute of Technology(东京工业大学)
本文研究GPT-3在语法错误纠正中的提示方法性能与可控性,发现其在零样本和少样本设置下优于现有方法,并能通过指令和示例实现对编辑方式及学习者水平的控制。
2023-05-29 cs.AI cs.CL
Adapting LLMs for Minimal-edit Grammatical Error Correction
Adam Mickiewicz University(亚当·密茨杰夫大学)
针对大语言模型在最小编辑量英语语法错误纠正任务适配不足的问题,提出新型训练调度方法,在BEA-test集创下单模型SOTA,还处理了常用GEC数据集的标记化问题并分析其影响,开源了训练代码。
2025-06-16 cs.AI cs.CL
Don't Count the Edits, Judge by the Outcome Alone: Reward-Based Evaluation for Grammatical Error Correction
Chung-Ang University(中央大学)
提出SURE,一种基于源条件奖励的语法纠错评估器,通过联合学习整体奖励与多标准监督,在SEEDA上优于基线,尤其擅长改写式修正。
2026-09-15 cs.AI cs.CL
DSGram: Dynamic Weighting Sub-Metrics for Grammatical Error Correction in the Era of Large Language Models
Peking University(北京大学)
针对大语言模型时代语法纠错评估中参考偏差问题,提出DSGram框架,整合语义连贯性、编辑级别和流畅性,采用层次分析法与LLM动态加权,并构建数据集验证,提升评估有效性。
2025-06-22 cs.AI cs.CL
Listen, Correct, and Feed Back: Spoken Pedagogical Feedback Generation
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学)
本文提出SPFG数据集,基于Speak & Improve 2025语料,结合流畅性转录与GEC目标及人工验证的教师风格反馈,评估三种LLM在生成纠错与反馈中的表现,发现SFT效果最佳,DPO/KTO效果不一致,纠错与反馈质量弱相关。
2026-03-28 cs.AI cs.CL