A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction
Peking University（北京大学）
语法错误纠正（GEC）是检测和纠正句子中的语法错误的任务。最近，神经机器翻译系统已经成为这项任务的流行方法。然而，这些方法缺乏句法知识的使用，而句法知识在语法错误的纠正中起着重要的作用。在这项工作中，我们提出了一个语法引导的GEC模型（SG-GEC），采用图注意力机制，利用依赖树的语法知识。考虑到语法错误的源句子的依存树可能提供错误的句法知识，我们提出了一个依存树修正任务来处理它，并结合数据增强方法，我们的模型在不使用任何大型预训练模型的情况下获得了很好的性能。我们评估我们的模型在公共基准的GEC任务，它取得了竞争力的结果。
2021-11-05 cs.CL
COLA-GEC: A Bidirectional Framework for Enhancing Grammatical Acceptability and Error Correction
Department of Computer Science, School of Information Science and Technology（计算机科学系，信息科学与技术学院）
本文提出COLA-GEC双向框架，通过GEC数据集增强语法可接受性模型，并利用动态损失函数将可接受性信号融入GEC训练，在多语言基准上取得最优结果。
2025-07-16 cs.CL
CL$^2$GEC: A Multi-Discipline Benchmark for Continual Learning in Chinese Literature Grammatical Error Correction
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Peng Cheng Laboratory（鹏城实验室）；China Merchants Group（中国远洋集团）；Zhipu AI（智谱AI）；Seoul National University（首尔国立大学）
针对中文语法纠错缺乏多学科持续学习基准的问题，提出首个基准CL$^2$GEC，包含10个学科的1万条标注，评估发现正则化方法在缓解灾难性遗忘上表现最佳。
2025-09-17 cs.AI cs.CL
Reaching Human-level Performance in Automatic Grammatical Error Correction: An Empirical Study
Microsoft Research Asia（微软亚洲研究院）
神经序列到序列（seq 2seq）方法已被证明是成功的语法错误纠正（GEC）。基于seq 2seq框架，我们提出了一种新的流畅性提升学习和推理机制。流畅性提升学习在训练期间生成不同的纠错句子对，使纠错模型能够学习如何从更多实例中提高句子的流畅性，而流畅性提升推理允许模型通过多个推理步骤增量地纠正句子。结合流畅性提升学习和推理与卷积seq 2seq模型，我们的方法实现了最先进的性能：在CoNLL-2014 10注释数据集上分别为75.72（F_{0.5}）和在JFLEG测试集上分别为62.42（GLEU），成为第一个在两个基准测试中都达到人类水平性能（CoNLL为72.58，JFLEG为62.37）的GEC系统。
2018-07-11 cs.AI cs.CL
Chinese grammatical error correction based on knowledge distillation
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）；Institute of Artificial Intelligence（人工智能研究院）
针对现有中文语法纠错模型对攻击测试集鲁棒性差、模型参数偏大的问题，采用知识蒸馏的方法压缩模型参数，提高模型的抗攻击能力。在数据方面，将扰动集成到标准评估数据集中，构建攻击测试集，利用攻击测试集对模型鲁棒性进行评估。实验结果表明，提取的小模型在减少模型参数个数的情况下，能够保证性能，提高训练速度，在攻击测试集上达到最优效果，鲁棒性显著提高。代码可在https://github.com/Richard88888/KD-CGEC上获得。
2022-08-31 cs.AI cs.CL
Do Grammatical Error Correction Models Realize Grammatical Generalization?
RIKEN AIP（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）；Tohoku University（东北大学）
使用伪数据的语法错误纠正（GEC）的数据生成方法已经引起了越来越多的兴趣。然而，这些方法存在几个问题，使得它们不便于现实世界的部署，包括需要大量的训练数据。另一方面，如果GEC模型可以实现语法泛化，则一些基于语法规则的错误可能不一定需要大量的数据。本研究探讨GEC模型在多大程度上概括了纠正错误所需的语法知识。我们介绍了一种分析方法，使用合成和真实的GEC数据集与控制词汇，以评估模型是否可以推广到看不见的错误。我们发现，目前标准的基于transformer的GEC模型未能实现语法泛化，即使在简单的设置与有限的词汇和语法，这表明它缺乏所需的泛化能力，以纠正错误，从提供的训练样本。
2021-06-06 cs.CL
Loss-Aware Curriculum Learning for Chinese Grammatical Error Correction
Shenzhen International Graduate School Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；WeChat Tencent（腾讯微信）
本文针对中文语法纠错中样本难度差异被忽视的问题，提出多粒度课程学习框架，通过按难度从易到难训练并结合实例级损失调节，提升了预训练语言模型的纠错性能。
2024-12-31 cs.AI cs.CL
Evaluating GPT-3.5 and GPT-4 on Grammatical Error Correction for Brazilian Portuguese
该研究构建含四类错误的巴西葡萄牙语GEC数据集，评估GPT-3.5、GPT-4与办公软件的语法纠错效果，发现GPT-4召回率最高但大模型精确率低易过度纠正，验证了其在非英语GEC场景的潜力。
2023-07-18 cs.AI cs.CL
Towards standardizing Korean Grammatical Error Correction: Datasets and Annotation
KAIST（韩国科学技术院）；SoftlyAI（SoftlyAI公司）；UCSB（加州大学圣巴巴拉分校）；Google（谷歌）；Cornell University（康奈尔大学）
针对韩语语法错误纠正缺乏评估基准的问题，研究收集三个数据集，定义14种错误类型，提出自动标注系统KAGAS构建基准并训练模型，显著优于现有系统Hanspell。
2023-05-24 cs.AI cs.CL
Improving the Efficiency of Grammatical Error Correction with Erroneous Span Detection and Correction
East China Normal University（华东师范大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的独立于语言的语法错误纠正方法，该方法将语法错误纠正任务分为两个子任务：错误广度检测（ESD）和错误广度纠正（ESC）。ESD使用高效的序列标记模型识别语法错误的文本跨度。然后，ESC利用seq2seq模型将带有注释的错误跨度的句子作为输入，并仅输出这些跨度的更正文本。实验结果表明，我们的方法执行传统的seq2seq方法在英语和中文GEC基准不到50%的时间成本的推理。
2020-10-07 cs.CL
Harnessing Rule-Based Reinforcement Learning for Enhanced Grammatical Error Correction
针对LLMs在语法错误纠正中因监督微调限制推理能力的问题，提出基于规则的强化学习框架，在中文数据集上实现最先进性能且召回率显著提升，为GEC提供更可控可靠的范式。
2025-08-26 cs.AI cs.CL
Adapting LLMs for Minimal-edit Grammatical Error Correction
Adam Mickiewicz University（亚当·密茨杰夫大学）
针对大语言模型在最小编辑量英语语法错误纠正任务适配不足的问题，提出新型训练调度方法，在BEA-test集创下单模型SOTA，还处理了常用GEC数据集的标记化问题并分析其影响，开源了训练代码。
2025-06-16 cs.AI cs.CL
GPT-3.5 for Grammatical Error Correction
University of Helsinki（赫尔辛基大学）
本研究探索 GPT-3.5 在多语言语法错误纠正中的三类应用，评估发现其英语表现较好但存在过度纠正问题，且在标点、时态等错误类型上仍有不足。
2024-05-14 cs.AI cs.CL
The Unbearable Weight of Generating Artificial Errors for Grammatical Error Correction
Grammarly
近年来，序列到序列模型对于端到端语法错误纠正（GEC）非常有效。由于为GEC创建人类注释的平行语料库是昂贵且耗时的，因此已经有人工语料库生成的工作，其目的是从语法正确的句子创建包含现实语法错误的句子。在本文中，我们研究了使用最近的神经模型产生错误，以帮助神经模型纠正错误的影响。我们进行了一系列的实验，数据大小的影响，模型，并与基于规则的方法进行比较。
2019-07-21 cs.CL
STAGEET: Stage-wise Typed Edit Tagging for Grammatical Error Correction with Arabic as a Case Study
School of Foreign Languages, Peking University（北京大学外国语学院）
本文提出STAGEET分阶段类型化编辑标记框架，以阿拉伯语为案例，在QALB-2014等数据集上实现了语法纠错的最优性能，同时提升了修正过程的可解释性。
2026-09-01 cs.AI cs.CL
Grammatical Error Correction with Neural Reinforcement Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种基于强化学习的神经编码解码器模型。与传统的最大似然估计（MLE）不同，该模型直接优化目标，该目标考虑了任务级别，特定于任务的评估指标，避免了MLE中的暴露偏差问题。我们证明，NRL优于MLE在人类和自动化的评价指标，实现了最先进的流畅性为导向的GEC语料库。
2017-07-02 cs.CL
Tibyan Corpus: Balanced and Comprehensive Error Coverage Corpus Using ChatGPT for Arabic Grammatical Error Correction
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Saudi Electronic University（沙特电子大学）
本研究利用ChatGPT构建阿拉伯语语法纠错语料库Tibyan，包含约600K标记和七类错误，旨在弥补阿拉伯语GEC资源不足。
2024-11-07 cs.AI cs.CL
FlaCGEC: A Chinese Grammatical Error Correction Dataset with Fine-grained Linguistic Annotation
East China Normal University（华东师范大学）；Singapore Management University（新加坡管理大学）
针对现有中文语法纠错数据集缺乏语法错误深层语言结构的问题，研究者构建了带细粒度语言标注的FlaCGEC数据集，实验表明该数据集具有挑战性，可用于模型泛化能力诊断。
2023-09-26 cs.AI cs.CL
JFLEG: A Fluency Corpus and Benchmark for Grammatical Error Correction
Johns Hopkins University（约翰斯·霍普金斯大学）；Grammarly
我们提出了一个新的平行语料库，JHU FLuency-Extended GUG语料库（JFLEG）的开发和评估语法错误纠正（GEC）。与其他语料库不同，它代表了广泛的语言水平，并使用整体流畅性编辑，不仅纠正语法错误，还使原文听起来更地道。我们描述的类型的更正和基准四个领先的GEC系统在这个语料库，确定具体的领域，他们做得很好，以及他们如何可以改善。JFLEG满足了新的黄金标准的需要，以正确评估GEC的当前状态。
2017-02-14 cs.CL
Grammatical Error Correction in Low-Resource Scenarios
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
英语语法错误纠正是一个长期研究的问题，有许多现有的系统和数据集。然而，对其他语言的纠错研究却非常有限。在本文中，我们提出了一个新的数据集AKCES-GEC语法错误纠正捷克语。然后我们在捷克语、德语和俄语上进行了实验，结果表明，当使用合成并行语料时，Transformer神经机器翻译模型可以在这些数据集上达到新的最先进的结果。AKCES-GEC在CC BY-NC-SA 4.0许可下发布于https://hdl.handle.net/11234/1-3057，GEC模型的源代码可在https://github.com/ufal/low-resource-gec-wnut2019获得。
2019-10-16 cs.CL
RobustGEC: Robust Grammatical Error Correction Against Subtle Context Perturbation
Soochow University（苏州大学）；Tencent AI Lab（腾讯人工智能实验室）
本文提出RobustGEC基准，包含5000个带人工扰动变体的GEC案例，评估发现现有系统鲁棒性不足，并提出简单有效的缓解方法。
2023-10-11 cs.AI cs.CL
APIO: Automatic Prompt Induction and Optimization for Grammatical Error Correction and Text Simplification
Grammarly
本文提出APIO方法，无需人工种子提示即可自动归纳和优化提示，在语法错误纠正与文本简化任务上实现了纯LLM提示方法的最新最优性能。
2025-08-12 cs.AI cs.CL
ChatLang-8: An LLM-Based Synthetic Data Generation Framework for Grammatical Error Correction
Atommerce；Upstage AI；Korea University（高丽大学）
本文提出含主题、语法选择与评估模块的 LLM 合成数据框架，并构建含 100 万句对的 ChatLang-8 数据集，显著改善 GEC 数据分布与模型性能。
2024-06-11 cs.AI cs.CL
Chinese Grammatical Correction Using BERT-based Pre-trained Model
Nomura Research Institute, Ltd.（野村综合研究所株式会社）；Retrieva, Inc.（Retrieva公司）；Tokyo Metropolitan University（东京都立大学）
近年来，预训练模型得到了广泛的研究，一些下游任务也从它们的使用中受益。在这项研究中，我们验证了两种方法的有效性，这两种方法将Cui et al.（2020）开发的基于BERT的预训练模型结合到中文语法纠错任务的编码器-解码器模型中。我们还分析了错误类型，并得出结论，双精度级的错误还有待解决。
2020-11-04 cs.CL
Towards Unsupervised Grammatical Error Correction using Statistical Machine Translation with Synthetic Comparable Corpus
Tokyo Metropolitan University（东京都立大学）
我们引入了基于短语的统计机器翻译的无监督技术，用于在Google翻译创建的伪学习者语料库上训练语法错误纠正（GEC）。我们通过在各种GEC数据集上的实验验证了我们的GEC系统，包括Building Educational Applications 2019（2019年7月）共享任务的低资源跟踪。结果，我们在低资源轨道的测试数据下获得了28.31分的F_0.5分数。
2019-07-23 cs.CL
Edit-level Majority Voting Mitigates Over-Correction in LLM-based Grammatical Error Correction
Nara Institute of Science and Technology（奈良科学技术研究所）
本文提出一种无需训练的推理方法，通过多候选生成模型进行编辑层面多数投票，缓解LLM在语法纠错中的过纠正问题，在多个语言基准测试中优于贪婪和MBR解码。
2026-05-13 cs.CL
An Extended Sequence Tagging Vocabulary for Grammatical Error Correction
University of Cambridge（剑桥大学）；The ALTA Institute（ALTA研究所）；Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）
我们扩展了目前的序列标记的方法，语法错误纠正（GEC）通过引入专门的标签，拼写纠正和形态变化使用的SymSpell和LemmInflect算法。我们的方法提高了泛化能力：建议的新标签集允许更少的标签来纠正更大范围的错误。我们的研究结果表明，整体和目标错误类别的性能提高。我们进一步表明，我们的新的标签集训练的合奏优于那些训练的基准标签集上的公共基准。
2023-02-12 cs.CL
There's No Comparison: Reference-less Evaluation Metrics in Grammatical Error Correction
Johns Hopkins University（约翰斯·霍普金斯大学）；Grammarly
当前用于自动评估语法错误校正（GEC）系统的方法依赖于黄金标准参考。然而，这些方法受到惩罚的语法编辑是正确的，但不是在黄金标准。我们发现，参考无语法性指标与人类的判断非常强烈的相关性，并与领先的基于参考的评估指标竞争。通过内插这两种方法，我们实现了最先进的相关性与人类的判断。最后，我们表明，GEC指标是更可靠的，当它们被计算在句子级别，而不是语料库级别。我们已经建立了一个CodaLab网站，使用通用数据集和不同的评估指标对GEC输出进行基准测试。
2016-10-07 cs.CL
ArbESC+: Arabic Enhanced Edit Selection System Combination for Grammatical Error Correction Resolving conflict and improving system combination in Arabic GEC
Department of Computer Sciences, Faculty of Computing and Information Technology（计算机科学系，计算与信息技术学院）；King Abdulaziz University（国王阿卜杜勒阿齐兹大学）；Saudi Electronic University（沙特电子大学）
针对阿拉伯语语法错误纠正（GEC）的挑战，本文提出首个多系统方法ArbESC+，通过组合多个模型生成纠正建议并基于特征分类决策，在多数据集上取得优于单模型的结果，为阿拉伯语GEC工具开发提供实用基础。
2025-11-18 cs.AI cs.CL
Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction
Tencent AI Lab（腾讯人工智能实验室）
针对汉语语法错误纠正（CGEC）中存在的深层问题，提出了一个新的框架--尾对尾（\textbf{TtT}）非自回归序列预测。考虑到大多数令牌都是正确的，可以直接从源传递到目标，并且可以根据双向上下文信息估计和纠正错误位置，因此我们采用BERT初始化的Transformer Encoder作为骨干模型进行信息建模和传递。考虑到仅依靠相同位置替换不能处理变长校正情况，需要联合诸如替换、删除、插入和局部释义的各种操作。因此，条件随机场（CRF）层堆叠在上尾，通过对令牌依赖性进行建模来进行非自回归序列预测。由于大多数令牌是正确的，并且容易被预测/传达给目标，因此模型可能会遭受严重的类不平衡问题。为了缓解这个问题，焦点损失惩罚策略被集成到损失函数中。此外，除了典型的定长纠错数据集，我们还构建了一个可变长度的语料库进行实验。在标准数据集上，特别是在变长数据集上的实验结果表明，TtT在错误检测和纠正任务中的准确率、查准率、查全率和F1-Measure方面都是有效的。
2021-10-26 cs.AI cs.CL
Improving Grammatical Error Correction via Contextual Data Augmentation
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（讯飞研究院）
本文提出一种基于上下文增强的合成数据构建方法和重新标记清洗方法，解决了GEC微调阶段数据稀缺和噪声标签问题，在少量数据下达到SOTA。
2024-06-25 cs.AI cs.CL
Grammatical Error Correction as GAN-like Sequence Labeling
Shanghai Jiao Tong University（上海交通大学）
在语法错误校正（GEC）中，与序列到序列模型相比，序列标记模型享有快速推理;然而，序列标记GEC模型中的推理是一个迭代过程，因为句子被传递到模型进行多轮校正，这使模型暴露于每轮错误逐渐减少的句子。传统的GEC模型从具有固定出错率的句子中学习。将其与迭代校正过程相结合会导致训练和推理之间的不匹配，从而影响最终性能。为了解决这种不匹配，我们提出了一个类似GAN的序列标记模型，它由一个语法错误检测器和一个语法错误标记器组成，语法错误标记器以Gumbel-Softmax采样作为生成器。通过从真实的误差分布中采样，与传统的合成GEC误差相比，我们的误差更真实，从而减轻了上述失配并允许更好的训练。我们在几个评估基准的结果表明，我们提出的方法是有效的，并提高了以前的国家的最先进的基线。
2021-05-29 cs.CL
ChineseErrorCorrector3-4B: State-of-the-Art Chinese Spelling and Grammar Corrector
East China Normal University School of Computer Science and Technology（华东师范大学计算机科学与技术学院）
ChineseErrorCorrector3-4B基于Qwen3-4B，实现了中文拼写和语法纠正的最新成果，优于现有模型并在多个基准测试中取得领先。
2025-11-13 cs.AI cs.CL
Minimum Bayes' Risk Decoding for System Combination of Grammatical Error Correction Systems
ALTA Institute（ALTA研究所）；University of Cambridge（剑桥大学）
本文针对语法纠错系统组合问题，提出一种与编辑F-score直接关联的最小贝叶斯风险解码方法，并扩展候选句子集合，在多个数据集上验证了其有效性及对精确率、召回率和F-score的可控性。
2023-10-27 cs.AI cs.CL
Exploring Effectiveness of GPT-3 in Grammatical Error Correction: A Study on Performance and Controllability in Prompt-Based Methods
Tokyo Institute of Technology（东京工业大学）
本文研究GPT-3在语法错误纠正中的提示方法性能与可控性，发现其在零样本和少样本设置下优于现有方法，并能通过指令和示例实现对编辑方式及学习者水平的控制。
2023-05-29 cs.AI cs.CL
Revisiting Grammatical Error Correction Evaluation and Beyond
Beijing Institute of Technology（北京理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
基于预训练（PT）的自动评估指标（例如，BERTScore和BARTScore）已经被广泛用于几个句子生成任务（例如，机器翻译和文本摘要），因为它们比传统的基于语义的方法更好地与人类判断相关。尽管基于PT的方法已经成为训练语法错误纠正（GEC）系统的事实标准，但GEC评估仍然没有受益于预先训练的知识。本文采取了第一步，了解和改进GEC评估与预训练。我们首先发现，由于过度关注不重要的系统输出（例如，不变的部分）。为了缓解这一限制，我们提出了一种新的GEC评估指标，以实现两全其美，即PT-M2，它只使用基于PT的指标来评分那些纠正的部分。CoNLL 14评估任务的实验结果表明，PT-M2显著优于现有方法，实现了0.949 Pearson相关性的最新结果。进一步的分析表明，PT-M2是强大的，以评估竞争性GEC系统。源代码和脚本可以在https://github.com/pygongnlp/PT-M2上免费获得。
2022-11-03 cs.AI cs.CL
Type-Driven Multi-Turn Corrections for Grammatical Error Correction
Xiamen University（厦门大学）；Tencent Cloud Xiaowei（腾讯云小微）
语法错误纠正（GEC）旨在自动检测和纠正语法错误。在这方面，主导模型通过一次迭代学习来训练，同时在推理期间执行多次迭代的校正。以前的研究主要集中在数据增强的方法来对抗曝光偏差，这有两个缺点。首先，他们简单地混合额外构建的训练实例和原始的训练模型，这不能帮助模型明确地意识到逐步校正的过程。其次，他们忽视了不同类型的修正之间的相互依赖性。在本文中，我们提出了一种类型驱动的多圈校正方法的GEC。使用这种方法，从每个训练实例中，我们还构建了多个训练实例，每个实例都涉及特定类型错误的纠正。然后，我们使用这些额外构造的训练实例和原始的训练实例依次对模型进行训练。实验结果和深入的分析表明，我们的方法显着有利于模型训练。特别是，我们的增强型模型实现了最先进的单一模型性能的英语GEC基准。我们在Github上发布代码。
2022-03-17 cs.CL
Grammatical Error Correction and Style Transfer via Zero-shot Monolingual Translation
University of Tartu（塔尔图大学）；Tilde
语法错误纠正和文本风格迁移都可以被视为单语序列到序列转换任务，但缺乏直接注释的数据，使它们对大多数语言都不可行。我们提出了一种方法，在同一个训练模型中完成这两个任务，并且只使用正则语言并行数据，而不需要纠错或风格适应的文本。我们将我们的模型应用于三种语言，并对这两项任务进行了全面的评估，表明该模型对于一些错误类型和风格转移方面是可靠的。
2019-10-22 cs.CL
Enhancing Grammatical Error Correction Systems with Explanations
Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Westlake University（西湖大学）；Zhejiang University（浙江大学）
本研究为增强语法错误纠正系统的解释性，推出标注证据词与错误类型的大型数据集EXPECT，提出基线模型并分析，经人工验证其解释可辅助二语学习者理解语法规则、判断是否接受修正。
2023-06-10 cs.CL
Automatic Metric Validation for Grammatical Error Correction
The Hebrew University of Jerusalem（希伯来大学）
语法纠错（GEC）中的度量验证目前是通过观察人类和度量诱导的排名之间的相关性来完成的。然而，这种相关性研究是昂贵的，方法上的麻烦，并遭受低评分者之间的协议。我们提出了MAEGE，GEC指标验证的自动方法，克服了许多困难与现有的做法。使用\maege的实验为度量质量提供了新的线索，例如，标准$M^2$度量在语料库级别的排名中表现不佳。此外，我们使用MAEGE进行度量行为的详细分析，表明纠正某些类型的错误是一贯的惩罚现有的指标。
2018-05-07 cs.CL
Ensemble Distillation Approaches for Grammatical Error Correction
Cambridge University Engineering Department（剑桥大学工程系）；Yandex（Yandex公司）
包围方法是通过组合多个模型预测来改进系统的常用技术。此外，这些计划允许的不确定性，以及来源的不确定性，以获得预测。不幸的是，这些好处是以计算和内存为代价的。为了解决这个问题，已经提出了系综蒸馏（EnD）和最近的系综分布蒸馏（EnDD），其将系综压缩成单个模型，分别表示系综平均预测或预测分布。本文探讨了这两种蒸馏方法的应用程序的序列预测任务，语法错误纠正（GEC）。这是语言学习任务的一个重要应用领域，因为它可以为学习者提供非常有用的反馈。然而，它比研究蒸馏的标准任务更具挑战性，因为对单词的任何语法校正的预测将高度依赖于输入序列和生成的单词输出历史。EnD和EnDD的表现在公开可用的GEC任务以及口语任务上进行评估。
2020-12-15 cs.AI cs.CL cs.LG
Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation
University of Edinburgh（爱丁堡大学）；Microsoft（微软）
我们结合了两种最流行的自动语法纠错（GEC）方法：基于统计机器翻译（SMT）的GEC和基于神经机器翻译（NMT）的GEC。该混合动力系统在CoNLL-2014和JFLEG基准测试中取得了最新的结果。该GEC系统保留了SMT输出的准确性，同时生成了更流畅的句子，因为它是NMT的典型。我们的分析表明，所创建的系统比迄今为止报道的任何其他GEC系统更接近人类水平的性能。
2018-04-16 cs.CL
Learning to combine Grammatical Error Corrections
IBM Research AI（IBM研究院人工智能部门）
语法纠错（GEC）领域已经产生了各种系统来处理聚焦现象或一般文本编辑。我们提出了一个自动的方法来结合黑盒系统。我们的方法自动检测每个错误类型的系统或几个系统的组合的强度，提高精度和召回率，同时直接优化$F$分数。在所有测试的配置中，我们显示出对最佳独立系统的一致改进。这种方法也优于具有随机初始化的不同RNN模型的平均集成。此外，我们分析了使用BERT的GEC -报告在这方面有前途的结果。我们还提出了一个拼写检查创建此任务优于标准的拼写检查测试的拼写检查任务。本文描述了一个系统提交给建设教育应用2019共享任务：语法错误纠正。使用我们的方法结合2019年顶级共享任务系统的输出，目前在2019年共享任务的开放阶段获得了最高的报告分数，比报告的最佳结果提高了F0.5 3.7分。
2019-06-10 cs.AI cs.CL cs.LG
Interpretability for Language Learners Using Example-Based Grammatical Error Correction
Tokyo Institute of Technology（东京工业大学）
语法纠错不仅要注重纠错的准确性，更要注重对语言学习的可解释性。然而，现有的基于神经元的GEC模型主要是为了提高精度，其可解释性还没有被探索。一个有前途的方法，以提高可解释性是一个基于实例的方法，它使用类似的检索的例子，以产生更正。此外，例子在语言学习中也是有益的，帮助学习者理解语法错误/正确的文本的基础，提高他们写作的信心。因此，我们假设，将基于实例的方法纳入GEC可以提高可解释性，以及支持语言学习者。在这项研究中，我们介绍了一个基于实例的GEC（EB-GEC），提出的例子，语言学习者作为一个校正结果的基础。这些例子由与给定输入及其预测校正相似的正确和不正确句子对组成。实验表明，EB-GEC提供的例子帮助语言学习者决定接受或拒绝GEC输出的建议。此外，实验还表明，检索的例子提高了校正的准确性。
2022-03-14 cs.CL
The CoNLL-2013 Shared Task on Grammatical Error Correction
Department of Computer Science National University of Singapore（计算机科学系国立新加坡大学）；Centre for English Language Communication National University of Singapore（英语语言沟通中心国立新加坡大学）；Nuance Communications, Inc.（Nuance通讯公司）
本文介绍了致力于语法错误纠正的CoNLL-2013共享任务，给出了任务定义、数据集、评估指标与评分器，概述了参赛团队的各种方法并展示了评估结果。
2025-07-13 cs.CL
From Spelling to Grammar: A New Framework for Chinese Grammatical Error Correction
Peking University（北京大学）
汉语语法纠错的目的是从错误序列中生成正确的句子，而错误序列中混杂着不同类型的错误。本文将CGEC任务分为两个步骤，即拼写错误纠正和语法错误纠正。具体地说，我们提出了一种新的拼写错误纠正的zero-shot方法，它是简单而有效的，获得了较高的精度，以避免错误积累的流水线结构。为了处理语法错误校正，我们设计了词性（POS）特征和语义类特征来增强神经网络模型，并提出了一个辅助任务来预测目标句子的POS序列。我们提出的框架在没有使用任何合成数据或数据增强方法的情况下，在CGEC数据集上获得了42.11 F0.5的分数，这比以前的最新技术高出1.30分。此外，我们的模型产生有意义的POS表示，捕捉不同的POS词，并传达合理的POS转换规则。
2022-11-03 cs.CL cs.LG
Efficient and Interpretable Grammatical Error Correction with Mixture of Experts
National University of Singapore（新加坡国立大学）；MBZUAI（Mohamed bin Zayed 人工智能大学）
针对语法错误纠正系统组合计算成本高的问题，提出混合专家模型MoECE，以更少参数量达到T5-XL的性能，且能在推理时识别错误类型，实现可解释纠正。
2024-10-30 cs.CL
The CUED's Grammatical Error Correction Systems for BEA-2019
University of Cambridge（剑桥大学）
我们描述了剑桥大学工程系在2019年语法错误纠正共享任务中的两个条目。我们对低资源轨道的提交是基于先前使用有限状态转换器与强神经语言模型的工作。我们的限制跟踪系统是一个纯神经系统，由神经语言模型和神经机器翻译模型组成，这些模型经过反向翻译训练，并结合了检查点平均和微调-没有任何额外的工具，如拼写检查器。后一个系统已被用于与剑桥大学计算机实验室合作的一个单独的系统组合入口。
2019-06-29 cs.CL
FCGEC: Fine-Grained Corpus for Chinese Grammatical Error Correction
Zhejiang University（浙江大学）；Huawei Co., Ltd（华为技术有限公司）
本文提出细粒度中文语法纠错语料库FCGEC及Switch-Tagger-Generator基线模型，在低资源场景下优于现有GEC基准模型，并揭示了模型与人类水平之间的显著差距。
2022-10-22 cs.CL
Inherent Biases in Reference based Evaluation for Grammatical Error Correction and Text Simplification
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
众所周知，普遍使用太少的参考文献来评估文本到文本的生成会使对其质量的估计产生偏差（{ \it低覆盖率偏差}或LCB）。本文表明，克服LCB在语法错误纠正（GEC）的评估不能达到重新缩放或通过增加参考文献的数量在任何可行的范围内，与以前的建议。这是由于句子的有效更正的长尾分布。具体来说，我们表明，LCB激励GEC系统，以避免纠正，即使他们可以产生一个有效的纠正。因此，现有系统通过对输入进行很少但有针对性的改变，获得与人类相比相当或更好的性能。对文本简化的类似影响进一步支持了我们的主张。
2019-09-18 cs.CL
ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
ChatGPT是由OpenAI开发的前沿人工智能语言模型，由于其在回答后续问题方面惊人的强大能力而引起了大量关注。在这份报告中，我们的目标是评估ChatGPT的语法错误纠正（GEC）任务，并将其与商业GEC产品（例如，语法上）和最先进的模型（例如，GECToR）。通过对CoNLL2014基准数据集的测试，我们发现ChatGPT在自动评估指标方面的表现不如那些基线（例如，$F_{0.5}$评分），尤其是在长句上。我们检查了输出，发现ChatGPT超越了一个接一个的修正。具体而言，它更喜欢改变某些短语或句子结构的表面表达，同时保持语法正确性。人工评估定量地证实了这一点，并表明ChatGPT产生较少的校正不足或错误校正问题，但更多的过度校正。这些结果表明，ChatGPT被自动评估指标严重低估，可能是GEC的一个有前途的工具。
2023-03-15 cs.CL
Exploring the Feasibility of Multilingual Grammatical Error Correction with a Single LLM up to 9B parameters: A Comparative Study of 17 Models
Poznan University of Technology（波兹南技术大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）
本文比较了 17 个流行模型在英、德、意、瑞典四种语言上的单模型多语言语法纠错表现，发现六个模型能提升全部语言的语法正确性，其中 Gemma 9B 表现最佳。
2025-05-09 cs.CL
Comparison of Grammatical Error Correction Using Back-Translation Models
Tokyo Metropolitan University（东京都立大学）；Recruit Co., Ltd.（瑞可利株式会社）；Tokyo Institute of Technology（东京工业大学）
语法错误纠正（GEC）缺乏足够的并行数据。因此，GEC研究开发了各种方法来生成伪数据，这些伪数据包括成对的语法和人工生成的不语法句子。目前，生成伪数据的主流方法是回译（BT）。大多数以前使用BT的GEC研究对GEC和BT模型都采用了相同的架构。然而，GEC模型有不同的修正趋势，这取决于它们的架构。因此，在这项研究中，我们比较了在不同BT模型（即Transformer、CNN和LSTM）生成的伪数据上训练的GEC模型的校正趋势。结果证实，每种错误类型的校正趋势是不同的每一个BT模型。此外，我们研究了使用不同BT模型生成的伪数据组合时的校正趋势。结果表明，不同BT模型的组合与不同种子的单个BT模型相比，提高或内插了每种错误类型的F0.5分数。
2021-04-16 cs.CL
Exploiting N-Best Hypotheses to Improve an SMT Approach to Grammatical Error Correction
National University of Singapore（新加坡国立大学）
语法错误纠正是指发现并纠正第二语言学习者所写文章中的语法错误。GEC的统计机器翻译（SMT）方法，其中第二语言学习者写的句子被翻译成语法正确的句子，已经达到了最先进的准确性。然而，SMT方法无法利用全局上下文。在本文中，我们提出了一种新的方法来提高GEC的准确性，利用SMT方法产生的n-最好的假设。具体来说，我们构建了一个分类器来对n个最佳假设中的编辑进行评分。分类器可用于选择适当的编辑或重新排序n个最佳假设。我们将这些方法应用到一个国家的最先进的GEC系统，使用SMT的方法。我们的实验表明，我们的方法实现了统计上显着的改进，在准确性上的最佳公布结果的基准测试数据集上的GEC。
2016-06-01 cs.CL
