Improving Grammatical Error Correction with Machine Translation Pairs
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
我们提出了一种新的数据合成方法来生成不同的纠错句子对,以提高语法纠错,这是基于一对不同质量的机器翻译模型(即,穷与好)。差的翻译模型类似于ESL(英语作为第二语言)学习者,并且倾向于生成在流畅性和语法正确性方面质量较低的翻译,而好的翻译模型通常生成流畅和语法正确的翻译。我们分别用基于短语的统计机器翻译模型和神经机器翻译模型来建立差语言模型模型和好翻译模型。将桥语言中相同句子的译文对作为纠错句子对,可以构造出无限的伪并行数据。我们的方法是能够产生不同的流畅性提高模式,而不受限制的预定义的规则集和种子纠错数据。实验结果表明,我们的方法的有效性,并表明它可以与其他合成数据源相结合,以产生进一步的改进。
2020-11-01 cs.CL
MuCGEC: a Multi-Reference Multi-Source Evaluation Dataset for Chinese Grammatical Error Correction
Soochow University(苏州大学);DAMO Academy(达摩院);Alibaba Group(阿里巴巴集团)
本文介绍了MuCGEC,一个多参考多源汉语语法错误纠正(CGEC)评估数据集,由7,063个句子组成,这些句子来自三个汉语作为第二语言(CSL)学习者源。每句话由三名注释者更正,他们的更正由一名高级注释者仔细审查,导致每句话有2.3个参考文献。我们用两个主流的CGEC模型进行实验,即,序列到序列模型和序列到编辑模型,两者都通过大型预训练语言模型进行了增强,在以前的数据集和我们的数据集上实现了具有竞争力的基准性能。我们还讨论了CGEC评估方法,包括多个引用的效果和使用基于字符的度量。我们的注释指南、数据和代码可从\url{https://github.com/HillZhang1999/MuCGEC}获得。
2022-05-04 cs.CL
Don't Count the Edits, Judge by the Outcome Alone: Reward-Based Evaluation for Grammatical Error Correction
Chung-Ang University(中央大学)
提出SURE,一种基于源条件奖励的语法纠错评估器,通过联合学习整体奖励与多标准监督,在SEEDA上优于基线,尤其擅长改写式修正。
2026-09-15 cs.AI cs.CL
Adversarial Grammatical Error Correction
Grammarly(Grammarly( Grammarly公司))
最近的语法纠错(GEC)工作利用了神经机器翻译(NMT)的进展,从语法错误和纠正的句子的并行语料库中学习重写,实现了最先进的结果。与此同时,生成对抗网络(GANs)通过学习直接最小化人类生成文本和合成文本之间的差异,成功地在许多不同的任务中生成了逼真的文本。在这项工作中,我们提出了一个对抗性的学习方法,GEC,使用生成器的框架。生成器是一个Transformer模型,经过训练可以生成语法正确的句子。该模型是一个双对分类模型,用于根据语法纠正的质量来判断给定的一对语法错误-正确的句子。我们在并行文本上对生成器和生成器进行预训练,然后使用策略梯度方法进一步微调它们,该方法为可能是语法错误文本的真正纠正的句子分配高奖励。在FCE、CoNLL-14和EEE-19数据集上的实验结果表明,与基于NMT的基线相比,Adversarial-GEC可以实现具有竞争力的GEC质量。
2020-10-06 cs.AI cs.CL cs.LG
SynGEC: Syntax-Enhanced Grammatical Error Correction with a Tailored GEC-Oriented Parser
Soochow University(苏州大学)
这项工作提出了一种语法增强的语法错误纠正(GEC)的方法命名为SynGEC,有效地将依赖语法信息到GEC模型的编码器部分。这个想法的关键挑战是,现成的解析器在处理不合语法的句子时是不可靠的。为了应对这一挑战,我们建议建立一个量身定制的面向GEC的解析器(GOPar)使用并行GEC训练数据作为支点。首先,我们设计了一个扩展的语法表示方案,使我们能够表示语法错误和语法在一个统一的树结构。然后,我们通过投影目标正确句子的分析树来获得源错误句子的分析树。最后,我们用这样的投影树训练GOPar。对于GEC,我们采用图卷积网络来编码GOPar产生的源端语法信息,并将它们与Transformer编码器的输出融合。在主流英文和中文GEC数据集上的实验表明,我们提出的SynGEC方法一致且大幅优于强基线,并取得了有竞争力的性能。我们的代码和数据都可以在https://github.com/HillZhang1999/SynGEC上公开获取。
2022-10-22 cs.CL
Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models
Google Research(谷歌研究院)
众所周知,合成数据生成可以提高神经语法纠错(GEC)系统的准确性,但现有方法往往缺乏多样性或过于简单,无法生成人类作者所犯的各种语法错误。在这项工作中,我们使用错误类型标签自动注释工具,如ERRANT指导合成数据的生成。我们比较了几种模型,可以产生一个不符合语法的句子给出一个干净的句子和错误类型标签。我们使用这些模型来建立一个新的,大的合成预训练数据集与错误标签频率分布匹配给定的开发集。我们的合成数据集产生了巨大而一致的增益,提高了在ESTA-19和CoNLL-14测试集上的最新水平。我们还表明,我们的方法是特别有效的,在适应GEC系统,培训混合本地和非本地英语,以英语为母语的测试集,甚至超过真正的训练数据组成的高质量的句子对。
2021-05-27 cs.CL
How do you correct run-on sentences it's not as easy as it seems
Grammarly
连写句是常见的语法错误,但迄今为止很少有研究解决这个问题。这项工作介绍了两个机器学习模型,以纠正运行的句子,优于相关任务,标点符号恢复和整句语法错误纠正领先的方法。由于此错误的注释数据有限,我们尝试从干净的新闻专线文本中人工生成训练数据。我们的研究结果表明,人工训练数据是可行的这项任务。我们讨论了纠正运行和其他类型的错误,有低覆盖率的错误注释语料库的影响。
2018-09-21 cs.CL
Exploiting N-Best Hypotheses to Improve an SMT Approach to Grammatical Error Correction
National University of Singapore(新加坡国立大学)
语法错误纠正是指发现并纠正第二语言学习者所写文章中的语法错误。GEC的统计机器翻译(SMT)方法,其中第二语言学习者写的句子被翻译成语法正确的句子,已经达到了最先进的准确性。然而,SMT方法无法利用全局上下文。在本文中,我们提出了一种新的方法来提高GEC的准确性,利用SMT方法产生的n-最好的假设。具体来说,我们构建了一个分类器来对n个最佳假设中的编辑进行评分。分类器可用于选择适当的编辑或重新排序n个最佳假设。我们将这些方法应用到一个国家的最先进的GEC系统,使用SMT的方法。我们的实验表明,我们的方法实现了统计上显着的改进,在准确性上的最佳公布结果的基准测试数据集上的GEC。
2016-06-01 cs.CL
Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data
Yuanfudao Research(猿辅导研究院)
神经机器翻译系统已成为语法纠错(GEC)任务的最先进的方法。在本文中,我们提出了一个复制增强架构的GEC任务复制不变的话从源句子到目标句子。因为GEC遭受没有足够的标记训练数据来实现高准确度。我们使用未标记的One Billion Benchmark使用去噪自动编码器预训练复制增强架构,并在完全预训练模型和部分预训练模型之间进行比较。这是第一次从源上下文复制单词并完全预训练序列到序列模型在GEC任务上进行实验。此外,我们还为GEC任务添加了令牌级和任务级多任务学习。在CoNLL-2014测试集上的评估结果表明,我们的方法大大优于所有最近发表的最先进的结果。代码和预训练模型在https://github.com/zhawe01/fairseq-gec上发布。
2019-06-11 cs.CL
RE$^2$: Improving Chinese Grammatical Error Correction via Retrieving Appropriate Examples with Explanation
Research Center for SCIR, Harbin Institute of Technology(SCIR研究中心,哈尔滨工业大学);State Key Laboratory of Cognitive Intelligence, iFLYTEK Research(认知智能国家重点实验室,iFLYTEK研究院);Artificial Intelligence and Human Language Lab, Beijing Foreign Studies University(人工智能与语言实验室,北京外国语大学)
针对基于文本相似度检索示例易与语法错误模式不匹配的问题,本文提出 RE²,利用语法错误解释选择参考示例以增强 LLM,并构建高质量 GEE 数据集,实验证明其可有效提升 CGEC 性能。
2025-09-30 cs.CL
Leveraging Denoised Abstract Meaning Representation for Grammatical Error Correction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心)
本文提出AMR-GEC模型,首次将去噪后的抽象语义表示(AMR)作为额外知识融入序列到序列语法纠错框架,在BEA-2019和CoNLL-2014任务上达到与强基线相当的性能,并将训练时间减少32%。
2023-07-05 cs.CL
Scoring Edit Impact in Grammatical Error Correction via Embedded Association Graphs
本文提出评分语法纠错中编辑影响的新任务,通过嵌入关联图捕捉编辑间的潜在依赖,利用困惑度评分估计编辑对句子流畅度的贡献,实验表明方法在多语种和多系统上优于基线。
2026-04-08 cs.CL
Grammatical Error Correction with Neural Reinforcement Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出了一种基于强化学习的神经编码解码器模型。与传统的最大似然估计(MLE)不同,该模型直接优化目标,该目标考虑了任务级别,特定于任务的评估指标,避免了MLE中的暴露偏差问题。我们证明,NRL优于MLE在人类和自动化的评价指标,实现了最先进的流畅性为导向的GEC语料库。
2017-07-02 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science(数据科学中心);New York University(纽约大学)
在句子压缩中,缩短句子同时保留原始含义的任务,模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求,我们模拟了一个摘要任务,并添加噪声来扩展句子,训练一个去噪自动编码器来恢复原始句子,构建了一个端到端的训练机制,而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估,并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据,但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳,但我们的模型与基于人类评估的监督基线相比,在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
Grammatical Error Correction for Code-Switched Sentences by Learners of English
Writer, Inc.(Writer 公司);King's College London(伦敦国王学院)
本研究首次探索语法错误纠正系统在语码转换文本上的应用,提出通过翻译现有GEC语料片段生成合成CSW GEC数据集的方法,最优模型在3个多语言测试集上$F_{0.5}$平均提升1.57且不影响单语性能,还发现模型对类型相似的CSW语言泛化性较好。
2024-05-06 cs.CL
Rethinking Evaluation Metrics for Grammatical Error Correction: Why Use a Different Evaluation Process than Human?
Nara Institute of Science and Technology(奈良科学技术大学)
本文针对语法纠错自动评估与人类评估流程不一致的问题,提出一种与人类评估方法对齐的聚合排名方法,实验表明该方法在SEEDA基准上提升了多数指标的表现,并已集成至gec-metrics。
2025-06-03 cs.CL
CSynGEC: Incorporating Constituent-based Syntax for Grammatical Error Correction with a Tailored GEC-Oriented Parser
Institute of Artificial Intelligence(人工智能研究院);School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学)
最近,Zhang等人(2022)提出了一种语法感知的语法错误纠正(GEC)方法,称为SynGEC,表明将输入句子的定制的基于依赖性的语法合并到GEC中是非常有益的。这项工作考虑了另一种主流语法形式主义,即,基于成分的语法。通过借鉴SynGEC的成功经验,我们首先提出了一个扩展的基于成分的句法计划,以适应错误的语法句子。然后以并行GEC数据为支点,自动获取语法错误句子的选区树,训练面向GEC的选区分析器。对于语法编码,我们采用图卷积网络(GCN)。实验结果表明,我们的方法,命名为CSynGEC,产生了很大的改善强基线。此外,我们研究了GEC的基于成分和基于依赖性的语法的集成:1)模型内组合,这意味着使用单独的GCN来编码两种语法以在单个模型中解码; 2)模型间组合,这意味着收集和选择由不同模型预测的编辑以实现最终校正。我们发现,前一种方法提高了召回率,而后者提高了精度,并导致更好的F0.5值。
2022-11-15 cs.CL
Revisiting Meta-evaluation for Grammatical Error Correction
Tokyo Metropolitan University(东京都立大学);CyberAgent Inc.(CyberAgent公司);Hitotsubashi University(一桥大学)
本文提出SEEDA数据集,通过对齐粒度改进语法纠错元评估,发现编辑级指标被低估,且传统指标在评估神经系统的流畅修正时表现较差。
2024-05-26 cs.CL
Seq2Edits: Sequence Transduction Using Span-level Edit Operations
Google Research(谷歌研究院)
我们提出了Seq2Edits,一种开放词汇表的方法,用于自然语言处理(NLP)任务的序列编辑,输入和输出文本之间具有高度的重叠。在这种方法中,每个序列到序列的转换被表示为编辑操作的序列,其中每个操作或者用目标令牌替换整个源跨度或者保持其不变。我们在五个NLP任务(文本规范化,句子融合,句子拆分和重新措辞,文本简化和语法错误纠正)上评估了我们的方法,并全面报告了竞争结果。对于语法错误纠正,与全序列模型相比,我们的方法将推理速度提高了5.2倍,因为推理时间取决于编辑的数量,而不是目标标记的数量。对于文本规范化,句子融合和语法错误纠正,我们的方法通过将每个编辑操作与人类可读的标签相关联来提高可解释性。
2020-09-23 cs.CL
ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
ChatGPT是由OpenAI开发的前沿人工智能语言模型,由于其在回答后续问题方面惊人的强大能力而引起了大量关注。在这份报告中,我们的目标是评估ChatGPT的语法错误纠正(GEC)任务,并将其与商业GEC产品(例如,语法上)和最先进的模型(例如,GECToR)。通过对CoNLL2014基准数据集的测试,我们发现ChatGPT在自动评估指标方面的表现不如那些基线(例如,$F_{0.5}$评分),尤其是在长句上。我们检查了输出,发现ChatGPT超越了一个接一个的修正。具体而言,它更喜欢改变某些短语或句子结构的表面表达,同时保持语法正确性。人工评估定量地证实了这一点,并表明ChatGPT产生较少的校正不足或错误校正问题,但更多的过度校正。这些结果表明,ChatGPT被自动评估指标严重低估,可能是GEC的一个有前途的工具。
2023-03-15 cs.CL
Chinese Grammatical Correction Using BERT-based Pre-trained Model
Nomura Research Institute, Ltd.(野村综合研究所株式会社);Retrieva, Inc.(Retrieva公司);Tokyo Metropolitan University(东京都立大学)
近年来,预训练模型得到了广泛的研究,一些下游任务也从它们的使用中受益。在这项研究中,我们验证了两种方法的有效性,这两种方法将Cui et al.(2020)开发的基于BERT的预训练模型结合到中文语法纠错任务的编码器-解码器模型中。我们还分析了错误类型,并得出结论,双精度级的错误还有待解决。
2020-11-04 cs.CL
Towards the Development of Balanced Synthetic Data for Correcting Grammatical Errors in Arabic: An Approach Based on Error Tagging Model and Synthetic Data Generating Model
King Abdulaziz University(阿卜杜勒阿齐兹大学);Saudi Electronic University(沙特电子大学)
本文提出错误标注模型与基于回译的合成数据生成模型,构建大规模阿拉伯语语法纠错合成数据,并在QALB-14上取得79.36% F1的新最优结果。
2025-02-07 cs.AI cs.CL
LM-Critic: Language Models for Unsupervised Grammatical Error Correction
Stanford University(斯坦福大学)
训练语法错误纠正(GEC)模型需要一组标记的不符合语法/符合语法的句子对,但手动注释这些句子对可能很昂贵。最近,Break-It-Fix-It(BIFI)框架已经展示了在没有任何标记示例的情况下学习修复损坏程序的强大结果,但这依赖于完美的批评者(例如,编译器),它返回一个例子是否有效,这对于GEC任务来说是不存在的。在这项工作中,我们展示了如何利用预训练的语言模型(LM)来定义LM-Critic,如果LM分配给它的概率高于它的局部扰动,则该LM-Critic判断一个句子是语法的。我们应用这个LM-Critic和BIFI以及大量未标记的句子来引导现实的不符合语法/语法的对来训练校正器。我们在多个领域的GEC数据集上评估了我们的方法(CoNLL-2014,GMEG-2019,GMEG-wiki和GMEG-yahoo),并表明它在无监督设置(+7.7 F0.5)和监督设置(+0.5 F0.5)中优于现有方法。
2021-10-08 cs.CL cs.LG
Grammatical Error Correction Evaluation by Optimally Transporting Edit Representation
Nara Institute of Science and Technology(奈良科学技術研究所)
本文提出UOT-ERRANT度量方法,通过最优传输编辑表示提升语法错误纠正评估性能,尤其在流畅性领域表现突出。
2026-02-05 cs.CL
Diamonds in the Rough: Generating Fluent Sentences from Early-Stage Drafts for Academic Writing Assistance
Tohoku University(东北大学);Langsmith Inc.(Langsmith公司);Yahoo Japan Corporation(雅虎日本公司);RIKEN(理化学研究所);Octanove Labs LLC(Octanove实验室有限责任公司)
写作过程包括几个阶段,如起草,修改,编辑和校对。对写作辅助的研究,如语法错误纠正(GEC),主要集中在句子编辑和校对上,其中应该纠正印刷,拼写或语法错误等表面问题。我们扩大这一重点,包括早期的修订阶段,句子需要调整的信息包括或主要重写,并提出句子级修订(SentRev)作为一个新的写作援助任务。在这项任务中表现良好的系统可以帮助没有经验的作者,在他们粗糙、不完整的草稿中产生流畅、完整的句子。我们构建了一个新的免费众包评估数据集,由非母语作者撰写的不完整句子与从已发表的学术论文中提取的最终版本配对,用于开发和评估SentRev模型。我们还使用新构建的评估数据集在SentRev上建立基线性能。
2019-10-21 cs.CL
Is ChatGPT a Highly Fluent Grammatical Error Correction System? A Comprehensive Evaluation
University of Macau(澳门大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Soochow University(苏州大学)
本文全面评估了ChatGPT在语法错误纠正(GEC)任务中的能力,通过设计零样本和少样本思维链设置进行多语言及文档级测试,发现其错误检测与流利度表现出色,但在跨句错误纠正及遵循最小编辑原则上存在局限。
2023-04-04 cs.CL
Improving the Efficiency of Grammatical Error Correction with Erroneous Span Detection and Correction
East China Normal University(华东师范大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的独立于语言的语法错误纠正方法,该方法将语法错误纠正任务分为两个子任务:错误广度检测(ESD)和错误广度纠正(ESC)。ESD使用高效的序列标记模型识别语法错误的文本跨度。然后,ESC利用seq2seq模型将带有注释的错误跨度的句子作为输入,并仅输出这些跨度的更正文本。实验结果表明,我们的方法执行传统的seq2seq方法在英语和中文GEC基准不到50%的时间成本的推理。
2020-10-07 cs.CL
There's No Comparison: Reference-less Evaluation Metrics in Grammatical Error Correction
Johns Hopkins University(约翰斯·霍普金斯大学);Grammarly
当前用于自动评估语法错误校正(GEC)系统的方法依赖于黄金标准参考。然而,这些方法受到惩罚的语法编辑是正确的,但不是在黄金标准。我们发现,参考无语法性指标与人类的判断非常强烈的相关性,并与领先的基于参考的评估指标竞争。通过内插这两种方法,我们实现了最先进的相关性与人类的判断。最后,我们表明,GEC指标是更可靠的,当它们被计算在句子级别,而不是语料库级别。我们已经建立了一个CodaLab网站,使用通用数据集和不同的评估指标对GEC输出进行基准测试。
2016-10-07 cs.CL
Near Human-Level Performance in Grammatical Error Correction with Hybrid Machine Translation
University of Edinburgh(爱丁堡大学);Microsoft(微软)
我们结合了两种最流行的自动语法纠错(GEC)方法:基于统计机器翻译(SMT)的GEC和基于神经机器翻译(NMT)的GEC。该混合动力系统在CoNLL-2014和JFLEG基准测试中取得了最新的结果。该GEC系统保留了SMT输出的准确性,同时生成了更流畅的句子,因为它是NMT的典型。我们的分析表明,所创建的系统比迄今为止报道的任何其他GEC系统更接近人类水平的性能。
2018-04-16 cs.CL
Reaching Human-level Performance in Automatic Grammatical Error Correction: An Empirical Study
Microsoft Research Asia(微软亚洲研究院)
神经序列到序列(seq 2seq)方法已被证明是成功的语法错误纠正(GEC)。基于seq 2seq框架,我们提出了一种新的流畅性提升学习和推理机制。流畅性提升学习在训练期间生成不同的纠错句子对,使纠错模型能够学习如何从更多实例中提高句子的流畅性,而流畅性提升推理允许模型通过多个推理步骤增量地纠正句子。结合流畅性提升学习和推理与卷积seq 2seq模型,我们的方法实现了最先进的性能:在CoNLL-2014 10注释数据集上分别为75.72(F_{0.5})和在JFLEG测试集上分别为62.42(GLEU),成为第一个在两个基准测试中都达到人类水平性能(CoNLL为72.58,JFLEG为62.37)的GEC系统。
2018-07-11 cs.AI cs.CL
GPT-3.5 for Grammatical Error Correction
University of Helsinki(赫尔辛基大学)
本研究探索 GPT-3.5 在多语言语法错误纠正中的三类应用,评估发现其英语表现较好但存在过度纠正问题,且在标点、时态等错误类型上仍有不足。
2024-05-14 cs.AI cs.CL
Tibyan Corpus: Balanced and Comprehensive Error Coverage Corpus Using ChatGPT for Arabic Grammatical Error Correction
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Saudi Electronic University(沙特电子大学)
本研究利用ChatGPT构建阿拉伯语语法纠错语料库Tibyan,包含约600K标记和七类错误,旨在弥补阿拉伯语GEC资源不足。
2024-11-07 cs.AI cs.CL
LM-Combiner: A Contextual Rewriting Model for Chinese Grammatical Error Correction
Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心);State Key Laboratory of Cognitive Intelligence, iFLYTEK Research(讯飞研究院认知智能国家重点实验室)
针对中文语法错误纠正中的过度纠正问题,提出无需模型集成的重写模型LM-Combiner,通过K折交叉推理构建数据集训练,有效提升精确率并保持召回率不变。
2024-03-26 cs.CL
From Spelling to Grammar: A New Framework for Chinese Grammatical Error Correction
Peking University(北京大学)
汉语语法纠错的目的是从错误序列中生成正确的句子,而错误序列中混杂着不同类型的错误。本文将CGEC任务分为两个步骤,即拼写错误纠正和语法错误纠正。具体地说,我们提出了一种新的拼写错误纠正的zero-shot方法,它是简单而有效的,获得了较高的精度,以避免错误积累的流水线结构。为了处理语法错误校正,我们设计了词性(POS)特征和语义类特征来增强神经网络模型,并提出了一个辅助任务来预测目标句子的POS序列。我们提出的框架在没有使用任何合成数据或数据增强方法的情况下,在CGEC数据集上获得了42.11 F0.5的分数,这比以前的最新技术高出1.30分。此外,我们的模型产生有意义的POS表示,捕捉不同的POS词,并传达合理的POS转换规则。
2022-11-03 cs.CL cs.LG
A BERT-based Unsupervised Grammatical Error Correction Framework
Guangdong University of Technology(广东工业大学);Peking University(北京大学);Yunnan Minzu University(云南民族大学);Guangdong University of Foreign Studies(广东外语外贸大学)
本研究提出一种基于BERT的无监督语法错误纠正框架,将GEC视为多类分类任务,包含数据流构建、句子困惑度评分及错误检测与纠正模块,并提出新的伪困惑度评分方法,在Tagalog和Indonesian语料库上表现优异。
2023-03-30 cs.CL
"Is Whole Word Masking Always Better for Chinese BERT?": Probing on Chinese Grammatical Error Correction
Fudan University(复旦大学);Tencent AI Lab(腾讯人工智能实验室)
全词屏蔽(WWM),它屏蔽所有子词对应的一个词,使一个更好的英语BERT模型。然而,对于中文,没有子字,因为每个记号都是一个原子字符。在汉语中,一个词的含义是不同的,因为一个词是由多个字符组成的组成单位。这种差异促使我们研究WWM是否能提高中文BERT的语境理解能力。为了实现这一点,我们引入了两个与语法错误纠正相关的探测任务,并要求预训练模型以掩码语言建模方式修改或插入标记。我们构建了一个数据集,包括10,448个句子中的19,075个标记的标签。我们训练了三个中文BERT模型,分别使用标准字符级掩码(CLM),WWM,以及CLM和WWM的组合。我们的主要发现如下:首先,当需要插入或替换一个字符时,使用CLM训练的模型表现最好。其次,当需要处理多个字符时,WWM是获得更好性能的关键。最后,当在并行级下游任务上进行微调时,使用不同掩蔽策略训练的模型执行并行。
2022-03-02 cs.CL
Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction
Tohoku University(东北大学);RIKEN(理化学研究所);Aix-Marseille University(艾克斯-马赛大学)
本文通过零样本与少样本提示实验系统评估GPT-3.5和GPT-4在语法错误纠正任务上的表现,发现GPT-4在JFLEG基准上取得新最高分,并结合人工评估揭示其编辑策略与评分差异。
2023-05-30 cs.CL
Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction
Tokyo Metropolitan University(东京都立大学);RIKEN(理化学研究所)
在语法错误纠正中,自动评价是语法错误纠正系统研究和开发的一个重要因素。以往的自动评测研究表明,在不使用参考语句的情况下,基于人工评测的数据集构建的质量估计模型可以实现高性能的英语GEC自动评测。然而,质量估计模型尚未在日本进行研究,因为没有数据集用于构建质量估计模型。因此,在这项研究中,我们创建了一个质量估计数据集与手动评估,建立一个自动评估模型,为日本GEC。此外,我们进行了元评估,以验证数据集的有用性,在建立日本的质量估计模型。
2022-01-20 cs.CL
Inherent Biases in Reference based Evaluation for Grammatical Error Correction and Text Simplification
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
众所周知,普遍使用太少的参考文献来评估文本到文本的生成会使对其质量的估计产生偏差({ \it低覆盖率偏差}或LCB)。本文表明,克服LCB在语法错误纠正(GEC)的评估不能达到重新缩放或通过增加参考文献的数量在任何可行的范围内,与以前的建议。这是由于句子的有效更正的长尾分布。具体来说,我们表明,LCB激励GEC系统,以避免纠正,即使他们可以产生一个有效的纠正。因此,现有系统通过对输入进行很少但有针对性的改变,获得与人类相比相当或更好的性能。对文本简化的类似影响进一步支持了我们的主张。
2019-09-18 cs.CL
System Combination via Quality Estimation for Grammatical Error Correction
National University of Singapore(新加坡国立大学)
提出GRECO质量估计模型及三种系统组合方法,通过选择最佳纠正子集提升GEC性能,在CoNLL-2014和BEA-2019测试集上达到最高F0.5分数。
2023-10-23 cs.CL
Sequence-to-Action: Grammatical Error Correction with Action Guided Sequence Generation
University of Science and Technology of China(中国科学技术大学);Tencent YouTu Lab(腾讯优图实验室)
近年来,语法纠错在自然语言处理中得到了广泛的应用,引起了广泛的关注。虽然GEC的关键原则之一是保持正确的部分不变并避免过度校正,但以前的序列到序列(seq 2seq)模型从头开始生成结果,无法保证遵循原始句子结构,并且可能会出现过度校正问题。与此同时,最近提出的序列标记模型可以通过仅生成编辑操作来克服过度校正问题,但是以人类设计的特定语言标记标签为条件。在本文中,我们结合了这两个模型的优点,并减轻了缺点,提出了一个新的Sequence-to-Action~(S2 A)模块。S2 A模块将源句子和目标句子作为输入,并能够在预测每个标记之前自动生成标记级别的动作序列,其中每个动作由三个选项生成,即SKIP,COPY和GENerate。然后,这些动作与基本的seq 2seq框架融合在一起,以提供最终的预测。我们在中英文GEC任务的基准数据集上进行了实验。我们的模型始终优于seq 2seq基线,同时能够显着缓解过度校正问题,并与序列标记模型相比,在生成结果中保持更好的通用性和多样性。
2022-05-22 cs.CL
FCGEC: Fine-Grained Corpus for Chinese Grammatical Error Correction
Zhejiang University(浙江大学);Huawei Co., Ltd(华为技术有限公司)
本文提出细粒度中文语法纠错语料库FCGEC及Switch-Tagger-Generator基线模型,在低资源场景下优于现有GEC基准模型,并揭示了模型与人类水平之间的显著差距。
2022-10-22 cs.CL
Neural Network Translation Models for Grammatical Error Correction
NUS Graduate School for Integrative Sciences and Engineering(新加坡国立大学综合科学与工程研究生院);National University of Singapore(新加坡国立大学)
基于短语的统计机器翻译(SMT)系统先前已经用于语法错误校正(GEC)的任务以实现最先进的准确性。SMT系统的优越性来自于它们能够学习从错误文本到正确文本的文本转换,而无需显式地对错误类型进行建模。然而,基于短语的SMT系统受到离散词表示、线性映射和缺乏全局上下文的限制。在本文中,我们使用两个不同的但互补的神经网络模型,即神经网络全球词典模型和神经网络联合模型来解决这些限制。这些神经网络可以通过使用单词的连续空间表示和学习非线性映射来更好地泛化。此外,他们可以更有效地利用上下文信息从源句。通过添加这两个组件,我们实现了统计上显着的改进,在一个国家的最先进的GEC系统的语法错误纠正的准确性。
2016-06-01 cs.CL
Gender Bias and Universal Substitution Adversarial Attacks on Grammatical Error Correction Systems for Automated Assessment
University of Cambridge(剑桥大学)
语法错误纠正(GEC)系统执行序列到序列任务,其中包含语法错误的输入词序列由GEC系统纠正这些错误,以输出语法正确的词序列。随着深度学习方法的出现,自动化GEC系统变得越来越流行。例如,GEC系统通常用于英语学习者的语音翻译,作为评估和反馈的一种形式-这些功能强大的GEC系统可以用于自动测量候选人流利程度的一个方面。从候选人的输入句子(或文章)到GEC系统的语法校正的输出句子的\textit{edits}的计数指示候选人的语言能力,其中较少的编辑表明更好的流利性。因此,编辑的计数可以被视为\textit{fluency score},其中零表示完美的流畅性。然而,尽管基于深度学习的GEC系统非常强大和准确,但它们容易受到对抗攻击的影响:对手可以在系统的输入处引入小的特定变化,从而在输出处引起大的不期望的变化。当考虑将GEC系统应用于自动语言评估时,对手的目的可能是通过对语法不正确的输入句子进行小的更改来欺骗,从而隐藏GEC系统的错误,这样就不会发现编辑,并且候选人被不公正地授予完美的流利度分数。这项工作研究了一个简单的通用替代对抗攻击,非英语母语的人可以实际上采用欺骗GEC系统用于评估。
2022-08-19 cs.CL cs.CY cs.LG
Attention-based Encoder-Decoder Networks for Spelling and Grammatical Error Correction
Paris Descartes University(巴黎笛卡尔大学);University of Paris 13(巴黎第十三大学)
自动拼写和语法校正系统是自然语言应用中使用最广泛的工具之一。在这篇论文中,我们假设纠错任务是一种单语机器翻译,其中源句子是潜在错误的,目标句子应该是输入的纠正形式。我们在这个项目中的主要重点是建立神经网络模型的纠错任务。特别是,我们调查序列到序列和注意力为基础的模型,最近表现出更高的性能比国家的最先进的许多语言处理问题。我们证明神经机器翻译模型可以成功应用于纠错任务。虽然本研究的实验是在阿拉伯语语料库上进行的,但本文的方法可以很容易地应用于任何语言。
2018-09-21 cs.AI cs.CL
UA-GEC: Grammatical Error Correction and Fluency Corpus for the Ukrainian Language
Grammarly(Grammarly公司)
我们提出了一个语料库专业注释的语法错误纠正(GEC)和流畅性编辑在乌克兰语。据我们所知,这是乌克兰语的第一个GEC语料库。我们收集了来自不同贡献者的错误文本(20,715句),包括母语和非母语人士。这些数据涵盖了各种各样的写作领域,从文字聊天和散文到正式写作。专业的校对人员纠正并注释了语料库中与流畅性、语法、标点符号和拼写有关的错误。该语料库可用于开发和评估乌克兰的GEC系统。更一般地说,它可以用于研究多语言和低资源NLP,形态丰富的语言,文档级GEC和流畅性校正。该语料库可在https://github.com/grammarly/ua-gec上公开获取
2022-11-08 cs.CL
CoCoGEC: Counterfactual Generation for Robust Grammatical Error Correction
East China Normal University(华东师范大学)
提出CoCoGEC框架,通过生成词级和句级反事实样本并筛选高互信息实例,提升语法纠错模型在上下文扰动下的稳定性,在三个扰动数据集上取得显著F0.5提升。
2026-06-16 cs.CL
Focus Is What You Need For Chinese Grammatical Error Correction
Tsinghua University(清华大学);Meituan(美团);Peng Cheng Laboratory(鹏城实验室)
中文语法错误纠正(CGEC)旨在自动检测和纠正中文文本中包含的语法错误。从长期来看,研究者认为CGEC是一个具有一定不确定性的任务,即一个不符合语法的句子往往有多个指称。然而,我们认为,尽管这是一个非常合理的假设,但对于这个时代主流模型的智能来说,这太苛刻了。在本文中,我们首先发现多个引用实际上并没有给模型训练带来积极的收益。相反,如果CGEC模型在训练过程中能够关注小而重要的数据,则对模型有利。此外,我们提出了一个简单而有效的训练策略,称为OneTarget,以提高CGEC模型的聚焦能力,从而提高CGEC性能。大量的实验和详细的分析证明了我们发现的正确性和我们提出的方法的有效性。
2022-10-27 cs.CL
Grammatical Error Correction via Mixed-Grained Weighted Training
University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对语法错误纠正任务中数据固有差异被忽略的问题,提出MainGEC方法,通过设计token级和句子级训练权重进行混合粒度加权训练,在两种方式及两个基准数据集上均取得显著性能提升。
2023-11-23 cs.CL
Diversity-Driven Combination for Grammatical Error Correction
National University of Singapore(新加坡国立大学)
语法错误纠正(GEC)是指在书面语篇中发现和纠正错误的任务。将多个系统输出相结合的思想已成功地应用于GEC。为了实现成功的系统组合,多个组件系统需要产生正确的句子,这是不同的和可比的质量。然而,大多数现有的最先进的GEC方法是基于相似的序列到序列的神经网络,所以收益是有限的,从组合的输出组件系统相似。在本文中,我们提出了多样性驱动的组合(DDC)的GEC,系统组合策略,鼓励组件系统之间的多样性。我们在CoNLL-2014共享任务和ESTA-2019共享任务上评估了我们的系统组合策略。在这两个基准测试中,DDC仅用少量的训练样本就实现了显着的性能提升,并大幅优于组件系统。我们的源代码可以在https://github.com/nusnlp/gec-ddc上找到。
2021-10-28 cs.CL
Interpretability for Language Learners Using Example-Based Grammatical Error Correction
Tokyo Institute of Technology(东京工业大学)
语法纠错不仅要注重纠错的准确性,更要注重对语言学习的可解释性。然而,现有的基于神经元的GEC模型主要是为了提高精度,其可解释性还没有被探索。一个有前途的方法,以提高可解释性是一个基于实例的方法,它使用类似的检索的例子,以产生更正。此外,例子在语言学习中也是有益的,帮助学习者理解语法错误/正确的文本的基础,提高他们写作的信心。因此,我们假设,将基于实例的方法纳入GEC可以提高可解释性,以及支持语言学习者。在这项研究中,我们介绍了一个基于实例的GEC(EB-GEC),提出的例子,语言学习者作为一个校正结果的基础。这些例子由与给定输入及其预测校正相似的正确和不正确句子对组成。实验表明,EB-GEC提供的例子帮助语言学习者决定接受或拒绝GEC输出的建议。此外,实验还表明,检索的例子提高了校正的准确性。
2022-03-14 cs.CL
Comparison of Grammatical Error Correction Using Back-Translation Models
Tokyo Metropolitan University(东京都立大学);Recruit Co., Ltd.(瑞可利株式会社);Tokyo Institute of Technology(东京工业大学)
语法错误纠正(GEC)缺乏足够的并行数据。因此,GEC研究开发了各种方法来生成伪数据,这些伪数据包括成对的语法和人工生成的不语法句子。目前,生成伪数据的主流方法是回译(BT)。大多数以前使用BT的GEC研究对GEC和BT模型都采用了相同的架构。然而,GEC模型有不同的修正趋势,这取决于它们的架构。因此,在这项研究中,我们比较了在不同BT模型(即Transformer、CNN和LSTM)生成的伪数据上训练的GEC模型的校正趋势。结果证实,每种错误类型的校正趋势是不同的每一个BT模型。此外,我们研究了使用不同BT模型生成的伪数据组合时的校正趋势。结果表明,不同BT模型的组合与不同种子的单个BT模型相比,提高或内插了每种错误类型的F0.5分数。
2021-04-16 cs.CL
FlaCGEC: A Chinese Grammatical Error Correction Dataset with Fine-grained Linguistic Annotation
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
针对现有中文语法纠错数据集缺乏语法错误深层语言结构的问题,研究者构建了带细粒度语言标注的FlaCGEC数据集,实验表明该数据集具有挑战性,可用于模型泛化能力诊断。
2023-09-26 cs.AI cs.CL
CUNI System for the Building Educational Applications 2019 Shared Task: Grammatical Error Correction
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院)
在本文中,我们描述了我们提交给建筑教育应用(Building Educational Applications)2019共享任务的系统(Bryant等人,2019年)。我们参加了所有三个轨道。我们的模型是基于Transformer模型的NMT系统,我们通过几个增强功能进行改进:对整个源和目标词应用dropout,加权目标子词,平均模型检查点,以及迭代地使用训练好的模型来纠正中间翻译。在受限轨道中的系统在所提供的语料库上进行训练,所提供的语料库具有过采样的“更干净”的句子,并且在测试集上达到59.39 F0.5分数。低资源轨道中的系统根据维基百科修订历史进行训练,达到44.13 F0.5分。最后,我们在受限数据上从低资源轨道对系统进行了微调,并获得了64.55 F0.5的分数,在无限制轨道中排名第三。
2019-09-12 cs.CL