The CUED's Grammatical Error Correction Systems for BEA-2019
University of Cambridge（剑桥大学）
我们描述了剑桥大学工程系在2019年语法错误纠正共享任务中的两个条目。我们对低资源轨道的提交是基于先前使用有限状态转换器与强神经语言模型的工作。我们的限制跟踪系统是一个纯神经系统，由神经语言模型和神经机器翻译模型组成，这些模型经过反向翻译训练，并结合了检查点平均和微调-没有任何额外的工具，如拼写检查器。后一个系统已被用于与剑桥大学计算机实验室合作的一个单独的系统组合入口。
2019-06-29 cs.CL
Phrase-based Machine Translation is State-of-the-Art for Automatic Grammatical Error Correction
Adam Mickiewicz University（亚当·密茨凯维奇大学）
在这项工作中，我们研究参数调整到M^2度量，自动语法纠错（GEC）任务的标准度量。在Moses调优框架中实现M^2作为评分器后，我们研究了密集和稀疏特征的相互作用，不同的优化器以及CoNLL-2014共享任务的调优策略。我们注意到在使用M^2优化稀疏特征权重时的不稳定行为，并提供了部分解决方案。我们发现，在相同的公开数据上进行训练时，具有特定任务参数调整的基于短语的最基本SMT设置在很大程度上优于CoNLL-2014测试集的所有先前公布的结果（46.37%M^2超过先前的41.75%，由具有神经功能的SMT系统）。我们新引入的密集和稀疏特征扩大了这一差距，我们将最先进的M^2提高到49.49%。
2016-10-05 cs.CL
A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction
NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）；National University of Singapore（新加坡国立大学）
我们使用多层卷积编码器-解码器神经网络改进文本中语法、拼写和搭配错误的自动纠正。网络初始化为嵌入，嵌入使用字符N-gram信息，以更好地适应此任务。当在常见的基准测试数据集（CoNLL-2014和JFLEG）上进行评估时，我们的模型在此任务上的表现大大优于所有先前的神经方法，以及基于强统计的机器翻译系统，该系统具有在相同数据上训练的神经和特定于任务的特征。我们的分析表明，卷积神经网络在通过注意力捕获局部上下文方面优于长短期记忆（LSTM）网络等递归神经网络，从而提高了纠正语法错误的覆盖率。通过集成多个模型，并通过重新评分来整合N-gram语言模型和编辑功能，我们的新方法成为第一种在语法性和流畅性方面优于当前最先进的基于统计机器翻译的方法的神经方法。
2018-01-26 cs.CL
A Syntax-Guided Grammatical Error Correction Model with Dependency Tree Correction
Peking University（北京大学）
语法错误纠正（GEC）是检测和纠正句子中的语法错误的任务。最近，神经机器翻译系统已经成为这项任务的流行方法。然而，这些方法缺乏句法知识的使用，而句法知识在语法错误的纠正中起着重要的作用。在这项工作中，我们提出了一个语法引导的GEC模型（SG-GEC），采用图注意力机制，利用依赖树的语法知识。考虑到语法错误的源句子的依存树可能提供错误的句法知识，我们提出了一个依存树修正任务来处理它，并结合数据增强方法，我们的模型在不使用任何大型预训练模型的情况下获得了很好的性能。我们评估我们的模型在公共基准的GEC任务，它取得了竞争力的结果。
2021-11-05 cs.CL
Grammatical Error Correction in Low-Resource Scenarios
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
英语语法错误纠正是一个长期研究的问题，有许多现有的系统和数据集。然而，对其他语言的纠错研究却非常有限。在本文中，我们提出了一个新的数据集AKCES-GEC语法错误纠正捷克语。然后我们在捷克语、德语和俄语上进行了实验，结果表明，当使用合成并行语料时，Transformer神经机器翻译模型可以在这些数据集上达到新的最先进的结果。AKCES-GEC在CC BY-NC-SA 4.0许可下发布于https://hdl.handle.net/11234/1-3057，GEC模型的源代码可在https://github.com/ufal/low-resource-gec-wnut2019获得。
2019-10-16 cs.CL
Byte-Level Grammatical Error Correction Using Synthetic and Curated Corpora
Miðeind ehf.；University of Copenhagen（哥本哈根大学）
本文研究语法纠错，比较字节级与子词级编码，提出先用合成错误语料预训练再用真实人工纠错语料微调的方法，证明字节级模型在拼写及复杂语义、风格和语法错误上均优于子词方法，并在冰岛语上验证了有效性。
2023-05-29 cs.CL
Exploiting N-Best Hypotheses to Improve an SMT Approach to Grammatical Error Correction
National University of Singapore（新加坡国立大学）
语法错误纠正是指发现并纠正第二语言学习者所写文章中的语法错误。GEC的统计机器翻译（SMT）方法，其中第二语言学习者写的句子被翻译成语法正确的句子，已经达到了最先进的准确性。然而，SMT方法无法利用全局上下文。在本文中，我们提出了一种新的方法来提高GEC的准确性，利用SMT方法产生的n-最好的假设。具体来说，我们构建了一个分类器来对n个最佳假设中的编辑进行评分。分类器可用于选择适当的编辑或重新排序n个最佳假设。我们将这些方法应用到一个国家的最先进的GEC系统，使用SMT的方法。我们的实验表明，我们的方法实现了统计上显着的改进，在准确性上的最佳公布结果的基准测试数据集上的GEC。
2016-06-01 cs.CL
A Nested Attention Neural Hybrid Model for Grammatical Error Correction
Microsoft AI & Research（微软人工智能与研究部）；Google Research（谷歌研究院）；Microsoft Research（微软研究院）
语法纠错（GEC）系统致力于纠正词序和用法方面的全局错误以及拼写和变形方面的局部错误。在神经机器翻译研究的基础上，提出了一种新的基于嵌套注意层的混合神经模型。实验表明，新模型可以通过结合单词和字符级别的信息来有效地纠正这两种类型的错误，并且在标准CoNLL-14基准数据集上测量时，该模型的性能显着优于以前的GEC神经模型。进一步的分析还表明，所提出的模型的优越性，可以在很大程度上归因于嵌套的注意力机制，这已被证明是特别有效的纠正局部错误，涉及小的正字法编辑的使用。
2017-07-10 cs.CL
KoGEC : Korean Grammatical Error Correction with Pre-trained Translation Models
Sionic AI Inc.（Sionic AI公司）；Emory University（埃默里大学）
本研究提出基于预训练翻译模型微调的韩语语法纠错系统KoGEC，在韩语纠错任务上性能优于GPT-4o等大模型，还开发了Chrome扩展并验证了词元词汇扩充的负面影响，为专用小模型的应用提供参考。
2025-06-13 cs.AI cs.CL
Neural Grammatical Error Correction with Finite State Transducers
University of Cambridge（剑桥大学）
语法纠错（GEC）是自然语言处理中纯神经模型尚未取代更传统的符号模型的领域之一。结合基于短语的统计机器翻译（SMT）和神经序列模型的混合系统是目前最有效的GEC方法之一。然而，SMT和神经序列到序列模型都需要大量的注释数据。基于语言模型的GEC（LM-GEC）是一种很有前途的替代方案，它不依赖于带注释的训练数据。我们展示了如何通过应用基于有限状态传感器的建模技术来改进LM-GEC。我们报告了通过神经语言模型重新评分的进一步收益。我们表明，我们的方法开发的LM-GEC也可以使用SMT系统，如果注释训练数据。我们最好的系统在CoNLL-2014测试集上的表现优于最好的公布结果，并在SMT基线上实现了比以前的混合系统更好的相对改进。
2019-04-05 cs.CL
A Unified Strategy for Multilingual Grammatical Error Correction with Pre-trained Cross-Lingual Language Model
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong（香港中文大学）
非英语语法纠错（GEC）的合成数据构建严重依赖于人为设计的特定语言规则，产生有限的纠错模式。在本文中，我们提出了一个通用的和语言无关的多语言GEC策略，它可以训练一个GEC系统有效地为一个新的非英语语言，只有两个易于访问的资源：1）一个预训练的跨语言语言模型（PXLM）和2）英语和语言之间的并行翻译数据。我们的方法创建了不同的并行GEC数据，没有任何语言特定的操作，通过将PXLM生成的非自回归翻译和黄金翻译作为纠错句子对。然后，我们重用PXLM初始化GEC模型，并使用其自身生成的合成数据对其进行预训练，这产生了进一步的改进。我们评估我们的方法在不同语言的GEC的三个公共基准。它在NLPCC 2018任务2数据集（中文）上获得了最先进的结果，并在Falko-Merlin（德国）和RULEC-GEC（俄罗斯）上获得了具有竞争力的性能。进一步的分析表明，我们的数据构建方法是基于规则的方法的补充。
2022-01-26 cs.CL cs.LG
Large Language Models Are State-of-the-Art Evaluator for Grammatical Error Correction
Tokyo Metropolitan University（东京都立大学）；CyberAgent Inc.（CyberAgent公司）；Hitotsubashi University（一桥大学）
本研究探索大型语言模型在语法错误纠正评估中的应用，通过设计多标准提示，发现GPT-4达到0.662的Kendall相关系数，超越现有方法，并强调模型规模与流畅性标准的重要性。
2024-05-26 cs.CL
Attention-based Encoder-Decoder Networks for Spelling and Grammatical Error Correction
Paris Descartes University（巴黎笛卡尔大学）；University of Paris 13（巴黎第十三大学）
自动拼写和语法校正系统是自然语言应用中使用最广泛的工具之一。在这篇论文中，我们假设纠错任务是一种单语机器翻译，其中源句子是潜在错误的，目标句子应该是输入的纠正形式。我们在这个项目中的主要重点是建立神经网络模型的纠错任务。特别是，我们调查序列到序列和注意力为基础的模型，最近表现出更高的性能比国家的最先进的许多语言处理问题。我们证明神经机器翻译模型可以成功应用于纠错任务。虽然本研究的实验是在阿拉伯语语料库上进行的，但本文的方法可以很容易地应用于任何语言。
2018-09-21 cs.AI cs.CL
CUNI System for the Building Educational Applications 2019 Shared Task: Grammatical Error Correction
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
在本文中，我们描述了我们提交给建筑教育应用（Building Educational Applications）2019共享任务的系统（Bryant等人，2019年）。我们参加了所有三个轨道。我们的模型是基于Transformer模型的NMT系统，我们通过几个增强功能进行改进：对整个源和目标词应用dropout，加权目标子词，平均模型检查点，以及迭代地使用训练好的模型来纠正中间翻译。在受限轨道中的系统在所提供的语料库上进行训练，所提供的语料库具有过采样的“更干净”的句子，并且在测试集上达到59.39 F0.5分数。低资源轨道中的系统根据维基百科修订历史进行训练，达到44.13 F0.5分。最后，我们在受限数据上从低资源轨道对系统进行了微调，并获得了64.55 F0.5的分数，在无限制轨道中排名第三。
2019-09-12 cs.CL
Corpora Generation for Grammatical Error Correction
Google Research（谷歌研究院）
语法错误纠正（GEC）最近已经使用序列到序列框架建模。然而，与序列转换问题，如机器翻译，GEC遭受缺乏大量的并行数据。我们描述了两种方法生成大型并行数据集的GEC使用公开的维基百科数据。第一种方法从维基百科的编辑历史中提取源-目标对，具有最小的过滤能力，而第二种方法通过桥梁语言的往返翻译将噪声引入维基百科的句子。这两种策略产生类似大小的平行语料库，包含大约4 B个标记。我们采用了迭代解码策略，这是专为我们构建的语料库的松散监督性质。我们证明了使用任何类型的语料库训练的神经GEC模型具有相似的性能。在Lang-8语料库和集成上微调这些模型使我们能够在CoNLL-2014基准和JFLEG任务上超越最先进的技术。我们提供了系统的分析，比较了两种方法来生成数据，并强调了集成的有效性。
2019-04-10 cs.CL stat.ML
Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data
Yuanfudao Research（猿辅导研究院）
神经机器翻译系统已成为语法纠错（GEC）任务的最先进的方法。在本文中，我们提出了一个复制增强架构的GEC任务复制不变的话从源句子到目标句子。因为GEC遭受没有足够的标记训练数据来实现高准确度。我们使用未标记的One Billion Benchmark使用去噪自动编码器预训练复制增强架构，并在完全预训练模型和部分预训练模型之间进行比较。这是第一次从源上下文复制单词并完全预训练序列到序列模型在GEC任务上进行实验。此外，我们还为GEC任务添加了令牌级和任务级多任务学习。在CoNLL-2014测试集上的评估结果表明，我们的方法大大优于所有最近发表的最先进的结果。代码和预训练模型在https://github.com/zhawe01/fairseq-gec上发布。
2019-06-11 cs.CL
Graph-based Filtering of Out-of-Vocabulary Words for Encoder-Decoder Models
Tokyo Metropolitan University（东京都立大学）
编码器-解码器模型通常只采用训练语料库中经常使用的单词，以减少计算成本并排除噪声。然而，该词汇集可能仍然包括干扰编码器-解码器模型中的学习的单词。本文提出了一种方法，选择更合适的话学习编码器，不仅利用频率，而且共现信息，我们使用HITS算法捕获。我们将我们提出的方法应用于两个任务：机器翻译和语法错误校正。对于日语到英语的翻译，该方法实现了BLEU分数，比基线高出0.56分。它也优于英语语法错误纠正的基线方法，F0.5测量值高出1.48分。
2018-05-28 cs.CL
Adversarial Grammatical Error Correction
Grammarly（Grammarly（ Grammarly公司））
最近的语法纠错（GEC）工作利用了神经机器翻译（NMT）的进展，从语法错误和纠正的句子的并行语料库中学习重写，实现了最先进的结果。与此同时，生成对抗网络（GANs）通过学习直接最小化人类生成文本和合成文本之间的差异，成功地在许多不同的任务中生成了逼真的文本。在这项工作中，我们提出了一个对抗性的学习方法，GEC，使用生成器的框架。生成器是一个Transformer模型，经过训练可以生成语法正确的句子。该模型是一个双对分类模型，用于根据语法纠正的质量来判断给定的一对语法错误-正确的句子。我们在并行文本上对生成器和生成器进行预训练，然后使用策略梯度方法进一步微调它们，该方法为可能是语法错误文本的真正纠正的句子分配高奖励。在FCE、CoNLL-14和EEE-19数据集上的实验结果表明，与基于NMT的基线相比，Adversarial-GEC可以实现具有竞争力的GEC质量。
2020-10-06 cs.AI cs.CL cs.LG
Data Weighted Training Strategies for Grammatical Error Correction
Google Research（谷歌研究院）
语法错误纠正（GEC）任务的最新进展是通过解决数据稀疏性来推动的，这既包括通过新方法生成大型和嘈杂的预训练数据，也包括通过在2019年共享任务中发布小型和更高质量的微调数据。基于神经机器翻译（NMT）的最新工作，我们利用这两种数据，基于更小、更高质量的数据集，在我们的大型预训练数据上获得示例级别的分数。在这项工作中，我们进行了实证研究，以发现如何最好地将增量对数困惑，一种类型的例子评分，到GEC的训练计划。在这样做的时候，我们进行实验，阐明的功能和适用性的delta-log困惑。在评分数据上训练的模型在常见的GEC测试集上获得了最先进的结果。
2020-09-09 cs.CL stat.ML
Grammatical Error Correction: A Survey of the State of the Art
University of Cambridge（剑桥大学）；Writer, Inc.（Writer公司）；King’s College London（伦敦国王学院）；National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文综述了语法错误纠正领域的发展，涵盖语言挑战、数据集、方法（重点在人工错误生成）及评估可靠性问题，并展望未来方向，为研究者提供全面参考。
2023-04-29 cs.AI cs.CL
Wronging a Right: Generating Better Errors to Improve Grammatical Error Detection
University College London（伦敦大学学院）
语法错误校正与其他机器学习任务一样，极大地受益于大量高质量训练数据，而这些数据的产生通常是昂贵的。虽然编写一个程序来自动生成真实的语法错误是困难的，但人们可以学习自然发生的错误的分布，并尝试将它们引入其他数据集。以这种方式使用统计机器翻译诱导错误的初步工作已经显示出希望;我们研究廉价构建合成样本，给出一个小语料库的人类注释的数据，使用现成的注意序列到序列模型和一个直接的后处理过程。我们的方法产生了充满错误的人工数据，帮助香草双向LSTM在语法错误检测方面超越了以前的最新技术水平，并且之前引入的模型获得了超过5%的$F_{0.5}$分数的进一步改进。当试图确定一个给定的句子是否是合成的时，人类注释者最多只能获得39.39 $F_1$分数，这表明我们的模型生成的大多是类似人类的实例。
2018-09-26 cs.CL cs.LG stat.ML
RedPenNet for Grammatical Error Correction: Outputs to Tokens, Attentions to Spans
WebSpellChecker LLC（WebSpellChecker有限责任公司）
本文提出 RedPenNet 文本编辑方法，通过减少 Sequence-To-Edits 模型的架构与参数冗余并保留半自回归优势，在 BEA-2019 和 UAGEC+Fluency 语法纠错基准上取得领先性能，并应用于乌克兰语 GEC 任务。
2023-09-19 cs.CL
Revisiting Grammatical Error Correction Evaluation and Beyond
Beijing Institute of Technology（北京理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
基于预训练（PT）的自动评估指标（例如，BERTScore和BARTScore）已经被广泛用于几个句子生成任务（例如，机器翻译和文本摘要），因为它们比传统的基于语义的方法更好地与人类判断相关。尽管基于PT的方法已经成为训练语法错误纠正（GEC）系统的事实标准，但GEC评估仍然没有受益于预先训练的知识。本文采取了第一步，了解和改进GEC评估与预训练。我们首先发现，由于过度关注不重要的系统输出（例如，不变的部分）。为了缓解这一限制，我们提出了一种新的GEC评估指标，以实现两全其美，即PT-M2，它只使用基于PT的指标来评分那些纠正的部分。CoNLL 14评估任务的实验结果表明，PT-M2显著优于现有方法，实现了0.949 Pearson相关性的最新结果。进一步的分析表明，PT-M2是强大的，以评估竞争性GEC系统。源代码和脚本可以在https://github.com/pygongnlp/PT-M2上免费获得。
2022-11-03 cs.AI cs.CL
Towards the Development of Balanced Synthetic Data for Correcting Grammatical Errors in Arabic: An Approach Based on Error Tagging Model and Synthetic Data Generating Model
King Abdulaziz University（阿卜杜勒阿齐兹大学）；Saudi Electronic University（沙特电子大学）
本文提出错误标注模型与基于回译的合成数据生成模型，构建大规模阿拉伯语语法纠错合成数据，并在QALB-14上取得79.36% F1的新最优结果。
2025-02-07 cs.AI cs.CL
Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation
National Institute of Technology, Hamirpur（国家理工学院（哈姆普尔））；Anu（阿努）
针对现有评测多用英语源句或性别中立句的问题，本文构建两套印地语性别特定句集，自动评估HI-EN NMT系统能否依据语法性别线索识别性别。
2023-11-11 cs.CL
How Grammatical is Character-level Neural Machine Translation? Assessing MT Quality with Contrastive Translation Pairs
University of Edinburgh（爱丁堡大学）
从历史上看，分析特定语言现象的翻译质量是困难和耗时的。神经机器翻译具有吸引人的特性，它可以为任意翻译产生分数，我们提出了一种新的方法来评估NMT系统对特定语言现象的建模效果，例如长距离协议，新单词的产生以及极性的忠实翻译。其核心思想是，我们衡量是否参考翻译更可能在NMT模型下比对比翻译，介绍了一种特定类型的错误。我们提出了LingEval 97，一个基于WMT英语->德语翻译任务的97000个对比翻译对的大规模数据集，使用简单的规则自动创建错误。我们报告了一些系统的结果，发现最近推出的字符级NMT系统在音译方面比字节对编码（BPE）分割的模型表现更好，但在形态句法协议和翻译不连续的意义单位方面表现更差。
2017-02-13 cs.CL
Beyond English: Evaluating LLMs for Arabic Grammatical Error Correction
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
该研究评估指令微调LLMs在阿拉伯语语法错误纠正任务中的表现，提出利用合成数据的方法，刷新了阿拉伯语GEC的SOTA，同时指出指令微调模型仍逊于更小的完全微调模型。
2023-12-13 cs.AI cs.CL
Grammatical Error Correction for Low-Resource Languages: The Case of Zarma
Rochester Institute of Technology（罗切斯特理工学院）；Ashesi University（阿什esi大学）；George Mason University（乔治·梅森大学）
本研究针对扎尔马语的语法错误纠正，比较了基于规则、机器翻译和大型语言模型三种方法，发现MT模型在自动和人工评估中表现最佳。
2026-02-04 cs.CL cs.LG
Neural Machine Translation of Text from Non-Native Speakers
University of Notre Dame（圣母大学）
神经机器翻译（NMT）系统在面对噪声数据时会降级，特别是当系统仅在干净数据上训练时。在本文中，我们表明，增加训练数据的句子包含人工引入的语法错误，可以使系统更强大的错误。结合自动语法错误纠正系统，我们可以恢复1.5 BLEU出2.4 BLEU由于语法错误丢失。我们还提出了一套西班牙语翻译的JFLEG语法纠错语料库，它允许测试NMT鲁棒性真正的语法错误。
2019-03-11 cs.CL
GECTurk: Grammatical Error Correction and Detection Dataset for Turkish
Koç University（科奇大学）
本文提出面向土耳其语的GECTurk数据集及合成数据生成流水线，覆盖20余条语法规则并构建13万平行句对，通过三类基线模型验证其在领域外场景下的高质量与可迁移性。
2023-09-20 cs.CL cs.LG
Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation
National Institute of Technology, Hamirpur（哈米尔普尔国家理工学院）
针对现有NMT性别偏见评估多依赖英语或性别中立句的局限，本研究以印地语为源语言构建OTSC-Hindi、WinoMT-Hindi性别特指数据集，验证了用含语法性别线索的句子评估偏见的合理性，强调评估数据集设计需考虑语言特性。
2023-11-07 cs.CL
Can LLMs Really Learn to Translate a Low-Resource Language from One Grammar Book?
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；Language Technology Lab（语言技术实验室）；University of Amsterdam（阿姆斯特丹大学）
本研究探究LLM能否仅凭语法书翻译极低资源语言，发现翻译能力主要来自平行示例而非语法解释，并强调任务适配数据的重要性。
2025-04-24 cs.CL
Approaching English-Polish Machine Translation Quality Assessment with Neural-based Methods
Adam Mickiewicz University（亚当·密茨凯维奇大学）
本文介绍了我们对PolEval 2021任务2的贡献：翻译质量评估指标的评估。我们描述了使用预训练的语言模型和最先进的框架进行翻译质量评估的实验，包括非盲和盲版本的任务。我们的解决方案在非盲版中排名第二，在盲版中排名第三。
2022-09-22 cs.CL
Generating Adversarial Texts for Machine Translation via GRPO
ETH Zurich（苏黎世联邦理工学院）
提出基于GRPO强化学习的方法，通过微调大语言模型重写源文本，生成更难翻译的对抗样本，显著降低翻译质量并保持可读性。
2026-09-09 cs.CL
An Analysis of Source-Side Grammatical Errors in NMT
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
神经机器翻译（NMT）的质量在面对源端噪声时会显着降低。本文通过对几个语法校正语料库的评价，首次对最先进的英-德NMT进行了大规模的语法噪声研究。我们提出的方法来评估NMT的鲁棒性没有真正的参考，我们用它们进行广泛的分析，不同的语法错误对NMT输出的影响。我们还介绍了一种技术，用于可视化由源端错误引起的发散分布，这允许额外的见解。
2019-05-24 cs.CL
Grammatical Error Generation Based on Translated Fragments
University of Helsinki（赫尔辛基大学）
我们对句子片段进行神经机器翻译，以便为英语语法错误纠正创建大量的训练数据。我们的方法旨在模拟第二语言学习者所犯的错误，并产生更广泛的非母语风格的语言相比，国家的最先进的合成数据创建方法。除了纯粹的语法错误外，我们的方法还会产生其他类型的错误，例如词汇错误。我们使用神经序列到序列模型进行语法纠错实验，并进行定量和定性评价。在使用我们提出的方法创建的数据上训练的模型在测试数据上的表现优于基线模型，具有高比例的错误。
2021-04-20 cs.CL
Lost in Translation? Exploring the Shift in Grammatical Gender from Latin to Occitan
Bavarian Academy of Sciences (BAdW)（巴伐利亚科学学院）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Freiburg（弗赖堡大学）
本文提出一个可解释的深度学习框架，通过词法和上下文层面分析拉丁语到奥克语的语法性别系统从三分（阳性、阴性、中性）到二分（阳性、阴性）的演变，并展示了改进的分词策略和形态特征、词性对性别预测的贡献。
2026-05-26 cs.AI cs.CL
Neural Machine Translation by Generating Multiple Linguistic Factors
LIUM, Le Mans University（勒芒大学LIUM实验室）
因子神经机器翻译（FNMT）是基于在神经网络的输出端使用词（因子）的形态和语法分解的思想。这种架构解决了两个众所周知的问题发生在MT，即目标语言词汇的大小和翻译中产生的未知令牌的数量。FNMT系统旨在管理更大的词汇量并减少训练时间（对于具有等效目标语言词汇量的系统）。此外，我们可以产生语法正确的单词，而不是词汇的一部分。FNMT模型在IWEST15英语到法语任务上进行了评估，并与基于单词的基线NMT系统和基于BPE的NMT系统进行了比较。有前途的定性和定量结果（在BLEU和METEOR方面）的报告。
2017-12-05 cs.CL
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh（爱丁堡大学）
中文分词已经进入了深度学习时代，大大减少了特征工程的麻烦。近年来，一些研究者尝试将其作为字符级翻译，进一步简化了模型的设计，但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作，我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术，包括正则化，数据增强，客观加权，迁移学习和集成。与以前的作品相比，我们的低资源的基于简化的方法保持了轻松的模型设计，但在不使用额外的数据的情况下，在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation
University of Pisa（比萨大学）；University of Naples ``L'Orientale''（那不勒斯）；Tilburg University（蒂尔堡大学）
本文提出ConGA框架，通过上下文性别标注解决机器翻译中性别处理的挑战，揭示当前系统在性别标注上的系统性偏差。
2026-03-18 cs.CL
Reasoning over Grammar: Can Synthetic Linguistic Reasoning Traces Enhance Low-Resource Machine Translation?
ELLIS Institute Finland（芬兰ELLIS研究所）；University of Turku（图尔库大学）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出自动生成语言推理轨迹的方法，通过上下文学习、监督微调和强化微调评估其对低资源机器翻译的影响，发现推理轨迹在推理时指导效果显著，但作为训练数据收益有限。
2026-09-01 cs.CL
Bangla Grammatical Error Detection Using T5 Transformer Model
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出了一种使用文本到文本转换Transformer（T5）语言模型检测孟加拉语语法错误的方法，使用BanglaT5的小变体，在9385个句子的语料库上进行微调，其中错误由专用的分界符号括起来。T5模型主要是为翻译而设计的，并不是专门为此任务而设计的，因此需要大量的后处理来使其适应错误检测任务。我们的实验表明，T5模型可以实现低Levenshtein距离在孟加拉语中检测语法错误，但后处理是必不可少的，以实现最佳性能。在5000个句子的测试集上，对微调模型的输出进行后处理后的最终平均Levenshtein距离为1.0394。本文还提出了一个详细的分析模型检测到的错误，并讨论了适应语法的翻译模型的挑战。我们的方法可以扩展到其他语言，证明了T5模型在检测各种语言中的语法错误方面的潜力。
2023-03-19 cs.CL cs.LG
A Representation Level Analysis of NMT Model Robustness to Grammatical Errors
Department of Advanced Computing Sciences（高级计算科学系）
本文从模型表示视角研究机器翻译模型对语法错误的鲁棒性，通过GED探测和表示相似性分析发现编码器能检测并纠正错误，并识别出在响应语法错误中起关键作用的注意力鲁棒性头。
2025-05-27 cs.CL
GAMBIT+: A Challenge Set for Evaluating Gender Bias in Machine Translation Quality Estimation Metrics
National Technical University of Athens（雅典国家技术大学）；Instituto de Telecomunicações（电信研究所）；University of Amsterdam（阿姆斯特丹大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；ELLIS Unit Lisbon（ELLIS里斯本单元）
针对机器翻译质量估计指标中的性别偏见，构建大规模平行挑战集GAMBIT+，覆盖33个语言对，通过对比仅性别不同的翻译对，实现细粒度偏见评估。
2025-10-08 cs.CL
Mitigating Gender Bias in Machine Translation with Target Gender Annotations
Tilde（蒂尔德公司）；University of Latvia（拉脱维亚大学）
翻译时“秘书要求详细说明。“对于一种具有语法性别的语言，可能有必要确定主语“秘书”的性别。如果句子不包含必要的信息，就不可能总是消除歧义。在这种情况下，机器翻译系统选择最常见的翻译选项，这通常对应于刻板的翻译，从而潜在地加剧了对某些群体和人的偏见和边缘化。我们认为，一个适当的翻译所需的信息并不总是可以推断出被翻译的句子，甚至可能依赖于外部知识。因此，在这项工作中，我们建议将获取必要信息的任务与学习正确翻译的任务解耦。为此，我们提出了一种方法，用于训练机器翻译系统使用包含主题的性别信息的单词级注释。为了准备训练数据，我们用相应目标语言词的语法性别信息来注释常规源语言词。使用这样的数据来训练机器翻译系统减少了它们对性别定型观念的依赖，当关于主体性别的信息可用时。我们对五种语言对的实验表明，这可以将WinoMT测试集的准确率提高25.8个百分点。
2020-10-18 cs.CL
Artificial Error Generation with Machine Translation and Syntactic Patterns
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
缺乏可用的训练数据阻碍了自动错误检测领域的进展。本文研究了两种人工生成写作错误的方法，以创建额外的资源。我们建议将错误生成视为机器翻译任务，其中语法正确的文本被翻译为包含错误。此外，我们探索了一个系统，从注释语料库中提取文本模式，然后可以用来插入语法正确的句子中的错误。我们的实验表明，包含人工生成的错误显着提高了FCE和CoNLL 2014数据集上的错误检测精度。
2017-07-17 cs.CL cs.LG
Inducing Grammars with and for Neural Machine Translation
Informatics Institute（信息学院）；University of Amsterdam（阿姆斯特丹大学）；Department of Computer Science（计算机科学系）；University of Washington（华盛顿大学）
机器翻译系统需要语义知识和语法理解。神经机器翻译（NMT）系统通常假设这些信息是由注意力机制和确保流畅性的解码器捕获的。最近的工作表明，合并显式语法减轻了建模这两种类型的知识的负担。然而，要求解析是昂贵的，并且没有探索模型在翻译期间需要什么语法的问题。为了解决这两个问题，我们引入了一个模型，同时翻译，同时诱导依赖树。通过这种方式，我们利用结构的好处，同时调查什么语法NMT必须诱导，以最大限度地提高性能。我们证明我们的依赖树是1。语言对依赖和2.提高翻译质量。
2018-05-28 cs.CL
Neural Machine Translation from Simplified Translations
SYSTRAN
语篇简化的目的是在保持语篇意义不变的前提下，减少语篇在词汇、语法和结构上的复杂性。在机器翻译的背景下，我们引入了简化翻译的想法，以提高深度神经翻译模型的学习能力。我们进行初步的实验表明，翻译的复杂性实际上是减少了在翻译的源双文本相比，目标参考的双文本，而使用神经机器翻译（NMT）系统上学习完全相同的双文本。基于知识蒸馏的思想，我们使用简化的双文本训练了一个NMT系统，并证明了它优于在参考数据集上构建的初始系统。当使用参考和自动翻译来学习网络时，性能进一步提高。我们进行了初步分析的翻译语料库和报告的准确性结果的建议的方法对英语到法语和英语到德语的翻译任务。
2016-12-19 cs.CL
Linguistic evaluation of German-English Machine Translation using a Test Suite
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
我们提出了一个语法测试套件，德国$\rightarrow$英语MT在WMT 19提交的系统上的应用程序的结果，与107个现象组织在14个类别的详细分析。平均而言，这些系统仍然会翻译错误四分之一的测试项目。在成语、情态动词、假分裂、多词表达和动词配价方面表现不佳。与去年相比，虚词、非语言协议和标点符号的使用有所改善。还提出了关于特定系统和现象的更详细的结论。
2019-10-16 cs.CL
Building a resource for studying translation shifts
本文介绍了一种跨学科的方法，它汇集了语料库语言学和翻译研究领域。它介绍了正在进行的工作，创建一个语料库资源，翻译转移明确注释。翻译移位是指在翻译过程中发生的偏离源文本和目标文本之间的正式对应关系的现象。如果机器翻译的输出与人类翻译相似，那么以系统的方式注释这种转变的资源将使研究需要解决的现象成为可能。本文中描述的资源包含英语源文本（议会议事录）及其德语翻译。移位注释基于谓词-论元结构，并分两步进行：首先，以简单的方式单语注释谓词及其论元。然后，相应的英语和德语谓词和参数彼此对齐。无论何时发生变化（主要是语法或语义上的变化），对齐都会被相应地标记。
2006-06-22 cs.CL
A Challenge Set for French --> English Machine Translation
National Research Council Canada（加拿大国家研究委员会）
我们基于Isabelle，Cherry和Foster（EMNLP 2017）中介绍的方法为法语-英语机器翻译提出了一个挑战集。这样的挑战集由预期机器相对难以正确翻译的句子组成，因为它们最直接的翻译往往在语言上是不同的。我们在这里提出了一套506手动构建的法语句子，其中307是针对相同的结构分歧，在上述文件。剩下的199个句子旨在测试系统正确翻译介词等语法困难的单词的能力。我们报告了使用此挑战集在两个不同日期（2017年10月和2018年1月）测试两个不同系统（即Google翻译和DEEPL）的结果。所有由此产生的数据都是公开的。
2018-06-15 cs.CL
Neural Reranking Improves Subjective Quality of Machine Translation: NAIST at WAT2015
Graduate School of Information Science（信息科学研究生院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
奈良科学技术研究所（NAIST）今年向2015年亚洲翻译研讨会提交的论文是基于句法的统计机器翻译，并增加了使用神经注意力机器翻译模型的重新排序组件。实验再次证实了先前工作的结果，即神经MT重新排序在BLEU等客观评估措施中提供了很大的收益，并且首次证实了这些结果也可以用于手动评估。我们进一步对这种增长的原因进行了详细的分析，发现神经模型的主要贡献在于提高了输出的语法正确性，而不是提高了实词的词汇选择。
2015-10-18 cs.CL
Evaluating Gender Bias in Machine Translation
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了第一个挑战集和评估协议的分析性别偏见的机器翻译（MT）。我们的方法使用了两个最近的共指消解数据集，这些数据集由英语句子组成，这些句子将参与者塑造成非刻板的性别角色（例如，“医生请护士在手术中帮助她”）。我们设计了一种基于词法分析的八种具有语法性别的目标语言的自动性别偏见评估方法（例如，“医生”一词的女性变音）。我们的分析表明，四个流行的工业机器翻译系统和两个最新的国家的最先进的学术机器翻译模型显着倾向于性别偏见的翻译错误的所有测试的目标语言。我们的数据和代码是公开的。
2019-06-03 cs.CL
Example-Based Machine Translation from Text to a Hierarchical Representation of Sign Language
SYSTRAN（SYSTRAN公司）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
本文提出了一种新颖的文本到签名翻译方法。它弥补了数据的稀缺性，使用特定领域的平行语料库之间的对齐文本和分层的正式描述的手语视频在Azee。该算法在检测源文本中存在的相似性的基础上，递归地利用对齐片段的匹配和替换来为一个新的语句构建多个候选翻译。这有助于以生成的方式尽可能多地保留手语结构，而不是太快地依赖字面翻译。最终的翻译是以Azee表达式的形式，旨在用作化身合成系统的输入。我们提出了一个测试集，以展示其表达能力和生成惯用目标语言的潜力，并观察到的局限性。这项工作最终打开了前景，如何评估翻译和语言方面，如准确性和语法流畅性。
2022-05-06 cs.CL
