A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
Kakao（Kakao公司）；Kakao Brain（Kakao大脑研究所）
语法纠错可以被看作是一个低资源的序列到序列的任务，因为公开可用的平行语料库是有限的。为了应对这一挑战，我们首先使用现实的噪声函数生成大型未注释语料库的错误版本。所得到的并行语料库随后用于预训练Transformer模型。然后，通过顺序应用迁移学习，我们使这些模型适应测试集的域和风格。结合上下文感知神经拼写检查器，我们的系统在ACL 2019中的受限和低资源轨道上都取得了有竞争力的结果。我们发布所有代码和材料以供复制。
2019-07-02 cs.CL cs.LG
Bidirectional Transformer Reranker for Grammatical Error Correction
Tokyo Institute of Technology（东京工业大学）；NARA Institute of Science and Technology（奈良科学技术研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）
针对预训练seq2seq模型在语法错误纠正中因单向解码导致的预测偏差问题，提出双向Transformer重排序器（BTR），利用BERT风格自注意力机制和负采样重新估计候选句子概率，在多个基准数据集上显著提升了F0.5和GLEU分数。
2023-05-22 cs.CL
Weakly Supervised Grammatical Error Correction using Iterative Decoding
Google AI（谷歌人工智能）
我们描述了一种语法错误纠正（GEC）方法，该方法可以有效地利用在大量弱监督双文本上训练的模型。我们训练的Transformer序列到序列模型的维基百科修订的4 B令牌，并采用迭代解码策略，是专为松散监督性质的维基百科训练语料库。在Lang-8语料库上进行微调和集成，在CoNLL'14基准测试中得到58.3的F0.5，在JFLEG上得到62.4的GLEU。弱监督训练和迭代解码的组合即使不使用任何标记的GEC数据也在CoNLL'14上获得48.2的F0.5。
2018-10-31 cs.CL cs.LG stat.ML
RoLegalGEC: Legal Domain Grammatical Error Detection and Correction Dataset for Romanian
National University of Science and Technology POLITEHNICA Bucharest（波兰亚技术大学布加勒斯特分校）；Paris 1 Panthéon-Sorbonne University（巴黎1大学蓬莎博纳大学）；University of Bucharest（布加勒斯特大学）
本文提出RoLegalGEC数据集，包含35万条法律文本中的语法错误及标注，评估多种神经网络模型用于检测和纠正语法错误，丰富罗马尼亚语研究资源。
2026-04-22 cs.AI cs.CL cs.LG
Grammatical vs Spelling Error Correction: An Investigation into the Responsiveness of Transformer-based Language Models using BART and MarianMT
University of Colorado Boulder（科罗拉多大学博尔德分校）；Amrita Vishwa Vidyapeetham（阿姆里塔大学）
本项目使用 BART 和 MarianMT 两种深度学习模型对文本中的拼写和语法错误进行纠正，通过迁移学习微调模型，发现两者均能将错误句子减少20%以上，且 BART 处理拼写错误的效果显著优于语法错误。
2024-03-25 cs.CL
Grammatical Error Correction in Low-Resource Scenarios
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
英语语法错误纠正是一个长期研究的问题，有许多现有的系统和数据集。然而，对其他语言的纠错研究却非常有限。在本文中，我们提出了一个新的数据集AKCES-GEC语法错误纠正捷克语。然后我们在捷克语、德语和俄语上进行了实验，结果表明，当使用合成并行语料时，Transformer神经机器翻译模型可以在这些数据集上达到新的最先进的结果。AKCES-GEC在CC BY-NC-SA 4.0许可下发布于https://hdl.handle.net/11234/1-3057，GEC模型的源代码可在https://github.com/ufal/low-resource-gec-wnut2019获得。
2019-10-16 cs.CL
Working Memory Constraints Scaffold Learning in Transformers under Data Scarcity
City, University of London（伦敦城市大学）；The Alan Turing Institute（艾伦·图灵研究所）；Grounded Machines
本文探讨在Transformer架构中引入类人工作记忆限制，提出基于固定宽度窗口和时间衰减的注意力机制，实验表明在数据稀缺时，这些约束能显著提升语法准确性并增强与人类处理指标的一致性。
2026-04-23 cs.AI cs.CL cs.LG
Stronger Baselines for Grammatical Error Correction Using Pretrained Encoder-Decoder Model
Tokyo Metropolitan University（东京都立大学）；Retrieva, Inc.（雷特里瓦公司）
关于语法错误纠正（GEC）的研究已经报道了使用大量伪数据预训练Seq 2Seq模型的有效性。然而，由于伪数据的大小，这种方法需要对GEC进行耗时的预训练。在这项研究中，我们探索了双向和自回归Transformers（BART）作为GEC的通用预训练编码器-解码器模型的实用性。通过使用GEC的通用预训练模型，可以消除耗时的预训练。我们发现，单语和多语言BART模型在GEC中实现了高性能，其中一个结果与英语GEC中目前的强结果相当。我们的实现可在GitHub（https：//github.com/Katsumata420/generic-pretrained-GEC）上公开获取。
2020-09-30 cs.CL
Cross-Corpora Evaluation and Analysis of Grammatical Error Correction Models --- Is Single-Corpus Evaluation Enough?
RIKEN AIP（理化学研究所AIP）；Tohoku University（东北大学）；Tokyo Metropolitan University（东京都立大学）；Konan University（甲南大学）
本研究探讨了对语法纠错模型进行跨语料库评价的必要性。GEC模型之前已经基于单个常用语料库进行了评估：CoNLL-2014基准。然而，评估仍然是不完整的，因为任务的难度取决于测试语料库和条件，如作家的熟练程度和论文主题。为了克服这一限制，我们评估了几种GEC模型的性能，包括基于NMT的模型（LSTM，CNN和Transformer）和基于SMT的模型，针对各种学习者语料库（CoNLL-2013，CoNLL-2014，FCE，JFLEG，ICNALE和KJ）。评价结果表明，模型的排名有很大的差异，取决于语料库，表明单语料库的评价是不够的GEC模型。
2019-04-05 cs.CL
Comparison of Grammatical Error Correction Using Back-Translation Models
Tokyo Metropolitan University（东京都立大学）；Recruit Co., Ltd.（瑞可利株式会社）；Tokyo Institute of Technology（东京工业大学）
语法错误纠正（GEC）缺乏足够的并行数据。因此，GEC研究开发了各种方法来生成伪数据，这些伪数据包括成对的语法和人工生成的不语法句子。目前，生成伪数据的主流方法是回译（BT）。大多数以前使用BT的GEC研究对GEC和BT模型都采用了相同的架构。然而，GEC模型有不同的修正趋势，这取决于它们的架构。因此，在这项研究中，我们比较了在不同BT模型（即Transformer、CNN和LSTM）生成的伪数据上训练的GEC模型的校正趋势。结果证实，每种错误类型的校正趋势是不同的每一个BT模型。此外，我们研究了使用不同BT模型生成的伪数据组合时的校正趋势。结果表明，不同BT模型的组合与不同种子的单个BT模型相比，提高或内插了每种错误类型的F0.5分数。
2021-04-16 cs.CL
SynGEC: Syntax-Enhanced Grammatical Error Correction with a Tailored GEC-Oriented Parser
Soochow University（苏州大学）
这项工作提出了一种语法增强的语法错误纠正（GEC）的方法命名为SynGEC，有效地将依赖语法信息到GEC模型的编码器部分。这个想法的关键挑战是，现成的解析器在处理不合语法的句子时是不可靠的。为了应对这一挑战，我们建议建立一个量身定制的面向GEC的解析器（GOPar）使用并行GEC训练数据作为支点。首先，我们设计了一个扩展的语法表示方案，使我们能够表示语法错误和语法在一个统一的树结构。然后，我们通过投影目标正确句子的分析树来获得源错误句子的分析树。最后，我们用这样的投影树训练GOPar。对于GEC，我们采用图卷积网络来编码GOPar产生的源端语法信息，并将它们与Transformer编码器的输出融合。在主流英文和中文GEC数据集上的实验表明，我们提出的SynGEC方法一致且大幅优于强基线，并取得了有竞争力的性能。我们的代码和数据都可以在https://github.com/HillZhang1999/SynGEC上公开获取。
2022-10-22 cs.CL
CUNI System for the Building Educational Applications 2019 Shared Task: Grammatical Error Correction
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
在本文中，我们描述了我们提交给建筑教育应用（Building Educational Applications）2019共享任务的系统（Bryant等人，2019年）。我们参加了所有三个轨道。我们的模型是基于Transformer模型的NMT系统，我们通过几个增强功能进行改进：对整个源和目标词应用dropout，加权目标子词，平均模型检查点，以及迭代地使用训练好的模型来纠正中间翻译。在受限轨道中的系统在所提供的语料库上进行训练，所提供的语料库具有过采样的“更干净”的句子，并且在测试集上达到59.39 F0.5分数。低资源轨道中的系统根据维基百科修订历史进行训练，达到44.13 F0.5分。最后，我们在受限数据上从低资源轨道对系统进行了微调，并获得了64.55 F0.5的分数，在无限制轨道中排名第三。
2019-09-12 cs.CL
Ensembling and Knowledge Distilling of Large Sequence Taggers for Grammatical Error Correction
Ukrainian Catholic University（乌克兰天主教大学）；Grammarly
在本文中，我们研究了GEC序列标记架构的改进，重点是在大型配置中集成最新的基于Transformer的编码器。我们鼓励在跨度级别的编辑上通过多数投票来集成模型，因为这种方法对模型架构和词汇表大小是宽容的。我们的最佳集成在2019年（测试）上获得了新的SOTA结果，$F_{0.5}$得分为76.05，即使没有在合成数据集上进行预训练。此外，我们使用经过训练的集成来执行知识蒸馏，以生成新的合成训练数据集“Troy-Blogs”和“Troy-1BW”。我们在生成的Troy数据集上预训练的最佳单序列标记模型与公开可用的合成PIE数据集相结合，实现了接近SOTA（据我们所知，我们最好的单模型仅让位于更重的T5模型结果，$F_{0.5}$在2019年测试中的得分为73.21）。代码、数据集和训练模型是公开的）。
2022-03-24 cs.CL
Chinese Grammatical Error Correction: A Survey
KAIST（韩国科学技术院）
本文综述中文语法纠错（CGEC）研究，涵盖数据集、标注方案、评估方法和系统进展，指出关键挑战并展望未来方向。
2026-06-06 cs.CL
Bangla Grammatical Error Detection Using T5 Transformer Model
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
本文提出了一种使用文本到文本转换Transformer（T5）语言模型检测孟加拉语语法错误的方法，使用BanglaT5的小变体，在9385个句子的语料库上进行微调，其中错误由专用的分界符号括起来。T5模型主要是为翻译而设计的，并不是专门为此任务而设计的，因此需要大量的后处理来使其适应错误检测任务。我们的实验表明，T5模型可以实现低Levenshtein距离在孟加拉语中检测语法错误，但后处理是必不可少的，以实现最佳性能。在5000个句子的测试集上，对微调模型的输出进行后处理后的最终平均Levenshtein距离为1.0394。本文还提出了一个详细的分析模型检测到的错误，并讨论了适应语法的翻译模型的挑战。我们的方法可以扩展到其他语言，证明了T5模型在检测各种语言中的语法错误方面的潜力。
2023-03-19 cs.CL cs.LG
Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction
Tencent AI Lab（腾讯人工智能实验室）
针对汉语语法错误纠正（CGEC）中存在的深层问题，提出了一个新的框架--尾对尾（\textbf{TtT}）非自回归序列预测。考虑到大多数令牌都是正确的，可以直接从源传递到目标，并且可以根据双向上下文信息估计和纠正错误位置，因此我们采用BERT初始化的Transformer Encoder作为骨干模型进行信息建模和传递。考虑到仅依靠相同位置替换不能处理变长校正情况，需要联合诸如替换、删除、插入和局部释义的各种操作。因此，条件随机场（CRF）层堆叠在上尾，通过对令牌依赖性进行建模来进行非自回归序列预测。由于大多数令牌是正确的，并且容易被预测/传达给目标，因此模型可能会遭受严重的类不平衡问题。为了缓解这个问题，焦点损失惩罚策略被集成到损失函数中。此外，除了典型的定长纠错数据集，我们还构建了一个可变长度的语料库进行实验。在标准数据集上，特别是在变长数据集上的实验结果表明，TtT在错误检测和纠正任务中的准确率、查准率、查全率和F1-Measure方面都是有效的。
2021-10-26 cs.AI cs.CL
Bangla Grammatical Error Detection Leveraging Transformer-based Token Classification
BUET（孟加拉国工程技术大学）
本文将孟加拉语语法错误检测转化为词元分类问题，利用基于Transformer的模型并结合规则后处理，在25,000条文本上实现1.04的Levenshtein距离得分。
2024-11-13 cs.CL cs.LG
Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
University of Florida（佛罗里达大学）
本研究评估 RNN 和 Transformer 模型在汉英跨语言结构启动中的表现，发现 Transformer 优于 RNN，挑战了传统循环处理观点，提示基于线索的检索机制作用。
2024-10-15 cs.CL cs.LG
Explaining How Transformers Use Context to Build Predictions
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Meta AI
本文提出一种基于Transformer可解释性进展的语言生成模型分析方法，通过对比示例验证其解释对齐效果优于基线，并揭示了MLP在语法预测及神经机器翻译对齐中的作用。
2023-05-21 cs.AI cs.CL cs.LG
"When Data is Scarce, Prompt Smarter"... Approaches to Grammatical Error Correction in Low-Resource Settings
IIT Madras（印度理工学院马德拉斯学院）；AI4Bharat
本研究通过提示方法和少量样本策略，利用大型语言模型在低资源印地语系语言中实现高效语法错误纠正，取得领先成果。
2025-11-25 cs.AI cs.CL
Combining GCN and Transformer for Chinese Grammatical Error Detection
Guangzhou University（广州大学）
本文介绍了我们的系统在NLPTEA-2020任务：汉语语法错误诊断（CGED）。CGED的目标是诊断四种类型的语法错误：单词选择（S），冗余单词（R），遗漏单词（M）和无序单词（W）。自动CGED系统包括错误检测和错误纠正两部分，我们的系统就是为了解决错误检测问题而设计的。我们的系统是建立在三个模型：1）基于BERT的模型，利用句法信息; 2）基于BERT的模型，利用上下文嵌入; 3）基于词典的图神经网络，利用词汇信息。我们还设计了一个集成机制来提高单个模型的性能。最后，我们的系统在参与CGED 2020任务的所有团队中在检测级别和识别级别上获得了最高的F1分数。
2021-07-11 cs.CL
A Hormone-inspired Emotion Layer for Transformer language models (HELT)
本文提出HELT，通过生物启发的激素情感模块增强Transformer模型，以模拟人类情感处理。通过六种连续激素值模拟，提升模型对情感上下文的响应能力，实验表明在情感准确性与同理质量上优于基线模型。
2026-04-13 cs.CL cs.LG cs.NE
TLM: Token-Level Masking for Transformers
Zhejiang University（浙江大学）
本文提出令牌级掩码训练策略TLM，通过操控多头注意力中令牌间连接来正则化Transformer，在GLUE、中文语法纠错及数据到文本生成等任务上优于注意力dropout和DropHead，并在Rotowire上取得新纪录。
2023-10-28 cs.CL cs.LG
GN-Transformer: Fusing Sequence and Graph Representation for Improved Code Summarization
University of Southern California（南加州大学）
与自然语言相反，源代码理解受标记之间的语法关系的影响，而不管它们的标识符名称。源代码的图形表示（如抽象树（AST））可以捕获标记之间的关系，这些关系在源代码中并不明显。我们提出了一种新的方法，GN-Transformer在融合序列和图形模态上学习端到端，我们称之为Syntax-Code-Graph（SCG）。GN-Transformer使用自注意机制扩展了图网络（GN）框架。SCG是源代码片段和AST表示之间早期融合的结果。我们对SCG的结构进行了实验，对模型设计进行了消融研究，并得出结论，性能优势来自融合表示。所提出的方法在两个代码摘要数据集和三个自动代码摘要度量（BLEU，METEOR，ROUGE-L）上实现了最先进的性能。我们进一步评估我们的模型和以前的工作与专家用户的研究人类感知质量。我们的模型在人类感知质量和准确性方面优于最先进的技术。
2021-11-17 cs.LG cs.PL
Is logical analysis performed by transformers taking place in self-attention or in the fully connected part?
School of Mathematics, Georgia Institute of Technology（佐治亚理工学院数学学院）
本文通过手工构建单层编码器并在语法类别对预测任务上测试，发现Transformer的逻辑分析可在自注意力中完成，并计算了梯度下降中的不希望零点以避免其影响。
2025-01-20 cs.AI cs.CL cs.LG
TransCouplet:Transformer based Chinese Couplet Generation
University of Southern California（南加州大学）
对联是一种特殊的诗歌形式，它是用古老的汉语语言，用复杂的句法组合而成的。由于对联的语义和语法规则的复杂性，创造一个合适的对联是一个艰巨的挑战。提出了一种基于变换器的序列对生成模型。利用AnchiBERT，该模型能够捕捉古代汉语的语言理解。此外，我们还对对联语法规则的字形标注、拼音标注和词性标注进行了评估，以进一步完善模型。
2021-12-03 cs.AI cs.CL
Acceptability Judgements via Examining the Topology of Attention Maps
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；AIRI（AIRI（人工智能研究院））；SberDevices（SberDevices（俄联邦储蓄银行设备公司））；HSE University（高等经济大学）；Huawei Noah’s Ark lab（华为诺亚方舟实验室）；Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；CNRS（法国国家科学研究中心）
本文利用拓扑数据分析提取注意力图的几何特征，用于语法可接受性二元判断和最小对比较，在多语言 CoLA 与 BLiMP 上显著提升性能并达到人类水平。
2022-10-23 cs.AI cs.CL cs.LG
Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese Language Models
Harvard University（哈佛大学）；MIT（麻省理工学院）
先前的工作表明，结构监督有助于英语语言模型学习句法现象的概括，如主谓一致。然而，目前还不清楚这种归纳偏见是否也会提高语言模型在类型不同的语言中学习语法依赖关系的能力。在这里，我们调查这个问题在普通话中，这有一个标识符，主要是基于音节的书写系统;不同的词序;和稀疏的形态比英语。我们在两个不同大小的汉语普通话数据集上训练LSTM、递归神经网络文法、Transformer语言模型和Transformer参数化生成句法分析模型。我们评估模型学习汉语语法的不同方面的能力，评估句法和语义关系。我们发现暗示性的证据表明，结构监督有助于在干预内容中代表句法状态，并提高低数据设置中的性能，这表明在获取依赖关系时，分层归纳偏见的好处可能会超出英语。
2021-09-22 cs.CL
Predictability and Causality in Spanish and English Natural Language Generation
University of Vigo（维戈大学）
本研究比较了英语和西班牙语在因果与非因果语言建模中的表现，发现英语适合因果NLG，西班牙语适合非因果NLG，支持在西班牙语中使用双向transformer模型。
2024-08-26 cs.CL
Finding Universal Grammatical Relations in Multilingual BERT
Stanford University（斯坦福大学）
最近的研究发现，多语种BERT（mBERT），一个基于transformer的多语种掩蔽语言模型，能够zero-shot跨语言迁移，这表明其表示的某些方面是跨语言共享。为了更好地理解这种重叠，我们将最近在神经网络内部表示中寻找语法树的工作扩展到多语言环境。我们发现，子空间的mBERT表示恢复语法树的距离，在英语以外的语言，这些子空间大约是跨语言共享。受这些结果的启发，我们提出了一种无监督的分析方法，提供证据mBERT学习表示的句法依赖标签，在很大程度上同意与通用的依赖分类的集群的形式。这一证据表明，即使没有明确的监督，多语言掩蔽语言模型学习某些语言共性。
2020-05-20 cs.CL cs.LG
Czech Grammar Error Correction with a Large and Diverse Corpus
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）；Charles University, Faculty of Arts（查理大学文学院）
我们介绍了一个大型和多样化的捷克语语料库注释语法错误纠正（GEC）的目的是在这一领域的语言以外的英语仍然稀缺的数据资源作出贡献。捷克语语法纠错语料库（GECCC）提供了四个领域，涵盖了从非母语人士撰写的高错误密度文章到网站文本的错误分布，其中错误预计要少得多。我们比较了几个捷克GEC系统，包括几个基于Transformer的系统，为未来的研究奠定了坚实的基础。最后，我们对人类对我们数据的判断进行了通用GEC指标的元评估。我们在http://hdl.handle.net/11234/1-4639上以CC BY-SA 4.0许可证公开提供新的捷克GEC语料库。
2022-04-21 cs.CL
Probing for Multilingual Numerical Understanding in Transformer-Based Language Models
University of Washington（华盛顿大学）
自然语言数字是组合结构的一个例子，其中较大的数字由对较小数字的操作组成。鉴于组合推理是自然语言理解的关键，我们提出了新的多语言探测任务测试的蒸馏BERT，XLM，和BERT调查的证据组成推理的数字数据在各种自然语言数字系统。通过使用英语、日语、丹麦语和法语的语法性判断和值比较分类任务，我们发现证据表明，这些预训练模型的嵌入中编码的信息足以进行语法性判断，但通常不足以进行值比较。我们分析了可能的原因，并讨论了如何在进一步的研究中扩展我们的任务。
2020-10-13 cs.CL
Analysis of LLM as a grammatical feature tagger for African American English
University of Florida（佛罗里达大学）；Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希-海涅大学）
针对非裔美国人英语（AAE）在NLP中的独特挑战，本研究系统比较了不同模型识别AAE关键语法特征的性能，发现LLM虽有潜力但存在偏差，强调需改进训练和架构适配AAE语言特征。
2025-02-09 cs.AI cs.CL cs.LG
Explicit Grammar Semantic Feature Fusion for Robust Text Classification
Department of Computer Science, American International University-Bangladesh（计算机科学系，美国国际大学-孟加拉国）
本文提出显式语法语义特征融合方法，通过编码语法结构并融合语义信息，构建轻量文本分类模型，提升跨领域学习效果
2026-02-24 cs.CL
The Topological BERT: Transforming Attention into Topology for Natural Language Processing
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
近年来，Transformer模型的引入引发了自然语言处理（NLP）的革命。BERT是第一个只使用注意力机制而不使用任何重复部分的文本编码器之一，在许多NLP任务上实现了最先进的结果。本文介绍了一种基于拓扑数据分析的文本分类器。我们使用BERT的注意力地图转换成注意力图作为该分类器的唯一输入。该模型可以解决诸如区分垃圾邮件和业余消息，识别句子是否语法正确，或评估电影评论为负面或正面等任务。它的性能接近BERT基准，并且在某些任务上优于它。此外，我们提出了一种新的方法来减少BERT的注意头部的拓扑分类器，这使我们能够修剪的头部的数量从144下降到少至10没有减少性能。我们的工作还表明，拓扑模型显示出更高的鲁棒性对抗攻击比原来的BERT模型，这是保持在修剪过程中。据我们所知，这项工作是第一个在NLP背景下面对基于拓扑的模型与对抗攻击的工作。
2022-06-30 cs.CL cs.LG math.AT
Multi-Head Multi-Layer Attention to Deep Language Representations for Grammatical Error Detection
Tokyo Metropolitan University（东京都立大学）
众所周知，用大规模数据预训练的深度神经网络模型大大提高了各种任务的准确性，特别是在存在资源约束的情况下。然而，解决给定任务所需的信息可能会有所不同，简单地使用最后一层的输出并不一定足够。此外，据我们所知，利用大型语言表示模型来检测语法错误尚未被研究。在这项工作中，我们研究了不仅利用来自最终层的信息，而且还利用来自预训练语言表示模型的中间层的信息来检测语法错误的效果。我们提出了一个多头多层注意力模型，确定适当的层在双向编码器表示从Transformers（BERT）。所提出的方法在三个数据集上获得了语法错误检测任务的最佳分数，在FCE上超过了当前最先进的方法6.0分，在CoNLL 14上超过了8.2分，在JFLEG上超过了12.2分。我们还证明，通过使用多头多层注意力，我们的模型可以利用更广泛的信息，为每个令牌在一个句子比模型，只使用最后一层的信息。
2019-04-15 cs.CL
The unreasonable effectiveness of few-shot learning for machine translation
Google Research（谷歌研究院）；Google Translate（谷歌翻译）
我们展示了Few-Shot翻译系统的潜力，该系统使用未配对的语言数据进行训练，用于高资源和低资源语言对。我们表明，只有5个高质量的翻译数据的例子显示在推理，一个Transformer解码器的模型训练完全与自监督学习，能够匹配专业的监督国家的最先进的模型，以及更一般的商业翻译系统。特别是，在WMT'21英汉新闻翻译任务中，我们仅使用五个英汉平行数据进行推理，就超过了表现最好的系统。此外，我们建立这些模型的方法不需要联合多语言训练或回译，概念上很简单，并显示出扩展到多语言环境的潜力。此外，所得到的模型比最新的语言模型小两个数量级。然后，我们分析了影响Few-Shot翻译系统性能的因素，并强调了Few-Shot演示的质量在很大程度上决定了我们的模型生成的翻译质量。最后，我们表明，Few-Shot范式也提供了一种方法来控制某些属性的翻译-我们表明，我们能够控制区域品种和正式使用只有五个例子在推理，铺平了道路，走向可控的机器翻译系统。
2023-02-02 cs.CL
Towards Minimal Supervision BERT-based Grammar Error Correction
Carnegie Mellon University（卡内基梅隆大学）
现有的语法纠错模型通常将纠错任务视为序列生成，这需要大量的标注数据，限制了在数据有限的情况下的应用。我们尝试从预训练的语言模型中整合上下文信息，以利用注释并使多语言场景受益。实验结果表明，Transformers的双向编码器表征（BERT）在语法纠错任务中具有很强的潜力。
2020-01-10 cs.AI cs.CL
How Language Models Prioritize Contextual Grammatical Cues?
Sharif University of Technology（谢里夫理工大学）；Tilburg University（蒂尔堡大学）
该研究针对多上下文语法线索场景下语言模型的处理机制问题，采用上下文混合分析与激活修补方法，对比发现BERT优先首个性别线索、GPT-2依赖末尾线索，揭示了编码器与解码器类模型的上下文利用差异。
2024-10-04 cs.CL
Optimizing Language Models for Grammatical Acceptability: A Comparative Study of Fine-Tuning Techniques
Georgia Tech（佐治亚理工学院）
本研究针对语法可接受性任务，比较多种微调技术对OPT-125M模型的优化效果，发现LoRA可在保持准确率的同时大幅提升计算效率，为降低大语言模型使用门槛提供参考。
2025-01-14 cs.AI cs.CL
Advancements in Arabic Grammatical Error Detection and Correction: An Empirical Investigation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
该研究针对形态丰富的阿拉伯语GEC研究有限的问题，提出基于Transformer的预训练序列到序列模型，定义多类阿拉伯语GED任务并验证其辅助提升作用，取得SOTA结果并公开资源。
2023-11-09 cs.CL
Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
本文首次系统评估多种语音语言模型中的上下文句法与语义特征，通过71个任务的最小对探测发现语音编码器普遍更稳健地编码语法特征而非概念特征。
2025-09-19 cs.CL eess.AS
Investigating grammatical abstraction in language models using few-shot learning of novel noun gender
Faculty of Engineering, University of Bristol（布里斯托大学工程学院）；Department of Basic Neurosciences, University of Geneva（日内瓦大学基础神经科学系）
通过少样本学习新名词性别实验，探究LSTM和仅解码器Transformer能否像人类一样抽象语法性别，发现模型能从少量示例泛化性别并跨上下文应用，但存在阳性偏好。
2024-03-15 cs.CL
When transformers learn "impossible" languages, what do they learn?
University of Edinburgh（爱丁堡大学）
研究通过训练GPT-2模型于英语的“不可能”变体，发现模型在语法敏感性上仅逐渐退化，但在生成任务中显著失败，提出生成缺陷是语言不可习得性的可能解释。
2026-07-01 cs.AI cs.CL
Persian Ezafe Recognition Using Transformers and Its Role in Part-Of-Speech Tagging
Sharif University of Technology（谢里夫理工大学）；Dathena Science Pte. Ltd.（达特纳科学私人有限公司）
Ezafe是一些伊朗语言中的语法粒子，将两个单词连接在一起。不管它传达的重要信息是什么，它几乎总是不会用波斯文字表示，从而导致阅读复杂句子时的错误和自然语言处理任务中的错误。在本文中，我们使用不同的机器学习方法进行实验，以在ezafe识别任务中获得最先进的结果。基于变换器的方法，BERT和XLMRoBERTa，达到最好的效果，后者实现2.68%F1分数比以前的国家的最先进的。我们，此外，使用ezafe信息，以提高波斯语词性标注的结果，并表明，这些信息将不会是有用的基于变换器的方法，并解释为什么可能是这种情况。
2020-10-04 cs.CL cs.LG
Enhancing Grammatical Error Detection using BERT with Cleaned Lang-8 Dataset
School of Computing Science Engineering and Artificial Intelligence（计算科学工程与人工智能学院）；VIT Bhopal University（VIT博帕尔大学）；Sitare University（西塔雷大学）
本文通过严格清洗Lang-8数据集并微调多种transformer模型进行语法错误检测，发现BERT-base-uncased以F1分数0.91取得最佳效果，证明数据清洗比单纯增大模型更关键。
2024-11-23 cs.AI cs.CL
Contextualized Scene Imagination for Generative Commonsense Reasoning
University of Southern California（南加州大学）；Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of California, San Diego（加州大学圣地亚哥分校）
人类使用自然语言将环境中的常见概念组成合理的日常场景描述。然而，这种生成式常识推理（GCSR）技能缺乏国家的最先进的文本生成方法。关于神经文本生成模型生成的任意概念的描述性句子（例如，预训练的文本到文本Transformers）通常在语法上流畅，但可能不符合人类常识，这主要是由于它们缺乏捕获概念关系、识别隐式概念以及对看不见的概念组合执行可概括推理的机制。在本文中，我们提出了一个想象和言语化（I&V）的方法，学习想象一个关系场景知识图谱（SKG）与输入概念之间的关系，并利用SKG作为一个约束时，生成一个合理的场景描述。我们收集和协调一组来自不同领域和模态的知识资源，为I& V提供了丰富的辅助监督信号。实验证明了I&V在改进语言模型的概念到句子和概念到故事生成任务方面的有效性，同时使模型能够从更少的任务示例中学习并生成对人类注释者来说具有常识的SKG。
2022-03-07 cs.CL
Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
Georgetown University（乔治城大学）；The Ohio State University（俄亥俄州立大学）；UC San Diego（加州大学圣迭戈分校）
该研究在不同模型规模与训练语料下系统比较多种注意力记忆机制，发现对中间词元内容敏感的约束与人类阅读时间匹配度最高，且动态记忆课程下心理测量拟合度与语法能力存在分离，提示Transformer无法作为通用认知模型。
2026-10-26 cs.CL
Investigating representations of verb bias in neural language models
University of Tokyo（东京大学）；Princeton University（普林斯顿大学）
语言通常提供一种以上的语法结构来表达某些类型的消息。众所周知，说话者对结构的选择取决于多种因素，包括主要动词的选择--一种被称为\emph{verb bias}的现象。在这里，我们介绍DAIS，一个大型的基准数据集包含50 K人类判断5 K不同的句子对英语与格交替。该数据集包括200个独特的动词，并系统地改变了参数的定义和长度。我们使用这个数据集，以及现有的自然发生的数据语料库，来评估最近的神经语言模型捕捉人类偏好的能力。结果表明，较大的模型比较小的模型表现更好，即使在可比的参数和训练设置下，Transformer架构（例如GPT-2）也往往优于递归架构（例如LSTM）。对内部特征表征的进一步分析表明，Transformers可以更好地将特定的词汇信息与语法结构结合起来。
2020-10-15 cs.CL
Probing the Category of Verbal Aspect in Transformer Language Models
University of Helsinki（赫尔辛基大学）
本文首次探究了预训练语言模型在俄语中编码动词体范畴的机制，通过行为与因果探测发现BERT和RoBERTa主要在最后一层编码该特征，并证明仅微调最后一层预测体更高效。
2024-06-04 cs.CL
Transformers Generalize Linearly
Yale University（耶鲁大学）
自然语言表现出等级依赖的模式，其中词之间的关系对句法结构而不是线性排序敏感。虽然回流网络模型通常不能以分层敏感的方式进行概括（McCoy等人，2020）在模糊数据上训练时，较新的Trans-former语言模型（Vaswani等人，2017）在一系列大型数据集上训练的句法基准上（Goldberg，2019; Warstadtet等人，在本文中，我们研究了Transformer序列到序列模型的结构泛化模式，发现Transformers不仅不能在各种语法映射任务中进行层次泛化，而且它们比类似的递归网络更倾向于线性泛化
2021-09-24 cs.CL
CodeFill: Multi-token Code Completion by Jointly Learning from Structure and Naming Sequences
Delft University of Technology（代尔夫特理工大学）
代码完成是IDE的一个基本功能，但当前的自动完成器仅限于基于语法或基于NLP的单个标记完成。这两种方法都有明显的缺点：基于语法的自动完成在动态类型语言环境中受到限制，而基于NLP的自动完成程序很难理解程序设计语言的语义和开发人员的代码上下文。在这项工作中，我们提出了CodeFill，一个语言模型自动完成，结合了学习的结构和命名信息。使用并行Transformer架构和多任务学习，CodeFill使用源代码标记名称序列及其等效的AST标记类型。独特的是，CodeFill针对单标记和多标记（语句）预测进行了训练，这使其能够学习语法和命名元素之间的长期依赖关系。我们在两个数据集上训练CodeFill，分别由29 M和425 M行代码组成。为了使评估更加真实，我们开发了一种方法来自动推断源代码中的完成点。我们将CodeFill与四个基线和两个最先进的模型GPT-C和TravTrans+进行了比较。CodeFill在单令牌预测方面超过了所有基线（MRR：70.9% vs. 66.2%和67.8%），并且在多令牌预测方面优于最先进的模型（ROUGE-L：63.7% vs. 52.4%和59.2%，n=4个令牌）。我们公开发布我们的源代码和数据集。
2022-02-14 cs.LG cs.SE
The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers
本研究探究Transformer各层语法角色对表征流形几何的影响，分析ID演化、邻域结构变化，对比编码器与解码器的差异，发现几何特征可恢复token语法角色并用于语义演化解释。
2026-08-27 cs.CL
What do Transformers Know about Government?
University of Helsinki（赫尔辛基大学）
本文研究BERT如何编码句子成分间的支配关系，发现该信息主要集中在模型早期层，少量注意力头足以训练分类器发现未知支配类型，并发布了Government Bank数据集。
2024-04-22 cs.CL cs.LG
