Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models
Google Research(谷歌研究院)
众所周知,合成数据生成可以提高神经语法纠错(GEC)系统的准确性,但现有方法往往缺乏多样性或过于简单,无法生成人类作者所犯的各种语法错误。在这项工作中,我们使用错误类型标签自动注释工具,如ERRANT指导合成数据的生成。我们比较了几种模型,可以产生一个不符合语法的句子给出一个干净的句子和错误类型标签。我们使用这些模型来建立一个新的,大的合成预训练数据集与错误标签频率分布匹配给定的开发集。我们的合成数据集产生了巨大而一致的增益,提高了在ESTA-19和CoNLL-14测试集上的最新水平。我们还表明,我们的方法是特别有效的,在适应GEC系统,培训混合本地和非本地英语,以英语为母语的测试集,甚至超过真正的训练数据组成的高质量的句子对。
2021-05-27 cs.CL
Byte-Level Grammatical Error Correction Using Synthetic and Curated Corpora
Miðeind ehf.;University of Copenhagen(哥本哈根大学)
本文研究语法纠错,比较字节级与子词级编码,提出先用合成错误语料预训练再用真实人工纠错语料微调的方法,证明字节级模型在拼写及复杂语义、风格和语法错误上均优于子词方法,并在冰岛语上验证了有效性。
2023-05-29 cs.CL
Leveraging Denoised Abstract Meaning Representation for Grammatical Error Correction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心)
本文提出AMR-GEC模型,首次将去噪后的抽象语义表示(AMR)作为额外知识融入序列到序列语法纠错框架,在BEA-2019和CoNLL-2014任务上达到与强基线相当的性能,并将训练时间减少32%。
2023-07-05 cs.CL
Do Grammatical Error Correction Models Realize Grammatical Generalization?
RIKEN AIP(理化学研究所先进智能项目中心);The University of Tokyo(东京大学);Tohoku University(东北大学)
使用伪数据的语法错误纠正(GEC)的数据生成方法已经引起了越来越多的兴趣。然而,这些方法存在几个问题,使得它们不便于现实世界的部署,包括需要大量的训练数据。另一方面,如果GEC模型可以实现语法泛化,则一些基于语法规则的错误可能不一定需要大量的数据。本研究探讨GEC模型在多大程度上概括了纠正错误所需的语法知识。我们介绍了一种分析方法,使用合成和真实的GEC数据集与控制词汇,以评估模型是否可以推广到看不见的错误。我们发现,目前标准的基于transformer的GEC模型未能实现语法泛化,即使在简单的设置与有限的词汇和语法,这表明它缺乏所需的泛化能力,以纠正错误,从提供的训练样本。
2021-06-06 cs.CL
Leveraging LLMs for Bangla Grammar Error Correction:Error Categorization, Synthetic Data, and Model Evaluation
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
本文通过构建含12类错误的孟加拉语GEC数据集Vaiyakarana并对LLMs进行指令微调,使模型在语法错误识别上接近人类水平,GEC性能较零样本提升3-7个百分点。
2025-06-05 cs.AI cs.CL
Adversarial Grammatical Error Correction
Grammarly(Grammarly( Grammarly公司))
最近的语法纠错(GEC)工作利用了神经机器翻译(NMT)的进展,从语法错误和纠正的句子的并行语料库中学习重写,实现了最先进的结果。与此同时,生成对抗网络(GANs)通过学习直接最小化人类生成文本和合成文本之间的差异,成功地在许多不同的任务中生成了逼真的文本。在这项工作中,我们提出了一个对抗性的学习方法,GEC,使用生成器的框架。生成器是一个Transformer模型,经过训练可以生成语法正确的句子。该模型是一个双对分类模型,用于根据语法纠正的质量来判断给定的一对语法错误-正确的句子。我们在并行文本上对生成器和生成器进行预训练,然后使用策略梯度方法进一步微调它们,该方法为可能是语法错误文本的真正纠正的句子分配高奖励。在FCE、CoNLL-14和EEE-19数据集上的实验结果表明,与基于NMT的基线相比,Adversarial-GEC可以实现具有竞争力的GEC质量。
2020-10-06 cs.AI cs.CL cs.LG
LLM-based Code-Switched Text Generation for Grammatical Error Correction
University of Manchester(曼彻斯特大学)
本研究针对语码转换文本语法纠错的数据稀缺问题,利用 LLM 生成合成数据构建数据集,并训练出能同时纠正单语与 CSW 文本语法错误且显著优于现有系统的模型,以辅助 ESL 学习者。
2024-10-14 cs.CL
Controllable Data Synthesis Method for Grammatical Error Correction
Beijing Language and Culture University(北京语言大学);Beijing University of Technology(北京工业大学);Shanghai University of Finance and Economics(上海财经大学)
由于目前的语法错误纠正(GEC)任务中缺乏并行数据,基于序列到序列框架的模型不能得到充分的训练以获得更高的性能。本文提出了两种数据合成方法,可以控制合成数据的出错率和错误类型的比例。第一种方法是对单语语料库中的每个单词进行固定概率的破坏,包括替换、插入和删除。另一种方法是训练错误生成模型并进一步过滤模型的解码结果。对不同合成数据的实验表明,出错率为40%,且错误类型比例相同,能更好地提高模型性能。最后,我们合成了大约1亿个数据,并实现了与最先进技术相当的性能,它使用的数据是我们使用的数据的两倍。
2021-12-24 cs.CL
Ensembling and Knowledge Distilling of Large Sequence Taggers for Grammatical Error Correction
Ukrainian Catholic University(乌克兰天主教大学);Grammarly
在本文中,我们研究了GEC序列标记架构的改进,重点是在大型配置中集成最新的基于Transformer的编码器。我们鼓励在跨度级别的编辑上通过多数投票来集成模型,因为这种方法对模型架构和词汇表大小是宽容的。我们的最佳集成在2019年(测试)上获得了新的SOTA结果,$F_{0.5}$得分为76.05,即使没有在合成数据集上进行预训练。此外,我们使用经过训练的集成来执行知识蒸馏,以生成新的合成训练数据集“Troy-Blogs”和“Troy-1BW”。我们在生成的Troy数据集上预训练的最佳单序列标记模型与公开可用的合成PIE数据集相结合,实现了接近SOTA(据我们所知,我们最好的单模型仅让位于更重的T5模型结果,$F_{0.5}$在2019年测试中的得分为73.21)。代码、数据集和训练模型是公开的)。
2022-03-24 cs.CL
Grammatical Error Correction in Low-Resource Scenarios
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院)
英语语法错误纠正是一个长期研究的问题,有许多现有的系统和数据集。然而,对其他语言的纠错研究却非常有限。在本文中,我们提出了一个新的数据集AKCES-GEC语法错误纠正捷克语。然后我们在捷克语、德语和俄语上进行了实验,结果表明,当使用合成并行语料时,Transformer神经机器翻译模型可以在这些数据集上达到新的最先进的结果。AKCES-GEC在CC BY-NC-SA 4.0许可下发布于https://hdl.handle.net/11234/1-3057,GEC模型的源代码可在https://github.com/ufal/low-resource-gec-wnut2019获得。
2019-10-16 cs.CL
Wronging a Right: Generating Better Errors to Improve Grammatical Error Detection
University College London(伦敦大学学院)
语法错误校正与其他机器学习任务一样,极大地受益于大量高质量训练数据,而这些数据的产生通常是昂贵的。虽然编写一个程序来自动生成真实的语法错误是困难的,但人们可以学习自然发生的错误的分布,并尝试将它们引入其他数据集。以这种方式使用统计机器翻译诱导错误的初步工作已经显示出希望;我们研究廉价构建合成样本,给出一个小语料库的人类注释的数据,使用现成的注意序列到序列模型和一个直接的后处理过程。我们的方法产生了充满错误的人工数据,帮助香草双向LSTM在语法错误检测方面超越了以前的最新技术水平,并且之前引入的模型获得了超过5%的$F_{0.5}$分数的进一步改进。当试图确定一个给定的句子是否是合成的时,人类注释者最多只能获得39.39 $F_1$分数,这表明我们的模型生成的大多是类似人类的实例。
2018-09-26 cs.CL cs.LG stat.ML
From Spelling to Grammar: A New Framework for Chinese Grammatical Error Correction
Peking University(北京大学)
汉语语法纠错的目的是从错误序列中生成正确的句子,而错误序列中混杂着不同类型的错误。本文将CGEC任务分为两个步骤,即拼写错误纠正和语法错误纠正。具体地说,我们提出了一种新的拼写错误纠正的zero-shot方法,它是简单而有效的,获得了较高的精度,以避免错误积累的流水线结构。为了处理语法错误校正,我们设计了词性(POS)特征和语义类特征来增强神经网络模型,并提出了一个辅助任务来预测目标句子的POS序列。我们提出的框架在没有使用任何合成数据或数据增强方法的情况下,在CGEC数据集上获得了42.11 F0.5的分数,这比以前的最新技术高出1.30分。此外,我们的模型产生有意义的POS表示,捕捉不同的POS词,并传达合理的POS转换规则。
2022-11-03 cs.CL cs.LG
Improving Grammatical Error Correction with Machine Translation Pairs
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院);Peking University(北京大学)
我们提出了一种新的数据合成方法来生成不同的纠错句子对,以提高语法纠错,这是基于一对不同质量的机器翻译模型(即,穷与好)。差的翻译模型类似于ESL(英语作为第二语言)学习者,并且倾向于生成在流畅性和语法正确性方面质量较低的翻译,而好的翻译模型通常生成流畅和语法正确的翻译。我们分别用基于短语的统计机器翻译模型和神经机器翻译模型来建立差语言模型模型和好翻译模型。将桥语言中相同句子的译文对作为纠错句子对,可以构造出无限的伪并行数据。我们的方法是能够产生不同的流畅性提高模式,而不受限制的预定义的规则集和种子纠错数据。实验结果表明,我们的方法的有效性,并表明它可以与其他合成数据源相结合,以产生进一步的改进。
2020-11-01 cs.CL
A Unified Strategy for Multilingual Grammatical Error Correction with Pre-trained Cross-Lingual Language Model
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);The Chinese University of Hong Kong(香港中文大学)
非英语语法纠错(GEC)的合成数据构建严重依赖于人为设计的特定语言规则,产生有限的纠错模式。在本文中,我们提出了一个通用的和语言无关的多语言GEC策略,它可以训练一个GEC系统有效地为一个新的非英语语言,只有两个易于访问的资源:1)一个预训练的跨语言语言模型(PXLM)和2)英语和语言之间的并行翻译数据。我们的方法创建了不同的并行GEC数据,没有任何语言特定的操作,通过将PXLM生成的非自回归翻译和黄金翻译作为纠错句子对。然后,我们重用PXLM初始化GEC模型,并使用其自身生成的合成数据对其进行预训练,这产生了进一步的改进。我们评估我们的方法在不同语言的GEC的三个公共基准。它在NLPCC 2018任务2数据集(中文)上获得了最先进的结果,并在Falko-Merlin(德国)和RULEC-GEC(俄罗斯)上获得了具有竞争力的性能。进一步的分析表明,我们的数据构建方法是基于规则的方法的补充。
2022-01-26 cs.CL cs.LG
Beyond English: Evaluating LLMs for Arabic Grammatical Error Correction
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
该研究评估指令微调LLMs在阿拉伯语语法错误纠正任务中的表现,提出利用合成数据的方法,刷新了阿拉伯语GEC的SOTA,同时指出指令微调模型仍逊于更小的完全微调模型。
2023-12-13 cs.AI cs.CL
ChatGPT for Arabic Grammatical Error Correction
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文研究指令微调大语言模型在阿拉伯语语法纠错中的能力,发现GPT-4在专家提示下表现较好,并提出利用合成数据的方法,在QALB基准上取得新的最优结果。
2023-08-08 cs.AI
RoLegalGEC: Legal Domain Grammatical Error Detection and Correction Dataset for Romanian
National University of Science and Technology POLITEHNICA Bucharest(波兰亚技术大学布加勒斯特分校);Paris 1 Panthéon-Sorbonne University(巴黎1大学蓬莎博纳大学);University of Bucharest(布加勒斯特大学)
本文提出RoLegalGEC数据集,包含35万条法律文本中的语法错误及标注,评估多种神经网络模型用于检测和纠正语法错误,丰富罗马尼亚语研究资源。
2026-04-22 cs.AI cs.CL cs.LG
A Simple Recipe for Multilingual Grammatical Error Correction
Google(谷歌)
本文提出了一种简单的方法来训练最先进的多语言语法错误校正(GEC)模型。我们首先提出了一种语言不可知的方法来生成大量的合成的例子。第二个要素是使用大规模的多语言语言模型(多达11 B参数)。一旦对特定语言的监督集进行微调,我们就可以在四种语言中超越GEC基准测试的最先进结果:英语,捷克语,德语和俄语。在为GEC建立了一组新的基线之后,我们通过发布cLang-8数据集使我们的结果易于重现和访问。它是通过使用我们最好的模型(我们称之为gT 5)来清理广泛使用但有噪声的lang-8数据集的目标而产生的。cLang-8极大地简化了由多个微调阶段组成的典型GEC训练管道-我们证明,使用现成的语言模型在cLang-8上执行单个微调步骤,可以在已经表现最好的英语gT 5模型上进一步提高准确性。
2022-08-09 cs.CL
GECTurk: Grammatical Error Correction and Detection Dataset for Turkish
Koç University(科奇大学)
本文提出面向土耳其语的GECTurk数据集及合成数据生成流水线,覆盖20余条语法规则并构建13万平行句对,通过三类基线模型验证其在领域外场景下的高质量与可迁移性。
2023-09-20 cs.CL cs.LG
GECToR -- Grammatical Error Correction: Tag, Not Rewrite
Grammarly(Grammarly公司)
在本文中,我们提出了一个简单而有效的GEC序列标签使用Transformer编码器。我们的系统在合成数据上进行预训练,然后分两个阶段进行微调:第一阶段是在有错误的语料库上,第二阶段是在有错误和无错误的并行语料库的组合上。我们设计了自定义的令牌级转换,以将输入令牌映射到目标更正。我们最好的单模型/集合GEC标记器在CoNLL-2014(测试)上实现了65.3/66.5的$F_{0.5}$,在NLL-2019(测试)上实现了72.4/73.6的$F_{0.5}$。它的推理速度是基于transformer的seq 2seq GEC系统的10倍。代码和训练模型是公开的。
2020-05-29 cs.CL cs.LG
Differentially-private text generation degrades output language quality
本研究探讨了差分隐私微调对大语言模型生成文本质量和效用的影响,发现更强的隐私约束会导致文本变短、语法正确性和多样性下降,并降低下游分类任务的准确率。
2025-09-14 cs.AI cs.CL
Parameterized Synthetic Text Generation with SimpleStories
ETH Zürich(苏黎世联邦理工学院);University of Antwerp(安特卫普大学);Dioptra;UT Austin(得克萨斯大学奥斯汀分校);EleutherAI;Apollo Research
提出SimpleStories合成故事数据集,通过多层级参数化提示词控制故事特征,提升模型样本效率和可解释性,并开源模型创建组件。
2025-05-30 cs.AI cs.CL
Naamah: A Large Scale Synthetic Sanskrit NER Corpus via DBpedia Seeding and LLM Generation
Centre for Development of Advanced Computing (C-DAC)(发展高级计算中心)
本文提出Naamah,一个包含102942个句子的高质量梵语NER数据集,结合DBpedia实体提取与混合推理模型生成,用于评估XLM RoBERTa和IndicBERTv2模型。
2026-04-29 cs.AI cs.CL
GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding
AI Center, NUST MISiS(俄罗斯国立科技大学人工智能中心);PDMI RAS(俄罗斯科学院斯捷克洛夫数学研究所圣彼得堡分所)
提出非自回归语法纠错方法GEC-DePenD,通过解耦排列网络与解码器,一次前向传播确定令牌顺序,性能优于现有非自回归方法,接近自回归水平。
2023-11-14 cs.CL
Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule
Steklov Institute of Mathematics(斯捷克洛夫数学研究所)
本文针对语法错误纠正缺乏标注数据的问题,提出利用多任务训练和优化训练调度更高效地使用数据,以400M参数的BART模型超越了11B参数的T5-XXL。
2023-11-20 cs.CL
Grammatical Error Correction for Code-Switched Sentences by Learners of English
Writer, Inc.(Writer 公司);King's College London(伦敦国王学院)
本研究首次探索语法错误纠正系统在语码转换文本上的应用,提出通过翻译现有GEC语料片段生成合成CSW GEC数据集的方法,最优模型在3个多语言测试集上$F_{0.5}$平均提升1.57且不影响单语性能,还发现模型对类型相似的CSW语言泛化性较好。
2024-05-06 cs.CL
Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection
Ubisoft La Forge(育碧拉福奇实验室)
本文提出一种两阶段微调方法,利用多语言预训练模型的零样本跨语言迁移能力生成合成错误数据,用于低资源语言的语法错误检测,优于现有无标注方法。
2024-07-16 cs.AI cs.CL
Grammatical Error Correction for Low-Resource Languages: The Case of Zarma
Rochester Institute of Technology(罗切斯特理工学院);Ashesi University(阿什esi大学);George Mason University(乔治·梅森大学)
本研究针对扎尔马语的语法错误纠正,比较了基于规则、机器翻译和大型语言模型三种方法,发现MT模型在自动和人工评估中表现最佳。
2026-02-04 cs.CL cs.LG
Multi-head Sequence Tagging Model for Grammatical Error Correction
University of Technology and Applied Sciences(科技与应用科学大学);National University of Defense Technology(国防科技大学);CVTE Research(视源股份研究院);Dalian University of Technology(大连理工大学)
本文提出多头多任务序列标注模型,将语法纠错分解为插入、删除、合并、替换、转换、检测和纠正七个子任务,并结合去噪自编码器预训练与字符级转换,在多个基准上显著超越现有方法。
2024-10-21 cs.CL
To Err Is Human, but Llamas Can Learn It Too
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本研究探讨了通过使用语言模型(LM)的人工错误生成(AEG)来增强语法错误纠正(GEC)。具体来说,我们微调基于Llama 2的LM的错误生成,并发现这种方法产生类似于人为错误的合成错误。接下来,我们在这些人工错误的帮助下训练GEC Llama模型,并优于以前最先进的纠错模型,在所有测试语言(德语,乌克兰语和爱沙尼亚语)中的增益范围为0.8到6 F0.5点。此外,我们证明了通过微调较小的序列到序列模型并提示大型商业LM(GPT-3.5和GPT-4)产生错误也会导致合成错误,从而有益地影响错误生成模型。
2024-10-04 cs.CL
Can professional translators identify machine-generated text?
IULM University Milan Italy(米兰IULM大学)
通过实验研究无专门训练的专业翻译人员识别AI生成短篇故事的能力,发现少数人(16.2%)能准确区分,但多数依赖主观印象导致误判,低突发性和叙事矛盾是可靠指标。
2026-06-15 cs.AI cs.CL
MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
SBILab, Indraprastha Institute of Information Technology Delhi(SBILab,印度理工学院信息技术研究所德里)
MORPHOGEN通过构建三门语法有性语言的合成数据集,评估15种多语言大模型在性别意识形态生成任务中的表现,揭示当前模型在处理形态性别时的不足。
2026-04-20 cs.AI cs.CL cs.LG
Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting
Zhejiang University(浙江大学);Stony Brook University(石溪大学)
本文提出一种基于代码重写相似性的零样本合成代码检测器,利用自监督对比学习训练相似度模型,在APPS和MBPP基准上AUROC分别提升20.5%和29.1%。
2024-12-16 cs.AI cs.SE
Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior
University of Sheffield(谢菲尔德大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Hugging Face;National Institute of Informatics(国立情报学研究所);University of Exeter(埃克塞特大学);Federal University of Rio Grande do Norte(北里奥格兰德联邦大学)
本研究系统验证了合成预预训练(PPT)在更大规模(至70亿参数、1000亿令牌)下仍能提升下游性能与令牌效率,但收益并非源于语法先验,而是来自改善长程检索的PPT任务,且对数据混合组成具有鲁棒性。
2026-10-01 cs.AI cs.CL cs.LG
Grammatical Error Generation Based on Translated Fragments
University of Helsinki(赫尔辛基大学)
我们对句子片段进行神经机器翻译,以便为英语语法错误纠正创建大量的训练数据。我们的方法旨在模拟第二语言学习者所犯的错误,并产生更广泛的非母语风格的语言相比,国家的最先进的合成数据创建方法。除了纯粹的语法错误外,我们的方法还会产生其他类型的错误,例如词汇错误。我们使用神经序列到序列模型进行语法纠错实验,并进行定量和定性评价。在使用我们提出的方法创建的数据上训练的模型在测试数据上的表现优于基线模型,具有高比例的错误。
2021-04-20 cs.CL
Regional Tiny Stories: Using Small Models to Compare Language Learning and Tokenizer Performance
BITS Goa, Pune Institute of Computer Technology(果阿理工学院、浦那计算机技术学院);Vizuara AI Labs, Pune, India(印度浦那 Vizuara AI 实验室)
本研究将TinyStories数据集扩展到印地语、马拉地语和孟加拉语,用小型语言模型验证其高效处理区域语言的能力,发现语言特定分词器更优、合成数据优于翻译内容,并揭示跨语言模式,推进SLMs在低资源语言中的应用。
2025-04-22 cs.AI cs.CL
Toward autocorrection of chemical process flowsheets using large language models
Process Intelligence Research Group, Department of Chemical Engineering, Delft University of Technology(过程智能研究组,化学工程系,代尔夫特理工大学)
提出一种基于大型语言模型的生成式AI方法,自动识别化工流程图中的错误并给出修正建议,在合成数据集上达到80%的top-1准确率。
2026-06-08 cs.AI cs.LG
A Multilingual, Culture-First Approach to Addressing Misgendering in LLM Applications
Microsoft Research India(微软印度研究院);The University of York(约克大学);Microsoft(微软)
针对多语言场景下大语言模型应用的性别错称问题,采用参与式设计开发跨42种语言的防护机制,经人在环路的会议摘要场景验证可有效降错称率且保质量,同时发布相关数据集与评估结果以促研究。
2025-05-21 cs.AI cs.CL
Evaluation of large-scale synthetic data for Grammar Error Correction
ByteDance(字节跳动)
语法纠错主要依赖于大量高质量的语法正确和错误句子对的合成并行数据的可用性。合成数据的质量是根据GEC系统在使用它进行预训练时的表现来评估的。但这并没有提供对定义这些数据质量的必要因素的深入了解。因此,这项工作的目的是引入3个指标-可靠性,多样性和分布匹配,以提供更多的洞察大规模合成数据的质量生成的GEC任务,以及自动评估他们。自动评估这三个度量还可以帮助向数据生成系统提供反馈,从而提高动态生成的合成数据的质量
2022-10-31 cs.AI cs.CL
Detecting Spelling and Grammatical Anomalies in Russian Poetry Texts
SalutDevices
本文针对俄语诗歌生成中训练文本质量低的问题,提出用自动化语言异常检测过滤低质量数据,比较了无监督与有监督方法,并发布人工标注的RUPOR数据集及评估代码。
2025-05-07 cs.CL
Can Language Models Induce Grammatical Knowledge from Indirect Evidence?
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);The University of Tokyo(东京大学);National Institute of Informatics(情报通信研究机构)
本文通过构建 WIDET 数据集,将含新造词的合成间接证据注入预训练数据,实验发现语言模型即使反复接触结构相同的实例仍难以归纳出语法知识,揭示了其在数据效率上与人类的差距,并指出未来应开发能利用潜在间接证据的模型。
2024-10-23 cs.CL
Reference Free Domain Adaptation for Translation of Noisy Questions with Question Specific Rewards
Indian Institute of Technology Patna(印度理工学院巴特那分校);Flipkart(Flipkart公司)
针对噪声环境下社区问答问题的翻译难题,提出仅用源端数据微调NMT的方法,通过结合BERTScore和MLM分数的损失函数平衡充分性与流畅性,显著超越基线并提升鲁棒性。
2023-10-23 cs.AI cs.CL cs.LG
Towards Zero-Shot Multilingual Synthetic Question and Answer Generation for Cross-Lingual Reading Comprehension
Google Research(谷歌研究院)
我们提出了一个简单的方法,通过使用一个单一的生成模型生成大规模的多语言问题和答案对。这些合成样本可用于提高多语言QA模型在目标语言上的zero-shot性能。我们提出的生成模型的多任务训练只需要英语中的标记训练样本,因此不需要目标语言中的此类样本,使其适用于比标记数据更多的语言。人工评估表明,大多数这样的样本在语法上是正确和合理的。实验结果表明,我们提出的方法可以在XQuAD数据集上实现很大的增益,减少各种语言上较小QA模型的zero-shot和监督性能之间的差距。
2021-05-28 cs.AI cs.CL cs.LG
Heterogeneity in Formal Linguistic Competence of Language Models: Is Data the Real Bottleneck?
Adobe Inc.(Adobe公司);Media and Data Science Research(媒体与数据科学研究)
本研究探讨语言模型在形式语言能力上的差异是否源于架构限制或数据稀缺,通过干预性数据增强显著提升了模型在8个最差BLiMP任务上的表现。
2026-04-20 cs.AI cs.CL cs.LG
Code-Switched Language Models Using Neural Based Synthetic Data from Parallel Sentences
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);The Hong Kong University of Science and Technology(香港科技大学)
由于缺乏数据和语法结构的复杂性,训练码转换语言模型是困难的。几十年来,语言约束理论一直被用来生成人工语码转换句子来解决这个问题。然而,这需要外部单词对齐或选区解析器,这会在遥远的语言上产生错误的结果。我们提出了一个序列到序列的模型,使用复制机制来生成代码转换数据,利用并行单语翻译从有限的代码转换数据源。该模型学习如何从平行句子中组合单词,并确定何时将一种语言切换到另一种语言。此外,它通过关注和对齐输入中的单词来捕获语码转换约束,而不需要任何外部知识。基于实验结果,用生成的句子训练的语言模型达到了最先进的性能,并提高了端到端的自动语音识别。
2019-09-18 cs.CL
Error-Supervised Synthetic Learner Writing for Automated Essay Scoring
University of Greenwich(格林威治大学);FPT University(FPT大学)
本研究提出一种错误监督的合成作文生成方法,通过微调LLM生成器于错误标注文本,在较大数据下优于常规合成基线,并产生类似学习者的错误分布。
2026-09-22 cs.CL
A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books
University of Zurich(苏黎世大学)
研究针对濒危语言机器翻译缺平行数据问题,利用大语言模型从语法书提取内容生成合成语料库微调,经三种低资源语言验证,通过析因研究确定增益因素组合,证明可将静态语言文档用于机器翻译微调,为资源匮乏语言提供翻译工具路径。
2026-09-11 cs.CL
Assistive Completion of Agrammatic Aphasic Sentences: A Transfer Learning Approach using Neurolinguistics-based Synthetic Dataset
Indian Institute of Technology Delhi(印度理工学院德里分校)
额下回(布罗卡区)的损伤可导致语法性失语症,其中患者虽然能够理解,但缺乏形成完整句子的能力。这种能力导致沟通障碍,给他们的日常生活带来困难。辅助设备的使用可以帮助缓解这些问题,并使患者能够有效地沟通。然而,由于缺乏大规模的研究失语症的语言缺陷,研究这种辅助技术是相对有限的。在这项工作中,我们提出了两个贡献,旨在重新启动在这一领域的研究和开发。首先,我们提出了一个模型,该模型使用小规模的失语症患者的研究,并从语法正确的数据集生成大规模的合成失语症话语数据集的语言特征。我们表明,平均长度的话语,名词/动词的比例,和简单/复杂的句子比例,我们的合成数据集对应的失语症语音的报告功能。此外,我们展示了如何合成数据集可用于开发辅助设备失语症患者。预先训练的T5 Transformer使用生成的数据集进行微调,以在给定失语症话语作为输入的情况下建议5个校正的句子。我们使用BLEU和余弦语义相似性得分来评估T5模型的有效性。BLEU评分为0.827/1.00,语义相似度为0.904/1.00。这些结果为基于小规模失语症研究的合成数据集可用于开发有效的辅助技术的概念提供了坚实的基础。
2022-11-10 cs.CL q-bio.QM
Data Synthesis and Parameter-Efficient Fine-Tuning for Low-Resource NMT: A Case Study on Q'eqchi' Mayan
University of Houston(休斯顿大学);MasterWord Services, Inc.(MasterWord Services公司);University of Washington(华盛顿大学)
针对低资源土著语言,提出数据合成方法(利用社区词典生成合成语料)结合LoRA参数高效微调,在Q'eqchi'玛雅语上实现高结构习得(BLEU 42.02),但存在结构-语义差距,需结合真实数据进行课程学习。
2026-06-08 cs.AI cs.CL cs.LG
Improving Audio Caption Fluency with Automatic Error Correction
Shanghai Jiao Tong University(上海交通大学)
针对自动音频字幕生成中的虚假重复错误,提出AAC错误纠正任务,利用基于观察的规则生成伪错误句训练神经网络模型,后处理纠正输出,在两个基准上显著提升流畅度且保持语义。
2023-06-16 cs.AI cs.CL cs.SD
Error Correction in ASR using Sequence-to-Sequence Models
IIT Bombay(印度理工学院孟买分校)
自动语音识别(ASR)中的后编辑需要自动校正由ASR系统产生的常见和系统性错误。ASR系统的输出很大程度上容易出现语音和拼写错误。在本文中,我们建议使用一个强大的预训练序列到序列模型,BART,进一步自适应训练,作为一个去噪模型,以纠正这种类型的错误。自适应训练是在通过综合引入误差以及结合现有ASR系统的实际误差获得的增强数据集上执行的。我们还提出了一个简单的方法来rescore使用字级对齐的输出。重音语音数据的实验结果表明,我们的策略有效地纠正了大量的ASR错误,并产生改进的WER结果相比,对竞争力的基线。我们还强调了一个负面的结果,在印地语相关的语法错误纠正任务,显示在捕捉更广泛的背景下,我们提出的模型的局限性。
2022-08-23 cs.CL cs.LG