Translationese as a Rational Response to Translation Task Difficulty
本文研究翻译ese与翻译任务难度的关系，通过量化任务难度指标预测翻译ese，发现跨语言转移难度对翻译ese的影响更大，信息理论指标在书面语中表现优异。
2026-09-14 cs.CL
Lost in Literalism: How Supervised Training Shapes Translationese in LLMs
Shanghai AI Laboratory（上海人工智能实验室）；Westlake University（西湖大学）；Zhejiang University（浙江大学）；Northeastern University（东北大学）
本文研究了监督微调导致大语言模型产生翻译腔的问题，通过润色参考译文和过滤不自然训练实例的方法有效缓解了该偏差，提升了翻译自然度。
2025-03-06 cs.CL
Translating away Translationese without Parallel Data
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；AppTek GmbH（AppTek公司）
本文提出一种基于风格迁移的自监督与无监督相结合的方法，在不依赖平行数据的情况下减少翻译文本中的翻译腔，实验证明该方法能将翻译腔分类准确率降至随机水平，同时保持内容与流畅性。
2023-10-28 cs.CL
Lost in Translationese? Reducing Translation Effect Using Abstract Meaning Representation
Georgetown University（乔治城大学）
本研究提出翻译腔消减新任务，采用基于抽象语义表示（AMR）的中间语方法，通过解析-生成流程降低翻译腔，在三项指标上优于其他三种对比技术，验证了AMR的效用。
2024-01-29 cs.CL
MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model
University of Copenhagen（哥本哈根大学）；PricewaterhouseCoopers (PwC)（普华永道）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
领域自适应预训练，即在领域特定文本上对语言模型进行持续的无监督预训练，改进了域内下游任务的文本建模。许多现实世界的应用程序都是基于特定领域的文本，例如处理金融或生物医学文档，这些应用程序通常需要支持多种语言。然而，由于法规、立法或仅仅是缺乏特定于语言和领域的文本，很难获得针对此类场景的大规模特定于领域的多语言预训练数据。一种解决方案是训练单个多语言模型，利用尽可能多语言的可用数据。在这项工作中，我们探索了领域自适应预训练的好处，重点是适应特定领域内的多种语言。我们提出了不同的技术来组成预训练语料库，使语言模型成为特定领域和多语言。针对生物医学命名实体识别和金融句子分类的九个特定领域的分类器的评估涵盖了七种不同的语言，表明一个单一的多语言特定领域的模型可以优于一般的多语言模型，并执行接近其单语言对应。这一发现适用于两种不同的预训练方法，基于适配器的预训练和全模型预训练。
2021-09-14 cs.CL
Towards Debiasing Translation Artifacts
Saarland University（萨尔兰大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
跨语言自然语言处理依赖于翻译，无论是由人类还是机器，在不同的级别，从翻译训练数据到翻译测试集。然而，与同一语言的原文相比，译文具有独特的性质，被称为翻译性。先前的研究表明，这些翻译工件影响各种跨语言任务的性能。在这项工作中，我们提出了一种新的方法，以减少通过扩展一个既定的偏见消除技术。我们使用的迭代零空间投影（INLP）算法，并通过测量分类精度之前和之后的去偏置显示，在句子和词的水平上减少了重复。我们评估实用的去偏置的解释上的自然语言推理（NLI）的任务，并表明，通过减少这种偏见，NLI的准确性提高。据我们所知，这是第一个研究，以消除偏见，在潜在的嵌入空间中表示。
2022-05-16 cs.CL
Understanding Translationese in Cross-Lingual Summarization
Fudan University（复旦大学）；Tencent Inc（腾讯公司）；Beijing Jiaotong University（北京交通大学）
本文研究跨语言摘要中翻译腔现象，确认不同数据集构建方法导致不同程度翻译腔，并系统分析其对模型评估和性能的影响，提出未来研究建议。
2023-10-10 cs.AI cs.CL
Mitigating Translationese Bias in Multilingual LLM-as-a-Judge via Disentangled Information Bottleneck
本文提出DIBJudge框架，通过解耦信息瓶颈缓解多语言LLM的翻译偏差问题，有效提升多语言评估的公平性和准确性。
2026-03-11 cs.AI cs.CL
On The Evaluation of Machine Translation Systems Trained With Back-Translation
Facebook AI Research（Facebook 人工智能研究院）
反向翻译是一种广泛使用的数据增强技术，它利用目标单语数据。然而，它的有效性受到了挑战，因为BLEU等自动度量仅在源代码本身是翻译或翻译的测试示例中显示出显着的改进。这被认为是由于翻译输入更好地匹配反翻译的训练数据。在这项工作中，我们表明，这一猜想是没有经验支持，回译提高了翻译质量的自然发生的文本，以及根据专业的人类翻译。我们提供了经验证据来支持这样的观点，即回译是首选的人类，因为它产生更流畅的输出。BLEU无法捕捉人类的偏好，因为当源句子是自然文本时，引用是抽象的。我们建议使用语言模型分数来补充BLEU，以衡量流利程度。
2020-08-18 cs.CL
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
在来自各种来源的文本上预训练的语言模型构成了当今NLP的基础。鉴于这些广泛覆盖模型的成功，我们研究了将预训练模型定制到目标任务的域是否仍然有帮助。我们提出了一项跨四个领域（生物医学和计算机科学出版物，新闻和评论）和八个分类任务的研究，表明第二阶段的预训练域（域自适应预训练）导致性能增益，在高和低资源设置。此外，即使在域自适应预训练之后，适应任务的未标记数据（任务自适应预训练）也可以提高性能。最后，我们表明，适应使用简单的数据选择策略增强的任务语料库是一种有效的选择，特别是当域自适应预训练资源可能不可用时。总的来说，我们一直发现多阶段自适应预训练在任务性能上有很大的提高。
2020-05-05 cs.CL cs.LG
A Compact Pretraining Approach for Neural Language Models
University of Arizona（亚利桑那大学）；Harvard Medical School（哈佛医学院）
大型神经语言模型（NLM）的领域自适应在预训练阶段与大量非结构化数据相结合。然而，在这项研究中，我们表明，预训练的NLM从集中在域中的关键信息的数据的紧凑子集中更有效，更快地学习域中的信息。我们使用抽象摘要和提取关键字的组合从非结构化数据构建这些紧凑的子集。特别是，我们依靠BART来生成抽象摘要，KeyBERT从这些摘要中提取关键字（或直接从原始的非结构化文本中提取）。我们使用六种不同的设置来评估我们的方法：三个数据集与两个不同的NLM相结合。我们的研究结果表明，在使用我们的方法预训练的NLM上训练的特定任务分类器优于基于传统预训练的方法，即，对整个数据进行随机掩蔽，以及没有预训练的方法。此外，我们表明，与普通预训练相比，我们的策略将预训练时间减少了五倍。我们所有实验的代码都可以在https://github.com/shahriargolchin/compact-pretraining上公开获得。
2022-08-29 cs.CL cs.LG
Domain, Translationese and Noise in Synthetic Data for Neural Machine Translation
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
神经机器翻译的质量可以通过利用额外的单语资源来创建合成训练数据来提高。源端单语数据可以（正）翻译成目标语言进行自我训练;目标端单语数据可以反向翻译。据广泛报道，反向翻译提供了更好的结果，但这可能是由于测试集中的伪影？我们进行了一个案例研究，使用法语-英语新闻翻译任务和单独的测试集的基础上，他们的原始语言。我们发现，前向翻译提供了优越的收益，在BLEU的句子，原来在源语言，补充以前的研究表明，与回译的句子，原来在目标语言有很大的改善。为了更好地理解前向和反向翻译何时以及为何有效，我们研究了域、语义和噪声的作用。虽然众所周知，人工智能效应会影响机器翻译评估，但我们也发现证据表明，来自不同语言的新闻数据显示出细微的领域差异，这是测试集不同部分表现不同的另一种解释。我们进行了额外的低资源实验，这表明正向翻译比反向翻译对初始翻译系统的质量更敏感，并且在低资源设置中表现更差。
2020-10-03 cs.CL cs.LG stat.ML
Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation
Tilburg University（蒂尔堡大学）；University of Maryland, College Park（马里兰大学帕克分校）
最近在机器翻译（MT）和自然语言处理（NLP）领域的研究表明，现有模型放大了在训练数据中观察到的偏差。语言技术中偏见的放大主要是针对具体现象进行研究的，如性别偏见。在这项工作中，我们超越了性别的研究MT和调查如何偏见放大可能会影响语言在更广泛的意义上。我们假设，“算法偏见”，即频繁观察到的模式的恶化与较不频繁的模式的丢失相结合，不仅加剧了当前数据集中存在的社会偏见，而且还可能导致人为贫困的语言：“机器语言”。我们评估的语言丰富性（在词汇和形态水平）的翻译创建不同的数据驱动的MT范式-基于短语的统计（PB-SMT）和神经MT（NMT）。我们的实验表明，有一个损失的词汇和形态的丰富性，在两个语言对（EN<=>FR和EN<=>ES）的所有研究MT范式产生的翻译。
2021-01-30 cs.AI cs.CL cs.CY
Original or Translated? A Causal Analysis of the Impact of Translationese on Machine Translation Performance
University College London（伦敦大学学院）；MPI（马克斯·普朗克研究所）；ETH Zürich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
人工翻译文本具有与自然语言文本不同的特征。这种现象，被称为翻译，已被认为是混淆的机器翻译（MT）的评价。然而，我们发现，现有的研究工作，忽视了一些重要的因素，结论大多是相关的，但不是因果关系。在这项工作中，我们收集了CauseMT，一个数据集，其中MT训练数据也标记有人类翻译方向。我们检查两个关键因素，训练-测试方向匹配（训练和测试集中的人类翻译方向是否对齐）和数据-模型方向匹配（模型是否在与数据集中的人类翻译方向相同的方向上学习）。我们发现，这两个因素有很大的因果关系的MT性能的影响，除了测试模型的方向不匹配突出现有的工作的影响，mathionese。根据我们的研究结果，我们提供了一套建议MT培训和评估。我们的代码和数据在https://github.com/EdisonNi-hku/CausalMT
2022-06-08 cs.AI cs.CL cs.LG
Match the Script, Adapt if Multilingual: Analyzing the Effect of Multilingual Pretraining on Cross-lingual Transferability
AWS AI Labs（AWS人工智能实验室）；University of Maryland（马里兰大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
预训练的多语言模型即使对于看不见的语言也可以实现零样本学习，并且可以通过在微调之前进行自适应来进一步提高性能。然而，目前还不清楚预训练语言的数量如何影响模型对预训练期间未看到的语言的零样本学习。为了填补这一空白，我们提出了以下研究问题：（1）预训练语言的数量如何影响对看不见的目标语言的zero-shot性能？(2)这个问题的答案会随着模型的适应而改变吗？(3)如果用于预训练的语言都是相关的，我们第一个问题的结果会改变吗？我们对相关语言进行预训练的实验表明，选择一组不同的语言至关重要。令人惊讶的是，在没有模型自适应的情况下，增加预训练语言的数量会产生更好的结果，直到添加相关语言，然后性能稳定下来。相比之下，通过持续的预训练进行模型自适应，在大量语言上进行预训练通常会得到进一步的改进，这表明模型自适应对于利用其他预训练语言至关重要。
2022-03-21 cs.CL
Cross-Lingual Language Model Meta-Pretraining
Beijing Institute of Technology（北京理工大学）
预训练的跨语言语言模型的成功依赖于两个基本能力，即，用于学习源语言中的下游任务的泛化能力，以及用于将任务知识转移到其他语言的跨语言可转移性。然而，目前的方法在单阶段跨语言预训练过程中联合学习这两种能力，导致泛化和跨语言迁移之间的权衡。在本文中，我们提出了跨语言的语言模型元预训练，学习这两种能力在不同的训练阶段。我们的方法在跨语言预训练之前引入了一个额外的元预训练阶段，其中模型在大规模单语语料库上学习泛化能力。然后，该模型着重于学习多语种语料库上的跨语言迁移。实验结果表明，我们的方法提高了泛化和跨语言迁移，并产生更好的对齐表示跨不同的语言。
2021-09-23 cs.CL
Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models
NVIDIA（英伟达）
针对语言模型预训练成本过高的问题，本研究提出一套涵盖数据分布与学习率调度的持续预训练准则，在15B参数模型上实现了9%的平均准确率提升，为模型复用开发提供了实用方案。
2024-07-09 cs.CL
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而，由于这些分析都集中在完全训练的多语言模型上，因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明，该模型在早期实现了较高的语言性能，在更复杂的语言技能之前获得了较低水平的语言技能。相比之下，当模型学习跨语言迁移时，预训练的点在不同的语言对之间是不同的。有趣的是，我们还观察到，在许多语言和任务中，最终模型层随着时间的推移表现出显着的性能下降，而语言知识传播到网络的较低层。总的来说，这些见解突出了多语言预训练的复杂性，以及随着时间的推移，不同语言的不同行为。
2022-10-22 cs.CL
The Distributional Hypothesis Does Not Fully Explain the Benefits of Masked Language Model Pretraining
University of Southern California（南加州大学）
本文从分布假说角度分析掩码语言模型预训练，发现分布属性能解释其样本效率优势，但无法完全解释其泛化能力，揭示了当前对预训练理解的局限性。
2023-10-25 cs.CL
Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models
The University of Tokyo（东京大学）
我们研究了在神经网络编码器中学习到的什么样的结构知识可以转移到处理自然语言中。我们设计具有模仿自然语言的结构属性的人工语言，对数据进行预训练编码器，并查看编码器在自然语言的下游任务中表现出多大的性能。我们的实验结果表明，使用具有嵌套依赖结构的人工语言进行预训练提供了一些可转移到自然语言的知识。后续的探测分析表明，它的成功转移与编码的语境信息量有关，转移的是语言的位置感知语境依赖知识。我们的研究结果为神经网络编码器如何处理人类语言以及最近多语言语言模型的跨语言可转移性的来源提供了见解。
2022-03-22 cs.CL
Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；The University of Sheffield（谢菲尔德大学）
针对预训练语言模型数感不足的问题，提出无需改架构或从头预训练的基于算术的预训练方法，结合对比学习和新型可推断数字预测任务目标，在多类数感相关任务上验证了有效性。
2023-06-09 cs.CL
DOCmT5: Document-Level Pretraining of Multilingual Language Models
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
在本文中，我们介绍DOCmT 5，一个多语言的序列到序列的语言模型预训练与大规模并行文档。虽然以前的方法专注于利用并行级并行数据，但我们尝试构建一个通用的预训练模型，可以理解和生成长文档。我们提出了一个简单而有效的预训练目标-文档重排机器翻译（DrMT），其中需要翻译的输入文档是混洗和掩蔽的。DrMT在各种文档级生成任务的强大基线上带来了一致的改进，包括超过12个BLEU点的seen语言对文档级MT，超过7个BLEU点的unseen语言对文档级MT和超过3个ROUGE-1点的seen语言对跨语言摘要。我们在WMT 20 De-En和IWSLT 15 Zh-En文档翻译任务上实现了最先进的（SOTA）。我们还对文档预训练的各种因素进行了广泛的分析，包括（1）预训练数据质量的影响和（2）结合单语言和跨语言预训练的影响。我们计划公开我们的模型检查点。
2022-05-05 cs.CL
FuLG: 150B Romanian Corpus for Language Model Pretraining
University Politehnica of Bucharest（布加勒斯特理工大学）；Broadcom Inc.（博通公司）
本文介绍FuLG，一个从CommonCrawl提取的1500亿词元罗马尼亚语预训练语料库，并展示其过滤方法及与现有语料库的消融比较。
2024-07-18 cs.CL
On the Language Coverage Bias for Neural Machine Translation
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Tencent AI Lab（腾讯AI实验室）
语言覆盖偏差（language coverage bias）是指源语言和目标语言的句子对之间依赖于内容的差异，对于神经机器翻译（NMT）来说是很重要的，因为目标语言-源语言训练数据在当前的实践中没有得到很好的利用。通过精心设计的实验，我们对训练数据中的语言覆盖偏差进行了全面的分析，发现仅使用源原始数据与使用完整的训练数据可以获得相当的性能。基于这些观察结果，我们进一步提出了两种简单有效的方法，通过明确区分源和目标原始训练数据来缓解语言覆盖偏差问题，这在六个WMT 20翻译任务上始终提高了强基线的性能。语言覆盖偏差是对回译效应的补充，它为回译导致的成绩下降提供了另一种解释。我们还将我们的方法应用于向后和向前翻译，并发现减轻语言覆盖偏差可以提高两种代表性数据增强方法及其标记变体的性能。
2021-06-07 cs.CL
BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model
Tsinghua University（清华大学）；International Digital Economy Academy（国际数字经济研究院）
预训练语言模型是自然语言处理的重要基础。最近，域内预训练已被证明有利于各种特定领域的下游任务。在生物医学领域，自然语言生成（NLG）任务是至关重要的，但研究不足。自然语言理解通过约束语言生成或语言提示在一般领域中实现令人满意的性能。我们强调，缺乏领域内的生成语言模型和非系统的生成下游基准在生物医学领域，阻碍了研究社区的发展。在这项工作中，我们介绍了生成语言模型BioBART适应BART的生物医学领域。我们整理了各种生物医学语言生成任务，包括对话，摘要，实体链接，和命名实体识别。与BART相比，在PubMed摘要上预训练的BioBART提高了性能，并在几项任务上设置了强大的基线。此外，我们对BioBART的预训练任务进行了消融研究，发现句子排列对下游任务有负面影响。
2022-04-22 cs.CL
Pretraining Strategies using Monolingual and Parallel Data for Low-Resource Machine Translation
AIMS Senegal（塞内加尔AIMS）
该研究针对低资源语言林加拉语，基于Reid和Artetxe的预训练方法，探索多语言融合、单语与平行数据并用的预训练策略，证实其能显著提升翻译质量，为缩小高低资源语言翻译性能差距、构建普惠NLP模型提供参考，代码与数据集（部分除外）已公开。
2025-10-29 cs.CL
Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference
Queen’s University（女王大学）；iFLYTEK Research（科大讯飞研究院）；University of Science and Technology of China（中国科学技术大学）
自然语言推理是自然语言理解中最具挑战性的任务之一。最近关于利用无监督信号（如语言模型和句子预测目标）的无监督预训练的工作已被证明在广泛的NLP问题上非常有效。仍然希望进一步理解它如何帮助NLI;例如，如果它学习数据注释中的伪影，或者相反地学习真正的推理知识。另外，可以以两种典型的方式将不存在于有限数量的NLI训练数据中的外部知识添加到NLI模型中，例如，从人类创造的资源或无监督的预训练范式。我们在这里进行了几个实验，以研究它们是否以同样的方式帮助NLI，如果不是，如何帮助？
2019-04-27 cs.CL
Rephrasing Electronic Health Records for Pretraining Clinical Language Models
Australian e-Health Research Centre, CSIRO（澳大利亚电子健康研究中心，联邦科学与工业研究组织）
针对临床语言模型预训练因患者隐私难以获取大规模EHR文本的问题，本研究借鉴网络数据重述方法，用四种小型LLMs重述临床笔记生成合成语料，在语言建模和下游任务中表现优于现有合成方法，且小token预算下增强原始笔记可提升性能。
2024-11-28 cs.CL
AfroMT: Pretraining Strategies and Reproducible Benchmarks for Translation of 8 African Languages
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）
可复制的基准是推动机器翻译研究进展的关键。然而，现有的机器翻译基准测试大多局限于高资源或良好表示的语言。尽管对低资源机器翻译的兴趣越来越大，但许多非洲语言没有标准化的可复制基准，其中许多语言被数百万人使用，但数字化文本数据较少。为了应对这些挑战，我们提出了AfroMT，一个标准化的，干净的，可复制的机器翻译基准，为八种广泛使用的非洲语言。我们还开发了一套分析工具，系统诊断考虑到这些语言的独特属性。此外，我们探讨了新考虑的低资源集中预训练的情况下，开发了两种新的基于数据增强的策略，利用单词级对齐信息和伪单语数据预训练多语言序列到序列模型。我们在11种语言上进行预训练时表现出了显着的改进，在强基线上获得了高达2个BLEU点的增益。在数据受限的情况下，我们还显示了在跨语言迁移基线上最多12个BLEU点的增益。所有代码和预训练模型将被发布，作为进一步的步骤，为非洲语言提供更大的可复制基准。
2021-09-10 cs.CL
Language Models on a Diet: Cost-Efficient Development of Encoders for Closely-Related Languages via Additional Pretraining
Jožef Stefan Institute（约热夫·斯泰凡研究所）；University of Ljubljana（卢布尔雅那大学）；Masaryk University（马萨里克大学）；University of Groningen（格罗宁根大学）
针对克罗地亚语等近缘语言，研究通过多语言模型额外预训练构建编码器，并在多样化基准上证明其能以有限计算达到接近从头训练模型的性能。
2024-04-08 cs.CL
Cross-lingual Language Model Pretraining
Facebook AI Research（Facebook人工智能研究）；Sorbonne Universités（巴黎索邦大学）；Université Le Mans（勒芒大学）
最近的研究表明生成式预训练对英语自然语言理解的有效性。在这项工作中，我们将这种方法扩展到多种语言，并展示了跨语言预训练的有效性。我们提出了两种方法来学习跨语言语言模型（XLM）：一种是无监督的，只依赖于单语数据，另一种是有监督的，利用并行数据与一个新的跨语言语言模型目标。我们在跨语言分类、无监督和有监督的机器翻译方面取得了最先进的结果。在XNLI上，我们的方法通过4.9%的准确度的绝对增益推动了最先进的技术。在无监督机器翻译方面，我们在WMT'16德语-英语上获得了34.3 BLEU，将之前的最新技术水平提高了9 BLEU以上。在有监督的机器翻译上，我们在WMT'16罗马尼亚语-英语上获得了38.5 BLEU的最新技术水平，超过了之前的最佳方法4 BLEU。我们的代码和预训练模型将公开提供。
2019-01-22 cs.CL
InforMask: Unsupervised Informative Masking for Language Model Pretraining
University of California, San Diego（加州大学圣地亚哥分校）
针对大语言模型预训练中随机掩码策略的不足，该研究提出基于点互信息的无监督掩码方法InforMask，经效率优化后，仅需一次性预处理，在多个基准任务上表现优于现有掩码策略。
2022-10-21 cs.CL
UzBERT: pretraining a BERT model for Uzbek
Copper City Labs（铜城实验室）
基于Transformer架构的预训练语言模型在各种自然语言处理任务中取得了最先进的结果，例如词性标注、命名实体识别和问答。然而，没有公开的乌兹别克语单语模式。在本文中，我们介绍了Uz BERT，一个基于BERT架构的预训练乌兹别克语言模型。我们的模型大大优于多语言BERT掩蔽语言模型的准确性。我们在MIT开源许可证下公开提供该模型。
2021-08-22 cs.CL
Progressive Residual Warmup for Language Model Pretraining
The Hong Kong University of Science（香港科学与技术大学）；NVIDIA, Santa Clara, US（NVIDIA公司）；The University of Hong Kong, Hong Kong, China（香港大学）；University of Surrey, Guildford, UK（萨里大学）
ProRes通过逐步残差预热方法提升语言模型预训练的稳定性与收敛速度，实现更快的收敛和更好的性能
2026-03-05 cs.CL
How Do Large Language Models Acquire Factual Knowledge During Pretraining?
KAIST（韩国科学技术院）；UCL（伦敦大学学院）
本研究探讨了LLMs在预训练期间获取事实知识的机制，发现更多数据未显著提升知识获取能力，遗忘与训练步数呈幂律关系，增大批次规模可增强抗遗忘鲁棒性，且知识获取伴随逐步稀释的遗忘过程。
2024-11-12 cs.CL
Byte Pair Encoding is Suboptimal for Language Model Pretraining
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Computer Science（计算机科学系）
预训练的Transformer语言模型（LM）在自然语言处理中的成功导致了广泛的预训练设置。特别地，这些模型采用各种子字标记化方法，最显著的是字节对编码（BPE）（Sennrich等人，2016; Gage，1994），WordPiece方法（Schuster和Nakajima，2012）和unigram语言建模（Kudo，2018），以分割文本。然而，据我们所知，文献中并没有直接评估标记化对语言模型预训练的影响。我们分析了BPE和单字LM标记化之间的差异，发现后一种方法恢复了与形态学更紧密对齐的子字单元，并避免了BPE贪婪构造过程中产生的问题。然后，我们比较了使用这些标记化预训练的相同Transformer掩码语言模型的微调任务性能。在下游任务和两种语言（英语和日语）中，我们发现unigram LM标记化方法匹配或优于BPE。我们希望未来预训练LM的开发人员将考虑采用单字LM方法，而不是更流行的BPE。
2020-10-05 cs.CL
BanglaBERT: Language Model Pretraining and Benchmarks for Low-Resource Language Understanding Evaluation in Bangla
Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；University of Rochester（罗切斯特大学）
在这项工作中，我们介绍了BanglaBERT，一个基于BERT的自然语言理解（NLU）模型，在孟加拉语中进行了预训练，孟加拉语是NLP文献中广泛使用但资源较少的语言。为了预训练BanglaBERT，我们通过抓取110个流行的孟加拉网站收集了27.5 GB的孟加拉预训练数据（称为“Bangla2B+”）。我们介绍了自然语言推理和问答的两个下游任务数据集，并对四个不同的NLU任务进行了基准测试，包括文本分类，序列标记和跨度预测。在这个过程中，我们将他们纳入有史以来第一个孟加拉语语言理解基准（BLUB）。BanglaBERT实现了最先进的结果，优于多语言和单语言模型。我们正在https://github.com/csebuetnlp/banglabert上公开发布模型，数据集和排行榜，以推进Bangla NLP。
2022-05-10 cs.CL
Vision-and-Language Pretraining
本文针对视觉-语言领域的预训练研究展开综述，梳理了预训练方法分类、前沿模型、相关数据集与下游任务，并指出未来研究方向，为该领域发展提供全面参考。
2024-12-11 cs.CL
On the importance of Data Scale in Pretraining Arabic Language Models
Université de Montréal（蒙特利尔大学）
本文通过在大规模高质量阿拉伯语语料库上重训BERT-base和T5-base模型，证明数据规模是提升阿拉伯语PLMs性能的首要因素，并在ALUE和ORCA排行榜上取得最先进结果。
2024-01-15 cs.CL
A Little Pretraining Goes a Long Way: A Case Study on Dependency Parsing Task for Low-resource Morphologically Rich Languages
IIT Kanpur（印度理工学院坎普尔分校）；University of Cambridge（剑桥大学）；University of Utah（犹他大学）；Tata Consultancy Services（塔塔咨询服务公司）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
神经依存句法分析在许多领域和语言中都取得了令人瞩目的性能。大量标记数据的瓶颈限制了这些方法对低资源语言的有效性。在这项工作中，我们专注于依存句法分析的形态丰富的语言（MRL）在低资源设置。虽然形态信息是必不可少的依存句法分析任务，形态消歧和缺乏强大的分析器提出了挑战，以获得这些信息的MRL。为了应对这些挑战，我们提出了简单的辅助任务进行预训练。我们在低资源环境中对10个MRL进行实验，以测量我们提出的预训练方法的有效性，并观察到2点（UAS）和3.6点（LAS）的平均绝对增益。代码和数据可在https://github.com/jivnesh/LCM上获得
2021-04-12 cs.CL
A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives
University of Helsinki（赫尔辛基大学）；Université Bretagne Sud（南布列塔尼大学）
该研究在受控环境下对比语言建模与翻译两种多语言预训练目标，发现架构决定最优预训练目标，且合适条件下多语言翻译是高效预训练目标，并公开了相关资源。
2024-10-07 cs.CL
One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers
针对多语言大模型预训练的资源约束与新语言适配难题，提出用覆盖更多语言的通用分词器提升语言可塑性，实验证明其能显著提升新语言适配胜率且对原有语言性能影响极小。
2025-06-12 cs.CL
Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言学及翻译学系）
本文提出CLiKA框架，从性能、一致性和传导性三个层面评估大语言模型的跨语言知识对齐，发现多语言预训练和指令微调虽有帮助但效果浅层，尤其无法显著提升知识传导性。
2024-04-06 cs.CL
Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models
Microsoft Research India（微软印度研究院）
针对仅解码器大语言模型非英语语言效果有限的问题，提出基于主动遗忘的预训练策略，实现类似仅编码器模型的跨语言迁移，提升多语言表示与下游任务性能。
2025-05-21 cs.CL
QURIOUS: Question Generation Pretraining for Text Generation
Google Research（谷歌研究院）；Google（谷歌）
使用预训练的自然语言处理的最新趋势已经将焦点转移到文本生成的预训练和微调方法上。通常关注的焦点是与任务无关的方法，这些方法概括了语言建模目标。我们提出问题生成作为预训练方法，这更好地符合文本生成的目标。我们用这种方法预训练的文本生成模型更好地理解了输入的本质，并且是目标任务的更好的语言模型。当评估两个文本生成任务，抽象摘要和答案为重点的问题生成，我们的模型在自动度量方面的最先进的性能。人类评估者也发现我们的摘要和生成的问题更自然，简洁和信息量。
2020-04-23 cs.CL
Multilingual Language Model Pretraining using Machine-translated Data
Centre for Artificial Intelligence, University College London（伦敦大学学院人工智能中心）；Together AI；Mila, McGill University（米拉-麦吉尔大学）；Research and Development Center for Large Language Models, National Institute of Informatics（国立信息学研究所大语言模型研发中心）
本文提出将高质量英文数据集FineWeb-Edu机器翻译为九语构建TransWebEdu，并预训练TransWebLLM，以更少数据在多项非英语推理任务上达到或超越现有强模型。
2025-02-18 cs.CL
LangSAMP: Language-Script Aware Multilingual Pretraining
Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑莱茵河大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Bosch Center for Artificial Intelligence（博世人工智能中心）
提出LangSAMP方法，通过融合语言和文字嵌入增强多语言预训练，在500+语言上持续预训练XLM-R，提升零样本跨语言迁移性能，并可用于源语言选择。
2025-05-21 cs.CL
Instability of LLM Pre-Pretraining: It Doesn't Always Help. An Investigation on Multiple Languages
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
该研究调查了 LLM 预预训练在多语言场景下的 token 效率增益，发现其受实验设置和随机种子影响，仅在特定条件下稳定，建议部分实验需多次运行以规避不稳定方法。
2026-08-11 cs.CL
Farewell to Aimless Large-scale Pretraining: Influential Subset Selection for Language Model
Fudan University（复旦大学）；DataGrand Information Technology (Shanghai) Co., Ltd.（上海达观数据信息技术有限公司）
针对大规模预训练计算成本高的问题，提出影响力子集选择（ISS）方法，利用终端任务知识选取最具正面影响的预训练数据子集，并结合基于梯度匹配的影响力估计降低计算开销，仅用0.45%数据在八个数据集上超越RoBERTa。
2023-05-22 cs.CL
Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining
Amazon（亚马逊）
最近关于口语语言理解（SLU）的许多工作至少在以下三种方式中的一种上受到限制：模型在Oracle文本输入上进行训练并忽略ASR错误，模型被训练为仅预测意图而没有槽值，或者模型在大量内部数据上进行训练。在本文中，我们提出了一个干净的和一般的框架来学习语义直接从语音半监督从转录或未转录的语音来解决这些问题。我们的框架建立在预训练的端到端（E2E）ASR和自监督语言模型（如BERT）基础上，并在有限的目标SLU数据上进行了微调。我们研究了ASR组件的两个半监督设置：对转录语音进行监督预训练，以及通过用自监督语音表示（如wav2vec）替换ASR编码器进行无监督预训练。同时，我们确定了两个基本标准评估SLU模型：环境噪声鲁棒性和E2E语义评估。ATIS上的实验表明，我们的SLU框架与语音作为输入可以执行等同于使用甲骨文文本作为输入的语义理解，即使环境噪声是存在的，有限数量的标记语义数据可用于训练。
2020-10-26 cs.CL
Sequence to sequence pretraining for a less-resourced Slovenian language
University of Ljubljana（卢布尔雅那大学）
大型预训练语言模型最近征服了自然语言处理领域。作为BERT中引入的主要掩蔽语言建模的替代方案，T5模型引入了更一般的训练目标，即序列到序列转换，其包括掩蔽语言模型，但更自然地适合文本生成任务，例如机器翻译、摘要、问答、文本简化、对话系统、T5模型的单语变体仅限于资源丰富的语言，而大规模多语言T5模型支持101种语言。相比之下，我们训练了两个不同大小的T5类型序列到序列模型，用于形态丰富的斯洛文尼亚语，资源少得多，并分析了它们在11个任务上的行为。关于分类任务，SloT5模型大多落后于单语斯洛文尼亚语SloBERTA模型，但对于生成任务很有用。
2023-01-02 cs.CL
One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
Ohio State University（俄亥俄州立大学）；University of Washington（华盛顿大学）
本文通过系统对比三种输入表示，发现罗马化预训练可实现最强跨语言迁移，且优势随模型规模增大而扩大，提出多语言模型应将罗马化作为预训练核心设计选择的结论。
2026-09-09 cs.CL
Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
针对大语言模型在知识不足时产生幻觉的问题，提出利用公开预训练数据构建更鲁棒的诚实性评估基准，并设计检索预训练数据的方法提升模型诚实性。
2026-06-09 cs.CL
Efficient Pretraining Data Selection for Language Models via Multi-Actor Collaboration
Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laborator（上海人工智能实验室）；Peking University（北京大学）；Zhongguancun Academy（中关村学院）；Imperial College London（伦敦帝国理工学院）
本文提出多参与者协作数据选择机制，通过独立参与者动态排序数据并由控制台分阶段整合，显著提升语言模型预训练数据效率与收敛性能。
2025-06-08 cs.CL
