On the Cross-lingual Transferability of Monolingual Representations
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学 HiTZ 中心）；DeepMind
最先进的无监督多语言模型（例如，多语言BERT）已被证明在zero-shot跨语言设置中泛化。这种泛化能力归因于使用共享的子词词汇表和跨多种语言的联合训练，从而产生深层的多语言抽象。我们通过设计一种替代方法来评估这一假设，该方法将单语模型转移到词汇水平的新语言。更具体地说，我们首先在一种语言上训练基于转换器的掩码语言模型，并通过学习具有相同掩码语言建模目标的新嵌入矩阵，冻结所有其他层的参数，将其转换为新语言。这种方法不依赖于共享词汇或联合培训。然而，我们表明，它是有竞争力的多语言BERT在标准的跨语言分类基准和一个新的跨语言问答数据集（XQuAD）。我们的研究结果与多语言模型泛化能力基础的共同信念相矛盾，并表明深层单语言模型学习一些跨语言泛化的抽象。我们还发布了XQuAD作为一个更全面的跨语言基准测试，它包括来自SQuAD v1.1的240个段落和1190个问答对，由专业翻译人员翻译成10种语言。
2020-05-26 cs.AI cs.CL cs.LG
Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；WeChat AI, Tencent Inc（腾讯微信人工智能部）
最近对彩票假说（LTH）的研究表明，像BERT这样的预训练语言模型（PLM）包含与原始PLM具有相似迁移学习性能的匹配子网络。这些子网络使用基于幅度的修剪。在本文中，我们发现，BERT子网络有更多的潜力比这些研究表明。首先，我们发现幅度修剪的成功可以归因于保留的预训练性能，这与下游可移植性相关。受此启发，我们建议直接优化子网络结构，以实现预训练目标，这可以更好地保持预训练性能。具体来说，我们在预训练任务上通过模型权重训练二进制掩码，目的是保持子网络的通用可转移性，这对任何特定的下游任务都是不可知的。然后，我们在GLUE基准和SQuAD数据集上微调子网络。结果表明，与幅度剪枝相比，掩码训练能有效地发现BERT子网络，提高了下游任务的整体性能。此外，我们的方法在搜索子网络时也更有效，并且在一定范围内的数据稀缺性进行微调时更有利。我们的代码可在https://github.com/llyx97/TAMT上获得。
2022-05-29 cs.CL
A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
最近，多语言BERT在跨语言迁移任务上表现得非常好，优于静态非上下文词嵌入。在这项工作中，我们提供了一个深入的实验研究，以补充现有的跨语言能力的文献。我们用相同的数据比较了非语境化和语境化表示模型的跨语言能力。我们发现数据大小和上下文窗口大小是影响可移植性的关键因素。我们还观察到语言特定的信息在多语言BERT。通过对潜在表征的操作，可以控制多语言BERT的输出语言，实现无监督的令牌翻译。我们进一步表明，基于观察，有一个计算成本低，但有效的方法来提高跨语言能力的多语种BERT。
2020-04-20 cs.CL
Investigating Transferability in Pretrained Language Models
Stanford University（斯坦福大学）
语言模型预训练如何帮助迁移学习？我们考虑了一种简单的消融技术，用于确定每个预训练层对传输任务性能的影响。这种方法，部分重新初始化，涉及用随机权重替换预训练模型的不同层，然后在传输任务上微调整个模型并观察性能变化。该技术揭示了在BERT中，在下游GLUE任务上具有高探测性能的层对于这些任务的高精度来说既不是必要的也不是充分的。此外，为层使用预训练参数的好处随着微调数据集大小而显着变化：当数据丰富时提供巨大性能提升的参数可能在数据稀缺的设置中提供微不足道的好处。这些结果揭示了迁移学习过程的复杂性，突出了在冻结模型或单个数据样本上操作的方法的局限性。
2020-11-10 cs.AI cs.CL cs.LG
Bridging the gap between supervised classification and unsupervised topic modelling for social-media assisted crisis management
McGill University（麦吉尔大学）
在自然灾害期间，Twitter等社交媒体为危机管理人员和受灾群众提供了宝贵的信息。机器学习可以帮助从危机期间共享的大量信息中构建和提取信息;然而，危机不断演变的性质使得有效的领域自适应至关重要。监督分类受到不可改变的类别标签的限制，这些类别标签可能与新事件无关，而无监督主题建模则受到先验知识不足的限制。在本文中，我们弥合了两者之间的差距，并表明，BERT嵌入微调危机相关的推文分类可以有效地用于适应新的危机，发现新的主题，同时保留相关类监督训练，并利用双向自我注意提取主题关键字。我们创建了一个数据集的推文从暴风雪来评估我们的方法的可转移性，以新的危机，并发现它优于传统的主题模型，在自动和人类的评估接地危机管理人员的需求。更广泛地说，我们的方法可以用于文本领域自适应的潜在类是未知的，但与其他领域的已知类重叠。
2021-03-22 cs.CL
Multilingual BERT Post-Pretraining Alignment
IBM Watson；MIT-IBM Watson AI Lab
我们提出了一种简单的方法来调整多语言上下文嵌入作为后预训练步骤，以提高预训练模型的zero-shot跨语言可移植性。使用并行数据，我们的方法通过最近提出的翻译语言建模目标，以及通过对比学习和随机输入洗牌在句子层面上对齐嵌入。在对下游任务进行微调时，我们还使用英语执行高级代码切换。在XNLI上，我们的最佳模型（从mBERT初始化）在zero-shot设置中比mBERT提高了4.7%，并在使用不到18%的相同并行数据和31%的模型参数的同时，实现了与XLM相当的结果。在MLQA上，我们的模型优于XLM-R_Base，它的参数比我们的多57%。
2021-04-10 cs.CL
Linguistic Knowledge and Transferability of Contextual Representations
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；University of Washington（华盛顿大学）
来自大规模神经语言模型的上下文单词表征在各种NLP任务中都是成功的，这表明它们编码了有用的和可转移的语言特征。为了揭示它们捕获的语言知识，我们研究了几个最近预训练的上下文化器（ELMo的变体，OpenAI Transformer语言模型和BERT）产生的表示，以及一套17个不同的探测任务。我们发现，在冻结的上下文表示之上训练的线性模型在许多情况下与最先进的任务特定模型竞争，但在需要细粒度语言知识的任务上失败（例如，联合识别）。为了研究上下文单词表示的可转移性，我们量化了上下文化器中各个层的可转移性差异，特别是递归神经网络（RNN）和Transformers之间的差异。例如，RNN的更高层更具有任务特定性，而Transformer层不表现出相同的单调趋势。此外，为了更好地理解是什么使上下文单词表示可转移，我们将语言模型预训练与11个监督预训练任务进行了比较。对于任何给定的任务，当预训练数据集固定时，对密切相关的任务进行预训练会产生比语言模型预训练更好的性能（平均而言更好）。然而，在更多数据上进行语言模型预训练会得到最好的结果。
2019-04-25 cs.CL
EfficientBERT: Progressively Searching Multilayer Perceptron via Warm-up Knowledge Distillation
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；DarkMatter AI Research（暗物质人工智能研究院）
预训练的语言模型在各种NLP任务中表现出了显着的效果。然而，由于它们体积庞大，推理速度慢，很难在边缘设备上部署它们。在本文中，我们有一个关键的洞察力，改善前馈网络（FFN）在BERT有一个更高的增益比改善多头注意力（MHA），因为FFN的计算成本是2 $\sim$ 3倍大于MHA。因此，紧凑的BERT，我们致力于设计高效的FFN，而不是以前的作品，注意MHA。由于FFN包括一个多层感知器（MLP），这是必不可少的BERT优化，我们进一步设计了一个彻底的搜索空间向先进的MLP和执行一个由粗到细的机制，以寻找一个有效的BERT架构。此外，为了加快搜索速度和增强模型的可移植性，我们在每个搜索阶段采用了一种新的预热知识蒸馏策略。大量的实验表明，我们所搜索的EfficientBERT是6.9 $\times$小，4.4 $\times$快于BERT $\rm_{BASE}$，并具有竞争力的性能在GLUE和SQuAD基准。具体而言，即使没有数据增强，EfficientBERT在GLUE \emph{test}上的平均得分为77.7，比MobileBERT $\rm_{TINY}$高0.7，在SQuAD v1.1/v2.0 \emph{dev}上的F1得分为85.3/74.5，比TinyBERT $_4$高3.2/2.7。该代码在https://github.com/cheneydon/effi…
2021-09-16 cs.AI cs.CL cs.LG
Adapting Language Models to Indonesian Local Languages: An Empirical Study of Language Transferability on Zero-Shot Settings
Department of Computer Science and Electronics（计算机科学与电子系）；Universitas Gadjah Mada（加德满都大学）
本文通过情感分析任务实证研究预训练语言模型向十种低资源印尼本地语言的零样本迁移能力，发现MAD-X适配器方法能显著提升已见和部分已见语言的性能，且模型先前对目标语言或相关语言的接触是迁移成功最一致的预测因素。
2025-07-02 cs.CL
YATO: Yet Another deep learning based Text analysis Open toolkit
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
本文介绍了轻量级、易用的深度学习文本分析开源工具包YATO，其采用分层结构支持传统神经网络、预训练语言模型及自定义特征自由组合，旨在促进最先进NLP模型的快速复现与跨学科应用。
2023-10-18 cs.CL
Multilingual BERT language model for medical tasks: Evaluation on domain-specific adaptation and cross-linguality
Erasmus University Medical Center Rotterdam（鹿特丹伊拉斯姆斯大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究探讨在领域特定语料库上进一步预训练多语言BERT对医疗NLP任务的影响，发现领域适应和跨语言迁移能显著提升低资源语言（荷兰语、罗马尼亚语、西班牙语）的临床任务性能。
2025-10-31 cs.CL
A Grey-box Text Attack Framework using Explainable AI
Amaris.AI Pte Ltd（阿玛瑞斯私人有限公司）；Nanyang Technological University（南洋理工大学）；University of Glasgow（格拉斯哥大学）
本文提出一种基于可解释AI的灰盒文本攻击框架，通过攻击多个不同架构的替代BERT模型实现攻击迁移，仅需替换一个人类难以察觉的词即可欺骗其他BERT模型。
2025-03-11 cs.AI cs.CL
Making Pre-trained Language Models Great on Tabular Prediction
The Second Affiliated Hospital Zhejiang University School of Medicine（浙江大学医学院附属第二医院）；Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出TP-BERTa，一种专门为表格预测预训练的语言模型，通过相对幅度标记化和特征内注意力方法，在典型表格数据中性能领先于表格DNN，并与梯度提升决策树模型竞争。
2024-03-12 cs.CL cs.LG
NLPDove at SemEval-2020 Task 12: Improving Offensive Language Detection with Cross-lingual Transfer
Sogang University（西江大学）；Seoul National University（首尔大学）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文介绍了我们的方法来识别攻击性语言在多语言环境中的任务。我们研究了两种数据增强策略：使用具有不同阈值的附加半监督标签和具有数据选择的跨语言迁移。与仅使用手动注释的数据集训练的基线相比，利用半监督数据集导致性能提高。我们提出了一个新的度量，翻译嵌入距离，以衡量跨语言数据选择的实例的可移植性。我们还介绍了为社交媒体文本量身定制的各种预处理步骤，以及微调预训练的多语言BERT（mBERT）以进行攻击性语言识别的方法。我们的多语言系统在2020年的OffensEval上取得了希腊语，丹麦语和土耳其语的竞争结果。
2020-08-04 cs.CL
Generalised Unsupervised Domain Adaptation of Neural Machine Translation with Cross-Lingual Data Selection
Monash University（莫纳什大学）
本文考虑神经机器翻译（NMT）的无监督领域自适应问题，假设在新的域中只访问源语言或目标语言中的单语文本。我们提出了一种跨语言的数据选择方法，以提取领域内的句子在缺失的语言侧从一个大型的通用单语语料库。我们提出的方法通过对比学习在多语言BERT之上训练一个自适应层，以对齐源语言和目标语言之间的表示。然后，这使得域分类器能够以zero-shot方式在语言之间转移。一旦分类器检测到域内数据，NMT模型就通过联合学习翻译和域判别任务来适应新的域。我们在NMT上评估了三种语言对中五个不同领域的跨语言数据选择方法，以及COVID-19的真实翻译场景。结果表明，我们提出的方法优于其他选择基线高达+1.5 BLEU得分。
2021-09-09 cs.CL
Modeling Adversarial Attack on Pre-trained Language Models as Sequential Decision Making
Fudan University（复旦大学）；Tsinghua University（清华大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学智能产业研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文将PLMs对抗攻击建模为序列决策问题，提出基于强化学习的SDM-Attack方法，通过词查找与词替换的序列化决策实现高成功率、低修改率且语义相似度可比的攻击，并验证了其泛化性与可迁移性。
2023-05-27 cs.CL
Can linguists better understand DNA?
Huazhong University of Science and Technology（华中科技大学）
本研究构建DNA对分类、DNA-蛋白质对分类任务，验证自然语言预训练模型的能力可向基因序列迁移，探究了模型规模等的影响，为跨领域研究提供新视角。
2025-01-17 cs.CL q-bio.GN
