Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks
Samsung SDS(三星SDS)
在zero-shot跨语言迁移中,在一种语言的语料库上训练的有监督NLP任务可以直接应用于另一种语言,而无需任何额外的训练。跨语言迁移的来源可以像语言之间的词汇重叠一样简单(例如,使用相同的脚本、共享的子字),这自然迫使文本嵌入占据类似的表示空间。最近引入的跨语言语言模型(XLM)预训练将Transformer风格网络中的神经参数共享作为迁移的最重要因素。在本文中,我们的目的是验证假设的强大跨语言迁移属性诱导XLM预训练。特别是,我们采取XLM-RoBERTa(XLMR)在我们的实验中,扩展语义文本相似性(STS),SQuAD和KorQuAD的机器阅读理解,情感分析,并对齐的句子嵌入在各种跨语言设置。我们的研究结果表明,跨语言迁移的存在是最明显的STS,情感分析其次,最后MRC。也就是说,下游任务的复杂性软化了跨语言迁移的程度。我们所有的结果都是根据经验观察和测量的,我们公开了我们的代码和数据。
2021-01-26 cs.AI cs.CL
Neural Networks for Cross-lingual Negation Scope Detection
University of Edinburgh(爱丁堡大学)
否定范围已经在几个英语和汉语语料库中进行了注释,并从这些注释中学习到这些语言中这一任务的高度准确的模型。不幸的是,注释没有其他语言版本。一个检测否定作用域的模型是否可以应用于一个它还没有被训练过的语言?我们开发了从英语中的跨语言词嵌入或通用依赖中学习的神经模型,并在中文上进行了测试,结果显示它们的效果令人惊讶。我们发现,建模语法是有帮助的,即使在单语设置和跨语言的词嵌入帮助相对较小,我们分析的情况下,仍然难以完成这项任务。
2018-10-04 cs.CL
Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension
Tianjin University(天津大学)
在机器阅读理解(MRC)中,多语言预训练模型能够将知识从资源丰富的语言zero-shot迁移到资源贫乏的语言。然而,不同语言之间固有的语言差异可能会使zero-shot迁移预测的答案跨度违反目标语言的句法约束。在本文中,我们提出了一种新的多语言MRC框架,该框架配备了Siamese Semantic Disentanglement Model(SSDM),可以将语义与多语言预训练模型学习的表示中的语法分离。为了明确地将语义知识转移到目标语言,我们提出了两组针对语义和句法编码和解纠缠的损失。在三个多语言MRC数据集上的实验结果(即,XQuAD,MLQA和TyDi QA)证明了我们提出的方法在基于mBERT和XLM-100的模型上的有效性。代码可从以下网址获得:https://github.com/wulinjuan/SSDM_MRC。
2023-01-14 cs.CL
Cross-lingual Text Classification with Heterogeneous Graph Neural Network
Tencent(腾讯)
跨语言文本分类旨在训练源语言的分类器,并将知识转移到目标语言,这对于低资源语言非常有用。最近的多语言预训练语言模型(mPLM)在跨语言分类任务中取得了令人印象深刻的结果,但很少考虑语义相似性之外的因素,导致某些语言对之间的性能下降。在本文中,我们提出了一个简单而有效的方法,将异构信息内和跨语言的跨语言文本分类使用图卷积网络(GCN)。特别是,我们构建了一个异构图,通过处理文件和单词作为节点,并连接节点与不同的关系,其中包括词性的角色,语义相似性,和文档翻译。大量的实验表明,我们基于图的方法在所有任务上的性能都显著优于最先进的模型,并且在翻译器等外部工具不可用的低资源环境中,也实现了与基线一致的性能增益。
2021-05-24 cs.CL
Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
成分泛化是人类语言学习的一个基本机制,目前的神经网络正在努力解决这一问题。最近提出的解纠缠序列到序列模型(Dangle)通过为每个解码步骤学习专门的编码,显示出很有前途的泛化能力。我们对这个模型进行了两个关键的修改,鼓励更多的解纠缠表示,并提高其计算和内存效率,使我们能够在更现实的环境中处理合成泛化。具体来说,我们不是在每个时间步自适应地重新编码源键和值,而是解开它们的表示,只在某个时间间隔周期性地重新编码键。我们的新架构在现有的任务和数据集上带来了更好的泛化性能,以及一个新的机器翻译基准,我们通过检测与训练集相关的自然发生的组成模式来创建该基准。我们表明,这种方法比人工挑战更好地模拟现实世界的要求。
2022-12-12 cs.AI cs.CL
SubGraph Networks based Entity Alignment for Cross-lingual Knowledge Graph
Zhejiang University of Technology(浙江工业大学);Hangzhou Zhongao Technology Company Limited(杭州中奥科技有限公司);Zhejiang Economic Information Center(浙江省经济信息中心)
实体对齐是在两个知识图谱中寻找表示同一真实世界对象的实体的任务。跨语言知识图谱实体对齐旨在发现多语言知识库中的跨语言链接,对自然语言处理应用和多语言知识库融合具有重要意义。在跨语言知识图谱的对齐任务中,两个图的结构非常相似,等价实体往往具有相同的子图结构特征。传统的GCN方法忽略了通过原始图的代表部分来获取结构特征,利用邻接矩阵不足以有效地表示图的结构特征。在本文中,我们引入子图网络(SGN)的方法,GCN为基础的跨语言KG实体对齐方法。该方法通过提取KG的一阶子图来扩展原图的结构特征,增强实体嵌入的表示能力,提高对齐精度。实验结果表明,该方法优于现有的基于GCN的方法。
2022-05-07 cs.CL
Bhav-Net: Knowledge Transfer for Cross-Lingual Antonym vs Synonym Distinction via Dual-Space Graph Transformers
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Delhi(印度理工学院德里)
Bhav-Net提出双空间图变换器架构,利用语言特定BERT编码器与图网络结合,实现跨八种语言的反义词与同义词区分,兼顾性能与可解释性。
2025-10-25 cs.CL
Cross-lingual and Multilingual Speech Emotion Recognition on English and French
University of Stuttgart(斯图加特大学)
多语言语音情感识别研究面临的问题是,大多数可用的语音语料库在重要方面,如注释方法或交互场景彼此不同。这些不一致性使构建多语言系统变得复杂。我们目前的结果跨语言和多语言的情感识别英语和法语的语音数据具有相似的特点,在互动(人与人的对话)。此外,我们探索了微调预训练的跨语言模型的可能性,只有少量的样本从目标语言,这是非常感兴趣的低资源语言。为了更深入地了解部署的卷积神经网络所学习的内容,我们对网络内部的注意力机制进行了分析。
2018-03-01 cs.CL
On the Effect of Word Order on Cross-lingual Sentiment Analysis
HEIG-VD(沃州工程与管理学院);EPFL(洛桑联邦理工学院);Universitat Pompeu Fabra(庞培法布拉大学);University of Oslo(奥斯陆大学)
当前用于情感分析的最新模型通过对语言建模目标进行预训练来显式地使用词序,或者通过使用递归神经网络(RNN)或卷积网络(CNN)来隐式地使用词序。这对于使用双语嵌入作为特征的跨语言模型来说是一个问题,因为源语言和目标语言之间的词序差异没有得到解决。在这项工作中,我们探讨了重新排序作为预处理步骤,用于两种语言组合(英语-西班牙语,英语-加泰罗尼亚语)的跨语言情感分类。我们发现,虽然重新排序对这两个模型都有帮助,但CNNS对局部重新排序更敏感,而全局重新排序对RNN有利。
2019-06-13 cs.CL
Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
近年来,预训练多语言模型在学习多语言表示方面显示出巨大的潜力,这是自然语言处理的一个重要课题。先前的工作通常使用单一的混合注意力(MA)模块,遵循TLM(Conneau和Lample,2019),用于同时等效地关注语言内和跨语言上下文。在本文中,我们提出了一个网络命名为分解注意力(DA)作为MA的替代品。DA由一个语内注意(IA)和一个跨语言注意(CA)组成,分别模拟语内和跨语言监督。此外,我们在训练过程中引入了一种语言自适应的重新加权策略,以进一步提高模型的性能。不同的跨语言自然语言理解(NLU)任务的实验表明,所提出的架构和学习策略显着提高模型的跨语言可移植性。
2021-06-09 cs.CL
LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network Language Modeling
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出潜在对话动作层LaDA,通过在解码阶段引入潜在变量优化跨语言口语理解策略,显著提升远距离语言在零样本和少样本自适应下的意图检测与槽位填充性能。
2023-08-05 cs.CL
Cross-Lingual Ability of Multilingual BERT: An Empirical Study
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Duolingo(多邻国);University of Pennsylvania(宾夕法尼亚大学)
最近的工作展示了多语言BERT(M-BERT)令人惊讶的跨语言能力-令人惊讶的是,它是在没有任何跨语言目标和对齐数据的情况下训练的。在这项工作中,我们提供了一个全面的研究,在M-BERT的跨语言能力的不同组件的贡献。我们研究了语言的语言属性,模型的架构和学习目标的影响。实验研究是在三种不同类型的语言-西班牙语,印地语和俄语-的背景下进行的,并使用两个概念上不同的NLP任务,文本蕴涵和命名实体识别。我们的主要结论之一是,语言之间的词汇重叠在跨语言的成功中起着微不足道的作用,而网络的深度是其中不可或缺的一部分。我们所有的模型和实现都可以在我们的项目页面上找到:http://cogcomp.org/page/publication_view/900。
2020-02-15 cs.AI cs.CL cs.LG
Adversarial Deep Averaging Networks for Cross-Lingual Sentiment Classification
Cornell University(康奈尔大学)
近年来,英语情感分类取得了很大的成功,部分原因是大量的注释资源。不幸的是,大多数语言都没有如此丰富的标记数据。为了解决没有足够注释数据的低资源语言中的情感分类问题,我们提出了一个对抗性深度平均网络(ADAN),将从资源丰富的源语言上的标记数据中学习到的知识转移到资源丰富的语言中。只有未标记数据存在的低资源语言。ADAN有两个区分分支:情感分类器和对抗语言分类器。这两个分支都从共享的特征提取器获取输入,以学习同时指示分类任务和跨语言不变的隐藏表示。中文和阿拉伯文的情感分类实验表明,ADAN显着优于国家的最先进的系统。
2018-08-18 cs.CL
Neural Factor Graph Models for Cross-lingual Morphological Tagging
Language Technologies Institute(语言技术研究所);Machine Learning Department(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
形态分析涉及预测单词的句法特征(例如{POS:Noun,Case:Acc,Gender:Fem})。以前在形态标记方面的工作通过使用来自同一家族的高资源语言(HRL)进行跨语言训练来提高低资源语言(LRL)的性能,但受到严格的(通常是错误的)假设的限制,即标记集在HRL和LRL之间完全重叠。在本文中,我们提出了一种跨语言的形态标记的方法,旨在通过放松这一假设,以提高语言之间的信息共享。所提出的模型使用具有神经网络潜力的阶乘条件随机场,使得有可能(1)利用神经网络表示的表达能力来平滑表面形式中的表面差异,(2)对标签之间的成对和传递关系进行建模,以及(3)准确地生成在训练数据中看不见或罕见的标签集。在通用语义树库中的四种语言上的实验表明,该方法比现有的跨语言方法具有更高的标注准确率。
2018-07-11 cs.CL
The Reality of Multi-Lingual Machine Translation
我们的书《多语言机器翻译的现实》讨论了在机器翻译系统中使用两种以上语言的好处和危险。虽然专注于序列到序列处理和多任务学习的特定任务,但这本书的目标有点超出了自然语言处理的范围。对我们来说,机器翻译是深度学习应用的一个典型例子,在这种应用中,人类的技能和学习能力被视为一个基准,许多人试图匹配和超越。我们的文件,在多语言翻译中观察到的一些收益可能会导致更简单的效果比假设的知识的跨语言迁移。在第一部分,相当一般的部分,这本书将引导你通过多语言的动机,深度神经网络的多功能性,特别是在序列到序列的任务,这种学习的复杂性。我们在总结一般性部分时,警告不要对神经网络所展示的收益做出过于乐观和不合理的解释。在第二部分中,我们全面深入研究了多语言模型,特别仔细地研究了迁移学习,作为利用其他语言的更直接的方法之一。最近的多语言技术,包括大规模的模型,调查和部署系统的许多语言的实际方面进行了讨论。结论强调了机器理解的开放性问题,并提醒了构建大规模模型的两个伦理方面:研究的包容性及其生态痕迹。
2022-02-25 cs.CL
Understanding Cross-Lingual Syntactic Transfer in Multilingual Recurrent Neural Networks
Center for Language and Cognition(语言与认知中心);University of Groningen(格罗宁根大学)
现在已经确定,现代神经语言模型可以在不改变底层架构的情况下同时在多种语言上成功训练。但是,在这些模型中,语言之间真正共享的是什么样的知识呢?多语言培训是否主要导致词汇表征空间的对齐,或者它是否也能够共享纯语法知识?在本文中,我们剖析了不同形式的跨语言迁移,并寻找其最决定性的因素,使用各种模型和探测任务。我们发现,暴露我们的LM相关的语言并不总是增加语法知识的目标语言,词汇语义转移的最佳条件可能不是最佳的句法转移。
2021-04-14 cs.CL cs.LG
Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation
The University of Hong Kong(香港大学);Microsoft Research(微软研究院);Shanghai University of Finance and Economics(上海财经大学);Texas A&M University(德州农工大学)
本文证明了多语言预训练和多语言微调对于促进zero-shot翻译中的跨语言迁移至关重要,其中神经机器翻译(NMT)模型在监督训练期间看不到的源语言上进行测试。根据这一想法,我们提出了SixT+,这是一个强大的多对英语NMT模型,支持100种源语言,但只使用六种源语言的并行数据集进行训练。SixT+使用XLM-R large初始化解码器嵌入和完整编码器,然后使用简单的两阶段训练策略训练编码器和解码器层。SixT+在多对英翻译方面取得了令人印象深刻的性能。它明显优于CRISS和m2m-100,这两个强大的多语言NMT系统,平均增益分别为7.2和5.0 BLEU。此外,SixT+提供了一组模型参数,可以进一步微调到其他无监督任务。我们证明,添加SixT+初始化的性能优于Si En和Ne En上最先进的显式设计的无监督NMT模型<-><->,平均BLEU超过1.2。当应用于zero-shot跨语言抽象摘要时,它产生比mBART-ft平均12.3 ROUGE-L的性能增益。我们进行了详细的分析,以了解SixT+的关键成分,包括辅助并行数据的多语言性,位置解纠缠编码器及其编码器的跨语言可移植性。
2022-04-13 cs.CL
Cross-lingual Knowledge Graph Alignment via Graph Matching Neural Network
Tencent AI Lab(腾讯人工智能实验室);IBM T.J. Watson Research(IBM托马斯·J·沃森研究中心);Peking University(北京大学);Amazon AWS(亚马逊云科技)
以前的跨语言知识图谱(KG)对齐研究依赖于仅从单语KG结构信息导出的实体嵌入,这可能无法匹配两个KG中具有不同事实的实体。在本文中,我们引入了主题实体图,一个实体的局部子图,以表示与他们的上下文信息在KG中的实体。从这个角度来看,知识库对齐任务可以制定为一个图匹配问题,我们进一步提出了一个基于图注意力的解决方案,首先匹配两个主题实体图中的所有实体,然后联合建模的本地匹配信息,以获得一个图级匹配向量。实验表明,我们的模型优于以前的国家的最先进的方法由一个大的利润。
2019-07-29 cs.CL cs.LG
Q-BridgeNet: A Quantization Network for Cross-Lingual Sign Language Translation
The University of Sydney(悉尼大学);Beijing University of Technology(北京工业大学);Edith Cowan University(埃迪斯科文大学)
针对多语言手语翻译中跨语言冲突问题,提出Q-BridgeNet框架,在手语侧用自适应分割等学习离散Q单元,口语侧微调多语言语言模型,实验证明该框架能有效减轻冲突,在多语言手语翻译上性能优异且泛化能力强。
2026-07-14 cs.CL cs.MM
Improving Low-Resource Cross-lingual Document Retrieval by Reranking with Deep Bilingual Representations
Yale University(耶鲁大学)
在本文中,我们提出了提高低资源的跨语言文档检索性能与深双语查询文档表示。我们用四个组件匹配源语言和目标语言的查询和文档,每个组件都被实现为基于术语交互的深度神经网络,并将跨语言的词嵌入作为输入。通过将查询可能性分数作为额外的特征,我们的模型有效地学习通过使用少量的低资源语言对的相关性标签来重新排序检索到的文档。由于共享的跨语言词嵌入空间,该模型还可以直接应用于另一种语言对,而无需任何训练标签。在MATERIAL数据集上的实验结果表明,我们的模型在英语-斯瓦希里语、英语-塔吉语和英语-索马里语跨语言信息检索任务上的性能优于基于竞争的基线。
2019-06-08 cs.CL
Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);NTT Communication Science Laboratories(NTT通信科学实验室)
我们提出了一种无监督的方法来获得跨语言嵌入,而无需任何并行数据或预训练的词嵌入。我们称之为多语言神经语言模型的模型以多种语言的句子作为输入。该模型包含双向LSTM,作为前向和后向语言模型,这些网络在所有语言之间共享。其他参数,即词嵌入和隐藏状态与输出之间的线性变换,是特定于每种语言的。共享的LSTM可以捕获所有语言之间的共同句子结构。因此,每种语言的词嵌入被映射到公共潜在空间中,使得可以跨多种语言测量词的相似性。我们评估跨语言的词嵌入的词对齐任务的质量。我们的实验表明,我们的模型可以获得比现有的无监督模型更高质量的跨语言嵌入时,只有少量的单语数据(即50k句子),或单语数据的域是不同的语言。
2018-09-07 cs.AI cs.CL cs.LG
Discovering Language-neutral Sub-networks in Multilingual Language Models
EPFL(洛桑联邦理工学院)
多语言预训练的语言模型在跨语言下游任务中迁移得非常好。然而,他们学习语言中性表征的程度(即,不同语言之间编码相似现象的共享表征),以及这种表征对跨语言迁移表现的影响,仍然是悬而未决的问题。在这项工作中,我们将多语言模型的语言中立性概念化为这些模型的语言编码子网络之间重叠的函数。我们采用彩票假设来发现针对各种语言和任务进行单独优化的子网络。我们对三个不同的任务和11种不同类型的语言的评估表明,不同语言的子网络在拓扑上是相似的(即,语言中立的),使它们成为性能降低有限的跨语言迁移的有效初始化。
2022-10-30 cs.CL
Cross-lingual Transfer for Text Classification with Dictionary-based Heterogeneous Graph
Tokyo Institute of Technology(东京工业大学);AIST(日本产业技术综合研究所);Asurion Japan Holdings G.K.(Asurion日本控股合同会社);The University of Tokyo(东京大学);RIKEN AIP(日本理化学研究所智能信息学中心);AIRC, AIST(日本产业技术综合研究所人工智能研究中心)
在跨语言文本分类中,要求高资源源语言中的特定于任务的训练数据是可用的,其中任务与低资源目标语言的任务相同。然而,由于标记成本、任务特性和隐私问题,收集这样的训练数据可能是不可行的。本文提出了一种替代解决方案,只使用高资源语言和双语词典的任务无关的词嵌入。首先,我们从双语词典中构造了一个基于词典的异构图(DHG)。这开启了使用图神经网络进行跨语言迁移的可能性。剩下的挑战是DHG的异质性,因为考虑了多种语言。为了解决这一问题,本文提出了一种基于字典的异构图神经网络(DHGNet),它通过两步聚合(词级和语言级聚合)有效地处理了DHG的异构性.实验结果表明,该方法优于预训练模型,即使它不访问大型语料库。此外,即使字典包含许多不正确的翻译,它也能很好地执行。它的鲁棒性允许使用更广泛的字典,例如自动构建的字典和众包字典,这对于现实世界的应用来说很方便。
2021-09-10 cs.AI cs.CL cs.LG
How Familiar Does That Sound? Cross-Lingual Representational Similarity Analysis of Acoustic Word Embeddings
Saarland University(萨尔兰大学)
神经网络如何“感知”来自未知语言的语音?模型的训练语言(L1)和未知语言(L2)之间的类型相似性是否会对L2语音信号的模型表示产生影响?为了回答这些问题,我们提出了一个新的实验设计的基础上表征相似性分析(RSA)分析声学词嵌入(AWE)-矢量表示的可变持续时间的口语词段。首先,我们训练单语AWE模型上的七个印欧语言具有不同程度的类型相似性。然后,我们采用RSA量化的跨语言的相似性,通过模拟本地和非本地口语字处理使用AWE。我们的实验表明,在我们的研究中,类型相似性确实会影响模型的表征相似性。我们进一步讨论了我们的工作与神经网络的语音处理和语言相似性建模的影响。
2021-09-21 cs.CL
ABSent: Cross-Lingual Sentence Representation Mapping with Bidirectional GANs
Rutgers University(罗格斯大学)
针对大量平行文本的情况,提出了许多基于神经网络的跨语言迁移学习方法。然而,在许多现实世界的设置中,并行注释的训练数据的大小受到限制。此外,以前的跨语言映射研究主要集中在单词层面。这就提出了这样的技术是否也可以应用于毫不费力地获得跨语言对齐的句子表示的问题。为此,我们提出了一个对抗性双向句子嵌入映射(ABSent)框架,该框架从有限数量的并行数据中学习跨语言句子表示的映射。
2020-01-29 cs.CL cs.LG
Cross-lingual Data Transformation and Combination for Text Classification
Southern Medical University(南方医科大学);Mayo Clinic(妙佑医疗国际)
文本分类是文本数据采掘的一项基本任务。为了训练一个可推广的模型,必须收集大量的文本。为了解决数据不足的问题,有时可能需要跨语言数据。然而,跨语言数据源可能会遭受数据不兼容性,因为用不同语言编写的文本可能包含不同的单词序列和语义模式。机器翻译和词嵌入对齐为跨语言数据训练提供了转换和组合数据的有效途径。据我们所知,很少有工作做评估如何进行语义空间转换和数据组合的方法影响分类模型的性能训练从跨语言资源。在本文中,我们系统地评估了两种常用的CNN(卷积神经网络)和RNN(递归神经网络)文本分类器的性能与不同的数据转换和组合策略。单语模型是从英语和法语以及它们的翻译和对齐嵌入中训练出来的。我们的研究结果表明,语义空间转换可以有条件地提高单语模型的性能。双语模型是从英语和法语的组合训练的。我们的研究结果表明,跨语言分类模型可以通过从翻译或对齐的嵌入空间学习来显著受益于跨语言数据。
2019-06-23 cs.CL cs.IR
Self-Attention with Cross-Lingual Position Representation
The University of Sydney(悉尼大学);Tencent AI Lab(腾讯人工智能实验室)
位置编码(PE)是自注意网络(SAN)的重要组成部分,用于保存自然语言处理任务的词序信息,为输入序列生成固定的位置索引。然而,在跨语言场景中,例如机器翻译,源和目标句子的PE被独立地建模。由于不同语言中的词序差异,对跨语言位置关系进行建模可能有助于SAN解决这个问题。在本文中,我们增加SAN与\emph{cross-lingual position representations}模型的双语意识的潜在结构的输入句子。具体来说,我们利用括号转导语法(BTG)为基础的重新排序信息,以鼓励SAN学习双语对角线对齐。在WMT'14英语$\Rightarrow$德语、WAT'17日语$\Rightarrow$英语和WMT'17中文$\Leftrightarrow$英语翻译任务上的实验结果表明,我们的方法在强基线上显著且一致地提高了翻译质量。大量的分析证实,性能增益来自跨语言的信息。
2020-11-21 cs.CL
Multi-Adversarial Learning for Cross-Lingual Word Embeddings
University of Geneva(日内瓦大学);Idiap Research Institute(Idiap 研究所)
生成对抗网络(GANs)已经成功地在没有监督的情况下诱导跨语言词嵌入-跨语言匹配词的映射。尽管取得了这些成功,但GANs在远距离语言的困难情况下的性能仍然不令人满意。这些局限性可以通过GANs的错误假设来解释,即源和目标嵌入空间通过单个线性映射相关并且近似同构。相反,我们假设,特别是在遥远的语言中,映射只是分段线性的,并提出了一种多对抗学习方法。这种新方法通过多个映射来产生种子跨语言词典,每个映射被诱导以适合于一个子空间的映射。我们对无监督双语词典归纳的实验表明,该方法比以前的单一映射方法,特别是对遥远的语言,提高了性能。
2021-08-25 cs.CL
Bleaching Text: Abstract Features for Cross-lingual Gender Prediction
University of Groningen(格罗宁根大学);Jozef Stefan Institute(约瑟夫·斯特凡研究所);IT University of Copenhagen(哥本哈根信息技术大学)
性别预测通常集中在词汇和社交网络特征上,产生了良好的性能,但使系统高度依赖于语言,主题和平台。跨语言嵌入规避了其中的一些限制,但捕获性别特定的风格较少。我们提出了一种替代方案:漂白文本,即,将词汇字符串转换为更抽象的特征。这项研究提供的证据表明,这些功能允许更好地跨语言迁移。此外,我们提出了第一个研究人类进行跨语言性别预测的能力。我们发现人类的预测能力与我们的漂白模型相似,并且都比词汇模型表现得更好。
2018-05-08 cs.CL
X-SNS: Cross-Lingual Transfer Prediction through Sub-Network Similarity
Hyundai Motor Company(现代汽车公司);Hanyang University(汉阳大学)
本文提出X-SNS方法,利用语言间的子网络相似性预测跨语言迁移兼容性,仅需少量原始文本即可在零样本XLT候选排序上平均提升NDCG@3达4.6%。
2023-10-26 cs.CL
Neural Cross-Lingual Entity Linking
IBM Research AI(IBM研究院人工智能)
实体链接(EL)的一个主要挑战是有效地利用上下文信息来消除对维基百科的歧义,这些条目可能在不同的上下文中指代不同的实体。这个问题加剧了跨语言EL,它涉及到链接提到写在非英语文档中的条目在英语维基百科:比较跨语言的文本线索,我们需要计算跨语言的文本片段之间的相似性。在本文中,我们提出了一种神经EL模型,该模型结合卷积和张量网络,从多个角度训练查询和候选文档之间的细粒度相似性和差异性。此外,我们表明,这个英语训练的系统可以应用,在零样本学习,以其他语言,令人惊讶的有效利用多语言嵌入。所提出的系统具有强有力的经验证据,在英语和跨语言:西班牙语和中文TAC 2015数据集中产生了最先进的结果。
2017-12-05 cs.CL
Unsupervised Cross-Lingual Information Retrieval using Monolingual Data Only
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
我们提出了一个完全无监督的框架ad-hoc跨语言信息检索(CLIR),不需要双语数据。该框架利用共享的跨语言词嵌入空间,在该空间中,可以表示术语、查询和文档,而不管它们的实际语言。共享的嵌入空间是通过基于对抗神经网络的迭代过程,仅基于两种语言的单语语料库而导出的。我们的实验上的标准CLEF CLIR集合的三种语言对不同程度的语言相似性(英语,荷兰语/意大利语/芬兰语)证明了所提出的完全无监督的方法的实用性。我们的无监督跨语言嵌入的CLIR模型优于使用依赖于单词级和文档级对齐的跨语言嵌入的基线。然后,我们证明了进一步的改进,可以实现无监督集成CLIR模型。我们相信,建议的框架是第一步,发展有效的语言对和域的并行数据是稀缺或不存在的CLIR模型。
2018-05-02 cs.CL
Characterising User Content on a Multi-lingual Social Network
King’s College London(伦敦国王学院);MIT(麻省理工学院);Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦玛丽女王大学)
社交媒体一直是21世纪政治信息扩散的先锋。大多数研究虚假信息,政治影响和假新闻的研究都集中在主流社交媒体平台上。这不可避免地使英语成为我们目前理解社交媒体上政治活动的重要因素。因此,对世界上很大一部分地区的研究数量有限,包括最大的多语言和多文化民主国家:印度。在本文中,我们提出了我们的多语言社交网络在印度称为ShareChat的特点。我们收集了2019年印度大选前和大选期间72周的详尽数据集,涵盖14种语言。我们通过将视觉上相似的图像聚类在一起,并探索它们如何跨越语言障碍来研究跨语言动态。我们发现泰卢固语、马拉雅拉姆语、泰米尔语和卡纳达语在征集政治图像(通常被称为模因)方面往往占主导地位,而来自印地语的帖子在ShareChat中的跨语言扩散最大(以及包含英语文本的图像)。在包含跨越语言障碍的文本的图像的情况下,我们看到语言翻译用于扩大可访问性。也就是说,我们发现了相同图像与非常不同的文本(因此含义)相关联的情况。这种初始特征为更先进的管道铺平了道路,可以在多语言和非文本环境中了解虚假和政治内容的动态。
2020-04-23 cs.CL cs.SI
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology(北京理工大学);Microsoft Research(微软研究院)
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中,我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说,该模型首先为平行句子自标记单词对齐。然后,我们随机屏蔽一个bitext对中的标记。给定一个掩码标记,该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明,该方法提高了跨语言的可移植性在各种数据集上,特别是在令牌级的任务,如问答,结构化预测。此外,该模型可以作为一个预先训练的字对齐器,实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Cross-Lingual Low-Resource Set-to-Description Retrieval for Global E-Commerce
Peking University(北京大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Indiana University(印第安纳大学)
随着跨境电子商业的蓬勃发展,迫切需要设计智能化的方法来帮助电子商业卖家为来自世界各地的消费者提供当地产品。本文探讨了跨语言信息检索的一个新任务,即,跨境电子商业中的跨语言集合到描述检索,其涉及将源语言中的产品属性集合与目标语言中的有说服力的产品描述进行匹配。我们手动收集一个新的和高质量的配对数据集,其中每对包含一个无序的产品属性集的源语言和信息丰富的产品描述的目标语言。由于数据集构建过程既耗时又昂贵,新数据集仅包含13.5k对,这是一个低资源设置,可以被视为跨境电子商业模型开发和评估的具有挑战性的测试平台。为了解决这种跨语言集到描述检索任务,我们提出了一种新的跨语言匹配网络(CLMN)与增强的上下文相关的跨语言映射的预训练单语BERT表示。实验结果表明,我们提出的CLMN在具有挑战性的任务上产生了令人印象深刻的结果,并且与预训练的多语言BERT模型相比,BERT上的上下文相关的跨语言映射产生了显着的改进。
2020-05-17 cs.CL
Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models
University of Washington(华盛顿大学);Meta AI Research(Meta人工智能研究院)
多语言预训练模型中出现的跨语言迁移引发了人们对研究其行为的极大兴趣。然而,由于这些分析都集中在完全训练的多语言模型上,因此对多语言预训练过程的动态知之甚少。我们调查了这些模型何时通过使用一套语言任务探测从整个XLM-R预训练中获取的检查点来获得语言和跨语言能力。我们的分析表明,该模型在早期实现了较高的语言性能,在更复杂的语言技能之前获得了较低水平的语言技能。相比之下,当模型学习跨语言迁移时,预训练的点在不同的语言对之间是不同的。有趣的是,我们还观察到,在许多语言和任务中,最终模型层随着时间的推移表现出显着的性能下降,而语言知识传播到网络的较低层。总的来说,这些见解突出了多语言预训练的复杂性,以及随着时间的推移,不同语言的不同行为。
2022-10-22 cs.CL
A Resource-Free Evaluation Metric for Cross-Lingual Word Embeddings Based on Graph Modularity
University of Colorado(科罗拉多大学);University of Maryland(马里兰大学)
跨语言词嵌入将不同语言的词的含义编码到共享的低维空间中。许多下游任务的重要要求是单词相似性应该独立于语言-即,一种语言中的词向量彼此之间的相似性不应超过与另一种语言中的词之间的相似性。我们使用模块化来衡量这一特性,模块化是一种网络测量方法,可以测量图中集群的强度。模块化与三个下游任务有中度到强烈的相关性,即使模块化仅基于嵌入的结构,并且不需要任何外部资源。我们通过实验表明,模块化可以作为一个内在的验证指标,以提高无监督的跨语言词嵌入,特别是在低资源设置的遥远的语言对。
2019-06-05 cs.CL
Cross-Lingual Abstractive Summarization with Limited Parallel Resources
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology(东南信息研究院)
并行跨语言摘要数据是稀缺的,需要模型更好地利用有限的可用跨语言资源。现有的方法通常采用具有多任务框架的序列到序列网络。这种方法应用多个解码器,每个解码器用于特定任务。然而,这些独立的解码器没有共享参数,因此无法捕获不同语言的摘要的离散短语之间的关系,从而断开连接,以便将高资源语言的知识转移到低资源语言。为了弥合这些连接,我们提出了一种新的跨语言抽象摘要(MCLAS)在低资源设置的多任务框架。采用一个统一的解码器来生成单语和跨语言摘要的顺序连接,MCLAS使单语摘要任务成为跨语言摘要(CLS)任务的先决条件。通过这种方式,共享解码器学习涉及跨语言的对齐和摘要模式的交互,这鼓励实现知识转移。在两个CLS数据集上的实验表明,我们的模型在低资源和全数据集的情况下都显着优于三个基线模型。此外,对生成的摘要和注意力头的深入分析验证了使用MCLAS很好地学习交互,这有利于在有限的并行资源下的CLS任务。
2021-06-13 cs.CL
Incorporating Lexical and Syntactic Knowledge for Unsupervised Cross-Lingual Transfer
Tsinghua University(清华大学);Beijing Ultrapower Software Co.,Ltd.(北京神州泰岳软件股份有限公司)
针对无监督跨语言迁移中词汇与句法知识未能结合的问题,提出融合两者的 Lexicon-Syntax Enhanced Multilingual BERT 框架,通过代码切换和句法图注意力网络增强 mBERT,在多项零样本任务上持续优于基线。
2024-04-25 cs.CL
Cross-lingual Word Segmentation and Morpheme Segmentation as Sequence Labelling
Uppsala University(乌普萨拉大学)
本文介绍了我们为MLP 2017跨语言分词和词素分割共享任务开发的分割系统。我们将单词和词素分割建模为字符级序列标签任务。采用以条件随机场为输出接口的双向递归神经网络作为基线系统,并通过集成解码对其进行进一步改进。我们的通用系统适用于所有官方数据集,并对其进行了广泛评价,而没有进行任何针对具体语文的调整。官方的评估结果表明,该模型实现了出色的准确性,无论是在各种类型的所有语言的词和语素分割相比,其他参与系统。
2017-09-12 cs.CL
Multi-Task Cross-Lingual Sequence Tagging from Scratch
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个用于序列标记的深度层次递归神经网络。给定一个单词序列,我们的模型在字符和单词级别上采用深度门控递归单元来编码形态和上下文信息,并应用条件随机场层来预测标签。我们的模型是任务独立的,语言独立的,和功能工程免费。通过共享架构和参数,我们进一步将模型扩展到多任务和跨语言联合训练。我们的模型在多个基准任务(包括POS标记,组块和NER)上以多种语言实现了最先进的结果。我们还证明了多任务和跨语言联合训练可以提高各种情况下的性能。
2016-08-09 cs.CL cs.LG
Cross-lingual Transfer of Abstractive Summarizer to Less-resource Language
University of Ljubljana(卢布尔雅那大学)
自动文本摘要从文本中提取重要信息并以摘要的形式呈现。通过切换到深度神经网络,抽象摘要方法取得了显著进展,但结果还不令人满意,特别是对于不存在大型训练集的语言。在几个自然语言处理任务中,跨语言模型转移成功地应用于资源较少的语言。对于总结,由于神经模型的不可重用解码器侧不能纠正目标语言生成,因此未尝试跨语言模型传输。在我们的工作中,我们使用基于深度神经网络和序列到序列架构的预训练英语摘要模型来总结斯洛文尼亚新闻文章。我们通过使用一个额外的语言模型来评估生成的文本在目标语言的解码器不足的问题。我们测试了几个跨语言摘要模型与不同数量的目标数据进行微调。我们用自动评估措施评估模型,并进行小规模的人工评估。自动评估表明,我们最好的跨语言模型的摘要是有用的,质量类似于只在目标语言训练的模型。人工评估表明,我们的最佳模型生成的摘要具有较高的准确性和可接受的可读性。然而,与其他抽象模型类似,我们的模型并不完美,偶尔可能会产生误导或荒谬的内容。
2021-09-02 cs.CL cs.LG
Unsupervised Cross-lingual Transfer of Word Embedding Spaces
Carnegie Mellon University(卡内基梅隆大学)
词嵌入的跨语言迁移旨在通过学习相应词嵌入空间上的转换函数来建立不同语言中词之间的语义映射。成功地解决这个问题将有利于许多下游任务,例如将文本分类模型从资源丰富的语言(例如英语)翻译为低资源语言。这个问题的监督方法依赖于跨语言监督的可用性,使用平行语料库或双语词典作为训练的标记数据,这可能不适用于许多低资源语言。本文提出了一种不需要任何跨语言标记数据的无监督学习方法。给定两个单语词嵌入空间的任何语言对,我们的算法优化的转换功能,同时在两个方向上的分布匹配的基础上,以及最大限度地减少回译损失。我们使用一个神经网络实现来计算Sinkhorn距离,一个定义良好的分布相似性度量,并通过反向传播优化我们的目标。我们对双语词典归纳和跨语言单词相似性预测的基准数据集的评估显示,与许多语言对的其他最先进的监督和无监督基线方法相比,所提出的方法具有更强或竞争力的性能。
2018-09-10 cs.CL
The effectiveness of unsupervised subword modeling with autoregressive and cross-lingual phone-aware networks
Delft University of Technology(代尔夫特理工大学)
这项研究解决了无监督子字建模,即,学习可以区分语言的子字单元的声学特征表示。我们提出了一个两阶段的学习框架,结合了自我监督学习和跨语言知识转移。该框架由自回归预测编码(APC)作为前端和跨语言深度神经网络(DNN)作为后端组成。使用Libri-light和ZeroSpeech 2017数据库进行的ABX子词可辨别性任务的实验表明,我们的方法具有竞争力或优于最先进的研究。在音素和发音特征(AF)层面上的全面系统的分析表明,我们的方法在捕获双元音信息方面优于单元音信息,同时也观察到不同类型辅音的信息量存在差异。此外,一个正相关的后端捕获音素的信息和跨语言的音素标签分配给音素的质量之间的有效性。AF级分析和t-SNE可视化结果表明,该方法在获取发音方式和位置信息、元音高度和后元音信息方面优于MFCC和APC特征。综合分析,我们的方法中的两个阶段都是有效的捕获音素和AF信息。然而,单元音的元音信息捕获不如辅音信息,这表明未来的研究应该集中在提高单元音元音信息的捕获。
2021-04-28 cs.CL cs.SD eess.AS
Disentangled Sequence to Sequence Learning for Compositional Generalization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
越来越多的证据表明,现有的神经网络模型,特别是非常流行的序列到序列架构,很难系统地推广到可见组件的不可见组成。我们证明了阻碍合成泛化的原因之一与表征纠缠有关。我们提出了一个扩展序列到序列模型,鼓励解开自适应重新编码(在每个时间步)的源输入。具体来说,我们将源表示条件化为新解码的目标上下文,这使得编码器更容易为每个预测利用专门的信息,而不是在单个前向传递中捕获所有信息。语义解析和机器翻译的实验结果表明,我们的建议提供了更多的解纠缠表示和更好的泛化。
2022-03-22 cs.CL
The Analysis about Building Cross-lingual Sememe Knowledge Base Based on Deep Clustering Network
Shizuoka Institute of Science and Technology(静冈理工科大学)
义位是人类语言的最小语义单位。义素知识库(KBs)包含用义素注释的单词,已成功应用于许多NLP任务,我们相信通过学习最小的意义单位,计算机可以更容易地理解人类语言。然而,现有的义素知识库都是建立在人工标注的基础上,人工标注存在个人理解偏差,而且词汇的意义会随着时代的发展而不断更新和变化,人工方法并不总是实用的。为了解决这个问题,我们提出了一种基于深度聚类网络(DCN)的无监督方法来构建义素知识库,您可以使用任何语言通过这种方法构建知识库。我们首先学习多语言单词的分布式表示,使用MUSE在单个向量空间中对齐它们,通过自我注意力机制学习每个单词的多层含义,并使用DNC聚类义位特征。最后,我们只使用英语的10维义位空间完成了预测。我们发现,在低维空间中仍然可以保留义素的主要特征。
2022-08-10 cs.CL
A Knowledge-Enhanced Adversarial Model for Cross-lingual Structured Sentiment Analysis
East China Normal University(华东师范大学);Shanghai Open University(上海开放大学)
结构化情感分析旨在提取持有者、表情、目标、极性等复杂的语义结构,得到了业界和学术界的广泛关注。遗憾的是,现有的结构化情感分析数据集涉及几种语言并且相对较小,限制了神经网络模型的性能。在本文中,我们专注于跨语言结构化的情感分析任务,其目的是将知识从源语言转移到目标语言。值得注意的是,我们提出了一个知识增强的对抗模型(\texttt{KEAM})与隐式分布和显式结构知识,以提高跨语言迁移。首先,我们设计了一个对抗嵌入适配器,通过自适应地从不同的多语言嵌入中捕获隐含的语义信息来学习信息丰富和鲁棒的表示。然后,我们提出了一个语法GCN编码器来传输显式语义信息(例如,通用依赖关系树)。我们在五个数据集上进行了实验,并将\texttt{KEAM}与有监督和无监督方法进行了比较。大量的实验结果表明,我们的\texttt{KEAM}模型优于所有的无监督基线在各种指标。
2022-05-31 cs.CL
Effects of Language Relatedness for Cross-lingual Transfer Learning in Character-Based Language Models
Aalto University(阿尔托大学);Helsinki University(赫尔辛基大学);Inscripta(Inscripta公司)
与基于多字符单元的神经网络语言模型相比,基于神经网络的神经网络语言模型(NNLM)具有更小的词汇量和更快的训练时间的优势。然而,在低资源的情况下,字符和多字符NNLM遭受数据稀疏。在这种情况下,跨语言迁移通过允许从源语言到目标语言的信息迁移,提高了多字符NNLM的性能。同样,我们建议使用跨语言迁移的字符NNLM应用于低资源的自动语音识别(ASR)。然而,将跨语言迁移应用于字符NNLM并不那么简单。我们观察到源语言的相关性在字符NNLM的跨语言预训练中起着重要的作用。我们评估这方面的ASR任务的两个目标语言:芬兰语(英语和爱沙尼亚语作为源)和瑞典语(丹麦语,挪威语和英语作为源)。先前的工作没有观察到使用相关或不相关的语言多字符NNLM之间的差异。然而,我们表明,对于基于字符的NNLM,只有使用相关语言进行预训练才能提高ASR性能,使用不相关的语言可能会使其恶化。我们还观察到,当目标数据比源数据少得多时,好处更大。
2020-07-22 cs.CL
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的,在微调过程中看不到。尽管取得了令人鼓舞的成果,但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析,我们表明,多语言BERT,一个流行的多语言语言模型,可以被看作是两个子网络的堆叠:一个多语言编码器,然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要,并且在微调期间基本保持不变,但任务预测器对迁移的重要性很小,并且可以在微调期间重新初始化。我们提出了广泛的实验,三个不同的任务,17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
Aligning Cross-Lingual Entities with Multi-Aspect Information
University of Waterloo(滑铁卢大学);Singapore University of Technology and Design(新加坡科技设计大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
多语言知识图谱(KG),如YAGO和DBpedia,表示不同语言的实体。跨语言实体对齐的任务是将源语言中的实体与目标语言中的对应实体进行匹配。在这项工作中,我们研究了基于嵌入的方法来编码实体从多语言KG到相同的向量空间,其中等效实体彼此接近。具体来说,我们应用图卷积网络(GCN)结合实体的多方面信息,包括拓扑连接,关系和实体的属性,学习实体嵌入。为了利用以不同语言表达的实体的文字描述,我们提出了两种使用预训练的多语言BERT模型来弥合跨语言差距。我们进一步提出了两种策略来集成基于GCN和基于BERT的模块,以提高性能。在两个基准数据集上的大量实验表明,我们的方法显着优于现有的系统。
2019-10-15 cs.CL
Contrastive Language Adaptation for Cross-Lingual Stance Detection
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们研究跨语言的立场检测,其目的是利用一种语言的标记数据,以确定相对的角度(或立场)的一个给定的文件相对于一个不同的目标语言的索赔。特别是,我们介绍了一种新的对比语言适应方法应用于记忆网络,它确保了准确对齐的立场在源和目标语言,并能有效地处理有限的标记数据在目标语言的挑战。公共基准数据集上的评估结果以及与当前最先进方法的比较表明了该方法的有效性。
2019-10-04 cs.CL cs.LG
Cross-Lingual Cross-Platform Rumor Verification Pivoting on Multimedia Content
University of California, Davis(加州大学戴维斯分校)
随着智能设备的日益普及,带有多媒体内容的谣言在社交网络上变得越来越普遍。多媒体信息通常使谣言看起来更有说服力。因此,寻找一种自动的方法来验证谣言与多媒体内容是一个紧迫的任务。以前的谣言验证研究只利用多媒体作为输入特征。我们建议不使用多媒体内容,而是在其他新闻平台上找到外部信息,我们引入了一个新的特征集,跨语言跨平台的功能,利用谣言和外部信息之间的语义相似性。当实现时,利用这些特征的机器学习方法实现了最先进的谣言验证结果。
2018-08-28 cs.CL cs.SI
On Difficulties of Cross-Lingual Transfer with Order Differences: A Case Study on Dependency Parsing
University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学)
不同的语言可能有不同的词序。在本文中,我们研究了跨语言迁移,并证明了顺序无关模型在向远距离外语迁移时会表现得更好。为了验证我们的假设,我们训练依赖解析器上的英语语料库,并评估其传输性能的30种其他语言。具体来说,我们比较了基于递归神经网络(RNNs)和改进的自关注架构的编码器和解码器。前者依赖于顺序信息,而后者在建模词序方面更灵活。严格的实验和详细的分析表明,基于RNN的架构可以很好地迁移到接近英语的语言,而自我关注的模型具有更好的整体跨语言可迁移性,并且在遥远的语言上表现得特别好。
2019-04-17 cs.CL cs.LG
Aligned Weight Regularizers for Pruning Pretrained Neural Networks
Huawei Research Center(华为研究中心)
虽然各种途径的研究已经探索了迭代修剪,很少有人知道修剪有什么影响的zero-shot测试性能和修剪标准的选择其潜在的影响。这种修剪设置对于在预训练期间隐式学习语言表示之间的对齐的跨语言模型特别重要,如果通过修剪而扭曲,不仅会导致用于再训练的语言数据的性能较差,而且还会导致评估的zero-shot语言的性能较差。在这项工作中,我们表明,有一个明显的性能差异,在基于幅度的修剪时,比较标准的监督学习的zero-shot设置。根据这一发现,我们提出了两个权重正则化器,旨在最大限度地提高修剪和未修剪网络单元之间的对齐度,以减轻修剪跨语言模型中的对齐失真,并在非zero-shot和zero-shot设置下表现良好。我们提供的实验结果跨语言任务的zero-shot设置使用XLM-RoBERTa $_{\mathrm{Base}}$,我们还发现,修剪有不同程度的代表性退化取决于对应的语言的zero-shot测试集。这也是第一个研究,重点是跨语言的语言模型压缩。
2022-04-05 cs.CL cs.LG