Language Embeddings for Typology and Cross-lingual Transfer Learning
University of California, Davis(加州大学戴维斯分校)
跨语言的语言任务通常需要大量的注释数据或并行翻译数据。我们探讨语言表征,捕捉语言之间的关系是否可以学习,并随后利用跨语言的任务,而不使用并行数据。我们使用去噪自动编码器为29种语言生成密集嵌入,并使用世界语言结构地图集(WALS)和两个外部任务在zero-shot设置中评估嵌入:跨语言依存句法分析和跨语言自然语言推理。
2021-06-03 cs.CL
A survey of cross-lingual features for zero-shot cross-lingual semantic parsing
Georgia Institute of Technology(佐治亚理工学院);Samsung AI Center(三星人工智能中心);University of Edinburgh(爱丁堡大学)
利用语料库来训练英语语义分析器,已经在该领域取得了重大进展。不幸的是,对于英语以外的语言,注释是稀缺的,所以是发达的解析器。然后我们会问:一个用英语训练的解析器可以应用于它没有被训练过的语言吗?为了回答这个问题,我们探索zero-shot跨语言语义解析,其中我们训练可用的从粗到细的语义解析器(Liu et al.,2018)使用跨语言词嵌入和英语中的通用依赖关系,并在意大利语,德语和荷兰语上进行测试。并行意义库(一个多语言语义图库)的结果表明,当与其他词汇特征结合使用时,通用依赖特征显着提高了性能,但在对输入进行编码时,直接对UD结构进行建模则不会。
2019-08-27 cs.CL
Syntax-augmented Multilingual BERT for Cross-lingual Transfer
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Facebook AI(脸书人工智能研究院)
近年来,我们已经看到了巨大的努力,在预训练多语言文本编码器使用大规模语料库在许多语言,以促进跨语言迁移学习。然而,由于语言之间的类型差异,跨语言迁移是具有挑战性的。然而,语言语法,例如,句法依赖,可以弥合类型学的差距。以前的工作表明,预先训练的多语言编码器,如mBERT \cite{devlin-etal-2019-bert},捕获语言语法,帮助跨语言迁移。这项工作表明,明确提供语言语法和训练mBERT使用辅助目标编码的通用依赖树结构有助于跨语言迁移。我们对四个NLP任务进行了严格的实验,包括文本分类,问答,命名实体识别和面向任务的语义解析。实验结果表明,语法增强的mBERT提高跨语言迁移在流行的基准测试,如PAWS-X和MLQA,平均1.4和1.6点,在所有语言。在\emph{generalized}转移设置中,表现显著提升,PAWS-X和MLQA的平均得分分别为3.9和3.1分。
2021-06-03 cs.CL
Self-Translate-Train: Enhancing Cross-Lingual Transfer of Large Language Models via Inherent Capability
SB Intuitions
针对多语言预训练模型零样本跨语言迁移中语言内部表示不对齐的问题,提出Self-Translate-Train方法,利用LLMs自身将训练数据译为目标语言并自训练,效果优于零样本迁移,为激发LLMs跨语言能力提供新思路。
2024-09-17 cs.CL
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University(乔治华盛顿大学);AWS, Amazon AI(亚马逊云科技,亚马逊人工智能)
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法,例如监督推理分类器,Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架:联合建模,表示迁移学习和句子映射,使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法,用于神经句子嵌入的模块化跨语言对齐,与内在和外在评估中的联合模型相比,我们观察到更好的性能,特别是较小的并行数据集。
2019-04-11 cs.CL
Realistic Zero-Shot Cross-Lingual Transfer in Legal Topic Classification
Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd(Cognitiv+有限公司);University of Copenhagen(哥本哈根大学)
我们考虑zero-shot跨语言迁移在法律主题分类使用最近的MultiEURLEX数据集。由于原始数据集包含并行文档,这是不现实的zero-shot跨语言迁移,我们开发了一个新版本的数据集没有并行文档。我们使用它来证明基于简化的方法大大优于多语言预训练模型的跨语言微调,这是MultiEURLEX之前最好的zero-shot传输方法。我们还开发了一个双语教师-学生zero-shot传输方法,利用额外的未标记的文件的目标语言,并表现得更好的模型微调直接标记的目标语言文件。
2022-06-08 cs.CL
Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
本文对比零资源跨语言序列标注的数据迁移与模型迁移,发现零样本高容量多语言语言模型整体优于翻译与标注投影,但后者在缺乏此类模型时仍具竞争力。
2023-04-27 cs.CL
Improving cross-lingual model transfer by chunking
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Dept. of Computer Science and Engg.(计算机科学与工程系)
为了更有效地处理源语言和目标语言之间的句法差异,我们提出了一种浅层解析器引导的跨语言模型迁移方法。在这项工作中,我们假设一个句子中的块或短语作为转移单位,以解决由于单词在短语中的顺序和短语在句子中的顺序的差异而产生的源语言和目标语言之间的句法差异。
2020-02-27 cs.CL
Cross-lingual Semantic Role Labeling with Model Transfer
Wuhan University(武汉大学);Tianjin University(天津大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
已有研究表明,跨语言语义角色标注可以在通用特征的帮助下通过模型迁移实现。在本文中,我们填补了跨语言SRL的空白,提出了一个端到端的SRL模型,结合了各种通用的功能和传输方法。我们研究了双语迁移和多源迁移,根据黄金或机器生成的句法输入,预训练的高阶抽象特征,和上下文化的多语言单词表示。在通用命题库语料库上的实验结果表明,跨语言SRL的性能可以通过利用不同的跨语言特征而变化。此外,功能是否是黄金标准也会对性能产生影响。准确地说,我们发现,黄金语法功能是更重要的跨语言SRL相比,自动生成的。此外,通用依赖结构特征能够提供最好的帮助,预训练的高阶特征和上下文化的单词表示都可以进一步带来显着的改进。
2020-08-24 cs.CL
Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
适配器模块,附加的可训练参数,使预训练的Transformers的有效微调,最近已被用于语言专业化的多语言Transformers,改善下游zero-shot跨语言迁移。在这项工作中,我们提出了正交的语言和任务适配器(称为orthoadapters)的跨语言迁移。他们被训练编码语言和任务特定的信息,这是互补的(即,正交)到已经存储在预训练的Transformer的参数中的知识。我们的zero-shot跨语言迁移实验,涉及三个任务(POS标记,NER,NLI)和一组10种不同的语言,1)指出了orthoadapters在跨语言迁移中的有用性,特别是对于最复杂的NLI任务,但也2)表明,最佳适配器配置高度依赖于任务和目标语言。我们希望我们的工作将激发更广泛的调查的有用性的正交约束的语言和任务特定的微调预训练的Transformers。
2020-12-11 cs.CL
A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning
Peking University(北京大学);Tencent Research(腾讯研究院)
现有的zero-shot跨语言迁移方法依赖于并行语料库或双语词典,这是昂贵的,不切实际的低资源的语言。为了摆脱这些依赖性,研究人员探索了在仅英语资源上训练多语言模型,并将其转移到低资源语言上。然而,它的效果是有限的嵌入集群之间的差距,不同的语言。为了解决这个问题,我们提出了嵌入推,注意力拉,和鲁棒的目标转移英语嵌入虚拟多语言嵌入没有语义损失,从而提高跨语言的可转移性。在mBERT和XLM-R上的实验结果表明,该方法在zero-shot跨语言文本分类任务上的性能明显优于以往的方法,并且能够获得更好的多语言对齐效果。
2022-10-18 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town(开普敦大学)
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响,发现子词正则化促进多语言建模协同,BPE更利于跨语言微调,并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer
University of Copenhagen(哥本哈根大学);Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd.(Cognitiv+ 有限公司)
我们介绍了MULTI-EURLEX,一个新的多语言数据集的主题分类的法律文件。该数据集包含65,000条欧盟(EU)法律,官方翻译为23种语言,并使用EUROVOC分类法的多个标签进行注释。我们强调时间概念漂移的影响和时间顺序的重要性,而不是随机分裂。我们使用数据集作为zero-shot跨语言迁移的测试平台,其中我们利用一种语言(源)中的注释训练文档对另一种语言(目标)中的文档进行分类。我们发现,在单一源语言中微调多语言预训练模型(XLM-ROBERTA,MT5)会导致灾难性的多语言知识遗忘,因此,到其他语言的zero-shot迁移很差。适应策略,即部分微调,适配器,BITFIT,LNFIT,最初提出来加速新的最终任务的微调,有助于保留预训练的多语言知识,大大提高zero-shot跨语言迁移,但它们的影响也取决于所使用的预训练模型和标签集的大小。
2021-09-06 cs.CL
CLICKER: Attention-Based Cross-Lingual Commonsense Knowledge Transfer
Amazon Alexa AI(亚马逊Alexa人工智能部门)
跨语言常识推理(CSR)的最新进展是由多语言预训练模型(mPTM)的发展促进的。虽然mPTM显示出为不同语言编码常识知识的潜力,但将在大规模英语语料库中学习到的常识知识转移到其他语言是具有挑战性的。为了解决这个问题,我们提出了基于注意力的跨语言常识知识搜索器(CLICKER)框架,它最大限度地减少了英语和非英语语言之间的性能差距在常识问答任务。CLICKER通过区分非常识知识和常识知识,有效地提高了非英语语言的常识推理。在公共基准测试上的实验结果表明,CLICKER在英语以外的跨语言CSR任务中取得了显着的改善。
2023-02-26 cs.CL
Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders
University of Göttingen(哥廷根大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Saarland University(萨尔大学)
研究发现跨语言对齐与下游任务目标存在正交性,导致对齐效果因语言和任务类型而异,提出结合对齐与任务微调的实用指南。
2026-09-28 cs.CL
Are Multilingual Models Actually Improving? Revisiting Cross-Lingual Transfer
Google DeepMind(谷歌DeepMind);Indian Institute of Technology Bombay(印度理工学院孟买分校)
提出硬度调整迁移(HAT)分数以准确衡量跨语言迁移强度,发现小模型迁移未失效、随模型大小迁移进步慢于预期、但随时间推移有明显进步。
2026-11-10 cs.CL
Sharing, Teaching and Aligning: Knowledgeable Transfer Learning for Cross-Lingual Machine Reading Comprehension
South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团)
提出X-STA方法,通过注意力教师迁移答案跨度、梯度解缠知识共享和多粒度语义对齐,提升跨语言机器阅读理解性能,在三个数据集上超越现有最优方法。
2023-11-12 cs.CL
Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
预训练的多语言编码器,如多语言BERT和XLM-R,显示出巨大的潜力,zero-shot跨语言迁移。然而,这些多语言编码器并不能精确地对齐不同语言的单词和短语。特别是,在多语言嵌入空间中学习对齐通常需要词级或词级并行语料库,这对于低资源语言来说是昂贵的。另一种方法是使多语言编码器更鲁棒;当使用下游任务微调编码器时,我们训练编码器以容忍上下文嵌入空间中的噪声,使得即使不同语言的表示没有很好地对齐,模型仍然可以在zero-shot跨语言迁移上实现良好的性能。在这项工作中,我们提出了一种学习策略,通过绘制对抗性示例和zero-shot跨语言迁移失败案例之间的联系来训练鲁棒模型。我们采用两种广泛使用的鲁棒训练方法,对抗训练和随机平滑,训练所需的鲁棒模型。实验结果表明,鲁棒训练提高了文本分类任务的zero-shot跨语言迁移。这种改进在广义跨语言迁移设置中更为显著,其中输入句子对属于两种不同的语言。
2021-09-10 cs.CL
X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Adobe Research(Adobe研究院)
多语言模型,如M-BERT和XLM-R,由于其zero-shot跨语言迁移学习能力而越来越受欢迎。然而,他们的泛化能力仍然是不一致的类型多样的语言和不同的基准。最近,元学习作为一种在低资源情况下增强迁移学习的有前途的技术引起了人们的关注:特别是对于自然语言理解(NLU)中的跨语言迁移。在这项工作中,我们提出了X-METRA-ADA,一个跨语言的MEta-迁移学习自适应方法的NLU。我们的方法适应MAML,一种基于优化的元学习方法,学习适应新的语言。我们广泛评估我们的框架上两个具有挑战性的跨语言NLU任务:多语言任务导向的对话和类型多样的问答。我们表明,我们的方法优于天真的微调,达到竞争力的性能在大多数语言的任务。我们的分析表明,X-METRA-ADA可以利用有限的数据进行更快的适应。
2021-06-01 cs.CL
Soft Layer Selection with Meta-Learning for Zero-Shot Cross-Lingual Transfer
University of Maryland(马里兰大学);Amazon AI(亚马逊人工智能)
多语言预训练的上下文嵌入模型(Devlin等人,2019)在zero-shot跨语言迁移任务上取得了令人印象深刻的表现。找到最有效的微调策略来微调高资源语言上的这些模型,使其能够很好地转移到zero-shot语言是一项重要的任务。在本文中,我们提出了一种新的元优化器来软选择预训练模型的哪些层在微调期间冻结。我们通过模拟zero-shot传输场景来训练元优化器。跨语言自然语言推理的结果表明,我们的方法优于简单的微调基线和X-MAML(Nooralahzadeh等人,2020年)。
2021-07-21 cs.CL
Understanding Cross-Lingual Alignment -- A Survey
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Centre for Machine Learning (MCML)(慕尼黑机器学习中心);Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院);Technical University of Munich(慕尼黑工业大学)
本文综述了多语言模型中跨语言对齐的改进技术,提出方法分类,并指出语言中立与语言特定信息的有效权衡是未来关键。
2024-06-11 cs.CL
Cross-Lingual Transfer for Distantly Supervised and Low-resources Indonesian NER
Kata Research Team, Kata.ai(Kata研究团队,Kata.ai)
本文提出通过预训练语言模型进行跨语言迁移,提升小规模标注和大但远监督数据集的命名实体识别性能,实验显示在无平行标注情况下效果显著。
2019-07-25 cs.CL
Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning?
University of Helsinki(赫尔辛基大学);Universite Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文研究了将机器翻译作为持续训练目标以桥接多语言预训练与跨语言应用的潜力,发现显式句子级对齐不仅未能增强跨语言表征学习,反而因输出可分性对跨语言迁移预训练产生有害影响。
2024-03-25 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University(乌普萨拉大学);Dep. of Linguistics and Philology(语言学与文献学系)
我们探讨了多语言神经机器翻译模型的可移植性,看不见的语言时,转移是完全基于跨语言的词嵌入。我们的实验结果表明,翻译知识可以弱迁移到其他语言,可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面,并建议如何减轻限制。
2020-11-03 cs.CL
Unknown Script: Impact of Script on Cross-Lingual Transfer
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文研究源语言及文字对跨语言迁移的影响,通过多种分词方式预训练的单语与多语模型实验,证明分词器比共享文字、语言相似性和模型规模更关键。
2024-05-07 cs.CL
Selected Languages are All You Need for Cross-lingual Truthfulness Transfer
Microsoft STC Asia(微软亚洲技术中心)
本文提出一种名为FaMSS的跨语言真实性迁移方法,通过语言偏差和迁移贡献选择最优语言子集并采用翻译指令微调,有效减少了多语言表示差异并提升了LLMs的跨语言真实性。
2025-03-03 cs.CL
Feature Aggregation in Zero-Shot Cross-Lingual Transfer Using Multilingual BERT
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院)
多语言BERT(mBERT)是一种在大型多语言语料库上预训练的语言模型,具有令人印象深刻的zero-shot跨语言迁移能力,在zero-shot词性标注和命名实体识别(NER)以及跨语言模型迁移方面表现令人惊讶。目前,解决跨语言下游任务的主流方法都是使用mBERT最后一个Transformer层的输出作为语言信息的表示。在这项工作中,我们探讨了mBERT的最后一个Transformer层的低层的互补性。提出了一种基于注意力机制的特征聚合模块,用于融合mBERT中不同层次的信息。在四个zero-shot跨语言迁移数据集上进行了实验,所提方法在关键多语言基准任务XNLI(+1.5%)、PAWS-X(+2.4%)、NER(+1.2 F1)和POS(+1.5 F1)上获得了性能提升。通过对实验结果的分析,我们证明了mBERT最后一层之前的层可以为跨语言的下游任务提供额外的有用信息,并从经验上探讨了mBERT的可解释性。
2022-05-17 cs.CL
Improving Zero-shot Cross-lingual Transfer between Closely Related Languages by injecting Character-level Noise
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
高资源语言与其方言或密切相关的语言变体之间的跨语言迁移应通过它们的相似性来促进。然而,目前在嵌入空间中操作的方法不考虑表面相似性。这项工作提出了一个简单而有效的策略,以改善密切相关的品种之间的跨语言迁移。我们建议用字符级噪声来增强高资源源语言的数据,以使模型对拼写变化更加鲁棒。我们的策略在几种语言和任务上显示出一致的改进:从芬兰语,西日耳曼语和北日耳曼语,以及西方罗曼语分支的语言品种之间的POS标记和主题识别的Zero-shot转移。我们的工作提供了证据的有用性,简单的表面噪声在提高语言品种之间的转移。
2022-03-11 cs.CL
Domain Mismatch Doesn't Always Prevent Cross-Lingual Transfer Learning
Amazon(亚马逊);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
没有标记的目标语言数据或平行文本的跨语言迁移学习在zero-shot跨语言分类、问答、无监督机器翻译等方面令人惊讶地有效。然而,最近的一些出版物声称域失配阻止了跨语言迁移,他们的研究结果表明,无监督双语词典归纳(UBLI)和无监督神经机器翻译(UNMT)当底层单语语料库来自不同的领域(例如,法文本来自维基百科,英文文本来自联合国会议记录)。在这项工作中,我们表明,一个简单的初始化方案可以克服大部分的影响域不匹配的跨语言迁移。我们在连接的领域不匹配语料库上预训练单词和上下文嵌入,并将其用作三个任务的初始化:MUSE UBLI,UN Parallel UNMT和SemEval 2017跨语言单词相似性任务。在所有情况下,我们的研究结果挑战先前工作的结论,表明适当的初始化可以恢复域不匹配所造成的损失的很大一部分。
2022-11-30 cs.CL
Exploring Cross-lingual Textual Style Transfer with Large Multilingual Language Models
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Technical University of Munich(慕尼黑工业大学)
去歧义是指在保持原文的意义和流畅性的同时,以礼貌的方式生成文本。现有的解毒方法被设计成以一种确切的语言工作。这项工作调查了多语言和跨语言解毒以及大型多语言模型的行为,如在这种情况下。与以前的作品,我们的目标是使大语言模型能够执行解毒,而无需直接微调给定的语言。实验表明,多语言模型能够进行多语言风格迁移。然而,模型无法进行跨语言解毒,直接对精确语言进行微调是不可避免的。
2022-06-05 cs.CL
One-Shot Neural Cross-Lingual Transfer for Paradigm Completion
LMU Munich(慕尼黑大学);Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种新的跨语言迁移方法范式完成,映射一个词元,其曲折的形式,使用神经编码器-解码器模型,最先进的单语任务的任务。我们使用来自高资源语言的标记数据来提高低资源语言的性能。在对来自四个不同语系的21个语言对的实验中,我们获得了比没有迁移时高出58%的准确率,并表明即使是zero-shot和one-shot学习也是可能的。我们进一步发现,语言的相关程度强烈影响的能力,转移形态知识。
2017-03-31 cs.CL
From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers
University of Mannheim(曼海姆大学);University of Oslo(奥斯陆大学);University of Cambridge(剑桥大学)
使用语言建模目标(例如,mBERT,XLM-R)已经成为NLP中zero-shot跨语言迁移的事实上的默认迁移范例,提供了无与伦比的迁移性能。然而,目前的下游评估,主要是验证其有效性的转移设置涉及语言与足够数量的预训练数据,并与词汇和类型学接近的语言。在这项工作中,我们分析了它们的局限性,并表明,跨语言迁移通过大规模的多语言Transformers,很像通过跨语言的词嵌入传输,是大大降低了资源贫乏的情况下,为遥远的语言。我们的实验,包括三个较低层次的任务(POS标记,依存句法分析,NER),以及两个高层次的语义任务(NLI,QA),经验相关的迁移性能与源语言和目标语言之间的语言相似性,但也与预训练语料库的大小目标语言。我们还证明了廉价的Few-Shot转移(即,在对源代码进行微调之后,对一些目标语言实例进行微调)。这表明,应投入更多的研究努力,以超越限制性的zero-shot条件。
2020-05-01 cs.CL
Cross-Cultural Similarity Features for Cross-Lingual Transfer Learning of Pragmatically Motivated Tasks
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔国立大学);Sogang University(西江大学)
跨语言迁移学习的许多工作都在探索如何为多语言任务选择更好的迁移语言,主要集中在语言之间的类型和谱系相似性上。我们假设,这些措施的语言接近是不够的,当与语用动机的任务,如情感分析。作为一种替代方案,我们引入三个语言特征,捕捉跨文化的相似性,体现在语言模式和量化不同方面的语言语用:语言上下文层次,比喻语言,和情感概念的形化。我们的分析表明,所提出的语用特征捕捉跨文化的相似性,并与现有的工作在社会语言学和语言人类学。我们进一步证实了在跨语言情感分析中选择迁移语言的下游任务中语用驱动迁移的有效性。
2021-04-08 cs.CL
Neural Cross-Lingual Transfer and Limited Annotated Data for Named Entity Recognition in Danish
Department of Computer Science(计算机科学系);ITU, IT University of Copenhagen(哥本哈根信息技术大学)
命名实体识别(NER)通过引入深度神经架构而得到了极大的发展。然而,这些方法的成功依赖于大量的训练数据。公共可用的人类标记数据集的稀缺性导致了对现有NER系统的评估有限,丹麦的情况就是如此。本文研究了丹麦语跨语言迁移的有效性,评估了其对有限的黄金数据的补充性,并揭示了丹麦语NER的性能。
2020-03-05 cs.CL
PPT: Parsimonious Parser Transfer for Unsupervised Cross-Lingual Adaptation
University of Melbourne(墨尔本大学);Amazon Research(亚马逊研究院)
跨语言迁移是在缺乏显式监督的情况下解析低资源语言的主要技术。基于多语言输入编码的简单“直接转移”学习模型提供了一个强有力的基准。本文提出了一种无监督跨语言迁移的方法,通过使用它们的输出作为隐式监督的一部分,在目标语言的无标记文本的自我训练,改进了直接迁移系统。该方法假设最少的资源,并提供最大的灵活性,通过(a)接受任何预先训练的弧因子依赖解析器;(b)假设没有访问源语言数据;(c)支持投射和非投射解析;和(d)支持多源传输。以英语作为源语言,我们显示出显着的改进,在国家的最先进的传输模型上的遥远和附近的语言,尽管我们的概念更简单的方法。我们分析了多源传输的源语言选择以及非投射解析的优势。我们的代码可在线获取。
2021-01-27 cs.CL
Zero-shot Cross-lingual Transfer is Under-specified Optimization
Johns Hopkins University(约翰斯·霍普金斯大学)
预训练的多语言编码器能够实现zero-shot跨语言迁移,但通常会产生不可靠的模型,这些模型在目标语言上表现出高性能差异。我们假设这种高方差是由于zero-shot跨语言迁移解决了一个未指定的优化问题。我们发现,任何线性插值模型之间的源语言单语模型和源+目标双语模型具有同样低的源语言泛化误差,但目标语言泛化误差减少平滑和线性,因为我们从单语双语模型,这表明该模型的斗争,以确定良好的解决方案,为源和目标语言单独使用源语言。此外,我们还发现zero-shot解位于目标语言错误泛化曲面的非平坦区域,导致了高方差。
2022-07-12 cs.CL
Cross-Lingual Text Classification with Minimal Resources by Transferring a Sparse Teacher
Columbia University(哥伦比亚大学)
跨语言文本分类通过利用来自其他语言的标记文档来消除对目标语言的手动标记文档的需要。现有的跨语言转移监督的方法需要昂贵的跨语言资源,如并行语料库,而不太昂贵的跨语言表示学习方法训练分类器没有目标标记的文件。在这项工作中,我们提出了一个跨语言的师生方法,CLTS,产生“弱”的监督,在目标语言使用最少的跨语言资源,在少量的单词翻译的形式。在有限的翻译预算下,CLTS只提取和传输跨语言的最重要的特定于任务的种子词,并基于翻译后的种子词创建教师分类器。然后,CLTS迭代地训练一个更强大的学生,该学生也利用了未标记的目标文档中的种子词的上下文,并且表现优于教师。CLTS在18种不同的语言中非常简单和有效:通过转移20个种子词,即使是一个词袋逻辑回归学生也优于最先进的跨语言方法(例如,基于多语言BERT)。此外,CLTS可以适应任何类型的学生分类器:利用单语BERT学生导致进一步的改进,并在准确性上超过更昂贵的方法高达12%。最后,CLTS只使用少量的单词翻译来解决低资源语言中的新兴任务。
2020-10-06 cs.CL
Cross-lingual Transfer Can Worsen Bias in Sentiment Analysis
University of Edinburgh(爱丁堡大学)
本研究通过反事实评估发现,情感分析中使用跨语言迁移通常比单语迁移引入更多性别和种族偏见,并发布了1,525个模型及评估代码以促进相关研究。
2023-05-22 cs.CL
Monolingual and Cross-lingual Zero-shot Style Transfer
Institute of Computer Science(计算机科学研究所)
我们介绍了不同语言之间的zero-shot风格转换的任务。我们的训练数据包括多语言平行语料库,但不包含任何风格之间的平行句子,类似于最近以前的工作。我们提出了一个统一的多语言多风格机器翻译系统的设计,允许执行zero-shot风格转换在推理过程中,而且,它这样做的单语言和跨语言。我们的模型允许增加语料库中不同风格的存在多达3倍,很容易学会操作各种收缩,并提供合理的词汇交换,因为我们看到从手动评估。
2018-08-01 cs.CL
NLPDove at SemEval-2020 Task 12: Improving Offensive Language Detection with Cross-lingual Transfer
Sogang University(西江大学);Seoul National University(首尔大学);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文介绍了我们的方法来识别攻击性语言在多语言环境中的任务。我们研究了两种数据增强策略:使用具有不同阈值的附加半监督标签和具有数据选择的跨语言迁移。与仅使用手动注释的数据集训练的基线相比,利用半监督数据集导致性能提高。我们提出了一个新的度量,翻译嵌入距离,以衡量跨语言数据选择的实例的可移植性。我们还介绍了为社交媒体文本量身定制的各种预处理步骤,以及微调预训练的多语言BERT(mBERT)以进行攻击性语言识别的方法。我们的多语言系统在2020年的OffensEval上取得了希腊语,丹麦语和土耳其语的竞争结果。
2020-08-04 cs.CL
Enhancing Cross-lingual Transfer via Phonemic Transcription Integration
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊);Harrisburg University of Science and Technology(哈里斯堡科技大学)
本文提出PhoneXL框架,通过引入音素转写作为额外模态并设计无监督对齐目标,增强不同书写系统语言间的跨语言迁移,并在CJKV语言的词元级任务上取得一致提升。
2023-07-10 cs.CL
Effects of Language Relatedness for Cross-lingual Transfer Learning in Character-Based Language Models
Aalto University(阿尔托大学);Helsinki University(赫尔辛基大学);Inscripta(Inscripta公司)
与基于多字符单元的神经网络语言模型相比,基于神经网络的神经网络语言模型(NNLM)具有更小的词汇量和更快的训练时间的优势。然而,在低资源的情况下,字符和多字符NNLM遭受数据稀疏。在这种情况下,跨语言迁移通过允许从源语言到目标语言的信息迁移,提高了多字符NNLM的性能。同样,我们建议使用跨语言迁移的字符NNLM应用于低资源的自动语音识别(ASR)。然而,将跨语言迁移应用于字符NNLM并不那么简单。我们观察到源语言的相关性在字符NNLM的跨语言预训练中起着重要的作用。我们评估这方面的ASR任务的两个目标语言:芬兰语(英语和爱沙尼亚语作为源)和瑞典语(丹麦语,挪威语和英语作为源)。先前的工作没有观察到使用相关或不相关的语言多字符NNLM之间的差异。然而,我们表明,对于基于字符的NNLM,只有使用相关语言进行预训练才能提高ASR性能,使用不相关的语言可能会使其恶化。我们还观察到,当目标数据比源数据少得多时,好处更大。
2020-07-22 cs.CL
Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets
Colorado State University(科罗拉多州立大学)
本文在13对高资源与低资源语言上评估MBERT和XLM-R在对抗扰动下的跨语言迁移表现,发现NER迁移能力主要取决于实体块重叠程度,且跨语言迁移对部分扰动更具鲁棒性。
2024-03-29 cs.CL
Analyzing the Effect of Linguistic Similarity on Cross-Lingual Transfer: Tasks and Experimental Setups Matter
Munich Center for Machine Learning(慕尼黑机器学习中心);Apple(苹果公司)
该研究针对263种多语系语言和三类NLP任务分析跨语言迁移,发现语言相似性对迁移性能的影响受任务类型、输入表示形式及相似性定义等因素制约。
2025-05-21 cs.CL
Meta-learning For Vision-and-language Cross-lingual Transfer
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
针对预训练视觉语言模型在低资源语言多模态零样本及少样本跨语言迁移中表现不佳的问题,提出基于MAML的跨语言多模态元学习微调框架,有效提升了模型在新语言上的迁移性能。
2023-10-24 cs.CL
Bilingual Alignment Pre-Training for Zero-Shot Cross-Lingual Transfer
Joint Laboratory of HIT and iFLYTEK (HFL), iFLYTEK Research(哈尔滨工业大学与科大讯飞联合实验室(HFL),科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北));State Key Laboratory of Cognitive Intelligence, iFLYTEK Research(认知智能国家重点实验室,科大讯飞研究院)
多语言预训练模型在跨语言迁移学习方面取得了显著的成绩。一些多语言模型,如mBERT,已经在未标记的语料库上进行了预训练,因此模型中不同语言的嵌入可能不会很好地对齐。为了提高zero-shot跨语言迁移的性能,本文提出了一种名为词交换对齐模型(WEAM)的预训练任务,该任务使用统计对齐信息作为先验知识来指导跨语言词预测。我们在多语言机器阅读理解任务MLQA和自然语言接口任务XNLI上评估了我们的模型。结果表明,WEAM能显著提高zero-shot性能。
2021-09-24 cs.CL
UniBridge: A Unified Approach to Cross-Lingual Transfer Learning for Low-Resource Languages
VinAI Research(VinAI研究院);Nanyang Technological University(南洋理工大学);Ho Chi Minh City University of Technology (HCMUT)(胡志明市理工大学);VNU-HCM(胡志明市国家大学)
本文提出UniBridge,通过优化嵌入初始化和词汇表大小,提升低资源语言的跨语言迁移学习效果,实验显示F1分数显著提高。
2024-08-21 cs.CL
Cross-lingual Transferring of Pre-trained Contextualized Language Models
Shanghai Jiao Tong University(上海交通大学);National Institute of Information and Communications Technology(国立信息通信技术研究所)
虽然预先训练的语境化语言模型(PrLM)对NLP产生了重大影响,但在英语以外的语言中训练PrLM可能是不切实际的,原因有二:其他语言通常缺乏足够的语料库来训练强大的PrLM,并且由于人类语言之间的共性,不同语言的计算昂贵的PrLM训练有点多余。在这项工作中,最近的工作连接跨语言模型传输和神经机器翻译的基础上,我们因此提出了一种新的跨语言模型传输框架PrLM:TreLM。为了处理语言之间的符号顺序和序列长度差异,我们提出了一个中间的“TRILayer”结构,它可以从这些差异中学习,并在我们的主要翻译方向上创建更好的迁移,以及一个新的跨语言建模目标用于迁移训练。此外,我们还展示了一种嵌入对齐,它可以逆向地适应PrLM的非上下文嵌入空间和TRILayer结构,以学习跨语言的文本转换网络,从而解决语言之间的词汇差异。语言理解和结构分析任务的实验表明,该框架显着优于语言模型训练从头开始有限的数据在性能和效率。此外,尽管与资源丰富的场景中从头开始的预训练相比,性能损失微不足道,但我们的跨语言模型传输框架显着更经济。
2021-07-27 cs.CL
Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT
Johns Hopkins University(约翰斯·霍普金斯大学)
预训练的上下文表示模型(Peters等人,2018; Devlin等人,2018年)在许多NLP任务上推动了最先进的技术。新版本的BERT(Devlin,2018)包括一个模型,该模型同时在104种语言上进行预训练,在自然语言推理任务中具有令人印象深刻的zero-shot跨语言迁移性能。本文探讨了mBERT(多语言)作为zero shot语言迁移模型在5个NLP任务上的更广泛的跨语言潜力,这些任务涵盖了来自不同语言家族的39种语言:NLI,文档分类,NER,POS标记和依存句法分析。我们将mBERT与最好的zero-shot跨语言迁移方法进行比较,发现mBERT在每个任务上都具有竞争力。此外,我们调查的最有效的策略,以这种方式利用mBERT,确定在何种程度上mBERT概括远离语言的特定功能,并测量影响跨语言迁移的因素。
2019-10-03 cs.CL
Cross-Lingual Induction and Transfer of Verb Classes Based on Word Vector Space Specialisation
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Dialogue Systems Group, University of Cambridge(剑桥大学对话系统组)
现有的自动VerbNet风格动词分类方法严重依赖于特征工程,因此仅限于具有成熟NLP管道的语言。在这项工作中,我们提出了一种新的跨语言迁移方法,诱导多语言的动词网络。据我们所知,这是第一个研究,它演示了如何学习词嵌入的架构可以应用到这个具有挑战性的句法语义任务。我们的方法使用跨语言的翻译对,以配合每六个目标语言到一个双语向量空间与英语,共同专门的表示编码的关系信息从英语VerbNet。然后,在VerbNet专用表示的基础上运行标准的聚类算法,使用向量维度作为学习动词类的特征。我们的研究结果表明,所提出的跨语言迁移方法在这项工作中探索的所有六种目标语言中设置了新的最先进的动词分类性能。
2017-07-21 cs.CL
From FusHa to Folk: Exploring Cross-Lingual Transfer in Arabic Language Models
Maastricht University(马斯特里赫特大学)
研究阿拉伯语言模型在不同方言间的跨语言迁移能力,发现迁移效果不均衡且受地理接近性影响,同时发现多方言模型存在负干扰现象。
2026-03-30 cs.CL
MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer
Technical University of Darmstadt(达姆施塔特工业大学);University of Cambridge(剑桥大学);DeepMind(深度思维)
最先进的预训练多语言模型(如多语言BERT和XLM-R)背后的主要目标是通过zero-shot或Few-Shot跨语言迁移在低资源语言中启用和引导NLP应用程序。然而,由于模型容量有限,它们的迁移性能在这些低资源语言和预训练期间未见过的语言上是最弱的。我们提出了MAD-X,一个基于适配器的框架,通过学习模块化语言和任务表示,可以实现高可移植性和参数高效传输到任意任务和语言。此外,我们还介绍了一种新的可逆适配器架构和一种强基线方法,用于将预训练的多语言模型适应新语言。MAD-X在命名实体识别和因果常识推理上跨一组典型的不同语言的跨语言迁移方面优于最先进的技术水平,并在问答上取得了有竞争力的结果。我们的代码和适配器可在AdapterHub.ml上获得
2020-10-06 cs.CL
Cross-lingual Dependency Parsing with Unlabeled Auxiliary Languages
University of Southern California(南加州大学);University of California Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学)
跨语言迁移学习已经成为解决低资源语言注释资源不足问题的重要武器。跨语言传输的基本技术之一是学习\emph{language-agnostic}表示,其形式为词嵌入或上下文编码。在这项工作中,我们建议利用辅助语言中未注释的句子来帮助学习与语言无关的表示。具体来说,我们探索了学习上下文编码器的对抗性训练,这些编码器产生跨语言的不变表示,以促进跨语言迁移。我们进行跨语言依存句法分析,我们训练依赖分析器上的源语言和转移到广泛的目标语言的实验。在28种目标语言上的实验表明,对抗性训练显著提高了几种不同设置下的整体迁移性能。我们进行了仔细的分析,以评估对抗训练产生的语言不可知论表示。
2019-09-20 cs.CL
Zero-shot Cross-lingual Transfer without Parallel Corpus
Huawei(华为)
针对低资源语言任务数据匮乏、现有跨语言迁移依赖难获取的平行语料或翻译模型的问题,提出含双语任务适配与自训练模块的零样本跨语言迁移方法,无需平行语料/翻译模型即在多任务上取得新SOTA。
2023-10-07 cs.CL