Mixed-Lingual Pre-training for Cross-lingual Summarization
Microsoft Cognitive Services Research Group(微软认知服务研究组)
跨语言摘要(CLS)的目的是为源语言的文章生成目标语言的摘要。传统的解决方案采用两步走的方法,即翻译然后总结或总结然后翻译。最近,端到端模型取得了更好的结果,但这些方法大多受到其对大规模标记数据的依赖的限制。我们提出了一种基于混合语言预训练的解决方案,该解决方案利用了跨语言任务(如翻译)和单语言任务(如掩蔽语言模型)。因此,我们的模型可以利用大量的单语数据来增强其语言建模。此外,该架构没有特定于任务的组件,这节省了内存并提高了优化效率。实验结果表明,该预训练方案可以有效地提高跨语言摘要的性能。在神经跨语言摘要(NCLS)数据集中,我们的模型比最先进的结果提高了2.82(英语到中文)和1.15(中文到英语)ROUGE-1分数。
2020-10-18 cs.CL
Do Multi-Lingual Pre-trained Language Models Reveal Consistent Token Attributions in Different Languages?
Emory University(埃默里大学);NEC Laboratories America(NEC美国实验室)
在过去的几年中,一个多语言的预训练语言模型(PLM)的激增已经提出了实现在许多跨语言的下游任务的最先进的性能。然而,理解为什么多语言PLM表现良好仍然是一个开放的领域。例如,目前尚不清楚多语言PLM是否在不同语言中显示一致的令牌属性。为了解决这个问题,在本文中,我们提出了一个跨语言一致性的令牌属性(CCTA)的评估框架。在三个下游任务的大量实验表明,多语言PLM分配显着不同的属性多语言同义词。此外,我们有以下观察结果:1)西班牙语在用于训练PLM时在不同语言中实现了最一致的令牌属性; 2)令牌属性的一致性与下游任务的性能密切相关。
2021-12-23 cs.CL
Improving Multi-lingual Alignment Through Soft Contrastive Learning
Yonsei University(延世大学);Linq
提出软对比学习改进多语言句子对齐,利用单语言模型相似性作为软标签,在双语挖掘和STS任务上超越硬标签方法及LaBSE。
2024-05-28 cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore(新加坡国立大学);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估,借助可解释性方法揭示其影响因素,验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL
Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model
Peking University(北京大学);National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
最近的研究表明,在大规模未标记文本上预训练跨语言语言模型,在各种跨语言和低资源任务上产生显着的性能改进。通过对100种语言和TB的文本进行训练,跨语言语言模型已被证明可以有效地利用高资源语言来增强低资源语言处理,并优于单语言模型。在本文中,我们进一步研究了跨语言和跨域(CLCD)设置时,预先训练的跨语言语言模型需要适应新的领域。具体来说,我们提出了一种新的无监督特征分解方法,可以自动提取特定领域的功能和域不变的功能,从纠缠预训练的跨语言表示,给定未标记的原始文本在源语言。我们提出的模型利用互信息估计,将跨语言模型计算的表示分解为域不变和域特定的部分。实验结果表明,我们所提出的方法实现了显着的性能改善,在CLCD设置的最先进的预训练的跨语言语言模型。本文的源代码可在https://github.com/lijuntaopku/UFD上公开获取。
2020-11-23 cs.CL
Can Monolingual Pretrained Models Help Cross-Lingual Classification?
Microsoft Research(微软研究院);Beijing Institute of Technology(北京理工大学)
多语言预训练语言模型(如多语言BERT)在跨语言迁移方面取得了令人印象深刻的结果。然而,由于恒定的模型容量,多语言预训练通常落后于单语言竞争对手。在这项工作中,我们提出了两种方法来改善zero-shot跨语言分类,通过将知识从单语预训练模型转移到多语言模型。两个跨语言分类基准的实验结果表明,我们的方法优于香草多语言微调。
2019-11-10 cs.CL
Explicit Cross-lingual Pre-training for Unsupervised Machine Translation
SKLSDE Lab, Beihang University(北航SKLSDE实验室);Beijing Advanced Innovation Center for Big Data and Brain Computing(北京大数据与脑计算先进创新中心);Microsoft Research Asia(微软亚洲研究院);Beihang University(北京航空航天大学)
预训练在无监督机器翻译中被证明是有效的,因为它能够在跨语言场景中对深度上下文信息进行建模。然而,从共享BPE空间获得的跨语言信息是不明确且有限的。在本文中,我们提出了一种新的跨语言的预训练方法,无监督机器翻译通过合并显式的跨语言的训练信号。具体来说,我们首先计算跨语言的n-gram嵌入,并从中推断出一个n-gram翻译表。利用这些n元语法翻译对,我们提出了一种新的预训练模型,称为跨语言掩蔽语言模型(CMLM),它在输入文本流中随机选择源n元语法,并在每个时间步预测其翻译候选。实验表明,我们的方法可以将有益的跨语言信息纳入预训练模型。采用预先训练好的CMLM模型作为编码器和解码器,显著提高了无监督机器翻译的性能。
2019-08-31 cs.CL
Unicoder: A Universal Language Encoder by Pre-training with Multiple Cross-lingual Tasks
Microsoft(微软);Microsoft Research Asia(微软亚洲研究院)
我们提出了Unicoder,一个通用的语言编码器,是不敏感的不同的语言。给定一个任意的NLP任务,可以使用一种语言的训练数据使用Unicoder训练模型,并直接应用于其他语言的相同任务的输入。与多语言BERT和XLM等类似工作相比,本文提出了三个新的跨语言预训练任务,包括跨语言单词恢复、跨语言释义分类和跨语言掩蔽语言模型。这些任务帮助Unicoder从更多的角度学习不同语言之间的映射。我们还发现,同时对多种语言进行微调可以带来进一步的改进。实验在两个任务上进行:跨语言自然语言推理(XNLI)和跨语言问答(XQA),其中XLM是我们的基线。在XNLI上,平均准确率提高了1.8%(15种语言)。在我们建立的新的跨语言数据集XQA上,平均准确率提高了5.5%(法语和德语)。
2019-09-04 cs.CL
Cross-lingual Adaption Model-Agnostic Meta-Learning for Natural Language Understanding
Kyoto University(京都大学)
使用辅助语言的Meta学习已经证明了跨语言自然语言处理的有希望的改进。然而,以前的研究从同一种语言中抽取元训练和元测试数据,这限制了模型的跨语言迁移能力。在本文中,我们提出了XLA-MAML,它在元学习阶段进行直接的跨语言适应。我们进行了zero-shot和Few-Shot两个自然语言推理和问答实验。实验结果证明了我们的方法在不同语言,任务和预训练模型上的有效性。我们还分析了元学习的各种跨语言特定设置,包括采样策略和并行性。
2021-11-10 cs.CL
Cross-lingual Word Embeddings in Hyperbolic Space
The Chinese University of Hong Kong(香港中文大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
跨语言词嵌入可以应用于跨多种语言的若干自然语言处理应用。不同于以往的作品,使用基于欧几里德空间的词嵌入,这篇短文提出了一个简单而有效的跨语言Word2Vec模型,适应双曲空间的庞加莱球模型学习无监督跨语言的词表示从德英平行语料库。已经表明,双曲嵌入可以捕获和保持层次关系。我们评估模型上的hypernymy和类比任务。该模型在跨语言类比任务上取得了与普通Word2Vec模型相当的性能,上位词任务表明,跨语言Poincaré Word2Vec模型可以从跨语言的自由文本中捕获潜在的层次结构,这是基于欧几里得的Word2Vec表示所缺乏的。我们的研究结果表明,通过保留潜在的层次信息,双曲空间可以提供更好的跨语言嵌入表示。
2022-06-26 cs.CL
Cross-Lingual BERT Transformation for Zero-Shot Dependency Parsing
Harbin Institute of Technology(哈尔滨工业大学);MIT(麻省理工学院)
本文研究了在语境空间中学习跨语言表征的问题。我们提出了跨语言BERT转换(CLBT),这是一种基于公开可用的预训练BERT模型生成跨语言上下文化词嵌入的简单而有效的方法(Devlin等人,2018年)。在这种方法中,从上下文单词对齐中学习线性变换,以对齐在不同语言中独立训练的上下文化嵌入。我们证明了这种方法的有效性zero-shot跨语言迁移分析。实验表明,我们的嵌入大大优于以前的国家的最先进的使用静态嵌入。我们进一步将我们的方法与XLM(Lample和Conneau,2019)进行了比较,XLM是最近提出的一种使用大量并行数据训练的跨语言语言模型,并取得了极具竞争力的结果。
2019-09-15 cs.CL
An Empirical Study of Cross-Lingual Transferability in Generative Dialogue State Tracker
National Taiwan University(国立台湾大学)
数据驱动的面向任务的对话系统在大规模数据集的支持下得到了快速发展。然而,由于缺乏高质量的数据,低资源语言的对话系统的进展远远落后。为了推进构建对话系统的跨语言技术,DSTC 9引入了跨语言对话状态跟踪的任务,我们在资源丰富的训练数据集下使用低资源语言测试DST模块。本文研究了跨语言生成对话状态跟踪系统的可移植性,使用多语言预训练seq2seq模型。我们在不同的设置下进行实验,包括跨语言和跨本体数据集的联合训练或预训练。我们也发现了我们的方法的跨语言可移植性低,并提供了调查和讨论。
2021-01-27 cs.CL
Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models
MBZUAI;University of Notre Dame(诺丁汉大学);University of Southern California(南加州大学)
本文提出一种利用束搜索和LLM模拟生成双语问题对的方法,构建16种语言超6000对数据集,精准识别多语言模型跨语言弱点,并发现语言相似性与性能模式相关。
2025-05-24 cs.CL
Adversarial Neural Networks for Cross-lingual Sequence Tagging
University of Stuttgart(斯图加特大学);Google AI(谷歌人工智能)
我们研究跨语言序列标记很少或没有标记的数据在目标语言。对抗性训练以前已经被证明是有效的训练跨语言句子分类器。然而,目前尚不清楚由对抗性语言机器人强制执行的语言不可知表示是否也能够有效地转移标记级预测任务。因此,我们在两个任务上进行了不同类型的对抗训练:依存句法分析和句子压缩。我们表明,与传统训练的基线相比,对抗性训练始终会提高每个任务的跨语言性能。
2018-08-14 cs.CL
Models and Datasets for Cross-Lingual Summarisation
University of Edinburgh(爱丁堡大学);Institute for Language, Cognition and Computation(语言、认知与计算研究所)
我们提供了一个跨语言摘要语料库,其中包含与目标语言的多句摘要相关联的源语言长文档。该语料库涵盖了四种欧洲语言的十二种语言对和方向,即捷克语,英语,法语和德语,其创建方法可以应用于其他几种语言。我们从维基百科中获得跨语言的文档摘要实例,通过将引导段落和来自语言对齐的维基百科标题的文章主体相结合。我们分析了建议的跨语言摘要任务与自动指标,并验证它与人类的研究。为了说明我们的数据集的实用性,我们报告了在监督,零和Few-Shot以及域外场景中使用多语言预训练模型的实验。
2022-02-19 cs.CL
XLM-E: Cross-lingual Language Model Pre-training via ELECTRA
Microsoft Corporation(微软公司);Beijing Institute of Technology(北京理工大学)
在本文中,我们引入ELECTRA风格的任务,跨语言的语言模型预训练。具体来说,我们提出了两个预训练任务,即多语言替换标记检测和翻译替换标记检测。此外,我们预训练模型,命名为XLM-E,在多语言和平行语料库。我们的模型在各种跨语言理解任务上的性能优于基线模型,并且计算成本更低。此外,分析表明,XLM-E倾向于获得更好的跨语言迁移。
2022-04-19 cs.CL
Cross-Lingual Natural Language Generation via Pre-Training
Microsoft Research(微软研究院);Beijing Institute of Technology(北京理工大学)
在这项工作中,我们专注于转移监督信号的自然语言生成(NLG)任务之间的多种语言。我们建议在单语和跨语言设置下预训练序列到序列模型的编码器和解码器。预训练目标鼓励模型在共享空间中表示不同的语言,以便我们可以进行zero-shot跨语言迁移。在预训练过程之后,我们使用单语数据对下游NLG任务的预训练模型进行微调。然后,可以在该语言之外直接评估用单一语言训练的序列到序列模型(即,接受多语言输入并产生多语言输出)。实验结果表明,该模型在跨语言zero-shot问题生成和摘要生成方面优于基于机器翻译的流水线方法。此外,跨语言迁移通过利用丰富资源的语言数据来提高低资源语言的NLG性能。我们的实现和数据可以在https://github.com/CZWin32768/xnlg上获得。
2019-11-22 cs.CL
Task-Specific Pre-Training and Cross Lingual Transfer for Code-Switched Data
Carnegie Mellon University(卡内基梅隆大学)
使用特定于任务的预训练和利用跨语言迁移是处理代码转换数据的两种最流行的方法。在本文中,我们的目的是比较两者的情感分析任务的影响。我们使用两种达罗毗荼语代码交换语言-泰米尔语-英语和马拉雅拉姆语-英语和四种不同的基于BERT的模型。我们比较了特定于任务的预训练和跨语言迁移的效果,发现与利用多语言BERT模型的跨语言迁移所实现的性能相比,特定于任务的预训练具有更好的zero-shot和监督性能。
2021-02-24 cs.CL
Linear Transformations for Cross-lingual Sentiment Analysis
University of West Bohemia(西波西米亚大学);NTIS – New Technologies for the Information Society(NTIS——信息社会新技术研究院)
本文研究了捷克语、英语和法语的跨语言情感分析。我们使用五个线性变换与基于LSTM和CNN的分类器相结合来执行zero-shot跨语言分类。我们比较了各个转换的性能,此外,我们面对现有的最先进的BERT类模型的转换为基础的方法。我们表明,来自目标域的预训练嵌入对于改善跨语言分类结果至关重要,这与单语分类不同,单语分类的效果并不那么明显。
2022-09-15 cs.CL
On the Effectiveness of Dataset Embeddings in Mono-lingual,Multi-lingual and Zero-shot Conditions
IT University of Copenhagen(哥本哈根信息技术大学);University of Groningen(格罗宁根大学)
最近的补充研究表明,通过将数据源的属性编码到嵌入中来利用数据源上的信息,可以在异构数据源上训练单个模型时提高性能。然而,目前还不清楚这些数据集嵌入在哪些情况下最有效,因为它们用于各种各样的设置,语言和任务。此外,通常假设关于数据源的黄金信息是可用的,并且测试数据来自训练期间看到的分布。在这项工作中,我们比较了数据集嵌入在单语言设置,多语言设置,并与预测的数据源标签在zero-shot设置的效果。我们评估三个形态句法任务:形态标记,词形化,和依存句法分析,并使用104个数据集,66种语言,和两种不同的数据集分组策略。当数据集是同一种语言时,性能提高最高,并且我们知道测试实例来自哪个分布。相比之下,对于数据来自不可见分布的设置,性能提高消失了。
2021-03-05 cs.CL
Improving Cross-Lingual Word Embeddings by Meeting in the Middle
Universidade de Vigo(维戈大学);Cardiff University(卡迪夫大学)
跨语言词嵌入在多语言NLP中变得越来越重要。最近,已经表明,这些嵌入可以通过线性变换对齐两个不相交的单语向量空间来有效地学习,使用不超过一个小的双语词典作为监督。在这项工作中,我们建议在初始对齐步骤之后应用额外的转换,该转换将跨语言同义词移向它们之间的中间点。通过应用这种转换,我们的目标是获得更好的向量空间的跨语言整合。此外,也许令人惊讶的是,单语空间也通过这种转换得到改善。这与原始对齐形成对比,原始对齐通常被学习为使得单语空间的结构被保留。我们的实验证实,由此产生的跨语言嵌入优于国家的最先进的模型在单语和跨语言的评估任务。
2018-08-27 cs.CL
MultiEURLEX -- A multi-lingual and multi-label legal document classification dataset for zero-shot cross-lingual transfer
University of Copenhagen(哥本哈根大学);Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd.(Cognitiv+ 有限公司)
我们介绍了MULTI-EURLEX,一个新的多语言数据集的主题分类的法律文件。该数据集包含65,000条欧盟(EU)法律,官方翻译为23种语言,并使用EUROVOC分类法的多个标签进行注释。我们强调时间概念漂移的影响和时间顺序的重要性,而不是随机分裂。我们使用数据集作为zero-shot跨语言迁移的测试平台,其中我们利用一种语言(源)中的注释训练文档对另一种语言(目标)中的文档进行分类。我们发现,在单一源语言中微调多语言预训练模型(XLM-ROBERTA,MT5)会导致灾难性的多语言知识遗忘,因此,到其他语言的zero-shot迁移很差。适应策略,即部分微调,适配器,BITFIT,LNFIT,最初提出来加速新的最终任务的微调,有助于保留预训练的多语言知识,大大提高zero-shot跨语言迁移,但它们的影响也取决于所使用的预训练模型和标签集的大小。
2021-09-06 cs.CL
MT4CrossOIE: Multi-stage Tuning for Cross-lingual Open Information Extraction
Beijing Information Science and Technology University(北京信息科技大学);Beihang University(北京航空航天大学);The University of Hong Kong(香港大学)
本文提出多阶段调优框架MT4CrossIE,通过注入语言特定模块并结合基于模型与数据的跨语言迁移,提升跨语言开放信息抽取性能。
2023-09-20 cs.CL
Probing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders
University of Cambridge(剑桥大学);University of Würzburg(维尔茨堡大学);University of Edinburgh(爱丁堡大学)
预训练的多语言语言模型(LM)可以成功地转换成多语言句子编码器(SE;例如,LaBSE、xMPNet)通过额外的微调或并行数据的模型蒸馏。然而,仍然不清楚如何最好地利用它们来表示子句子词汇项(即,词和短语)的跨语言词汇任务。在这项工作中,我们探测SE存储在其参数的跨语言词汇知识的量,并将它们与原来的多语言LM。我们还设计了一个简单而有效的方法,通过额外的微调,通过廉价的对比学习,只需要少量的单词翻译对暴露跨语言的词汇知识。使用双语词汇归纳(BLI),跨语言词汇语义相似性和跨语言实体链接作为词汇探测任务,我们报告了标准基准(例如,+10精度@1点BLI)。实验结果表明,像LaBSE这样的语义元可以通过对比学习过程“重新连接”成有效的跨语言词汇编码器,并且当它们被用作现成的语义元时,它们所包含的跨语言词汇知识比“看上去”的要多。这样,我们也提供了一个有效的工具,利用隐藏在多语言句子编码器的“隐蔽”多语言词汇知识。
2022-10-13 cs.CL
Self-Translate-Train: Enhancing Cross-Lingual Transfer of Large Language Models via Inherent Capability
SB Intuitions
针对多语言预训练模型零样本跨语言迁移中语言内部表示不对齐的问题,提出Self-Translate-Train方法,利用LLMs自身将训练数据译为目标语言并自训练,效果优于零样本迁移,为激发LLMs跨语言能力提供新思路。
2024-09-17 cs.CL
Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning?
University of Helsinki(赫尔辛基大学);Universite Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文研究了将机器翻译作为持续训练目标以桥接多语言预训练与跨语言应用的潜力,发现显式句子级对齐不仅未能增强跨语言表征学习,反而因输出可分性对跨语言迁移预训练产生有害影响。
2024-03-25 cs.CL
Cross-lingual Lifelong Learning
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
本文提出跨语言持续学习(CCL)评估范式,分析多语言顺序学习的挑战,并基准测试代表性算法,以衡量知识保留、积累与泛化,提供超越传统迁移学习的平衡方案。
2023-12-29 cs.CL
Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
Beijing Institute of Technology(北京理工大学)
提出IGap指标,用于测量多语言Transformer在句子分类上的跨语言迁移能力,实验证明其优于基线,并揭示三个相关发现。
2023-05-15 cs.CL
Multi-stage Distillation Framework for Cross-Lingual Semantic Similarity Matching
Peking University(北京大学);Tencent Research(腾讯研究院)
已有研究表明,跨语言知识蒸馏可以显著提高预训练模型在跨语言相似性匹配任务中的性能。但是,在此操作中,学生模型需要很大。否则,它的性能将急剧下降,从而使其无法部署到内存有限的设备。为了解决这个问题,我们深入研究跨语言知识蒸馏,并提出了一个多阶段蒸馏框架,用于构建一个小规模,但高性能的跨语言模型。在我们的框架中,对比学习,瓶颈和参数递归策略相结合,以防止性能在压缩过程中受到损害。实验结果表明,该方法可以将XLM-R和MiniLM压缩50%以上,而性能仅降低约1%。
2022-09-13 cs.CL
Limitations of Cross-Lingual Learning from Image Search
University of Copenhagen(哥本哈根大学)
跨语言表示学习是使NLP扩展到世界上所有语言的重要一步。最近的双语词典归纳工作表明,它是可以学习跨语言表示的单词的基础上与这些单词相关的图像之间的相似性。然而,这项工作只集中在翻译选定的名词。在我们的工作中,我们调查了其他词性的意义,特别是形容词和动词,是否可以以同样的方式学习。我们还尝试将从视觉数据中学习到的表示与从文本数据中学习到的嵌入相结合。我们在五个语言对的实验表明,以前的工作并不能扩展到学习简单名词以外的跨语言表示的问题。
2017-09-18 cs.CL
Cross-lingual Semantic Role Labeling with Model Transfer
Wuhan University(武汉大学);Tianjin University(天津大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
已有研究表明,跨语言语义角色标注可以在通用特征的帮助下通过模型迁移实现。在本文中,我们填补了跨语言SRL的空白,提出了一个端到端的SRL模型,结合了各种通用的功能和传输方法。我们研究了双语迁移和多源迁移,根据黄金或机器生成的句法输入,预训练的高阶抽象特征,和上下文化的多语言单词表示。在通用命题库语料库上的实验结果表明,跨语言SRL的性能可以通过利用不同的跨语言特征而变化。此外,功能是否是黄金标准也会对性能产生影响。准确地说,我们发现,黄金语法功能是更重要的跨语言SRL相比,自动生成的。此外,通用依赖结构特征能够提供最好的帮助,预训练的高阶特征和上下文化的单词表示都可以进一步带来显着的改进。
2020-08-24 cs.CL
Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings
HiTZ Basque Center for Language Technologies(HiTZ巴斯克语言技术中心);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
本文对比零资源跨语言序列标注的数据迁移与模型迁移,发现零样本高容量多语言语言模型整体优于翻译与标注投影,但后者在缺乏此类模型时仍具竞争力。
2023-04-27 cs.CL
Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT
Johns Hopkins University(约翰斯·霍普金斯大学)
预训练的上下文表示模型(Peters等人,2018; Devlin等人,2018年)在许多NLP任务上推动了最先进的技术。新版本的BERT(Devlin,2018)包括一个模型,该模型同时在104种语言上进行预训练,在自然语言推理任务中具有令人印象深刻的zero-shot跨语言迁移性能。本文探讨了mBERT(多语言)作为zero shot语言迁移模型在5个NLP任务上的更广泛的跨语言潜力,这些任务涵盖了来自不同语言家族的39种语言:NLI,文档分类,NER,POS标记和依存句法分析。我们将mBERT与最好的zero-shot跨语言迁移方法进行比较,发现mBERT在每个任务上都具有竞争力。此外,我们调查的最有效的策略,以这种方式利用mBERT,确定在何种程度上mBERT概括远离语言的特定功能,并测量影响跨语言迁移的因素。
2019-10-03 cs.CL
Cross-Lingual Dependency Parsing with Late Decoding for Truly Low-Resource Languages
University of Amsterdam(阿姆斯特丹大学);University of Copenhagen(哥本哈根大学)
在跨语言依赖标注投影中,由于早期解码,信息在传输过程中经常丢失。我们提出了一个端到端的基于图的神经网络依赖解析器,可以训练它来重现边缘分数矩阵,这些分数可以直接投影到单词对齐上。我们表明,我们的方法跨语言的依存句法分析不仅是简单的,而且还实现了2.25%的绝对改善平均跨10种语言相比,以前的状态。
2017-01-06 cs.CL
Improving Cross-Lingual Reading Comprehension with Self-Training
National Taiwan University(国立台湾大学)
机器阅读理解已经有了实质性的改进,机器根据给定的上下文回答问题。目前最先进的模型甚至在几个基准上超过了人类的表现。然而,他们在跨语言场景中的能力仍有待探索。先前的工作已经揭示了预训练的多语言模型的能力,zero-shot跨语言阅读理解。在本文中,我们进一步利用未标记的数据,以提高性能。该模型首先在源语言语料库上进行监督训练,然后用未标记的目标语言数据进行自训练。实验结果表明,所有语言的提高,我们还分析了自我训练如何有利于跨语言阅读理解的定性方面。
2021-05-08 cs.CL
CLICKER: Attention-Based Cross-Lingual Commonsense Knowledge Transfer
Amazon Alexa AI(亚马逊Alexa人工智能部门)
跨语言常识推理(CSR)的最新进展是由多语言预训练模型(mPTM)的发展促进的。虽然mPTM显示出为不同语言编码常识知识的潜力,但将在大规模英语语料库中学习到的常识知识转移到其他语言是具有挑战性的。为了解决这个问题,我们提出了基于注意力的跨语言常识知识搜索器(CLICKER)框架,它最大限度地减少了英语和非英语语言之间的性能差距在常识问答任务。CLICKER通过区分非常识知识和常识知识,有效地提高了非英语语言的常识推理。在公共基准测试上的实验结果表明,CLICKER在英语以外的跨语言CSR任务中取得了显着的改善。
2023-02-26 cs.CL
Cross-Lingual Low-Resource Set-to-Description Retrieval for Global E-Commerce
Peking University(北京大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Indiana University(印第安纳大学)
随着跨境电子商业的蓬勃发展,迫切需要设计智能化的方法来帮助电子商业卖家为来自世界各地的消费者提供当地产品。本文探讨了跨语言信息检索的一个新任务,即,跨境电子商业中的跨语言集合到描述检索,其涉及将源语言中的产品属性集合与目标语言中的有说服力的产品描述进行匹配。我们手动收集一个新的和高质量的配对数据集,其中每对包含一个无序的产品属性集的源语言和信息丰富的产品描述的目标语言。由于数据集构建过程既耗时又昂贵,新数据集仅包含13.5k对,这是一个低资源设置,可以被视为跨境电子商业模型开发和评估的具有挑战性的测试平台。为了解决这种跨语言集到描述检索任务,我们提出了一种新的跨语言匹配网络(CLMN)与增强的上下文相关的跨语言映射的预训练单语BERT表示。实验结果表明,我们提出的CLMN在具有挑战性的任务上产生了令人印象深刻的结果,并且与预训练的多语言BERT模型相比,BERT上的上下文相关的跨语言映射产生了显着的改进。
2020-05-17 cs.CL
Semantic Pivots Enable Cross-Lingual Transfer in Large Language Models
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems Institute of Automation, Chinese Academy of Sciences(认知与决策智能复杂系统重点实验室,中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);University of Science and Technology Beijing(北京科技大学);Unisound Al Technology Co,Ltd(Unisound人工智能技术有限公司);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本研究提出词级跨语言翻译任务,通过追踪中间层输出识别共现与语义枢轴行为,并利用高比例语义枢轴的预训练数据提升LLMs的跨语言能力。
2025-05-22 cs.CL
ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual Semantics with Monolingual Corpora
Baidu Inc.(百度公司)
最近的研究表明,预训练的跨语言模型在下游跨语言任务中取得了令人印象深刻的性能。这种改进得益于学习大量的单语和平行语料库。虽然人们普遍认为,并行语料库是提高模型性能的关键,现有的方法往往受到并行语料库的大小,特别是低资源的语言。在本文中,我们提出了ERNIE-M,这是一种新的训练方法,鼓励模型将多种语言的表示与单语语料库对齐,以克服并行语料库大小对模型性能的限制。我们的关键见解是将反向翻译集成到预训练过程中。我们在单语语料库上生成伪平行句子对,以使不同语言之间的语义对齐的学习,从而增强跨语言模型的语义建模。实验结果表明,ERNIE-M优于现有的跨语言模型,并提供了新的国家的最先进的结果,在各种跨语言的下游任务。
2021-09-17 cs.CL
Language Anisotropic Cross-Lingual Model Editing
Harbin Institute of Technology(哈尔滨工业大学)
本文定义跨语言模型编辑任务并提出基于平行语料的适配框架和语言各向异性编辑方法,通过放大不同语言对应的参数子集提升编辑跨语言传播效果,实验验证了其有效性。
2023-06-05 cs.CL
Investigating Post-pretraining Representation Alignment for Cross-Lingual Question Answering
George Mason University(乔治梅森大学)
人类的知识集中编码在世界各地使用的大约6500种语言中,但它并没有在语言之间均匀分布。因此,信息搜索问答(QA)系统,以充分服务于所有语言的发言者,他们需要跨语言操作。在这项工作中,我们研究了多语言预训练的语言模型的跨语言QA的能力。我们发现,显式地调整跨语言的表示与事后微调步骤通常会提高性能。我们还研究了数据大小的影响以及在这个微调步骤中的语言选择,还发布了一个数据集,用于评估跨语言QA系统。代码和数据集可在此处公开获取:https://github.com/ffaisal93/aligned_qa
2021-09-24 cs.CL
VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation
Alibaba Group(阿里巴巴集团)
多语言预训练的现有工作已经通过训练用于多种语言的统一的Transformer编码器展示了跨语言可移植性的潜力。然而,大部分的这项工作只依赖于共享的词汇和双语上下文,以鼓励跨语言的相关性,这是松散和隐含的对齐语言之间的上下文表示。在本文中,我们将交叉注意模块插入到Transformer编码器中,以显式地构建语言之间的相互依赖性。该方法能有效地避免仅根据本族语语境预测屏蔽词的退化。更重要的是,当对下游任务进行微调时,交叉注意模块可以按需插入或退出,从而自然有利于更广泛的跨语言任务,从语言理解到生成。因此,所提出的跨语言模型提供了新的国家的最先进的结果,各种跨语言的理解任务的XTREME基准,包括文本分类,序列标记,问答,句子检索。对于跨语言生成任务,它在WMT 14英语到德语和英语到法语翻译数据集上的性能也优于所有现有的跨语言模型和最先进的Transformer变体,增益高达1~2 BLEU。
2021-06-02 cs.CL
Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出利用最优传输对齐概率潜变量以最小化跨语言散度,从而在少样本条件下实现跨语言语义解析,并在MTOP和MultiATIS++SQL上取得最先进结果。
2023-07-09 cs.CL
The Model Arena for Cross-lingual Sentiment Analysis: A Comparative Study in the Era of Large Language Models
Dialpad Inc.(戴尔德公司)
本文在英语等多语言情感分析任务中实证比较了小型多语言模型与大语言模型,发现公开SMLM零样本性能更优,而公开LLM及GPT系列在少样本场景下适应力或表现存在差异。
2024-06-27 cs.CL
Consistency Regularization for Cross-Lingual Fine-Tuning
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
微调预训练的跨语言语言模型可以将特定于任务的监督从一种语言转移到其他语言。在这项工作中,我们建议用一致性正则化来改进跨语言微调。具体地,我们使用示例一致性正则化来惩罚预测对四种类型的数据增强的敏感性,即,子字采样、高斯噪声、代码转换替换和机器翻译。此外,我们使用模型一致性来正则化用同一训练集的两个增强版本训练的模型。XTREME基准测试的实验结果表明,我们的方法显着提高了跨语言的微调在各种任务,包括文本分类,问答,和序列标记。
2021-06-15 cs.CL
Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学)
适配器模块,附加的可训练参数,使预训练的Transformers的有效微调,最近已被用于语言专业化的多语言Transformers,改善下游zero-shot跨语言迁移。在这项工作中,我们提出了正交的语言和任务适配器(称为orthoadapters)的跨语言迁移。他们被训练编码语言和任务特定的信息,这是互补的(即,正交)到已经存储在预训练的Transformer的参数中的知识。我们的zero-shot跨语言迁移实验,涉及三个任务(POS标记,NER,NLI)和一组10种不同的语言,1)指出了orthoadapters在跨语言迁移中的有用性,特别是对于最复杂的NLI任务,但也2)表明,最佳适配器配置高度依赖于任务和目标语言。我们希望我们的工作将激发更广泛的调查的有用性的正交约束的语言和任务特定的微调预训练的Transformers。
2020-12-11 cs.CL
Syntax-augmented Multilingual BERT for Cross-lingual Transfer
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Facebook AI(脸书人工智能研究院)
近年来,我们已经看到了巨大的努力,在预训练多语言文本编码器使用大规模语料库在许多语言,以促进跨语言迁移学习。然而,由于语言之间的类型差异,跨语言迁移是具有挑战性的。然而,语言语法,例如,句法依赖,可以弥合类型学的差距。以前的工作表明,预先训练的多语言编码器,如mBERT \cite{devlin-etal-2019-bert},捕获语言语法,帮助跨语言迁移。这项工作表明,明确提供语言语法和训练mBERT使用辅助目标编码的通用依赖树结构有助于跨语言迁移。我们对四个NLP任务进行了严格的实验,包括文本分类,问答,命名实体识别和面向任务的语义解析。实验结果表明,语法增强的mBERT提高跨语言迁移在流行的基准测试,如PAWS-X和MLQA,平均1.4和1.6点,在所有语言。在\emph{generalized}转移设置中,表现显著提升,PAWS-X和MLQA的平均得分分别为3.9和3.1分。
2021-06-03 cs.CL
Understanding LLMs' Cross-Lingual Context Retrieval: How Good It Is And Where It Comes From
National Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);China Mobile Research Beijing, China(中国移动北京研究院)
本文以xMRC评估40余个LLM在12种语言上的跨语言上下文检索,揭示其后训练优势及“问题编码—答案检索”两阶段机制。
2025-10-18 cs.CL
InfoCTM: A Mutual Information Maximization Perspective of Cross-Lingual Topic Modeling
Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
提出基于互信息的跨语言主题建模方法InfoCTM,通过互信息正则化对齐主题缓解重复问题,并利用跨语言词汇链接解决低覆盖率词典问题,在多语言实验中表现更优。
2024-03-27 cs.CL
XLM-K: Improving Cross-Lingual Language Model Pre-training with Multilingual Knowledge
Microsoft Research Asia(微软亚洲研究院)
跨语言预训练在单语和双语纯文本语料库中取得了很大的成功。然而,大多数预训练模型忽略了多语言知识,这是语言不可知的,但包括丰富的跨语言结构对齐。在本文中,我们提出了XLM-K,一个跨语言的语言模型,将多语言知识的预训练。XLM-K通过两个知识任务增强了现有的多语言预训练,即掩蔽实体预测任务和对象蕴涵任务。我们在MLQA,NER和XNLI上评估XLM-K。实验结果清楚地表明,显着改善现有的多语言语言模型。MLQA和NER的测试结果显示了XLM-K在知识相关任务中的优越性。XNLI的成功表明XLM-K具有更好的跨语言可移植性。更重要的是,我们提供了一个详细的探测分析,以确认在我们的预培训方案中捕获的所需知识。该代码可在https://github.com/microsoft/Unicoder/tree/master/pretraining/xlmk上获得。
2022-04-24 cs.CL
XAlign: Cross-lingual Fact-to-Text Alignment and Generation for Low-Resource Languages
Microsoft(微软);IIIT Hyderabad(海得拉巴国际信息技术学院)
多个关键场景(如维基百科文本生成给定的英语信息框)需要从英语事实三元组自动生成低资源(LR)语言的描述性文本。以前的工作主要集中在英语事实到文本(F2T)的生成。据我们所知,以前没有尝试过LR语言的跨语言对齐或生成。构建一个有效的跨语言F2T(XF2T)系统需要英语结构化事实和LR句子之间的对齐。我们提出了两种无监督的跨语言对齐方法。我们贡献了XALIGN,一个XF2T数据集,包含8种语言的0.45 M对,其中5402对已经手动注释。我们还在XAlign数据集上训练强大的基线XF2T生成模型。
2022-04-24 cs.CL
A Systematic Analysis of Subwords and Cross-Lingual Transfer in Multilingual Translation
University of Cape Town(开普敦大学)
本文系统分析子词分割方法对多语言翻译中跨语言迁移的影响,发现子词正则化促进多语言建模协同,BPE更利于跨语言微调,并揭示正字法词边界差异比语言不相关性更阻碍迁移。
2024-03-29 cs.CL
Self-Attention with Cross-Lingual Position Representation
The University of Sydney(悉尼大学);Tencent AI Lab(腾讯人工智能实验室)
位置编码(PE)是自注意网络(SAN)的重要组成部分,用于保存自然语言处理任务的词序信息,为输入序列生成固定的位置索引。然而,在跨语言场景中,例如机器翻译,源和目标句子的PE被独立地建模。由于不同语言中的词序差异,对跨语言位置关系进行建模可能有助于SAN解决这个问题。在本文中,我们增加SAN与\emph{cross-lingual position representations}模型的双语意识的潜在结构的输入句子。具体来说,我们利用括号转导语法(BTG)为基础的重新排序信息,以鼓励SAN学习双语对角线对齐。在WMT'14英语$\Rightarrow$德语、WAT'17日语$\Rightarrow$英语和WMT'17中文$\Leftrightarrow$英语翻译任务上的实验结果表明,我们的方法在强基线上显著且一致地提高了翻译质量。大量的分析证实,性能增益来自跨语言的信息。
2020-11-21 cs.CL
Realistic Zero-Shot Cross-Lingual Transfer in Legal Topic Classification
Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd(Cognitiv+有限公司);University of Copenhagen(哥本哈根大学)
我们考虑zero-shot跨语言迁移在法律主题分类使用最近的MultiEURLEX数据集。由于原始数据集包含并行文档,这是不现实的zero-shot跨语言迁移,我们开发了一个新版本的数据集没有并行文档。我们使用它来证明基于简化的方法大大优于多语言预训练模型的跨语言微调,这是MultiEURLEX之前最好的zero-shot传输方法。我们还开发了一个双语教师-学生zero-shot传输方法,利用额外的未标记的文件的目标语言,并表现得更好的模型微调直接标记的目标语言文件。
2022-06-08 cs.CL