OMoS-QA: A Dataset for Cross-Lingual Extractive Question Answering in a German Migration Context
University of Augsburg（奥格斯堡大学）；Tür an Tür Digitalfabrik GmbH（Tür an Tür数字工厂有限公司）
针对移民信息获取难题，构建德英跨语言抽取式问答数据集OMoS-QA，并评测5个预训练大模型，发现其答案选择具有高精确率与低至中等召回率，且跨语言稳健。
2024-07-22 cs.CL
MultiMWE: Building a Multi-lingual Multi-Word Expression (MWE) Parallel Corpora
ADAPT Research Centre（ADAPT研究中心）；Insight Centre for Data Analytics（洞察数据分析中心）；Dublin City University（都柏林城市大学）
多词表达式（MWE）是自然语言处理（NLP）领域的一个研究热点，包括MWE检测、MWE分解以及MWE在机器翻译等其他NLP领域的应用研究。然而，双语或多语的MWE语料库的可用性是非常有限的。我们所知道的唯一的双语MWE语料库来自PARSEME（PARSing and Multi-word Expressions）EU Project。这是一个只有871对英语-德语MWE的小集合。在本文中，我们提出了多语言和双语MWE语料库，我们已经从根平行语料库中提取。我们收集到的双语MWE对分别为3，159，226和143，042德英和中英过滤后。我们检查这些提取的双语MWE在MT实验的质量。我们的初步实验表明，在MT中应用MWE的定性分析和更好的一般评价分数在定量分析中，无论是德国-英语和中国-英语语言对MWE术语的翻译性能提高。我们遵循一个标准的实验管道来创建我们的MultiMWE语料库，这些语料库可以在网上找到。研究人员可以使用这个免费的语料库为自己的模型或使用它们在知识库中作为模型功能。
2020-05-21 cs.CL
Zero-Shot to Full-Resource: Cross-lingual Transfer Strategies for Aspect-Based Sentiment Analysis
Media Informatics Group, University of Regensburg, Regensburg, Germany（莱茵河畔大学媒体信息学小组）；Information Science Group, University of Regensburg, Regensburg, Germany（莱茵河畔大学信息科学小组）
本文评估了七种语言的ABSA方法，探讨了不同Transformer架构在零资源、数据仅用和全资源设置下的表现，发现大语言模型在复杂任务中表现最佳，同时提出两个新的德语数据集以促进多语言ABSA研究。
2026-04-29 cs.CL
Cross-lingual Visual Verb Sense Disambiguation
University of Edinburgh（爱丁堡大学）；University of Copenhagen（哥本哈根大学）
最近的研究表明，视觉语境改善了名词的跨语言意义消歧。我们将这一系列工作扩展到跨语言动词意义消歧这一更具挑战性的任务，介绍了包含9，504幅标注有英语，德语和西班牙语动词的图像的MultiSense数据集。MultiSense中的每个图像都用英语动词及其德语或西班牙语翻译进行注释。我们表明，跨语言的动词意义消歧模型受益于视觉上下文，单峰基线相比。我们还表明，我们最好的消歧模型预测的动词意义，可以提高纯文本的机器翻译系统用于多模态翻译任务时的结果。
2019-04-17 cs.CL cs.CV
Visually grounded cross-lingual keyword spotting in speech
Stellenbosch University（斯泰伦博斯大学）；Saarland University（萨尔大学）
最近的工作考虑了如何与语音配对的图像可以被用来作为监督时，transparency是不可用的语音系统的建设。我们问视觉接地是否可以用于跨语言的关键字发现：给定一种语言的文本关键字，任务是检索包含另一种语言的关键字的口语。这可以使得能够使用高资源语言中的文本查询来搜索低资源语言中的语音。作为概念验证，我们使用英语语音和德语查询：我们使用德语视觉标记器为每个训练图像添加关键字标签，然后训练神经网络将英语语音映射到德语关键字。在没有并行语音翻译或翻译的情况下，该模型的精度达到58%。我们发现，大多数错误的检索包含等效或语义相关的关键字，排除这些将提高P@10至91%。
2018-06-13 cs.CL cs.CV
Cross-lingual Candidate Search for Biomedical Concept Normalization
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
生物医学概念规范化将文本中提到的概念链接到生物医学知识库中的语义等效概念。这个任务是具有挑战性的，因为概念在自然语言中可以具有不同的表达，例如释义，其不一定全部存在于知识库中。非英语生物医学文本的概念规范化更具挑战性，因为非英语资源往往要小得多，包含的同义词更少。为了克服非英语术语的局限性，我们提出了一个跨语言的候选人搜索的概念规范化，使用基于字符的神经翻译模型训练的多语言生物医学术语。我们的模型使用西班牙语，法语，荷兰语和德语版本的UMLS进行训练。我们的模型的评估是在法国Quaero语料库上进行的，显示它优于CLEF eHealth 2015和2016的大多数团队。此外，我们还将Mantra的西班牙语、法语、荷兰语和德语版本与商业翻译进行了性能比较。我们的模型表现类似，但免费，可以在本地运行。这对于临床NLP应用尤其重要，因为医疗文档具有严格的隐私限制。
2018-05-04 cs.CL
Models and Datasets for Cross-Lingual Summarisation
University of Edinburgh（爱丁堡大学）；Institute for Language, Cognition and Computation（语言、认知与计算研究所）
我们提供了一个跨语言摘要语料库，其中包含与目标语言的多句摘要相关联的源语言长文档。该语料库涵盖了四种欧洲语言的十二种语言对和方向，即捷克语，英语，法语和德语，其创建方法可以应用于其他几种语言。我们从维基百科中获得跨语言的文档摘要实例，通过将引导段落和来自语言对齐的维基百科标题的文章主体相结合。我们分析了建议的跨语言摘要任务与自动指标，并验证它与人类的研究。为了说明我们的数据集的实用性，我们报告了在监督，零和Few-Shot以及域外场景中使用多语言预训练模型的实验。
2022-02-19 cs.CL
A survey of cross-lingual features for zero-shot cross-lingual semantic parsing
Georgia Institute of Technology（佐治亚理工学院）；Samsung AI Center（三星人工智能中心）；University of Edinburgh（爱丁堡大学）
利用语料库来训练英语语义分析器，已经在该领域取得了重大进展。不幸的是，对于英语以外的语言，注释是稀缺的，所以是发达的解析器。然后我们会问：一个用英语训练的解析器可以应用于它没有被训练过的语言吗？为了回答这个问题，我们探索zero-shot跨语言语义解析，其中我们训练可用的从粗到细的语义解析器（Liu et al.，2018）使用跨语言词嵌入和英语中的通用依赖关系，并在意大利语，德语和荷兰语上进行测试。并行意义库（一个多语言语义图库）的结果表明，当与其他词汇特征结合使用时，通用依赖特征显着提高了性能，但在对输入进行编码时，直接对UD结构进行建模则不会。
2019-08-27 cs.CL
Cross-lingual Word Embeddings in Hyperbolic Space
The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
跨语言词嵌入可以应用于跨多种语言的若干自然语言处理应用。不同于以往的作品，使用基于欧几里德空间的词嵌入，这篇短文提出了一个简单而有效的跨语言Word2Vec模型，适应双曲空间的庞加莱球模型学习无监督跨语言的词表示从德英平行语料库。已经表明，双曲嵌入可以捕获和保持层次关系。我们评估模型上的hypernymy和类比任务。该模型在跨语言类比任务上取得了与普通Word2Vec模型相当的性能，上位词任务表明，跨语言Poincaré Word2Vec模型可以从跨语言的自由文本中捕获潜在的层次结构，这是基于欧几里得的Word2Vec表示所缺乏的。我们的研究结果表明，通过保留潜在的层次信息，双曲空间可以提供更好的跨语言嵌入表示。
2022-06-26 cs.CL
Unicoder: A Universal Language Encoder by Pre-training with Multiple Cross-lingual Tasks
Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）
我们提出了Unicoder，一个通用的语言编码器，是不敏感的不同的语言。给定一个任意的NLP任务，可以使用一种语言的训练数据使用Unicoder训练模型，并直接应用于其他语言的相同任务的输入。与多语言BERT和XLM等类似工作相比，本文提出了三个新的跨语言预训练任务，包括跨语言单词恢复、跨语言释义分类和跨语言掩蔽语言模型。这些任务帮助Unicoder从更多的角度学习不同语言之间的映射。我们还发现，同时对多种语言进行微调可以带来进一步的改进。实验在两个任务上进行：跨语言自然语言推理（XNLI）和跨语言问答（XQA），其中XLM是我们的基线。在XNLI上，平均准确率提高了1.8%（15种语言）。在我们建立的新的跨语言数据集XQA上，平均准确率提高了5.5%（法语和德语）。
2019-09-04 cs.CL
Improving Zero-shot Cross-lingual Transfer between Closely Related Languages by injecting Character-level Noise
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
高资源语言与其方言或密切相关的语言变体之间的跨语言迁移应通过它们的相似性来促进。然而，目前在嵌入空间中操作的方法不考虑表面相似性。这项工作提出了一个简单而有效的策略，以改善密切相关的品种之间的跨语言迁移。我们建议用字符级噪声来增强高资源源语言的数据，以使模型对拼写变化更加鲁棒。我们的策略在几种语言和任务上显示出一致的改进：从芬兰语，西日耳曼语和北日耳曼语，以及西方罗曼语分支的语言品种之间的POS标记和主题识别的Zero-shot转移。我们的工作提供了证据的有用性，简单的表面噪声在提高语言品种之间的转移。
2022-03-11 cs.CL
Self-Attention with Cross-Lingual Position Representation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）
位置编码（PE）是自注意网络（SAN）的重要组成部分，用于保存自然语言处理任务的词序信息，为输入序列生成固定的位置索引。然而，在跨语言场景中，例如机器翻译，源和目标句子的PE被独立地建模。由于不同语言中的词序差异，对跨语言位置关系进行建模可能有助于SAN解决这个问题。在本文中，我们增加SAN与\emph{cross-lingual position representations}模型的双语意识的潜在结构的输入句子。具体来说，我们利用括号转导语法（BTG）为基础的重新排序信息，以鼓励SAN学习双语对角线对齐。在WMT'14英语$\Rightarrow$德语、WAT'17日语$\Rightarrow$英语和WMT'17中文$\Leftrightarrow$英语翻译任务上的实验结果表明，我们的方法在强基线上显著且一致地提高了翻译质量。大量的分析证实，性能增益来自跨语言的信息。
2020-11-21 cs.CL
Cross-lingual Language Model Pretraining
Facebook AI Research（Facebook人工智能研究）；Sorbonne Universités（巴黎索邦大学）；Université Le Mans（勒芒大学）
最近的研究表明生成式预训练对英语自然语言理解的有效性。在这项工作中，我们将这种方法扩展到多种语言，并展示了跨语言预训练的有效性。我们提出了两种方法来学习跨语言语言模型（XLM）：一种是无监督的，只依赖于单语数据，另一种是有监督的，利用并行数据与一个新的跨语言语言模型目标。我们在跨语言分类、无监督和有监督的机器翻译方面取得了最先进的结果。在XNLI上，我们的方法通过4.9%的准确度的绝对增益推动了最先进的技术。在无监督机器翻译方面，我们在WMT'16德语-英语上获得了34.3 BLEU，将之前的最新技术水平提高了9 BLEU以上。在有监督的机器翻译上，我们在WMT'16罗马尼亚语-英语上获得了38.5 BLEU的最新技术水平，超过了之前的最佳方法4 BLEU。我们的代码和预训练模型将公开提供。
2019-01-22 cs.CL
Cross-lingual RST Discourse Parsing
University of Copenhagen（哥本哈根大学）；CNRS（法国国家科学研究中心）；Univ Paris Diderot（巴黎狄德罗大学）
语篇分析是理解文档中的信息流和论证结构的一个组成部分。以往的研究主要集中在对英语语篇树库中的模式进行归纳和评价。然而，其他语言的话语树库也存在，包括西班牙语、德语、巴斯克语、荷兰语和巴西葡萄牙语。树库共享相同的基本语言学理论，但在文档注释的方式上略有不同。在本文中，我们提出了（a）一个新的话语分析器，这是更简单的，但有竞争力的（显着更好的2/3的指标），以最先进的英语，（b）跨语言的话语树库的协调，使我们能够提出（c）什么是我们所知道的最好的是跨语言话语分析的第一个实验。
2017-01-11 cs.CL
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards
Carnegie Mellon University（卡内基梅隆大学）
跨语言文本摘要的目的是在一种语言输入的情况下生成另一种语言的文档摘要。这是一项具有实际意义的重要任务，但尚未得到充分探讨，主要原因是缺乏可用数据。现有的方法求助于机器翻译来合成训练数据，但是这样的流水线方法遭受错误传播。在这项工作中，我们提出了一个端到端的跨语言文本摘要模型。该模型使用强化学习来直接优化以目标语言生成的摘要与以源语言生成的黄金摘要之间的双语语义相似性度量。我们还介绍了利用单语摘要和机器翻译目标对模型进行预训练的技术。在英汉和英德两种跨语言摘要环境下的实验结果证明了本文方法的有效性。此外，我们发现，以双语语义相似度作为奖励的强化学习模型比强基线生成更流畅的句子。
2020-06-27 cs.CL
Findings of the 2016 WMT Shared Task on Cross-lingual Pronoun Prediction
LMU Munich（慕尼黑大学）；Uppsala University（乌普萨拉大学）；Qatar Computing Res. Inst.（卡塔尔计算研究所）；HBKU（哈马德·本·哈利法大学）；University of Helsinki（赫尔辛基大学）；LinkedIn（领英）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Idiap Research Institute（伊迪亚普研究所）
我们描述了2016年WMT跨语言代词预测共享任务的设计、评估设置和结果。这是一个分类任务，要求参与者预测目标语言文本中的占位符值应该用什么代词类标签来替换，并以词形化和PoS标记的形式提供。我们提供了四个子任务，用于英法和英德语言对，在两个方向上。11个团队参与了共享任务; 9个用于英语-法语子任务，5个用于法语-英语，9个用于英语-德语，6个用于德语-英语。大多数提交的数据都优于两个基于强大语言模型的基线系统，对于大多数语言对，使用深度递归神经网络的系统优于使用其他架构的系统。
2019-11-27 cs.AI cs.CL cs.IR
Coarse-To-Fine And Cross-Lingual ASR Transfer
Charles University（查理大学）
端到端神经自动语音识别系统取得了最新的成果，但它们需要大量的数据集和广泛的计算资源。已经提出了迁移学习来克服这些困难，甚至跨语言，例如，德国ASR从英国模型训练。我们尝试使用相关性更低的语言，为捷克语ASR重用英语模型。为了简化传输，我们建议使用中间字母表，捷克没有口音，并证明这是一个非常有效的策略。该技术在捷克数据上也很有用，采用从粗到精的训练方式。我们在训练时间和字出错率（WER）方面取得了实质性的教育。
2021-09-02 cs.CL
Cross-lingual Argumentation Mining: Machine Translation (and a bit of Projection) is All You Need!
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
论证挖掘（AM）需要识别复杂的话语结构，最近已经成功地应用于单语言。在这项工作中，我们表明，现有的资源，但是，不足以评估跨语言AM，由于其异质性或缺乏复杂性。因此，我们创建合适的平行语料库（人类和机器）翻译一个流行的AM数据集，包括有说服力的学生论文成德语，法语，西班牙语和中文。然后，我们比较了（i）注释投影和（ii）双语词嵌入的跨语言AM的直接转移策略，发现前者表现得更好，几乎消除了损失的跨语言迁移。此外，我们发现，无论是昂贵的人力或廉价的机器翻译时，注释投影同样适用。我们的代码和数据可在\url{http://github.com/UKPLab/coling2018-xling_argument_mining}上获得。
2018-07-24 cs.CL
SemEval-2019 Task 1: Cross-lingual Semantic Parsing with UCCA
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们介绍了SemEval 2019年关于英语，德语和法语UCCA解析的共享任务，并讨论了参与系统和结果。UCCA是一个跨语言适用的语义表示框架，它建立在广泛的类型学工作基础上，支持快速注释。UCCA对现有的解析技术提出了挑战，因为它表现出可重入性（导致DAG结构），不连续结构和非终结节点对应于复杂的语义单元。这项共同任务在所有语文和环境下都比最先进的基线有所改进。完整的结果可以在任务的网站\url{https://competitions.codalab.org/competitions/19160}上找到。
2020-06-11 cs.CL
Cross-lingual Abstract Meaning Representation Parsing
University of Edinburgh（爱丁堡大学）
摘要意义表示（AMR）注释工作主要集中在英语上。为了训练其他语言的语法分析器，我们提出了一种基于注释投影的方法，该方法涉及利用源语言中的注释以及源语言和目标语言的并行语料库。使用英语作为源语言，我们显示了意大利语，西班牙语，德语和中文作为目标语言的可喜成果。除了在非黄金数据集上评估目标解析器之外，我们还提出了一种评估方法，该方法利用英语黄金注释，并且不需要访问目标语言的黄金注释。这是通过颠倒投影过程来实现的：从目标语言解析器学习新的英语解析器，并根据现有的英语黄金标准进行评估。
2018-02-24 cs.CL
Cross-lingual Contextualized Topic Models with Zero-shot Learning
Bocconi University（博科尼大学）；University of Milano-Bicocca（米兰比可卡大学）
许多数据集（例如，评论、论坛、新闻等）以多种语言存在。它们都覆盖相同的内容，但语言上的差异使得无法使用传统的基于词袋的主题模型。模型必须要么是单一语言，要么是庞大但极其稀疏的词汇表。这两个问题都可以通过迁移学习来解决。在本文中，我们介绍了一个zero-shot跨语言主题模型。我们的模型学习一种语言（这里是英语）的主题，并预测不同语言（这里是意大利语，法语，德语和葡萄牙语）的未见过的文档。我们评估了不同语言的同一文档的主题预测的质量。我们的研究结果表明，转移的主题是连贯和稳定的跨语言，这表明令人兴奋的未来研究方向。
2021-02-04 cs.CL
Cross-lingual Distillation for Text Classification
Carnegie Mellon University（卡内基梅隆大学）
跨语言文本分类（CLTC）是将用不同语言编写的文档分类到相同的类别分类中的任务。本文提出了一种新的CLTC方法，建立在模型蒸馏，适应和扩展最初提出的模型压缩的框架。使用软概率预测的文件在一个标签丰富的语言作为（诱导）监督标签的平行语料库中的文件，我们训练分类成功的新语言中标记的训练数据不可用。在模型训练过程中还应用了对抗性特征自适应技术，以减少分布失配。我们在两个基准CLTC数据集上进行了实验，将英语作为源语言，将德语、法语、日语和汉语作为未标记的目标语言。所提出的方法具有其他最先进的方法的优势或相当的性能。
2018-03-28 cs.CL
The RELX Dataset and Matching the Multilingual Blanks for Cross-Lingual Relation Classification
Boğaziçi University（博阿齐奇大学）
关系分类是信息抽取中的一个关键问题，它可以用来构造知识库或为问答提供有用的信息。当前的关系分类方法主要集中在英语语言上，并且需要大量带有人类注释的训练数据。为低资源语言创建和注释大量的训练数据是不切实际的，而且成本很高。为了克服这个问题，我们提出了两个跨语言关系分类模型：一个基线模型的基础上多语言BERT和一个新的多语言预训练设置，这显着提高了基线与远程监督。为了进行评估，我们引入了一个新的公共基准数据集，用于英语，法语，德语，西班牙语和土耳其语的跨语言关系分类，名为CRAMX。我们还提供了一个远程数据集，其中包括数十万个句子，这些句子与维基百科和维基数据的关系是通过远程监督为这些语言收集的。我们的代码和数据可在https://github.com/boun-tabi/RELX上获得
2020-10-19 cs.CL
Cross-lingual Word Analogies using Linear Transformations between Semantic Spaces
NTIS – New Technologies for the Information Society（NTIS——信息社会新技术）；University of West Bohemia（西波希米亚大学）
我们推广了跨语言的词类比任务，为跨语言语义空间提供了一种新的内在评价方法。我们在不同的语系中尝试了六种语言，包括英语，德语，西班牙语，意大利语，捷克语和克罗地亚语。国家的最先进的单语语义空间转换成一个共享的空间使用字典的单词翻译。我们比较了几种线性变换，并将它们与单语（无变换），双语（一个语义空间转换为另一个）和多语言（所有语义空间转换为英语空间）版本的语义空间进行了实验。我们表明，测试的线性变换保持词（词类比）之间的关系，并导致令人印象深刻的结果。单语、双语和多语言语义空间的平均准确率分别为51.1%、43.1%和38.2%。
2018-07-11 cs.CL
QU-NLP at CheckThat! 2025: Multilingual Subjectivity in News Articles Detection using Feature-Augmented Transformer Models with Sequential Cross-Lingual Fine-Tuning
Qatar University（卡塔尔大学）
本研究针对CheckThat! 2025新闻主观性检测任务，提出融合上下文嵌入与统计/语言特征的特征增强Transformer模型，通过序列跨语言微调在多语言、单语言及零样本设置下取得有竞争力的性能，并验证了特征组合与跨语言迁移的作用。
2025-07-01 cs.CL
VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation
Alibaba Group（阿里巴巴集团）
多语言预训练的现有工作已经通过训练用于多种语言的统一的Transformer编码器展示了跨语言可移植性的潜力。然而，大部分的这项工作只依赖于共享的词汇和双语上下文，以鼓励跨语言的相关性，这是松散和隐含的对齐语言之间的上下文表示。在本文中，我们将交叉注意模块插入到Transformer编码器中，以显式地构建语言之间的相互依赖性。该方法能有效地避免仅根据本族语语境预测屏蔽词的退化。更重要的是，当对下游任务进行微调时，交叉注意模块可以按需插入或退出，从而自然有利于更广泛的跨语言任务，从语言理解到生成。因此，所提出的跨语言模型提供了新的国家的最先进的结果，各种跨语言的理解任务的XTREME基准，包括文本分类，序列标记，问答，句子检索。对于跨语言生成任务，它在WMT 14英语到德语和英语到法语翻译数据集上的性能也优于所有现有的跨语言模型和最先进的Transformer变体，增益高达1~2 BLEU。
2021-06-02 cs.CL
Cross-lingual Pseudo-Projected Expectation Regularization for Weakly Supervised Learning
Stanford University（斯坦福大学）
我们考虑了一个多语言弱监督学习的情况下，知识从注释语料库中的资源丰富的语言是通过双文本传输，以指导学习其他语言。过去的方法将标签投射到bitext中，并将它们作为特征或黄金标签进行训练。我们提出了一种新的方法，项目模型的期望，而不是标签，这设施模型的不确定性跨语言边界的转移。我们将期望编码为约束，并使用广义期望标准（Mann和McCallum，2010）训练一个判别式CRF模型。在标准的汉英和德英NER数据集上进行评估，当不使用标记数据时，我们的方法表现出64%和60%的F1分数。使用有监督的CRF获得相同的准确性需要12 k和1.5k个标记句子。此外，当与标记的例子相结合时，我们的方法比最先进的监督方法有了显着的改进，在中国OntoNotes和德国CoNLL-03数据集上获得了迄今为止最好的报告数字。
2013-10-06 cs.AI cs.CL
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation and Understanding
China University of Petroleum (East China)（中国石油大学（华东））；JD Explore Academy（京东探索研究院）
对于多语言序列到序列预训练语言模型在多语言Seq 2Seq PLM（多语言Seq 2Seq PLM），例如mBART中，自监督预训练任务在广泛的单语语言上训练，例如来自CommonCrawl的25种语言，而下游跨语言任务通常在双语语言子集上进行，例如英语-德语，使得存在数据差异，即域差异，在预训练阶段和微调阶段存在跨语言学习目标差异，即任务差异。为了弥合上述跨语言领域和任务的差距，我们扩展了vanilla pretrain-finetune管道，增加了额外的代码切换恢复任务。具体而言，第一阶段采用自监督代码切换恢复任务作为借口任务，允许多语言Seq 2Seq PLM获取一些域内对齐信息。在第二阶段，我们通常对下游数据进行模型微调。NLG评估（12个双语翻译任务，30个zero-shot翻译任务和2个跨语言摘要任务）和NLU评估（7个跨语言自然语言推理任务）的实验表明，我们的模型始终优于采用标准微调策略的强基线mBART。分析表明，我们的方法可以缩小跨语言句子表示的欧氏距离，并提高模型的泛化能力与微小的计算成本。我们在https://github.com/zanchangtong/CSR4mBART上发布代码。
2022-09-21 cs.CL
Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking
University of Edinburgh（爱丁堡大学）
面向任务的神经对话系统的最新进展主要集中在少数几种语言上，因为训练数据的注释繁琐且昂贵。机器翻译已被用于使系统多语言，但这可能会引入错误管道。另一个有前途的解决方案是通过预训练的多语言模型使用跨语言迁移学习。现有的方法训练多语言模型与额外的代码混合的任务数据或通过并行本体细化的跨语言表示。在这项工作中，我们通过对预训练的多语言模型进行中间微调来增强迁移学习过程，其中多语言模型使用不同但相关的数据和/或任务进行微调。具体来说，我们使用并行和会话电影字幕数据集设计跨语言的中间任务，适合下游的对话任务。我们只使用20万行并行数据进行中间微调，这已经适用于1782语言对。我们在并行的多语言WoZ（英语->中文，中文->英语）和多语言WoZ（英语->德语，英语->意大利语）数据集上测试了我们的方法。我们在并行MultiWoZ数据集和多语言WoZ数据集上实现了令人印象深刻的改进（联合目标准确度> 20%），分别只有10%的目标语言任务数据和zero-shot设置。
2021-09-28 cs.CL
Zero Resource Cross-Lingual Part Of Speech Tagging
Saarland University（萨尔大学）
本文研究零资源跨语言词性标注，提出利用现成对齐模块将英语标签投影到法语、德语和西班牙语，并训练隐马尔可夫模型进行预测，证明投影对齐数据对零资源词性标注有效。
2024-01-11 cs.CL
Multilingual JobBERT for Cross-Lingual Job Title Matching
TechWolf
本研究提出基于对比学习的多语言职位匹配模型JobBERT-V3，以JobBERT-V2为基础支持4种语言，在TalentCLEF 2025基准上优于基线，还可用于技能排序，已开源。
2025-07-29 cs.CL
X-SCITLDR: Cross-Lingual Extreme Summarization of Scholarly Documents
University of Mannheim（曼海姆大学）；Hochschule der Medien（斯图加特传媒学院）
如今科学出版物的数量迅速增加，导致研究人员的信息过载，使学者很难跟上当前的趋势和工作路线。因此，最近的工作应用文本挖掘技术的学术出版物研究了应用自动文本摘要技术，包括极端摘要，在这一领域。然而，以前的工作只集中在单语设置，主要是在英语。在本文中，我们填补了这一研究空白，并提出了一个抽象的跨语言摘要数据集为四种不同的语言在学术领域，这使我们能够训练和评估模型，处理英语论文，并生成摘要在德国，意大利，中国和日本。我们提出了用于多语言摘要的新X-SCITLDR数据集，并基于最先进的多语言预训练模型对不同模型进行了彻底的基准测试，包括两阶段的“摘要和翻译”方法和直接跨语言模型。我们还探索了使用英语单语摘要和机器翻译作为中间任务的中间阶段训练的好处，并分析了零镜头和Few-Shot场景下的性能。
2022-05-30 cs.CL
Revisiting the Primacy of English in Zero-shot Cross-lingual Transfer
Google Research（谷歌研究院）
尽管它们取得了成功，但大型预训练的多语言模型并没有完全缓解对标记数据的需求，这对于所有目标语言来说都是很麻烦的。Zero-shot跨语言迁移正在成为一种实用的解决方案：预先训练的模型，后来在一种迁移语言上进行微调，在许多目标语言上进行测试时，表现出令人惊讶的性能。英语是迁移的主要源语言，流行的zero-shot基准也加强了这一点。然而，这种默认选择并没有经过系统的审查。在我们的研究中，我们将英语与其他迁移语言进行了比较，以进行微调，包括两个预训练的多语言模型（mBERT和mT5）以及多分类和问答任务。我们发现，其他高资源的语言，如德语和俄语往往更有效地转移，特别是当一组目标语言是不同的或未知的先验。出乎意料的是，即使训练集是从英语自动翻译的，这也是真的。这一发现可以对多语言zero-shot系统产生直接影响，并应告知未来的基准设计。
2021-06-30 cs.CL
SwissGov-RSD: A Human-annotated, Cross-lingual Benchmark for Token-level Recognition of Semantic Differences Between Related Documents
Department of Computational Linguistics, University of Zurich（瑞士苏黎世大学计算语言学系）
本文提出SwissGov-RSD，首个跨语言文档级语义差异识别基准，包含224个多语言文档，通过人工标注词级差异，评估多种模型表现，揭示自动方法在跨语言任务中的不足。
2026-04-27 cs.CL
Bhav-Net: Knowledge Transfer for Cross-Lingual Antonym vs Synonym Distinction via Dual-Space Graph Transformers
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology Delhi（印度理工学院德里）
Bhav-Net提出双空间图变换器架构，利用语言特定BERT编码器与图网络结合，实现跨八种语言的反义词与同义词区分，兼顾性能与可解释性。
2025-10-25 cs.CL
SemEval 2019 Shared Task: Cross-lingual Semantic Parsing with UCCA - Call for Participation
我们宣布了一项关于UCCA英语、德语和法语解析的共享任务，并呼吁参与者提交他们的系统。UCCA是一个跨语言适用的语义表示框架，它建立在广泛的类型学工作基础上，支持快速注释。UCCA对现有的解析技术提出了挑战，因为它表现出可重入性（导致DAG结构），不连续结构和非终结节点对应于复杂的语义单元。鉴于最近的语义解析共享任务（SDP和AMR）的成功，我们希望该任务对UCCA解析的进步有重大贡献，特别是一般的语义解析。此外，现有的基于UCCA的语义评估应用程序将大大受益于更好的自动UCCA解析方法。比赛网址为https://competitions.codalab.org/competitions/19160
2021-02-03 cs.CL
MACT: Model-Agnostic Cross-Lingual Training for Discourse Representation Structure Parsing
Yunnan University（云南大学）；Yunnan Key Laboratory of Intelligent Systems and Computing（云南省智能系统与计算重点实验室）
针对单语数据训练限制DRS解析性能的问题，提出模型无关的跨语言训练策略，利用预训练语言模型的语言对齐，在英语等四种语言的DRS解析基准上取得最先进结果。
2024-06-03 cs.CL
Investigating Bias in Multilingual Language Models: Cross-Lingual Transfer of Debiasing Techniques
KU Leuven（鲁汶大学）；IESEG School of Management（IESEG管理学院）；University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）；University of Southampton（南安普顿大学）
本研究探究多语言模型中去偏技术的跨语言迁移，利用mBERT验证其在英法德荷四种语言上的可行性，发现SentenceDebias效果最佳，平均降低偏见13%，且无性能损失，为多语言偏见缓解提供指导。
2023-10-16 cs.CL
PAWS-X: A Cross-lingual Adversarial Dataset for Paraphrase Identification
Google Research（谷歌研究院）
大多数现有的对抗性数据生成工作都集中在英语上。例如，PAWS（来自单词加扰的释义对手）由来自维基百科和Quora的具有挑战性的英语释义识别对组成。我们用PAWS-X弥补了这一差距，PAWS-X是一个新的数据集，包含23，659个人类翻译的PAWS评估对，使用六种类型学上不同的语言：法语，西班牙语，德语，中文，日语和韩语。我们提供了三个模型的基线数字，这些模型具有不同的捕获非本地上下文和句子结构的能力，并使用不同的多语言训练和评估机制。在PAWS英语上微调的多语言BERT加上机器翻译的数据表现最好，在非英语语言中的准确度范围为83.1-90.8，平均准确度比下一个最佳模型提高了23%。PAWS-X展示了深度多语言预训练的有效性，同时也为推动更好地捕捉结构和上下文信息的多语言研究留下了相当大的空间。
2019-08-30 cs.CL
Should Cross-Lingual AMR Parsing go Meta? An Empirical Assessment of Meta-Learning and Joint Learning AMR Parsing
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Emvista（安维斯塔公司）
本研究探索元学习在跨语言AMR解析中的应用，构建并公开韩语、克罗地亚语测试集，对比经典联合学习发现元学习仅在部分语言0样本场景略有优势，k>0时提升甚微。
2024-10-04 cs.CL
LëtzCross: A Cross-Lingual Page-Level Benchmark for Multimodal Retrieval over Luxembourgish Documents
University of Luxembourg（卢森堡大学）；King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）
该研究推出LëtzCross基准，对比纯文本与ColPali式页面图像检索器，发现后者表现更优，还明确单语言微调中法语文对卢森堡语查询表现最高、多语言微调中纳入卢森堡语效果最强。
2026-08-25 cs.CL
MultiSlav: Using Cross-Lingual Knowledge Transfer to Combat the Curse of Multilinguality
针对斯拉夫语族NMT研究不足的问题，该研究探索跨语言知识迁移方法，证实其在低资源零样本场景下的增益，推出了该语族的最优开源NMT模型并公开发布。
2025-02-20 cs.CL
Cross-Lingual Alignment Without Joint Training: Do Monolingual Language Models Converge on Universal Representations?
University of Cambridge（剑桥大学）；EleutherAI
该研究发现无联合训练时，单语言模型可通过语言结构和信息承载形成跨语言对齐，提出用Procrustes旋转映射模型隐藏状态，为模块化多语言系统构建提供方向。
2026-08-28 cs.CL
Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）
跨语言词嵌入（CLWE）已被证明是有用的，在许多跨语言的任务。然而，大多数现有的学习CLWE的方法，包括那些与上下文嵌入是意义不可知的。在这项工作中，我们提出了一个新的框架，对齐上下文嵌入的意义上的水平，利用跨语言的信号，从双语词典。我们首先提出了一种新的感知交叉熵损失模型明确的词义操作我们的框架。用我们的感知交叉熵损失预训练的单语ELMo和BERT模型在词义消歧任务中表现出显着的性能改善。然后，我们在感知交叉熵损失的基础上提出了一个感知对齐目标，用于跨语言模型预训练，并为几种语言对（英语到德语/西班牙语/日语/中文）预训练跨语言模型。与最佳基线结果相比，我们的跨语言模型在zero-shot跨语言NER、情感分类和XNLI任务上的平均性能分别提高了0.52%、2.09%和1.29%。
2022-09-15 cs.AI cs.CL
X-SRL: A Parallel Cross-Lingual Semantic Role Labeling Dataset
Leibniz ScienceCampus “Empirical Linguistics and Computational Language Modeling”（莱布尼茨科学园区“经验语言学与计算语言建模”）；Heidelberg University（海德堡大学）；Institut für Deutsche Sprache Mannheim（曼海姆德语研究所）
尽管SRL针对许多语言进行了研究，但主要的改进主要是针对英语，因为英语有更多的资源。事实上，现有的多语言SRL数据集包含不同的注释风格或来自不同的领域，阻碍了多语言学习的泛化。在这项工作中，我们提出了一种方法来自动构建一个SRL语料库，这是平行的四种语言：英语，法语，德语，西班牙语，具有统一的谓词和角色注释，是完全可比的跨语言。我们将高质量的机器翻译应用于英语CoNLL-09数据集，并使用多语言BERT将其高质量的注释投射到目标语言。我们包括人类验证的测试集，我们用来衡量投影质量，并表明投影比强基线更密集，更精确。最后，我们训练不同的SOTA模型，我们的新语料库单语言和多语言SRL，表明多语言注释提高性能，特别是对较弱的语言。
2020-10-05 cs.CL
Language Barriers: Evaluating Cross-Lingual Performance of CNN and Transformer Architectures for Speech Quality Estimation
Technische Universität Berlin（柏林工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz（德国人工智能研究中心）
本文评估仅用英语训练的NISQA与AST在五种语言上的语音质量预测表现，发现AST更稳定但二者均有偏差，并指出多语言数据与架构适配的必要性。
2025-02-18 cs.CL
Summarising Historical Text in Modern Languages
The University of Sheffield（谢菲尔德大学）；Beihang University（北京航空航天大学）；The Open University（开放大学）
我们介绍了历史文本摘要的任务，其中一种语言的历史形式的文件被总结在相应的现代语言。这对历史学家和数字人文研究人员来说是一个非常重要的程序，但从未被自动化。我们编制了一个高质量的黄金标准文本摘要数据集，其中包括数百年前用现代德语或中文摘要的历史德语和中国新闻。基于跨语言迁移学习技术，我们提出了一个即使没有跨语言（历史到现代）并行数据也可以训练的摘要模型，并进一步将其与最先进的算法进行基准测试。我们报告了将历史到现代语言摘要任务与标准跨语言摘要（即，现代到现代语言），突出我们数据集的独特性和价值，并证明我们的迁移学习方法在这项任务上优于标准的跨语言基准。
2021-01-27 cs.AI cs.CL cs.CY
Zero-shot Cross-lingual Stance Detection via Adversarial Language Adaptation
PSG College of Technology（PSG技术学院）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出零样本跨语言立场检测方法MTAB，通过结合翻译增强与对抗学习，在缺乏目标语言训练数据时有效提升了多语言立场分类性能。
2024-04-22 cs.CL
A Corpus for Multilingual Document Classification in Eight Languages
Facebook AI Research（脸书人工智能研究院）；Facebook AML（脸书应用机器学习部门）
跨语言文档分类的目的是在一种语言的资源上训练文档分类器，并将其转移到另一种语言，而无需任何额外的资源。在文献中已经提出了几种方法，目前的最佳实践是在路透社语料库第2卷的一个子集上对它们进行评估。然而，这一子集只涵盖少数几种语言（英语，德语，法语和西班牙语），几乎所有出版的作品都集中在英语和德语之间的转换。此外，我们还观察到类先验分布在语言之间存在显著差异。我们认为，这使多语言性的评价复杂化。在本文中，我们提出了一个新的子集的路透社语料库与平衡类先验的八种语言。通过添加意大利语、俄语、日语和汉语，我们涵盖了在语法、词法等方面差异很大的语言。我们分别使用多语言单词和句子嵌入为所有语言迁移方向提供强大的基线。我们的目标是提供一个免费的框架来评估跨语言文档分类，我们希望通过这些手段促进这一重要领域的研究。
2018-05-24 cs.CL
Debiasing Multilingual LLMs in Cross-lingual Latent Space
University of Copenhagen（哥本哈根大学）；ETH Zurich（苏黎世联邦理工学院）
针对多语言大语言模型去偏置技术跨语言迁移性有限的问题，本研究提出在由平行TED脚本训练的自动编码器构建的对齐跨语言潜在空间中进行去偏置，实验证明该方法能显著提升去偏置性能及跨语言迁移性。
2025-08-25 cs.AI cs.CL cs.LG
Multilingual Clinical NER: Translation or Cross-lingual Transfer?
SAS Posos（SAS Posos公司）；LORIA（洛林计算机科学及其应用实验室）
针对法语和德语临床NER缺少标注数据的问题，本文比较跨语言迁移与翻译训练集/测试集两类方法，并发布法语MedNERF测试集，证明翻译法可达相近性能但设计需更谨慎。
2023-06-07 cs.AI cs.CL cs.LG
Phylogeny-Inspired Adaptation of Multilingual Models to New Languages
George Mason University（乔治梅森大学）
大型预训练的多语言模型，在几十种语言上进行训练，由于在各种语言任务上的跨语言学习能力，已经取得了令人鼓舞的结果。进一步使这些模型适应特定的语言，特别是在预训练期间看不到的语言，是扩大语言技术覆盖范围的一个重要目标。在这项研究中，我们展示了如何使用语言系统发育信息，以改善跨语言迁移利用密切相关的语言在结构化，语言信息的方式。我们对来自不同语系（日耳曼语、乌拉尔语、图皮斯语、乌托-阿兹特克语）的语言进行基于适配器的训练，并对句法和语义任务进行评估，与强大的常用基线相比，获得了超过20%的相对性能提升，特别是在预训练期间看不到的语言上。
2022-11-22 cs.CL
Multilingual Neural RST Discourse Parsing
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究所）
语篇分析在理解自然语言中的信息流和论证结构方面起着重要的作用。以往的修辞结构理论研究主要集中在从英语树库中归纳和评价模式。然而，由于注释数据的短缺，其他语言（如德语，荷兰语和葡萄牙语）的解析任务仍然具有挑战性。在这项工作中，我们研究了两种方法来建立一个神经，跨语言的话语解析器通过：（1）利用多语言向量表示;（2）采用段级翻译的源内容。实验结果表明，这两种方法在训练数据有限的情况下也能有效地进行文本级的跨语言句法分析。
2020-12-03 cs.CL
Perspectives on Cross-Lingual Consistency in LLMs for Medical Questions
Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Marburg（马尔堡大学）；Universidad Iberoamericana（伊比利亚美洲大学）
本研究通过调查356名专业人员，探讨多语言LLM在医疗问题中应保持一致还是适应文化，发现观点分歧，且LLM无法重现人类差异，需更多实证证据。
2026-09-09 cs.CL
