Enhanced Meta-Learning for Cross-lingual Named Entity Recognition with Minimal Resources
Microsoft Research（微软研究院）
对于没有标注资源的语言，从资源丰富的语言中转移知识是命名实体识别（NER）的有效解决方案。虽然所有现有的方法直接从源代码学习模型转移到目标语言，在本文中，我们提出了微调学习模型与一些类似的例子给出了一个测试用例，这可能有利于预测利用结构和语义信息传达在这样的类似的例子。为此，我们提出了一个Meta学习算法，以找到一个良好的模型参数初始化，可以快速适应给定的测试用例，并提出了构建多个伪NER任务的元训练计算句子相似度。为了进一步提高模型在不同语言之间的泛化能力，我们引入了一个掩码方案，并在元训练期间使用额外的最大项来增强损失函数。我们进行了广泛的实验，跨语言的命名实体识别与最少的资源超过五个目标语言。结果表明，我们的方法显著优于现有的最先进的方法。
2020-07-15 cs.CL
Everything Is All It Takes: A Multipronged Strategy for Zero-Shot Cross-Lingual Information Extraction
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Rochester（罗切斯特大学）
零镜头跨语言信息抽取（IE）描述了在给定仅以某个其它语言（通常是英语）的现有注释的情况下，针对某个目标语言的IE模型的构造。虽然预先训练的多语言编码器的进步表明了一个简单的乐观"训练英语，运行在任何语言"，我们发现通过彻底的探索和技术的扩展，新老方法的结合，导致更好的性能比任何一个跨语言的战略，特别是。我们探索了包括数据投影和自我训练在内的技术，以及不同的预训练编码器如何影响它们。我们使用英语到阿拉伯语的IE作为我们的初始示例，在此设置中，事件提取，命名实体识别，词性标记和依存句法分析表现出很强的性能。然后，我们将数据投影和自我训练应用于八种目标语言的三个任务。因为没有一组技术在所有任务中表现最好，我们鼓励从业者在寻求改进zero-shot训练时探索本工作中描述的技术的各种配置。
2021-09-14 cs.CL
Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
长期以来，在一个文本转语音系统中为多个说话者和多种语言建模语音一直是一个挑战。本文提出了一种扩展Tacotron 2实现双语多扬声器语音合成时，有有限的数据为每种语言。我们实现了跨语言的合成，包括代码转换的情况下，英语和汉语之间的单语者。这两种语言共享相同的输入音素表示，而语言属性和说话人身份分别由语言标记和说话人嵌入独立控制。此外，我们还研究了该模型在训练过程中使用和不使用双语数据集的跨语言合成性能。使用双语数据集，该模型不仅可以为所有说话者生成关于他们所说的语言的高保真语音，而且还可以为单语说话者生成关于非母语的口音，但流畅和可理解的语音。例如，说普通话的人可以流利地说英语。此外，如我们的结果和提供的样本所示，使用双语数据集训练的模型对于文本转语音的码转换是鲁棒的。{https：//caizexin.github.io/mlms-syn-samples/index.html}。
2020-05-21 cs.LG cs.SD eess.AS
LiveK12Bench: Have Large Multimodal Models Truly Conquered High School-level Examinations?
Tencent PCG（腾讯PCG）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出动态多学科基准LiveK12Bench，通过自动化流水线和新颖的模拟考试评估方案，揭示大型多模态模型在真实考试场景下性能显著下降，尤其对复杂视觉布局敏感。
2026-05-26 cs.AI cs.MM
Multi-lingual Functional Evaluation for Large Language Models
The Center for Tech Responsibility, Brown University（布朗大学技术责任中心）；University of California, Berkeley（加州大学伯克利分校）
本文提出跨语言小学数学符号基准和跨语言指令跟随评估，通过多语言翻译功能基准模板，评估大语言模型在多语言环境中的性能和鲁棒性，发现CL-GSM Symbolic和CL-IFEval在多语言任务中表现更优。
2026-03-12 cs.CL
Cross-lingual QA: A Key to Unlocking In-context Cross-lingual Performance
LG AI Research（LG AI研究院）；University of Maryland（马里兰大学）
提出跨语言问答提示法，仅翻译问答部分以降低成本，在四个多语言基准上优于单语提示，并随模型规模增大性能提升。
2024-07-16 cs.AI cs.CL
Examining Cross-lingual Contextual Embeddings with Orthogonal Structural Probes
Charles University（查理大学）
最先进的上下文嵌入是从仅适用于少数语言的大语言模型中获得的。对于其他人，我们需要使用多语言模型学习表示。关于多语言嵌入是否可以在多语言共享的空间中对齐的争论正在进行中。新的正交结构探测器（Limisiewicz和Mareček，2021）允许我们回答特定语言特征的这个问题，并仅基于单语言注释数据集学习投影。我们评估的语法（UD）和词汇（WordNet）的结构信息编码inmBERT的上下文表示九种不同的语言。我们观察到，对于与英语密切相关的语言，不需要转换。被评估的信息被编码在共享的跨语言嵌入空间中。对于其他语言，应用为每种语言单独学习的正交变换是有益的。我们成功地将我们的研究结果应用到zero-shot和Few-Shot跨语言句法分析。
2021-09-10 cs.AI cs.CL
Examining Multilingual Embedding Models Cross-Lingually Through LLM-Generated Adversarial Examples
University of Zurich（苏黎世大学）
提出CLSD轻量级评估任务，利用LLM生成对抗干扰项衡量跨语言嵌入模型的语义判别能力，实验发现检索微调模型受益于英语枢轴，而挖掘模型在直接跨语言设置中更优。
2025-10-09 cs.CL
GPTs and Language Barrier: A Cross-Lingual Legal QA Examination
National Institute of Informatics（信息学国立研究院）；Tokyo Institute of Technology（东京工业大学）
本文探讨GPTs在跨语言法律问答中的应用，通过基准测试英语和日语提示与数据的四种组合，为GPTs在多语言法律QA场景中的表现提供见解，助力开发更高效准确的跨语言法律QA解决方案。
2024-03-26 cs.AI cs.CL
XLDA: Cross-Lingual Data Augmentation for Natural Language Inference and Question Answering
Stanford University（斯坦福大学）；Salesforce Research（赛富时研究院）
虽然自然语言处理系统通常专注于单一语言，但多语言迁移学习有可能提高性能，特别是对于低资源语言。我们介绍了XLDA，跨语言的数据增强，一种方法，它取代了一段输入文本的翻译在另一种语言。XLDA增强了跨语言自然语言推理（XNLI）基准测试的所有14种测试语言的性能。通过对$4.8\%$的改进，使用XLDA进行的培训可以实现希腊语、土耳其语和乌尔都语的最先进性能。XLDA与一种更简单的方法相反，并且表现得更好，这种方法以一种方式聚合各种语言的示例，每个示例都只使用一种语言。在SQuAD问答任务中，我们看到XLDA在英语评估集上提供了$1.0\%$性能提升。全面的实验表明，大多数语言都是有效的跨语言增强器，XLDA对各种翻译质量都是鲁棒的，而且XLDA对随机初始化的模型比预训练的模型更有效。
2019-05-27 cs.AI cs.CL cs.LG
A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space
Dartmouth College（达特茅斯学院）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
在跨语言语言模型中，许多不同语言的表示存在于同一空间中。在这里，我们研究了影响跨语言预训练语言模型中101种语言和5,050种语言对的语言和非语言因素。使用基于BERT的LaBSE和基于BiLSTM的LASER作为我们的模型，圣经作为我们的语料库，我们计算了一个基于任务的跨语言对齐的措施，在形式的双语检索性能，以及四个内在的措施向量空间对齐和同构。然后，我们研究了一系列的语言，准语言和训练相关的功能，这些对齐指标的潜在预测。我们的分析结果表明，词序一致性和形态复杂性的一致性是两个最强的语言预测跨语言性。我们还注意到，家族内的训练数据作为一个比语言特定的训练数据更强的预测器。我们验证了我们的一些语言学研究结果，通过观察形态分割对英语-因纽特语对齐的影响，除了研究词序协议对来自不同语料库的66个zero-shot语言对同构的影响。我们公开了实验的数据和代码。
2021-09-13 cs.AI cs.CL cs.LG
XAMPLER: Learning to Retrieve Cross-Lingual In-Context Examples
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）；Unbabel（昂巴贝尔公司）
针对跨语言上下文学习中跨语言检索器和标注数据稀缺的问题，提出XAMPLER方法，基于Glot500训练检索器并利用MaLA500构建训练数据，仅用英语标注数据即可为目标语言检索英语示例，在SIB200和MasakhaNEWS基准上显著提升性能。
2025-02-08 cs.CL
Identifying the Correlation Between Language Distance and Cross-Lingual Transfer in a Multilingual Representation Space
Zortify S.A.（佐蒂夫公司）；Zortify Labs（佐蒂夫实验室）；SnT, University of Luxembourg（卢森堡大学SnT研究院）
本研究探讨了语言特征如何映射到多语言表示空间，分析了MLLMs产生的语言表示空间的绝对演变及其与跨语言迁移性能的相互关联，并提供了利用这些发现增强向语言距离较远语言迁移的初步证据。
2024-03-27 cs.AI cs.CL cs.LG
A cost-benefit analysis of cross-lingual transfer methods
University of Campinas（坎皮纳斯大学）；NeuralMind；University of Waterloo（滑铁卢大学）
跨语言迁移的一种有效方法是在一种语言的监督数据集上微调双语或多语言模型，并以zero-shot方式在另一种语言上对其进行评估。在训练时或推理时翻译示例也是可行的替代方案。然而，这些方法的成本在文献中很少涉及。在这项工作中，我们分析了跨语言方法的有效性（例如，准确性）、开发和部署成本以及它们在推断时的延迟。我们对三个任务的实验表明，最好的跨语言方法是高度依赖于任务。最后，通过结合zero-shot和翻译方法，我们在本工作中使用的三个数据集中的两个中实现了最先进的。基于这些结果，我们质疑是否需要手动标记目标语言的训练数据。代码和翻译后的数据集可在https://github.com/unicamp-dl/cross-lingual-analysis上获取
2021-12-14 cs.CL cs.IR cs.LG
PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale
University of Pennsylvania（宾夕法尼亚大学）
PAXQA提出一种利用平行语料间接监督的合成数据生成方法，通过问题生成和标注投影，生成大规模跨语言问答数据，在多个抽取式问答数据集上优于先前模型。
2023-10-17 cs.CL
Contributions of Transformer Attention Heads in Multi- and Cross-lingual Tasks
Dartmouth College（达特茅斯学院）；Tsinghua University（清华大学）；Zhejiang University City College（浙江大学城市学院）
本文研究了基于transformer的模型中注意力头的相对重要性，以帮助其在跨语言和多语言任务中的可解释性。先前的研究已经发现，在每个单语言自然语言处理（NLP）任务中，只有少数注意力头部是重要的，并且修剪剩余的头部会导致模型的性能相当或改进。然而，修剪注意头的影响还不清楚，在跨语言和多语言的任务。通过大量的实验，我们表明：（1）在基于多语言transformer的模型中修剪一些注意力头，一般来说，对跨语言和多语言任务的性能有积极的影响;（2）要修剪的注意力头可以使用梯度进行排名，并通过一些试验实验进行识别。我们的实验主要集中在序列标记任务，具有潜在的适用性，其他跨语言和多语言的任务。为了全面起见，我们检查了两个预训练的多语言模型，即多语言BERT（mBERT）和XLM-R，每个模型针对9种语言的三个任务。我们还讨论了我们的研究结果的有效性及其可扩展性，真正的资源稀缺的语言和其他任务设置。
2021-08-18 cs.CL cs.LG
Cross-Lingual Phrase Retrieval
Beijing Institute of Technology（北京理工大学）；Huazhong University of Science and Technology（华中科技大学）
跨语言检索的目的是跨语言检索相关文本。目前的方法通常通过学习单词或句子级别的语言无关的文本表示来实现跨语言检索。然而，如何学习跨语言短语检索的短语表示仍然是一个悬而未决的问题。在本文中，我们提出了XPR，一个跨语言的短语检索器，提取短语表示从未标记的例句。此外，我们创建了一个大规模的跨语言短语检索数据集，其中包含65K双语短语对和4.2M例句在8个英语为中心的语言对。实验结果表明，XPR优于使用单词级或短语级表示的最先进的基线。XPR还显示出令人印象深刻的zero-shot可移植性，使模型能够在训练期间以看不见的语言对进行检索。我们的数据集、代码和训练模型可在www.github.com/cwszz/XPR/上公开获取。
2022-04-19 cs.CL
CLASP: Few-Shot Cross-Lingual Data Augmentation for Semantic Parsing
Amazon（亚马逊）
开发语义解析（SP）模型的瓶颈是需要大量人工标注的训练数据。鉴于人工标注SP的复杂性和成本，标记数据通常很少，特别是在多语言环境中。大语言模型（LLM）在SP上表现出色，仅给出了几个例子，但是LLM不适合需要低延迟的运行时系统。在这项工作中，我们提出了CLASP，一种简单的方法来改善中等规模模型的低资源SP：我们从AlexaTM 20 B生成合成数据，以增加模型的训练集小40倍（500 M参数）。我们在低资源环境下对两个数据集进行评估：英语PIZZA，包含348或16个真实示例，以及mTOP跨语言zero-shot，其中训练数据仅以英语提供，并且模型必须推广到四种新语言。在这两个数据集上，我们都显示出比强基线方法有显着改进。
2022-10-14 cs.AI cs.CL cs.LG
OMoS-QA: A Dataset for Cross-Lingual Extractive Question Answering in a German Migration Context
University of Augsburg（奥格斯堡大学）；Tür an Tür Digitalfabrik GmbH（Tür an Tür数字工厂有限公司）
针对移民信息获取难题，构建德英跨语言抽取式问答数据集OMoS-QA，并评测5个预训练大模型，发现其答案选择具有高精确率与低至中等召回率，且跨语言稳健。
2024-07-22 cs.CL
Cross-lingual Zero- and Few-shot Hate Speech Detection Utilising Frozen Transformer Language Models and AXEL
University of Augsburg（奥格斯堡大学）；TU Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）
检测仇恨言论，特别是在低资源语言中，是一个不小的挑战。为了解决这个问题，我们开发了一个定制的架构，该架构基于冻结的、预训练的Transformers，以在HatEval挑战数据集上检查跨语言zero-shot和少样本学习以及单语言学习。与我们的新的注意力为基础的分类块AXEL，我们表现出高度竞争力的英语和西班牙语子集的结果。我们还对英语子集进行了重新采样，以便在未来进行更多有意义的比较。
2020-04-13 cs.CL cs.LG stat.ML
XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing
University of Waterloo（滑铁卢大学）；Penn State University（宾夕法尼亚州立大学）
使用大语言模型的上下文学习最近在语义解析任务（如文本到SQL翻译）中显示出令人惊讶的结果。使用几个question-SQL对的示例来验证GPT-3或Codex可以产生非常好的结果，可以与最先进的基于微调的模型相媲美。然而，现有的工作主要集中在英语数据集，这是未知的大语言模型是否可以作为其他语言的竞争力的语义解析器。为了弥补这一差距，我们的工作重点是跨语言的文本到SQL的语义解析翻译非英语的话语到SQL查询的基础上的英语模式。我们考虑一个zero-shot迁移学习设置，假设我们没有任何标记的例子在目标语言（但有注释的例子在英语）。这项工作介绍了XRICL框架，学习检索相关的英语范例为一个给定的查询构造提示。我们还包括目标语言的全局翻译范例，以促进大语言模型的翻译过程。为了系统地评估我们的模型，我们构建了两个新的基准数据集，XSpider和XKaggle-dbqa，其中包括中文，越南语，波斯语和印地语的问题。我们的实验表明，XRECL有效地利用了大型预训练的语言模型，以超越现有的基线。数据和代码可在https://github.com/Impavidity/XRICL上公开获取。
2022-10-25 cs.CL
An Inter-lingual Reference Approach For Multi-Lingual Ontology Matching
Fayoum University（法尤姆大学）；Freie Universität Berlin（柏林自由大学）
本体被认为是语义网的主干。随着语义网的日益成功，来自不同国家的参与社区的数量不断增加。不同自然语言中的本体越来越多，导致了互操作性问题。在本文中，我们讨论了本体匹配的几种方法，检查相似性和差异，找出弱点，并比较现有的自动化方法与手动方法集成多语言本体。此外，我们提出了一个新的架构，多语言本体匹配服务。作为一个案例研究，我们使用了两个多语言的企业本体论的例子-柏林自由大学的本体论和埃及法尤姆大学的本体论。
2013-09-25 cs.CL cs.DL
Few-shot Cross-lingual Aspect-Based Sentiment Analysis with Sequence-to-Sequence Models
University of West Bohemia in Pilsen Faculty of Applied Sciences, Department of Computer Science（西波希米亚大学普日恩学院应用科学学院计算机科学与工程系）
本文评估了在ABSA任务中向训练集添加少量目标语言示例的效果，发现仅10个示例即可显著提升跨语言性能，1000个示例甚至能超越单语基线。
2025-08-11 cs.CL
Enhancing Cross-lingual Prompting with Dual Prompt Augmentation
Carnegie Mellon University（卡内基梅隆大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出双重提示增强框架DPA，通过语言无关的Universal Prompting和双重提示增强缓解跨语言提示中的数据稀缺问题，在XNLI任务上以16个英语样本/类达到46.54%，显著优于微调的34.99%。
2023-05-24 cs.AI cs.CL
Impact of Subword Pooling Strategy on Cross-lingual Event Detection
University of Southern California Information Sciences Institute（南加州大学信息科学研究所）
预先训练的多语言语言模型（例如，mBERT、XLM-RoBERTa）的研究已经显著地推进了zero-shot跨语言信息抽取的最新技术水平。这些语言模型普遍依赖于分词技术，该技术将单词分解为更小的组成子词。因此，所有单词标记任务（例如，命名实体识别、事件检测等），需要将子词表示作为输入并输出整个词的表示的池化策略。以跨语言事件检测为例，我们表明，池化策略的选择可以对目标语言的性能产生显着影响。例如，在ACE任务中，当以英语进行培训并以阿拉伯语进行测试时，性能变化高达16个绝对$f_{1}$点，具体取决于池化策略。我们在不同的多语言数据集中使用九种语言的五种不同的池化策略进行分析。在配置中，我们发现，仅取第一个子词来表示整个词的规范策略通常是次优的。另一方面，我们表明，注意力池是强大的语言和数据集的变化，无论是最好的或接近最佳的策略。为了重现性，我们在https://github.com/isi-boston/ed-pooling上提供我们的代码。
2023-02-23 cs.CL cs.LG
Do Multi-Lingual Pre-trained Language Models Reveal Consistent Token Attributions in Different Languages?
Emory University（埃默里大学）；NEC Laboratories America（NEC美国实验室）
在过去的几年中，一个多语言的预训练语言模型（PLM）的激增已经提出了实现在许多跨语言的下游任务的最先进的性能。然而，理解为什么多语言PLM表现良好仍然是一个开放的领域。例如，目前尚不清楚多语言PLM是否在不同语言中显示一致的令牌属性。为了解决这个问题，在本文中，我们提出了一个跨语言一致性的令牌属性（CCTA）的评估框架。在三个下游任务的大量实验表明，多语言PLM分配显着不同的属性多语言同义词。此外，我们有以下观察结果：1）西班牙语在用于训练PLM时在不同语言中实现了最一致的令牌属性; 2）令牌属性的一致性与下游任务的性能密切相关。
2021-12-23 cs.CL
Adaptive Cross-lingual Text Classification through In-Context One-Shot Demonstrations
Mathematics Research Center (CIMAT)（数学研究中心（CIMAT））；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Consejo Nacional de Humanidades, Ciencias y Tecnologías（国家人文科学技术委员会）；University of Houston（休斯顿大学）
本文提出IC-XLT框架，通过目标语言单样本上下文演示使mT5在推理时自适应，提升跨语言分类性能，并在源语言数据有限时保持竞争力。
2024-04-03 cs.CL
UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data Generation for Cross-Lingual Learning in Tweet Intimacy Prediction
University of Zurich（苏黎世大学）
本文提出用于多语言推文亲密性预测的头优先微调方法HeFiT与ChatGPT数据生成策略，在SemEval-2023 Task 9的10种语言中取得第二名，有效稳定了训练并提升了零样本跨语言性能。
2023-04-24 cs.AI cs.CL
Addressing the Challenges of Cross-Lingual Hate Speech Detection
Technical University of Darmstadt（达姆施塔特工业大学）；LMU Munich（慕尼黑大学）
仇恨言论检测的目标是过滤针对特定人群的负面在线内容。由于社交媒体平台易于访问，因此保护每个人至关重要，这需要为各种语言建立仇恨言论检测系统。然而，可用的标记仇恨言论数据集是有限的，这使得为许多语言构建系统成为问题。在本文中，我们专注于跨语言迁移学习，以支持低资源语言的仇恨语音检测。我们利用跨语言的词嵌入训练我们的神经网络系统的源语言，并将其应用到目标语言，缺乏标记的例子，并显示出良好的性能可以实现。然后，我们将未标记的目标语言数据，通过使用不同的模型架构的合奏自举标签进一步改进模型。此外，我们还研究了仇恨言论数据集的标签不平衡问题，因为与仇恨示例相比，非仇恨示例的高比例通常会导致模型性能低下。我们测试简单的数据欠采样和过采样技术，并显示其有效性。
2022-01-15 cs.CL
A Post-trainer's Guide to Multilingual Training Data: Uncovering Cross-lingual Transfer Dynamics
Cohere For AI；University of São Paulo（圣保罗大学）；Meta
本研究通过控制多语言数据混合，在后训练中考察跨语言迁移动态，发现其受多种设置组合影响，并识别出有效迁移的条件。
2025-04-23 cs.AI cs.CL
The Reality of Multi-Lingual Machine Translation
我们的书《多语言机器翻译的现实》讨论了在机器翻译系统中使用两种以上语言的好处和危险。虽然专注于序列到序列处理和多任务学习的特定任务，但这本书的目标有点超出了自然语言处理的范围。对我们来说，机器翻译是深度学习应用的一个典型例子，在这种应用中，人类的技能和学习能力被视为一个基准，许多人试图匹配和超越。我们的文件，在多语言翻译中观察到的一些收益可能会导致更简单的效果比假设的知识的跨语言迁移。在第一部分，相当一般的部分，这本书将引导你通过多语言的动机，深度神经网络的多功能性，特别是在序列到序列的任务，这种学习的复杂性。我们在总结一般性部分时，警告不要对神经网络所展示的收益做出过于乐观和不合理的解释。在第二部分中，我们全面深入研究了多语言模型，特别仔细地研究了迁移学习，作为利用其他语言的更直接的方法之一。最近的多语言技术，包括大规模的模型，调查和部署系统的许多语言的实际方面进行了讨论。结论强调了机器理解的开放性问题，并提醒了构建大规模模型的两个伦理方面：研究的包容性及其生态痕迹。
2022-02-25 cs.CL
Automatic Generation of Language-Independent Features for Cross-Lingual Classification
Technion – Israel Institute of Technology（以色列理工学院）
许多应用程序需要使用预定义的类别对文本文档进行分类。执行文本分类的主要方法是从标记的示例中学习。对于许多任务，可能很难找到一种语言的示例，但在其他语言中很容易。从一种或多种语言的例子中学习并在另一种语言中分类的问题称为跨语言学习。在这项工作中，我们提出了一种新的方法，解决了一般的跨语言文本分类问题。我们的方法为每个训练文档生成一组与语言无关的特征。使用这些特征进行训练会产生一个独立于语言的分类器。在分类阶段，我们为未标记的文档生成与语言无关的特征，并将分类器应用于新的表示。为了构建特征生成器，我们利用了一个分层的独立于语言的本体，其中每个概念都有一组支持文档，用于所涉及的每种语言。在预处理阶段，我们使用支持文档来构建一组与语言无关的特征生成器，每种语言一个。这些生成器的集合用于将任何文档映射到与语言无关的特征空间。我们的方法适用于最一般的跨语言文本分类问题，能够从任何语言的混合中学习，并对任何其他语言的文档进行分类。我们还提出了一种方法，利用本体的层次结构来创建虚拟的支持文件的语言，没有他们。我们测试了我们的方法，使用维基百科作为我们的本体，在跨语言文本分类中最常用的测试集合，并发现它优于现有的方法。
2018-02-12 cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估，借助可解释性方法揭示其影响因素，验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL
Examining Modularity in Multilingual LMs via Language-Specialized Subnetworks
University of Amsterdam（阿姆斯特丹大学）；Google DeepMind（谷歌DeepMind）
本研究通过训练数据归因方法，发现多语言模型中语言专用子网络自然涌现，且稀疏微调可能降低语言专用性以促进跨语言共享。
2023-11-14 cs.CL
Consistency Regularization for Cross-Lingual Fine-Tuning
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
微调预训练的跨语言语言模型可以将特定于任务的监督从一种语言转移到其他语言。在这项工作中，我们建议用一致性正则化来改进跨语言微调。具体地，我们使用示例一致性正则化来惩罚预测对四种类型的数据增强的敏感性，即，子字采样、高斯噪声、代码转换替换和机器翻译。此外，我们使用模型一致性来正则化用同一训练集的两个增强版本训练的模型。XTREME基准测试的实验结果表明，我们的方法显着提高了跨语言的微调在各种任务，包括文本分类，问答，和序列标记。
2021-06-15 cs.CL
xCoT: Cross-lingual Instruction Tuning for Cross-lingual Chain-of-Thought Reasoning
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Beijing Information Science and Technology University（北京信息科技大学）；School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）
本文提出跨语言指令微调框架xCoT，通过多语言指令数据、跨语言少样本学习、随机在线CoT和跨语言蒸馏，将高资源语言的思维链推理能力迁移到低资源语言，显著缩小跨语言性能差距。
2024-01-13 cs.AI cs.CL
Align, Generate, Learn: A Novel Closed-Loop Framework for Cross-Lingual In-Context Learning
Technological University of Peru（秘鲁理工大学）
针对现有跨语言上下文学习方法依赖外部检索或任务微调、扩展性与泛化性不足的问题，提出含检索-生成对齐损失和语义连贯性损失的自监督闭环框架，在多语言基准上取得SOTA，具备强鲁棒性与泛化性。
2024-12-12 cs.CL
A Careful Examination of Large Language Model Performance on Grade School Arithmetic
Scale
针对大语言模型数学推理能力可能因数据集污染被高估的问题，构建与GSM8k可比的GSM1k基准，发现部分模型存在过拟合（准确率降8%），但前沿模型过拟合弱且所有模型均能泛化到新问题。
2024-11-22 cs.AI cs.CL cs.LG
PhiloBERTA: A Transformer-Based Cross-Lingual Analysis of Greek and Latin Lexicons
Wolfram Institute（沃尔夫勒姆研究所）；Ralston College（罗尔斯顿学院）
提出跨语言Transformer模型PhiloBERTA，通过上下文嵌入和角度相似性指标分析古希腊语与拉丁语词汇语义关系，发现词源相关术语对（尤其哲学概念）相似度更高且语义保留稳定，为古典文献学提供定量研究框架。
2025-03-07 cs.AI cs.CL
Analyzing and Improving Cross-lingual Knowledge Transfer for Machine Translation
本研究分析并改进了机器翻译中的跨语言知识迁移，探讨了语言相似性、检索辅助监督及平行数据微调对翻译效果的影响，以提升多语言NLP系统的鲁棒性和泛化能力。
2026-01-07 cs.CL
Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling
Peking University（北京大学）；Microsoft（微软）；Simon Fraser University（西蒙弗雷泽大学）
大规模跨语言预训练语言模型（xPLM）已经在跨语言序列标记任务（XSL）中显示出有效性，例如通过将知识从高资源语言转移到低资源语言的跨语言机器阅读理解（xMRC）。尽管取得了巨大的成功，但我们得出了一个经验性的观察，即在预训练和微调阶段之间存在训练目标差距：例如，掩码语言建模目标需要对掩码标记的局部理解，跨度提取目标需要对输入段落/段落和问题的全局理解和推理，导致预训练和xMRC之间的差异。在本文中，我们首先设计了一个专门为XSL定制的预训练任务，名为跨语言语言信息广度掩蔽（CLISM），以消除客观差距，在自我监督的方式。第二，我们提出了一致性正则化（CACR），它利用对比学习，通过在预训练过程中无监督的跨语言实例训练信号来鼓励输入并行序列的表示之间的一致性。通过这些方法，我们的方法不仅弥合了预训练-微调之间的差距，而且还增强了PLM，以更好地捕获不同语言之间的对齐。大量的实验证明，我们的方法在有限的预训练数据的多个XSL基准测试中取得了明显的优越结果。我们的方法在Few-Shot数据设置中也超过了以前的最先进的方法，其中只有几百个训练样本可用。
2022-04-11 cs.AI cs.CL
Meta-Learning a Cross-lingual Manifold for Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本地化语义解析器以支持新语言需要有效的跨语言泛化。最近的研究发现，机器翻译或zero-shot方法取得了成功，尽管这些方法很难模拟母语人士如何提问。我们考虑如何有效地利用最小的注释的例子在新的语言的Few-Shot跨语言的语义解析。我们引入一阶Meta学习算法来训练一个语义分析器，使其在跨语言迁移过程中具有最大的样本效率。我们的算法使用高资源的语言来训练分析器，同时优化低资源语言的跨语言泛化。ATIS上六种语言的结果表明，我们的泛化步骤的组合产生准确的语义解析器采样$\le$ 10%的源训练数据在每个新的语言。我们的方法还使用英语在Spider上训练了一个竞争模型，并将其推广到中文，同样采样$\le$ 10%的训练数据。
2022-09-27 cs.CL
BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer
University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）；Allen Institute for AI（艾伦人工智能研究所）
引入 BUFFET 基准统一 15 项任务和 54 种语言，评估多语言大模型在少样本跨语言迁移中的表现，发现上下文学习迁移效果仍不及微调的小模型。
2023-05-24 cs.CL
Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
本文提出利用最优传输对齐概率潜变量以最小化跨语言散度，从而在少样本条件下实现跨语言语义解析，并在MTOP和MultiATIS++SQL上取得最先进结果。
2023-07-09 cs.CL
Cross-Lingual Transfer Learning for Question Answering
National Taiwan University（国立台湾大学）
基于英语文档的深度学习问答（QA）已经取得了成功，因为有大量的英语训练样本。然而，对于大多数语言，高质量QA模型的训练样本不可用。在本文中，我们探讨了跨语言迁移学习的QA，其中一个源语言任务与丰富的注释，以提高性能的QA模型上的目标语言任务有限的可用注释。我们研究两种不同的方法。基于机器翻译（MT）的方法将源语言翻译成目标语言，反之亦然。虽然基于MT的方法带来了改进，但它假设了一个中间层翻译系统的可用性。基于GAN的方法结合了一种语言学习器来学习语言通用特征表示，并相应地从源语言转移知识。基于GAN的方法可以用更少的语言资源与基于MT的方法的性能相媲美。同时使用这两种方法会产生最好的结果。我们使用两个英文基准数据集，SQuAD和NewsQA，作为源语言数据，并显示出显着的改善，在一些既定的基线上的中文问答任务。我们在中国QA数据集上实现了新的最先进水平。
2019-07-13 cs.CL
Improving Zero-Shot Cross-Lingual Transfer via Progressive Code-Switching
Beihang University（北京航空航天大学）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
针对无节制语码转换损害跨语言迁移能力的问题，提出渐进式语码转换方法，通过难度度量、可控生成与训练调度实现从易到难的样本增强，在10种语言的3项零样本跨语言任务上取得最优结果。
2024-06-19 cs.CL cs.LG
Benchmarking quantized LLaMa-based models on the Brazilian Secondary School Exam
Systems and Computing Department（系统与计算系）；Federal University of Campina Grande（坎皮纳斯格雷大联邦大学）
本文评估了基于7亿和13亿LLaMa模型的量化模型在巴西中学考试上的性能，通过1006道题目测试，发现最佳模型在葡萄牙语原题上准确率为46%，英文翻译上为49%，并评估了模型的计算效率。
2023-09-21 cs.AI cs.CL
Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model
University of Science and Technology Beijing（北京科技大学）；University College Dublin（都柏林大学学院）
针对低资源非洲语言社交媒体心理健康预测研究不足的问题，本研究提出带自监督的元学习与大语言模型上下文学习两种方法，在斯瓦希里语等任务上验证了元训练优于标准微调，且精心设计的提示可实现跨语言上下文学习。
2024-04-13 cs.AI cs.CL cs.CY
Exploring the Relationship between Alignment and Cross-lingual Transfer in Multilingual Transformers
Posos（Posos公司）；LORIA（洛林计算机科学及其应用实验室）
本文研究多语言 Transformer 中表示对齐与跨语言迁移的关系，发现二者显著相关，并明确重对齐在小模型、远距离语言和词典词对等条件下可显著提升性能。
2023-06-05 cs.AI cs.CL
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.（百度公司）；University of Chinese Academy of Sciences（中国科学院大学）；University of Waterloo（滑铁卢大学）；Oregon State University（俄勒冈州立大学）
语音表征学习提高了语音理解和语音合成任务的单一语言。然而，它在跨语言场景中的能力还没有被探索。在本文中，我们扩展了跨语言多说话人语音合成任务的预训练方法，包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架，在这个框架中，我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分，我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外，我们的框架对于训练和推理都是端到端的，无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中，我们的实验表明，我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training
Microsoft Corporation（微软公司）；Beijing Institute of Technology（北京理工大学）
在这项工作中，我们提出了一个信息理论的框架，制定跨语言的语言模型预训练最大限度地提高多语言多粒度文本之间的互信息。统一的观点有助于我们更好地理解现有的跨语言表征学习方法。更重要的是，受该框架的启发，我们提出了一种新的基于对比学习的预训练任务。具体来说，我们认为双语句子对作为两个相同的意义的观点，并鼓励他们的编码表示比否定的例子更相似。通过利用单语和平行语料库，我们联合训练借口任务，以提高预训练模型的跨语言可移植性。几个基准测试的实验结果表明，我们的方法取得了相当好的性能。代码和预训练模型可在https://aka.ms/infoxlm上获得。
2021-04-07 cs.CL
Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong University of Science and Technology（香港科技大学）
基于多语言预训练语言模型的跨语言自适应主要包括两大类：zero-shot方法和基于预训练语言模型的方法。我们进一步验证了这些跨语言适应方法的有效性，通过评估其性能更细粒度的序列标记任务。在重新审视它们的优点和缺点之后，我们提出了一个新的框架来巩固zero-shot方法和基于自适应的方法，以获得更好的自适应性能。我们不是简单地用机器翻译的数据来增加源数据，而是量身定制了一个预热机制，用一些翻译数据上估计的梯度来快速更新mPTLM。然后，将自适应方法应用于改进的参数，并以热启动方式执行跨语言迁移。在九种目标语言上的实验结果表明，该方法有利于不同序列标注任务的跨语言适应。
2021-06-22 cs.CL
NaijaRC: A Multi-choice Reading Comprehension Dataset for Nigerian Languages
Masakhane NLP；Saarland University（萨尔大学）；University of Lagos（拉各斯大学）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
该研究构建了涵盖三种尼日利亚本土语言的多项选择阅读理解数据集NaijaRC，基于预训练仅编码器模型开展跨语言迁移得到基线结果，还通过提示大语言模型给出对应结果，为低资源语言阅读理解研究提供数据支撑。
2024-05-19 cs.CL
Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
本研究探索大语言模型在非洲低资源语言跨语言检索中的零样本重排序能力，比较专有与开源模型，发现跨语言重排序可媲美单语重排序。
2023-12-26 cs.CL cs.IR
