Knowledge Localization in Mixture-of-Experts LLMs Using Cross-Lingual Inconsistency
Google Research（谷歌研究）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Melbourne（墨尔本大学）
本文提出利用跨语言不一致性来提高混合专家语言模型的知识定位能力，通过对比成功和失败的激活桶，识别关键专家。实验表明，仅禁用约20个专家，模型在40%的情况下无法正确回答。
2026-11-09 cs.AI cs.CL cs.LG
Evaluating the Supervised and Zero-shot Performance of Multi-lingual Translation Models
Aylien Ltd.（Aylien有限公司）
我们研究了几种方法的全部或部分共享的多语言NMT模型的解码器参数。我们仅使用WMT 2019共享任务并行数据集进行训练，在110个独特的翻译方向上评估完全监督和zero-shot翻译性能。我们使用额外的测试集和重新评估方法最近用于无监督MT，以评估zero-shot翻译性能的语言对没有黄金标准的并行数据。据我们所知，就我们使用的训练数据的总大小而言，这是迄今为止对多语言翻译进行的最大评估，就我们评估的zero-shot翻译对的多样性而言。我们对不同模型的翻译性能进行了深入的评估，突出了共享解码器参数的方法之间的权衡。我们发现，具有特定于任务的解码器参数的模型优于解码器参数在所有任务中完全共享的模型。
2019-06-24 cs.CL
XTREME-S: Evaluating Cross-lingual Speech Representations
Google Research（谷歌研究院）；Hugging Face（拥抱脸（Hugging Face））；Meta AI
我们介绍XTREME-S，一个新的基准来评估通用的跨语言的语音表示在许多语言。XTREME-S涵盖四个任务系列：语音识别、分类、语音到文本翻译和检索。XTREME-S涵盖来自10多个语言家族、3个不同领域和4个任务家族的102种语言，旨在简化多语言语音表征评估，并促进“通用”语音表示学习的研究。本文描述了新的基准测试，并在所有下游任务上使用XLS-R和mSLAM建立了第一个纯语音和语音文本基线。我们激励设计选择和详细说明如何使用基准。数据集和微调脚本可以在https://hf.co/datasets/google/xtreme_s上轻松访问。
2022-04-13 cs.CL
Evaluating the Robustness and Accuracy of Text Watermarking Under Real-World Cross-Lingual Manipulations
University of Central Florida（中央佛罗里达大学）
本研究针对跨语言场景，评估四种文本水印方法在四种语言下的鲁棒性与准确性，探讨实际翻译攻击下的可检测性，并总结关键见解。
2025-09-06 cs.CL cs.LG
Language Barriers: Evaluating Cross-Lingual Performance of CNN and Transformer Architectures for Speech Quality Estimation
Technische Universität Berlin（柏林工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz（德国人工智能研究中心）
本文评估仅用英语训练的NISQA与AST在五种语言上的语音质量预测表现，发现AST更稳定但二者均有偏差，并指出多语言数据与架构适配的必要性。
2025-02-18 cs.CL
Evaluating and Modeling Attribution for Cross-Lingual Question Answering
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）；INRIA Paris（法国国家信息与自动化研究所巴黎分部）
本研究首次评估跨语言问答系统的归因问题，发现高达50%答案不可归因，并利用NLI模型和微调PaLM 2检测归因，从而提升系统归因水平。
2023-11-15 cs.CL
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
Carnegie Mellon University（卡内基梅隆大学）；DeepMind；Google Research（谷歌研究院）
机器学习模型应用于NLP的最新进展是由评估各种任务模型的基准驱动的。然而，这些覆盖面广的基准大多仅限于英语，尽管对多语种模式的兴趣越来越大，但仍然缺乏一个能够对各种语言和任务的这种方法进行全面评价的基准。为此，我们引入了多语言编码器XTREME基准的跨语言迁移评估，这是一个多任务基准，用于评估跨40种语言和9个任务的多语言表示的跨语言泛化能力。我们证明，虽然英语测试模型在许多任务上达到了人类的表现，但跨语言迁移模型的表现仍然存在相当大的差距，特别是在句法和句子检索任务上。结果也广泛分布在不同语言之间。我们发布该基准是为了鼓励对跨语言学习方法的研究，这些方法可以在多种具有代表性的语言和任务中转移语言知识。
2020-09-04 cs.CL cs.LG
On Evaluating Multilingual Compositional Generalization with Translated Datasets
University of Copenhagen（哥本哈根大学）
本研究通过构建基于规则的MCWQ-R多语言翻译数据集，评估跨语言组合泛化，发现语言差异导致组合分布受损，多语言模型跨语言泛化仍具挑战。
2023-06-20 cs.CL
A Balanced Data Approach for Evaluating Cross-Lingual Transfer: Mapping the Linguistic Blood Bank
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Charles University in Prague（布拉格查理大学）
我们表明，预训练语言的选择影响下游跨语言迁移的BERT模型。我们在平衡数据条件下检查zero-shot性能以减轻数据大小混淆，将提高下游性能的预训练语言分类为捐助者，并将zero-shot性能提高的语言分类为接受者。我们开发了一种在语言数量上具有二次时间复杂度的方法来估计这些关系，而不是对所有可能的组合进行指数穷举计算。我们发现，我们的方法是有效的一组不同的语言跨越不同的语言特征和两个下游任务。我们的研究结果可以为大规模多语言语言模型的开发人员提供更好的预训练配置。
2022-05-09 cs.AI cs.CL
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
基于神经Transformer架构的预训练多语言文本编码器，如多语言BERT（mBERT）和XLM，在无数的语言理解任务上取得了很好的性能。因此，它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例，使跨语言词嵌入（CLWEs）有效地过时。然而，问题仍然存在，在何种程度上这一发现推广1）无监督的设置和2）特设跨语言IR（CLIR）的任务。因此，在这项工作中，我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR，我们证明了可以实现最先进的性能。然而，使用通用多语言文本编码器“现成的”并不能达到峰值性能，而是依赖于它们的变体，这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis
Jožef Stefan Institute（约热夫·斯泰凡研究所）；Queen Mary University of London（伦敦玛丽女王大学）
本文研究零样本跨语言新闻情感检测，提出利用段落级信息的新任务目标POA，并对比机器翻译、上下文学习等方法，证明POA能以更低计算开销取得有竞争力的性能提升。
2024-09-30 cs.AI cs.CL
Investigating Post-pretraining Representation Alignment for Cross-Lingual Question Answering
George Mason University（乔治梅森大学）
人类的知识集中编码在世界各地使用的大约6500种语言中，但它并没有在语言之间均匀分布。因此，信息搜索问答（QA）系统，以充分服务于所有语言的发言者，他们需要跨语言操作。在这项工作中，我们研究了多语言预训练的语言模型的跨语言QA的能力。我们发现，显式地调整跨语言的表示与事后微调步骤通常会提高性能。我们还研究了数据大小的影响以及在这个微调步骤中的语言选择，还发布了一个数据集，用于评估跨语言QA系统。代码和数据集可在此处公开获取：https://github.com/ffaisal93/aligned_qa
2021-09-24 cs.CL
Latent-Space Intervention for Cross-Lingual Factual Consistency: Consistency Improvements without Accuracy Drops
School of Computation, Information and Technology, TU Munich（慕尼黑工业大学计算、信息与技术学院）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
本研究提出通过在平行多语言表示上训练特定层自编码器并应用推理时修正的跨语言隐空间干预方法，在不降低事实准确率的前提下提升了LLMs跨语言事实一致性。
2026-09-09 cs.CL
A Cross-Lingual Statutory Article Retrieval Dataset for Taiwan Legal Studies
National Chung Hsing University（国立中兴大学）
本文提出一个面向台湾法律的跨语言成文法条文检索数据集，涵盖中英双语法律询问及相关法规，并基于LLM方法提供基线，旨在提升非母语者的法律信息检索效果。
2024-10-15 cs.CL
CLUSE: Cross-Lingual Unsupervised Sense Embeddings
National Taiwan University（国立台湾大学）
本文提出了一种模块化的意义归纳和表示学习模型，该模型利用英汉平行语料库中的跨语言信号来获取语言对中的搭配和分布特征，联合学习向量空间中匹配良好的双语意义嵌入。该模型在斯坦福大学上下文单词相似度（SCWS）数据集上进行评估，以确保单语意义嵌入的质量。此外，我们还引入了双语上下文单词相似度（BCWS），这是一个用于评估跨语言意义嵌入的大型高质量数据集，这是衡量学习的嵌入是否在向量空间中确实对齐的第一次尝试。所提出的方法显示了优越的质量的意义嵌入评估单语和双语空间。
2018-10-21 cs.CL
Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
National University of Singapore（新加坡国立大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
该研究针对多语言模型事实性知识的跨语言一致性展开分析评估，借助可解释性方法揭示其影响因素，验证了语码转换训练等策略及激活修补方法对提升一致性的效用。
2025-09-30 cs.CL
Should All Cross-Lingual Embeddings Speak English?
Carnegie Mellon University（卡内基梅隆大学）
大多数最近的跨语言词嵌入的工作是严重的盎格鲁中心。绝大多数的词典归纳评价词典都是在英语和另一种语言之间，在多语言环境下学习时，默认选择英语嵌入空间作为枢纽。然而，通过这项工作，我们对这些做法提出了挑战。首先，我们表明，枢纽语言的选择可以显着影响下游的词汇归纳性能。其次，我们都扩展了当前的评估字典集合，以包括使用三角测量的所有语言对，并为代表性不足的语言创建新的字典。评估所有这些语言对的既定方法揭示了它们的适用性，并为该领域提出了新的挑战。最后，在我们的分析中，我们确定了强跨语言嵌入基线的一般指导方针，不仅仅是基于盎格鲁中心的实验。
2020-04-05 cs.CL
XQ-MEval: A Dataset with Cross-lingual Parallel Quality for Benchmarking Translation Metrics
Nara Institute of Science and Technology（奈良科学技术大学）；Fudan University（复旦大学）
本文提出XQ-MEval数据集，通过注入错误并过滤生成伪翻译，评估翻译度量标准的跨语言评分偏见问题，提供了首个实证证据。
2026-04-19 cs.CL
PolyFact: Comparing Consistency-Driven Post-training Methods for Cross-Lingual Factual Recall
University College London（伦敦大学学院）；Centre for Artificial Intelligence（人工智能中心）
提出PolyFact数据集，利用GRPO强化学习方法提升大语言模型的跨语言事实回忆一致性，优于监督微调，并揭示其通过减少语言专用表示实现跨语言共享的机制。
2026-08-10 cs.CL
Evaluating Cross-Lingual Transfer Learning Approaches in Multilingual Conversational Agent Models
Amazon（亚马逊）
随着语音助理设备最近的爆炸式普及，人们越来越有兴趣使它们可用于其他国家和语言的用户群体。然而，为了为特定用户群体提供最高的准确性和最佳性能，大多数现有的语音助理模型都是针对每个地区或语言单独开发的，这需要线性投入。在本文中，我们提出了一个通用的多语言模型框架的自然语言理解（NLU）模型，它可以帮助引导新的语言模型更快，并减少所需的工作量，分别开发每种语言。我们将探讨不同的深度学习架构如何影响多语言NLU模型的性能。我们的实验结果表明，这些多语言模型可以达到相同或更好的性能相比，单语模型在特定语言的测试数据，而需要更少的努力，在创建功能和模型维护。
2020-12-07 cs.AI cs.CL
Evaluating Cross-lingual Knowledge Consistency in Code-Mixed vis-a-vis Indian Languages using IndicKLAR
Indian Institute of Science Education and Research（印度科学教育与研究学院）；Microsoft Corporation（微软公司）；UNSW Sydney（新南威尔士大学悉尼分校）
本文通过构建IndiKLAR基准，评估大语言模型在英语、混合语码和印度本土语言上的知识召回一致性，发现混合语码输入能显著缩小与英语的性能差距，并识别出从本土语言到混合语码的“翻转点”。
2026-09-30 cs.CL
Cross-lingual RST Discourse Parsing
University of Copenhagen（哥本哈根大学）；CNRS（法国国家科学研究中心）；Univ Paris Diderot（巴黎狄德罗大学）
语篇分析是理解文档中的信息流和论证结构的一个组成部分。以往的研究主要集中在对英语语篇树库中的模式进行归纳和评价。然而，其他语言的话语树库也存在，包括西班牙语、德语、巴斯克语、荷兰语和巴西葡萄牙语。树库共享相同的基本语言学理论，但在文档注释的方式上略有不同。在本文中，我们提出了（a）一个新的话语分析器，这是更简单的，但有竞争力的（显着更好的2/3的指标），以最先进的英语，（b）跨语言的话语树库的协调，使我们能够提出（c）什么是我们所知道的最好的是跨语言话语分析的第一个实验。
2017-01-11 cs.CL
Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders
University of Göttingen（哥廷根大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Saarland University（萨尔大学）
研究发现跨语言对齐与下游任务目标存在正交性，导致对齐效果因语言和任务类型而异，提出结合对齐与任务微调的实用指南。
2026-09-28 cs.CL
Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hong Kong University of Science and Technology（香港科技大学）
基于多语言预训练语言模型的跨语言自适应主要包括两大类：zero-shot方法和基于预训练语言模型的方法。我们进一步验证了这些跨语言适应方法的有效性，通过评估其性能更细粒度的序列标记任务。在重新审视它们的优点和缺点之后，我们提出了一个新的框架来巩固zero-shot方法和基于自适应的方法，以获得更好的自适应性能。我们不是简单地用机器翻译的数据来增加源数据，而是量身定制了一个预热机制，用一些翻译数据上估计的梯度来快速更新mPTLM。然后，将自适应方法应用于改进的参数，并以热启动方式执行跨语言迁移。在九种目标语言上的实验结果表明，该方法有利于不同序列标注任务的跨语言适应。
2021-06-22 cs.CL
MLQA: Evaluating Cross-lingual Extractive Question Answering
Facebook AI Research（脸书人工智能研究院）；University College London（伦敦大学学院）
问答（QA）模型已经显示出快速的进步，这得益于大型高质量基准数据集的可用性。这种带注释的数据集很难收集，而且收集成本很高，而且很少以英语以外的语言存在，这使得培训其他语言的QA系统具有挑战性。构建大型单语训练数据集的替代方案是开发跨语言系统，该系统可以转换为目标语言，而不需要该语言的训练数据。为了开发这种系统，必须投资于高质量的多语种评价基准，以衡量进展情况。我们提出了MLQA，一个多路对齐的提取QA评估基准，旨在促进这一领域的研究。MLQA包含7种语言的QA实例，即英语、阿拉伯语、德语、西班牙语、印地语、越南语和简体中文。它由超过12K个英语QA实例和5K个其他语言的QA实例组成，每个QA实例平均在4种语言之间并行。MLQA是使用一种新的对齐上下文策略在维基百科文章上构建的，并作为对现有提取QA数据集的跨语言扩展。我们评估MLQA上当前最先进的跨语言表示，并提供基于机器翻译的基线。在所有情况下，迁移结果被证明是显着落后于培训语言性能。
2020-05-03 cs.AI cs.CL cs.LG
XNLI: Evaluating Cross-lingual Sentence Representations
Facebook AI（Facebook人工智能）；New York University（纽约大学）
最先进的自然语言处理系统依赖于注释数据形式的监督来学习合格的模型。这些模型通常在单一语言（通常是英语）的数据上进行训练，并且不能直接使用该语言之外的语言。由于收集每种语言的数据是不现实的，因此人们对跨语言语言理解（XLU）和低资源跨语言迁移的兴趣越来越大。在这项工作中，我们构建了一个XLU的评估集扩展的开发和测试集的多流派自然语言推理语料库（MultiNLI）的15种语言，包括低资源的语言，如斯瓦希里语和乌尔都语。我们希望我们的数据集，被称为XNLI，将通过提供信息丰富的标准评估任务来促进跨语言句子理解的研究。此外，我们还提供了多语言句子理解的几个基线，包括两个基于机器翻译系统的基线，以及两个使用并行数据来训练对齐的多语言词袋和LSTM编码器的基线。我们发现，XNLI代表了一个实用的和具有挑战性的评估套件，并直接翻译的测试数据产生的最佳性能之间可用的基线。
2018-09-13 cs.AI cs.CL cs.LG
Interference Matrix: Quantifying Cross-Lingual Interference in Transformer Encoders
FAIR at Meta（Meta 的 FAIR 部门）；Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR）
本文通过构建干扰矩阵，量化了83种语言间的不对称跨语言干扰，发现其与文字系统相关而非语系，并能预测下游任务性能，助力多语言模型设计。
2025-08-04 cs.CL
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的，在微调过程中看不到。尽管取得了令人鼓舞的成果，但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析，我们表明，多语言BERT，一个流行的多语言语言模型，可以被看作是两个子网络的堆叠：一个多语言编码器，然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要，并且在微调期间基本保持不变，但任务预测器对迁移的重要性很小，并且可以在微调期间重新初始化。我们提出了广泛的实验，三个不同的任务，17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
Evaluating Large Language Models for Cross-Lingual Retrieval
MaiNLP, Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心 MaiNLP）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文首次系统评估大语言模型在跨语言检索中的两阶段交互，发现多语言双编码器可替代机器翻译提升检索效果，且现有重排序器在无翻译条件下直接用于跨语言检索时性能严重不足。
2025-09-18 cs.CL cs.IR
Cross-lingual Abstract Meaning Representation Parsing
University of Edinburgh（爱丁堡大学）
摘要意义表示（AMR）注释工作主要集中在英语上。为了训练其他语言的语法分析器，我们提出了一种基于注释投影的方法，该方法涉及利用源语言中的注释以及源语言和目标语言的并行语料库。使用英语作为源语言，我们显示了意大利语，西班牙语，德语和中文作为目标语言的可喜成果。除了在非黄金数据集上评估目标解析器之外，我们还提出了一种评估方法，该方法利用英语黄金注释，并且不需要访问目标语言的黄金注释。这是通过颠倒投影过程来实现的：从目标语言解析器学习新的英语解析器，并根据现有的英语黄金标准进行评估。
2018-02-24 cs.CL
Beyond Monolingual Deep Research: Evaluating Agents and Retrievers with Cross-Lingual BrowseComp-Plus
Waseda University（早稻田大学）；Northwestern University（西北大学）；RIKEN AIP（理化学研究所革新智能研究中心）；Snowflake Inc.（Snowflake公司）；University of Utah（犹他大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）；The University of Tokyo（东京大学）
提出跨语言基准 XBCP，评估深度研究智能体在证据语言与查询不同时的表现，发现检索和智能体端均存在显著性能下降。
2026-06-18 cs.CL cs.IR
Language Contamination Helps Explain the Cross-lingual Capabilities of English Pretrained Models
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Meta AI Research（Meta人工智能研究院）
英语预训练语言模型是许多现代NLP系统的骨干，需要大量未标记的训练数据。这些模型通常只在英语文本上进行训练，但已经发现可以很好地转移到其他语言。我们调查了这一现象，发现常见的英语预训练语料库实际上包含大量的非英语文本：即使只有不到1%的数据不是英语（在强语言分类器的出错率范围内），这也会导致大规模数据集中有数亿个外语标记。然后，我们证明，即使是这些小百分比的非英语数据也有助于在其上训练的模型的跨语言迁移，目标语言性能与预训练期间看到的语言数据量密切相关。根据这些发现，我们认为，没有模型是真正的单语预训练规模，这应该考虑到评估跨语言迁移时。
2022-11-17 cs.CL
Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Loop Area Institute, China（深圳环域研究所）
针对英汉语音翻译中词汇重音跨语言传递不足的问题，构建重音标注数据集和普通话重音检测器，提出跨语言重音评估指标，并微调CosyVoice3构建重音感知S2ST系统，实验表明该系统在重音翻译能力上显著优于现有系统。
2026-06-16 cs.CL
A Cross-lingual Comparison of Human and Classification Model Entrainment Behavior in Code-switched Speech Settings
Columbia University（哥伦比亚大学）；Instagram（照片墙）
研究代码切换语音设置中人类与分类模型夹带行为，通过跨语言分析发现词汇夹带具普遍性，声学韵律等方面有语境差异，分类器能检测夹带但优先考虑的特征与人类不同，引入评估模型决策框架并提出对话代理发展挑战。
2026-10-26 cs.CL
CrossSum: Beyond English-Centric Cross-Lingual Summarization for 1,500+ Language Pairs
Bangladesh University of Engineering Technology (BUET)（孟加拉国工程技术大学（BUET））；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Monash University（莫纳什大学）；Swinburne University of Technology（斯威本科技大学）
本文提出CrossSum，一个覆盖1500多个语言对、包含168万样本的最大跨语言摘要数据集，并设计多阶段采样算法和LaSE评估指标，使模型能用任意目标语言生成摘要且性能优于基线。
2023-05-25 cs.CL
Is Prompt-Based Finetuning Always Better than Vanilla Finetuning? Insights from Cross-Lingual Language Understanding
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出 ProFiT 流程，系统比较基于提示的微调与普通微调在多类跨语言理解任务、少样本及全数据设置下的表现，并分析语言相似性等影响因素。
2023-07-15 cs.CL
Cross-Lingual Transfer of Cultural Knowledge: An Asymmetric Phenomenon
Wangxuan Institute of Computer Technology（计算机技术研究院）
本文通过可解释框架研究LLM语言适应中的文化知识跨语言迁移，发现英语与高资源语言双向迁移、低资源语言单向流向英语的非对称现象，并提出频率假设解释该现象。
2025-06-02 cs.CL
CroCoSum: A Benchmark Dataset for Cross-Lingual Code-Switched Summarization
Brown University（布朗大学）；University of Tübingen（蒂宾根大学）
CroCoSum是首个跨语言代码切换摘要基准数据集，包含超2.4万英文文章和1.8万中文摘要，92%含代码切换，评估显示现有方法泛化有限。
2024-05-23 cs.CL
Evaluating Cross-Lingual Classification Approaches Enabling Topic Discovery for Multilingual Social Media Data
Centre for Data Science, School of Computer Science, Queensland University of Technology, Brisbane, QLD 4000, Australia（数据科学中心，计算机科学学院，昆士兰理工大学，布里斯班，QLD 4000，澳大利亚）
本研究评估了四种跨语言分类方法，以过滤社交媒体数据中的相关推文并发现主题。
2026-02-19 cs.AI cs.CL cs.LG
Training Dynamics for Curriculum Learning: A Study on Monolingual and Cross-lingual NLU
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
课程学习（Curriculum Learning，CL）是一种通过对样本进行排序来训练模型的技术，其目的是加速收敛和提高泛化能力。当前用于自然语言理解（NLU）任务的方法使用CL来通常通过面向对象或任务不可知的困难来提高分布中数据的性能。在这项工作中，相反，我们通过利用训练动态作为难度指标，即，统计数据，这些统计数据在训练期间测量特定任务数据实例上的模型行为，并基于这些统计数据提出对现有CL编译器的修改。与现有的工作不同，我们专注于在分布（ID），分布外（OOD）以及zero-shot（ZS）跨语言迁移数据集上评估模型。我们在几个NLU任务中表明，具有训练动态的CL可以在zero-shot跨语言迁移和OOD设置上产生更好的性能，在某些情况下可以提高8.5%。总的来说，实验表明，与其他难度指标相比，训练动态可以导致更好的模型性能，更平滑的训练，同时平均快20%。此外，通过分析，我们揭示了特定于任务的指标与与任务不可知的指标之间的相关性。
2022-11-24 cs.CL
Backretrieval: An Image-Pivoted Evaluation Metric for Cross-Lingual Text Representations Without Parallel Corpora
Cookpad Ltd.（Cookpad有限公司）；The University of Liverpool（利物浦大学）
跨语言文本表示最近越来越流行，并且作为许多任务的骨干，例如无监督机器翻译和跨语言信息检索等。然而，这种表示的评估是困难的，在域超出标准基准，由于需要获得跨不同的语言对特定于域的并行语言数据。在本文中，我们提出了一个自动度量跨语言的文本表示使用图像作为代理在成对的图像-文本评估数据集的质量进行评估。实验表明，Backretrieval与注释数据集上的地面真实指标高度相关，我们的分析显示，与基线相比，统计学上有显著的改进。我们的实验结束时，没有并行的跨语言数据的食谱数据集的案例研究。我们说明了如何判断跨语言的嵌入质量与Backretrieval，并验证了一个小的人类研究的结果。
2021-05-11 cs.CL cs.IR
IndicXNLI: Evaluating Multilingual Inference for Indian Languages
Microsoft Research（微软研究院）；Delhi Technological University（德里理工大学）；University of Utah（犹他大学）
虽然Indic NLP最近在语料库和预训练模型的可用性方面取得了快速进展，但标准NLU任务的基准数据集有限。为此，我们引入了IndicXNLI，一个针对11种印度语言的NLI数据集。它是由原始英文XNLI数据集的高质量机器翻译创建的，我们的分析证明了IndicXNLI的质量。通过在这个IndicXNLI上微调不同的预训练LM，我们分析了各种跨语言迁移技术对语言模型，语言，多语言，混合语言输入等的选择的影响。这些实验为我们提供了有用的见解预训练模型的行为，为不同的语言。
2022-04-19 cs.AI cs.CL
Cross-lingual Transfer of Monolingual Models
RISE Research Institutes of Sweden（瑞典RISE研究院）；AI Sweden（瑞典AI）
最近使用多语言模型进行zero-shot跨语言学习的研究已经否定了以前的假设，即共享词汇和联合预训练是跨语言泛化的关键。受此启发，我们提出了一种基于领域自适应的单语模型跨语言迁移方法。我们研究了从四种不同的语言到英语的这种迁移的效果。我们在GLUE上的实验结果表明，迁移模型的性能优于母语英语模型，与源语言无关。通过对迁移前后表征中的英语语言知识的分析，我们发现语义信息在迁移过程中从源语言中保留下来，而句法信息在迁移过程中习得。此外，在源语言任务中对迁移模型的评估结果表明，迁移后它们在源域中的表现恶化。
2022-05-19 cs.CL cs.LG
ML2B: Benchmarking LLMs on Cross-Lingual ML Pipeline Generation
HSE University（俄罗斯伏尔加格勒国立大学）；Constructor University（Constructor大学）；National University of Singapore（新加坡国立大学）
ML2B是首个评估大语言模型跨语言ML流水线生成能力的基准，含多领域多语言任务，实验发现跨语言性能退化高度依赖任务，挑战了传统多语言模型能力假设。
2026-07-30 cs.CL
Cross-Lingual Auto Evaluation for Assessing Multilingual LLMs
Nilekani Centre at AI4Bharat（AI4Bharat 奈尔肯中心）；IIT Madras（印度理工学院马德拉斯分校）；New York University（纽约大学）；Microsoft（微软）；National Institute of Information and Communications Technology, Kyoto, Japan（京都国立信息与通信技术研究所）
本文提出跨语言自动评测套件CIA Suite，包括评估模型Hercule和测试集Recon，通过利用英语参考答案实现低资源多语言评估，实验表明其与人工判断一致性优于专有模型。
2025-07-18 cs.CL
IndicDetect: Evaluating Cross-Lingual LLM-Generated Text Detection for Hindi, Telugu, and Tamil
University of Macau（澳门大学）；SRH University（SRH大学）；Populus Group（波普勒斯集团）
本研究提出针对印地语、泰卢固语和泰米尔语的基准IndicDetect，评估AI生成文本检测器在分布偏移等现实场景下的鲁棒性，发现现有检测器鲁棒性不足，为相关检测任务奠定基础。
2026-10-19 cs.AI cs.CL
CCFQA: A Benchmark for Cross-Lingual and Cross-Modal Speech and Text Factuality Evaluation
CCFQA是一个用于评估多模态大语言模型跨语言和跨模态事实性能力的基准，通过少样本迁移学习策略在多语言语音问答任务中取得与GPT-4o-mini-Audio相当的性能。
2026-01-27 cs.CL
SWORD: Wikidata-based Distortions Reveal Hidden Cross-Lingual Inconsistencies in LLM Factual Error Rejection
Soongsil University（崇实大学）；KAIST（韩国科学技术院）
提出SWORD基准，通过扰动Wikidata三元组生成多语言事实错误陈述，揭示LLM依赖分布熟悉度而非事实验证，并在亚洲语言上出现显著性能下降。
2026-09-10 cs.CL
Towards Zero-shot Cross-lingual Image Retrieval
Adobe Inc.（奥多比公司）
最近对多模态语言和视觉问题的兴趣激增。在语言方面，大多数这些模型主要集中在英语上，因为大多数多模态数据集都是单语的。我们试图通过一种zero-shot方法来弥合这一差距，该方法使用文本侧的跨语言预训练来学习多模态表示。我们提出了一种简单而实用的方法来构建一个跨语言的图像检索模型，该模型在单语训练数据集上训练，但可以在推理过程中以zero-shot跨语言的方式使用。我们还引入了一个新的目标函数，它通过将不同的文本相互推送来收紧文本嵌入集群。最后，我们介绍了一个新的1K多语言MSCOCO2014字幕测试数据集（XTD10），我们使用众包平台收集了7种语言。我们将其用作测试集，用于评估跨语言的zero-shot模型性能。XTD 10数据集在以下网站公开发布：https://github.com/adobe-research/Cross-lingual-Test-Dataset-XTD10
2020-11-24 cs.CL cs.CV cs.LG
Regressive Ensemble for Machine Translation Quality Evaluation
Masaryk University（马萨里克大学）
这项工作介绍了一个简单的回归集成评估机器翻译质量的基础上，一组新的和既定的指标。我们使用与WMT 2021年研讨会基于专家的MQM分数的相关性来评估集成。在单语和zero-shot跨语言设置，我们表现出显着的性能改善，比单一指标。在跨语言环境中，我们还证明了集成方法非常适用于看不见的语言。此外，我们确定了一个强大的无参考基线，始终优于常用的BLEU和METEOR措施，并显着提高我们的合奏的性能。
2021-09-15 cs.CL
Cross-lingual Data Transformation and Combination for Text Classification
Southern Medical University（南方医科大学）；Mayo Clinic（妙佑医疗国际）
文本分类是文本数据采掘的一项基本任务。为了训练一个可推广的模型，必须收集大量的文本。为了解决数据不足的问题，有时可能需要跨语言数据。然而，跨语言数据源可能会遭受数据不兼容性，因为用不同语言编写的文本可能包含不同的单词序列和语义模式。机器翻译和词嵌入对齐为跨语言数据训练提供了转换和组合数据的有效途径。据我们所知，很少有工作做评估如何进行语义空间转换和数据组合的方法影响分类模型的性能训练从跨语言资源。在本文中，我们系统地评估了两种常用的CNN（卷积神经网络）和RNN（递归神经网络）文本分类器的性能与不同的数据转换和组合策略。单语模型是从英语和法语以及它们的翻译和对齐嵌入中训练出来的。我们的研究结果表明，语义空间转换可以有条件地提高单语模型的性能。双语模型是从英语和法语的组合训练的。我们的研究结果表明，跨语言分类模型可以通过从翻译或对齐的嵌入空间学习来显著受益于跨语言数据。
2019-06-23 cs.CL cs.IR
Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Centre for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Faculty of Mathematics and Physics, Charles University（查理大学数学与物理学院）
本文研究多语言预训练模型的离群维度与各向异性，通过移除离群维、聚类增强和 ZCA 白化等无微调嵌入变换，评估其对跨语言句子相似度的改进。
2023-06-07 cs.CL
When Languages Disagree: Self-Evolving Multilingual LLM Judges
Nanyang Technological University（南洋理工大学）
提出SEMJ方法，利用多语言评判中的跨语言不一致性进行迭代自我反思与重新评估，在多个基准上优于投票和反思基线，提升准确性和跨语言一致性。
2026-06-06 cs.CL
A cost-benefit analysis of cross-lingual transfer methods
University of Campinas（坎皮纳斯大学）；NeuralMind；University of Waterloo（滑铁卢大学）
跨语言迁移的一种有效方法是在一种语言的监督数据集上微调双语或多语言模型，并以zero-shot方式在另一种语言上对其进行评估。在训练时或推理时翻译示例也是可行的替代方案。然而，这些方法的成本在文献中很少涉及。在这项工作中，我们分析了跨语言方法的有效性（例如，准确性）、开发和部署成本以及它们在推断时的延迟。我们对三个任务的实验表明，最好的跨语言方法是高度依赖于任务。最后，通过结合zero-shot和翻译方法，我们在本工作中使用的三个数据集中的两个中实现了最先进的。基于这些结果，我们质疑是否需要手动标记目标语言的训练数据。代码和翻译后的数据集可在https://github.com/unicamp-dl/cross-lingual-analysis上获取
2021-12-14 cs.CL cs.IR cs.LG
