LuxInstruct: A Cross-Lingual Instruction Tuning Dataset For Luxembourgish
SnT, University of Luxembourg（卢森堡大学SnT学院）；Zortify Labs, Zortify S.A.（Zortify实验室）
针对卢森堡语缺乏高质量指令数据集问题，利用英、法、德对齐数据创建跨语言指令微调数据集，避免机器翻译弊端，提升模型在卢森堡语中的生成能力，为低资源语言发展提供新思路。
2026-07-28 cs.AI cs.CL
N2C2: Nearest Neighbor Enhanced Confidence Calibration for Cross-Lingual In-Context Learning
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出N2C2方法，通过k-最近邻增强分类器校准跨语言上下文学习的预测置信度，在准确率和校准误差上超越微调及现有最优方法。
2025-03-12 cs.CL
Adapting Mental Health Prediction Tasks for Cross-lingual Learning via Meta-Training and In-context Learning with Large Language Model
University of Science and Technology Beijing（北京科技大学）；University College Dublin（都柏林大学学院）
针对低资源非洲语言社交媒体心理健康预测研究不足的问题，本研究提出带自监督的元学习与大语言模型上下文学习两种方法，在斯瓦希里语等任务上验证了元训练优于标准微调，且精心设计的提示可实现跨语言上下文学习。
2024-04-13 cs.AI cs.CL cs.CY
Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages
David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
本研究探索大语言模型在非洲低资源语言跨语言检索中的零样本重排序能力，比较专有与开源模型，发现跨语言重排序可媲美单语重排序。
2023-12-26 cs.CL cs.IR
Foundation Model-based Evaluation of Neuropsychiatric Disorders: A Lifespan-Inclusive, Multi-Modal, and Multi-Lingual Study
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院）；Shenzhen Research Institute, Hunan University（湖南大学深圳研究院）；Ministry of Education Key Laboratory of Fusion Computing of Supercomputing and Artificial Intelligence, Hunan University（湖南大学教育部长春计算机与人工智能融合计算重点实验室）
FEND提出一种多模态框架，利用多语言数据集评估神经精神障碍，揭示多模态融合在不同障碍检测中的性能差异及影响因素。
2025-12-24 cs.CL cs.SD
mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models
Studio Ousia（欧西亚工作室）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能研究中心）
最近的研究表明，多语言预训练的语言模型可以有效地改善与维基百科实体的跨语言对齐信息。然而，现有的方法仅在预训练中利用实体信息，并且在下游任务中不显式地使用实体。在这项研究中，我们探讨了利用实体表示下游跨语言任务的有效性。我们训练了一个包含24种语言的多语言模型，并显示该模型在各种跨语言迁移任务中始终优于基于单词的预训练模型。我们还分析了模型，关键的见解是，将实体表示纳入输入允许我们提取更多的语言无关的功能。我们还评估了mLAMA数据集的多语言完形填空提示任务的模型。我们表明，基于实体的提示elancement正确的事实知识更有可能比只使用文字表示。我们的源代码和预训练模型可以在https://github.com/studio-ousia/luke上找到。
2022-03-30 cs.CL
Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；University of Waterloo（滑铁卢大学）
针对多语言密集检索训练数据稀缺问题，提出 SAP 提示法并构建覆盖 33 种语言的无人工监督合成数据集 SWIM-IR，训练出的 SWIM-X 可媲美人工监督模型。
2024-04-15 cs.AI cs.CL cs.IR
Implicit Cross-Lingual Rewarding for Efficient Multilingual Preference Alignment
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Wuhan AI Research（武汉人工智能研究院）
本文提出隐式跨语言奖励方法，从英语DPO对齐模型中提取隐式奖励模型并标注跨语言偏好数据，再通过多语言DPO微调将偏好知识迁移到其他语言，在X-AlpacaEval上显著提升多语言对齐效果并减少对多语言偏好数据的需求。
2025-06-05 cs.AI cs.CL
Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding
The University of Tokyo（东京大学）
针对多语言句子嵌入学习，本研究提出MPCL方法，通过利用多个多语言正例的跨语言优势与传递相似性改进对比学习，在多类任务及未见过语言的跨语言迁移上均优于传统单正例对比学习。
2024-01-31 cs.CL
Exploring Multilingual Concepts of Human Value in Large Language Models: Is Value Alignment Consistent, Transferable and Controllable across Languages?
School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文考察多语言LLM中人类价值概念的线性表示，发现跨语言不一致、语言关系扭曲及高低资源语言间单向迁移，并验证以主导语言控制价值对齐的可行性。
2024-10-02 cs.CL
Massively Multilingual Lexical Specialization of Multilingual Transformers
University of Mannheim（曼海姆大学）；University of Würzburg（维尔茨堡大学）
本文利用BabelNet在50种语言上构建同义词对，通过对比目标对mBERT和XLM-R进行大规模多语言词汇特化，显著提升跨语言词汇与句子检索任务性能，并能泛化到特化中未见过的语言。
2023-05-29 cs.CL
MKA: Leveraging Cross-Lingual Consensus for Model Abstention
本工作提出一种多语言流水线，利用LLM的跨语言共识来校准模型置信度，使其在不确定时弃权（不执行），显著提升了多语言环境下的准确率。
2025-03-31 cs.CL cs.LG
Exploring Polyglot Harmony: On Multilingual Data Allocation for Large Language Models Pretraining
ByteDance（字节跳动）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
本文提出 Climb 框架，通过跨语言交互感知的语言比例和两步优化方法，系统优化大语言模型预训练中的多语言数据分配，显著提升多语言性能并达到领先水平。
2025-09-19 cs.AI cs.CL
Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation and Understanding
China University of Petroleum (East China)（中国石油大学（华东））；JD Explore Academy（京东探索研究院）
对于多语言序列到序列预训练语言模型在多语言Seq 2Seq PLM（多语言Seq 2Seq PLM），例如mBART中，自监督预训练任务在广泛的单语语言上训练，例如来自CommonCrawl的25种语言，而下游跨语言任务通常在双语语言子集上进行，例如英语-德语，使得存在数据差异，即域差异，在预训练阶段和微调阶段存在跨语言学习目标差异，即任务差异。为了弥合上述跨语言领域和任务的差距，我们扩展了vanilla pretrain-finetune管道，增加了额外的代码切换恢复任务。具体而言，第一阶段采用自监督代码切换恢复任务作为借口任务，允许多语言Seq 2Seq PLM获取一些域内对齐信息。在第二阶段，我们通常对下游数据进行模型微调。NLG评估（12个双语翻译任务，30个zero-shot翻译任务和2个跨语言摘要任务）和NLU评估（7个跨语言自然语言推理任务）的实验表明，我们的模型始终优于采用标准微调策略的强基线mBART。分析表明，我们的方法可以缩小跨语言句子表示的欧氏距离，并提高模型的泛化能力与微小的计算成本。我们在https://github.com/zanchangtong/CSR4mBART上发布代码。
2022-09-21 cs.CL
Task-Specific Pre-Training and Cross Lingual Transfer for Code-Switched Data
Carnegie Mellon University（卡内基梅隆大学）
使用特定于任务的预训练和利用跨语言迁移是处理代码转换数据的两种最流行的方法。在本文中，我们的目的是比较两者的情感分析任务的影响。我们使用两种达罗毗荼语代码交换语言-泰米尔语-英语和马拉雅拉姆语-英语和四种不同的基于BERT的模型。我们比较了特定于任务的预训练和跨语言迁移的效果，发现与利用多语言BERT模型的跨语言迁移所实现的性能相比，特定于任务的预训练具有更好的zero-shot和监督性能。
2021-02-24 cs.CL
Leveraging Entailment Judgements in Cross-Lingual Summarisation
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）；ILCC（国际语言通信中心）
本文针对跨语言摘要数据中的幻觉问题，提出用跨语言自然语言推理评估忠实度，并通过非似然损失训练模型，在保持信息量的同时提升摘要忠实度。
2024-08-01 cs.CL
MMD-Flagger: Leveraging Maximum Mean Discrepancy to Detect Hallucinations
Université Côte d’Azur, CNRS, LJAD, France（法国埃克塞特大学、法国国家科学研究中心、LJAD研究所）；Center for Artificial Intelligence and Data Science (CAIDAS)（人工智能与数据科学中心）；Julius-Maximilans-Universität Würzburg, Germany（德国维尔茨堡约利乌斯-马克斯米利安大学）
针对智能体AI系统中大型语言模型的幻觉问题，提出基于最大均值差异（MMD）的MMD-Flagger方法，通过监控不同解码温度下的输出轨迹检测幻觉，在MUCH基准上用Llama-3、Gemma-3模型完成评估。
2026-08-20 cs.CL stat.ML
Leveraging Advantages of Interactive and Non-Interactive Models for Vector-Based Cross-Lingual Information Retrieval
Alibaba Group（阿里巴巴集团）
交互式和非交互式模型是基于向量的跨语言信息检索（V-CLIR）的两种事实标准框架，它们分别以同步和异步的方式嵌入查询和文档。从检索精度和计算效率的角度来看，每种模型都有自己的优势和不足。在本文中，我们提出了一个新的框架，以利用这两种范式的优势。具体地说，我们引入半交互式机制，建立我们的模型在非交互式架构，但编码每个文档连同其相关的多语言查询。因此，跨语言特征可以像交互式模型一样被更好地学习。此外，我们进一步转移知识从一个训练有素的互动模型，我们通过重用其词嵌入和采用知识蒸馏。我们的模型从多语言预训练的语言模型M-BERT初始化，并在来自维基百科的两个开放资源CLIR数据集和从现实世界的搜索引擎收集的内部数据集上进行评估。大量的分析表明，我们的方法显着提高检索精度，同时保持计算效率。
2021-11-03 cs.CL
Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification
Rutgers University（罗格斯大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；LinkedIn（领英）
在跨语言文本分类中，人们试图利用来自一种语言的标记数据来训练文本分类模型，然后该模型可以应用于完全不同的语言。最近的多语言表示模型使其更容易实现这一点。尽管如此，在这样做时，语言之间仍然可能存在被忽视的细微差异。为了解决这个问题，我们提出了一个半监督对抗训练过程，最大限度地减少了标签保留输入扰动的最大损失。然后，生成的模型可以作为教师，为未标记的目标语言样本引入标签，这些标签可以在进一步的对抗训练中使用，使我们能够逐渐使我们的模型适应目标语言。与一些强基线相比，我们观察到在不同语言的文档和意图分类方面的有效性有了显着提高。
2020-07-29 cs.CL
Leveraging BERT Language Models for Multi-Lingual ESG Issue Identification
Trading Central；Trading Central Labs（Trading Central实验室）
本研究利用BERT语言模型解决多语言ESG议题识别任务，将新闻分类为35个标签，RoBERTa在英文和法文测试中分别获第二和并列第五，中文SVM模型获第二。
2023-09-05 cs.AI cs.CL cs.LG
Graph Fusion Across Languages using Large Language Models
本文提出利用大型语言模型进行跨语言图融合框架，通过结构线性化和语义优先级解决多语言知识图谱融合问题，展示了LLM在跨语言知识整合中的有效性。
2026-03-22 cs.CL cs.IR
Leveraging Cross-Lingual Transfer Learning in Spoken Named Entity Recognition Systems
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所（IAIS））；RWTH Aachen University（亚琛工业大学）
针对口语NER研究不足及低资源场景问题，采用流水线与E2E方法开展多语言迁移学习，验证跨语言迁移有效性及E2E模型优势。
2024-09-11 cs.CL
MIA 2022 Shared Task Submission: Leveraging Entity Representations, Dense-Sparse Hybrids, and Fusion-in-Decoder for Cross-Lingual Question Answering
Apple（苹果公司）
我们描述了我们的两阶段系统的多语言信息访问（MIA）2022跨语言开放检索问答共享任务。第一阶段包括多语种段落检索与混合密集和稀疏检索策略。第二阶段由一个阅读器组成，它输出第一阶段返回的顶部段落的答案。我们展示了在预训练中使用多语言语言模型与实体表示，稀疏检索信号以帮助稠密检索和解码器融合的有效性。在开发集上，我们在XOR-TyDi QA上获得43.46 F1，在MKQA上获得21.99 F1，平均F1得分为32.73。在测试集上，我们在XOR-TyDi QA上获得40.93 F1，在MKQA上获得22.29 F1，平均F1得分为31.61。我们在开发和测试集上都比官方基准提高了4个F1点。
2022-07-18 cs.CL
MPN: Leveraging Multilingual Patch Neuron for Cross-lingual Model Editing
Information Engineering University（信息工程大学）；Tsinghua University（清华大学）
针对多语言模型跨语言知识同步问题，提出训练多语言补丁神经元存储跨语言知识的方法，在XNLI和自建XFEVER数据集上验证了其能有效提升跨语言编辑性能且易于适配现有方法。
2024-01-06 cs.AI cs.CL cs.CV
AdvPicker: Effectively Leveraging Unlabeled Data via Adversarial Discriminator for Cross-Lingual NER
Harbin Institute of Technology（哈尔滨工业大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
神经方法已被证明在命名实体识别（NER）中实现了高性能，但依赖于昂贵的高质量标记数据进行训练，这并不总是跨语言可用。虽然以前的工作已经表明，目标语言中的未标记数据可以用来提高跨语言模型的性能，但我们提出了一种新的对抗方法（AdvPicker）来更好地利用这些数据并进一步改善结果。我们设计了一个对抗学习框架，其中编码器从标记的源语言数据中学习实体领域知识，并通过对抗训练捕获更好的共享特征-其中编码器通过与源语言的相似性选择语言依赖性较低的目标语言数据。在标准基准数据集上的实验结果很好地证明了所提出的方法强烈地受益于该数据选择过程，并且优于现有的最先进的方法;而不需要任何额外的外部资源（例如，地名录或通过机器翻译）。代码可在https://aka.ms/AdvPicker上获得
2021-06-07 cs.CL
EaSyGuide : ESG Issue Identification Framework leveraging Abilities of Generative Large Language Models
NCSOFT（NCSoft公司）
本研究提出EaSyGuide框架，结合多种生成式大模型与编码器模型，采用零样本、GPT3Mix增强及知识蒸馏等技术，在FinNLP-2023多语言ESG议题识别任务的英、法子任务中分获第一、二名，验证了大模型用于ESG议题识别的潜力。
2023-06-13 cs.AI cs.CL
Translate and Label! An Encoder-Decoder Approach for Cross-lingual Semantic Role Labeling
Heidelberg University（海德堡大学）
我们提出了一个跨语言的编码器-解码器模型，同时翻译和生成句子的语义角色标注注释在资源贫乏的目标语言。与注释投影技术不同，我们的模型在推理时不需要并行数据。我们的方法可以应用于单语，多语言和跨语言设置，并能够产生依赖性为基础的和基于跨度的SRL注释。我们使用知名的SRL数据集在不同的单语和多语言设置中对我们的模型的标记性能进行基准测试。然后，我们在跨语言设置中训练我们的模型以生成新的SRL标记数据。最后，我们通过使用生成的数据来增强资源贫乏语言的训练基础并进行手动评估来衡量我们方法的有效性，以表明它可以生成高质量的句子并分配准确的语义角色注释。我们提出的架构提供了一个灵活的方法，利用SRL数据在多种语言。
2019-08-29 cs.CL cs.LG
CroSearch-R1: Better Leveraging Cross-lingual Knowledge for Retrieval-Augmented Generation
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）
本文提出CroSearch-R1框架，通过多轮检索策略和多语言回放机制，提升跨语言知识在检索增强生成中的有效性。
2026-04-28 cs.CL cs.IR
Improving Zero-shot Multilingual Neural Machine Translation by Leveraging Cross-lingual Consistency Regularization
Baidu Inc.（百度公司）
本文提出跨语言一致性正则化CrossConST，通过弥合语言表示差距提升零样本多语言神经机器翻译性能，并在低资源和高资源基准上验证了其有效性。
2023-05-12 cs.AI cs.CL
MuBench: Assessment of Multilingual Capabilities of Large Language Models Across 61 Languages
Eindhoven University of Technology（埃因霍温理工大学）；ByteDance（字节跳动）；University of Liverpool（利物浦大学）
针对多语言LLM评估碎片化问题，提出覆盖61种语言的MuBench基准，揭示声称与实际覆盖差距，并引入MLC指标及跨语言迁移预训练研究。
2025-06-24 cs.AI cs.CL
Prix-LM: Pretraining for Multilingual Knowledge Base Construction
University of Cambridge（剑桥大学）；University of Southern California（南加州大学）
知识库包含了大量的结构化世界知识和常识知识。因此，它们往往补充基于文本的分发信息，并促进各种下游任务。由于其手动构建是资源和时间密集型的，最近的努力已经尝试利用大型预训练的语言模型（PLM），以生成额外的单语知识事实的知识库。然而，这些方法还没有被尝试用于构建和丰富多语言知识库。除了更广泛的应用之外，这种多语言知识库可以提供比单语言更丰富的组合知识（例如，English）KBs.用不同语言表达的知识可能是互补的，分布不均匀：这意味着用资源丰富的语言提供的知识可以转移到资源较少的语言。为了实现这一目标，在共享/统一的空间中表示多语言知识至关重要。为此，我们提出了一个统一的表示模型，Prix-LM，多语言知识库的建设和完成。我们利用两种类型的知识，单语三元组和跨语言的链接，从现有的多语言知识库中提取，并通过因果语言建模目标调整多语言编码器XLM-R。Prix-LM将有用的多语言和基于知识库的事实知识集成到一个模型中。标准的实体相关的任务，如链接预测在多种语言，跨语言的实体链接和双语词典归纳的实验，证明了其有效性，与收益报告强任务专业化的基线。
2022-03-09 cs.CL
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
尽管目前的口语语言理解系统的跨语言模型的有希望的结果，他们仍然遭受不完善的跨语言表示之间的源和目标语言，这使得性能次优的对齐。为了解决这个问题，我们提出了一种正则化方法来进一步调整跨语言的单词级和单词级表示，而无需任何外部资源。首先，我们规范化的表示用户话语的基础上，其相应的标签。其次，我们正则化潜变量模型（Liu et al.，2019）通过利用对抗性训练来解开潜在变量。跨语言语言理解任务的实验表明，我们的模型优于当前国家的最先进的方法在两个Few-Shot和zero-shot的情况下，我们的模型，训练在一个Few-Shot设置只有3\%的目标语言训练数据，达到相当的性能与所有训练数据的监督训练。
2020-09-30 cs.CL cs.LG
Cross-Lingual Text Classification with Minimal Resources by Transferring a Sparse Teacher
Columbia University（哥伦比亚大学）
跨语言文本分类通过利用来自其他语言的标记文档来消除对目标语言的手动标记文档的需要。现有的跨语言转移监督的方法需要昂贵的跨语言资源，如并行语料库，而不太昂贵的跨语言表示学习方法训练分类器没有目标标记的文件。在这项工作中，我们提出了一个跨语言的师生方法，CLTS，产生“弱”的监督，在目标语言使用最少的跨语言资源，在少量的单词翻译的形式。在有限的翻译预算下，CLTS只提取和传输跨语言的最重要的特定于任务的种子词，并基于翻译后的种子词创建教师分类器。然后，CLTS迭代地训练一个更强大的学生，该学生也利用了未标记的目标文档中的种子词的上下文，并且表现优于教师。CLTS在18种不同的语言中非常简单和有效：通过转移20个种子词，即使是一个词袋逻辑回归学生也优于最先进的跨语言方法（例如，基于多语言BERT）。此外，CLTS可以适应任何类型的学生分类器：利用单语BERT学生导致进一步的改进，并在准确性上超过更昂贵的方法高达12%。最后，CLTS只使用少量的单词翻译来解决低资源语言中的新兴任务。
2020-10-06 cs.CL
MergeDistill: Merging Pre-trained Language Models using Distillation
Google Research（谷歌研究院）
预训练的多语言语言模型（LM）在跨语言迁移方面取得了最先进的结果，但由于容量有限、预训练数据偏斜以及次优词汇表，它们通常导致语言的不公平表示。这促使创建了一个不断增长的预训练模型宇宙，其中每个模型都是在大量语言或特定领域数据的基础上进行训练的，这些数据具有精心策划的语言信息词汇。然而，这样做会使我们回到原点，并阻止人们利用多种语文的好处。为了解决频谱两端的差距，我们提出了MergeDistill，这是一个框架，可以使用任务不可知的知识蒸馏，以最小的依赖性最好地利用其资产的方式合并预先训练的LM。我们证明了我们的框架在实际环境中的适用性，利用预先存在的教师LM和培训学生LM，表现有竞争力，甚至优于教师LM训练的几个数量级的数据和固定的模型容量。我们还强调了教师选择的重要性及其对学生模型表现的影响。
2021-06-05 cs.CL
ALOPE: Adaptive Layer Optimization for Translation Quality Estimation using Large Language Models
Institute for People-Centred AI and Centre for Translation Studies, School of Computer Science and Electronic Engineering, University of Surrey（以人为本的人工智能研究所和翻译研究中心，计算机科学与电子工程学院，萨里大学）
本文提出自适应层优化框架ALOPE，通过结合LoRA与回归任务头、动态加权及多头回归策略重构Transformer表示，有效提升了基于大语言模型的机器翻译质量估计性能。
2025-08-10 cs.AI cs.CL
MAKIEval: A Multilingual Automatic WiKidata-based Framework for Cultural Awareness Evaluation for LLMs
本文提出基于Wikidata的多语言自动评估框架MAKIEval，通过四个指标评估LLMs在13种语言、19个国家和地区及6个文化主题上的文化意识，发现模型在英语中表现更强。
2025-09-22 cs.CL
From Unaligned to Aligned: Scaling Multilingual LLMs with Multi-Way Parallel Corpora
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Minzu University of China（民族大学）；Institute for AI, Tsinghua University（清华大学人工智能研究院）
本研究构建了覆盖113种语言的高质量多路平行语料库TED2025，探索用其增强多语言LLM的最佳实践，实验证明该方法相比非对齐数据训练能显著提升模型性能。
2025-10-21 cs.AI cs.CL
Translate, then Detect: Leveraging Machine Translation for Cross-Lingual Toxicity Classification
FAIR at Meta（Meta 的 FAIR 研究院）；University College London（伦敦大学学院）；University of the Basque Country (UPV/EHU)（巴斯克大学）
本文系统比较了基于翻译与语言专用/多语言的毒性分类流程，发现先翻译后分类在多数语言中更优，且传统分类器优于LLM评判器，为多语言内容审核提供了实用指导。
2025-09-17 cs.CL
Investigating Language and Retrieval Bias in Multilingual Previously Fact-Checked Claim Detection
Brno University of Technology（布拉格技术大学）；Kempelen Institute of Intelligent Technologies（智能技术研究所）；University of Copenhagen（哥本哈根大学）
本文面向 PFCD 任务，基于 AMC-16K 评估六个开源多语言 LLM 在20种语言中的表现，并分析多语言嵌入检索的频率偏差，揭示语言与检索不公平现象及改进方向。
2025-09-29 cs.CL
Little Red Riding Hood Goes Around the Globe:Crosslingual Story Planning and Generation with Large Language Models
Google（谷歌）
本文提出带规划的跨语言故事生成新任务并构建数据集，利用大语言模型生成多语言故事，发现三幕结构规划能提升叙事连贯性与趣味性，并实现显式内容控制。
2024-03-25 cs.CL
Leveraging Large Amounts of Weakly Supervised Data for Multi-Language Sentiment Classification
ZHAW（苏黎世应用科学大学）；ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）；SpinningBytes AG（SpinningBytes公司）；EPFL（洛桑联邦理工学院）
本文提出了一种新的方法，多语言的情感分类在短文本。这是一项具有挑战性的任务，因为除英语之外的其他语言的训练数据的量非常有限。以前提出的多语言方法通常需要建立一个对应的英语强大的分类器已经可用。相比之下，我们的方法不需要这样的监督。我们利用各种语言的大量弱监督数据来训练多层卷积网络，并展示了使用这种网络的预训练的重要性。我们在各种多语言数据集上彻底评估了我们的方法，包括最近的SemEval-2016情感预测基准（任务4），在那里我们实现了最先进的性能。我们还将为每种语言单独训练的模型的性能与同时为所有语言训练的变体进行了比较。我们发现，后者模型达到略差-但仍然可以接受-性能相比，单一的语言模型，同时受益于更好的泛化性能跨语言。
2017-03-07 cs.CL cs.IR cs.LG
Brotherhood at WMT 2024: Leveraging LLM-Generated Contextual Conversations for Cross-Lingual Image Captioning
本文提出利用 GPT-4o 和 Claude 3.5 Sonnet 等 LLM 生成上下文对话并结合加权提示策略，在无需训练或微调的情况下提升跨语言图像描述性能，并在 WMT 2024 低资源多模态翻译任务中取得领先结果。
2024-09-23 cs.AI cs.CL
BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
North South University（北南大学）
本文提出BanglaEmbed，通过跨语言知识蒸馏从高性能英语句变换器构建两个轻量级孟加拉语句嵌入模型，在释义检测、语义文本相似度和仇恨言论检测等任务上优于现有模型，并适合资源受限环境部署。
2024-11-22 cs.CL cs.LG
Efficient ASR for Low-Resource Languages: Leveraging Cross-Lingual Unlabeled Data
Speech Processing Lab, International Institute of Information Technology Hyderabad, India（信息与技术国际研究院语音处理实验室，海得拉巴）
通过跨语言无标签数据预训练，提升低资源语言语音识别性能，模型参数更少但效果更优。
2025-12-08 cs.CL eess.AS
Cross-Lingual Natural Language Generation via Pre-Training
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
在这项工作中，我们专注于转移监督信号的自然语言生成（NLG）任务之间的多种语言。我们建议在单语和跨语言设置下预训练序列到序列模型的编码器和解码器。预训练目标鼓励模型在共享空间中表示不同的语言，以便我们可以进行zero-shot跨语言迁移。在预训练过程之后，我们使用单语数据对下游NLG任务的预训练模型进行微调。然后，可以在该语言之外直接评估用单一语言训练的序列到序列模型（即，接受多语言输入并产生多语言输出）。实验结果表明，该模型在跨语言zero-shot问题生成和摘要生成方面优于基于机器翻译的流水线方法。此外，跨语言迁移通过利用丰富资源的语言数据来提高低资源语言的NLG性能。我们的实现和数据可以在https://github.com/CZWin32768/xnlg上获得。
2019-11-22 cs.CL
Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model
Peking University（北京大学）；National University of Singapore（新加坡国立大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
最近的研究表明，在大规模未标记文本上预训练跨语言语言模型，在各种跨语言和低资源任务上产生显着的性能改进。通过对100种语言和TB的文本进行训练，跨语言语言模型已被证明可以有效地利用高资源语言来增强低资源语言处理，并优于单语言模型。在本文中，我们进一步研究了跨语言和跨域（CLCD）设置时，预先训练的跨语言语言模型需要适应新的领域。具体来说，我们提出了一种新的无监督特征分解方法，可以自动提取特定领域的功能和域不变的功能，从纠缠预训练的跨语言表示，给定未标记的原始文本在源语言。我们提出的模型利用互信息估计，将跨语言模型计算的表示分解为域不变和域特定的部分。实验结果表明，我们所提出的方法实现了显着的性能改善，在CLCD设置的最先进的预训练的跨语言语言模型。本文的源代码可在https://github.com/lijuntaopku/UFD上公开获取。
2020-11-23 cs.CL
What Matters for Neural Cross-Lingual Named Entity Recognition: An Empirical Analysis
University of Southern California Information Sciences Institute（南加州大学信息科学研究所）；University of Colorado Boulder（科罗拉多大学博尔德分校）
为没有太多训练数据的语言构建命名实体识别（NER）模型是一项具有挑战性的任务。虽然最近的工作显示出从高资源语言到低资源语言的跨语言迁移的可喜成果，但尚不清楚迁移的是什么知识。在本文中，我们首先提出了一个简单而有效的跨语言NER的神经架构。实验表明，我们的模型实现了竞争力的性能与国家的最先进的。我们进一步分析了迁移学习工程跨语言NER的两个可转移的因素：顺序和多语言嵌入，并调查模型的性能如何不同的实体长度。最后，我们进行了一个案例研究的非拉丁语，孟加拉语，这表明，利用维基百科的知识将是一个有前途的方向，以进一步提高模型的性能。我们的研究结果可以为今后提高跨语言净认率的研究提供参考。
2019-09-09 cs.CL
Multimodal In-context Learning for ASR of Low-resource Languages
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文探讨了通过多模态上下文学习提升低资源语言语音识别性能的方法，分析了跨语言迁移学习对模型效率的影响，并提出结合更强声学模型与语音LLM的改进系统。
2026-04-18 cs.AI cs.CL
On the Effectiveness of Dataset Embeddings in Mono-lingual,Multi-lingual and Zero-shot Conditions
IT University of Copenhagen（哥本哈根信息技术大学）；University of Groningen（格罗宁根大学）
最近的补充研究表明，通过将数据源的属性编码到嵌入中来利用数据源上的信息，可以在异构数据源上训练单个模型时提高性能。然而，目前还不清楚这些数据集嵌入在哪些情况下最有效，因为它们用于各种各样的设置，语言和任务。此外，通常假设关于数据源的黄金信息是可用的，并且测试数据来自训练期间看到的分布。在这项工作中，我们比较了数据集嵌入在单语言设置，多语言设置，并与预测的数据源标签在zero-shot设置的效果。我们评估三个形态句法任务：形态标记，词形化，和依存句法分析，并使用104个数据集，66种语言，和两种不同的数据集分组策略。当数据集是同一种语言时，性能提高最高，并且我们知道测试实例来自哪个分布。相比之下，对于数据来自不可见分布的设置，性能提高消失了。
2021-03-05 cs.CL
Cross-lingual Semantic Role Labeling with Model Transfer
Wuhan University（武汉大学）；Tianjin University（天津大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
已有研究表明，跨语言语义角色标注可以在通用特征的帮助下通过模型迁移实现。在本文中，我们填补了跨语言SRL的空白，提出了一个端到端的SRL模型，结合了各种通用的功能和传输方法。我们研究了双语迁移和多源迁移，根据黄金或机器生成的句法输入，预训练的高阶抽象特征，和上下文化的多语言单词表示。在通用命题库语料库上的实验结果表明，跨语言SRL的性能可以通过利用不同的跨语言特征而变化。此外，功能是否是黄金标准也会对性能产生影响。准确地说，我们发现，黄金语法功能是更重要的跨语言SRL相比，自动生成的。此外，通用依赖结构特征能够提供最好的帮助，预训练的高阶特征和上下文化的单词表示都可以进一步带来显着的改进。
2020-08-24 cs.CL
Multi-Source Cross-Lingual Model Transfer: Learning What to Share
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
现代自然语言处理的应用已经享受了一个很大的推动利用神经网络模型。然而，由于缺乏用于各种NLP任务的带注释的训练数据，这种深度神经模型不适用于大多数人类语言。跨语言迁移学习（CLTL）是一种通过利用来自其他（源）语言的标记数据来为低资源目标语言构建NLP模型的可行方法。在这项工作中，我们专注于多语言传输设置，利用多个源语言的训练数据来进一步提高目标语言的性能。与大多数现有的方法，只依赖于语言不变的功能CLTL，我们的方法连贯地利用语言不变和语言特定的功能在实例级。我们的模型利用对抗网络来学习语言不变特征，并利用专家混合模型来动态利用目标语言和每个单独的源语言之间的相似性。这使我们的模型能够有效地学习在多语言设置中的各种语言之间共享什么。此外，当与无监督的多语言嵌入相结合时，我们的模型可以在零资源设置中运行，其中既没有目标语言训练数据也没有跨语言资源。与现有技术相比，我们的模型实现了显着的性能提升，如在包括大规模行业数据集在内的多个文本分类和序列标记任务的大量实验中所示。
2019-06-05 cs.CL cs.LG
Leveraging Parameter-Efficient Transfer Learning for Multi-Lingual Text-to-Speech Adaptation
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出将适配器和超网络等参数高效迁移学习方法与TTS架构集成，仅用约2.5%可调参数即实现与全量微调相当或更优的多语言语音合成性能。
2024-06-25 cs.CL cs.SD eess.AS
NLPDove at SemEval-2020 Task 12: Improving Offensive Language Detection with Cross-lingual Transfer
Sogang University（西江大学）；Seoul National University（首尔大学）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文介绍了我们的方法来识别攻击性语言在多语言环境中的任务。我们研究了两种数据增强策略：使用具有不同阈值的附加半监督标签和具有数据选择的跨语言迁移。与仅使用手动注释的数据集训练的基线相比，利用半监督数据集导致性能提高。我们提出了一个新的度量，翻译嵌入距离，以衡量跨语言数据选择的实例的可移植性。我们还介绍了为社交媒体文本量身定制的各种预处理步骤，以及微调预训练的多语言BERT（mBERT）以进行攻击性语言识别的方法。我们的多语言系统在2020年的OffensEval上取得了希腊语，丹麦语和土耳其语的竞争结果。
2020-08-04 cs.CL
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards
Carnegie Mellon University（卡内基梅隆大学）
跨语言文本摘要的目的是在一种语言输入的情况下生成另一种语言的文档摘要。这是一项具有实际意义的重要任务，但尚未得到充分探讨，主要原因是缺乏可用数据。现有的方法求助于机器翻译来合成训练数据，但是这样的流水线方法遭受错误传播。在这项工作中，我们提出了一个端到端的跨语言文本摘要模型。该模型使用强化学习来直接优化以目标语言生成的摘要与以源语言生成的黄金摘要之间的双语语义相似性度量。我们还介绍了利用单语摘要和机器翻译目标对模型进行预训练的技术。在英汉和英德两种跨语言摘要环境下的实验结果证明了本文方法的有效性。此外，我们发现，以双语语义相似度作为奖励的强化学习模型比强基线生成更流畅的句子。
2020-06-27 cs.CL
