Synergy with Translation Artifacts for Training and Inference in Multilingual Tasks
KAIST（韩国科学技术院）
翻译在提高多语言任务的性能方面发挥了至关重要的作用：（1）从源语言数据生成目标语言数据用于训练，以及（2）从目标语言数据生成源语言数据用于推理。然而，以前的作品没有考虑同时使用这两种翻译。本文表明，将它们结合起来可以协同各种多语言句子分类任务的结果。实证研究发现，译者风格化的翻译产物是影响翻译效果的主要因素。基于此分析，我们采用了两种训练方法，SupCon和MixUp，考虑翻译工件。此外，我们提出了一个跨语言微调算法称为MUSC，它使用SupCon和MixUp联合，提高了性能。我们的代码可在https://github.com/jongwooko/MUSC上获得。
2022-10-18 cs.CL
Multilingual and Cross-Lingual Intent Detection from Spoken Data
PolyAI Limited（PolyAI有限公司）
我们提出了一个系统的研究，多语言和跨语言的意图检测口语数据。该研究利用了这项工作中提出的一种新资源，称为MInDS-14，这是使用语音数据进行意图检测任务的第一个训练和评估资源。它涵盖了从电子银行领域的商业系统中提取的14个意图，与14种不同语言的口语示例相关联。我们的关键结果表明，将机器翻译模型与最先进的多语言句子编码器（例如，LaBSE）可以在MInDS-14中涵盖的大多数目标语言中产生强大的意图检测器，并提供跨不同轴的比较分析：例如，zero-shot与少样本学习、翻译方向和语音识别的影响。我们认为这项工作是朝着更具包容性的开发和评估来自口语数据的多语言意图检测器迈出的重要一步，与以前的工作相比，它涉及的语言范围要广得多。
2021-04-17 cs.CL
Multilingual k-Nearest-Neighbor Machine Translation
University of Amsterdam（阿姆斯特丹大学）
本文提出将多种语言表示组合到单一数据存储中，解决k近邻机器翻译在低资源语言上的局限，不仅提升了低资源翻译质量，还通过利用语言相似性缩小数据存储规模并大幅提高速度。
2023-10-23 cs.CL
Towards a Deep Understanding of Multilingual End-to-End Speech Translation
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文利用SVCCA分析22种语言的多语言端到端语音翻译模型表示，发现数据有限时语言相似性失效、良好对齐数据可提升翻译质量且编码器表示能预测语音特征，并提出结合低资源与相关高资源语言的更有效方法。
2023-10-31 cs.CL
Adapting to Non-Centered Languages for Zero-shot Multilingual Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
多语言神经机器翻译可以在训练过程中翻译看不见的语言对，即zero-shot翻译。然而，zero-shot翻译总是不稳定的。虽然以前的作品将不稳定性归因于中心语言（例如英语）的统治，但我们用非中心语言的严格依赖性来补充这一观点。在这项工作中，我们提出了一个简单的，轻量级的，但有效的语言特定的建模方法，通过适应非中心的语言，并结合共享信息和语言特定的信息，以抵消不稳定的zero-shot翻译。在IWSLT17、Europarl、TED talks和OPUS-100数据集上使用Transformer进行的实验表明，该方法不仅在中心数据条件下表现得比强基线更好，而且可以很容易地适应非中心数据条件。通过进一步研究层属性，我们表明，我们提出的方法可以解开耦合表示在正确的方向。
2022-09-09 cs.CL
Scalable Multilingual Frontend for TTS
Apple（苹果公司）
本文描述了神经文本到语音（TTS）前端的进展，该前端适用于多种语言，并且可以轻松扩展到新语言。我们采用机器翻译（MT）启发的方法来构建前端，并通过构建和使用序列到序列（S2S）模型在句子级别上对文本规范化和发音进行建模。我们尝试将标准化和发音作为单独的S2S模型进行训练，并将这两种功能结合起来训练单个S2S模型。对于我们独立于语言的发音方法，我们不使用词汇。相反，所有发音，包括基于上下文的发音，都在S2S模型中捕获。我们还提出了一种独立于语言的组块和拼接技术，使我们能够处理任意长度的句子。对18种语言的模型进行了训练和评估。许多测量精度都在99%以上。我们还在当前生产系统的端到端合成背景下评估了这些模型。
2020-04-10 cs.CL
Language-Aware Multilingual Machine Translation with Self-Supervised Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
多语言机器翻译（MMT）得益于跨语言迁移，但它是一个具有挑战性的多任务优化问题。部分原因是没有系统学习语言特定参数的明确框架。自监督学习（SSL）方法，利用大量的单语数据（并行数据是不可用的），通过提高翻译性能的补充任务的MMT任务的承诺。然而，联合优化SSL和MMT任务更具挑战性。在这项工作中，我们首先研究如何利用内部蒸馏来学习更多的语言特定的参数，然后显示这些语言特定的参数的重要性。接下来，我们提出了一个新颖但简单的SSL任务，并发去噪，它通过在编码器和解码器上同时对单语数据进行去噪来与MMT任务进行协同训练。最后，我们将内部蒸馏应用于这种联合训练方法。将这两种方法结合起来，可以显著提高MMT的性能，大大优于三种最先进的SSL方法，例如，与MASS相比，在8种语言和15种语言的基准测试中分别提高了11.3%和3.7%
2023-02-10 cs.CL
DOCmT5: Document-Level Pretraining of Multilingual Language Models
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
在本文中，我们介绍DOCmT 5，一个多语言的序列到序列的语言模型预训练与大规模并行文档。虽然以前的方法专注于利用并行级并行数据，但我们尝试构建一个通用的预训练模型，可以理解和生成长文档。我们提出了一个简单而有效的预训练目标-文档重排机器翻译（DrMT），其中需要翻译的输入文档是混洗和掩蔽的。DrMT在各种文档级生成任务的强大基线上带来了一致的改进，包括超过12个BLEU点的seen语言对文档级MT，超过7个BLEU点的unseen语言对文档级MT和超过3个ROUGE-1点的seen语言对跨语言摘要。我们在WMT 20 De-En和IWSLT 15 Zh-En文档翻译任务上实现了最先进的（SOTA）。我们还对文档预训练的各种因素进行了广泛的分析，包括（1）预训练数据质量的影响和（2）结合单语言和跨语言预训练的影响。我们计划公开我们的模型检查点。
2022-05-05 cs.CL
Multilingual Extractive Reading Comprehension by Runtime Machine Translation
The University of Tokyo（东京大学）；Salesforce Research（赛富时研究院）
尽管最近在阅读理解（RC）方面的工作，但由于缺乏其他语言的大规模数据集，进展主要限于英语。在这项工作中，我们介绍了第一个RC系统的语言没有RC训练数据。给定没有RC训练数据的目标语言和具有RC训练数据的枢轴语言（例如英语），我们的方法通过将枢轴语言中的竞争RC模型与专注的神经机器翻译（NMT）模型相结合来利用枢轴语言中的现有RC资源。我们首先将数据从目标语言转换为枢轴语言，然后使用枢轴语言中的RC模型获得答案。最后，我们使用NMT模型中的软对齐注意力分数来恢复原始语言中的相应答案。我们创建两个非英语语言，即日语和法语的RC数据的评估集，以评估我们的方法。这些数据集上的实验结果表明，我们的方法显着优于一个国家的最先进的产品级机器翻译系统的回译基线。
2018-11-02 cs.CL
Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters
University of Edinburgh（爱丁堡大学）；NAVER LABS Europe（NAVER LABS 欧洲）
适配器层是插入在Transformer层之间的轻量级、可学习的单元。最近的工作探索将这些层用于神经机器翻译（NMT），以使预训练模型适应新的领域或语言对，仅为每个新设置（语言对或领域）训练一小部分参数。在这项工作中，我们研究的组合性的语言和领域适配器的背景下，机器翻译。我们的目标是研究，1）参数有效的适应多个领域和语言同时（全资源的情况下）和2）跨语言迁移的领域，并行数据是不可用的某些语言对（部分资源的情况下）。我们发现，在部分资源的情况下，一个天真的特定于域和特定于语言的适配器的组合往往会导致“灾难性遗忘”的失踪的语言。我们研究其他方法来结合适配器，以减轻这个问题，并最大限度地提高跨语言迁移。使用我们最好的适配器组合，对于没有域内数据的源语言，我们平均获得3-4个BLEU的改进。对于没有域内数据的目标语言，我们通过将适配器与反向翻译相结合来实现类似的改进。补充材料可在https://tinyurl.com/r66stbxj上获得
2021-10-18 cs.CL
Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
Worcester Polytechnic Institute（沃斯特理工学院）
本文提出Transformer-编码树(TET)，通过共享相似语言的中间表示提升低资源语言准确率，减少计算冗余，实现单次前向传递生成所有目标语言，比传统多语言设计减少66%参数和60%推理计算。
2026-09-01 cs.AI cs.CL
Language-agnostic BERT Sentence Embedding
Google AI（谷歌人工智能）
虽然BERT是学习单语句子嵌入以获得语义相似性和基于嵌入的迁移学习的有效方法（Reimers和Gurevych，2019），但基于BERT的跨语言句子嵌入还有待探索。我们通过结合学习单语和跨语言表示的最佳方法，系统地研究了学习多语言句子嵌入的方法，包括：掩蔽语言建模（MLM），翻译语言建模（TLM）（Conneau和Lample，2019），双编码器翻译排名（Guo等人，2018），以及附加边际softmax（Yang et al.，2019年a）。我们表明，引入一个预先训练的多语言语言模型显着减少了80%的并行训练数据，以实现良好的性能。组合这些方法中最好的一种方法产生了一个模型，在Tatoeba上的112种语言中实现了83.7%的双文本检索准确率，远高于Artetxe和Schwenk（2019 b）实现的65.5%，同时在单语迁移学习基准测试中仍然具有竞争力（Conneau和Kiela，2018）。使用我们最好的模型从CommonCrawl挖掘的并行数据可以训练en-zh和en-de的竞争性NMT模型。我们在https://tfhub.dev/google/LaBSE上公开发布了适用于109多种语言的最佳多语言句子嵌入模型。
2022-03-08 cs.CL
QU-NLP at CheckThat! 2025: Multilingual Subjectivity in News Articles Detection using Feature-Augmented Transformer Models with Sequential Cross-Lingual Fine-Tuning
Qatar University（卡塔尔大学）
本研究针对CheckThat! 2025新闻主观性检测任务，提出融合上下文嵌入与统计/语言特征的特征增强Transformer模型，通过序列跨语言微调在多语言、单语言及零样本设置下取得有竞争力的性能，并验证了特征组合与跨语言迁移的作用。
2025-07-01 cs.CL
Lingua Custodi's participation at the WMT 2025 Terminology shared task
Lingua Custodia
该研究系统结合 MLM、TLM、双编码器翻译排序与加性间隔 softmax，训练多语言句子嵌入模型，显著降低平行数据需求并提升跨语言检索性能。
2025-10-20 cs.CL
The Impact of Language Adapters in Cross-Lingual Transfer for NLU
Linköping University（林雪平大学）
本文通过消融实验研究语言适配器在零样本跨语言NLU迁移中的作用，发现其影响不一致，保留源语言适配器常更优，移除后影响微弱。
2024-01-31 cs.CL
Multilingual and Unsupervised Subword Modeling for Zero-Resource Languages
Idiap Research Institute（Idiap研究所）；University of Edinburgh（爱丁堡大学）；Stellenbosch University（斯泰伦博斯大学）
零资源语言的子词建模旨在学习语音音频的低级表示，而不使用目标语言的转录或其他资源（例如文本语料库或发音词典）。一个好的表示应该捕捉语音内容，并从其他类型的可变性中抽象出来，比如说话人的差异和通道噪声。以前在这方面的工作主要集中在目标语言数据的无监督学习，并且只在本质上进行了评估。在这里，我们直接比较了多种方法，包括一些只使用目标语言语音数据的方法和一些使用其他（非目标）语言转录语音的方法，我们使用两种内在指标以及下游无监督分词和聚类任务进行评估。我们发现，结合两个现有的目标语言的方法产生更好的功能比单独的方法。然而，通过使用在其他语言上训练的模型来提取目标语言瓶颈特征，可以获得更好的结果。仅使用另一种语言的跨语言培训就足以提供这种好处，但多语言培训的帮助更大。除了这些结果，这两个内在的措施和外在的任务，我们讨论了不同类型的学习功能之间的质的差异。
2020-04-07 cs.CL eess.AS
Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech
FAIR at Meta（Meta的FAIR）
提出OmniSONAR模型，通过渐进式训练和教师-学生蒸馏，在数千种语言上实现文本、语音、代码和数学表达式的统一语义嵌入，在跨语言检索和翻译任务上显著降低错误率，并支持零样本语音翻译。
2026-06-19 cs.CL
Neural Speaker Diarization via Multilingual Training: Evaluation on Low-Resource Nepali-Hindi Speech
Department of Electronics and Computer Engineering, Pulchowk Campus, Institute of Engineering（电子与计算机工程系，普尔乔克校区，工程学院）
本文采用多语言训练方法，比较EEND-EDA和DiaPer两种架构在低资源尼泊尔-印地语语音上的说话人日志性能，DiaPer在多人场景下表现更优。
2026-06-26 cs.CL cs.LG cs.SD
IRIS: Interleaved Reinforcement with Incremental Staged Curriculum for Cross-Lingual Mathematical Reasoning
Singapore Institute of Technology（新加坡理工学院）；IIIT Delhi（德里印度理工学院）；University of California, San Diego（加州大学圣地亚哥分校）；Nanyang Technological University（南洋理工大学）；NVIDIA
IRIS通过结合逐步增加难度的监督微调与逆课程强化学习，提升多语言数学推理能力，尤其在低资源和双语环境下表现突出。
2026-04-27 cs.CL
Multilingual Grammatical Error Annotation: Combining Language-Agnostic Framework with Language-Specific Flexibility
Trent University（特伦特大学）；Open Writing Evaluation（开放写作评估）；University College London（伦敦大学学院）；The University of British Columbia（不列颠哥伦比亚大学）
针对 errant 等框架难以适配多语言的问题，本文基于 stanza 重实现并提出语言无关基础加语言特定扩展的模块化 GEC 标注框架，在五种语言上验证其适应性。
2025-06-09 cs.CL
From 50K to 8.2 Million in 24 Hours: Vozinha's Algorithmic Consecration and the Multilingual Making of World Cup Visibility
Universidad Anáhuac México（墨西哥阿纳瓦克大学）
通过多语言语料库和九框架叙事分类法，分析2026年世界杯后Vozinha的算法封圣过程，揭示不同语言承载不同叙事框架，将平台粉丝数作为语言对象研究可见性构建。
2026-06-19 cs.CL cs.CY cs.SI
Don't Rank, Combine! Combining Machine Translation Hypotheses Using Quality Estimation
HEIG-VD / HES-SO（沃州高等工程学院 / 瑞士应用科学大学联盟）
本文提出QE-fusion方法，利用质量估计指标组合多个候选翻译片段，在多个大语言模型和多语言翻译模型上相比束搜索和重排序方法持续提升翻译质量，并验证其随候选数量线性扩展。
2024-06-06 cs.CL cs.LG
Cross-lingual Few-shot Learning for Persian Sentiment Analysis with Incremental Adaptation
Islamic Azad University, South Tehran Branch（伊斯兰阿扎德大学南德黑兰分校）
本研究针对波斯语情感分析数据有限的问题，结合少样本学习与增量学习对XLM-RoBERTa等多语言模型进行微调，实验表明mDeBERTa和XLM-RoBERTa达到了96%的准确率，验证了该方法的有效性。
2025-07-15 cs.AI cs.CL
Bridging the Semantic Gap: Contrastive Rewards for Multilingual Text-to-SQL with GRPO
Independent Researcher（独立研究者）；University of Michigan（密歇根大学）；Harrisburg University of Science（哈里斯堡科学大学）；Forward Labs AI
本研究提出基于GRPO的对比奖励方法，提升多语言文本到SQL系统的执行与语义准确性，通过对比奖励信号实现语义对齐，实验表明小模型在少量数据下表现优于大模型。
2025-11-21 cs.AI cs.CL
Bootstrapping a Crosslingual Semantic Parser
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
语义解析的最新进展几乎不考虑英语以外的语言，但专业翻译可能会非常昂贵。我们将在单一语言（如英语）上训练的语义解析器适应新语言和具有最小注释的多个域。我们询问机器翻译是否是训练数据的适当替代品，并将其扩展到使用英语，释义和多语言预训练模型的联合训练来研究自举。我们开发了一个基于transformer的解析器，通过在多个编码器上集成注意力来结合释义，并在德语和中文中提供了新版本的ATIS和Overnight进行评估。实验结果表明，MT可以近似训练数据在一个新的语言准确的分析时，通过多个MT引擎的释义增强。考虑到MT是不够的，我们还发现，使用我们的方法实现的解析精度在2%的完整的翻译使用只有50%的训练数据。
2020-09-23 cs.CL
Combining Multiple Methods for the Automatic Construction of Multilingual WordNets
本文探讨了从已有的词汇资源中自动构建多语种词汇知识库的问题。首先，一套自动和互补的技术，用于连接从单语和双语MRD收集的西班牙语单词英语WordNet同义词集。其次，我们将展示如何将每种方法提供的数据结合起来，以产生准确率超过85%的西班牙语WordNet的初步版本。这些组合的应用结果上提取的连接的40%的增量，而不失去准确性。粗粒度（类级别）和细粒度（同义词集分配级别）的置信度比使用和评估。最后，给出了整个过程的结果。
1997-09-16 cmp-lg cs.CL
A Culturally-Rich Romanian NLP Dataset from "Who Wants to Be a Millionaire?" Videos
University of Bucharest Faculty of Mathematics and Computer Science（布加勒斯特大学数学与计算机科学学院）
本文构建了一个源自罗马尼亚版《谁想成为百万富翁？》视频的文化丰富问答数据集，并通过基准、机器翻译和跨语言实验揭示LLM在本土文化问题上的性能短板。
2025-06-06 cs.CL cs.LG
Multilingual Part-of-Speech Tagging: Two Unsupervised Approaches
Massachusetts Institute of Technology（麻省理工学院）
我们证明了多语言学习对无监督词性标注的有效性。我们工作的核心假设是，通过结合多种语言的线索，每种语言的结构变得更加明显。我们考虑两种方法将这种直觉应用到无监督词性标注的问题：一种模型，直接合并一对语言的标签结构到一个单一的序列和第二个模型，而不是采用多语言的背景下使用潜变量。这两种方法都被制定为分层贝叶斯模型，使用马尔可夫链蒙特卡罗抽样技术进行推理。我们的研究结果表明，通过整合多语言证据，我们可以在一系列场景中实现令人印象深刻的性能提升。我们还发现，随着可用语言数量的增加，性能稳步提高。
2014-01-15 cs.CL
Fine-tuning Pretrained Multilingual BERT Model for Indonesian Aspect-based Sentiment Analysis
虽然以前的研究基于情感分析（ABSA）的印尼酒店领域的评论已经进行了使用CNN和XGBoost，其模型并没有推广以及在测试数据和大量的OOV字导致错误分类的情况下。如今，大多数NLP任务的最新结果都是通过使用预训练的语言表示来实现的。在本文中，我们打算采用最重要的语言表示模型之一，BERT，在印度尼西亚评论数据集执行ABSA。通过将多语言BERT（m-BERT）与任务转换方法相结合，我们成功地实现了与我们以前的研究结果相比，F1分数显著提高了8%。
2021-03-05 cs.CL
Text Generation Models for Luxembourgish with Limited Data: A Balanced Multilingual Strategy
University of Luxembourg（卢森堡大学）；Lancaster University（兰卡斯特大学）
本文针对卢森堡语数据稀缺问题，提出基于T5架构并结合等量德语和法语数据的平衡多语言文本生成模型，并引入首个卢森堡语文本生成基准LuxGen进行评估。
2024-12-20 cs.CL
Modeling the Music Genre Perception across Language-Bound Cultures
Deezer Research（Deezer研究院）；École Polytechnique（巴黎综合理工学院）
通过对艺术家或专辑的人类注释表达的音乐流派感知在受语言约束的文化中差异很大。这些变化不能被建模为单纯的翻译，因为我们还需要考虑音乐流派感知的文化差异。在这项工作中，我们研究的可行性，获得相关的跨语言，特定文化的音乐流派注释只基于特定语言的语义表示，即分布式概念嵌入和本体。我们的研究，集中在六种语言，表明无监督的跨语言音乐体裁注释是可行的，具有较高的准确性，特别是当结合两种类型的表示。这种研究音乐类型的方法是迄今为止最广泛的，并在音乐学和音乐信息检索中具有许多含义。此外，我们还引入了一个新的、依赖于领域的跨语言语料库，以基准测试最先进的多语言预训练嵌入模型。
2020-11-16 cs.CL cs.LG
Family of Origin and Family of Choice: Massively Parallel Lexiconized Iterative Pretraining for Severely Low Resource Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
我们翻译一个封闭的文本是已知的提前到一个严重低资源的语言，利用大规模的源并行。换句话说，给定124种源语言的文本，我们仅使用~ 1，000行低资源数据将其翻译成严重低资源语言，而无需任何外部帮助。首先，我们提出了一个系统的方法来排名和选择源语言接近低资源语言。我们称语言家族的语言定义为起源家族（FAMO），我们称使用我们的度量标准的高级语言的经验定义为选择家族（FAMC）。其次，我们构建了一个迭代预训练的多语言保序词汇化Transformer（IPML），在约1,000行（约3.5%）的低资源数据上进行训练。为了正确翻译命名实体，我们为124种源语言的2，939个圣经命名实体建立了一个庞大的词典表，其中包括许多只出现一次并涵盖超过66种严重低资源语言的实体。此外，我们还建立了一个新的方法，从不同的源语言的翻译合并成一个。使用英语作为一种假设的低资源语言，我们在多语言基线上获得了+23.9 BLEU的增长，在圣经数据集中的非对称基线上获得了+10.3 BLEU的增长。我们在医学EMEA数据集上获得了42.8的BLEU分数。我们也有很好的结果，一个真正的严重低资源玛雅语言，东部Pokomchi。
2021-10-16 cs.AI cs.CL
Multilingual Word Sense Disambiguation with Unified Sense Representation
HKUST（香港科技大学）；Tencent AI lab（腾讯人工智能实验室）
词义消歧是自然语言处理的一项重要任务，它评估自然语言处理模型在特定语境下对词汇语义的理解能力。得益于大规模标注，当前的词义消歧系统通过将监督学习与词汇知识相结合，在英语中取得了令人印象深刻的性能。然而，这样的成功是很难被复制在其他语言中，我们只有有限的annotations.In本文中，基于多语种词典BabelNet描述跨语言的同一组概念，我们提出了建立知识和监督为基础的多语种词义消歧（MWSD）系统。我们为多种语言建立统一的意义表示，并通过将注释从丰富的语言转移到贫穷的语言来解决MWSD的注释稀缺问题。通过统一的意义表示，可以联合训练来自多种语言的注释，以使MWSD任务受益。SemEval-13和SemEval-15数据集的评估证明了我们方法的有效性。
2022-10-14 cs.CL
Detecting Structured Language Alternations in Historical Documents by Combining Language Identification with Fourier Analysis
Center for Digital Humanities（数字人文中心）；Johns Hopkins University（约翰霍普金斯大学）
本研究提出结合语言识别与傅里叶分析的可泛化工作流，用于检测Armeno-Turkish这类非标准语言文字组合的历史文献，还提出基于结构化语言交替频率识别多语言模式的新任务。
2024-01-25 cs.CL
mOKB6: A Multilingual Open Knowledge Base Completion Benchmark
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Technology Delhi（印度理工学院德里分校）；KnowDis AI（KnowDis人工智能）
本文构建了首个包含六种语言的多语言开放知识库补全基准mOKB6，通过多语言共指消解和实体链接改进构建流程，并实验证明共享嵌入空间与事实翻译能一致提升补全性能，同时揭示现有多语言模型难以跨不同文字体系记忆事实。
2023-05-28 cs.CL
Enhancing Large Language Models with Neurosymbolic Reasoning for Multilingual Tasks
Portland State University（波特兰州立大学）
本文提出神经符号增强推理（NSAR），通过显式提取符号事实并生成 Python 代码，在多语言长上下文任务中显著优于 RAG 和提示策略。
2025-06-03 cs.CL
PolyGuard: A Multilingual Safety Moderation Tool for 17 Languages
为解决LLM多语言安全审核的语言覆盖窄和定义局限问题，提出POLYGUARD模型及数据集，在17种语言上训练，性能超越现有最先进分类器5.5%。
2025-08-07 cs.CL
Token Merging for Multilingual Speech Recognition: A Systematic Study Across Model Scale and Fine-Tuning
Epoch Learn
本文系统评估了Token合并方法在Whisper多语言语音识别模型上的效果，涵盖16种语言和3种模型规模，发现该方法能显著提升计算效率且几乎不损失准确性，并可与微调兼容。
2026-09-16 cs.CL
Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs
College of Computer and Information Sciences, King Saud University（沙特国王大学计算机与信息科学学院）
该研究以7种语言的6787个谚语实例为对象，评估多语言模型在比喻语言识别中的表现，发现约50%多语言训练数据可实现近最优性能，文化特异性比喻形式收益最大，推动相关框架向多维概念模型发展。
2026-09-24 cs.CL
Automatic register identification for the open web using multilingual deep learning
University of Turku（图尔库大学）
本文提出多语言深度学习模型，用于识别开放网络中的文本注册，通过多标签分类在16种语言中达到79%的F1值，并发现性能上限源于注册本身的歧义性。
2026-10-05 cs.CL
Improving Indonesian Text Classification Using Multilingual Language Model
Institut Teknologi Bandung（万隆理工学院）；School of Electrical Engineering and Informatics（电气与信息工程学院）
与英语相比，印度尼西亚语文本分类任务的标记数据量非常小。最近开发的多语言语言模型已经显示出其有效创建多语言表示的能力。本文研究了结合英语和印度尼西亚语数据对构建印度尼西亚语文本分类的影响（例如，情感分析和仇恨言论）使用多语言模型。使用基于特征的方法，我们观察其性能的各种数据大小和总增加的英语数据。实验表明，添加英语数据，特别是如果印度尼西亚语数据量很小，可以提高性能。使用微调方法，我们进一步证明了它的有效性，利用英语来建立印尼语文本分类模型。
2020-09-12 cs.AI cs.CL
Revealing the Parallel Multilingual Learning within Large Language Models
Northeastern University（东北大学）；NiuTrans Research（东北大学自然语言处理实验室）；Bytedance（字节跳动）；Institute of Psychology, CAS（中国科学院心理研究所）
本文提出多语言并行输入（PiM）方法，通过将输入翻译成多种语言提升LLMs的上下文学习能力，并发现PiM通过抑制神经元、促进精确激活来增强理解，与神经科学的突触修剪机制一致。
2025-06-03 cs.CL
Multilingual Jailbreak Challenges in Large Language Models
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
该研究揭示LLM存在多语言越狱风险，并提出 Self-Defense 框架自动生成多语言安全微调数据，显著降低ChatGPT的不安全输出。
2024-03-04 cs.CL
Towards Corpus-Grounded Agentic LLMs for Multilingual Grammatical Analysis
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）；University of Ljubljana, Faculty of Arts（卢布尔雅那大学艺术学院）；Jožef Stefan Institute（乔塞夫·斯塔芬研究所）
本文提出基于语料库的代理LLM框架，用于多语言语法分析，通过数据驱动推理提升语法探究的可解释性和扩展性。
2025-11-28 cs.CL
Marco-Bench-MIF: On Multilingual Instruction-Following Capability of Large Language Models
Alibaba International Digital Commerce（阿里巴巴国际数字商务）；University of Aberdeen（阿伯丁大学）；MBZUAI
本文提出了多语言指令遵循基准Marco-Bench-MIF，通过结合翻译与验证的混合流水线对IFEval进行本地化扩展，涵盖30种语言，全面评估揭示了高低资源语言间的准确率差距、模型规模影响及机器翻译数据的低估问题。
2025-07-16 cs.CL
Multilingual Fact Linking
Indian Institute of Technology, Delhi（德里印度理工学院）；Google（谷歌）
知识密集型NLP任务可以从将自然语言文本与知识图谱（KG）中的事实链接中受益。虽然事实本身是语言不可知的，但事实标签（即，事实的特定语言表示）通常只在少数几种语言中出现。这使得将KG事实与有限语言集以外的语言中的句子联系起来具有挑战性。为了解决这个问题，我们引入了多语言事实链接（MFL）的任务，其目标是将句子中表达的事实链接到KG中的相应事实，即使KG中的事实标签在句子的语言中不可用。为了促进这一领域的研究，我们提出了一个新的评估数据集，IndicLink。该数据集包含11，293个链接的WikiData事实和6，429个句子，涵盖英语和六种印度语言。我们提出了一个检索+生成模型，ReFCoG，它可以扩展到数百万公斤的事实，通过结合双编码器的检索与Seq2Seq的生成模型，这是限制只输出有效的KG事实。ReFCoG在Precision@1中比标准检索+重新排序模型高出10.7个百分点。尽管取得了这一成绩，但该模型的总得分为52.1，显示出任务中有足够的改进空间。https://github.com/SaiKeshav/mfl
2021-10-01 cs.CL
It's All About the Confidence: An Unsupervised Approach for Multilingual Historical Entity Linking using Large Language Models
Department of Humanities, University of Macerata（马切拉塔大学人文学科系）；KNAW Humanities Cluster, DHLab（荷兰人文集群、DHLab）；INFRES Department, Télécom Paris（巴黎电信学院INFRES部门）
本文提出MHEL-LLaMo，一种结合小型语言模型和大语言模型的无监督方法，用于多语言历史实体链接，通过置信度评分降低计算成本并提升准确性。
2026-01-13 cs.CL
Reliable Multilingual Orthopedic Decision Support from Clinical Narratives: Language-Aware Adaptation and Verification-Guided Deferral
School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Software, Nanjing University of Information Science and Technology (NUIST)（南京信息工程大学软件学院）；Department of Orthopedic, Bahawal Victoria Hospital（巴哈瓦尔维多利亚医院骨科部门）
针对低资源医疗环境中的多语言骨科决策支持，提出结合语言感知适配编码器IndicBERT-HPA和确定性选择性验证层的可靠性框架，在英语、印地语和旁遮普语临床文本分类中取得最优性能。
2026-05-29 cs.CL
Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following
Meta GenAI（元宇宙生成式人工智能部门）
本文提出Multi-IF基准，通过结合LLM与人工标注构建包含4501个多语言多轮对话的数据集，评估14个先进模型，发现模型在多轮交互和非拉丁语种中指令遵循能力显著下降。
2024-11-13 cs.CL
Multilingual Hope Speech Detection: A Comparative Study of Logistic Regression, mBERT, and XLM-RoBERTa with Active Learning
Ekiti State University（埃基蒂州立大学）
本研究提出结合主动学习与多语言变换器（mBERT、XLM-RoBERTa）的希望言语检测框架，在四种语言上验证其优于传统基线，并实现数据高效训练。
2025-09-24 cs.CL cs.LG
Neural Approaches to Multilingual Information Retrieval
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）
几十年来，提供跨语言的信息访问一直是信息检索（IR）的目标。虽然跨语言IR（CLIR）已经取得了进展，其中查询以一种语言表示，文档以另一种语言表示，但创建跨多种语言的文档的单一排名列表的多语言（MLIR）任务更具挑战性。本文研究了神经文档翻译和预训练的多语言神经语言模型的进步是否能够改善早期MLIR技术的最新技术水平。结果表明，虽然将神经文档翻译与神经排名相结合可以获得最佳的平均精度（MAP），但通过使用预训练的XLM-R多语言语言模型以其母语索引文档，可以在索引时间减少84%的情况下实现98%的MAP得分，并且2%的有效性差异在统计学上并不显著。MLIR实现这些结果的关键是使用来自MS MARCO通道神经翻译的混合语言批次微调XLM-R。
2023-02-09 cs.CL cs.IR
A Text-to-Text Model for Multilingual Offensive Language Identification
Aston University（阿斯顿大学）；George Mason University（乔治梅森大学）
本文提出基于 T5/mT5 的编码器-解码器冒犯性语言识别模型，利用 SOLID、CCTK 训练并优化阈值，在英语及六语种基准上达到最先进性能。
2023-12-06 cs.CL
R3S: Refining and Recovering Reinforcement Signals for Multilingual Understanding and Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；University of Tübingen（图宾根大学）；China Mobile Communications Company Limited Research Institute（中国移动通信集团有限公司研究院）
TRIT通过整合翻译训练提升多语言长推理能力，在MMATH上超越基线7个百分点，提升答案正确性和语言一致性。
2026-08-11 cs.CL
Revisiting Multilingual Data Mixtures in Language Model Pretraining
EPFL（瑞士联邦理工学院）
预训练大语言模型（LLM）中不同多语言数据混合的影响一直是一个持续争论的话题，经常引起对语言覆盖率和模型性能之间潜在权衡的担忧（即，多语言的诅咒）。在这项工作中，我们通过在不同的多语言语料库上训练1.1B和3B参数LLM来研究这些假设，语言的数量从25到400不等。我们的研究挑战了围绕多语言培训的共同信念。首先，我们发现，结合英语和多语言数据并不一定会降低任何一组的语言性能，前提是语言有足够数量的令牌包括在预训练语料库。其次，我们观察到，使用英语作为一种枢纽语言（即，作为多语言通用化催化剂的高资源语言）在各语言家族中产生益处，并且与预期相反，从特定家族中选择中枢语言并不能始终如一地提高该家族中语言的性能。最后，我们没有观察到显著的“多语言诅咒”，因为在这种规模下，模型中的训练语言数量增加了。我们的研究结果表明，多语言数据，当平衡适当，可以提高语言模型的能力，而不影响性能，即使在低资源设置
2025-10-29 cs.AI cs.CL cs.LG
