Meta-Learning for Low-Resource Neural Machine Translation
The University of Hong Kong(香港大学);New York University(纽约大学)
在本文中,我们提出了扩展最近推出的模型无关Meta学习算法(MAML)的低资源神经机器翻译(NMT)。我们将低资源翻译视为元学习问题,并根据多语言高资源语言任务学习适应低资源语言。我们使用通用的词汇表示~ \citep{gu2018universal}来克服不同语言之间的输入输出不匹配。我们使用十八种欧洲语言(Bg,Cs,Da,De,El,Es,Et,Fr,Hu,It,Lt,Nl,Pl,Pt,Sk,Sl,Sv和Ru)作为源任务和五种不同的语言(Ro,Lv,Fi,Tr和Ko)作为目标任务来评估所提出的元学习策略。我们表明,所提出的方法显着优于多语言,迁移学习为基础的方法\citep{zoph2016transfer},使我们能够训练一个有竞争力的NMT系统,只有一小部分的训练样本。例如,所提出的方法可以在罗马尼亚语-英语WMT'16上实现高达22.04 BLEU,只需要看到16,000个翻译单词(约600个平行句子)。
2018-08-25 cs.CL cs.LG
LangBridge: Multilingual Reasoning Without Multilingual Supervision
KAIST(韩国科学技术院);University of Washington(华盛顿大学);NAVER AI Lab(NAVER AI实验室);Carnegie Mellon University(卡内基梅隆大学)
本文提出LangBridge,一种零样本方法,通过引入极少量可训练参数连接多语言理解模型与推理模型,仅用英语数据训练即可显著提升低资源语言在数学、代码、逻辑和常识推理任务上的性能。
2024-06-03 cs.CL
Multi-Multi-View Learning: Multilingual and Multi-Representation Entity Typing
Microsoft Research(微软研究院);LMU Munich(慕尼黑大学)
知识库(KBs)在NLP中至关重要。我们采用多视图学习来提高知识库中实体类型信息的准确性和覆盖率。我们依赖于两个元视图:语言和表示。对于语言,我们考虑来自维基百科的高资源和低资源语言。对于表示,我们考虑基于实体的上下文分布的表示(即,关于其嵌入),关于实体的名称(即,在其表面形式)和它的描述在维基百科。这两种元视图语言和表示可以自由组合:每对语言和表示(例如,德语嵌入,英语描述,西班牙语名称)是一个独特的观点。我们的实验上的实体类型与细粒度的类证明了多视图学习的有效性。我们发布了MVET,一个我们创建的大型多视图-特别是多语言-实体类型数据集。单语言和多语言细粒度实体类型系统可以在这个数据集上进行评估。
2018-10-24 cs.AI cs.CL
Robust Optimization for Multilingual Translation with Imbalanced Data
Facebook AI(Facebook人工智能)
多语言模型是参数高效的,特别是在通过利用跨语言迁移来改善低资源语言方面。尽管近年来随着模型和数据的不断增长,大规模多语言翻译取得了进展,但如何有效地训练多语言模型还没有得到很好的理解。在本文中,我们表明,在多语言训练,语言之间的数据不平衡的一种常见情况下,高资源和低资源的语言之间的优化张力,发现多语言的解决方案往往是次优的低资源。我们发现,对低资源进行上采样的常见训练方法不能鲁棒地优化人口损失,存在不适合高资源语言或过度适合低资源语言的风险。利用最近关于损失景观几何形状及其对泛化的影响的研究结果,我们提出了一种原则性的优化算法,曲率感知任务缩放(CATS),该算法自适应地重新缩放不同任务的梯度,其Meta目标是将多语言训练引导到所有语言的低曲率邻域,并且损失均匀。我们在常见的基准测试(TED,WMT和OPUS-100)上进行了不同程度的数据不平衡实验。CATS有效地改进了多语言优化,因此在不损害高资源的情况下,在低资源($+0.8$到$+2.2$ BLEU)上表现出一致的收益。此外,CATS对过度参数化和大批量训练具有鲁棒性,使其成为真正改善低资源语言的大规模多语言模型的有前途的训练方法。
2021-11-30 cs.AI cs.CL cs.LG
Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval
Beijing Jiaotong University(北京交通大学)
本文针对低资源语言检索数据稀缺问题,提出解耦对比学习方法,将多语言表示分离为语义与语言子空间,在mMARCO、MIRACL上的零样本多语言密集检索性能优于多个强基线。
2026-08-04 cs.CL cs.IR
Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers
针对多语言Transformer模型随适配语言增多性能下降的干扰问题,提出用Shapley值识别引发干扰的注意力头并剪枝的方法,最高可提升目标语言任务性能24.7%,并通过可视化提供了相关洞见。
2022-10-11 cs.CL cs.LG
Causes and Cures for Interference in Multilingual Translation
Tel Aviv University(特拉维夫大学);Meta AI
本研究系统探究了多语言机器翻译中干扰现象的主要成因,发现干扰主要由模型规模、数据规模及各语言对比例决定,并提出通过使用十亿参数以下标准transformer配置及调节采样温度来有效缓解干扰、促进协同并提升整体性能。
2023-05-19 cs.AI cs.CL cs.LG
HLT-MT: High-resource Language-specific Training for Multilingual Neural Machine Translation
Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
基于多语言对的多语言神经机器翻译(MNMT)具有模型参数少、多语言知识共享、训练成本低等优点,受到了广泛关注。然而,由于不同翻译方向之间的负干扰,特别是在高资源语言上,多语言训练受到共享参数中语言干扰退化的困扰。本文提出了一种多语言翻译模型--高资源特定语言训练模型(HLT-MT),采用两阶段训练和特定语言选择机制来减轻负面干扰。具体来说,我们首先只使用高资源对训练多语言模型,并在解码器的顶部选择语言特定的模块,以提高高资源方向的翻译质量。接下来,该模型在所有可用的语料库上进行进一步训练,以将知识从高资源语言(HRL)转移到低资源语言(LRL)。实验结果表明,HLT-MT在WMT-10和OPUS-100基准测试中优于各种强基线。此外,分析实验验证了我们的方法在减轻多语言训练中的负面干扰的有效性。
2022-07-15 cs.AI cs.CL cs.LG
Counter-Interference Adapter for Multilingual Machine Translation
ByteDance AI Lab(字节跳动人工智能实验室);University of California, Santa Barbara(加州大学圣巴巴拉分校)
开发统一的多语言模型一直是机器翻译的追求。然而,现有的方法存在性能下降的问题--单一的多语言模型不如在资源丰富的语言上单独训练的双语模型。我们推测这种现象是由于多种语言联合训练造成的干扰。为了适应这个问题,我们提出了CIAT,一个适应Transformer模型,多语言机器翻译的小参数开销。我们在多个基准数据集上评估了CIAT,包括IWITRA,OPUS-100和WMT。实验表明,CIAT在66个语言方向中的64个方向上始终优于强大的多语言基线,其中42个方向的BLEU改进超过0.5。我们的代码可在\url{https://github.com/Yaoming95/CIAT} ~获得。
2021-09-12 cs.AI cs.CL
XCOMPS: A Multilingual Benchmark of Conceptual Minimal Pairs
Columbia University(哥伦比亚大学);Munich Center for Machine Learning(慕尼黑机器学习中心);LMU Munich(慕尼黑大学);University of Michigan(密歇根大学);KU Leuven(根特大学)
介绍多语言概念最小对数据集XCOMPS,通过多种方式评估LLMs多语言概念理解,比较不同模型发现LLMs对低资源语言概念理解弱,指令微调与知识蒸馏有不同效果,形态复杂语言理解分数低。
2026-07-22 cs.CL
Response-Based Knowledge Distillation for Multilingual Jailbreak Prevention Unwittingly Compromises Safety
OpenAI;Meta
本文研究了基于响应的知识蒸馏在多语言对抗预防中的应用,发现标准微调会增加学生模型的对抗成功率,但去除边界拒绝可缓解安全性下降。
2026-10-06 cs.CL
Fixed-MAML for Few Shot Classification in Multilingual Speech Emotion Recognition
Indian Institute of Information Technology, Guwahati(古瓦哈提印度信息技术研究所);Cardiff University(卡迪夫大学)
本文分析了将少样本学习应用于语音情感识别任务的可行性。目前的语音情感识别模型工作得非常好,但当输入是多语言时就失败了。此外,在训练这类模型时,只有在训练语料量很大时,模型的性能才合适。当选择一种不太流行或晦涩的语言时,大型训练语料库的可用性是一个重要的问题。我们试图通过将这个问题转化为一个少样本学习问题来解决多语言和缺乏可用数据的挑战。我们建议放宽假设,所有N类的N路K-shot问题是新的,并定义一个N+F的方式问题,其中N和F是情感类和预定义的固定类的数量,分别。我们提出了这种修改模型不可知元学习(MAML)算法来解决这个问题,并称之为F-MAML。这种修改比原始MAML的性能更好,并且优于ESPRIFilm数据集。
2022-05-30 cs.LG cs.SD eess.AS
Mitigating Negative Interference in Multilingual Sequential Knowledge Editing through Null-Space Constraints
Department of Computer Science, KU Leuven(计算机科学系,根特大学)
针对多语言大语言模型序列知识编辑存在的参数负干扰问题,提出零空间约束框架LangEdit,通过将各语言参数更新投影至正交补空间保证更新独立性,在多架构多语言多任务上优于现有方法,可实现高效准确的多语言知识更新。
2025-06-12 cs.CL
Neuron Specialization: Leveraging intrinsic task modularity for multilingual machine translation
University of Amsterdam(阿姆斯特丹大学)
针对多语言翻译模型的负向干扰问题,本文发现前馈层神经元存在语言特化及反映语言亲缘性的结构重叠特性,据此提出神经元特化方法,通过模块化前馈层与稀疏更新实现性能提升,同时减少干扰、增强知识迁移。
2024-04-17 cs.CL
Adaptive Sparse Transformer for Multilingual Translation
Meta AI
多语言机器翻译由于其支持语言间的知识转移以及与众多双语模型相比的低训练和部署成本,近年来引起了人们的广泛关注。多语言模型的一个已知挑战是负面语言干扰。为了提高翻译质量,更深和更广泛的体系结构被应用到多语言建模,以获得更大的模型容量,这同时也增加了推理成本。近年来的研究指出,语言之间的共同参数是干扰的原因,但它们也可能促进正迁移。基于这些见解,我们提出了一种自适应和稀疏的多语言建模架构,并训练模型学习共享和语言特定的参数,以提高正迁移和减轻干扰。稀疏结构只激活保持推理效率的子网络,自适应设计根据输入语言选择不同的子网络。我们的模型在多个基准测试中优于强基线。在使用$100$语言的大规模OPUS数据集上,与标准Transformer相比,在不增加推理成本的情况下,分别实现了一对多、多对一和zero-shot任务下的$+2.1$、$+1.3$和$+6.2$ BLEU改进。
2022-01-22 cs.CL
Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey
Department of Computer Science and Engineering, POSTECH(POSTECH计算机科学与工程系);Designovel Co., Ltd.(Designovel公司);LLSOLLU;Graduate School of Artificial Intelligence, POSTECH(POSTECH人工智能研究生院)
本文探讨了多语言知识编辑中向量合并方法的有效性,分析了TSVM在减少多语言干扰方面的表现,并发现权重缩放因子和秩压缩比对性能有显著影响。
2026-05-13 cs.CL cs.LG
Are Multilingual Models Effective in Code-Switching?
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
多语言语言模型在多语言和跨语言自然语言理解任务中表现出了良好的性能。然而,这些多语言模型在语码转换任务中的作用还没有得到充分的研究。在本文中,我们研究的多语言语言模型的有效性,了解他们的能力和适应性的混合语言设置考虑的推理速度,性能和参数的数量来衡量其实用性。我们在三种语言对上进行了命名实体识别和词性标注的实验,并将它们与现有的方法进行了比较,例如使用双语嵌入和多语言元嵌入。我们的研究结果表明,预先训练的多语言模型不一定能保证代码转换的高质量表示,而使用元嵌入可以用更少的参数实现类似的结果。
2021-03-24 cs.CL cs.LG
Learning Language Specific Sub-network for Multilingual Machine Translation
ByteDance AI Lab(字节跳动人工智能实验室)
多语言神经机器翻译旨在学习多种语言的单一翻译模型。这些联合训练的模型通常会在资源丰富的语言对上性能下降。我们把这种退化归因于参数干扰。在本文中,我们提出了LaSS联合训练一个统一的多语言MT模型。LaSS为每个语言对学习语言特定子网络(LaSS)以对抗参数干扰。在具有各种Transformer架构的IWSTs和WMT数据集上的综合实验表明,LaSS在36种语言对上获得了高达1.2 BLEU的增益。此外,LaSS在易于扩展到新的语言对和zero-shot翻译方面表现出了很强的泛化性能,LaSS在30个语言对上的平均BLEU为8.3,提高了zero-shot翻译。代码和训练模型可在https://github.com/NLP-Playground/LaSS上获得。
2021-07-23 cs.CL
Multilingual Entity and Relation Extraction from Unified to Language-specific Training
Beihang University(北京航空航天大学);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心)
实体和关系抽取是信息抽取中的一个关键任务,其输出可用于下游的自然语言处理任务。现有的实体和关系抽取任务的方法主要集中在英语语料库,而忽略了其他语言。因此,在多语言环境中提高性能至关重要。同时,多语言培训通常用于通过从语言中转移知识来提高跨语言性能(例如,高资源)到其它(例如,低资源)语言。然而,语言干扰通常存在于多语言任务中,因为模型参数在所有语言之间共享。在本文中,我们提出了一个两阶段的多语言训练方法和一个联合模型称为多语言实体和关系抽取框架(mERE),以减轻跨语言的语言干扰。具体来说,我们随机连接不同语言的句子训练一个嵌入通用聚合器(LA),通过获得统一的语言表示缩小嵌入表示的距离。然后,我们通过调整特定于语言的Switcher(LS),其中包括几个独立的子模块来细化特定于语言的特征表示,分离参数,以减轻干扰。在此基础上,为了增强关系三元组的抽取,将句子表示与关系特征相连接,用于识别实体。大量的实验结果表明,我们的方法优于单语言和多语言的基线方法。此外,通过详细的分析表明,mERE是轻量级的,但在关系三元组抽取上是有效的,mERE{}易于移植到多领域任务的其他骨干模型中,进一步证明了该方法的有效性。
2023-01-11 cs.CL
Multilingual Sentence-Level Semantic Search using Meta-Distillation Learning
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Adobe Research(Adobe研究院)
本文提出针对低资源场景的MAML-Align方法,利用基于MAML的元蒸馏学习将知识从单语到双语的Teacher模型迁移至双语到多语言的Student模型,显著提升了多语言语义搜索性能及对未见语言的泛化能力。
2023-09-15 cs.CL
Towards End-to-End Multilingual Metaphor Processing: Integrating Detection, Translation, and Evaluation
Leiden University(莱顿大学);Leiden University Medical Centre(莱顿大学医学中心)
本研究拟开发端到端多语言隐喻处理框架,整合隐喻检测、面向隐喻的翻译评估及联合建模,结合语言学理论与大语言模型,以提升多语言NLP系统处理比喻语言的能力。
2026-08-06 cs.CL
Does language matter for spoken word classification? A multilingual generative meta-learning approach
Bytefuse
本文探讨多语言环境下元学习在口语分类中的应用,通过生成元持续学习算法训练不同语言模型,发现多语言模型表现最佳,但模型性能差异较小,训练数据独特小时数比语言数量更影响性能。
2026-05-14 cs.AI cs.CL
QQ: A Language Metadata Toolkit for Multilingual NLP
QQ是一种用于统一语言元数据管理的轻量级Python工具包,通过统一的语言标识符映射和图结构,帮助多语言NLP研究中处理多种语言并探索语言关系。
2026-09-01 cs.CL
Meta-Learning Preferences for Multilingual LLM Alignment
University of Warwick(华威大学);University College London(伦敦大学学院);University of Basel(巴塞尔大学)
针对多语言环境下低资源语言对齐数据不足问题,提出元学习框架,利用其他语言偏好数据学习可转移初始化,经理论和实验验证,该方法在极低资源设置下比基线方法胜率最多提高28%,且在多场景表现优异。
2026-07-23 cs.CL
$m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
多语言神经机器翻译模型(MNMT)在对来自训练时看到的领域和语言对的数据进行评估时,会产生最先进的性能。然而,当MNMT模型用于在域转移下翻译或翻译到新的语言对时,性能急剧下降。我们认为一个非常具有挑战性的情况下:适应MNMT模型,以一个新的领域和一个新的语言对在同一时间。在本文中,我们提出了$m^4Adapter$(多语言多领域自适应机器翻译与元适配器),它结合领域和语言知识,使用元学习与适配器。我们目前的结果表明,我们的方法是一个参数有效的解决方案,有效地适应一个新的语言对和一个新的域的模型,同时优于其他适配器的方法。消融研究还表明,我们的方法更有效地跨不同的语言和语言信息跨不同的领域转移领域知识。
2022-10-21 cs.CL
Leveraging a New Spanish Corpus for Multilingual and Crosslingual Metaphor Detection
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
缺乏广泛覆盖的数据集注释与日常隐喻表达的语言以外的英语是惊人的。这意味着大多数关于监督隐喻检测的研究都是针对该语言发表的。为了解决这个问题,这项工作提出了第一个语料库注释自然发生的隐喻在西班牙语大到足以开发系统来执行隐喻检测。所呈现的数据集CoMeta包括来自各个领域的文本,即新闻,政治话语,维基百科和评论。为了标记CoMeta,我们应用MIPVU方法,这是最常用于系统地注释真实数据上的隐喻的指南。我们使用我们新创建的数据集,通过微调几个多语言和单语言最先进的大语言模型来提供有竞争力的基线。此外,通过利用现有的VUAM英语数据,除了CoMeta,我们提出的,尽我们所知,第一个跨语言的实验监督隐喻检测。最后,我们进行了详细的错误分析,探讨了这两种语言和数据集之间看似高的日常隐喻迁移。
2022-10-24 cs.CL
LoRA-Whisper: Parameter-Efficient and Extensible Multilingual ASR
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯AI实验室)
本文提出 LoRA-Whisper,通过将 LoRA 矩阵融入 Whisper 缓解多语言干扰并支持语言扩展,在八种语言的真实任务中分别取得 18.5% 和 23.0% 的相对增益。
2024-06-07 cs.AI cs.CL eess.AS
Meta-Learning for Effective Multi-task and Multilingual Modelling
Indian Institute of Technology Bombay(印度理工学院孟买分校);IBM India Research Lab(IBM印度研究实验室)
自然语言处理(NLP)任务(例如英语问答)受益于其他任务的知识(例如英语命名实体识别)和其他语言的知识(例如西班牙语问答)。这种共享表示通常是孤立地学习的,无论是跨任务还是跨语言。在这项工作中,我们提出了一个元学习的方法来学习任务和语言之间的相互作用。我们还研究了元学习过程中使用的不同采样策略的作用。我们提出了五个不同的任务和六种不同的语言从XTREME多语言基准数据集的实验。我们的元学习模型与竞争对手的基线模型(也包括多任务基线)相比,性能明显提高。我们还提出了zero-shot评价看不见的目标语言,以证明我们提出的模型的实用性。
2021-03-22 cs.CL
Multilingual and cross-lingual document classification: A meta-learning approach
University of Amsterdam(阿姆斯特丹大学);Facebook AI
世界上绝大多数语言都被认为是成功应用深度学习方法的资源不足。在这项工作中,我们提出了一种元学习方法,在有限的资源设置文件分类,并证明其有效性在两个不同的设置:Few-Shot,跨语言适应以前看不见的语言;和多语种联合训练时,有限的目标语言数据是在训练过程中。我们对几种元学习方法进行了系统的比较,调查了数据可用性方面的多个设置,并表明元学习在具有异构任务分布的设置中蓬勃发展。我们对现有的元学习方法提出了一个简单而有效的调整,它允许更好,更稳定的学习,并在几种语言上建立了一个新的艺术状态,同时只使用少量的标记数据来对其他语言进行同等的处理。
2021-04-24 cs.CL
GradSim: Gradient-Based Language Grouping for Effective Multilingual Training
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);Hochschule der Medien(斯图加特传媒学院);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
本文提出GradSim,一种基于梯度相似性的语言分组方法,用于多语言训练,有效避免语言间的负面干扰,并在AfriSenti等基准上取得最优性能。
2023-10-23 cs.CL cs.LG
LLaVA-NeuMT: Selective Layer-Neuron Modulation for Efficient Multilingual Multimodal Translation
University of Chinese Academy of Sciences(中国科学院大学);The University of Queensland(昆士兰大学)
提出LLaVA-NeuMT框架,通过层选择与神经元级适配分离语言特有和无关表示,仅微调40%参数即在两个多语言多模态翻译数据集上达到SOTA。
2025-07-25 cs.CL cs.MM
Choosing the Right Language Mode at Inference Time for Multilingual Reliability
Portland State University(波特兰州立大学)
针对多语言大模型低资源语言推理差的问题,本文提出RAAI框架,通过ECE感知路由与提示融合、RI控制推理,提升低资源语言准确性并降低校准误差。
2026-09-07 cs.CL
Mix-MoE: Improving Multilingual Machine Translation of Large Language Models through Mixed MoEs
School of Software, Tsinghua University(清华大学软件学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
提出Mix-MoE框架,通过将MoE层分为语言模型专家和机器翻译专家,并利用傅里叶变换增强路由机制,解决大语言模型在多语言机器翻译微调中的参数干扰问题。
2026-05-23 cs.AI cs.CL
Improved Self-Supervised Multilingual Speech Representation Learning Combined with Auxiliary Language Information
Shanghai AI Laboratory(上海人工智能实验室);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院);University of Science and Technology of China(中国科学技术大学)
多语言端到端模型已经显示出比单语言系统有很大的改进。随着语音预训练方法的发展,像XLSR这样的自监督多语言语音表示学习在提高多语言自动语音识别(ASR)的性能方面取得了成功。然而,与监督学习类似,多语言预训练也可能受到语言干扰,并进一步影响多语言系统的应用。本文介绍了几种利用辅助语言信息改进自监督多语言预训练的技术,包括预训练阶段的语言对抗训练、语言嵌入和语言自适应训练。我们进行实验的多语种ASR任务,包括16种语言。我们的实验结果表明,与标准XLSR模型相比,相对增益为14.3%,与没有预训练的多语言模型相比,相对增益为19.8%。
2022-12-07 cs.CL cs.SD eess.AS
An Investigation of Translationese in the Generations of Multilingual Large Language Models
University of Colorado Boulder(科罗拉多大学博尔德分校);University of California Berkeley(加州大学伯克利分校);Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
本文探究多语言大语言模型生成文本是否存在翻译腔,对比直接翻译的翻译腔差异,通过多种方法评估MLLM生成文本的翻译腔特征。
2026-08-19 cs.CL
CONGRAD:Conflicting Gradient Filtering for Multilingual Preference Alignment
Department of Data Science and AI, Monash University, Australia(墨尔本大学数据科学与人工智能系);eBay Inc.(eBay公司)
针对多语言偏好对齐中联合训练的负干扰问题,提出CONGRAD方法,通过冲突梯度过滤和亚线性压缩提升样本质量,在多语言模型上实现了已见与未见语言的性能提升且对齐代价小。
2025-11-11 cs.CL
MM-Eval: A Multilingual Meta-Evaluation Benchmark for LLM-as-a-Judge and Reward Models
Yonsei University(延世大学);KAIST(韩国科学技术院);OneLineAI;Barcelona Supercomputing Center(巴塞罗那超级计算中心);Artful Media;Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出了多语言元评估基准MM-Eval,用于检验评估器LLMs在多语言输出上的可靠性与公平性,发现现有评估器在非英语及低资源语言上表现不佳且不一致,且该基准与Best-of-N排名具有更强相关性。
2025-03-29 cs.CL
RetrieveAll: A Multilingual Named Entity Recognition Framework with Large Language Models
Tibet University(西藏大学);University of Electronic Science and Technology of China(电子科技大学);Peking University(北京大学)
提出基于动态LoRA的多语言NER框架RetrieveAll,通过跨粒度知识增强和分层提示机制缓解语言干扰,在PAN-X上平均F1提升12.1%。
2025-05-25 cs.AI cs.CL
Multilingual Speech-to-Speech Translation into Multiple Target Languages
Meta AI Research(Meta人工智能研究院)
本文提出首个支持多种目标语言的多语言S2ST系统,通过S2MU掩码非目标语言单元并结合语言嵌入与LID辅助损失训练多语言声码器,在英译16种目标语言上优于双语模型。
2023-07-17 cs.CL cs.SD eess.AS
Interference Matrix: Quantifying Cross-Lingual Interference in Transformer Encoders
FAIR at Meta(Meta 的 FAIR 部门);Sorbonne Université, CNRS, ISIR(索邦大学、国家科学研究中心、ISIR)
本文通过构建干扰矩阵,量化了83种语言间的不对称跨语言干扰,发现其与文字系统相关而非语系,并能预测下游任务性能,助力多语言模型设计。
2025-08-04 cs.CL
FineFreq: A Multilingual Character Frequency Dataset from Web-Scale Text
EuroMov Digital Health in Motion Univ Montpellier, IMT Mines Ales(EuroMov数字健康运动大学蒙彼利埃分校、IMT Mines阿勒)
FineFreq是一个涵盖1900种语言、包含96万亿字符频率数据的多语言数据集,支持细粒度时间分析和多语言特征研究。
2025-12-25 cs.CL
MEMERAG: A Multilingual End-to-End Meta-Evaluation Benchmark for Retrieval Augmented Generation
Tampere University(塔尔皮奥大学);Amazon(亚马逊)
本文提出多语言端到端元评估基准MEMERAG,基于MIRACL数据集和原生语言问题构建,用于评估RAG系统的忠实性与相关性,并验证其能可靠识别多语言自动评估器的改进。
2025-07-19 cs.AI cs.CL
More Parameters? No Thanks!
IIIT-H(海得拉巴国际信息技术学院);University of Bath(巴斯大学)
本文研究了多语言神经机器翻译MNMT长期存在的模型容量和负干扰问题。我们使用网络修剪技术,并观察到从经过训练的MNMT模型中修剪50-70%的参数只会导致BLEU分数下降0.29-1.98。这表明即使在MNMT模型中也存在较大的冗余。这些观察促使我们使用冗余参数并有效地对抗干扰问题。我们提出了一种新的自适应策略,我们迭代地修剪和重新训练的MNMT的冗余参数,以提高双语表示,同时保留多语言。负干扰严重影响高资源语言,我们的方法不需要任何额外的适配器模块。因此,我们称之为无参数自适应策略,为MNMT的有效自适应铺平了道路。我们证明了我们的方法在9种语言的MNMT上训练TED演讲的有效性,并报告了在高资源对上平均提高了+1.36 BLEU。代码将在这里发布。
2021-07-20 cs.CL
METAL: Towards Multilingual Meta-Evaluation
Microsoft Corporation(微软公司)
本文提出多语言元评估框架 METAL,构建覆盖 10 种语言的摘要任务母语者判断数据集,并比较 GPT-3.5-Turbo、GPT-4 和 PaLM2 作为评估器的表现,发现 GPT-4 最优且模型推理常与人类不一致。
2024-04-02 cs.CL
Neural Language Codes for Multilingual Acoustic Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
多语言语音识别是最昂贵的人工智能问题之一,因为每种语言(7,000多种)甚至不同的口音都需要自己的声学模型来获得最佳的识别性能。尽管它们都使用相同的音素符号,但每种语言和口音都有自己的色彩或“鼻音”。已经提出了许多自适应方法,但它们需要进一步的训练,额外的数据,并且通常不如单语言训练的模型。在本文中,我们提出了一种不同的方法,它使用一个大型的多语言模型,即\emph{modulated}由一个辅助网络生成的代码,学习编码“鼻音”或人类语言之间的有用差异。我们使用Meta-Pi网络让一个网络(语言代码网络)控制另一个网络(声学模型网络)中神经元的活动。我们的研究结果表明,在识别过程中,多语言Meta-Pi网络可以快速适应适当的语言着色,而无需重新训练或新数据,并且比单语言训练的网络表现更好。该模型通过训练声学建模网络和调制语言代码网络来评估,并优化它们以获得最佳的识别性能。
2018-07-05 cs.CL cs.LG cs.SD
AllWOZ: Towards Multilingual Task-Oriented Dialog Systems for All
Columbia University(哥伦比亚大学)
亚马逊Alexa和苹果Siri等最先进的自然语言技术的一个常见问题是,由于语言障碍,它们的服务无法扩展到大多数发展中国家的公民。这些人群由于缺乏可用的语言资源来构建NLP产品而受到影响。本文介绍了AllWOZ,一个多语言多领域面向任务的客户服务对话数据集,涵盖八种语言:英语,普通话,韩语,越南语,印地语,法语,葡萄牙语和泰语。此外,我们通过应用mT5和元学习为我们的多语言数据集创建了一个基准。
2021-12-15 cs.CL
Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs
College of Computer and Information Sciences, King Saud University(沙特国王大学计算机与信息科学学院)
该研究以7种语言的6787个谚语实例为对象,评估多语言模型在比喻语言识别中的表现,发现约50%多语言训练数据可实现近最优性能,文化特异性比喻形式收益最大,推动相关框架向多维概念模型发展。
2026-09-24 cs.CL
Examining Modularity in Multilingual LMs via Language-Specialized Subnetworks
University of Amsterdam(阿姆斯特丹大学);Google DeepMind(谷歌DeepMind)
本研究通过训练数据归因方法,发现多语言模型中语言专用子网络自然涌现,且稀疏微调可能降低语言专用性以促进跨语言共享。
2023-11-14 cs.CL
False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models
Stanford University(斯坦福大学)
本研究通过受控实验探究多语言模型中token重叠对跨语言迁移的影响,发现重叠(尤其是语义相似的重叠)能增强嵌入空间的跨语言语义关系并提升XNLI和XQuAD上的迁移性能,表明共享词汇是有益的设计选择。
2025-09-24 cs.CL
Deep Emotions Across Languages: A Novel Approach for Sentiment Propagation in Multilingual WordNets
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
针对 WordNet 情感元数据人工标注不足的问题,提出 MSSE 与 CLDNS 实现词网内及跨语言情感自动传播,并在 Princeton WordNet 和 Polish WordNet 上验证其优于现有方法。
2023-12-07 cs.AI cs.CL cs.LG
Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Microsoft(微软)
通过自我监督训练的大型多语言模型在广泛的自然语言处理任务中实现了最先进的结果。自我监督的预训练模型通常在来自一个或多个语言对的并行数据上进行微调,以用于机器翻译。多语言微调提高了低资源语言的性能,但需要修改整个模型,并且可能非常昂贵。在每个语言对上训练一个新的适配器,或者在所有语言对上训练一个适配器,而不更新预训练模型,已经被提出作为一种参数有效的替代方案。然而,前者不允许语文之间的任何共享,而后者则共享所有语文的参数,容易受到负面干扰。在本文中,我们提出了在mBART-50之上训练语言族适配器,以促进跨语言迁移。我们的方法优于相关基线,从英语翻译到17种不同的低资源语言时,平均翻译分数更高。我们还表明,语言族适配器提供了一种有效的方法来翻译到语言看不见的预训练。
2023-03-29 cs.CL
Adversarial Meta Sampling for Multilingual Low-Resource Speech Recognition
Sun Yat-sen University(中山大学);Dark Matter AI Research(暗物质人工智能研究院);SalesForce
低资源的自动语音识别(ASR)是具有挑战性的,因为低资源的目标语言数据不能很好地训练ASR模型。为了解决这个问题,元学习将每个源语言的ASR公式化为许多小的ASR任务,并对来自不同源语言的所有任务进行元学习,以快速适应看不见的目标语言。然而,不同源语言由于数据规模和语音系统的差异,其任务量和难度差异很大,导致任务量和任务难度不平衡,从而导致多语言元学习ASR(MML-ASR)的失败。在这项工作中,我们通过开发一种新的对抗性Meta采样(AMS)方法来改善MML-ASR来解决这个问题。当在MML-ASR中对任务进行抽样时,AMS自适应地确定每个源语言的任务抽样概率。具体而言,对于每种源语言,如果查询损失较大,则意味着其任务在数量和难度方面没有很好地采样以训练ASR模型,因此应该更频繁地采样以进行额外的学习。受此启发,我们将所有源语言域的历史任务查询损失馈送到网络中,以学习一种任务采样策略,从而对抗性地增加MML-ASR的当前查询损失。因此,学习任务抽样策略可以掌握每种语言的学习情况,从而预测每种语言的良好任务抽样概率,以实现更有效的学习。最后,在两个多语言数据集上的实验结果表明,AMS在MML-ASR上的应用效果显著,并证明了AMS对其他低资源语音任务和迁移学习ASR方法的适用性。
2021-04-12 cs.CL cs.SD eess.AS
Pay Better Attention to Attention: Head Selection in Multilingual and Multi-Domain Sequence Modeling
Facebook AI Research(脸书人工智能研究院)
多头注意力使每个注意力头从输入序列的不同部分收集显著信息,使其成为序列建模的强大机制。多语言和多领域学习是序列建模的常见场景,其中的关键挑战是最大限度地提高语言和领域之间的正迁移并减轻负迁移。在本文中,我们发现,非选择性的注意力共享是次优的实现良好的泛化在所有的语言和领域。我们进一步提出了注意力共享策略,以促进多语言和多域序列建模中的参数共享和专业化。我们的方法自动学习不同语言和领域的共享和专门注意力,以减轻它们的干扰。在各种任务,包括语音识别,文本到文本和语音到文本的翻译,所提出的注意力共享策略始终带来收益的序列模型建立在多头注意力。对于语音到文本的翻译,我们的方法产生的平均$+2.0$ BLEU的$13$语言方向在多语言设置和$+2.0$ BLEU的$3$域在多域设置。
2021-06-21 cs.AI cs.CL
Model-Agnostic Meta-Learning for Multilingual Hate Speech Detection
University of Saskatchewan(萨斯喀彻温大学);Singapore University of Technology and Design(新加坡科技设计大学);IIT Delhi(印度德里理工学院);IIIT-Delhi(德里英迪拉·甘地信息技术学院);DTU-Delhi(德里理工大学)
社交媒体中的仇恨言论是一种日益增长的现象,检测这种有毒内容最近在研究界获得了重大关注。现有的研究已经探索了微调语言模型(LM)来执行仇恨语音检测,这些解决方案已经产生了显着的性能。然而,大多数这些研究仅限于检测英语中的仇恨言论,忽视了其他语言中产生的大量仇恨内容,特别是在低资源语言中。开发一个分类器,以有限的数据在低资源语言中捕捉仇恨言论和细微差别,是极具挑战性的。为了填补这一研究空白,我们提出了HateMAML,这是一个基于模型不可知的元学习框架,可以有效地在低资源语言中执行仇恨语音检测。HateMAML利用自我监督策略来克服数据稀缺的限制,并产生更好的LM初始化,以快速适应看不见的目标语言(即,跨语言迁移)或其他仇恨言论数据集(即,领域泛化)。在八种不同的低资源语言的五个数据集上进行了广泛的实验。结果表明,HateMAML在跨域多语言传输设置中的表现优于最先进的基线超过3%。我们还进行了消融研究,以分析HateMAML的特征。
2023-03-04 cs.CL cs.SI