GlotEval: A Test Suite for Massively Multilingual Evaluation of Large Language Models
University of Helsinki(赫尔辛基大学);Technical University of Darmstadt(达姆施塔特技术大学);University of Munich(慕尼黑大学);Nanjing University(南京大学);ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对现有评估框架偏重英语和高资源语言的问题,提出轻量级多语言评估框架GlotEval,支持七项任务和数百种语言,实现精准诊断模型在多语言环境中的优劣。
2025-10-08 cs.CL
MdEval: Massively Multilingual Code Debugging
CCSE, Beihang University(北京航空航天大学 CCSE)
提出首个大规模多语言调试基准MdEval,含18种语言3.6K样本,覆盖APR、CR、BI任务,并构建指令语料库训练xDebugCoder,实验显示开源与闭源模型性能差距大。
2025-02-24 cs.CL
M2rc-Eval: Massively Multilingual Repository-level Code Completion Evaluation
Alibaba Group(阿里巴巴集团);University of Waterloo(滑铁卢大学)
本文提出覆盖18种编程语言、提供AST驱动细粒度场景标注的 M2RC-EVAL 基准,并构建 M2RC-INSTRUCT 指令数据集,以评估并提升代码LLM的多语言仓库级补全能力。
2024-10-28 cs.CL cs.SE
A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space
Dartmouth College(达特茅斯学院);University of California, Santa Barbara(加州大学圣塔芭芭拉分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
在跨语言语言模型中,许多不同语言的表示存在于同一空间中。在这里,我们研究了影响跨语言预训练语言模型中101种语言和5,050种语言对的语言和非语言因素。使用基于BERT的LaBSE和基于BiLSTM的LASER作为我们的模型,圣经作为我们的语料库,我们计算了一个基于任务的跨语言对齐的措施,在形式的双语检索性能,以及四个内在的措施向量空间对齐和同构。然后,我们研究了一系列的语言,准语言和训练相关的功能,这些对齐指标的潜在预测。我们的分析结果表明,词序一致性和形态复杂性的一致性是两个最强的语言预测跨语言性。我们还注意到,家族内的训练数据作为一个比语言特定的训练数据更强的预测器。我们验证了我们的一些语言学研究结果,通过观察形态分割对英语-因纽特语对齐的影响,除了研究词序协议对来自不同语料库的66个zero-shot语言对同构的影响。我们公开了实验的数据和代码。
2021-09-13 cs.AI cs.CL cs.LG
Massively Multilingual Joint Segmentation and Glossing
University of Colorado Boulder(科罗拉多大学博尔德分校);Carnegie Mellon University(卡内基梅隆大学)
针对现有神经标注模型缺乏形态边界预测导致可解释性差的问题,提出PolyGloss模型,通过联合分割与标注提升准确性和对齐度,并支持低秩适应快速迁移。
2026-06-06 cs.CL
How Multilingual Are Large Language Models Fine-Tuned for Translation?
University of Maryland(马里兰大学);AMSC
本文评估了TOWER系列语言模型在FLORES-200的132个翻译任务上的表现,发现翻译微调平均能提升零样本语言的翻译质量,但效果因语言对而异,呼吁进一步研究基于LLM的大规模多语言翻译。
2024-05-30 cs.CL cs.LG
MultiClaimNet: A Massively Multilingual Dataset of Fact-Checked Claim Clusters
Queen Mary University of London(伦敦大学玛丽皇后学院);Newtral Media Audiovisual Spain(西班牙Newtral视听媒体公司)
针对事实核查中声明重复问题,本文提出MultiClaimNet,包含三个多语言声明聚类数据集,覆盖86种语言,并通过近似最近邻和大型语言模型构建了含85.3K条声明的最大数据集,为可扩展声明聚类奠定基础。
2025-03-28 cs.CL
mSTEB: Massively Multilingual Evaluation of LLMs on Speech and Text Tasks
AIMS RIC;NM-AIST;Mila - Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Google DeepMind(谷歌DeepMind);Saarland University(萨尔兰大学);University of Würzburg(维尔茨堡大学);Makerere University(Makerere大学);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文提出多语言多模态评测基准 mSTEB,覆盖语音与文本上的语言识别、分类、问答和翻译任务,通过评测主流闭源与开源大语言模型,揭示高资源与低资源语言间的显著性能差距,呼吁加大对低资源语言覆盖的投入。
2025-08-27 cs.CL cs.LG cs.SD
Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Department of Linguistics and Translation, City University of Hong Kong(香港城市大学语言学及翻译学系)
本文提出CLiKA框架,从性能、一致性和传导性三个层面评估大语言模型的跨语言知识对齐,发现多语言预训练和指令微调虽有帮助但效果浅层,尤其无法显著提升知识传导性。
2024-04-06 cs.CL
Multilingual Instruction Tuning With Just a Pinch of Multilinguality
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
本研究探究多语言大语言模型指令微调中的多语言数据作用,发现少量多语言样本即可显著提升跨语言指令遵循与泛化能力,为高效构建多语言指令微调模型提供新思路。
2024-05-21 cs.AI cs.CL cs.LG
Massively Multilingual Adversarial Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们报告了在多达100种语言上训练的多语言端到端语音识别模型的适应性。我们的研究结果揭示了目标语言和预训练语言之间的语音,音韵,语言家族,地理位置和正字法维度的相似性的相对重要性。在这种情况下,实验证明了两个额外的预训练目标的有效性,鼓励语言独立的编码器表示:一个上下文无关的音素目标配对的语言对抗分类目标。
2019-04-03 cs.CL cs.LG
Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models
Carnegie Mellon University(卡内基梅隆大学);Google AI(谷歌人工智能研究院)
包含数十种甚至数百种语言的大规模多语言模型对多任务优化提出了巨大挑战。虽然它是一种常见的做法,应用语言无关的过程优化联合多语言任务目标,如何正确地表征和利用其底层的问题结构,以提高优化效率仍然是探索不足。在本文中,我们试图通过损失函数几何的镜头窥视的黑箱多语言优化。我们发现,沿优化轨迹测量的梯度相似性是一个重要的信号,它不仅与语言接近度,而且与整体模型性能密切相关。这种观察有助于我们确定现有的基于梯度的多任务学习方法的关键限制,因此我们得到了一个简单的和可扩展的优化过程,称为梯度疫苗,它鼓励更多的几何对齐的参数更新接近的任务。从经验上看,我们的方法在多语言机器翻译和多语言语言模型的XTREME基准测试任务上获得了显着的模型性能提升。我们的工作揭示了在多语言优化中正确测量和利用语言接近度的重要性,并且对多语言建模之外的多任务学习具有更广泛的影响。
2020-10-12 cs.CL cs.LG
Cross-Linguistic Transfer in Multilingual NLP: The Role of Language Families and Morphology
Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究从语系与形态学视角探究多语言NLP的跨语言迁移,分析语系亲缘度、形态相似性及语言距离对迁移效果的影响,并梳理融入类型学与形态信息的预训练新兴方法。
2025-05-20 cs.CL
Massively Multilingual Neural Machine Translation in the Wild: Findings and Challenges
Google AI(谷歌人工智能)
我们介绍了我们的努力,建立一个通用的神经机器翻译(NMT)系统,能够在任何语言对之间进行翻译。我们通过构建一个单一的大规模多语言NMT模型来处理103种语言,并在超过250亿个示例中进行训练,从而实现了这一目标。我们的系统展示了有效的迁移学习能力,显著提高了低资源语言的翻译质量,同时使高资源语言的翻译质量与竞争性双语基线保持一致。我们对模型构建的各个方面进行了深入分析,这些方面对于在通用NMT中实现质量和实用性至关重要。虽然我们原型的高质量的通用翻译系统,我们广泛的实证分析暴露出需要进一步解决的问题,我们建议未来的研究方向。
2019-07-11 cs.CL cs.LG
Assessment of Massively Multilingual Sentiment Classifiers
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Brand24 AI(Brand24人工智能公司)
在寻找SOTA的过程中,模型的大小和复杂性都在增加。但是,如果这2%的性能提升在生产用例中没有产生影响呢?也许更小、更快的模型带来的好处超过了那些轻微的性能提升。此外,在多语言任务中,跨语言的同样良好的性能比SOTA在单个任务上的结果更重要。我们提供最大的、统一的、多语言的情感分析数据集。我们使用这些数据来评估27种语言的11个模型和80个高质量的情感数据集(从收集的342个原始数据集中),并包括内部注释数据集的结果。我们深入评估多种设置,包括微调基于变压器的模型以测量性能。我们比较了许多方面的结果,解决了语言覆盖率和数据集大小的不平衡。最后,我们从多语言的角度提出了一些处理如此庞大的数据集和模型的最佳实践。
2022-04-11 cs.CL cs.LG
Massively Multilingual Neural Machine Translation
Bar Ilan University(巴伊兰大学);Google AI(谷歌人工智能)
多语言神经机器翻译(NMT)能够训练支持从多个源语言翻译成多个目标语言的单个模型。在本文中,我们推动了多语言NMT在使用的语言数量方面的限制。我们在训练大规模多语言NMT模型方面进行了广泛的实验,在单个模型中将多达102种语言翻译为英语。我们探索了训练这些模型的不同设置,并分析了翻译质量和各种建模决策之间的权衡。我们在公开的TED演讲多语言语料库上报告了结果,我们在其中表明,大规模多语言多对多模型在低资源环境中是有效的,在支持多达59种语言的同时,性能优于以前的最先进技术。我们在一个大规模数据集上进行的实验,该数据集包含102种语言和英语之间的语言,每个方向多达100万个示例,也显示出了令人鼓舞的结果,超过了强大的双语基线,并鼓励未来在大规模多语言NMT方面的工作。
2019-07-02 cs.CL
Hallucinations in Large Multilingual Translation Models
Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);University of Edinburgh(爱丁堡大学);CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央理工-高等电力学院);Unbabel(Unbabel公司)
大规模的多语言机器翻译系统已经展示了在多种语言之间直接翻译的卓越能力,这使得它们对现实世界的应用越来越有吸引力。然而,当部署在野外时,这些模型可能会产生幻觉翻译,这有可能严重破坏用户的信任并引发安全问题。现有的关于幻觉的研究主要集中在高资源语言训练的小型双语模型上,这使得我们在不同翻译场景下对大规模多语言模型中的幻觉的理解存在差距。在这项工作中,我们通过对传统神经机器翻译模型的M2M家族和ChatGPT(一种可以提示翻译的通用大语言模型~(LLM))进行全面分析来填补这一空白。我们的调查涵盖了广泛的条件,跨越了100多个不同资源级别的翻译方向,超越了以英语为中心的语言对。我们提供了关于幻觉的患病率,属性和缓解的关键见解,为更负责任和可靠的机器翻译系统铺平了道路。
2023-03-28 cs.CL
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
Google Research(谷歌研究院)
最近提出的大规模多语言神经机器翻译(NMT)系统已被证明能够在单个模型中将100多种语言翻译成英语。它在低资源语言上的翻译性能的提高暗示了下游任务的潜在跨语言迁移能力。在本文中,我们评估了来自大规模多语言NMT模型编码器的表示在5个下游分类和序列标记任务上的跨语言有效性,这些任务涵盖了50多种语言。我们在不同的跨语言迁移学习场景中与强基线多语言BERT(mBERT)进行比较,并在这5个任务中的4个任务中显示了zero-shot迁移的增益。
2019-09-01 cs.CL
XtremeDistil: Multi-stage Distillation for Massive Multilingual Models
Microsoft Research AI(微软研究院AI)
深度和大型预训练语言模型是各种自然语言处理任务的最新技术。然而,这些模型的巨大尺寸可能会阻碍在实践中使用它们。一些最近和同时进行的工作使用知识蒸馏来压缩这些庞大的模型到浅的。在这项工作中,我们研究知识蒸馏的重点是多语言命名实体识别(NER)。特别是,我们研究了几种蒸馏策略,并提出了一个阶段式的优化方案,利用教师内部表示,是不可知的教师架构,并表明它优于在以前的作品中采用的策略。此外,我们还研究了几个因素的作用,例如未标记数据的数量,注释资源,模型架构和推理延迟等。我们表明,我们的方法可以将类似MBERT的教师模型在参数方面压缩高达35倍,在批处理推理延迟方面压缩51倍,同时保留41种语言的NER的95%的F1分数。
2020-05-05 cs.CL cs.LG
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
Carnegie Mellon University(卡内基梅隆大学);DeepMind;Google Research(谷歌研究院)
机器学习模型应用于NLP的最新进展是由评估各种任务模型的基准驱动的。然而,这些覆盖面广的基准大多仅限于英语,尽管对多语种模式的兴趣越来越大,但仍然缺乏一个能够对各种语言和任务的这种方法进行全面评价的基准。为此,我们引入了多语言编码器XTREME基准的跨语言迁移评估,这是一个多任务基准,用于评估跨40种语言和9个任务的多语言表示的跨语言泛化能力。我们证明,虽然英语测试模型在许多任务上达到了人类的表现,但跨语言迁移模型的表现仍然存在相当大的差距,特别是在句法和句子检索任务上。结果也广泛分布在不同语言之间。我们发布该基准是为了鼓励对跨语言学习方法的研究,这些方法可以在多种具有代表性的语言和任务中转移语言知识。
2020-09-04 cs.CL cs.LG
ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Johns Hopkins University, Center for Language and Speech Processing(约翰霍普金斯大学语言与语音处理中心)
针对现有基准语言覆盖不足且侧重高阶任务的问题,提出ChiKhaPo基准,包含8个子任务,覆盖2700+种语言,评估LLM的词汇理解与生成能力,发现6个SOTA模型表现不佳。
2026-06-12 cs.CL
ByT5 model for massively multilingual grapheme-to-phoneme conversion
University of Michigan(密歇根大学);Radboud University(拉德堡德大学)
在这项研究中,我们通过实现基于ByT5的G2P模型来解决大规模多语言字形到音素转换。我们从各种来源策划了一个G2P数据集,涵盖了大约100种语言,并基于ByT5训练了大规模的多语言G2P模型。我们发现,在多语言G2P方面,ByT5在字节级输入上的表现明显优于基于令牌的mT5模型。与这些语言中的单语模型的成对比较表明,多语言ByT5模型通常通过联合学习多种语言来降低电话出错率。预训练模型可以通过对看不见的语言进行zero-shot预测来进一步有益于低资源G2P,或者提供用于微调的预训练权重,这有助于模型收敛到比随机初始化权重更低的音素出错率。为了促进未来对多语言G2P的研究,我们在https://github.com/lingjzhu/CharsiuG2P上提供我们的代码和预训练的多语言G2P模型。
2022-07-04 cs.CL
Aya 23: Open Weight Releases to Further Multilingual Progress
Cohere For AI(Cohere人工智能研究院);Cohere(Cohere公司)
本文介绍了Aya 23多语言大模型家族,通过将高性能预训练模型与Aya collection结合支持23种语言,在深度与广度权衡上优于Aya 101及Gemma等模型,并发布了8B和35B模型的开放权重。
2024-05-31 cs.CL
MultiBLiMP 1.0: A Massively Multilingual Benchmark of Linguistic Minimal Pairs
University of Groningen(格罗宁根大学);Uppsala University(乌普萨拉大学)
MultiBLiMP 1.0通过101种语言和两种主谓一致类型,包含超过128,000对最小对,评估LLM在多语言能力上的表现,并揭示现有最先进模型在低资源语言建模中的不足。
2026-04-30 cs.CL
nmT5 -- Is parallel data still relevant for pre-training massively multilingual language models?
Google Research(谷歌研究院)
最近,mT5(T5的大规模多语言版本)利用统一的文本到文本格式在各种多语言NLP任务上获得了最先进的结果。在本文中,我们研究了将并行数据纳入mT5预训练的影响。我们发现,在预训练期间以机器翻译为目标的多任务语言建模是提高下游多语言和跨语言任务性能的直接方法。然而,随着模型容量的增加,收益开始减少,这表明并行数据对于更大的模型可能不是必需的。与此同时,即使在更大的模型大小下,我们发现使用并行数据进行预训练仍然可以在有限的标记数据范围内提供好处。
2021-06-03 cs.CL
mR3: Multilingual Rubric-Agnostic Reward Reasoning Models
Stanford University(斯坦福大学);University of Toronto(多伦多大学);Boston University(波士顿大学);Ontario Tech University(安大略技术大学);Monash University Indonesia(墨尔本大学印尼分校);Capital One(Capital One公司)
mR3是一种多语言无评分标准奖励推理模型,通过72种语言训练实现广泛语言覆盖,超越更大模型并验证其在多语言奖励模型基准上的最佳性能。
2026-01-28 cs.AI cs.CL cs.LG
Common Voice: A Massively-Multilingual Speech Corpus
Mozilla(慕智公司);Indiana University(印第安纳大学);Artie, Inc.(Artie公司)
通用语音语料库是用于语音技术研究和开发的多语种转录语音集合。通用语音是为自动语音识别目的而设计的,但在其他领域也很有用(例如语言识别)。为了实现规模和可持续性,“共同之声”项目采用众包方式进行数据汇集和数据验证。最新版本包括29种语言,截至2019年11月,共有38种语言收集数据。迄今已有5万多人参加,收集了2 500小时的音频。据我们所知,这是公共领域中最大的语音识别音频语料库,无论是在小时数还是语言数方面。作为Common Voice的一个示例用例,我们使用Mozilla的DeepSpeech Speech-to-Text工具包进行了语音识别实验。通过从源英语模型应用迁移学习,我们发现12种目标语言(德语、法语、意大利语、土耳其语、加泰罗尼亚语、斯洛文尼亚语、威尔士语、爱尔兰语、布列塔尼语、鞑靼语、楚瓦什语和卡拜尔语)的平均字符出错率改善为5.99 +/- 5.48。对于这些语言中的大多数,这些都是有史以来首次发布的端到端自动语音识别结果。
2020-03-05 cs.CL cs.LG
Crossmodal-3600: A Massively Multilingual Multimodal Evaluation Dataset
Google Research(谷歌研究院)
由于缺乏高质量的评价数据集,大规模多语言图像描述的研究受到严重阻碍。在本文中,我们介绍了Crossmodal-3600数据集(简称XM 3600),这是一个地理上多样化的3600幅图像集,用36种语言的人类生成的参考标题进行注释。这些图像是从世界各地挑选的,覆盖了36种语言的使用地区,并使用字幕进行注释,以实现所有语言风格的一致性,同时避免由于直接翻译而导致的注释伪影。我们将此基准应用于大规模多语言图像描述模型的模型选择,并在使用XM 3600作为自动度量的黄金参考时显示与人类评估的优越相关性结果。
2022-10-10 cs.CL cs.CV
mSLAM: Massively multilingual joint pre-training for speech and text
Google, USA(谷歌(美国))
我们提出了mSLAM,一种多语言语音和语言模型,它通过对多种语言中大量未标记的语音和文本进行联合预训练来学习语音和文本的跨语言跨模态表示。mSLAM将语音的w2 v-BERT预训练与字符级文本的SpanBERT预训练相结合,以及配对语音和转录数据的连接主义时间分类(CTC)损失,以学习能够在共享表示空间中学习和表示语音和文本信号的单个模型。我们在几个下游语音理解任务上评估了mSLAM,发现与仅语音预训练相比,与文本的联合预训练提高了语音翻译,语音意图分类和语音语言识别的质量,同时在多语言ASR上具有竞争力。我们的语音翻译模型演示了zero-shot文本翻译,而无需看到任何文本翻译数据,为表示的跨模态对齐提供了证据。mSLAM还受益于多模态微调,通过在微调过程中直接利用文本翻译数据,进一步提高语音翻译的质量。我们的实证分析强调了大规模多模式预培训带来的机遇和挑战,为未来的研究提出了方向。
2022-02-03 cs.CL cs.LG
Overcoming Catastrophic Forgetting in Massively Multilingual Continual Learning
Bloomberg(彭博);University of Southern California(南加州大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文针对多达51种语言的大规模多语言持续学习中的灾难性遗忘问题,提出学习率调度方法LR ADJUST,在分类和序列标注任务上验证其能在保留新知识的同时减少对旧知识的覆盖,并分析了遗忘动态。
2023-05-25 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
神经机器翻译(NMT)的大规模多语言模型在理论上很有吸引力,但通常表现不佳的双语模型,并且提供较差的zero-shot翻译。在本文中,我们将探讨如何改善它们。我们认为,多语言NMT需要更强的建模能力,以支持不同类型特征的语言对,并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题(即翻译成错误的目标语言)作为低zero-shot性能的主要来源,并提出随机在线回译,以强制翻译看不见的训练语言对。在OPUS-100(一种包含100种语言的新型多语言数据集)上的实验表明,我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距,并将zero-shot性能提高了约10 BLEU,接近传统的基于XML的方法。
2020-04-24 cs.CL
The Massively Multilingual Natural Language Understanding 2022 (MMNLU-22) Workshop and Competition
Amazon(亚马逊)
尽管最近在自然语言理解(NLU)方面取得了进展,但创建多语言NLU系统仍然是一个挑战。由于缺乏可用数据,NLU系统通常限于语言的子集。它们在性能上也经常有很大的差异。我们推出了一个三阶段的方法来解决NLU的局限性,并帮助推动NLU技术达到新的高度。我们发布了一个名为多语言Amazon SLU资源包(SLURP)的52种语言数据集,用于插槽填充、意图分类和虚拟助手评估(MASSIVE),以解决语音助手的并行数据可用性问题。我们组织了大规模多语言NLU 2022挑战赛,以提供一个竞争环境,并推动最先进的模型转换为其他语言。最后,我们举办了第一个大规模多语言NLU研讨会,将这些组件聚集在一起。MMNLU研讨会旨在通过提供一个展示该领域新研究的平台,并连接致力于该研究方向的团队,来推进多语言NLU背后的科学。本文总结了数据集,研讨会和比赛以及每个阶段的发现。
2022-12-13 cs.CL
Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond
University of the Basque Country (UPV/EHU)(巴斯克大学);Facebook AI Research(Facebook人工智能研究院)
我们引入了一个架构来学习93种语言的联合多语言句子表示,这些语言属于30多个不同的家族,用28种不同的脚本编写。我们的系统使用单个BiLSTM编码器,具有所有语言的共享BPE词汇表,该编码器与辅助解码器相结合,并在公开可用的并行语料库上进行训练。这使我们能够仅使用英文注释数据在生成的嵌入之上学习分类器,并将其转换为93种语言中的任何一种而无需任何修改。在跨语言自然语言推理(XNLI数据集)、跨语言文档分类(MLDoc数据集)和并行语料挖掘(BUCC数据集)上的实验表明了该方法的有效性。我们还介绍了一个新的测试集对齐的句子在112种语言,并表明,我们的句子嵌入获得强大的结果,即使在多语言的相似性搜索低资源的语言。我们的实现、预训练的编码器和多语言测试集可在https://github.com/facebookresearch/LASER上获得
2019-09-25 cs.AI cs.CL cs.LG
Massively Multilingual Word Embeddings
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
我们介绍了新的方法来估计和评估嵌入的话在五十多种语言在一个单一的共享嵌入空间。我们的估计方法,multiCluster和multiCCA,使用字典和单语数据;它们不需要并行数据。我们的新的评估方法,multiQVEC-CCA,相关性比以前的两个下游任务(文本分类和解析)。我们还描述了一个门户网站的评估,这将有助于在这一领域的进一步研究,随着我们所有的方法的开源版本。
2016-05-21 cs.CL
mT5: A massively multilingual pre-trained text-to-text transformer
Google Research(谷歌研究院)
最近的“Text-to-Text Transfer Transformer”(T5)利用统一的文本到文本格式和规模,在各种英语NLP任务上获得了最先进的结果。在本文中,我们介绍了mT5,这是T5的多语言变体,它在一个新的基于Common Crawl的数据集上进行了预训练,涵盖了101种语言。我们详细介绍了mT5的设计和修改后的训练,并在许多多语言基准测试中展示了其最先进的性能。我们还描述了一种简单的技术,以防止“意外翻译”的zero-shot设置,其中生成模型选择(部分)翻译成错误的语言的预测。在这项工作中使用的所有代码和模型检查点都是公开的。
2021-03-11 cs.CL
Utilizing Multilingual Encoders to Improve Large Language Models for Low-Resource Languages
School of Mathematical and Computational Sciences, Massey University, Auckland, New Zealand(数学与计算科学学院,梅西大学,奥克兰,新西兰);Department of Computer Science, The Open University, Milton Keynes, United Kingdom(计算机科学系,开放大学,米利顿凯斯,英国)
本文提出一种融合多语言编码器所有中间层的新架构,通过全局Softmax加权和Transformer Softmax学习词元权重,仅用英语数据训练即显著提升低资源语言上的LLM性能。
2025-11-08 cs.CL
One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers
针对多语言大模型预训练的资源约束与新语言适配难题,提出用覆盖更多语言的通用分词器提升语言可塑性,实验证明其能显著提升新语言适配胜率且对原有语言性能影响极小。
2025-06-12 cs.CL
On the Calibration of Massively Multilingual Language Models
Microsoft Research(微软研究院);Microsoft R&D(微软研发部门)
大规模多语言语言模型(MMLM)由于其在跨语言迁移中令人惊讶的有效性而最近受到欢迎。虽然在评估这些模型在各种任务和语言上的表现方面做了很多工作,但很少有人关注这些模型在预测的置信度方面的校准程度。我们首先调查的校准MMLM在zero-shot设置和观察一个明确的情况下,在低资源的语言或那些是从英语的类型学不同的误校准。接下来,我们凭经验表明,校准方法,如温度缩放和标签平滑做得相当不错,以改善校准在zero-shot的情况。我们还发现,语言中的Few-Shot示例可以进一步帮助减少校准误差,通常是大幅减少。总的来说,我们的工作有助于建立更可靠的多语言模型,通过强调他们的错误校准问题,了解什么语言和模型的具体因素会影响它,并指出改进的策略。
2022-10-21 cs.CL
Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
University of Trento(特伦托大学);NAVER LABS Europe(NAVER欧洲实验室);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本文构建涵盖12种语言的多模态多任务数据集 Speech-MASSIVE,支持 SLU 基线评测及语音转写、语言识别、语音翻译等任务。
2024-08-07 cs.CL cs.SD eess.AS
Multilingual in Name Only? Cultural and Linguistic Weaknesses of LLMs in Urdu
University of Konstanz(康斯坦茨大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Monash University Malaysia(莫纳什大学马来西亚校区);Dalhousie University(达尔豪斯大学)
本研究通过生成93个乌尔都语故事并人工标注错误,发现多语言LLMs在低资源语言中存在基本语法语义错误、缺乏连贯性及文化浅薄等问题,且少样本提示无法解决文化错误。
2026-09-11 cs.AI cs.CL cs.LG
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University(天津大学)
在跨所有语言完全共享参数的多语言神经机器翻译模型中,通常使用人工语言令牌来引导翻译成期望的目标语言。然而,最近的研究表明,前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向,特别是在zero-shot翻译中。为了缓解这个问题,我们提出了两种方法,语言嵌入体现和语言感知的多头注意力,学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点,目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部,以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明,语言感知的多头注意力对监督翻译和zero-shot翻译都有好处,并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明,通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
An Empirical Study on the Robustness of Massively Multilingual Neural Machine Translation
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本研究针对印尼语-汉语翻译的鲁棒性展开实证研究,构建了对应评估基准数据集,借助不同规模NLLB-200模型测试并结合自动与人工评估,揭示了噪声与错误的关联及评估指标的关系,公开了数据集。
2024-05-13 cs.CL
Attention Sinks in Massively Multilingual Neural Machine Translation:Discovery, Analysis, and Mitigation
Harvard University(哈佛大学)
研究发现神经机器翻译中跨注意力模式存在注意力 sinks,非内容token占据大部分注意力质量,影响相似性评估,提出内容过滤方法以恢复语言信号。
2026-05-02 cs.CL cs.LG
Massively Multilingual Transfer for NER
The University of Melbourne(墨尔本大学)
在跨语言迁移中,将一种或多种源语言上的NLP模型应用于低资源目标语言。虽然大多数以前的工作使用了一个单一的源模型或一些精心挑选的模型,在这里,我们考虑一个“大规模”的设置与许多这样的模型。这种设置引起了传输不良的问题,特别是从遥远的语言。我们提出了两种技术调制的转移,分别适用于zero-shot或少样本学习。评估命名实体识别,我们表明,我们的技术是更有效的强基线,包括标准的集成,我们的无监督的方法竞争对手的甲骨文选择的单一最好的个人模型。
2019-06-05 cs.CL
ParCourE: A Parallel Corpus Explorer for a Massively Multilingual Corpus
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Research Center Deutscher Sprachatlas, Philipps University Marburg(马尔堡菲利普大学德国语言地图集研究中心)
全球有7000多种语言,多语言自然语言处理(NLP)无论从学术还是商业角度来看都是必不可少的。研究语言的类型学属性是多语言NLP进步的基础。例如,评估语言相似性以实现有效的迁移学习,将归纳偏差注入机器学习模型或创建词典和变形表等资源。我们提供ParCourE,一个在线工具,允许浏览一个词对齐的平行语料库,涵盖1334种语言。我们提供的证据表明,这是有用的类型学研究。ParCourE可以为任何平行语料库建立,因此可以用于对其他语料库的类型学研究以及探索它们的质量和属性。
2021-07-15 cs.CL
Added Toxicity Mitigation at Inference Time for Multimodal and Massively Multilingual Translation
FAIR, Meta(Meta AI 基础人工智能研究实验室)
提出MinTox流程,在推理时通过多模态毒性检测分类器识别并缓解翻译新增毒性,应用于SEAMLESSM4T系统,可过滤25%-95%毒性且保持翻译质量。
2023-11-11 cs.CL
CoVoST 2 and Massively Multilingual Speech-to-Text Translation
Facebook AI
语音翻译最近成为一个越来越受欢迎的研究课题,部分原因是基准数据集的发展。然而,目前的数据集涵盖的语言数量有限。为了促进大规模多语言语音翻译和低资源语言对语音翻译的研究,我们发布了CoVoST 2,这是一个大规模多语言语音翻译语料库,涵盖了从21种语言到英语和从英语到15种语言的翻译。这是迄今为止从总量和语言覆盖范围来看最大的开放数据集。数据健全性检查提供有关数据质量的证据,这些数据在CC0许可证下发布。我们还提供广泛的语音识别、双语和多语言机器翻译以及语音翻译基线,并提供开源实现。
2020-10-24 cs.CL cs.SD eess.AS
ParaNames: A Massively Multilingual Entity Name Corpus
Michtom School of Computer Science(米赫托姆计算机学院);Brandeis University(布兰迪斯大学)
我们介绍了ParaNames,一个多语言并行名称资源,由跨越400种语言的1.18亿个名称组成。提供了1360万个实体的名称,这些实体被映射到标准化的实体类型(PER/ORG)。使用维基数据作为源,我们创建了迄今为止最大的此类资源。我们描述了我们的方法来过滤和标准化的数据,以提供最好的质量。ParaNames对于多语言处理很有用,既可以定义名称翻译/音译任务,也可以作为命名实体识别和链接等任务的补充数据。我们通过训练一个多语言模型来演示Paranames的应用,该模型用于将规范名称翻译成英语和从英语翻译。我们的资源是根据知识共享许可证(CC BY 4.0)在https://github.com/bltlab/paranames上发布的。
2022-07-12 cs.AI cs.CL
Evaluating Byte and Wordpiece Level Models for Massively Multilingual Semantic Parsing
Google Research(谷歌研究院)
无标记的方法已经成功地应用于一系列单词和跨度水平的任务。在这项工作中,我们比较了字节级(ByT5)和基于字段(mT5)的序列到序列模型的51种语言的大规模多语言语义解析数据集。我们检查多个实验设置:(i)zero-shot,(ii)全金数据和(iii)合成数据的zero-shot。通过利用机器翻译示例的最先进的标签投影方法,我们能够将精确匹配精度的差距缩小到仅5个点,相对于所有语言的黄金数据训练的模型。此外,我们还提供了关于ByT5的跨语言迁移的见解,并展示了该模型在所有参数大小下与mT5的比较。
2022-12-14 cs.CL
Pseudo-Labeling for Massively Multilingual Speech Recognition
McGill University(麦吉尔大学);Mila(米拉人工智能研究院);Facebook AI Research(脸书人工智能研究院);Apple(苹果公司)
通过伪标记的半监督学习已经成为最先进的单语语音识别系统的主要部分。在这项工作中,我们扩展伪标签的大规模多语言语音识别与60种语言。我们提出了一个简单的伪标签配方,即使在低资源语言中也能很好地工作:训练一个有监督的多语言模型,用目标语言的半监督学习对其进行微调,为该语言生成伪标签,并使用所有语言的伪标签训练最终模型,无论是从头开始还是通过微调。在标记的Common Voice和未标记的VoxPopuli数据集上的实验表明,我们的配方可以产生一个对许多语言都具有更好性能的模型,并且可以很好地转移到LibriSpeech。
2022-03-08 cs.CL cs.SD eess.AS
Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation
Google Research(谷歌研究院)
神经机器翻译(NMT)在过去几年中发展迅速,现代模型能够仅使用单语文本数据实现相对较高的质量,这种方法被称为无监督机器翻译(UNMT)。然而,这些模型仍然在各种各样的方面挣扎,包括对人类来说最简单的翻译方面-例如,正确翻译普通名词。这项工作探索了一种廉价而丰富的资源来解决这个问题:双语词汇。我们在真实世界的设置中测试了双语词典的功效,在网络抓取文本上训练了200种语言的翻译模型。我们提出了几个发现:(1)使用词汇数据增强,我们证明了无监督翻译的可观性能增益;(2)我们比较了几个数据增强家族,证明它们产生了类似的改进,并且可以组合以获得更大的改进;(3)我们证明了精心策划的词汇相对于更大,更嘈杂的词汇的重要性,特别是对于更大的模型;(4)比较了多语种词典数据和人工翻译的平行数据的有效性。最后,我们开源了GATITOS(可在https://github.com/google-research/url-nlp/tree/main/gatitos获得),这是一个新的多语言词典,适用于26种低资源语言,在我们的实验中,它在所有词典中表现最好。
2023-03-27 cs.AI cs.CL cs.LG
Massively Multilingual Corpus of Sentiment Datasets and Multi-faceted Sentiment Classification Benchmark
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Brand24 AI(Brand24人工智能公司);Poznań University of Technology(波兹南理工大学)
本研究构建了覆盖27种语言、含79个高质量数据集的大规模多语言情感分析语料库,并推出汇总数百组实验的多维度情感分类基准,为多语言情感模型训练与评估提供支撑。
2023-06-13 cs.AI cs.CL
MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
研究多语言ASR模型面临的多语言诅咒问题,提出MoLGE模型,基于S3Ms为相似语言簇分配专家模块并集成LoRA策略,研究语言分组策略影响,实验表明该模型以最少参数提升性能,为扩展语言覆盖提供有效途径。
2026-07-28 cs.CL cs.SD
EMS: Efficient and Effective Massively Multilingual Sentence Embedding Learning
Kyoto University(京都大学)
本文提出 EMS 模型,通过跨语言 token 级重构和句子级对比学习,在显著减少平行数据和 GPU 资源下高效训练大规模多语言句子嵌入,并在多项跨语言任务中取得优异表现。
2024-05-30 cs.CL