Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Centre for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院)
本文研究多语言预训练模型的离群维度与各向异性,通过移除离群维、聚类增强和 ZCA 白化等无微调嵌入变换,评估其对跨语言句子相似度的改进。
2023-06-07 cs.CL
How Much Noise Can BERT Handle? Insights from Multilingual Sentence Difficulty Detection
Centre for Translation, Localisation and Interpreting Studies(翻译、本地化与诠释研究中心);School of Languages, Cultures and Societies(语言、文化和社会学院)
研究探讨了BERT在噪声下的鲁棒性,通过多语言句子难度检测验证了去噪策略的效果,发现GMM在小数据集上效果显著,而大语料库中预训练模型的正则化更具优势。
2026-03-07 cs.CL
MultiSocial: Multilingual Benchmark of Machine-Generated Text Detection of Social-Media Texts
Kempelen Institute of Intelligent Technologies(克姆佩尔智能技术研究所)
本文构建覆盖22种语言、5个平台且含472,097条文本的MultiSocial基准,评估零样本与微调方法检测社交媒体LLM生成文本的能力。
2025-07-25 cs.AI cs.CL
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室);Facebook AI(脸书人工智能);Naver Labs Europe(Naver欧洲实验室)
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数,并在层之间注入轻量级模块,从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时,本文提出了多语言语音翻译(ST)适配器的全面分析。从不同的预训练模型开始(在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART(mBART)),我们表明适配器可用于:(a)以参数方面的低额外成本将ST有效地专门化为特定语言对,以及(b)从自动语音识别(ASR)任务和mBART预训练模型转换为多语言ST任务。实验表明,适配器调整提供了与完全微调相竞争的结果,同时参数效率更高。
2021-07-12 cs.CL
FinEst BERT and CroSloEngual BERT: less is more in multilingual models
University of Ljubljana(卢布尔雅那大学)
大型预训练的掩蔽语言模型已经成为许多NLP问题的最先进的解决方案。不过,这项研究主要集中在英语语言上。虽然存在大量多语言模型,但研究表明,单语言模型产生的结果要好得多。我们训练了两个三语类BERT模型,一个用于芬兰语、爱沙尼亚语和英语,另一个用于克罗地亚语、斯洛文尼亚语和英语。我们使用多语言BERT和XLM-R作为基线,评估了它们在几个下游任务,NER,POS标记和依存句法分析上的性能。新创建的FinEst BERT和CroSloEngual BERT在大多数单语和跨语言情况下改善了所有任务的结果
2020-06-14 cs.CL
Multilingual Neural Machine Translation with Knowledge Distillation
Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学);Peking University(北京大学)
多语种机器翻译是一种用单一模型翻译多种语言的翻译技术,由于其离线训练和在线服务的高效性而备受关注。然而,由于语言多样性和模型容量的限制,传统的多语言翻译通常会产生较低的准确性,与使用每个语言对的单独模型的对应物相比。在本文中,我们提出了一种基于蒸馏的方法来提高多语言机器翻译的准确性。具体而言,首先训练个体模型并将其视为教师,然后通过知识蒸馏训练多语言模型以同时拟合训练数据并匹配个体模型的输出。在IWITOWN、WMT和Ted talk翻译数据集上的实验证明了该方法的有效性。特别是,我们证明了一个模型足以处理多种语言(在我们的实验中多达44种语言),其准确性与单个模型相当甚至更好。
2019-04-30 cs.CL
Title Redacted
Yonsei University(延世大学);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
ELARSpeech是含675种代表性不足语言的30202小时多语种语音数据集,可支持ASR、TTS扩展至这类语言,还公开了数据集、模型及构建流程,为相关研究提供资源与测试平台。
2026-10-21 cs.CL
Multilingual Neural Machine Translation with Task-Specific Attention
IBM Research AI(IBM研究院人工智能部门)
多语言机器翻译解决了在多个源语言和目标语言之间进行翻译的任务。我们提出了特定任务的注意力模型,这是一种简单但有效的技术,可以提高序列到序列的神经多语言翻译的质量。我们的方法旨在尽可能多地保留NMT模型的参数共享泛化,同时仍然允许将注意力模型针对特定语言对或任务进行语言特定的专业化。我们对四种语言的Europarl语料库的实验表明,使用特定于目标的注意力模型提供一致的收益,在翻译质量的所有可能的翻译方向,相比,所有参数共享的模型。我们观察到改进的翻译质量,即使在(极端)低资源的zero-shot翻译方向的模型从来没有看到明确配对的并行数据。
2018-06-08 cs.CL
Exploring Representational Disparities Between Multilingual and Bilingual Translation Models
Center for Language and Speech Processing(语言与语音处理中心);Human Language Technology Center of Excellence(卓越人类语言技术中心)
本文通过内在维度和IsoScore分析双语与多语言翻译模型的表征几何差异,发现多语言解码器表征各向同性更低且占用维度更少,其各向异性源于建模特定语言信息,进而限制了表征容量。
2024-03-26 cs.CL
Causal Analysis of Syntactic Agreement Neurons in Multilingual Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
结构探测工作已经在预训练的语言模型中发现了潜在句法信息的证据。然而,这种分析主要集中在单语模型上,而多语言模型的分析则采用了相关方法,这些方法受到探测任务选择的干扰。在这项研究中,我们因果地探测多语言语言模型(XGLM和多语言BERT)以及跨各种语言的基于单语BERT的模型;我们通过对神经元激活进行反事实扰动并观察对模型的主谓一致概率的影响来做到这一点。我们观察在模型中的位置以及在何种程度上句法一致性在每种语言中被编码。我们在自回归多语言语言模型中发现了显著的神经元重叠,但在掩蔽的语言模型中没有。我们还发现了两种不同的逐层效应模式和两组不同的神经元用于句法一致性,这取决于主语和动词是否被其他标记分开。最后,我们发现语言模型的行为分析可能低估了掩蔽语言模型对句法信息的敏感程度。
2022-10-25 cs.CL
Multilingual and Cross-Lingual Intent Detection from Spoken Data
PolyAI Limited(PolyAI有限公司)
我们提出了一个系统的研究,多语言和跨语言的意图检测口语数据。该研究利用了这项工作中提出的一种新资源,称为MInDS-14,这是使用语音数据进行意图检测任务的第一个训练和评估资源。它涵盖了从电子银行领域的商业系统中提取的14个意图,与14种不同语言的口语示例相关联。我们的关键结果表明,将机器翻译模型与最先进的多语言句子编码器(例如,LaBSE)可以在MInDS-14中涵盖的大多数目标语言中产生强大的意图检测器,并提供跨不同轴的比较分析:例如,zero-shot与少样本学习、翻译方向和语音识别的影响。我们认为这项工作是朝着更具包容性的开发和评估来自口语数据的多语言意图检测器迈出的重要一步,与以前的工作相比,它涉及的语言范围要广得多。
2021-04-17 cs.CL
Evaluating Dedicated Monolingual and Joint Multilingual Causal Models for Dravidian Languages
本文训练5个GPT-2架构模型对比达罗毗荼语的单语与多语模型,发现单语模型在情感分类等任务上优于mGPT,分词器效率也更高。
2026-08-11 cs.CL
Balancing Training for Multilingual Neural Machine Translation
Language Technology Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
在训练可以翻译成多种语言/从多种语言翻译的多语言机器翻译(MT)模型时,我们面临着不平衡的训练集:某些语言的训练数据比其他语言多得多。标准的做法是对资源较少的语言进行上采样以增加表示,上采样的程度对整体性能有很大的影响。在本文中,我们提出了一种方法,而不是自动学习如何通过数据评分器的权重训练数据,优化,以最大限度地提高所有测试语言的性能。在一对多和多对一MT设置下的两组语言上的实验表明,我们的方法不仅在平均性能方面始终优于启发式基线,而且还提供了对优化语言性能的灵活控制。
2020-09-05 cs.CL
Adaptive Sparse Transformer for Multilingual Translation
Meta AI
多语言机器翻译由于其支持语言间的知识转移以及与众多双语模型相比的低训练和部署成本,近年来引起了人们的广泛关注。多语言模型的一个已知挑战是负面语言干扰。为了提高翻译质量,更深和更广泛的体系结构被应用到多语言建模,以获得更大的模型容量,这同时也增加了推理成本。近年来的研究指出,语言之间的共同参数是干扰的原因,但它们也可能促进正迁移。基于这些见解,我们提出了一种自适应和稀疏的多语言建模架构,并训练模型学习共享和语言特定的参数,以提高正迁移和减轻干扰。稀疏结构只激活保持推理效率的子网络,自适应设计根据输入语言选择不同的子网络。我们的模型在多个基准测试中优于强基线。在使用$100$语言的大规模OPUS数据集上,与标准Transformer相比,在不增加推理成本的情况下,分别实现了一对多、多对一和zero-shot任务下的$+2.1$、$+1.3$和$+6.2$ BLEU改进。
2022-01-22 cs.CL
A General-Purpose Multilingual Document Encoder
LMU Munich(慕尼黑大学);University of Würzburg(维尔茨堡大学)
提出层次化多语言文档编码器HMDE,利用维基百科和跨语言对比学习预训练,在跨语言文档分类与检索任务上优于基线,并泛化至未见语言。
2023-05-11 cs.CL
Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation
Seoul National University(首尔大学);Microsoft Research Asia(微软亚洲研究院)
针对多语言机器翻译中的性别偏见,提出目标语言无关的性别感知对比学习(GACL),通过微调预训练模型提升性别准确性且不损害翻译性能,并验证其跨语言迁移性和模型规模适用性。
2023-11-10 cs.CL
On the Calibration of Massively Multilingual Language Models
Microsoft Research(微软研究院);Microsoft R&D(微软研发部门)
大规模多语言语言模型(MMLM)由于其在跨语言迁移中令人惊讶的有效性而最近受到欢迎。虽然在评估这些模型在各种任务和语言上的表现方面做了很多工作,但很少有人关注这些模型在预测的置信度方面的校准程度。我们首先调查的校准MMLM在zero-shot设置和观察一个明确的情况下,在低资源的语言或那些是从英语的类型学不同的误校准。接下来,我们凭经验表明,校准方法,如温度缩放和标签平滑做得相当不错,以改善校准在zero-shot的情况。我们还发现,语言中的Few-Shot示例可以进一步帮助减少校准误差,通常是大幅减少。总的来说,我们的工作有助于建立更可靠的多语言模型,通过强调他们的错误校准问题,了解什么语言和模型的具体因素会影响它,并指出改进的策略。
2022-10-21 cs.CL
Beyond Literal Token Overlap: Token Alignability for Multilinguality
Centre for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Faculty of Mathematics and Physics, Charles University(查理大学数学与物理学院);Technical University of Munich(慕尼黑工业大学)
针对以往标记重叠指标对不同文字语言对解释力有限的问题,本文提出子词标记可对齐性指标,在不同文字场景下更好预测多语言性,可用于识别跨语言迁移最佳语言对并指导多语言标记器构建。
2025-02-10 cs.CL
Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);NTT Communication Science Laboratories(NTT通信科学实验室)
我们提出了一种无监督的方法来获得跨语言嵌入,而无需任何并行数据或预训练的词嵌入。我们称之为多语言神经语言模型的模型以多种语言的句子作为输入。该模型包含双向LSTM,作为前向和后向语言模型,这些网络在所有语言之间共享。其他参数,即词嵌入和隐藏状态与输出之间的线性变换,是特定于每种语言的。共享的LSTM可以捕获所有语言之间的共同句子结构。因此,每种语言的词嵌入被映射到公共潜在空间中,使得可以跨多种语言测量词的相似性。我们评估跨语言的词嵌入的词对齐任务的质量。我们的实验表明,我们的模型可以获得比现有的无监督模型更高质量的跨语言嵌入时,只有少量的单语数据(即50k句子),或单语数据的域是不同的语言。
2018-09-07 cs.AI cs.CL cs.LG
Importance-based Neuron Allocation for Multilingual Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Language and Culture University(北京语言大学)
基于单一模型的多语言神经机器翻译因其能够处理多种语言的能力而受到广泛关注。然而,目前的多语种翻译范式往往使模型倾向于保留通用知识,而忽略了语言特有的知识。以往的一些工作试图通过在模型中添加各种语言特定的模块来解决这个问题,但它们存在参数爆炸问题,需要专门的手工设计。为了解决这些问题,我们建议根据模型神经元在不同语言中的重要性将其分为通用和特定语言部分。一般部分负责保存一般知识并参与所有语言的翻译,而语言特定部分负责保存语言特定知识并参与某些特定语言的翻译。实验结果表明,该方法具有较好的通用性和有效性.
2021-07-14 cs.CL
False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models
Stanford University(斯坦福大学)
本研究通过受控实验探究多语言模型中token重叠对跨语言迁移的影响,发现重叠(尤其是语义相似的重叠)能增强嵌入空间的跨语言语义关系并提升XNLI和XQuAD上的迁移性能,表明共享词汇是有益的设计选择。
2025-09-24 cs.CL
The Roots of Performance Disparity in Multilingual Language Models: Intrinsic Modeling Difficulty or Design Choices?
Stanford University(斯坦福大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Amsterdam(阿姆斯特丹大学)
本文探讨多语言模型性能差异的根源,分析语言差异是否源于建模选择而非语言固有复杂性,并提出改进设计以实现更平衡的多语言模型。
2026-04-10 cs.CL
Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models
MIT(麻省理工学院)
该研究针对三种低资源语言开发句法评估测试,评估五款多语言Transformer语言模型的句法泛化能力,揭示了不同任务的难度差异及部分公开模型的性能问题。
2024-12-12 cs.CL
Fine-tuning multilingual language models in Twitter/X sentiment analysis: a study on Eastern-European V4 languages
Silesian University in Opava(奥帕瓦西里西亚大学);University of Ostrava(俄斯特拉发大学)
本文针对V4语言的Twitter/X ABSA任务微调BERT、BERTweet、Llama等模型,比较多种设置,证明小模型可用少量训练数据达到SOTA并找出最佳组合。
2024-08-04 cs.AI cs.CL
Investigating Multilingual NMT Representations at Scale
Google AI(谷歌人工智能)
多语言神经机器翻译(NMT)模型在迁移学习环境中取得了巨大的经验成功。然而,人们对这些黑箱表示的理解很少,它们的传输模式仍然难以捉摸。在这项工作中,我们试图使用奇异值典型相关分析(SVCCA)来理解大规模多语言NMT表示(103种语言),SVCCA是一种表示相似性框架,允许我们比较不同语言,层和模型的表示。我们的分析验证了几个经验结果和长期的直觉,并揭示了关于表征如何在多语言翻译模型中演变的新观察。我们从分析中得出三个主要结论,并对跨语言迁移学习产生影响:(ii)由编码器学习的源语言的表示依赖于目标语言,反之亦然,以及(iii)当对任意语言对进行微调时,高资源和/或语言相似语言的表示更鲁棒,这对于确定在零或Few-Shot设置中可以预期多少跨语言迁移是关键的。我们进一步将我们的发现与多语言NMT和迁移学习中现有的经验观察相联系。
2019-09-11 cs.CL cs.LG
Multilingual Culture-Independent Word Analogy Datasets
University of Ljubljana(卢布尔雅那大学);University of Helsinki(赫尔辛基大学);University of Tartu(塔尔图大学);University of Latvia(拉脱维亚大学)
在文本处理中,深度神经网络大多使用词嵌入作为输入。嵌入必须确保词之间的关系通过高维数字空间中的距离来反映。为了比较不同文本嵌入的质量,我们通常使用基准数据集。我们提出了一个这样的数据集收集的单词类比任务在九种语言:克罗地亚语,英语,爱沙尼亚语,芬兰语,拉脱维亚语,立陶宛语,俄语,斯洛文尼亚语和瑞典语。我们重新设计了最初的单语类比任务,使其更具文化独立性,并为所涉及的语言构建了跨语言类比数据集。我们使用fastText嵌入来呈现所创建数据集的基本统计数据及其初始评估。
2020-03-27 cs.CL
Zero-Shot Paraphrase Generation with Multilingual Language Models
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huawei Consumer Business Group(华为消费者业务集团)
由于高质量的释义语料库规模有限,利用多语言平行文本自动生成释义受到了广泛关注。往返翻译,也称为旋转方法,是实现这一目标的典型方法。然而,我们注意到旋转过程涉及多个机器翻译模型,并且在两步翻译期间可能会引起语义漂移。受基于transformer语言模型的启发,本文提出了一种简单统一的释义模型,该模型纯粹基于多语言并行数据进行训练,能够一步完成zero-shot释义生成。与主元方法相比,该模型生成的释义在语义上更接近于输入句子。此外,由于我们的模型与GPT共享相同的架构(Radford等人,2018),我们能够在大规模非平行语料库上预训练模型,这进一步提高了输出句子的流畅性。此外,我们引入了去噪自动编码器(DAE)的机制,以提高模型的多样性和鲁棒性。实验结果表明,我们的模型优于旋转方法的相关性,多样性,流畅性和效率。
2019-11-09 cs.CL
Bootstrapping Multilingual Intent Models via Machine Translation for Dialog Automation
Interactions, LLC;Murray Hill, NJ, USA(美国新泽西州默里希尔(注:此处为地址,非机构,按要求不应提取。正确机构仅为Interactions, LLC))
随着基于聊天的对话系统在消费者和企业应用中的复兴,在开发数据驱动和基于规则的自然语言模型以理解人类意图方面取得了很大成功。由于这些模型需要大量的数据和领域内的知识,因此将等效服务扩展到新市场会受到语言障碍的干扰,这些语言障碍阻碍了对话自动化。本文提出了一个用户研究,以评估实用的开箱即用的机器翻译技术(1)快速引导多语言口语对话系统和(2)使现有的人类分析师理解外语话语。我们还评估了机器翻译在人工辅助环境中的实用性,其中一部分流量由分析师处理。在英语->西班牙语的实验中,我们观察到对话自动化的高潜力,以及人类分析师以高精度处理外语话语的潜力。
2018-05-11 cs.CL
From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers
University of Mannheim(曼海姆大学);University of Oslo(奥斯陆大学);University of Cambridge(剑桥大学)
使用语言建模目标(例如,mBERT,XLM-R)已经成为NLP中zero-shot跨语言迁移的事实上的默认迁移范例,提供了无与伦比的迁移性能。然而,目前的下游评估,主要是验证其有效性的转移设置涉及语言与足够数量的预训练数据,并与词汇和类型学接近的语言。在这项工作中,我们分析了它们的局限性,并表明,跨语言迁移通过大规模的多语言Transformers,很像通过跨语言的词嵌入传输,是大大降低了资源贫乏的情况下,为遥远的语言。我们的实验,包括三个较低层次的任务(POS标记,依存句法分析,NER),以及两个高层次的语义任务(NLI,QA),经验相关的迁移性能与源语言和目标语言之间的语言相似性,但也与预训练语料库的大小目标语言。我们还证明了廉价的Few-Shot转移(即,在对源代码进行微调之后,对一些目标语言实例进行微调)。这表明,应投入更多的研究努力,以超越限制性的zero-shot条件。
2020-05-01 cs.CL
XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
Carnegie Mellon University(卡内基梅隆大学);DeepMind;Google Research(谷歌研究院)
机器学习模型应用于NLP的最新进展是由评估各种任务模型的基准驱动的。然而,这些覆盖面广的基准大多仅限于英语,尽管对多语种模式的兴趣越来越大,但仍然缺乏一个能够对各种语言和任务的这种方法进行全面评价的基准。为此,我们引入了多语言编码器XTREME基准的跨语言迁移评估,这是一个多任务基准,用于评估跨40种语言和9个任务的多语言表示的跨语言泛化能力。我们证明,虽然英语测试模型在许多任务上达到了人类的表现,但跨语言迁移模型的表现仍然存在相当大的差距,特别是在句法和句子检索任务上。结果也广泛分布在不同语言之间。我们发布该基准是为了鼓励对跨语言学习方法的研究,这些方法可以在多种具有代表性的语言和任务中转移语言知识。
2020-09-04 cs.CL cs.LG
Filipino Benchmarks for Measuring Sexist and Homophobic Bias in Multilingual Language Models from Southeast Asia
School of Computer Science, University of Birmingham(英国伯明翰大学计算机科学学院);Department of Information Systems and Computer Science, Ateneo de Manila University(马尼拉亚托大学信息系统与计算机科学系)
研究引入 Filipino CrowS-Pairs 和 Filipino WinoQueer 基准,评估处理菲律宾语的多语言模型中的性别与反酷儿偏见,发现模型偏见程度受预训练数据量影响,为未来偏见分析奠定基础。
2024-12-11 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research(微软研究院);The University of Hong Kong(香港大学);Shanghai University of Finance and Economics(上海财经大学);Texas A&M University(德克萨斯A&M大学)
以前的工作主要集中在使用多语言预训练编码器(MPE)改善NLU任务的跨语言迁移,或者使用BERT提高监督机器翻译的性能。然而,MPE是否有助于促进NMT模型的跨语言可移植性,这一点还有待进一步研究。本文重点研究了NMT中的零镜头(zero-shot)跨语言迁移任务。在该任务中,NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练,然后直接在zero-shot语言对上进行测试。我们提出了SixT,这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE,并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法,SixT的性能明显优于mBART,mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型,在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外,与CRISS和m2m-100两个强大的多语言NMT基线相比,我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据,实现了更好的性能。
2021-11-05 cs.CL
A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
我们使用的多语言OSCAR语料库,通过语言分类,过滤和清洗,从公共爬行提取,训练单语上下文词嵌入(ELMo)的五个中间资源语言。然后,我们比较了基于OSCAR和基于维基百科的ELMo嵌入这些语言的词性标记和解析任务的性能。我们发现,尽管在基于Common-Crawl的OSCAR数据中存在噪声,但在OSCAR上训练的嵌入比在维基百科上训练的单语嵌入表现得更好。它们实际上等于或改进了所有五种语言的标记和解析的当前技术水平。特别是,它们还改进了基于多语言维基百科的上下文嵌入(多语言BERT),这几乎总是构成了以前的最新技术水平,从而表明更大,更多样化的语料库的好处超过了多语言嵌入架构的跨语言好处。
2020-06-18 cs.CL
The Tatoeba Translation Challenge -- Realistic Data Sets for Low Resource and Multilingual MT
University of Helsinki(赫尔辛基大学)
本文描述了一个新的机器翻译基准的开发,该基准为涵盖500多种语言的数千种语言对提供训练和测试数据,并提供工具,用于从该集合创建最先进的翻译模型。其主要目标是启动开放翻译工具和模型的开发,以更广泛地覆盖世界语言。使用该软件包,可以在现实的低资源场景下工作,避免在演示zero-shot或少样本学习时常见的人为减少设置。这是第一次,该软件包提供了一个全面的收集不同的数据集在数百种语言与系统的语言和脚本注释和数据分割,以扩大现有的基准覆盖面狭窄。在发布数据的同时,我们还为个别语言对和选定的语言组提供了越来越多的预训练基线模型。
2020-10-13 cs.CL
IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators
Technische Universität Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);CAIDAS, University of Würzburg(维尔茨堡大学CAIDAS机构)
针对现有代码语言模型多语言能力研究不足、仅依赖源代码预训练的问题,本研究构建含近400万样本的SLTrans并行数据集,利用编译器中间表示对不同规模基础模型进行持续训练,得到的IRCoder在多类代码任务上实现显著一致的性能提升。
2024-04-15 cs.AI cs.CL cs.PL
Representativeness as a Forgotten Lesson for Multilingual and Code-switched Data Collection and Preparation
Universiteit Gent(根特大学);Microsoft Research India(微软研究院印度);Brown University(布朗大学)
本文通过分析68个语码转换数据集,揭示现有数据过度集中于英语且忽视地点、社会人口和语域差异等代表性问题,并提出改进清单以指导未来数据收集与准备。
2023-10-31 cs.CL
Condensing Multilingual Knowledge with Lightweight Language-Specific Modules
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出语言特定矩阵合成(LMS)方法,通过生成低秩矩阵构建轻量级语言特定模块,并利用融合蒸馏技术压缩多语言知识,在减少参数的同时显著提升了多语言机器翻译性能。
2023-10-22 cs.CL
Fast Vocabulary Projection Method via Clustering for Multilingual Machine Translation on GPU
Microsoft(微软)
多语言神经机器翻译使用Transformer模型已经取得了巨大的成功。部署这些模型具有挑战性,因为它们通常需要各种语言的大词汇量。这限制了预测最后一个词汇投影层中的输出标记的速度。为了缓解这些挑战,本文提出了一种快速的词汇投影方法,通过聚类,可用于多语言Transformers器上的GPU。首先,我们离线分割词汇搜索空间到不相交的集群给定的隐藏上下文向量的解码器输出,这导致在更小的词汇列的词汇投影。第二,在推理时,该方法预测的聚类和候选活动令牌的隐藏上下文向量的词汇投影。本文还分析了在多语言环境中构建这些集群的不同方法。我们的结果显示,float16 GPU推理的端到端速度提升高达25%,同时保持BLEU分数并略微增加内存成本。所提出的方法将词汇投影步骤本身的速度提高了2.6倍。我们还进行了广泛的人工评估,以验证所提出的方法保留了原始模型的翻译质量。
2022-08-14 cs.CL cs.LG
Beyond English-Centric Multilingual Machine Translation
Facebook AI;LORIA(洛里亚研究所(法国洛林大学下属研究机构))
现有的翻译工作证明了大规模多语言机器翻译的潜力,通过训练一个能够在任何一对语言之间翻译的单一模型。然而,这些工作大部分都是以英语为中心的,只对从英语翻译或翻译成英语的数据进行培训。虽然这得到大量训练数据来源的支持,但并不反映世界各地的翻译需求。在这项工作中,我们创建了一个真正的多对多多语言翻译模型,可以直接在任何100种语言之间进行翻译。我们构建并开源了一个训练数据集,该数据集涵盖了数千种语言方向,并通过大规模挖掘创建了监督数据。然后,我们将探索如何通过密集缩放和语言特定的稀疏参数的组合来有效地增加模型容量,以创建高质量的模型。我们专注于非英语为中心的模型,在非英语方向之间直接翻译时带来超过10个BLEU的收益,同时与WMT的最佳单一系统竞争。我们将脚本开源,以便其他人可以复制数据、评估和最终的M2M-100模型。
2020-10-21 cs.CL cs.LG
Multilingual enrichment of disease biomedical ontologies
EURA NOVA(欧朗诺瓦机构);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息科学与系统实验室)
翻译生物医学本体是一个重要的挑战,但手动完成需要大量的时间和金钱。我们研究了使用开源知识库来翻译生物医学本体的可能性。我们专注于两个方面:覆盖和质量。我们查看了两个生物医学本体的覆盖范围,重点是关于9种欧洲语言(捷克语,荷兰语,英语,法语,德语,意大利语,波兰语,葡萄牙语和西班牙语)的维基数据的疾病,以及阿拉伯语,中文和俄语的第二个。我们首先使用维基数据和所研究的本体之间的直接链接,然后通过其他中间本体使用二级链接。然后,我们将维基数据与商业机器翻译工具Google Cloud Translation的翻译质量进行比较。
2020-04-07 cs.CL cs.IR q-bio.QM
OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Bosch Center for Artificial Intelligence(博世人工智能中心)
提出OFA框架,通过注入外部多语言静态词向量对齐知识并利用矩阵分解减少参数,高效初始化未见子词嵌入,加速多语言持续预训练收敛并提升跨语言任务性能。
2024-03-25 cs.CL
KS-Lottery: Finding Certified Lottery Tickets for Multilingual Language Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出 KS-Lottery 方法,利用 Kolmogorov-Smirnov Test 分析微调前后参数分布偏移,以识别多语言微调中极为有效的 LLM 参数小子集,理论上保证其性能与全量微调相当,实验发现微调 LLaMA 的 18 个 token 嵌入即可达到微调翻译性能。
2024-06-03 cs.AI cs.CL cs.LG
XLM-E: Cross-lingual Language Model Pre-training via ELECTRA
Microsoft Corporation(微软公司);Beijing Institute of Technology(北京理工大学)
在本文中,我们引入ELECTRA风格的任务,跨语言的语言模型预训练。具体来说,我们提出了两个预训练任务,即多语言替换标记检测和翻译替换标记检测。此外,我们预训练模型,命名为XLM-E,在多语言和平行语料库。我们的模型在各种跨语言理解任务上的性能优于基线模型,并且计算成本更低。此外,分析表明,XLM-E倾向于获得更好的跨语言迁移。
2022-04-19 cs.CL
Linear Cross-Lingual Mapping of Sentence Embeddings
Primer Technologies Inc.(普里默技术公司)
本文假设句子语义在翻译中应更好保留,提出利用简单的线性跨语言映射改进多语言句子嵌入,并将偏离正交条件的程度作为嵌入缺陷的度量。
2024-06-27 cs.CL
Crosslingual On-Policy Self-Distillation for Multilingual Reasoning
Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出COPSD方法,通过将高资源语言的推理行为迁移到低资源语言,提升多语言推理能力,实验显示其在17种低资源非洲语言上表现优异,优于GRPO。
2026-05-10 cs.CL
Bridging the Semantic Gap: Contrastive Rewards for Multilingual Text-to-SQL with GRPO
Independent Researcher(独立研究者);University of Michigan(密歇根大学);Harrisburg University of Science(哈里斯堡科学大学);Forward Labs AI
本研究提出基于GRPO的对比奖励方法,提升多语言文本到SQL系统的执行与语义准确性,通过对比奖励信号实现语义对齐,实验表明小模型在少量数据下表现优于大模型。
2025-11-21 cs.AI cs.CL
Cross-lingual Entity Alignment with Incidental Supervision
多语言知识图谱(KG)嵌入方法是解决实体对齐问题的一个重要研究方向,它试图匹配不同语言特定KG中的实体,这些KG中的实体都指向同一个真实世界的对象。这样的方法经常受到KG之间提供的种子比对不足的阻碍。因此,我们提出了一个附带的监督模型,JEANS,它共同代表多语言KG和文本语料库中的共享嵌入方案,并试图提高实体对齐与附带的监督信号从文本。JEANS首先部署一个实体接地过程,将每个KG与单语文本语料库相结合。然后,进行两个学习过程:(i)嵌入学习过程,以在一个嵌入空间中对每种语言的KG和文本进行编码;以及(ii)基于自学习的对齐学习过程,以迭代地诱导嵌入之间的实体匹配和词汇匹配。在基准数据集上的实验表明,JEANS在附带监督的实体对齐方面取得了令人鼓舞的改进,并且显著优于仅依赖KG内部信息的最新方法。
2021-01-26 cs.AI cs.CL cs.IR
In What Languages are Generative Language Models the Most Formal? Analyzing Formality Distribution across Languages
Huawei Turkey R&D Center(华为土耳其研发中心);Nisum Latam(Nisum拉美公司);Banco de Crédito e Inversiones(智利信贷与投资银行);North South University(南北大学);Sorbonne Université(索邦大学)
多语言生成语言模型(LM)在各种语言中越来越流利。他们接受过多种语言语料库连接的训练,能够从高资源语言到低资源语言进行强大的转换。然而,在这些模型的预测中,文化偏见是什么仍然是未知的。在这项工作中,我们专注于一个高度受文化影响的语言属性:正式。我们分析了XGLM和BLOOM的预测,两个流行的生成式多语言语言模型,在5种语言的正式分布。我们将每种语言的1,200代分为正式的、非正式的或无凝聚力的,并测量了即时正式对预测的影响。总的来说,我们观察到跨模型和语言的行为多样性。例如,XGLM在非正式提示的条件下生成阿拉伯语和孟加拉语的非正式文本,比BLOOM多得多。此外,即使这两个模型是高度偏向于正式的风格时,提示中立,我们发现,即使在正式的文本提示模型产生了大量的非正式的预测。我们发布了6,000个带注释的样本,为将来的生成多语言LM的正式工作铺平了道路。
2023-02-23 cs.CL
The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants
Meta AI;Abridge AI(艾布里奇人工智能);University of California Los Angeles(加州大学洛杉矶分校);Reka AI(雷卡人工智能)
本文提出覆盖122种语言变体的平行多选MRC数据集Belebele,用于跨语言评估MLM与LLM,揭示均衡多语言预训练和词表构建对低资源理解的重要性。
2024-07-25 cs.AI cs.CL cs.LG
Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed?
University of Zurich(苏黎世大学);Textshuttle;ETH Zurich(苏黎世联邦理工学院);University of Edinburgh(爱丁堡大学)
本文研究英语中心大语言模型实现跨语言泛化所需的最少多语言微调量,发现仅用两到三种语言进行多语言指令微调即可有效激发跨语言能力,且对生成式任务尤其有益。
2024-10-03 cs.CL
Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech
FAIR at Meta(Meta的FAIR)
提出OmniSONAR模型,通过渐进式训练和教师-学生蒸馏,在数千种语言上实现文本、语音、代码和数学表达式的统一语义嵌入,在跨语言检索和翻译任务上显著降低错误率,并支持零样本语音翻译。
2026-06-19 cs.CL
From Scratch to Fine-Tuned: A Comparative Study of Transformer Training Strategies for Legal Machine Translation
Jadavpur University(贾瓦浦尔大学)
本文通过比较Transformer训练策略,展示了微调预训练模型在法律机器翻译中的有效性,实现了更高的翻译准确率。
2025-12-21 cs.AI cs.CL cs.HC
How Much Do LLMs Hallucinate across Languages? On Realistic Multilingual Estimation of LLM Hallucination
WüNLP, CAIDAS, University of Würzburg(乌尔姆大学);Data Science Group, University of Hamburg(汉堡大学)
研究评估了多语言LLM在长形式问答中的幻觉程度,发现高资源语言中幻觉率与语言规模无关,且支持更多语言的LLM幻觉率更高。
2026-02-02 cs.AI cs.CL
Letz Translate: Low-Resource Machine Translation for Luxembourgish
University of Luxembourg(卢森堡大学);Banque BGL BNP Paribas(法国巴黎银行卢森堡BGL银行)
低资源语言(LRL)的自然语言处理经常受到缺乏数据的挑战。因此,在低资源环境中实现精确的机器翻译(MT)是一个需要实际解决方案的现实问题。对多语言模型的研究表明,一些LRL可以用这样的模型来处理。然而,它们的大尺寸和计算需求使得它们在受限环境中使用(例如,移动/物联网设备或有限/旧服务器)不切实际。在本文中,我们解决这个问题,利用大型多语言MT模型的力量,使用知识蒸馏。知识蒸馏可以将知识从大型复杂的教师模型转移到更简单更小的学生模型,而不会在性能上损失太多。我们还使用与目标LRL相关或共享相同语言根的高资源语言。对于我们的评估,我们认为Bullourgish是与德语共享一些根和属性的LRL。我们建立了多个资源高效的模型,基于德语,知识蒸馏从多语言没有语言留下(NLLB)模型,和伪翻译。我们发现,我们的高效模型比大型最先进的NLLB模型快30%以上,仅低4%。
2023-03-02 cs.CL cs.SE