How Transliterations Improve Crosslingual Alignment
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Technical University of Munich（慕尼黑工业大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能与机器人系统研究所）
本文通过实验评估音译对多语言预训练模型跨语言对齐的影响，发现音译及对比目标能提升对齐，但更好的对齐不一定带来更好的下游性能。
2024-12-15 cs.CL
Enhancing Cross-Lingual Transfer through Reversible Transliteration: A Huffman-Based Approach for Low-Resource Languages
Minzu University of China（中国民族大学）；National Language Resource Monitoring & Research Center Minority Languages Branch（国家语言资源监测与研究中心少数民族语言分部）；Institute of National Security, Minzu University of China（中国民族大学国家安全学院）
本文提出一种将字符转写与哈夫曼编码相结合的可逆转写框架，用于提升LLMs对低资源语言的处理能力，在保证无损转换的同时实现压缩、免词表扩展，并在多个下游任务中验证了有效性。
2025-09-22 cs.CL
Exploiting Language Relatedness for Low Web-Resource Language Model Adaptation: An Indic Languages Study
Indian Institute of Technology Bombay（孟买印度理工学院）；Google Research（谷歌研究院）
多语言语言模型（LM）的最新研究表明，它们能够在一个模型中有效地处理多种语言。这为低Web资源语言（LRL）带来了希望，因为多语言模型可以将监督从高资源语言转移到LRL。然而，在LM中纳入新语言仍然是一个挑战，特别是对于语料库有限且脚本不可见的语言。在本文中，我们认为，在一个语言家族中的语言之间的相关性可能会被利用，以克服一些语料库的限制LRL，并提出RelateLM。我们专注于印度语言，并沿着两个维度探索相关性：（1）脚本（因为许多印度脚本起源于婆罗门脚本），（2）句子结构。RelateLM使用音译将有限的LRL文本中看不见的脚本转换为相关突出语言（RPL）（在我们的例子中是印地语）的脚本。在利用相似的句子结构的同时，RelateLM利用现成的双语词典将RPL文本伪翻译成LRL语料库。在多个真实世界基准数据集上的实验验证了我们的假设，即使用相关语言作为枢轴，以及基于音译和伪翻译的数据增强，可以是一种有效的方法来适应LRL的LM，而不是直接训练或通过英语旋转。
2021-06-09 cs.CL
Leveraging Multilingual News Websites for Building a Kurdish Parallel Corpus
Insight Centre for Data Analytics（数据 analytics 洞察中心）；National University of Ireland Galway（爱尔兰国立高威大学）；University of Kurdistan Hewlêr（埃尔比勒库尔德斯坦大学）；Koya University（科亚大学）
机器翻译已经成为自然语言处理发展的主要动力。尽管由于深度学习方法，在创建更高效的机器翻译系统方面取得了迅速的成就，但平行语料库仍然是该领域进步不可或缺的。在试图创建平行语料库的库尔德语，在本文中，我们描述了我们的方法在检索潜在的可重复的新闻文章从多语言网站和手动对齐它们跨方言和语言的基础上的词汇相似性和音译脚本。我们提出了一个语料库，包含12,327翻译对库尔德语，索拉尼语和Kurmanji的两个主要方言。我们还提供1，797和650对英语-Kurmanji和英语-Sorani翻译。该语料库在CC BY-NC-SA 4.0许可证下公开可用。
2020-10-04 cs.CL
MATra: A Multilingual Attentive Transliteration System for Indian Scripts
Chandigarh University（昌迪加尔大学）；SRM Institute of Science and Technology（SRM科学技术学院）
音译是NLP领域的一项任务，其中输出的单词是使用任何外语的字母书写的发音相似的单词。今天，这个系统已经开发了几种语言对，涉及英语作为源或目标词，并部署在谷歌翻译和聊天机器人等几个地方。然而，在印度语翻译成其他印度语的研究很少。本文展示了一种基于Transformers（经过一些修改）的多语言模型，该模型可以提供比该领域中所有现有模型更高的性能和准确性，并且比最先进的模型获得更好的结果。本文展示了一个模型，可以执行以下五种语言之间的任何一对音译-英语，印地语，孟加拉语，卡纳达语和泰米尔语。它适用于语言是任何书面任务中沟通障碍的情况。该模型击败了最先进的技术（对于上述五种语言中的所有语言对-英语，印地语，孟加拉语，卡纳达语和泰米尔语），并达到了80.7%的前1准确率，比目前最好的结果高出约29.5%。此外，该模型在语音准确性方面达到了93.5%（音译主要是基于语音/声音的任务）。
2022-08-23 cs.CL
Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment
Technical University of Munich（慕尼黑工业大学）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对不同文字的语言间跨语言迁移性能受限的问题，提出基于转写的预训练后对齐方法，在两个多文字区域语言组上验证，可显著提升跨语言迁移效果，非英语源语言场景下提升更明显。
2024-10-09 cs.CL
Can Multilingual Language Models Transfer to an Unseen Dialect? A Case Study on North African Arabizi
Inria（法国国家信息与自动化研究所）
为非标准化和低资源语言构建自然语言处理系统是一项艰巨的挑战。最近大规模多语言预训练语言模型的成功提供了新的建模工具来解决这个问题。在这项工作中，我们研究的能力，多语种语言模型处理一个看不见的方言。我们以用户生成的北非阿拉伯语为案例研究，这是一种资源贫乏的阿拉伯语方言，经常与法语混合，用阿拉伯语书写，阿拉伯语是阿拉伯语到拉丁语的非标准化音译。专注于两个任务，词性标记和依存句法分析，我们在zero-shot和无监督的适应场景中显示，多语言语言模型能够转移到这样一个看不见的方言，特别是在两种极端情况下：（i）跨脚本，使用现代标准阿拉伯语作为源语言，以及（ii）从一个遥远的相关语言，在预训练过程中看不见，即马耳他语。我们的研究结果构成了对这种方言的首次成功的迁移实验，从而为资源稀缺，非标准化和高度可变的本地语言的NLP生态系统的发展铺平了道路。
2020-05-01 cs.CL cs.LG
Improving the Quality of MT Output using Novel Name Entity Translation Scheme
Banasthali University（巴纳斯塔利大学）
本文提出了一种新的方法来机器翻译结合最先进的名称实体翻译方案。名称实体翻译不当会降低机器翻译输出的质量。在这项工作中，名称实体的音译使用统计规则为基础的方法。本文描述了从英语到旁遮普语的名称实体的翻译和音译。我们已经对四种类型的名称实体进行了实验，它们是：专有名称，位置名称，组织名称和杂项。为了音节化的目的，已经建立了各种规则。名称实体的音译是在概率计算的帮助下完成的。使用统计机器翻译工具包MOSES计算了所提取音节的N-Gram概率。
2013-10-02 cs.CL
Multilingual person name recognition and transliteration
我们提出了一个探索性的工具，提取人的名字从多语言的新闻集合，匹配的名称变体指的是同一个人，并推断出人与人之间的关系的基础上，他们的名字在相关新闻中的共同出现。一个新的功能是匹配不同语言和书写系统的名称变体，包括用希腊语、西里尔语和阿拉伯语书写系统书写的名称。由于我们的高度多语言设置，我们使用内部标准表示法进行名称表示和匹配，而不是采用传统的双语方法进行音译。这项工作是新闻分析系统NewsExplorer的一部分，该系统每天平均聚类25，000篇新闻文章，以检测相同和不同语言的相关新闻。
2006-09-11 cs.CL cs.IR
Transliteration in Any Language with Surrogate Languages
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍了一种音译生成方法，可以在每一种语言中产生音译。如果以前的结果只像维基百科一样多语言，我们将展示如何使用维基百科的训练数据作为任何语言的替代训练。因此，问题变成了按照相对于目标语言的适合性的顺序对维基百科语言进行排名。我们介绍了几个特定于任务的方法来排名语言，并表明我们的方法是甲骨文天花板相媲美，甚至在某些情况下优于它。
2016-09-14 cs.CL
Can Monolingual Pretrained Models Help Cross-Lingual Classification?
Microsoft Research（微软研究院）；Beijing Institute of Technology（北京理工大学）
多语言预训练语言模型（如多语言BERT）在跨语言迁移方面取得了令人印象深刻的结果。然而，由于恒定的模型容量，多语言预训练通常落后于单语言竞争对手。在这项工作中，我们提出了两种方法来改善zero-shot跨语言分类，通过将知识从单语预训练模型转移到多语言模型。两个跨语言分类基准的实验结果表明，我们的方法优于香草多语言微调。
2019-11-10 cs.CL
Exploring Linguistic Similarity and Zero-Shot Learning for Multilingual Translation of Dravidian Languages
PES University（PES大学）
本文利用音译和语言相似性构建单编码器-解码器模型，在达罗毗荼语系多语言翻译中实现零样本翻译，并在50%语言方向上训练时达到与大规模枢轴模型相差3 BLEU以内的性能。
2023-08-10 cs.CL cs.CV
TurkicNLP: An NLP Toolkit for Turkic Languages
Computational Linguistics University of Potsdam（计算语言学波茨坦大学）
提出一个统一的、开源的Python库TurkicNLP，通过模块化多后端架构支持四种文字体系的突厥语言，提供分词、形态分析、词性标注、依存句法、命名实体识别、跨文字转写、跨语言句子嵌入和机器翻译等功能。
2026-10-12 cs.CL
Bootstrapping Transliteration with Constrained Discovery for Low-Resource Languages
University of Pennsylvania（宾夕法尼亚大学）
生成外文姓名的英文音译是多语言知识获取和信息抽取中一个重要而又具有挑战性的步骤。现有的音译生成方法需要大量（>5000）训练样本。这种困难与音译发现形成对比，音译发现是一项稍微简单的任务，涉及从给定的列表中挑选一个合理的音译。在这项工作中，我们提出了一个自举算法，使用约束发现，以提高一代，并可以使用少至500训练样本，我们可以在几个小时内从注释源。这将向无法获得大量训练样本的语言打开任务。我们评估音译生成性能本身，以及它带来的改进跨语言的候选生成实体链接，一个典型的下游任务。我们提出了一个全面的评估，我们的方法对九种语言，每一个写在一个独特的脚本。
2018-09-20 cs.CL
Modeling Romanized Hindi and Bengali: Dataset Creation and Multilingual LLM Integration
Department of EECS, Embry-Riddle Aeronautical University, Daytona Beach, FL, USA（电子工程与科学系，埃姆布里-里德尔航空大学，日落海滩，佛罗里达州，美国）；NLP Engineering Team, Hishab Singapore Pte. Ltd, Singapore（自然语言处理工程团队，Hishab新加坡私人有限公司，新加坡）；Department of Computer Information Systems, Texas A&M University - Central Texas, Texas, USA（计算机信息系统系，德克萨斯A&M大学-中央德克萨斯分校，德克萨斯州，美国）
本文提出了一种新的转写数据集和定制多语言模型，用于提高罗马化印地语和孟加拉语的转写效果。
2025-11-27 cs.CL
Multilingual Text-to-Speech Synthesis for Turkic Languages Using Transliteration
Institute of Smart Systems and Artificial Intelligence, Nazarbayev University（纳扎尔巴耶夫大学智能系统与人工智能研究所）
本文针对十种低资源突厥语，提出通过国际音标转写映射到哈萨克语字母，使仅用哈萨克语训练的Tacotron 2 TTS系统实现零样本多语言语音合成，并通过主观评估验证了可行性。
2023-05-25 cs.CL eess.AS
LAMA-UT: Language Agnostic Multilingual ASR through Orthography Unification and Language-Specific Transliteration
提出LAMA-UT，一种无需语言特定模块的多语言ASR流水线，通过正字法统一和音译转换，以极少训练数据达到与Whisper和MMS相当的性能，错误率相对降低45%。
2025-10-23 cs.CL cs.SD eess.AS
DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
预训练的多语言模型，如mBERT，在几个自然语言处理（NLP）任务中表现出巨大的收益，特别是在zero-shot跨语言设置中。这些预先训练的模型中的大多数（如果不是全部）依赖于掩蔽语言建模（MLM）目标作为关键语言学习目标。这些方法背后的原理是，在周围文本的帮助下预测被屏蔽的单词有助于学习有效的上下文表征。尽管强大的表示学习能力，使MLM，我们表现出固有的限制MLM多语言表示学习。特别是，通过要求模型预测特定于语言的标记，MLM目标抑制了学习与语言无关的表示-这是多语言预训练的关键目标。因此，为了鼓励更好的跨语言表示学习，我们提出了DICT-MLM方法。DICT-MLM的工作原理是激励模型不仅能够预测原始掩码词，而且还能够预测其任何跨语言同义词。我们对30多种语言的多个下游任务的实证分析表明，所提出的方法的有效性及其学习更好的多语言表示的能力。
2020-10-23 cs.CL
MMCR4NLP: Multilingual Multiway Corpora Repository for Natural Language Processing
Kyoto University（京都大学）
越来越多的研究人员已经成功地证明，使用额外的语言有助于改善许多自然语言处理任务的结果，从这个意义上说，多语言正逐渐变得无处不在。多语言多通道语料库（MMC）包含多个语言的同一个句子。这种语料库主要用于多源和枢轴语言机器翻译，但也可用于通过迁移学习开发多语言序列标记器。虽然这些语料库是可用的，但它们并不是为多语言实验而组织的，研究人员每次想要使用这些语料库时都需要编写样板代码。此外，由于没有正式的MMC集合，因此很难与现有方法进行比较。因此，我们提出了我们的工作，建立一个统一的和系统组织的存储库MMC跨越大量的语言。我们还提供培训，开发和测试的语料库，其中官方的分裂是不可用的。我们希望这将有助于加快多语言NLP研究的步伐，并确保NLP研究人员获得更可信的结果，因为它们可以很容易地进行比较。我们指出语料来源，提取程序，如果有的话和相关的统计数据。我们还公开我们的收藏以供研究之用。
2019-02-14 cs.CL
A two-stage transliteration approach to improve performance of a multilingual ASR
NIT Patna（巴特那国家理工学院）
本文提出一种两阶段音译方法，将多语言字素投影到通用文字系统以构建语言无关的端到端ASR模型，并在尼泊尔语和泰卢固语上实现WER降低20%、CER降低24%。
2024-10-09 cs.CL cs.SD eess.AS
Syntax-augmented Multilingual BERT for Cross-lingual Transfer
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Facebook AI（脸书人工智能研究院）
近年来，我们已经看到了巨大的努力，在预训练多语言文本编码器使用大规模语料库在许多语言，以促进跨语言迁移学习。然而，由于语言之间的类型差异，跨语言迁移是具有挑战性的。然而，语言语法，例如，句法依赖，可以弥合类型学的差距。以前的工作表明，预先训练的多语言编码器，如mBERT \cite{devlin-etal-2019-bert}，捕获语言语法，帮助跨语言迁移。这项工作表明，明确提供语言语法和训练mBERT使用辅助目标编码的通用依赖树结构有助于跨语言迁移。我们对四个NLP任务进行了严格的实验，包括文本分类，问答，命名实体识别和面向任务的语义解析。实验结果表明，语法增强的mBERT提高跨语言迁移在流行的基准测试，如PAWS-X和MLQA，平均1.4和1.6点，在所有语言。在\emph{generalized}转移设置中，表现显著提升，PAWS-X和MLQA的平均得分分别为3.9和3.1分。
2021-06-03 cs.CL
Pretrained Models for Multilingual Federated Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
自从联邦学习（FL）出现以来，研究已经将这些方法应用于自然语言处理（NLP）任务。尽管有大量的论文在FL的NLP，没有以前的作品研究了多语言文本如何影响FL算法。此外，多语言文本提供了一个有趣的途径来研究非IID文本（例如不同的语言）对自然发生的数据中FL的影响。我们探索三种多语言的语言任务，语言建模，机器翻译和文本分类使用不同的联邦和非联邦学习算法。我们的研究结果表明，使用预训练的模型减少了FL的负面影响，帮助它们执行接近或优于集中式（无隐私）学习，即使使用非IID分区。
2022-06-06 cs.CL
Facilitating Access to Multilingual COVID-19 Information via Neural Machine Translation
ADAPT Centre（ADAPT中心）；School of Computing, Dublin（都柏林计算机学院）
每天都有更多的人因接触COVID-19而感染和死亡。欧洲的一些国家，如西班牙、法国、英国和意大利，受到这种病毒的影响尤为严重。德国等其他国家似乎应对得非常好。卫生专业人员和公众都渴望获得有关病毒影响的最新信息，以及已被证明有效的治疗方法。在语言成为获取相关信息的障碍的情况下，机器翻译（MT）可以帮助人们吸收以不同语言发布的信息。我们经过COVID-19数据培训的MT系统可免费提供给任何人使用，以帮助将以德语、法语、意大利语、西班牙语发布的信息翻译成英语，以及相反的方向。
2020-05-01 cs.CL
Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
Beijing Institute of Technology（北京理工大学）
提出IGap指标，用于测量多语言Transformer在句子分类上的跨语言迁移能力，实验证明其优于基线，并揭示三个相关发现。
2023-05-15 cs.CL
Are Pretrained Multilingual Models Equally Fair Across Languages?
University of Copenhagen（哥本哈根大学）
预训练的多语言语言模型可以帮助弥合数字语言鸿沟，为资源较少的语言提供高质量的NLP模型。到目前为止，多语言模型的研究主要集中在性能，一致性和跨语言泛化。然而，随着它们在野外和下游社会影响中的广泛应用，将多语言模型置于与单语言模型相同的审查之下是很重要的。这项工作研究了多语言模型的组公平性，询问这些模型是否在不同语言之间同样公平。为此，我们创建了一个新的四路多语言数据集的平行完形填空测试的例子（MozArt），配备了人口统计信息（平衡方面的性别和母语）的测试参与者。我们在MozArt上评估了三种多语言模型-- mBERT、XLM-R和mT5 --并表明，在四种目标语言中，这三种模型表现出不同程度的群体差异，例如，西班牙人的风险几乎相等，但德国人的风险差异很大。
2022-10-11 cs.CL
A Systematic Benchmark of Machine Transliteration Models for the Tajik-Farsi Language Pair: A Comparative Study from Rule-Based to Transformer Architectures
Institute of Computational Mathematics and Information Technologies（计算数学与信息科技学院）；Kazan Federal University（卡兹安联邦大学）
本文通过构建多源平行语料库，系统比较了从基于规则到Transformer的六类模型，发现字节级ByT5在塔吉克-波斯语音译任务中表现最优（chrF++ 87.4/80.1），而基于子词的分词模型完全失败。
2026-06-01 cs.CL
Linear Script Representations in Speech Foundation Models Enable Zero-Shot Transliteration
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
通过在语音基础模型中引入线性脚本表示，实现对语音识别输出脚本的零样本控制，提升多语言转写性能。
2026-01-06 cs.CL
Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本文提出了一种新的多语言多级微调方法的低资源神经机器翻译（NMT），具有挑战性的日本-俄罗斯对基准。尽管有许多解决方案可用于低资源场景，例如多语言NMT和回译，但我们已经根据经验证实，当仅限于域内数据时，它们的成功有限。因此，我们建议通过迁移学习来利用域外数据，首先使用它来训练多语言NMT模型，然后对域内并行和反向翻译的伪并行数据进行多级微调。我们的方法结合了领域自适应、多语言和回译，在这种资源极其匮乏的情况下，在较强的基线上，帮助将翻译质量提高了3.7个BLEU点以上。
2019-07-06 cs.CL
Low-Resource Transliteration for Roman-Urdu and Urdu Using Transformer-Based Models
University of Saarland（萨尔大学）；DFKI（德国人工智能研究中心）
针对Urdu与Roman-Urdu间的低资源音译问题，提出基于m2m100并结合MLM预训练与微调的Transformer方法，在严格评估下取得优于RNN和GPT-4o Mini的音译性能。
2025-04-04 cs.AI cs.CL
ChakmaNMT: Machine Translation for a Low-Resource and Endangered Language via Transliteration
University of Arizona（亚利桑那大学）；Bangladesh University of Engineering and Technology（孟加拉工程与技术大学）；University of Rochester（罗切斯特大学）；Chittagong University of Engineering and Technology（丘比特工程与技术大学）
ChakmaNMT通过转写技术，利用孟加拉语和Chakma语的正字法关系，提升低资源语言的机器翻译效果。
2026-01-08 cs.CL
Learning Policies for Multilingual Training of Neural Machine Translation Systems
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
低资源多语言神经机器翻译（MNMT）通常的任务是在高资源语言对的帮助下提高一个或多个语言对的翻译性能。在本文中，我们提出了两个简单的搜索为基础的课程-排序的多语种训练数据-这有助于提高翻译性能与现有的技术，如微调。此外，我们试图从头开始学习MNMT课程，并在上下文多臂强盗的帮助下训练翻译系统。我们在FLORES低资源翻译数据集上表明，这些学习课程可以为微调提供更好的起点，并提高翻译系统的整体性能。
2021-03-11 cs.CL
Multilingual Neural Machine Translation System for Indic to Indic Languages
Indian Institute of Technology (IIT), Varanasi（印度理工学院（IIT）瓦拉纳西分校）；Indian Institute of Technology, Patna（印度理工学院巴特那分校）
本文构建了11种印度语言间的多语言神经机器翻译基线模型，评估语言亲缘关系与英语枢轴策略，并引入音译改进，最佳PA-HI模型在Flores-200上取得24.29 BLEU。
2023-06-22 cs.CL
Gender Bias in Multilingual Neural Machine Translation: The Architecture Matters
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多语言神经机器翻译体系结构的差异主要在于语言之间共享模块和参数的数量。在本文中，从算法的角度来看，我们探讨了当使用相同的数据进行训练时，所选择的架构是否会影响性别偏见的准确性。在四个语言对的实验表明，特定于存储的编码器-解码器表现出更少的偏见比共享的编码器-解码器架构。进一步对源语嵌入和注意力的可解释性分析表明，在特定性别的情况下，源语嵌入编码了更多的性别信息，其注意力更容易被转移。这两种行为都有助于减轻性别偏见。
2020-12-24 cs.CL
Multilingual Neural Machine Translation:Can Linguistic Hierarchies Help?
Monash University（莫纳什大学）
多语言神经机器翻译（MNMT）训练支持多种语言之间翻译的单个NMT模型，而不是为不同语言训练单独的模型。学习单个模型可以通过利用来自多种语言的数据来增强低资源翻译。然而，MNMT模型的性能高度依赖于训练中使用的语言类型，因为从不同的语言集合转移知识会由于负迁移而降低翻译性能。在本文中，我们提出了一个层次知识蒸馏（HKD）的MNMT方法，它利用根据语言的类型学特征和同源性产生的语言群体，以克服负迁移的问题。HKD通过基于语言组的选择性知识蒸馏机制生成一组多语言教师助理模型，然后以自适应的方式从这些助理中提取最终的多语言模型。来自53种语言的TED数据集的实验结果证明了我们的方法在避免MNMT中的负迁移效应方面的有效性，与强基线相比，提高了翻译性能（平均约1个BLEU分数）。
2021-10-15 cs.AI cs.CL
Unifying the Convergences in Multilingual Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）
尽管多语言神经机器翻译（多语NMT）的多模型化已经取得了显著的进展，但联合训练中的收敛不一致性被忽视，即，不同的语言对在不同的时代达到趋同。这导致训练好的MNMT模型过度拟合低资源语言翻译，而不拟合高资源翻译。在本文中，我们提出了一种新的训练策略LSSD（特定于语言的自蒸馏），它可以减轻收敛不一致性，并帮助MNMT模型同时在每个语言对上实现最佳性能。具体来说，LSSD为每个语言对挑选特定于语言的最佳检查点，以动态地教授当前模型。此外，我们系统地探讨了三个样本级的知识转移操作。在三个数据集上的实验结果表明，LSSD对所有语言对都取得了一致的改进，达到了最先进的水平。
2022-10-19 cs.CL
Efficiently Upgrading Multilingual Machine Translation Models to Support More Languages
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Meta AI
随着多语言机器翻译（MMT）模型的规模和支持语言的数量持续增长，随着数据以更多语言可用，重用和升级现有模型以节省计算是很自然的。然而，添加新的语言需要更新词汇表，这使得嵌入的重用变得复杂。如何在重用现有模型的同时进行架构更改以提供新旧语言的能力，这个问题也没有得到深入研究。在这项工作中，我们介绍了三种技术，帮助加快有效的学习新的语言和减轻灾难性遗忘，尽管词汇和架构不匹配。我们的研究结果表明，通过（1）仔细初始化网络，（2）应用学习率缩放，以及（3）执行数据上采样，有可能以30%的计算量超过相同大小的基线模型的性能，并恢复从头开始训练的更大模型的性能，计算量减少超过50%。此外，我们的分析表明，引入的技术有助于更有效地学习新的方向，并在同一时间减轻灾难性遗忘。我们希望我们的工作将指导研究更有效的方法来为这些MMT模型增加语言，并最终最大限度地重用现有模型。
2023-02-07 cs.CL
Aksharantar: Open Indic-language Transliteration datasets and models for the Next Billion Users
AI4Bharat；IIT Madras（印度马德拉斯理工学院）；Microsoft（微软公司）
本文构建了最大的公开印度语言转写数据集Aksharantar（含21种语言2600万转写对）及细粒度测试集，并基于此训练多语言转写模型IndicXlit，在Dakshina测试集上准确率提升15%，为印度语言转写研究提供了大规模开放资源。
2023-10-26 cs.CL
Cross-Lingual Text Classification of Transliterated Hindi and Malayalam
George Mason University（乔治梅森大学）
音译在社交媒体上非常常见，但音译文本并没有被现代神经模型充分处理，无法用于各种NLP任务。在这项工作中，我们将数据增强方法与教师-学生培训计划相结合，以解决跨语言迁移设置中的这个问题，以微调最先进的预训练多语言语言模型，如mBERT和XLM-R。我们在音译印地语和马拉雅拉姆语上评估了我们的方法，还引入了新的数据集用于对真实世界场景进行基准测试：一个是音译马拉雅拉姆语的情绪分类，另一个是音译印地语和马拉雅拉姆语的危机推文分类（与2013年北印度和2018年喀拉拉邦洪水有关）。我们的方法在mBERT和XLM-R上的F1分数比其强基线平均提高了+5.6%和4.7%。
2021-08-31 cs.CL cs.LG
Happiness is Sharing a Vocabulary: A Study of Transliteration Methods
University of British Columbia, Canada（不列颠哥伦比亚大学，加拿大）；Sungkyunkwan University, Republic of Korea（成均馆大学，韩国）；Seoul National University, Republic of Korea（首尔国立大学，韩国）；Electronics and Telecommunications Research Institute, Republic of Korea（电子通信研究院，韩国）；Carnegie Mellon University, USA（卡内基梅隆大学，美国）
本文研究了多语言模型中共享脚本、重叠词库和共享语音对性能的影响，发现罗马化在12种评估设置中显著优于其他输入类型。
2026-03-23 cs.AI cs.CL
On the Calibration of Massively Multilingual Language Models
Microsoft Research（微软研究院）；Microsoft R&D（微软研发部门）
大规模多语言语言模型（MMLM）由于其在跨语言迁移中令人惊讶的有效性而最近受到欢迎。虽然在评估这些模型在各种任务和语言上的表现方面做了很多工作，但很少有人关注这些模型在预测的置信度方面的校准程度。我们首先调查的校准MMLM在zero-shot设置和观察一个明确的情况下，在低资源的语言或那些是从英语的类型学不同的误校准。接下来，我们凭经验表明，校准方法，如温度缩放和标签平滑做得相当不错，以改善校准在zero-shot的情况。我们还发现，语言中的Few-Shot示例可以进一步帮助减少校准误差，通常是大幅减少。总的来说，我们的工作有助于建立更可靠的多语言模型，通过强调他们的错误校准问题，了解什么语言和模型的具体因素会影响它，并指出改进的策略。
2022-10-21 cs.CL
Romanian Multiword Expression Detection Using Multilingual Adversarial Training and Lateral Inhibition
University Politehnica of Bucharest（布加勒斯特理工大学）；Romanian Academy Research Institute for Artificial Intelligence（罗马尼亚科学院人工智能研究所）
本文利用多语言对抗训练与侧向抑制改进XLM-RoBERTa，在PARSEME v1.2罗马尼亚语多词表达检测任务上F1提升约2.7%，达到SOTA。
2023-05-08 cs.CL
Competence-based Curriculum Learning for Multilingual Machine Translation
Peking University（北京大学）；Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯公司微信人工智能模式识别中心）
目前，多语言机器翻译正受到越来越多的关注，因为它为低资源语言（LRL）带来了更好的性能，并节省了更多的空间。然而，现有的多语种机器翻译模型面临着一个严峻的挑战：不平衡。因此，不同语言在多语言翻译模型中的翻译性能差异很大。我们认为，这种不平衡的问题源于不同的语言学习能力的不同。因此，我们着眼于平衡不同语言的学习能力，提出了基于能力的多语种机器翻译课程学习，命名为CCL-M。具体来说，我们首先定义了两种能力来帮助安排高资源语言（HRL）和低资源语言：1）自我评估能力，评估语言本身的学习情况; 2）HRL评估能力，根据HRL的自我评估能力评估LRL是否准备好学习。基于上述能力，我们利用所提出的CCL-M算法，以课程学习的方式逐渐将新的语言添加到训练集中。此外，我们提出了一种新的竞争力的动态平衡抽样策略，更好地选择训练样本的多语言训练。实验结果表明，我们的方法已经取得了稳定和显着的性能增益相比，以前的国家的最先进的方法在TED会谈数据集。
2021-09-09 cs.CL
Paraphrases as Foreign Languages in Multilingual Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
释义是对同一语义的改写，有助于提高概括能力和翻译水平。然而，以前的作品只探讨释义在词或短语的水平，而不是在句子或语料库的水平。与以往只在单词或短语层面上探索释义的工作不同，我们在语料库层面上使用结构一致的整个训练数据的不同翻译作为释义。我们训练平行释义在多种语言从各种来源。我们将释义视为外语，用释义标签标记源句子，并以多语言神经机器翻译（NMT）的风格对平行释义进行训练。我们的多释义NMT仅在两种语言上训练，优于多语言基线。增加释义可以提高生僻词的翻译，增加词汇选择的熵和多样性。添加源释义比添加目标释义更能提高性能。将源和目标释义结合起来可以进一步提高性能;将释义与多语言数据结合起来会有所帮助，但性能参差不齐。我们使用24个语料库级别的圣经释义，实现了法语到英语翻译的BLEU得分为57.2，优于多语言基线，比单源单目标NMT基线高出+34.7。
2021-10-01 cs.CL
Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多对多多语言神经机器翻译可以在训练期间看不到的语言对之间进行翻译，即，zero-shot翻译改进zero-shot翻译需要模型学习通用表示和交叉映射关系，以将在监督方向上学习的知识转移到zero-shot方向。在这项工作中，我们提出了基于最优理论的状态移动器距离来对编码器输出的表示的差异进行建模。然后，我们通过最小化建议的距离来学习通用表示，从而在令牌级别上弥合不同语言的语义等价表示之间的差距。此外，我们提出了一个基于协议的训练方案，它可以帮助模型做出一致的预测的基础上语义等价的句子学习通用的交叉映射关系的所有翻译方向。在多种多语言数据集上的实验结果表明，与基线系统和其他对比方法相比，该方法可以提高一致性。分析表明，该方法能更好地对齐语义空间，提高预测一致性。
2022-10-28 cs.CL
Multilingual Content Moderation: A Case Study on Reddit
SRI International（斯坦福国际研究院）；University of Pittsburgh（匹兹堡大学）
内容审核是根据预定义的平台规则标记内容的过程。越来越需要人工智能版主来保护用户，并保护人类版主的心理健康免受创伤性内容的影响。虽然先前的工作集中于识别仇恨/攻击性语言，但它们不足以满足内容审核的挑战，因为1）审核决定是基于违反规则的，这包括对攻击性言论的检测，以及2）这样的规则通常在社区之间不同，这需要自适应解决方案。我们建议通过引入一个包含180万条Reddit评论的多语言数据集来研究内容审核的挑战，该数据集涵盖英语，德语，西班牙语和法语的56个子Reddit。我们进行了广泛的实验分析，突出潜在的挑战，并提出相关的研究问题，如跨语言迁移，标签噪声（人类偏见）下的学习，适度模型的转移，并预测违反规则。我们的数据集和分析可以帮助您更好地应对自动审核的挑战和机遇。
2023-02-19 cs.CL
Causal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Saarland University（萨尔大学）；Leipzig University（莱比锡大学）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）
本研究利用机制可解释性技术，在四种多语言语言模型的三种句法结构上证实跨语言机制迁移，且迁移程度与语言类型学相似度正相关，为语言学理论提供新假说。
2026-09-01 cs.CL
Multilingual Neural Machine Translation for Zero-Resource Languages
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；MMT Srl（MMT有限公司）
近年来，神经机器翻译（NMT）已被证明比基于短语的统计方法更有效，从而迅速成为机器翻译（MT）的最新技术。然而，NMT系统在翻译低资源语言方面受到限制，因为需要大量的并行数据来学习语言之间的有用映射。在这项工作中，我们展示了所谓的多语言NMT如何帮助解决与低资源语言翻译相关的挑战。多语言NMT的基本原理是在跨多种语言的共享语义空间中强制创建隐藏的单词表示，从而实现跨语言的正参数传输。沿着这个方向，我们提出了多语种翻译实验，三种语言（英语，意大利语，罗马尼亚语），涵盖六个翻译方向，利用循环神经网络和Transformer（或自我关注）神经网络。然后，我们专注于zero-shot翻译问题，即如何利用多语言数据来学习可用培训材料未涵盖的翻译方向。为此，我们引入了我们最近提出的迭代自训练方法，该方法仅依赖于单语数据，在zero-shot方向上逐步改进多语言NMT。我们对TED演讲数据的研究结果表明，多语言NMT优于传统的双语NMT，Transformer NMT优于递归NMT，zero-shot NMT优于传统的旋转方法，甚至与经过充分训练的双语系统的性能相匹配。
2019-09-16 cs.CL
MuRIL: Multilingual Representations for Indian Languages
Google（谷歌）；Indian Institute of Technology, Patna（印度理工学院巴特那分校）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Delhi Technological University（德里理工大学）
印度是一个多语言的社会，全国有1369种合理化的语言和方言（印度，2011年）。其中，22种列入附表的语言的使用者总数达到惊人的11.7亿人，121种语言的使用者超过1万人（印度，2011年）。印度也拥有第二大（并且不断增长）的数字足迹（Statista，2020）。尽管如此，当今最先进的多语言系统在印度（IN）语言上的表现并不理想。这可以通过以下事实来解释：多语言语言模型（LM）通常在100多种语言上一起训练，导致IN语言在其词汇表和训练数据中的表示很小。在资源贫乏的情况下，多语言LM的有效性大大降低（Wu和Dredze，2020年; Lauscher等人，2020年），因为有限的数据无助于捕捉语言的各种细微差别。人们还通常观察到IN语言文本被音译为拉丁语或与英语混合的代码，特别是在非正式环境中（例如，在社交媒体平台上）（Rijhwani等人，2017年）。目前最先进的多语言LM不能充分处理这种现象。为了解决上述差距，我们提出了MuRIL，一个专门为IN语言构建的多语言LM。MuRIL仅在大量IN文本语料库上进行训练。我们显式地使用翻译和音译的文档对来增强单语文本语料库，这些文档对在训练中作为监督的跨语言信号。在具有挑战性的跨语言XTREME基准测试中，MuRIL在所有任务上的表现都明显优于多语言BERT（mBERT）（Hu等人，2020年）。我们还介绍了所选数据集的音译（本地拉…
2021-04-02 cs.CL
Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders
Microsoft Research（微软研究院）；The University of Hong Kong（香港大学）；Shanghai University of Finance and Economics（上海财经大学）；Texas A&M University（德克萨斯A&M大学）
以前的工作主要集中在使用多语言预训练编码器（MPE）改善NLU任务的跨语言迁移，或者使用BERT提高监督机器翻译的性能。然而，MPE是否有助于促进NMT模型的跨语言可移植性，这一点还有待进一步研究。本文重点研究了NMT中的零镜头（zero-shot）跨语言迁移任务。在该任务中，NMT模型仅使用一种语言对的并行数据集和现成的MPE进行训练，然后直接在zero-shot语言对上进行测试。我们提出了SixT，这是一个简单而有效的模型。SixT利用两阶段训练计划的MPE，并通过位置解纠缠编码器和容量增强的解码器得到进一步改进。使用这种方法，SixT的性能明显优于mBART，mBART是一种为NMT显式设计的预训练多语言编码器-解码器模型，在14种源语言的zero-shot任何英语测试集上平均提高了7.1 BLEU。此外，与CRISS和m2m-100两个强大的多语言NMT基线相比，我们的模型在15个任意到英语的测试集上具有更少的训练计算成本和训练数据，实现了更好的性能。
2021-11-05 cs.CL
One Form to Transfer Them All: Pretraining Multilingual Language Models Beyond Native Orthography
Ohio State University（俄亥俄州立大学）；University of Washington（华盛顿大学）
本文通过系统对比三种输入表示，发现罗马化预训练可实现最强跨语言迁移，且优势随模型规模增大而扩大，提出多语言模型应将罗马化作为预训练核心设计选择的结论。
2026-09-09 cs.CL
Empirical study of pretrained multilingual language models for zero-shot cross-lingual knowledge transfer in generation
Naver Labs Europe（Naver欧洲实验室）；LMU Munich（慕尼黑大学）
本文实证研究了mBART和NLLB-200等替代多语言预训练模型在生成任务零样本跨语言知识转移中的表现，发现带适配器的mBART与同规模mT5相当，且调整微调学习率能有效缓解生成错误语言的问题。
2024-04-22 cs.CL
NADIR: Differential Attention Flow for Non-Autoregressive Transliteration in Indic Languages
NADIR通过差分Transformer和专家混合机制，在多语言转写任务中实现高速且高准确性的非自回归翻译系统。
2026-01-18 cs.AI cs.CL
TransliCo: A Contrastive Learning Framework to Address the Script Barrier in Multilingual Pretrained Language Models
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对多语言预训练模型因不同文字导致的跨语言迁移性能下降问题，提出TransliCo框架，通过对比训练数据与拉丁音译优化表示空间，微调Glot500-m得到Furina，在零样本任务上超越原模型。
2024-05-23 cs.CL
Gradient Vaccine: Investigating and Improving Multi-task Optimization in Massively Multilingual Models
Carnegie Mellon University（卡内基梅隆大学）；Google AI（谷歌人工智能研究院）
包含数十种甚至数百种语言的大规模多语言模型对多任务优化提出了巨大挑战。虽然它是一种常见的做法，应用语言无关的过程优化联合多语言任务目标，如何正确地表征和利用其底层的问题结构，以提高优化效率仍然是探索不足。在本文中，我们试图通过损失函数几何的镜头窥视的黑箱多语言优化。我们发现，沿优化轨迹测量的梯度相似性是一个重要的信号，它不仅与语言接近度，而且与整体模型性能密切相关。这种观察有助于我们确定现有的基于梯度的多任务学习方法的关键限制，因此我们得到了一个简单的和可扩展的优化过程，称为梯度疫苗，它鼓励更多的几何对齐的参数更新接近的任务。从经验上看，我们的方法在多语言机器翻译和多语言语言模型的XTREME基准测试任务上获得了显着的模型性能提升。我们的工作揭示了在多语言优化中正确测量和利用语言接近度的重要性，并且对多语言建模之外的多任务学习具有更广泛的影响。
2020-10-12 cs.CL cs.LG
