End-to-end Text-to-speech for Low-resource Languages by Cross-Lingual Transfer Learning
National Taiwan University（台湾大学）
端到端的文本到语音转换（TTS）在处理大量成对的文本加语音数据方面取得了巨大的成功。然而，对于世界上至少95%的语言来说，费力的数据汇集仍然是困难的，这阻碍了不同语言的TTS的发展。在本文中，我们的目标是建立这样的低资源（目标）语言，只有非常有限的配对数据可用的TTS系统。我们表明，这样的文语转换系统可以有效地构建从高资源（源）语言的知识。由于输入空间不匹配，在源语言上训练的模型不能直接应用于目标语言，我们提出了一种方法来学习源和目标语言符号之间的映射。受益于这种学习的映射，发音信息可以在整个传输过程中被保留。初步实验表明，我们只需要大约15分钟的配对数据，以获得一个相对较好的TTS系统。此外，分析研究表明，自动发现的映射与语音专业知识相关。
2019-07-02 cs.CL cs.LG cs.SD
Latent linguistic embedding for cross-lingual text-to-speech and voice conversion
National Institute of Informatics（国立信息学研究所）；SOKENDAI (The Graduate University for Advanced Studies)（综合研究大学院大学（高等研究生院大学））
由于最近提出的语音克隆系统，NAUTILUS，是能够克隆看不见的声音使用未转录的语音，我们调查的可行性，使用它来开发一个统一的跨语言的TTS/VC系统。跨语言语音生成是指用目标说话人的声音生成一种非母语的语音。这种类型的系统不是简单地克隆目标说话者的声音，而是在特定的框架下创建一个可以被认为比原始声音更好的新声音。通过使用经过良好训练的英语潜在语言嵌入来为2020年语音转换挑战赛中的几个德语，芬兰语和普通话使用者创建跨语言TTS和VC系统，我们表明我们的方法不仅可以创建具有高说话者相似性的跨语言VC，而且可以无缝地用于跨语言TTS，而无需执行任何额外的步骤。然而，主观评价的感知自然度似乎不同的目标扬声器，这是未来的改进之一。
2020-10-08 cs.CL cs.SD eess.AS
Cross-Lingual Machine Speech Chain for Javanese, Sundanese, Balinese, and Bataks Speech Recognition and Synthesis
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN Center for Advanced Intelligence Project AIP（理化学研究所高级智能项目AIP中心）
尽管印度尼西亚有700多种民族语言，但现有的技术仍然有限，无法支持土著社区内部以及与村庄以外的人的沟通。因此，土著社区由于文化障碍仍然面临孤立;语言继续消失。为了加快交流，语音到语音翻译（S2 ST）技术是一种可以克服语言障碍的方法。然而，S2 ST系统需要机器翻译（MT）、语音识别（ASR）和合成（TTS），这些都严重依赖于监督训练和广泛的语言资源，而这些资源很难从少数民族社区收集。最近，提出了一种机器语音链机制，使ASR和TTS相互协助的半监督学习。该框架最初只针对单语语言实施。在这项研究中，我们专注于发展语音识别和合成这些印尼民族语言：爪哇语，巽他语，巴厘语和巴塔克语。我们首先对标准印尼语的ASR和TTS分别进行了训练。然后，我们开发ASR和TTS的民族语言，利用印尼语ASR和TTS的跨语言机器语音链框架，只有文本或只有语音数据删除需要配对的语音文本数据的民族语言。
2020-11-04 cs.CL cs.SD eess.AS
Improve Cross-lingual Voice Cloning Using Low-quality Code-switched Data
NetEase Games AI Lab（网易游戏人工智能实验室）
最近，序列到序列（seq-to-seq）模型已经成功地应用于文本到语音（TTS）合成语音的单语言文本。为了合成多种语言的语音，通常需要来自目标说话人的多语言语音。然而，它是既费力又昂贵的收集高质量的目标说话人的多语种TTS数据。本文提出了利用非目标说话人的低质量语码转换数据来实现目标说话人的跨语言语音克隆。实验表明，我们提出的方法可以产生高质量的代码转换语音的目标声音在自然度和说话人一致性。更重要的是，我们发现，我们的方法可以实现一个比较的结果，最先进的（SOTA）的跨语言语音克隆的性能。
2022-11-17 cs.CL cs.SD eess.AS
Improving Cross-lingual Speech Synthesis with Triplet Training Scheme
Ximalaya Inc.（喜马拉雅公司）
跨语言文本到语音（TTS）的最新进展使单语者合成外语语音成为可能。然而，生成的跨语言语音的发音与本族语者的发音在自然度和可懂度方面仍有很大的差距。在本文中，提出了一种三元组训练方案，以提高跨语言的发音，允许以前看不见的内容和扬声器组合，以在训练过程中看到。所提出的方法引入了一个额外的微调阶段，在训练过程中的三重损失，这有效地绘制了合成的外国语音的发音更接近那些从本地锚扬声器，同时保留非本地扬声器的音色。实验进行了最先进的基线跨语言的TTS系统及其增强的变种的基础上。所有的客观和主观评价表明，该方法带来了显着的改善，在可懂度和自然度的合成跨语言的语音。
2022-02-22 cs.CL cs.SD eess.AS
Using IPA-Based Tacotron for Data Efficient Cross-Lingual Speaker Adaptation and Pronunciation Enhancement
University of St. Gallen（圣加仑大学）
最近的神经文本到语音（TTS）模型已被证明在足够的数据可用时表现得非常好。然而，在低资源设置中，针对新的扬声器或语言进行微调并不简单。在本文中，我们表明，通过对Tacotron模型进行微小的修改，可以使用仅20分钟的数据将现有的TTS模型传输给来自相同或不同语言的新说话者。为此，我们首先介绍了一个基本的多语言Tacotron与语言无关的输入，然后演示了如何迁移学习是做不同的情况下，扬声器自适应，而不利用任何预先训练的扬声器编码器或代码切换技术。我们从主观和客观两方面对转换后的模型进行了评价。
2022-03-31 cs.LG cs.SD eess.AS
Cross-lingual Text-To-Speech with Flow-based Voice Conversion for Improved Pronunciation
本文提出基于非注意力Tacotron与归一化流网络的端到端跨语言TTS方法，通过同一模型实现TTS与语音转换，在低资源场景下改善目标语言发音并取得优于基线的效果。
2024-02-27 cs.CL cs.LG cs.SD
ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech
Baidu Inc.（百度公司）；University of Chinese Academy of Sciences（中国科学院大学）；University of Waterloo（滑铁卢大学）；Oregon State University（俄勒冈州立大学）
语音表征学习提高了语音理解和语音合成任务的单一语言。然而，它在跨语言场景中的能力还没有被探索。在本文中，我们扩展了跨语言多说话人语音合成任务的预训练方法，包括跨语言多说话人语音克隆和跨语言多说话人语音编辑。我们提出了一个语音-文本联合预训练框架，在这个框架中，我们随机屏蔽了给定语音示例及其转录的声谱图和音素。通过学习重构不同语言输入的掩蔽部分，我们的模型比基于说话人嵌入的多说话人TTS方法有了很大的改进。此外，我们的框架对于训练和推理都是端到端的，无需任何微调。在跨语言多说话人语音克隆和跨语言多说话人语音编辑任务中，我们的实验表明，我们的模型优于基于说话人嵌入的多说话人TTS方法。
2022-12-04 cs.CL cs.SD eess.AS
Cross-Lingual Transfer Learning for Phrase Break Prediction with Multilingual Language Model
NAVER Cloud（NAVER云）
本文利用预训练多语言语言模型研究短语停顿预测的零样本与少样本跨语言迁移，证明其能低成本、有效地提升低资源语言TTS前端性能。
2023-06-05 cs.CL cs.SD eess.AS
Domain Mismatch Doesn't Always Prevent Cross-Lingual Transfer Learning
Amazon（亚马逊）；University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
没有标记的目标语言数据或平行文本的跨语言迁移学习在zero-shot跨语言分类、问答、无监督机器翻译等方面令人惊讶地有效。然而，最近的一些出版物声称域失配阻止了跨语言迁移，他们的研究结果表明，无监督双语词典归纳（UBLI）和无监督神经机器翻译（UNMT）当底层单语语料库来自不同的领域（例如，法文本来自维基百科，英文文本来自联合国会议记录）。在这项工作中，我们表明，一个简单的初始化方案可以克服大部分的影响域不匹配的跨语言迁移。我们在连接的领域不匹配语料库上预训练单词和上下文嵌入，并将其用作三个任务的初始化：MUSE UBLI，UN Parallel UNMT和SemEval 2017跨语言单词相似性任务。在所有情况下，我们的研究结果挑战先前工作的结论，表明适当的初始化可以恢复域不匹配所造成的损失的很大一部分。
2022-11-30 cs.CL
Cross-lingual Low Resource Speaker Adaptation Using Phonological Features
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信事业部）
最近提出了使用音位特征代替音素作为序列到序列TTS的输入的思想，用于zero-shot多语言语音合成。这种方法对于语码转换很有用，因为它有助于在母语文本流中无缝地说出嵌入的外语文本。在我们的工作中，我们训练一个语言无关的多说话人模型的条件下，一组不同语言的语音衍生功能，实现跨语言的扬声器自适应的目标。我们首先实验了语音相似性对几种源-目标语言组合的跨语言TTS的影响。随后，我们用一个新的说话者的声音在一个看到的或看不见的语言非常有限的数据微调模型，并实现同等质量的合成语音，同时保留目标说话者的身份。与32和8话语的目标说话人的数据，我们得到了较高的说话人相似性分数和自然度相媲美的相应文献。在只有2个可用的适应话语的极端情况下，我们发现我们的模型表现为一个Few-Shot学习者，因为在可见和不可见的适应语言场景中的性能是相似的。
2021-11-17 cs.CL cs.LG cs.SD
Cross-lingual Knowledge Distillation via Flow-based Voice Conversion for Robust Polyglot Text-To-Speech
Amazon（亚马逊）；Gdańsk University of Technology（格但斯克工业大学）
本文提出一种由上游VC模型和下游TTS模型组成的4阶段跨语言语音合成框架，通过流式语音转换进行知识蒸馏，在低资源等设置下优于训练大型多语言TTS模型的最先进方法。
2023-09-15 cs.CL cs.LG cs.SD
An Empirical Comparison of Vocabulary Expansion and Initialization Approaches for Language Models
Indian Institute of Technology Madras（印度马德拉斯理工学院）；National Institute of Information and Communications Technology, Japan（日本信息通信研究机构）；Indian Institute of Technology Bombay（印度孟买理工学院）；IT University of Copenhagen, Denmark（丹麦哥本哈根信息技术大学）；Microsoft India（微软印度公司）；Nilekani Centre at AI4Bharat（AI4Bharat的尼莱卡尼中心）
本文针对多语言语言模型分词器词汇扩展中的嵌入初始化问题，提出无需跨语言嵌入的约束 Word2Vec（CW2V）方法，并在 RoBERTa 和 LLaMA 2 上验证其与先进方法相当甚至更优。
2024-10-22 cs.CL cs.LG
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
IXA NLP Group（IXA 自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
最近的工作已经成功地学习跨语言的词嵌入没有并行数据映射单语嵌入到共享空间通过对抗训练。然而，他们的评估集中在有利的条件下，使用可比语料库或密切相关的语言，我们表明，他们往往在更现实的情况下失败。这项工作提出了一种替代方法的基础上，完全无监督的初始化，明确利用嵌入的结构相似性，和一个强大的自学习算法，迭代地改善这个解决方案。我们的方法在所有测试场景中都取得了成功，并在标准数据集中获得了最佳的结果，甚至超过了以前的监督系统。我们的实现作为一个开源项目发布在https://github.com/artetxem/vecmap上
2018-05-17 cs.AI cs.CL cs.LG
EmoAra: Emotion-Preserving English Speech Transcription and Cross-Lingual Translation with Arabic Text-to-Speech
MBZUAI（穆罕默德·本·拉希德智能技术研究所）
EmoAra通过整合语音情感识别、自动语音识别、机器翻译和文本到语音技术，实现英语语音转录与阿拉伯语音输出的跨语言翻译，保留情感细微差别。
2026-02-01 cs.CL
Cross-lingual and Multilingual Spoken Term Detection for Low-Resource Indian Languages
Microsoft Research India（微软印度研究院）；Microsoft Corporation（微软公司）
口语术语检测（STD）是在音频中搜索单词或短语的任务，给定文本或口语输入作为查询。在这项工作中，我们使用国家的最先进的印地语，泰米尔语和泰卢固语ASR系统跨语言的词汇口语检测在十个低资源的印度语言。由于在这些语言中没有公开可用的数据集用于口语术语检测，因此我们使用公开可用的TTS数据集创建一个新的数据集。我们报告了一个标准的指标STD，平均术语加权值（MTWV），并表明，ASR系统内置的的语言是语音相似的目标语言有更高的准确性，但是，它也有可能得到高MTWV分数不同的语言，通过使用一个宽松的电话匹配算法。我们提出了一种技术，引导的字形音素（g2p）之间的映射所有的语言正在考虑使用公开可用的资源。当我们结合多个ASR系统的输出时，当我们使用特定于语言的语言模型时，我们会获得收益。我们表明，它是可能的，以执行STD跨语言的zero-shot的方式，而不需要任何特定语言的语音数据。我们计划将STD数据集提供给其他对跨语言STD感兴趣的研究人员。
2020-11-12 cs.CL
Tacit-TTS: From Autoregressive Decoding to Masked Prediction for Efficient Transcript-Free Voice Cloning
Dolby Laboratories（杜比实验室）
针对自回归TTS延迟高、非自回归依赖转录的问题，提出Tacit-TTS，用掩码预测替代自回归解码，实现免转录零样本克隆，速度提升10倍以上，且支持跨语言与非词汇参考。
2026-10-01 cs.CL cs.SD eess.AS
Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion
Red Pill Lab（红丸实验室）
跨语言语音转换（VC）是指在源语和目标语使用不同语言的情况下，合成具有相同内容的目标语语音。它的挑战在于源数据和目标数据自然是非并行的，甚至很难在没有transmittance的情况下弥合语言之间的差距。在本文中，我们专注于知识转移从单语言ASR跨语言VC，以解决内容不匹配的问题。为了实现这一点，我们首先训练源语言的单语声学模型，使用它来提取VC数据集中所有语音的语音特征，然后训练Seq 2Seq转换模型来预测mel-声谱图。我们成功地解决了跨语言VC没有任何转录或特定语言的知识，为外国演讲。我们在Voice Conversion Challenge 2020数据集上进行了实验，结果表明，我们的说话者相关转换模型优于zero-shot基线，在跨语言转换的语音质量和说话者相似性方面实现了3.83和3.54的MOS。与Cascade ASR-TTS方法相比，我们提出的方法显著降低了跨语言转换和跨语言转换之间的MOS下降。
2020-09-30 cs.LG cs.SD eess.AS
Accent Analogy Guidance: More Speaker Similarity at Equal Accent in Cross-Lingual Voice Cloning
ESTsoft
针对跨语言语音克隆中的口音泄漏问题，提出训练无关的口音类比引导（AAG）方法，通过减去模型自身预测估计的口音方向，在保持口音不变的同时提升说话人相似度，并在多个开源TTS模型上验证了有效性。
2026-09-25 cs.CL cs.SD eess.AS
Learning to Speak from Text: Zero-Shot Multilingual Text-to-Speech with Unsupervised Text Pretraining
The University of Tokyo（东京大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种零样本多语言TTS方法，通过纯文本掩码语言模型预训练结合冻结语言感知嵌入层的监督微调，使低资源语言无需成对音频数据即可实现高可懂度语音合成，未见语言的字符错误率低于12%。
2023-05-27 cs.CL eess.AS
Generalization Measures for Zero-Shot Cross-Lingual Transfer
New York University（纽约大学）
针对零样本跨语言迁移中泛化能力难以评估的问题，本文研究参数方差、初始化距离及损失曲面锐度等度量，并提出稳定计算模型最优点锐度的新算法。
2024-09-08 cs.CL
Meta-Learning for Fast Cross-Lingual Adaptation in Dependency Parsing
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；King’s College London（伦敦国王学院）
元学习，或学习学习，是一种技术，可以帮助克服跨语言NLP问题中的资源短缺，使快速适应新的任务。我们应用模型不可知元学习（MAML）的跨语言依存句法分析的任务。我们在一组不同的语言上训练我们的模型，以学习可以快速适应新语言的参数初始化。我们发现，在少样本学习设置中，带有预训练的元学习可以显著提高语言迁移和标准监督学习基线的性能，这些基线用于各种看不见的、类型多样的和低资源的语言。
2022-03-23 cs.AI cs.CL
GlowVC: Mel-spectrogram space disentangling model for language-independent text-free voice conversion
Alexa AI（Alexa人工智能）
在本文中，我们提出了GlowVC：一个多语言多说话人流为基础的模型，语言无关的文本自由的语音转换。我们以Glow-TTS为基础，它提供了一种架构，可以在训练期间使用语言特征，而无需将其用于VC推理。我们考虑我们的模型的两个版本：GlowVC条件和GlowVC显式。GlowVC-条件化模型化具有说话者条件化流的梅尔频谱图的分布，并且将梅尔频谱图空间解缠结成内容和音高相关维度，而GlowVC-显式模型化具有无条件化流的显式分布，并且将所述空间解缠结成内容、音高和说话者相关维度。我们评估我们的模型的可懂度，扬声器的相似性和自然度内和跨语言转换在看到和看不见的语言。GlowVC模型在可懂度方面大大优于AutoVC基线，同时在语内VC中实现了同样高的说话人相似性，在跨语言设置中略差。此外，我们证明了GlowVC-显式在自然性方面优于GlowVC-条件和AutoVC。
2022-07-04 cs.CL cs.LG eess.AS
ZmBART: An Unsupervised Cross-lingual Transfer Framework for Language Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Shizuoka University（静冈大学）；NVIDIA（英伟达）
尽管NLP研究取得了很大进展，但自然语言生成的跨语言迁移研究相对较少。在这项工作中，我们转移监督从高资源语言（HRL）到多个低资源语言（LRL）的自然语言生成（NLG）。我们考虑了四个NLG任务（文本摘要，问题生成，新闻标题生成和干扰词生成）和三种句法不同的语言，即，英语、印地语和日语。我们提出了一个无监督的跨语言语言生成框架（称为ZmBART），不使用任何并行或伪并行/回译数据。在这个框架中，我们使用三种语言的单语数据进一步预训练mBART序列到序列去噪自动编码器模型和辅助任务。辅助任务的目标函数接近目标任务，丰富了mBART的多语言潜在表征，为目标任务提供了良好的初始化。然后，该模型使用特定于任务的监督英语数据进行微调，并在Zero-shot设置中直接使用低资源语言进行评估。为了克服灾难性遗忘和虚假相关问题，我们分别采用冻结模型组件和数据论证方法。这种简单的建模方法给了我们很有希望的结果。我们尝试了Few-Shot训练（1000个监督数据点），这进一步提高了模型的性能。我们进行了几次消融和跨语言可转移性分析，以证明ZmBART的稳健性。
2021-06-03 cs.AI cs.CL cs.LG
Unify and Conquer: How Phonetic Feature Representation Affects Polyglot Text-To-Speech (TTS)
Alexa AI, Amazon（亚马逊Alexa人工智能部门）
多语言神经文本转语音（NTTS）系统的一个重要设计决策是如何在模型中表示输入语言特征。纵观文献中各种各样的方法，出现了两种主要的范式，统一和单独的表示。前者使用跨语言的共享语音标记集，而后者使用每种语言的唯一语音标记。在本文中，我们进行了一项全面的研究，比较了两种表示训练的多语言NTTS系统模型。我们的研究结果表明，统一的方法始终实现更好的跨语言合成的自然度和口音。单独的表示往往比统一的表示具有多一个数量级的标记，这可能会影响模型容量。出于这个原因，我们进行了消融研究，以了解表征类型与令牌嵌入大小的相互作用。我们发现，这两种范式之间的差异只出现在一定的阈值嵌入大小。这项研究提供了强有力的证据表明，统一的表示应该是首选的范式时，建立多语言NTTS系统。
2022-07-04 cs.CL eess.AS
Crosslingual Embeddings are Essential in UNMT for Distant Languages: An English to IndoAryan Case Study
IIT Bombay（印度理工学院孟买分校）；IBM Research（IBM研究院）
无监督神经机器翻译（UNMT）的最新进展已经最小化了密切相关语言对的监督和无监督机器翻译性能之间的差距。然而，对于遥远的语言对来说，情况就大不相同了。缺乏词汇重叠和低句法相似性，如英语和印度-雅利安语之间的语言导致现有的UNMT系统的翻译质量差。在本文中，我们证明了使用跨语言嵌入初始化UNMT模型的嵌入层，与使用随机初始化嵌入的现有方法相比，BLEU得分有显着改善。此外，与在训练期间更新嵌入层权重（非静态）相比，静态嵌入（冻结嵌入层权重）会带来更好的增益。我们实验使用掩蔽序列到序列（MASS）和去噪自动编码器（DAE）UNMT方法对三个遥远的语言对。所提出的跨语言嵌入初始化产生的BLEU分数提高多达十倍的基线英语-印地语，英语-孟加拉语，英语-古吉拉特语。我们的分析表明，跨语言嵌入的重要性，方法之间的比较，以及这些系统的改进范围。
2021-06-09 cs.CL cs.LG
MParrotTTS: Multilingual Multi-speaker Text to Speech Synthesis in Low Resource Setting
Kohli Centre on Intelligent Systems, IIIT Hyderabad（海得拉巴国际信息技术学院科利智能系统中心）；TCS Research（塔塔咨询服务公司研究部）
本文提出MParrotTTS模型，利用自监督语音表示的模块化训练范式，在低资源下实现高质量多语言多说话人TTS及跨语言声音转换，仅用少量监督数据即超越现有基线。
2023-05-19 cs.CL cs.LG cs.SD
DistilXLSR: A Light Weight Cross-Lingual Speech Representation Model
Tsinghua University（清华大学）；TAL Education（好未来教育）
本文提出轻量级蒸馏模型 DistilXLSR，通过音素随机打乱和跳层初始化，仅用英语数据压缩跨语言语音表示模型，在15种低资源语言上实现50%参数削减并保持表示能力。
2023-06-02 cs.CL cs.SD eess.AS
A multilingual training strategy for low resource Text to Speech
ENSIAS, Mohammed V University in Rabat（拉巴特穆罕默德五世大学ENSIAS学院）；International University of Rabat（拉巴特国际大学）；University of Leeds（利兹大学）；Sorbonne Université（索邦大学）
本文研究利用社交媒体数据和跨语言迁移学习训练低资源语言TTS模型，发现多语言预训练在语音可懂度和自然度上优于单语预训练。
2024-09-02 cs.CL cs.LG cs.SD
Discovering Language-neutral Sub-networks in Multilingual Language Models
EPFL（洛桑联邦理工学院）
多语言预训练的语言模型在跨语言下游任务中迁移得非常好。然而，他们学习语言中性表征的程度（即，不同语言之间编码相似现象的共享表征），以及这种表征对跨语言迁移表现的影响，仍然是悬而未决的问题。在这项工作中，我们将多语言模型的语言中立性概念化为这些模型的语言编码子网络之间重叠的函数。我们采用彩票假设来发现针对各种语言和任务进行单独优化的子网络。我们对三个不同的任务和11种不同类型的语言的评估表明，不同语言的子网络在拓扑上是相似的（即，语言中立的），使它们成为性能降低有限的跨语言迁移的有效初始化。
2022-10-30 cs.CL
Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
基于预训练的调优已被证明对预训练的语言模型（PLM）是有效的。虽然大多数现有的工作集中在单语提示，我们研究多语种PLM的多语种提示，特别是在zero-shot跨语言设置。为了减轻为多种语言设计不同提示的努力，我们提出了一种新的模型，该模型使用统一的提示所有语言，称为UniPrompt。与离散提示和软提示不同，统一提示是基于模型的，与语言无关。具体地说，统一的提示是由一个多语言的PLM初始化，以产生语言无关的表示，之后与文本输入融合。在推理过程中，提示可以预先计算，因此不需要额外的计算成本。为了配合统一提示，我们提出了一种新的初始化方法的目标标签词，以进一步提高模型的跨语言的可移植性。大量的实验表明，我们提出的方法可以显着优于不同语言的强基线。我们发布数据和代码，以促进未来的研究。
2022-10-17 cs.CL
Towards Quantifying and Reducing Language Mismatch Effects in Cross-Lingual Speech Anti-Spoofing
KLASS Engineering and Solutions（KLASS工程与解决方案公司）；The Hong Kong Polytechnic University（香港理工大学）
本文针对跨语言语音反欺骗中的语言不匹配问题，提出基于口音的数据扩展方法ACCENT，在12种语言、超300万样本上验证其可将不匹配效应降低超过15%。
2024-09-12 cs.AI cs.CL cs.SD
Combining speakers of multiple languages to improve quality of neural voices
Apple（苹果公司）
在这项工作中，我们探索了多种架构和训练程序，以开发一个多说话人和多语言的神经TTS系统，其目标是a）当目标语言的可用数据有限时提高质量，b）实现跨语言合成。我们报告了一个大型实验的结果，该实验使用了15个不同地区的8种不同语言的30名扬声器。该系统在每个扬声器相同的数据量上进行训练。与单说话者模型相比，当所建议的系统被微调到说话者时，它在大多数情况下产生明显更好的质量，而它仅使用少于用于构建单说话者模型的说话者数据的$40\%$。在跨语言合成中，平均而言，生成的质量在本地单说话者模型的$80\%$内，就平均意见得分而言。
2021-08-17 cs.CL cs.SD eess.AS
Sequential Adapter Stacking for Cross-Lingual Low-Resource ASR
University of Cambridge（剑桥大学）
针对Whisper跨语言低资源ASR，提出顺序适配器堆叠方法，在冻结源适配器上训练目标适配器，在三种语言上较全微调显著降低WER 5-8%。
2026-09-15 cs.CL
Building a mixed-lingual neural TTS system with only monolingual data
在部署中文神经文本到语音（TTS）合成系统时，挑战之一是合成嵌入有英语短语或单词的中文话语。本文探讨的问题，在编码器-解码器框架时，只有单语数据从目标扬声器。具体来说，我们从两个方面来看待这个问题：说话人在话语中的一致性和自然性。我们从一个平均语音模型开始研究，该模型是由多说话人的单语数据，即普通话和英语数据建立的。在此基础上，我们研究了说话人嵌入的说话人一致性和音素嵌入的自然度和可理解性，并研究了模型训练的数据选择。我们报告的结果，并讨论了挑战，建立一个混合语言的TTS系统，只有单语数据。
2019-08-22 cs.CL cs.SD eess.AS
Efficient Language Model Training through Cross-Lingual and Progressive Transfer Learning
DFKI GmbH（德国人工智能研究中心）
大多数Transformer语言模型主要在英语文本上进行预训练，限制了它们对其他语言的使用。随着模型大小的增加，英语与其他计算和数据资源较少的语言之间的性能差距进一步扩大。因此，需要采用资源效率更高的培训方法，以弥补可用资源较少的语文的差距。为了解决这个问题，我们引入了一种跨语言和渐进式的迁移学习方法，称为CLP-迁移，它将模型从源语言转移到新的目标语言，其中预训练的模型是公开可用的，如英语。相对于以前的工作，这集中在两种语言之间的跨语言迁移，我们扩展到模型大小的传输。给定源语言中的预训练模型，我们的目标是在目标语言中获得相同大小的模型。我们不是从头开始训练模型，而是利用一个更小的模型，这个模型使用目标语言，但需要的资源要少得多。然后，小模型和源模型都用于基于源语言和目标语言的重叠词汇来初始化较大模型的标记嵌入。所有剩余的权重都将在源语言中从模型中重用。这种方法优于单一的跨语言迁移，并且与随机初始化相比可以节省高达80%的训练步骤。
2023-01-23 cs.AI cs.CL
Unseen Speaker and Language Adaptation for Lightweight Text-To-Speech with Adapters
本文针对轻量级文本转语音系统，通过适配器实现未见说话人和语言的跨语言适配，避免灾难性遗忘，提出口音母语程度的客观指标，并分析适配器配置等因素的影响。
2025-08-25 cs.CL cs.LG cs.SD
Code-Mixed Text to Speech Synthesis under Low-Resource Constraints
Flipkart（Flipkart公司）
本文提出利用单语数据集和音译模型构建低资源约束下的印地语-英语语码混合TTS系统，并通过单说话人自适应、迁移学习及仅解码器微调等方法提升性能，仅需3小时数据即可接入新语音。
2023-12-02 cs.LG
Unsupervised Word Translation Pairing using Refinement based Point Set Registration
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
词嵌入的跨语言对齐在跨语言知识传递中起着重要作用，用于改进机器翻译和其他多语言应用。目前的无监督方法依赖于跨语言的词嵌入空间的几何结构的相似性，使用对抗网络和细化策略来学习保持结构的线性变换。然而，在实践中，这样的技术往往遭受不稳定性和收敛问题，需要繁琐的微调精确的参数设置。本文提出了BioSpere，一种新的框架，用于无监督映射的双语词嵌入到一个共享的向量空间，通过结合对抗初始化和细化过程与点集配准算法用于图像处理。我们表明，我们的框架弥补了现有方法的缺点，并且对可变对抗学习性能相对不变，在参数选择和训练损失方面具有鲁棒性。并行词典归纳任务的实验评估表明，我们的框架在不同的语言对的最先进的结果。
2020-11-26 cs.AI cs.CL
Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech
King Abdullah University of Science and Technology (KAUST)（卡塔尔国王 Abdullah 科学与技术大学）；Department of Linguistics, University of Kashmir（克什米尔大学语言学系）；National Institute of Technology Srinagar（锡里纳加尔国家理工学院）
Bolbosh通过脚本感知和监督流式适应，实现了库车语语音合成的突破性进展。
2026-03-08 cs.CL
CML-TTS A Multilingual Dataset for Speech Synthesis in Low-Resource Languages
UFG（戈亚斯联邦大学）
本文提出CML-TTS多语言语音合成数据集，基于MLS覆盖七种语言，并训练YourTTS模型，旨在推动低资源多语言TTS研究。
2023-06-16 cs.AI cs.CL eess.AS
Embedding structure matters: Comparing methods to adapt multilingual vocabularies to new languages
University of Washington（华盛顿大学）
本文针对多语言模型语言适配中跨语言词汇表计算成本高的问题，提出多种紧凑语言特定词汇表替换及嵌入矩阵重新初始化技术，并通过系统实验证明其能高效提升低资源语言性能，且简单方法可与Focus方法相媲美。
2023-10-26 cs.CL
Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）；Shanghai University of Finance and Economics（上海财经大学）；Texas A&M University（德州农工大学）
本文证明了多语言预训练和多语言微调对于促进zero-shot翻译中的跨语言迁移至关重要，其中神经机器翻译（NMT）模型在监督训练期间看不到的源语言上进行测试。根据这一想法，我们提出了SixT+，这是一个强大的多对英语NMT模型，支持100种源语言，但只使用六种源语言的并行数据集进行训练。SixT+使用XLM-R large初始化解码器嵌入和完整编码器，然后使用简单的两阶段训练策略训练编码器和解码器层。SixT+在多对英翻译方面取得了令人印象深刻的性能。它明显优于CRISS和m2m-100，这两个强大的多语言NMT系统，平均增益分别为7.2和5.0 BLEU。此外，SixT+提供了一组模型参数，可以进一步微调到其他无监督任务。我们证明，添加SixT+初始化的性能优于Si En和Ne En上最先进的显式设计的无监督NMT模型<-><->，平均BLEU超过1.2。当应用于zero-shot跨语言抽象摘要时，它产生比mBART-ft平均12.3 ROUGE-L的性能增益。我们进行了详细的分析，以了解SixT+的关键成分，包括辅助并行数据的多语言性，位置解纠缠编码器及其编码器的跨语言可移植性。
2022-04-13 cs.CL
StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation
The Chinese University of Hong Kong, China（香港中文大学）；Nara Institute of Science and Technology（奈良科学技術大学）
提出StressTransfer系统，利用LLM将源语言词级压力转为目标语言标签以指导TTS，通过自动数据生成和LLM-as-Judge评估，在保留强调的同时维持翻译质量与自然度。
2025-10-15 cs.AI cs.CL
Learning to Learn Morphological Inflection for Resource-Poor Languages
New York University（纽约大学）
我们建议铸造的任务形态变形-映射一个词元到一个指示的变形形式-资源贫乏的语言作为一个元学习问题。将每种语言视为一个单独的任务，我们使用来自高资源源语言的数据来学习一组模型参数，这些参数可以作为对资源贫乏的目标语言进行微调的强大初始化点。在3个语言家族的29种目标语言上进行的实验表明，我们提出的方法优于所有基线。特别是，它获得了比先前提出的跨语言迁移模型高31.7%的绝对准确度，并且在语言上平均超过1.7%的绝对准确度。
2020-04-28 cs.CL
CrossVoice: Crosslingual Prosody Preserving Cascade-S2ST using Transfer Learning
Indraprastha Institute of Information Technology（因德拉普拉斯塔信息技术学院）
本研究提出新型级联式跨语言语音翻译系统CrossVoice，借助迁移学习保留跨语言韵律，实验证明其在翻译质量、韵律保留及自然度上表现优异，验证了该技术路线的有效性。
2024-06-18 cs.CL cs.SD eess.AS
End to end Hindi to English speech conversion using Bark, mBART and a finetuned XLSR Wav2Vec2
MES College of Engineering, Pune, India（浦那MES工程学院）；Florida State University, USA（佛罗里达州立大学）；Technische Hochschule Ingolstad, Germany（英戈尔施塔特应用技术大学）
本文提出一个端到端印地语到英语语音转换框架，集成 XLSR Wav2Vec2、mBART 和 TTS 组件，实现从印地语语音到合成英语音频的无缝跨语言转换。
2024-01-11 cs.AI cs.CL cs.LG
AdaDurIAN: Few-shot Adaptation for Neural Text-to-Speech with DurIAN
Tencent（腾讯）
本文研究了如何利用基于DuIAN的平均模型，使一个新的发言人既有准确的发音和流利的跨语言说话非常有限的单语数据。最近提出的端到端文本到语音（TTS）系统的一个弱点是，很难实现鲁棒的对齐，这阻碍了它的规模以及非常有限的数据。为了解决这个问题，我们通过训练改进的基于DuriAN的平均模型来引入AdaDuIAN，并利用它来跨不同扬声器共享与扬声器无关的内容编码器进行少样本学习。在我们的实验中，几个少样本学习任务表明AdaDurIAN可以大大优于基线端到端系统。主观评价也表明，AdaDurIAN产生更高的平均意见得分（MOS）的自然度和更多的偏好的说话人相似性。此外，我们还将AdaDuIAN应用于情绪转移任务，并展示了其良好的性能。
2020-05-12 cs.CL cs.SD eess.AS
Leveraging Parameter-Efficient Transfer Learning for Multi-Lingual Text-to-Speech Adaptation
Beijing University of Posts and Telecommunications（北京邮电大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出将适配器和超网络等参数高效迁移学习方法与TTS架构集成，仅用约2.5%可调参数即实现与全量微调相当或更优的多语言语音合成性能。
2024-06-25 cs.CL cs.SD eess.AS
WECHSEL: Effective initialization of subword embeddings for cross-lingual transfer of monolingual language models
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
大型预训练语言模型（LM）已经成为许多NLP应用程序的核心构建块。训练这些模型需要更多的计算资源，并且大多数现有模型仅在英文文本上训练。用其他语言训练这些模特是极其昂贵的。为了缓解这个问题，我们引入了一种新的方法-称为WECHSEL -来有效地将预训练的LM转换为新的语言。WECHSEL可以应用于任何使用基于子词的标记化并为每个子词学习嵌入的模型。源模型（英语）的标记化器被替换为目标语言的标记化器，并且通过利用覆盖英语和目标语言的多语言静态词嵌入来初始化标记嵌入，使得它们在语义上类似于英语标记。我们使用WECHSEL将英文版的RoBERTA和GPT-2模型转换为四种语言（法语、德语、中文和斯瓦希里语）。我们还研究了我们的方法对资源非常少的语言的好处。WECHSEL改进了所提出的跨语言参数传输方法，并优于从头开始训练的可比大小的模型，训练工作量减少了64倍。我们的方法使得为新语言训练大语言模型更容易，对环境的破坏更小。我们公开我们的代码和模型。
2022-05-04 cs.CL
UniBridge: A Unified Approach to Cross-Lingual Transfer Learning for Low-Resource Languages
VinAI Research（VinAI研究院）；Nanyang Technological University（南洋理工大学）；Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学）；VNU-HCM（胡志明市国家大学）
本文提出UniBridge，通过优化嵌入初始化和词汇表大小，提升低资源语言的跨语言迁移学习效果，实验显示F1分数显著提高。
2024-08-21 cs.CL
LatinX: Aligning a Multilingual TTS Model with Direct Preference Optimization
本文提出LatinX，一种三阶段训练的多语言TTS模型，通过DPO对齐降低WER并提升说话人相似度，在跨语言语音翻译中优于基线XTTSv2。
2025-09-06 cs.CL
Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese Speech Generation via Data Scaling and Targeted Data Synthesis
SB Intuitions
针对日语汉字多音问题，提出Sarashina2.2-TTS系统，通过扩展训练数据至36.1万小时并设计覆盖全部常用汉字的针对性数据增强管道，显著提升读音准确率，在零样本日语语音合成中达到最高说话人相似度。
2026-06-26 cs.AI cs.CL cs.SD
Giving Voice to the Constitution: Low-Resource Text-to-Speech for Quechua and Spanish Using a Bilingual Legal Corpus
Northeastern University, USA（东北大学）；Universitat Pompeu Fabre, Spain（庞培法布雷大学）；Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心）
本文提出统一管道，利用三种先进文本到语音架构生成高质量的秘鲁宪法Quechua和西班牙语音频，通过双语和多语TTS能力提升两种语言的合成质量，缓解Quechua数据稀缺问题，同时保持西班牙语音的自然性。
2026-04-14 cs.AI cs.CL cs.DL
