Generative Pre-Training for Speech with Autoregressive Predictive Coding
从未注释的语音中学习适用于广泛任务的有意义的和一般的表示仍然具有挑战性。在本文中，我们建议使用自回归预测编码（APC），最近提出的自我监督的目标，作为一种生成的预训练方法学习有意义的，非特定的，可转移的语音表示。我们在大规模未标记数据上预训练APC，并在三个语音应用程序上进行迁移学习实验，这些应用程序需要关于语音特征的不同信息才能表现良好：语音识别，语音翻译和说话人识别。大量的实验表明，APC不仅优于表面特征（例如，log Mel spectrograms）和其他流行的表示学习方法，但在减少下游标记数据大小和模型参数方面也很有效。我们还研究了使用Transformers对APC进行建模，并发现它优于RNN。
2020-01-26 cs.CL cs.LG cs.SD
Speaker-Sensitive Dual Memory Networks for Multi-Turn Slot Tagging
Amazon Alexa Brain（亚马逊Alexa Brain）；Microsoft Research（微软研究院）
在多轮对话中，自然语言理解模型由于对上下文信息视而不见而可能引入明显的错误。为了整合对话历史，我们提出了一个具有说话者敏感双记忆网络的神经架构，该网络根据说话者的不同对话语进行不同的编码。这解决了系统可用信息的不同程度-系统只知道用户话语的表面形式，而它具有系统输出的确切语义。我们对商业个人助理Microsoft Cortana的真实用户数据进行了实验。结果表明，使用上下文信息的最先进的槽标记模型的性能显着提高。
2017-11-29 cs.CL
NVAlign: Direct-Gradient Optimization for Non-Verbal Control in Continuous Autoregressive Flow Matching Text-to-Speech
NVAlign通过直接梯度优化，在连续自回归流匹配TTS中实现对非语言发声标签的精确控制，优于现有基线。
2026-09-29 cs.AI cs.CL cs.SD
Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition
本文提出GenSEC挑战，通过大语言模型提升语音识别、说话人标注和情感识别任务的准确性与实用性。
2024-10-18 cs.AI cs.CL cs.LG
Character Transformations for Non-Autoregressive GEC Tagging
Charles University（查理大学）
我们提出了一个基于字符的非自回归GEC方法，自动生成的字符转换。最近，校正编辑的每字分类已被证明是当前编码器-解码器GEC系统的有效的、可并行化的替代方案。我们发现，单词替换编辑可能是次优的，并导致爆炸的规则拼写，变音符号和错误的形态丰富的语言，并提出了一种方法，从GEC语料库生成字符转换。最后，我们训练字符转换模型，捷克，德国和俄罗斯，达到坚实的结果和显着的加速相比，自回归系统。源代码发布于https://github.com/ufal/wnut2021_character_transformations_gec。
2021-11-17 cs.CL
Semi-supervised acoustic model training for speech with code-switching
Radboud University（拉德堡德大学）；SRI International（SRI国际）
在FAME！项目，我们的目标是开发一个自动语音识别（ASR）系统的弗里斯兰语，荷兰语代码转换（CS）语音提取的档案，当地广播公司的最终目标是建立一个口语文档检索系统。与荷兰语不同，弗里斯兰语是一种低资源语言，只有非常有限的手动注释语音数据。在本文中，我们描述了几种自动注释方法，使大量的原始双语广播数据的声学模型训练中的半监督设置。之前，已经表明，通过使用11小时的手动注释的CS语音（参考）数据以及来自其他高资源语言的语音数据进行两阶段多语言深度神经网络（DNN）训练，可以获得性能最佳的ASR系统。我们比较了这个双语ASR系统与其他几种方法，使用语言识别系统分配语言标签的原始语音段在前端和使用单语ASR资源转录的transmittance提供的质量。我们进一步研究自动注释的扬声器出现在原始广播数据中，首先标记（伪）扬声器标签使用扬声器日记系统，然后链接到已知的扬声器出现在使用扬声器识别系统的参考数据。这些扬声器标签是必不可少的扬声器自适应训练在建议的设置。我们使用手动和自动标注的数据训练声学模型，并在FAME的开发和测试数据上运行识别实验！语音语料库来量化自动注释的质量。ASR和CS检测结果表明，在半监督双语声学模型训练中使用自动语言和说话人标记的潜力。
2018-10-23 cs.CL
Neural Diarization with Non-autoregressive Intermediate Attractors
LINE Corporation（LINE公司）；Waseda University（早稻田大学）
基于编码器-解码器的吸引子（EDA）的端到端神经日志化（EEND）是一种很有前途的方法，可以用单个神经网络同时处理整个说话人日志化问题。虽然EEND模型可以同时产生所有帧级扬声器标签，但它忽略了输出标签依赖性。在这项工作中，我们提出了一种新的EEND模型，引入了帧之间的标签依赖。所提出的方法产生非自回归中间吸引子，以产生扬声器标签在较低的层和条件的后续层与这些标签。虽然该模型以非自回归方式工作，但通过参考整个中间标签序列来细化说话人标签。在双说话人CALLHOME数据集上的实验表明，具有所提出的非自回归中间吸引子的中间标签提高了日记化性能。与EEND-EDA相比，所提出的具有更深网络的方法更多地受益于中间标签，从而获得更好的性能和训练吞吐量。
2023-03-13 cs.CL cs.SD eess.AS
Incomplete Utterance Rewriting as Sequential Greedy Tagging
SF Technology Co., Ltd.（顺丰科技有限公司）
针对不完整话语重写中上下文信息提取困难的问题，提出融合说话人感知嵌入的序列贪心标注模型，在九项恢复指标上取得最优结果，并提升推理速度。
2023-07-08 cs.CL cs.LG
Non-autoregressive sequence-to-sequence voice conversion
TARVO Inc.（TARVO公司）；Nagoya University（名古屋大学）
提出了一种基于非自回归序列到序列（NAR-S2 S）模型的语音转换方法。受NAR-S2 S模型在文本到语音（TTS）中的巨大成功的启发，我们扩展了FastSpeech 2模型用于VC问题。我们引入了卷积增强的Transformer（Conformer）而不是Transformer，从而可以从输入序列中捕获局部和全局上下文信息。此外，我们将方差预测器扩展到方差转换器，以显式地将源说话人的韵律成分（如音高和能量）转换为目标说话人。与日本说话人数据集，其中包括男性和女性说话人的1,000个话语的实验评估表明，所提出的模型使我们能够执行更稳定，更快，更好的转换比自回归S2 S（AR-S2 S）模型，如Tacotron 2和Transformer。
2021-04-14 cs.CL cs.SD eess.AS
Sortformer: A Novel Approach for Permutation-Resolved Speaker Supervision in Speech-to-Text Systems
nvidia
本文提出 Sortformer 模型，通过 Sort Loss 解决说话人置换问题，并构建多说话人语音转文本架构，利用正弦核嵌入说话人标签，实验证明其能提升说话人分离与多说话人转录准确率。
2025-07-19 cs.CL cs.LG cs.SD
An Unsupervised Autoregressive Model for Speech Representation Learning
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的无监督自回归神经模型学习通用语音表示。与其他旨在去除噪声或说话人可变性的语音表示学习方法相比，我们的方法旨在为广泛的下游任务保留信息。此外，该模型不需要任何语音或词边界标签，使该模型能够受益于大量未标记的数据。通过我们的模型学习的语音表示显著提高了电话分类和说话人验证的性能，超过了表面特征和其他监督和无监督方法。进一步的分析表明，我们的模型在不同层捕获了不同级别的语音信息。特别是，较低的层往往对说话者更具辨别力，而较高的层提供更多的语音内容。
2019-06-19 cs.CL cs.LG cs.SD
Vocal Tract Length Perturbation for Text-Dependent Speaker Verification with Autoregressive Prediction Coding
Indian Institute of Information Technology（印度信息技术学院）；Aalborg University（奥尔堡大学）
在这封信中，我们提出了一个声道长度（Vocal Tract Length，VQ）扰动方法的文本相关的说话人确认（TD-SV），其中一组TD-SV系统的训练，每个VQ因子一个，和分数级融合应用于作出最终决定。接下来，我们探索通过训练具有自监督目标的深度神经网络提取的瓶颈（BN）特征，自回归预测编码（APC），用于TD-SV，并将其与研究良好的说话人判别BN特征进行比较。然后将该方法应用于APC和说话人判别BN特征。最后，我们将在MFCC上训练的微扰系统与分数域中的两个BN特征相结合。实验在TD-SV的RedDots挑战2016数据库上进行，使用高斯混合模型-通用背景模型和i-vector技术的短话语。结果表明，所提出的方法显着优于基线。
2021-03-25 cs.CL cs.SD eess.AS
Streaming Punctuation for Long-form Dictation with Transformers
Microsoft Corporation（微软公司）
虽然语音识别单词出错率（WER）已经达到了英语的人类平等，但长形式听写场景仍然遭受由不规则暂停模式或缓慢说话者引起的分段和标点问题。Transformer序列标记模型在捕获长双向上下文方面是有效的，这对于自动标点至关重要。然而，自动语音识别（ASR）生成系统受到实时要求的限制，使得在做出标点决定时难以结合正确的上下文。在本文中，我们提出了一个流的方法，使用动态解码窗口的ASR输出的标点符号或重新标点符号，并衡量其对标点符号和分割精度的影响跨场景。新系统解决了过度分割问题，将分割F0.5分数提高了13.9%。流标点符号实现了机器翻译（MT）下游任务的平均BLEU分数提高0.66。
2022-12-06 cs.CL
CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents
Shanghai Innovation Institute（上海创新研究院）；OPPO AI Center（OPPO人工智能中心）；Fudan University（复旦大学）
CuteTTS是结合语义对齐因果VAE隐变量等的连续自回归TTS系统，经引导步蒸馏后，在保持相当质量的同时降低了延迟，实现了高保真与低延迟的平衡。
2026-08-27 cs.AI cs.CL cs.SD
Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog
Facebook（脸书）
与传统的基于单词标记的模型相比，使用序列到序列模型的语义解析允许解析更深的表示。尽管有这些优势，但这些模型在实时会话用例中的广泛采用受到更高计算要求和更高延迟的阻碍。在这项工作中，我们提出了一个非自回归的方法来预测语义解析树与一个有效的seq2seq模型架构。通过将非自回归预测与卷积神经网络相结合，与传统的RNN模型相比，我们实现了显着的延迟增益和参数大小减小。我们的新架构在TOP数据集上实现了高达81%的延迟减少，并在三个不同的语义解析数据集上保持了与非预训练模型的竞争性能。我们的代码可在https://github.com/facebookresearch/pytext上获得
2021-04-11 cs.CL cs.LG
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
DiffListener: Discrete Diffusion Model for Listener Generation
Artificial Intelligence Graduate School, UNIST（蔚山科学技术院人工智能研究生院）
针对听者头部生成任务中现有方法模态有限或自回归误差累积问题，提出DiffListener离散扩散模型，结合说话者多模态输入与面部差分信息，实现非自回归连贯反应生成并获最优性能。
2025-02-05 cs.CL cs.GR cs.LG
StreamMel: Real-Time Zero-shot Text-to-Speech via Interleaved Continuous Autoregressive Modeling
College of Computer Science, Nankai University（南开大学计算机科学学院）；Microsoft Corporation（微软公司）
针对现有零样本TTS多为离线设计、流式方案性能欠佳的问题，提出单阶段流式框架StreamMel，通过文本与声学帧交错的连续自回归建模实现低延迟高质量合成，性能媲美离线系统，适配实时语音大模型集成需求。
2025-06-14 cs.CL cs.SD eess.AS
DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation
ByteDance Seed（字节跳动种子）
DiTAR通过结合语言模型和扩散变换器，提出一种基于补丁的自回归框架，有效提升连续语音生成的效率与质量。
2025-12-08 cs.AI cs.CL cs.LG
Effect of data reduction on sequence-to-sequence neural TTS
基于自回归神经网络模型的采样的最近的语音合成系统可以生成几乎与人类记录无法区分的语音。然而，这些模型需要大量的数据。本文表明，从一个扬声器的数据不足，可以补偿与其他扬声器的数据。在来自7个说话人的5k个话语的混合上训练的Tacotron 2类模型的自然度优于在15k个话语上训练的说话人相关模型，但在稳定性方面，多说话人模型总是更稳定。我们还证明，仅将来自目标说话者的1250个话语与来自另外6个说话者的5k个话语混合的模型可以产生比最先进的DNN引导的单元选择系统更好的质量，该系统在来自目标说话者的10倍以上的数据上进行训练。
2018-11-23 cs.CL eess.AS
Leveraging Pretrained Word Embeddings for Part-of-Speech Tagging of Code Switching Data
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技亚马逊人工智能）
语码转换（英语：Linguistic Code Switching，CS）是一种多语言使用者在一次对话中在两种或多种语言/方言之间交替使用的现象。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这些技术一次只处理一种语言。在本文中，我们解决的问题，词性标注（POS）的语言代码转换（CS）的背景下。我们探索利用多个神经网络架构来衡量不同的预训练嵌入方法对POS标记CS数据的影响。我们调查了四个CS语言对，西班牙语-英语，印度语-英语，现代标准阿拉伯语-埃及阿拉伯语方言（MSA-EGY）和现代标准阿拉伯语-黎凡特阿拉伯语方言（MSA-LEV）的景观。我们的研究结果表明，多语言嵌入（例如，MSA-EGY和MSA-LEV）帮助密切相关的语言（EGY/LEV），但增加了噪音的语言是遥远的（SPA/HIN）。最后，我们表明，我们提出的模型优于最先进的CS标记MSA-EGY语言对。
2019-05-31 cs.CL
Part of speech tagging for code switched data
The George Washington University（乔治华盛顿大学）；University of Houston（休斯顿大学）；Columbia University（哥伦比亚大学）
我们解决的问题的词性标注（POS）的语言代码转换（CS）的上下文中。语篇转换是说话者在两种语言或同一语言的变体之间进行转换的现象，分别称为语篇内语篇转换或语篇间语篇转换。考虑到最先进的单语NLP技术，处理CS数据在内部数据中尤其具有挑战性，因为这种技术适合于一次处理一种语言。在本文中，我们探讨了多种策略，应用国家的最先进的POS标记CS数据。我们调查的景观在两个CS语言对，西班牙语-英语和现代标准阿拉伯语-阿拉伯语方言。我们比较了使用两个POS标签与统一的标签CS数据上训练。我们的研究结果表明，应用机器学习框架，使用两个国家的最先进的POS标签实现了更好的性能相比，我们调查的所有其他方法。
2019-11-03 cs.CL
SEF-VC: Speaker Embedding Free Zero-Shot Voice Conversion with Cross Attention
Shanghai Jiao Tong University（上海交通大学）
针对零样本语音转换中说话人相似度不足的问题，提出无需说话人嵌入的SEF-VC模型，通过位置无关交叉注意力融合参考音色并非自回归重建波形，在短参考下也能实现更优的语音质量与目标相似度。
2024-01-30 cs.CL cs.SD eess.AS
Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis
NVIDIA（英伟达）
在本文中，我们提出了Flowtron：一个自回归流为基础的生成网络的文本到语音合成控制语音变化和风格转移。Flowtron借鉴了IAF的见解，并对Tacotron进行了改造，以提供高质量和富有表现力的熔体光谱图合成。Flowtron通过最大化训练数据的可能性进行优化，这使得训练简单而稳定。Flowtron学习数据到潜在空间的可逆映射，可以操纵该潜在空间来控制语音合成的许多方面（音高、音调、语速、节奏、口音）。我们的平均意见得分（MOS）显示，Flowtron在语音质量方面与最先进的TTS模型相匹配。此外，我们还提供了控制语音变化，样本之间的插值和训练过程中看到和看不到的扬声器之间的风格转移的结果。代码和预训练模型将在https://github.com/NVIDIA/flowtron上公开提供
2020-07-16 cs.CL cs.LG cs.SD
Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning
Google（谷歌）
语义解析（SP）是现代虚拟助手（如Google Assistant和Amazon Alexa）的核心组件。虽然基于序列到序列的自回归（AR）方法对于会话语义解析是常见的，但是最近的研究使用非自回归（NAR）解码器并且在保持竞争性解析质量的同时减少推理延迟。然而，NAR解码器的主要缺点是难以生成top-k（即，k-best）输出。为了解决这一挑战，我们提出了一种新的NAR语义解析器，它引入了解码器上的意图条件。受传统意图和槽标记解析器的启发，我们将顶层意图预测与解析的其余部分分离。由于顶级意图在很大程度上控制解析的语法和语义，因此意图调节允许模型更好地控制束搜索并提高前k个输出的质量和多样性。我们引入了一种混合的教师强迫方法，以避免训练和推理不匹配。我们评估建议的NAR会话SP数据集，TOP和TOPv 2。与现有的NAR模型一样，我们保持了O（1）的解码时间复杂度，同时生成更多样化的输出，并将前3个精确匹配（EM）提高了2.4个点。与AR模型相比，我们的模型加快了束搜索推理6.7倍的CPU与竞争力的top-k EM。
2022-04-14 cs.AI cs.CL cs.LG
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
China Mobile Science and Technology（中国移动科学技术）；Beijing Institute of Technology（北京理工大学）
提出UniSAE统一框架，通过离散音素后验图（DPPG）表示语音内容，支持从子音素到词级的说话人、情感和内容编辑，并采用扩散解码器生成语音。
2026-07-01 cs.AI cs.CL cs.SD
GROW: Group-Relative Advantage-Weighted On-Policy Reinforcement Learning of Autoregressive-Diffusion Text-to-Speech model
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Tencent（腾讯）；Zhejiang University（浙江大学）
本研究提出GROW方法，将其应用于DiTAR模型，在LibriSpeech和Seed-TTS数据集上提升TTS的WER和说话人相似度，且训练速度更快，计划开源相关代码与模型。
2026-08-05 cs.AI cs.CL eess.AS
Streaming Non-Autoregressive Model for Accent Conversion and Pronunciation Improvement
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
提出首个流式口音转换模型，通过Emformer编码器和优化推理实现流式处理，结合TTS生成训练数据，在保持稳定延迟下性能媲美顶尖模型。
2025-06-19 cs.CL cs.SD eess.AS
Non-Autoregressive Predictive Coding for Learning Speech Representations from Local Dependencies
自监督语音表示已被证明是有效的，在各种语音应用。然而，现有的表示学习方法通常依赖于自回归模型和/或在生成表示时观察到的全局依赖性。在这项工作中，我们提出了非自回归预测编码（NPC），一种自我监督的方法，通过仅依赖于语音的局部依赖性，以非自回归的方式学习语音表示。NPC有一个概念上简单的目标，可以很容易地实现与介绍掩蔽卷积块。NPC提供了一个显着的加速推理，因为它是并行的时间，并有一个固定的推理时间为每个时间步，而不管输入序列的长度。通过理论分析和实证分析，与其他方法进行比较，讨论并验证了NPC的有效性。我们表明，NPC表示是语音和说话人分类的语音实验中的其他方法相比，同时更有效。
2020-11-01 cs.CL
Reliable Part-of-Speech Tagging of Historical Corpora through Set-Valued Prediction
Heinz Nixdorf Institut, Paderborn University（帕德博恩大学海因茨·尼克斯多夫研究所）
针对历史语料词性标注难度高、易出错的问题，本文提出基于集值预测的框架，让标注器输出候选标签集以表达不确定性，实验证明该方法能提升标注精度与鲁棒性，尤其对未登录词效果显著。
2024-10-08 cs.CL cs.IR cs.LG
A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation
Bytedance AI-Lab（字节跳动人工智能实验室）
汉语方言是汉语的不同变体，与普通话同属一个语系。虽然它们都使用汉字，但发音、语法和成语可能差异很大，即使是当地人也很难输入正确的方言书面形式。此外，使用普通话文本作为文本到语音输入将生成自然度较差的语音。本文提出了一种新的带有翻译模块的汉语方言TTS前端，将普通话文本转换为方言表达，以提高合成语音的可懂度和自然度。提出了一种具有多种技巧的非自回归神经机器翻译模型。这是第一个已知的工作，将翻译与TTS前端。在粤语和普通话输入下的实验结果表明，该模型的BLEU提高了2.56，TTS提高了0.27 MOS。
2022-12-12 cs.CL cs.SD eess.AS
Thinking Clearly, Talking Fast: Concept-Guided Non-Autoregressive Generation for Open-Domain Dialogue Systems
Fudan University（复旦大学）
人类的对话包含不断发展的概念，说话者自然会将多个概念联系起来组成一个响应。然而，目前的seq 2seq框架的对话模型缺乏有效管理概念转换的能力，并且很难以顺序解码的方式将多个概念引入响应。为了促进可控和连贯的对话，在这项工作中，我们设计了一个概念引导的非自回归模型（CG-nAR）的开放域对话生成。所提出的模型包括一个多概念规划模块，学习识别多个相关联的概念，从概念图和定制的插入Transformer，执行概念引导的非自回归生成，以完成响应。在两个公共数据集上的实验结果表明，CG-nAR可以产生多样化和连贯的响应，在自动和人工评估中均优于最先进的基线，推理速度更快。
2021-09-09 cs.CL
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo（东京大学工学研究生院）
神经元自回归模型的最新进展提高了语音合成（SS）的性能。然而，由于它们缺乏对语音的全局特征（如说话者个性或说话风格）进行建模的能力，特别是当这些特征尚未被标记时，使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中，我们提出了结合VoiceLoop，自回归SS模型，与变分自编码器（VAE）。与传统的自回归SS系统不同，这种方法使用VAE来明确地对全局特征进行建模，从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明，VAE有助于VoiceLoop生成更高质量的语音，并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
Intonational Boundaries, Speech Repairs and Discourse Markers: Modeling Spoken Dialog
为了理解说话者的谈话，需要将其分割成语调短语，清理可能发生的任何言语修复，并识别话语标记。在本文中，我们认为，这些问题必须一起解决，他们必须在处理流的早期解决。我们提出了一种统计语言模型，解决了这些问题，进行词性标注，并可以作为语音识别器的语言模型。我们发现，通过考虑这些任务之间的相互作用，每个任务的表现都有所改善，词性标注和困惑也有所改善。
1997-04-23 cmp-lg cs.CL
Zero-Shot Long-Form Voice Cloning with Dynamic Convolution Attention
Azoft Inc.（阿佐夫特公司）
随着语音克隆技术的发展，目标说话人的语音合成性能已接近人类水平。然而，自回归语音克隆系统仍然遭受文本对齐失败，导致无法合成长句。在这项工作中，我们提出了一种基于注意力的文本到语音系统的变体，可以从几秒钟的参考语音中再现目标语音，并推广到很长的话语。所提出的系统是基于三个独立训练的组件：扬声器编码器，合成器和通用声码器。对长话语的概括是使用称为动态卷积注意力的基于能量的注意力机制，结合针对基于Tacotron 2的合成器提出的一组修改来实现的。此外，有效的zero-shot扬声器自适应是通过调节合成器和声码器的扬声器编码器，已经预先训练了一个大的语料库的各种数据。我们比较了语音克隆系统的语音自然度，说话人相似性，对齐一致性和合成长话语的能力方面的几个实现，并得出结论，该模型可以产生可理解的合成语音非常长的话语，同时保留了很高程度的自然性和相似性的短文本。
2022-01-26 cs.CL cs.LG cs.SD
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics（三星电子Innoetics）；University of West Attica（西阿提卡大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程，用于离散化音素级F0和持续时间的功能，从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块，该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率，例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器，同时保持扬声器的身份。而不是依赖于参考话语的推理，我们引入了一个事先韵律编码器，学习每个扬声器的风格，使语音合成，而不需要参考音频。我们还微调的多说话人模型，以看不见的扬声器与有限的数据量，作为一个现实的应用场景，并显示韵律控制能力的维护，验证说话人无关的韵律聚类是有效的。实验结果表明，该模型具有较高的输出语音质量，所提出的方法允许有效的韵律控制在每个扬声器的范围内，尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Lightweight Zero-shot Text-to-Speech with Mixture of Adapters
NTT Corporation（NTT公司）
本文提出一种基于适配器混合的轻量级零样本TTS方法，通过将MoA模块集成到非自回归模型的解码器和方差适配器中，以少于40%的参数和1.9倍推理速度实现优于基线的高质量语音合成。
2024-07-01 cs.CL cs.LG cs.SD
KALL-E:Autoregressive Speech Synthesis with Next-Distribution Prediction
提出KALL-E，一种基于下一分布预测的自回归TTS模型，利用Flow-VAE提取连续语音表示并由AR Transformer预测分布，无需扩散组件，实现了高质量语音合成及单样本说话人适应。
2025-09-17 cs.CL cs.SD eess.AS
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
本文提出非自回归端到端同声语音翻译框架NAST-S2X，统一语音到文本与语音到语音任务，通过并发生成多标记和CTC动态调延迟，在3秒内实现高质量同传并获28倍解码加速。
2024-10-19 cs.AI cs.CL cs.SD
RephraseTTS: Dynamic Length Text based Speech Insertion with Speaker Style Transfer
针对文本条件语音插入任务，提出基于Transformer的非自回归方法RephraseTTS，可动态确定可变长度插入语音并保持说话人风格，在LibriTTS上优于基线方法。
2025-08-23 cs.CL cs.SD
Controlling Speaking Rate in Autoregressive TTS via Activation Steering
AGIGO；ETH Zurich（苏黎世联邦理工学院）；Sapienza University of Rome（罗马大学）；University of Zurich（苏黎世大学）
本文提出一种无需重训练的自回归TTS语速控制方法，通过钳制解码器激活沿语速轴的投影实现推理时语速引导，保持说话人身份与自然度，并在Seed-TTS-Eval基准上验证有效性。
2026-09-29 cs.CL cs.LG cs.SD
DiSTAR: Diffusion over a Scalable Token Autoregressive Representation for Speech Generation
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University（X-LANCE实验室，计算机科学学院，上海交通大学）；ByteDance Inc.（字节跳动公司）
DiSTAR提出一种零样本文本到语音框架，在离散RVQ码空间中耦合AR语言模型与掩码扩散模型，实现块级并行长语音合成，并在鲁棒性、自然度及说话人/风格一致性上超越现有最先进系统。
2025-10-15 cs.CL cs.LG eess.AS
MimicLM: Zero-Shot Voice Imitation through Autoregressive Modeling of Pseudo-Parallel Speech Corpora
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
MimicLM通过自回归建模伪并行语音语料，利用合成语音作为训练源，保留真实录音作为目标，提升语音模仿的自然度和准确性。
2026-04-19 cs.CL cs.SD
IndexTTS2: A Breakthrough in Emotionally Expressive and Duration-Controlled Auto-Regressive Zero-Shot Text-to-Speech
针对现有自回归TTS模型时长难精确控制的问题，提出IndexTTS2，支持两种生成模式，实现情感与音色解耦控制，通过三阶段训练和软指令机制提升效果，多项指标优于现有最优零样本TTS模型。
2025-09-03 cs.AI cs.CL cs.SD
StarVC: A Unified Auto-Regressive Framework for Joint Text and Speech Generation in Voice Conversion
Tsinghua University（清华大学）；Xiaomi Inc.（小米公司）；Shenzhen International Graduate School（深圳国际研究生院）
StarVC提出统一自回归语音转换框架，通过先预测文本token再合成声学特征，在保留语言内容和说话人特征上均优于传统方法。
2025-06-03 cs.CL cs.MM cs.SD
Cross-Utterance Conditioned VAE for Non-Autoregressive Text-to-Speech
ShanghaiTech University（上海科技大学）；Cambridge University（剑桥大学）；Neurowave Ai Limited（Neurowave人工智能有限公司）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
韵律变化建模对于在端到端的文语转换（TTS）系统中合成自然和富有表现力的语音至关重要。在本文中，一个跨话语条件VAE（CUC-VAE）提出了估计后验概率分布的潜在韵律特征为每个音素的条件声学特征，说话人的信息，并从过去和未来的句子中获得的文本特征。在推理时，而不是VAE使用的标准高斯分布，CUC-VAE允许从特定于话语的先验分布采样条件下的跨话语信息，这使得由TTS系统生成的韵律特征与上下文相关，并且更类似于人类自然产生韵律的方式。CUC-VAE的性能通过自然度，可懂度和定量测量，包括单词出错率和韵律属性的标准差的定性听力测试进行评估。在LJ-Speech和LibriTTS数据上的实验结果表明，该系统提高了语音的自然度和韵律多样性，并具有清晰的边界。
2022-05-09 cs.CL cs.SD eess.AS
Pseudo-Autoregressive Neural Codec Language Models for Efficient Zero-Shot Text-to-Speech Synthesis
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）；Shanghai Jiao Tong University, Shanghai Innovation Institute（上海交通大学上海创新研究院）
提出伪自回归编解码器语言模型PALLE，结合自回归时间建模与非自回归并行生成，实现高效零样本TTS，在质量、相似度和速度上超越现有系统。
2025-08-05 cs.CL eess.AS
ARCADE: A City-Scale Corpus for Fine-Grained Arabic Dialect Tagging
Tuwaiq Academy（图瓦伊克学院）；Robotics and Internet-of-Things Laboratory（机器人与物联网实验室）；Prince Sultan University（普森大学）；Higher School of Communication of Tunis (SUP’COM)（突尼斯通信高级学校）
ARCADE是一个专为城市级阿拉伯语方言标注设计的语音语料库，通过细粒度标注支持多任务学习，为方言识别提供基准。
2026-01-05 cs.CL cs.CY cs.SD
dots.tts.edit: Precisely Controlled Speech Editing with a Continuous Autoregressive Model
dots.tts Team（dots.tts团队）
本研究提出dots.tts.edit语音编辑工具，采用XML风格结构化指令接口，基于连续自回归TTS模型，在doteBench评估中表现优异，音频质量与现有系统相当。
2026-10-30 cs.AI cs.CL cs.SD
VibeVoice Technical Report
Microsoft Research（微软研究院）
VibeVoice 通过下一标记扩散和高效连续语音分词器，在 64K 上下文中合成最长 90 分钟、最多 4 说话人的长篇语音，超越现有对话模型。
2025-08-26 cs.AI cs.CL cs.SD
GLASS: GRPO-Trained LoRA for Acoustic Style Steering in Zero-Shot Text-to-Speech
Department of Artificial Intelligence, Sungkyunkwan University（人工智能系，全州大学）
提出GLASS框架，通过GRPO训练轻量LoRA适配器实现零样本自回归TTS中可组合的声学风格控制，无需风格标签即可从奖励中学习控制。
2026-06-04 cs.CL cs.SD eess.AS
Exploring transfer learning for Deep NLP systems on rarely annotated languages
University of Rostock（罗斯托克大学）
本文研究在印地语与尼泊尔语之间应用迁移学习进行词性标注，发现联合训练词嵌入结合BLSTM-CNN-CRF模型能有效提升低资源语言的标注性能。
2024-10-15 cs.CL
Multi-head Sequence Tagging Model for Grammatical Error Correction
University of Technology and Applied Sciences（科技与应用科学大学）；National University of Defense Technology（国防科技大学）；CVTE Research（视源股份研究院）；Dalian University of Technology（大连理工大学）
本文提出多头多任务序列标注模型，将语法纠错分解为插入、删除、合并、替换、转换、检测和纠正七个子任务，并结合去噪自编码器预训练与字符级转换，在多个基准上显著超越现有方法。
2024-10-21 cs.CL
Limpeh ga li gong: Challenges in Singlish Annotations
Carnegie Mellon University（卡内基梅隆大学）
本研究构建了新加坡式英语平行数据集，发现现有词性标注器准确率仅约80%，并分析了其标注挑战，为口语方言计算分析奠定基础。
2024-11-08 cs.CL cs.IR
