Decoding Order Matters in Autoregressive Speech Synthesis
School of Computer Science, University of Sheffield(计算机科学学院,谢菲尔德大学)
该研究发现自回归语音合成中解码顺序对语音质量有显著影响,自适应解码优于固定顺序方法,且1位量化可支持高质量语音生成。
2026-09-22 cs.AI cs.SD eess.AS
CTC-based Non-autoregressive Textless Speech-to-Speech Translation
University of Chinese Academy of Sciences(中国科学院大学);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
本文研究基于CTC的非自回归语音到语音翻译,结合预训练、知识蒸馏及glancing training等技术,在保持与自回归模型相当翻译质量的同时实现最高26.81倍解码加速。
2024-06-11 cs.AI cs.CL cs.SD
SemaVoice: Semantic-Aware Continuous Autoregressive Speech Synthesis
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);SenseTime Research(商汤科技研究院)
本文提出SemaVoice,一种语义感知的连续自回归语音合成框架,旨在解决零样本文本到语音合成中语义-语音建模与重建驱动的连续语音表示之间的不匹配问题,通过引入Speech Foundation Model(SFM)引导对齐机制提升语音合成的高质量和语义一致性。
2026-05-16 eess.AS
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation
University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院)
本文提出非自回归端到端同声语音翻译框架NAST-S2X,统一语音到文本与语音到语音任务,通过并发生成多标记和CTC动态调延迟,在3秒内实现高质量同传并获28倍解码加速。
2024-10-19 cs.AI cs.CL cs.SD
Fast End-to-End Speech Recognition via Non-Autoregressive Models and Cross-Modal Knowledge Transferring from BERT
University of Chinese Academy of Sciences(中国科学院大学);NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
基于注意力的编码解码器(AED)模型在语音识别中取得了很好的性能。然而,由于解码器以自回归方式预测文本标记(例如字符或单词),因此AED模型难以并行预测所有标记。这使得推理速度相对较慢。我们相信,由于编码器已经捕获了整个语音话语,其中隐含的令牌级关系,我们可以预测一个令牌没有显式自回归语言建模。当一个token的预测不依赖于其他token时,序列中所有token的并行预测是可实现的。基于这一思想,我们提出了一种非自回归的语音识别模型LASO(Listen Attentively,and Spell Once)。该模型由一个编码器,一个解码器,和一个位置相关的摘要(PDS)。这三个模块基于基本的注意力模块。编码器从语音中提取高级表示。PDS使用对应于标记的位置编码来将声学表示转换成标记级表示。解码器还捕获与自注意力机制的令牌级关系。最后,计算每个词位的词汇概率分布。因此,语音识别被重新表述为位置分类问题。此外,我们提出了一种跨模态迁移学习方法,从大规模的预训练语言模型BERT中提炼语义,以提高性能。
2021-08-29 cs.AI cs.CL eess.AS
Mixer-TTS: non-autoregressive, fast and compact text-to-speech model conditioned on language model embeddings
本文介绍了Mixer-TTS,一个非自回归模型的梅尔频谱生成。该模型基于适用于语音合成的MLP混合器架构。基本的Mixer-TTS包含音高和持续时间预测器,后者使用无监督的TTS对齐框架进行训练。除了基本模型之外,我们还提出了扩展版本,该版本还使用了来自预训练语言模型的令牌嵌入。基本Mixer-TTS及其扩展版本分别实现了4.05和4.11的平均意见得分(MOS),而原始LJSpeech样本的MOS为4.27。这两个版本都有少量的参数,并且与具有类似质量的模型相比,能够实现更快的语音合成。
2021-10-22 eess.AS
DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation
ByteDance Seed(字节跳动种子)
DiTAR通过结合语言模型和扩散变换器,提出一种基于补丁的自回归框架,有效提升连续语音生成的效率与质量。
2025-12-08 cs.AI cs.CL cs.LG
Spectral Codecs: Improving Non-Autoregressive Speech Synthesis with Spectrogram-Based Audio Codecs
本文提出一种基于有限标量量化压缩梅尔频谱图的频谱编解码器,以替代残差向量量化音频编解码器,从而改善非自回归语音合成模型的性能与质量。
2025-06-04 eess.AS
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong(香港大学);Meituan Inc.(美团公司)
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架,通过引入兼容约束与异构下采样策略,提升了语言模型在语音数据上的持续预训练效果,验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
Hierarchical and Multi-Scale Variational Autoencoder for Diverse and Natural Non-Autoregressive Text-to-Speech
Samsung Research(三星研究院);Supertone, Inc.(Supertone公司);NCSOFT Corp.(NCSoft公司)
提出了一种基于分层多尺度变分自编码器的非自回归文本转语音模型(HiMuV-TTS),用于生成具有不同说话风格的自然语音。非自回归TTS(NAR-TTS)模型的最新进展显着提高了合成语音的推理速度和鲁棒性。但口语的多样性和自然性有待提高。为了解决这个问题,我们提出了HiMuV-TTS模型,首先确定全球规模的韵律,然后通过调节全球规模的韵律和学习的文本表示来确定本地规模的韵律。此外,我们还采用了对抗训练技术来提高语音质量。实验结果表明,与单尺度变分自编码器的TTS模型相比,该模型能够产生更加多样、自然的语音,并且能够在每个尺度上表现不同的韵律信息。
2022-08-15 cs.SD eess.AS
Pushing the Limits of Non-Autoregressive Speech Recognition
Google Research(谷歌研究院)
我们将端到端语音识别的最新进展与非自回归自动语音识别相结合。我们推动了多个数据集的非自回归最先进结果的极限:LibriSpeech,Fisher+Switchboard和华尔街日报。我们的配方的关键是,我们利用CTC在巨型Conformer神经网络架构上进行SpecAugment和wav 2 vec 2预训练。我们在LibriSpeech测试/其他测试集上实现了1.8%/3.6%的WER,在Switchboard上实现了5.1%/9.8%的WER,在华尔街日报上实现了3.4%的WER,所有这些都没有语言模型。
2021-09-11 cs.CL cs.LG cs.SD
LLaMA-Omni2: LLM-based Real-time Spoken Chatbot with Autoregressive Streaming Speech Synthesis
Key Laboratory of Intelligent Information Processing Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(智能信息处理重点实验室,计算技术研究所,中国科学院);Key Laboratory of AI Safety, Chinese Academy of Sciences(人工智能安全重点实验室,中国科学院);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出LLaMA-Omni 2系列语音语言模型,基于Qwen2.5集成语音编码器与自回归流式语音解码器,仅用200K多轮对话样本即在语音问答和指令遵循任务上超越GLM-4-Voice等先前最优模型,实现高质量实时语音交互。
2025-05-05 cs.AI cs.CL cs.SD
Very Low Complexity Speech Synthesis Using Framewise Autoregressive GAN (FARGAN) with Pitch Prediction
针对神经声码器复杂度过高的问题,提出利用长期音高预测、无需教师强制的逐帧自回归声码器 FARGAN,以 600 MFLOPS 实现优于低复杂度方案并媲美高复杂度方案的语音质量。
2024-08-05 eess.AS
NVAlign: Direct-Gradient Optimization for Non-Verbal Control in Continuous Autoregressive Flow Matching Text-to-Speech
NVAlign通过直接梯度优化,在连续自回归流匹配TTS中实现对非语言发声标签的精确控制,优于现有基线。
2026-09-29 cs.AI cs.CL cs.SD
Parallel Synthesis for Autoregressive Speech Generation
National Taiwan University(国立台湾大学)
本文提出频域自回归生成(FAR)和逐位自回归生成(BAR)两种并行合成方法,将自回归迭代次数从与话语长度成正比改为与子带数/位数成正比,显著提升推理效率,无需GPU即可实现比实时更快的语音合成,并在MUSHRA和泛化能力上优于基线声码器。
2024-06-05 cs.SD eess.AS
Non-Autoregressive Neural Text-to-Speech
Baidu Research(百度研究院)
在这项工作中,我们提出了ParaNet,一个非自回归seq2seq模型,将文本转换为频谱图。它是完全卷积的,在合成时比轻量级的Deep Voice 3加速46.7倍,同时获得相当好的语音质量。ParaNet还通过逐层迭代地提高注意力,在具有挑战性的测试句子上产生文本和语音之间的稳定对齐。此外,我们建立了并行的文本到语音系统,并测试了各种并行神经声码器,它可以合成语音从文本通过一个单一的前馈通过。我们还探索了一种新的基于VAE的方法,从零开始训练基于逆自回归流(IAF)的并行声码器,这避免了需要从一个单独训练的WaveNet蒸馏作为以前的工作。
2020-06-29 cs.CL cs.LG cs.SD
SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation
Soul AI Lab(Soul AI实验室)
该研究提出SemBridge框架,通过离散语义令牌监督自回归LM状态,在零样本TTS和SVS任务中提升内容准确性,同时保持说话人相似度与感知质量,为连续语音生成提供有效方向。
2026-10-14 cs.SD eess.AS
Training Autoregressive Speech Recognition Models with Limited in-domain Supervision
Raytheon BBN(雷神BBN公司)
自监督学习的进步已经显著减少了训练所需的转录音频的量。然而,这一领域的大部分工作都集中在阅读语音上。我们探讨有限的监督领域的会话讲话。虽然我们假设域内数据的数量是有限的,但我们用开源的阅读语音数据来增强模型。XLS-R模型在适应数据有限的情况下表现良好,可作为一个强有力的基线。我们在自回归编码器-解码器模型中使用未转录的数据进行自监督学习和半监督训练。我们证明,通过使用XLS-R模型的伪转录,一个小得多的自回归模型可以优于微调XLS-R模型时,转录的域内数据是有限的,减少WER高达8%的绝对值。
2022-10-27 cs.CL cs.SD eess.AS
Continuous Autoregressive Modeling with Stochastic Monotonic Alignment for Speech Synthesis
The Hong Kong Polytechnic University(香港理工大学)
该研究提出结合多模态潜在空间VAE与GMM条件自回归模型的语音合成方法,引入随机单调对齐机制,以VALL-E 10.3%的参数实现更优性能,为量化语音语言模型提供高效替代方案。
2025-02-13 cs.LG cs.SD eess.AS
Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech
NetEase Games AI Lab(网易游戏人工智能实验室)
本文从多个方面研究了非自回归跨语言TTS模型中说话人和语言表征的分离问题。我们提出了一个音素长度调节器,解决了IPA输入序列和单语对齐结果之间的长度不匹配问题。使用音素长度调节器,我们提出了一个基于FastPitch的跨语言模型,IPA符号作为输入表示。我们的实验表明,语言独立的输入表示(如IPA符号),越来越多的训练扬声器,语音方差信息的显式建模都鼓励非自回归跨语言TTS模型解开扬声器和语言表示。主观评价表明,我们提出的模型可以实现体面的自然度和说话人的相似性在跨语言的语音克隆。
2022-08-31 cs.SD eess.AS
Quasi-Periodic Parallel WaveGAN Vocoder: A Non-autoregressive Pitch-dependent Dilated Convolution Model for Parametric Speech Generation
Nagoya University(名古屋大学)
在本文中,我们提出了一个并行的WaveGAN(PWG)类神经声码器与准周期(QP)架构,以提高PWG的音调可控性。PWG是一种紧凑的非自回归(non-AR)语音生成模型,其生成速度远远快于实时。在利用PWG作为声码器以基于诸如频谱和韵律特征的声学特征来生成语音的同时,PWG生成高保真语音。然而,当输入的声学特征包括看不见的音高时,PWG生成的语音的音高准确性降低,因为PWG的固定和通用网络没有语音周期性的先验知识。QPPWG采用了一个基音相关的扩张卷积网络(PDCNN)模块,通过动态改变网络结构将基音信息引入PWG,提高了vanilla PWG的基音可控性和语音建模能力。客观和主观评价结果表明,当QPPWG模型大小仅为vanilla PWG模型大小的70%时,QPPWG生成的语音具有更高的基音精度和相当的语音质量。
2020-08-07 cs.SD eess.AS
Knowledge Transfer and Distillation from Autoregressive to Non-Autoregressive Speech Recognition
Shanghai Jiao Tong University(上海交通大学)
现代非自回归(NAR)语音识别系统的目标是加快推理速度,但与自回归(AR)模型相比,它们的性能下降,并且存在模型规模过大的问题。我们提出了一种新的知识转移和蒸馏架构,利用AR模型的知识,以提高NAR的性能,同时减少模型的大小。框架级和序列级目标是为迁移学习精心设计的。为了进一步提高NAR的性能,提出了一种基于Mask-CTC的束搜索方法,以扩大推理阶段的搜索空间。实验结果表明,NAR束搜索在允许的实时因子RTF增量下,相对于AISHELL-1基准测试,CER降低了5%以上。通过知识转移,与AR老师身材相同的NAR学生在AISHELL-1开发/测试集上获得了8/16%的相对CER减少,在LibriSpeech测试干净/其他集上获得了超过25%的相对WER减少。此外,在AISHELL-1和LibriSpeech基准测试中,通过提出的知识转移和蒸馏,约9倍小的NAR模型实现了约25%的相对CER/WER降低。
2022-07-15 cs.SD eess.AS
Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
虽然基于注意力的端到端模型在语音识别中取得了很好的性能,但波束搜索中的多遍前向计算增加了推理时间开销,限制了其实际应用。为了解决这个问题,我们提出了一个非自回归的端到端的语音识别系统称为LASO(认真听,拼写一次)。由于非自回归特性,LASO预测序列中的文本标记,而不依赖于其他标记。由于不需要波束搜索,一次传播大大减少了LASO的推理时间。由于该模型采用了基于注意力的前馈结构,计算可以高效地并行实现。我们在公开的中文数据集AISHELL-1上进行了实验。LASO实现了6.4%的字符错误率,优于最先进的自回归Transformer模型(6.7%)。平均推理延迟为21 ms,是自回归Transformer模型的1/50。
2020-08-06 cs.CL eess.AS
KALL-E:Autoregressive Speech Synthesis with Next-Distribution Prediction
提出KALL-E,一种基于下一分布预测的自回归TTS模型,利用Flow-VAE提取连续语音表示并由AR Transformer预测分布,无需扩散组件,实现了高质量语音合成及单样本说话人适应。
2025-09-17 cs.CL cs.SD eess.AS
Generative Pre-Training for Speech with Autoregressive Predictive Coding
从未注释的语音中学习适用于广泛任务的有意义的和一般的表示仍然具有挑战性。在本文中,我们建议使用自回归预测编码(APC),最近提出的自我监督的目标,作为一种生成的预训练方法学习有意义的,非特定的,可转移的语音表示。我们在大规模未标记数据上预训练APC,并在三个语音应用程序上进行迁移学习实验,这些应用程序需要关于语音特征的不同信息才能表现良好:语音识别,语音翻译和说话人识别。大量的实验表明,APC不仅优于表面特征(例如,log Mel spectrograms)和其他流行的表示学习方法,但在减少下游标记数据大小和模型参数方面也很有效。我们还研究了使用Transformers对APC进行建模,并发现它优于RNN。
2020-01-26 cs.CL cs.LG cs.SD
SphereVAE: Hyperspherical Latent Autoencoders for Robust Autoregressive Speech Representation Modeling
Northwestern Polytechnical University(西北工业大学);NetEase Inc.(网易公司)
SphereVAE通过将VAE潜空间约束到单位超球面,为自回归语音生成提供有界预测目标,缓解误差累积与潜变量漂移,提升长文本生成稳定性。
2026-09-10 eess.AS
Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis
NVIDIA(英伟达)
在本文中,我们提出了Flowtron:一个自回归流为基础的生成网络的文本到语音合成控制语音变化和风格转移。Flowtron借鉴了IAF的见解,并对Tacotron进行了改造,以提供高质量和富有表现力的熔体光谱图合成。Flowtron通过最大化训练数据的可能性进行优化,这使得训练简单而稳定。Flowtron学习数据到潜在空间的可逆映射,可以操纵该潜在空间来控制语音合成的许多方面(音高、音调、语速、节奏、口音)。我们的平均意见得分(MOS)显示,Flowtron在语音质量方面与最先进的TTS模型相匹配。此外,我们还提供了控制语音变化,样本之间的插值和训练过程中看到和看不到的扬声器之间的风格转移的结果。代码和预训练模型将在https://github.com/NVIDIA/flowtron上公开提供
2020-07-16 cs.CL cs.LG cs.SD
Autoregressive Speech Enhancement via Acoustic Tokens
Concordia University(康科德大学);Mila-Quebec AI Institute(魁北克人工智能研究所);Université Laval(拉瓦尔大学)
本文研究基于声学令牌的语音增强,提出新型 transducer 自回归架构,实验表明其优于语义令牌并能保留说话人身份,但离散表示仍不及连续表示。
2025-07-17 cs.LG cs.SD eess.AS
Non-autoregressive real-time Accent Conversion model with voice cloning
Ivanovo State Power Engineering University(伊万诺沃国立动力工程大学)
针对现有口音转换模型延迟高、音色难调的问题,提出一种带声音克隆的非自回归实时口音转换模型,通过多模块协作实现低延迟高质量转换,并提升ASR识别性能。
2024-05-21 cs.AI cs.SD eess.AS
Improved Speech Representations with Multi-Target Autoregressive Predictive Coding
Massachusetts Institute of Technology(麻省理工学院)
基于预测编码的训练目标最近被证明在从未标记的语音中学习有意义的表示方面非常有效。一个示例是自回归预测编码(Chung等人,2019),它训练自回归RNN在给定上下文(如最近过去的帧)的情况下生成一个看不见的未来帧。这些方法的基本假设是,可以准确预测未来帧的隐藏状态是许多下游任务的有用表示。在本文中,我们扩展了这一假设,旨在通过训练模型来丰富隐藏状态中编码的信息,以做出更准确的未来预测。我们提出了一个辅助目标,作为一个正则化,以提高泛化的未来帧预测任务。语音分类、语音识别和语音翻译的实验结果不仅支持了这一假设,而且证明了该方法在学习包含更丰富语音内容的表征方面的有效性。
2020-04-11 cs.CL cs.LG cs.SD
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoder
Graduate School of Engineering, The University of Tokyo(东京大学工学研究生院)
神经元自回归模型的最新进展提高了语音合成(SS)的性能。然而,由于它们缺乏对语音的全局特征(如说话者个性或说话风格)进行建模的能力,特别是当这些特征尚未被标记时,使神经自回归SS系统更具表达力仍然是一个悬而未决的问题。在本文中,我们提出了结合VoiceLoop,自回归SS模型,与变分自编码器(VAE)。与传统的自回归SS系统不同,这种方法使用VAE来明确地对全局特征进行建模,从而能够以无监督的方式控制合成语音的表达能力。使用VCTK和Blizzard2012数据集的实验表明,VAE有助于VoiceLoop生成更高质量的语音,并通过将全局特征融入语音生成过程来控制合成语音中的表达。
2019-02-11 cs.CL cs.SD eess.AS
Hierarchical Prosody Modeling for Non-Autoregressive Speech Synthesis
National Taiwan University(台湾大学);College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
韵律建模是现代文语转换(TTS)框架的重要组成部分。通过显式地提供韵律特征的TTS模型,合成的话语的风格,从而可以控制。然而,在推理时预测自然和合理的韵律是具有挑战性的。在这项工作中,我们分析了非自回归TTS模型在不同的韵律建模设置下的行为,并提出了一个层次结构,其中音素级韵律特征的预测是以词级韵律特征为条件的。该方法优于其他竞争对手的音频质量和韵律自然度在我们的客观和主观评价。
2021-05-01 cs.LG cs.SD eess.AS
Align-Refine: Non-Autoregressive Speech Recognition via Iterative Realignment
Stanford University(斯坦福大学);Amazon AWS AI(亚马逊AWS人工智能)
非自回归模型大大提高了解码速度超过典型的序列到序列模型,但遭受性能下降。填充和迭代细化模型通过编辑非自回归模型的输出来弥补这一差距,但它们可以进行的编辑受到限制。我们提出迭代重新对齐,其中细化发生在潜在对齐而不是输出序列空间上。我们证明了这一点,在语音识别与Align-Refine,一个端到端的转换器为基础的模型,细化连接时间分类(CTC)的路线,允许长度变化的插入和删除。Align-Refine的性能优于Imputer和Mask-CTC,在WSJ上以1/14的实时因子匹配自回归基线,并在没有LM的情况下获得了9.0%的LibriSpeech测试-其他WER。我们的模型是强大的,即使在一个迭代与浅解码器。
2020-10-24 cs.CL cs.LG cs.SD
Paraformer-v2: An improved non-autoregressive transformer for noise-robust speech recognition
Alibaba Group(阿里巴巴集团)
本文提出改进的非自回归语音识别模型Paraformer-v2,利用CTC模块替代连续整合触发模块提取token embeddings,在多个数据集上显著降低WER并提升了噪声环境下的鲁棒性。
2024-09-26 cs.SD eess.AS
An Unsupervised Autoregressive Model for Speech Representation Learning
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种新的无监督自回归神经模型学习通用语音表示。与其他旨在去除噪声或说话人可变性的语音表示学习方法相比,我们的方法旨在为广泛的下游任务保留信息。此外,该模型不需要任何语音或词边界标签,使该模型能够受益于大量未标记的数据。通过我们的模型学习的语音表示显著提高了电话分类和说话人验证的性能,超过了表面特征和其他监督和无监督方法。进一步的分析表明,我们的模型在不同层捕获了不同级别的语音信息。特别是,较低的层往往对说话者更具辨别力,而较高的层提供更多的语音内容。
2019-06-19 cs.CL cs.LG cs.SD
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现,发现连续表示更优,非自回归模型更实用,编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Parallel Tacotron: Non-Autoregressive and Controllable TTS
Google(谷歌)
虽然神经端到端文本到语音模型可以合成高度自然的语音,但其效率和自然度仍有改进的空间。提出了一种基于变分自编码器的非自回归神经文语转换模型。这个模型称为\emph{Parallel Tacotron},在训练和推理过程中都是高度并行的,允许在现代并行硬件上进行有效的合成。变分自编码器的使用放松了文本到语音问题的一对多映射性质并提高了自然度。为了进一步提高自然度,我们使用轻量级卷积,它可以有效地捕获局部上下文,并引入迭代细化启发的迭代频谱图损失。实验结果表明,并行Tacotron匹配一个强大的自回归基线的主观评价,显着减少推理时间。
2020-10-22 cs.SD eess.AS
Hierarchical Context-Aware Transformers for Non-Autoregressive Text to Speech
在本文中,我们提出了一种方法,用于提高基于transformer的非自回归文本到语音(TNA-TTS)模型的建模性能。尽管文本编码器和音频解码器处理不同类型和长度的数据(即,文本和音频),TNA-TTS模型的设计没有考虑这些变化。因此,为了提高TNA-TTS模型的建模性能,我们提出了一个分层的Transformer结构为基础的文本编码器和音频解码器,旨在适应每个模块的特点。对于文本编码器,我们约束每个自关注层,以便编码器从局部范围到全局范围关注文本序列。相反,音频解码器约束其自注意层以在相反方向上聚焦,即,从全球范围到地方范围。此外,我们进一步提高音高建模的准确性的音频解码器提供句子和单词级的音高作为条件。各种客观和主观评价验证了所提出的方法优于基线TNA-TTS。
2021-06-29 eess.AS
Hierarchical prosody modeling and control in non-autoregressive parallel neural TTS
Apple(苹果公司)
神经文本到语音(TTS)合成可以生成与自然语音无法区分的语音。然而,合成语音通常代表数据库的平均韵律风格,而不是具有更通用的韵律变化。此外,许多模型缺乏控制输出韵律的能力,这不允许对相同的文本输入使用不同的风格。在这项工作中,我们训练一个非自回归并行神经TTS前端模型分层条件下的粗粒度和细粒度的声学语音功能,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个非自回归TTS模型分层条件的话语明智的音高,音高范围,持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,产生各种各样的说话风格,并提供字明智的重点控制,同时保持相等或更好的质量的基线模型。
2022-03-22 cs.CL eess.AS
Spike-Triggered Non-Autoregressive Transformer for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
非自回归Transformer模型在神经机器翻译中实现了极快的推理速度和与自回归序列到序列模型相当的性能。大多数非自回归Transformers从预定义长度的掩码序列解码目标序列。如果预定义的长度太长,则会导致大量的冗余计算。如果预定义的长度小于目标序列的长度,则会损害模型的性能。为了解决这个问题,提高推理速度,本文提出了一种用于端到端语音识别的尖峰触发非自回归Transformer模型,该模型引入CTC模块来预测目标序列的长度,加速收敛。所有的实验都是在公开的汉语普通话数据集AISHELL-1上进行的。结果表明,该模型能够准确预测目标序列的长度,并取得了与先进的Transformers竞争的性能。更重要的是,该模型甚至达到了0.0056的实时系数,超过了所有主流的语音识别模型。
2020-05-16 cs.CL cs.SD eess.AS
Non-Autoregressive Minimum Bayes' Risk Decoding for Fast Speech Recognition
NTT, Inc.(日本NTT公司)
提出基于最小贝叶斯风险解码的非自回归解码框架,通过单次前向计算高效采样多个候选,在保持速度优势的同时提升识别性能。
2026-06-17 cs.CL eess.AS
VAENAR-TTS: Variational Auto-Encoder based Non-AutoRegressive Text-to-Speech Synthesis
Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);University of Cambridge(剑桥大学);Huya Inc.(虎牙公司)
提出了一种基于变分自编码器的非自回归文语转换(VAENAR-TTS)模型。基于序列到序列结构的自回归TTS(AR-TTS)模型可以产生高质量的语音,但其顺序解码过程可能是耗时的。最近,非自回归TTS(NAR-TTS)模型已被证明是更有效的并行解码过程。然而,这些NAR-TTS模型依赖于音素级持续时间来生成文本和声谱图之间的硬对齐。无论是通过强制对齐还是通过知识蒸馏来获得持续时间标签都是很麻烦的。此外,基于音素扩展的硬对齐会降低合成语音的自然度。相比之下,所提出的模型VAENAR-TTS是一个端到端的方法,不需要音素级的持续时间。VAENAR-TTS模型不包含递归结构,并且在训练和推理阶段都是完全非自回归的。基于VAE架构,对齐信息被编码在潜在变量中,并且在解码器中使用文本和潜在变量之间的基于注意力的软对齐来重建频谱图。实验结果表明,VAENAR-TTS实现了最先进的合成质量,而合成速度与其他NAR-TTS模型相当。
2021-07-07 cs.MM cs.SD eess.AS
JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation
JoyAI-Voice 2.0是一种全连续自回归语音生成模型,采用语义-声学双编码器联合表示,通过流匹配和强化学习优化,在词错误率和感知保真度上达到最先进水平。
2026-10-08 cs.AI cs.SD eess.AS
End-to-End Speech Recognition With Joint Dereverberation Of Sub-Band Autoregressive Envelopes
端到端(E2E)自动语音识别(ASR)系统通常需要在混响条件下操作,其中语音的长期子带包络在时间上模糊。在本文中,我们开发了一个功能增强的方法,使用神经模型的子带时间包络。时域包络建模使用频域线性预测(FDLP)的框架。本文提出的神经增强模型执行基于包络增益的时间包络增强。模型架构由卷积和长短期记忆(LSTM)神经网络层的组合组成。此外,使用基于Transformer的E2E ASR的包络去混响、特征提取和声学建模都可以针对语音识别任务联合优化。联合优化确保去混响模型以ASR代价函数为目标。我们在REVERB挑战数据集和VOiCES数据集上进行E2E语音识别实验。在这些实验中,与基线E2E ASR系统相比,所提出的联合建模方法产生了显著的改进(在REVERB挑战数据集上平均相对改进21%,在VOiCES数据集上平均相对改进约10%)。
2022-02-18 eess.AS
A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation
Waseda University(早稻田大学);Johns Hopkins University(约翰斯·霍普金斯大学);Yahoo Japan Corporation(雅虎日本公司);Kyoto University(京都大学);LINE Corporation(LINE公司);Naver Corporation(NAVER公司);Carnegie Mellon University(卡内基梅隆大学)
非自回归(NAR)模型在一个序列中同时生成多个输出,与自回归基线相比,这显著降低了推理速度,但代价是精度下降。NAR模型在实时应用中显示出巨大的潜力,越来越多的NAR模型在不同的领域中被探索,以缩小与AR模型的性能差距。在这项工作中,我们进行了各种NAR建模方法的端到端的自动语音识别(ASR)的比较研究。实验在最先进的环境中使用ESPnet进行。各种任务的结果为理解NAR ASR提供了有趣的发现,例如准确性-速度权衡和对长形式话语的鲁棒性。我们还表明,这些技术可以结合起来,以进一步改善和应用到NAR端到端的语音翻译。所有的实现都是公开的,以鼓励在NAR语音处理的进一步研究。
2021-10-11 cs.CL cs.SD eess.AS
A Non-autoregressive Model for Joint STT and TTS
The Ohio State University(俄亥俄州立大学);IBM Research(IBM研究院)
提出一种完全非自回归的多模态联合模型,同时处理语音识别和语音合成,支持未配对数据训练,并通过迭代细化策略提升性能,在STT上优于专用基线,在TTS上与专用基线相当。
2025-01-20 cs.AI cs.SD eess.AS
CLEAR: Continuous Latent Autoregressive Modeling for High-quality and Low-latency Speech Synthesis
针对传统AR-based TTS系统离散token化的有损压缩、高延迟问题,提出连续潜在自回归模型CLEAR,直接建模连续音频表示,在零样本TTS任务中实现高质量低延迟合成,在LibriSpeech数据集上取得SOTA结果。
2025-08-26 eess.AS
CTC-Seeded Token Edit Refinement for Non-Autoregressive Speech Recognition
University of Iowa(爱荷华大学)
提出一种非自回归语音识别方法,利用CTC假设作为初始序列,通过编辑流解码器并行预测插入、删除和替换操作,仅需两步编辑即可显著降低词错误率。
2026-10-09 eess.AS
Towards Better Disentanglement in Non-Autoregressive Zero-Shot Expressive Voice Conversion
Karlsruhe Institute for TechnologyGermany(卡尔斯鲁厄理工学院德国);Carnegie Mellon UniversityUSA(卡内基梅隆大学美国)
本文提出改进的非自回归零样本表现力语音转换方法,通过多语言离散单元、相似性损失、混合风格归一化及局部F0与全局音高能量特征增强解耦,在情感和说话人相似度上优于基线。
2025-06-04 cs.AI cs.SD eess.AS
FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis
Zhejiang University(浙江大学)
无约束唇到语音合成的目标是从说话人脸的无声视频中生成相应的语音,而不限制头部姿势或词汇量。目前的工作主要使用序列到序列模型来解决这个问题,无论是在自回归架构或基于流的非自回归架构。然而,这些模型有几个缺点:1)它们不是直接生成音频,而是使用两阶段流水线,首先生成梅尔频谱图,然后从频谱图重建音频。这会导致部署繁琐,并由于错误传播而导致语音质量下降; 2)这些模型使用的音频重建算法限制了推理速度和音频质量,而神经声码器不适用于这些模型,因为它们的输出频谱图不够准确; 3)自回归模型具有高推理延迟,而基于流的模型具有高内存占用:它们在时间和存储器使用方面都不够有效。为了解决这些问题,我们提出了FastLTS,这是一种非自回归端到端模型,可以直接从无约束的通话视频中合成高质量的语音音频,具有低延迟,并且具有相对较小的模型大小。此外,不同于广泛使用的用于唇动编码的3D-CNN视觉前端,我们首次提出了一种基于transformer的视觉前端。实验结果表明,在3秒的输入序列上,与现有的自回归模型相比,该模型在音频波形生成上实现了$19.76\times$加速,并获得了较好的音频质量。
2022-07-13 cs.CL cs.CV cs.MM
ARECHO: Autoregressive Evaluation via Chain-Based Hypothesis Optimization for Speech Multi-Metric Estimation
Carnegie Mellon University(卡内基梅隆大学);Huazhong University of Science and Technology(华中科技大学)
针对语音多指标联合估计难题,提出基于自回归依赖建模的ARECHO评估系统,通过语音令牌化、动态分类器链和置信度解码三项创新,在多场景下性能优于基线,支持无参考评估与子集查询,减少误差传播。
2025-10-30 cs.MM cs.SD eess.AS
Orthros: Non-autoregressive End-to-end Speech Translation with Dual-decoder
Kyoto University(京都大学);Waseda University(早稻田大学);Johns Hopkins University(约翰斯·霍普金斯大学)
快速推理速度是语音翻译(ST)系统在现实世界中部署的一个重要目标。基于编解码器架构的端到端(E2 E)模型比传统的级联系统更适合于这一目标,但迄今为止尚未探索其在解码速度方面的有效性。受基于文本的翻译中非自回归(NAR)方法的最新进展的启发,通过消除条件依赖并行生成目标令牌,我们研究了E2 E-ST的NAR解码问题。我们提出了一种新的NAR E2 E-ST框架,Orthros,其中NAR和自回归(AR)解码器在共享的语音编码器上联合训练。后者用于在从前者生成的各种长度候选中选择更好的平移,这显著提高了大长度波束的有效性,而开销可以忽略不计。我们进一步研究有效长度预测方法从语音输入和词汇量的影响。四个基准测试的实验表明,该方法在提高推理速度,同时保持有竞争力的翻译质量相比,最先进的AR E2 E-ST系统的有效性。
2021-02-18 cs.CL cs.SD eess.AS
Controllable and Lossless Non-Autoregressive End-to-End Text-to-Speech
ByteDance(字节跳动);Tsinghua University(清华大学)
最近的一些研究已经证明了单级神经文本到语音的可行性,它不需要生成梅尔频谱图,而是直接从文本中生成原始波形。单阶段文本到语音通常面临两个问题:a)由于多个语音变化而导致的一对多映射问题,以及b)由于在训练期间缺乏对地面实况声学特征的监督而导致的高频重建不足。为了解决a)问题并生成更有表现力的语音,我们提出了一种基于变分自编码器的音素级韵律建模方法,该方法具有归一化流来建模语音中的底层韵律信息。我们还使用韵律预测器来支持端到端的表达性语音合成。此外,我们提出了双并行自动编码器,以在训练过程中引入对地面实况声学特征的监督,以解决b)问题,使我们的模型能够生成高质量的语音。我们比较的合成质量与国家的最先进的文本到语音系统的内部表达英语数据集。定性和定量的评价表明,我们的方法的无损语音生成的优越性和鲁棒性,同时也表现出很强的韵律建模能力。
2022-07-13 cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法,通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出,在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS