UniCATS: A Unified Context-Aware Text-to-Speech Framework with Contextual VQ-Diffusion and Vocoding
MoE Key Lab of Artificial Intelligence, AI Institute X-LANCE Lab, Department of Computer Science and Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院计算机科学与工程系人工智能教育部重点实验室X-LANCE实验室）；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；AISpeech Ltd（思必驰科技股份有限公司）
本文提出统一上下文感知TTS框架UniCATS，通过上下文VQ扩散预测语义token并结合上下文声码化，同时支持语音延续与编辑，在两项任务上均达到最先进性能。
2024-03-28 cs.SD eess.AS
Neural Vocoders as Speech Enhancers
Institute of Acoustics Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
本文发现语音增强与神经声码在秩行为上存在共性，提出统一模型可同时处理两个任务，实验证明联合训练性能与单独训练相当，为语音恢复提供统一框架。
2025-01-23 cs.SD eess.AS
Improving the expressiveness of neural vocoding with non-affine Normalizing Flows
Alexa AI（Alexa 人工智能）
本文提出了一种通用的增强用于神经语音编码的归一化流（NF）。作为一个案例研究，我们改进表达语音声码与改进的并行波（PW）。具体来说，我们建议扩展的仿射变换PW更有表现力的可逆非仿射函数。更大的表现力的改进PW导致更好的感知信号质量和自然的波形重建和文本到语音（TTS）的任务。我们在多说话者，多语言数据集上评估了不同说话风格的模型。在波形重建任务中，所提出的模型关闭了从原始PW到$10\%$记录的自然度和信号质量差距，以及从其他最先进的神经声码系统超过$60\%$。我们还证明了改进的客观指标的评估测试集与L2谱距离和交叉熵减少$3\%$和$6\unicode{x2030}$相比，仿射PW。此外，我们扩展了原始PW论文提出的概率密度蒸馏过程，使其适用于任何非仿射可逆和可微函数。
2021-06-16 cs.CL cs.SD eess.AS
Speech vocoding for laboratory phonology
Idiap Research Institute（伊迪亚普研究所）；Constantine the Philosopher University in Nitra（尼特拉康斯坦丁哲学家大学）；Institute of Informatics, Slovak Academy of Sciences（斯洛伐克科学院信息学研究所）
使用音位语音声码，我们提出了一个平台，探索音位和语音处理之间的关系，并在更广泛的条款，探索之间的关系的抽象和物理结构的语音信号。我们的目标是在连接语音学和语音处理方面迈出一步，并为实验室语音学项目做出贡献。我们展示了实验室语音学的三个应用实例：合成语音建模，语音系统的比较和实验语音参数的文本到语音（TTS）系统。本研究考虑了以下三种语音系统的特征表征：（i）政府音系（GP），（ii）英语语音模式（SPE），（iii）扩展SPE（eSPE）。比较GP和基于eSPE的声码语音，我们得出结论，后者取得了略好于前者的结果。然而，GP -最紧凑的音韵语音表示-执行与大量的音韵特征的系统。参数TTS的基础上的音韵语音表示，并从一个未标记的有声读物在无监督的方式进行训练，实现了85%的最先进的参数语音合成的可懂度。我们设想，所提出的方法铺平了道路，在这两个领域的研究人员形成有意义的假设，明确使用本文中开发和举例说明的概念进行测试。一方面，实验室音系学家可能会测试他们的理论模型的应用概念，另一方面，语音处理社区可能会利用为理论音系模型开发的概念来改进当前最先进的应用。
2016-09-15 cs.CL cs.SD
Real-Time Streaming Mel Vocoding with Generative Flow Matching
Signal Processing Group, Department of Informatics, University of Hamburg, Hamburg, Germany（信息学院信号处理组，汉堡大学，汉堡，德国）
本文提出MelFlow，一种基于生成流匹配的实时流式梅尔声码器，在16 kHz语音上实现32 ms算法延迟，并在消费级GPU上实际验证实时性能，且PESQ和SI-SDR显著优于HiFi-GAN等非流式基线。
2025-09-18 cs.LG cs.SD eess.AS
Speaker-adaptive neural vocoders for parametric speech synthesis systems
NAVER Corp.（NAVER 公司）；Yonsei University（延世大学）
本文提出了一种用于参数化文语转换（TTS）系统的说话人自适应神经声码器。最近提出的基于WaveNet的神经语音编码系统成功地产生了一个时间序列的语音信号与自回归框架。然而，当目标说话人的训练数据量不足时，合成高质量的语音仍然是一个挑战。为了在有限训练数据的约束下生成更自然的语音信号，我们提出了一种说话人自适应任务，该任务具有有效的神经声码模型变体。在该方法中，一个说话人无关的训练方法被应用到捕捉通用属性嵌入在多个说话人，然后训练的模型进行优化，以代表目标说话人的具体特征。实验结果验证了所提出的TTS系统与说话人自适应神经声码器优于传统的基于源滤波器模型的声码器和WaveNet声码器，训练无论是说话人相关或说话人无关。特别是，我们的TTS系统实现了3.80和3.77 MOS的韩国男性和韩国女性发言人，分别，即使我们只使用十分钟的语音语料库训练模型。
2020-08-01 cs.LG cs.SD eess.AS
SIMD-size aware weight regularization for fast neural vocoding on CPU
NTT Corporation（日本电报电话公司）
本文提出了一种更快的神经声码器的权重正则化。修剪耗时的DNN模块是在CPU上实现实时声码器（例如WaveRNN，LPCNet）的一种有前途的方法。鼓励稀疏性的正则化也可以有效地避免修剪造成的质量下降。然而，为了快速声码化，权重矩阵的阶数在SIMD大小上必须是连续的。为了确保这个顺序，我们提出了明确的SIMD大小感知正则化。我们所提出的方法将权重矩阵重塑为张量，以便预先按组大小对齐权重，然后计算组Lasso正则化损失。在70%稀疏子带WaveRNN上的实验表明，传统Lasso和列分组Lasso中的剪枝降低了合成语音的自然度。具有所提出的正则化的声码器1）实现了与没有修剪的声码器相当的自然度，并且2）比使用正则化的其他传统声码器执行得更快。
2022-11-02 cs.CL cs.LG cs.SD
Analysing Shortcomings of Statistical Parametric Speech Synthesis
Amazon（亚马逊）
统计参数语音合成（SPSS）的输出在质量、自然度、说话人相似性和噪声中的可懂度方面仍然明显低于自然语音记录。关于这些缺点的起源有许多假设，但这些假设通常是模糊的，并且没有经验证据可以证实和量化特定缺点如何导致合成语音中的不完美。在整个语音合成文献中，令人惊讶的是，很少有工作致力于识别语音合成中感知上最重要的问题，即使这些知识对于创建更好的SPSS系统具有很大的价值。在本章中，我们分析了SPSS的一些缺点。特别是，我们讨论了声码的问题，并提出了一个通用的方法来量化任何的许多假设和设计选择，阻碍SPSS的效果。该方法是伴随着一个例子，仔细测量和比较声码以及其他因素，如统计模型和它的使用所施加的感知限制的严重程度。
2018-07-28 cs.SD eess.AS
HooliGAN: Robust, High Quality Neural Vocoding
Resemble AI
生成模型的最新发展表明，深度学习与传统数字信号处理（DSP）技术相结合可以成功生成令人信服的小提琴样本[1]，源激励与WaveNet相结合可以产生高质量的声码器[2，3]，生成对抗网络（GAN）训练可以提高自然度[4，5]。通过结合这些模型中的思想，我们引入了HooliGAN，这是一种强大的声码器，具有最先进的结果，可以很好地微调较小的数据集（<30分钟的语音数据），并在GPU上以2.2MHz和CPU上以35kHz生成音频。我们还展示了对基于Tacotron的模型的简单修改，该模型允许与HooliGAN无缝集成。我们的听力测试结果显示，该模型能够在各种大小数据集上始终如一地输出高质量音频。我们在以下演示页面提供示例：https://resemble-ai.github.io/hooligan_demo/
2020-08-06 cs.SD eess.AS
Universal Neural Vocoding with Parallel WaveNet
Amazon（亚马逊）
我们提出了一个通用的神经声码器的基础上并行WaveNet，与一个额外的条件网络称为音频编码器。我们的通用声码器可在各种用例中提供实时高质量语音合成。我们对43名不同年龄和性别的内部扬声器进行了测试，他们以17种独特的风格说20种语言，其中7种声音和5种风格在培训期间没有暴露。我们表明，建议的通用声码器显着优于扬声器依赖声码器的整体。我们还表明，建议声码器优于现有的几个神经声码器架构的自然性和普遍性。当我们进一步测试300多个开源声音时，这些发现是一致的。
2021-02-15 cs.CL cs.SD eess.AS
Prosody-Guided Harmonic Attention for Phase-Coherent Neural Vocoding in the Complex Spectrum
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
本研究提出一种基于语调引导的谐波注意力的神经语音编码器，通过直接建模复谱提升语音合成的自然度和音高准确性。
2026-01-20 cs.AI cs.CL cs.SD
GELP: GAN-Excited Linear Prediction for Speech Synthesis from Mel-spectrogram
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
基于神经网络的文本到语音的最新进展已经在合成语音中达到人类水平的自然度。本序列到序列模型可以直接将文本映射到梅尔频谱图声学特征，这便于建模，但对声码化提出了额外的挑战（即，从声学特征产生波形）。高质量的合成可以通过神经声码器实现，例如WaveNet，但是这种自回归模型会受到缓慢的顺序推理的影响。同时，它们现有的并行推理对应物难以训练，并且需要越来越大的模型尺寸。在本文中，我们提出了一种替代的训练策略的并行神经声码器利用生成对抗网络，并集成了线性预测合成滤波器的模型。实验结果表明，该模型在推理速度上有显著提高，同时在复制合成质量上优于WaveNet。
2019-06-26 cs.LG cs.SD eess.AS
ExcitNet vocoder: A neural excitation model for parametric speech synthesis systems
NAVER Corp.（NAVER公司）；Yonsei University（延世大学）
提出了一种基于WaveNet的神经元激励模型（ExcitNet），用于统计参数化语音合成系统。传统的基于WaveNet的神经语音编码系统通过自回归框架统计地生成语音波形的时间序列来显著地提高合成语音的感知质量。然而，他们往往遭受噪声输出，因为在捕捉语音信号的复杂的时变性质的困难。为了提高建模效率，所提出的ExcitNet声码器采用自适应逆滤波器来将频谱分量从语音信号中解耦。然后在WaveNet框架内训练和生成残差分量，即激励信号。通过这种方式，可以进一步提高合成语音信号的质量，因为频谱分量由深度学习框架很好地表示，此外，残差分量由WaveNet框架有效地生成。实验结果表明，建议的ExcitNet声码器，训练的说话人相关和说话人无关，优于传统的线性预测声码器和类似配置的传统WaveNet声码器。
2019-08-21 cs.LG cs.SD eess.AS
Fine-Grained and Interpretable Neural Speech Editing
Northwestern University（西北大学）
针对现有语音表征属性纠缠、难以细粒度编辑的问题，本文提出首个解纠缠且可解释的语音表征，并结合数据增强训练神经声码器，实现多属性高质量编辑。
2024-07-07 cs.SD eess.AS
Generative adversarial network-based glottal waveform model for statistical parametric speech synthesis
Aalto University（阿尔托大学）
最近的研究表明，使用声门声码可以提高文本到语音合成的质量。这是指声码器，参数化语音分为两个部分，声门兴奋和声道，发生在人类的语音生产设备。当前的声门声码器通过使用深度神经网络（DNN）来生成声门激励波形。然而，目前声门激励模型的基于平方误差的训练仅限于生成条件平均波形，其未能捕获波形的随机变化。因此，作为后处理添加了整形噪声。在这项研究中，我们提出了一种新的方法来预测声门波形的生成对抗网络（GANs）。GANs是生成模型，旨在将数据分布嵌入潜在空间中，通过随机采样潜在分布来生成与原始实例非常相似的新实例。由GANs产生的声门脉冲显示出类似于自然声门脉冲的随机分量。在我们的实验中，我们比较了使用DNN和GANs产生的声门波形生成的合成语音。结果表明，新提出的GANs实现了与广泛使用的DNN相当的合成质量，而不使用加性噪声分量。
2019-03-14 cs.CL cs.LG cs.SD
A comparison of recent waveform generation and acoustic modeling methods for neural-network-based speech synthesis
National Institute of Informatics（国立信息学研究所）；Aalto University（阿尔托大学）
语音合成的最新进展表明，可以通过使用先进的机器学习方法来克服诸如具有最小相位近似的幅度谱的有损性质和声学建模中的过平滑效应之类的限制。在本文中，我们建立了一个框架，我们可以公平地比较新的声码和声学建模技术与传统的方法，通过大规模的众包评估。声学模型的结果表明，生成对抗网络和自回归（AR）模型的性能优于正常的递归网络，AR模型的性能最好。使用相同的AR声学模型对声码器进行评估表明，Wavenet声码器的性能优于经典的基于源滤波器的声码器。特别地，从AR声学模型和Wavenet声码器的组合生成的语音波形实现了类似的语音质量分数的声码语音。
2018-04-07 cs.CL cs.SD eess.AS
LP-WaveNet: Linear Prediction-based WaveNet Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）；Naver Corporation（Naver公司）；Yonsei University（延世大学）
提出了一种基于WaveNet语音编码框架的线性预测（LP）波形生成方法.基于WaveNet的神经声码器显著提高了参数化文语转换（TTS）系统的质量。然而，当目标数据库包含大量的声学信息，如韵律、风格或表现力时，有效地训练神经声码器是具有挑战性的。作为一种解决方案，已经提出了仅通过神经声码器产生语音源分量的方法。然而，它们往往会产生合成噪声，因为声源分量是独立处理的，而没有考虑整个语音产生过程;其中不可避免地会出现声源和声道滤波器之间的失配。为了解决这个问题，我们提出了一个LP-WaveNet声码器，其中声源和声道分量之间的复杂相互作用是在基于混合密度网络的WaveNet模型内联合训练的。实验结果表明，该系统在客观和主观上都优于传统的WaveNet声码器。特别是，所提出的方法实现了4.47 MOS的TTS框架内。
2020-03-04 cs.SD eess.AS
Speaker anonymization using neural audio codec language models
EURECOM；Microsoft UK（微软英国）
本文提出利用神经音频编解码器的量化编码作为说话人信息瓶颈，结合语言建模实现说话人匿名化，并通过Voice Privacy Challenge 2022评估框架验证了该方法的有效性。
2024-01-12 cs.SD eess.AS
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design（新加坡科技设计大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；National University of Singapore（新加坡国立大学）
说话人身份是人类言语的重要特征之一。在语音转换中，我们将说话者身份从一个转换为另一个，同时保持语言内容不变。语音转换涉及多种语音处理技术，例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展，我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中，我们全面概述了最先进的语音转换技术及其性能评估方法，从统计方法到深度学习，并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战（VCC），当前技术状态的性能，并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
Ultrasound-based Articulatory-to-Acoustic Mapping with WaveGlow Speech Synthesis
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（匈牙利科学院-厄特沃什·罗兰大学伦杜莱特语言发音研究组）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）
对于使用深度神经网络的发音到声学映射，通常声码器的频谱和激励参数已被用作训练目标。然而，声码往往导致嗡嗡声和低沉的最终语音质量。因此，在这篇关于基于超声波的发音到声学转换的论文中，我们使用了一个基于流的神经声码器（WaveGlow），它在大量的英语和匈牙利语语音数据上进行了预训练。卷积神经网络的输入是超声舌图像。训练目标是80维梅尔频谱图，这导致比先前使用的25维梅尔广义倒谱更精细的详细频谱表示。根据超声到梅尔频谱图预测的输出，WaveGlow推断产生合成语音。我们比较拟议的基于WaveGlow的系统与连续声码器，它不使用严格的有声/无声的决定时，预测F0。结果表明，在发音声学映射实验中，WaveGlow神经声码器产生的合成语音比基线系统更自然。此外，WaveGlow的优点是F0包含在梅尔谱图表示中，并且不需要单独预测激发。
2020-08-06 cs.SD eess.AS
A lightweight and robust method for blind wideband-to-fullband extension of speech
本文提出一种仅约370K参数、140 MFLOPS的轻量鲁棒盲宽带至全频带扩展方法，帧长10 ms、前瞻0.27 ms，与Opus 1.5配合在9 kb/s下可达到3GPP EVS 9.6 kb/s及Opus 1.4 18 kb/s的质量，实现向后兼容的质量提升。
2025-07-18 cs.SD eess.AS
Improved parallel WaveGAN vocoder with perceptually weighted spectrogram loss
NAVER Corp.（NAVER公司）；LINE Corp.（LINE公司）；Search Solutions Inc.（Search Solutions公司）
本文提出了一种基于并行WaveGAN的文语转换（TTS）系统的频谱域感知加权技术。最近提出的并行WaveGAN声码器使用快速非自回归WaveNet模型成功地生成波形序列。通过将多分辨率短时傅里叶变换（MR-STFT）准则与生成对抗网络相结合，可以有效地训练轻量级卷积网络，而无需任何蒸馏过程。为了进一步提高声码性能，我们提出了频率相关加权的MR-STFT损失函数的应用。所提出的方法惩罚感知敏感的错误在频域中，因此，该模型被优化，以减少合成语音中的听觉噪声。主观听力测试结果表明，我们提出的方法实现4.21和4.26 TTS的平均意见分数为女性和男性韩国人，分别。
2021-01-19 cs.SD eess.AS
Noise-Robust DSP-Assisted Neural Pitch Estimation with Very Low Complexity
Amazon Web Services（亚马逊云服务）
本文提出一种结合小型DNN与传统DSP特征的混合基音估计方法，在保持极低复杂度和算法延迟的同时达到或超越纯DNN模型的性能，并验证其对神经声码任务的有效性。
2024-01-16 cs.SD eess.AS
An overview of text-to-speech systems and media applications
本文概述了基于深度学习的文本转语音（TTS）系统，分析了其关键组件，对比了多种先进系统，并指出Tacotron 2等是最成功的TTS系统，最后提出了针对预期应用的开发建议。
2023-10-22 cs.SD eess.AS
ControlVC: Zero-Shot Voice Conversion with Time-Varying Controls on Pitch and Speed
University of Rochester（罗切斯特大学）
针对现有语音转换系统仅支持全局控制或控制缺乏可解释性的问题，提出ControlVC系统，通过预训练编码器和TD-PSOLA等技术实现音高和速度的时变控制，在非平行零样本任务中语音质量显著优于基线。
2025-04-15 cs.SD eess.AS
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD（加州大学圣迭戈分校）；Baidu Research（百度研究院）；NVIDIA（英伟达）
在这项工作中，我们提出了DiffWave，一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的，通过马尔可夫链将白噪声信号转换为结构化波形，合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频，包括基于mel频谱图的神经声编码，类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配（MOS：4.44与4.43），同时合成速度更快。特别是，在具有挑战性的无条件生成任务中，它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
vec2wav 2.0: Advancing Voice Conversion via Discrete Token Vocoders
X-LANCE Lab（X-LANCE实验室）；MoE Key lab of Artificial Intelligence（人工智能关键实验室）；School of Computer Science（计算机科学学院）；Shanghai Jiao Tong University（上海交通大学）；Jiangsu Key Lab of Language Computing（江苏语言计算关键实验室）；Shenzhen Research Institute of Big Data（深圳大数据研究 institute）
vec2wav 2.0 是一种基于离散词元与 WavLM 特征及自适应 Snake 激活函数的声码器，无需监督数据即可实现高质量任意到任意及跨语言语音转换。
2025-05-24 cs.AI cs.SD eess.AS
HiFTNet: A Fast High-Quality Neural Vocoder with Harmonic-plus-Noise Filter and Inverse Short Time Fourier Transform
Columbia University（哥伦比亚大学）
本文提出HiFTNet，通过在iSTFTNet中引入谐波加噪声源滤波器并利用预训练F0估计网络，在保持高质量语音合成的同时显著降低计算成本和参数规模，速度达BigVGAN四倍且参数仅为其1/6。
2023-09-18 cs.AI cs.SD eess.AS
A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Beijing Institute of Technology（北京理工大学）
本综述系统梳理了音频扩散模型在文本到语音合成与语音增强任务中的最新进展，按扩散模型应用阶段对TTS方法分类，并按信号增减对语音增强任务分类，同时比较了实验结果。
2023-04-02 cs.AI cs.LG cs.MM
A Survey on Neural Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）
文本转语音（TTS）或语音合成，其目的是在给定文本的情况下合成可理解且自然的语音，是语音、语言和机器学习社区中的热门研究课题，并且在工业中具有广泛的应用。近年来，随着深度学习和人工智能的发展，基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中，我们进行了全面的调查，神经TTS，旨在提供一个很好的理解，目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件，包括文本分析，声学模型和声码器，以及几个高级主题，包括快速TTS，低资源TTS，鲁棒TTS，表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源（例如，数据集，开源实现），并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
SnakeGAN: A Universal Vocoder Leveraging DDSP Prior Knowledge and Periodic Inductive Bias
The Chinese University of Hong Kong（香港中文大学）
提出基于 GAN 的通用声码器 SnakeGAN，利用 DDSP 先验和 Snake 激活引入周期性归纳偏置，仅用语音数据训练即可在多种分布外场景生成高保真音频。
2023-09-14 cs.SD eess.AS
Towards Controllable Speech Synthesis in the Era of Large Language Models: A Systematic Survey
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Surrey（萨里大学）
该系统性综述首次全面回顾可控TTS方法，从传统技术到基于自然语言提示的新兴方法，分类模型架构、控制策略等，总结挑战与数据集，为研究人员提供分类法并指明未来方向。
2025-08-25 cs.AI cs.CL cs.LG
SingGAN: Generative Adversarial Network For High-Fidelity Singing Voice Generation
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
深度生成模型在语音合成领域取得了重大进展，但由于歌唱声连续发音时间长、高频成分丰富、表现力强，高保真歌唱声合成仍是一个有待解决的问题。现有的为文本到语音而设计的神经声码器不能直接应用于歌唱声音合成，因为它们会导致毛刺和不良的高频重建。在这项工作中，我们提出了SingGAN，这是一种为高保真歌唱声音合成而设计的生成对抗网络。具体而言，1）为了缓解生成样本中的毛刺问题，我们提出了具有自适应特征学习滤波器的源激励，以扩展感受野模式并稳定长连续信号生成; 2）SingGAN在不同尺度上引入全局和局部鉴别器，以丰富低频细节并促进高频重建; 3）为了提高训练效率，SingGAN引入了辅助谱图损失和子带特征匹配惩罚损失。据我们所知，SingGAN是第一个针对高保真歌唱声音声码设计的作品。我们对SingGAN的评估证明了高质量（MOS 4.05）样本的最新结果。此外，SingGAN在单个NVIDIA 2080 Ti GPU上的采样速度比实时快50倍。我们进一步表明，SingGAN很好地概括了未被看到的歌手的梅尔声谱图反转，端到端的歌唱声音合成系统SingGAN-SVS享有两个阶段的管道，将乐谱转换成富有表现力的歌唱声音。音频样本可在\url{https://SingGAN.github.io/}上获得
2022-08-05 cs.MM cs.SD eess.AS
UnDiff: Unsupervised Voice Restoration with Unconditional Diffusion Model
Samsung Research（三星研究院）；HSE University（高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Artificial Intelligence Research Institute（人工智能研究院）
本文提出UnDiff，一种无条件扩散模型，通过一次训练即可适应多种语音逆任务，如带宽扩展、去削波、声码和源分离，并展示了其性能优于基线。
2023-10-12 cs.AI cs.SD eess.AS
WavChat: A Survey of Spoken Dialogue Models
Zhejiang University（浙江大学）；Microsoft（微软公司）；Alibaba Group（阿里巴巴集团）；Tencent YouTu Lab（腾讯优图实验室）
针对口语对话系统缺乏全面综述的问题，本文按时间顺序梳理现有系统并分为级联与端到端范式，深入分析核心技术、数据集及评估体系，为该领域学术研究与工业应用提供参考。
2024-11-26 cs.CL cs.LG cs.MM
HiFi++: a Unified Framework for Bandwidth Extension and Speech Enhancement
Samsung Research（三星研究院）；Higher School of Economics（高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）
本文提出基于 HiFi 声码器并改进生成器架构的统一框架 HiFi++，在带宽扩展和语音增强任务上以更少算力达到优于或可比肩 SOTA 的性能。
2023-12-10 cs.LG cs.SD eess.AS
A Review of Differentiable Digital Signal Processing for Music & Speech Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（帝国理工学院）
本文综述可微数字信号处理在音乐与语音合成中的应用，分类介绍其任务、动机、可微操作，并指出优化、鲁棒性及设计权衡等挑战与未来方向。
2023-08-29 cs.SD eess.AS
Generative Adversarial Network based Voice Conversion: Techniques, Challenges, and Recent Advancements
Department of Computer Science and Engineering, National Institute of Technology Durgapur（计算机科学与工程系，德瓦普尔国家理工学院）；Electronics and Communication Sciences Unit, Indian Statistical Institute（印度统计研究所电子与通信科学单位）
本综述全面分析了基于生成对抗网络（GAN）的语音转换技术，系统梳理了关键方法、技术挑战与最新进展，为构建更鲁棒高效的VC系统提供了结构化理解与未来研究方向。
2025-04-27 cs.AI cs.SD eess.AS
On Deep Speech Packet Loss Concealment: A Mini-Survey
University of Augsburg（奥格斯堡大学）；SyncPilot GmbH（SyncPilot有限公司）；Imperial College London（帝国理工学院）
分组丢失是使用IP语音的数据传输中的常见问题。这个问题是一个老问题，并且已经开发了各种经典方法来克服这个问题。然而，随着深度学习和生成模型（如生成对抗网络和自动编码器）的兴起，出现了一种尝试使用深度学习解决数据包丢失的新途径，即生成丢失数据包的替代品。在这个小型调查中，我们回顾了迄今为止发现的所有文献，这些文献试图使用深度学习方法解决语音中的数据包丢失问题。此外，我们简要地回顾了如何在一个现实的设置中的数据包丢失的问题进行建模，以及如何评估数据包丢失隐藏技术。此外，我们还回顾了相关领域中的一些现代深度学习技术，这些技术已经显示出有希望的结果。这些技术揭示了未来可能更好的PLC解决方案以及需要与数据包丢失同时考虑的其他挑战。
2020-05-15 cs.LG cs.SD eess.AS
Deep Neural Networks for Automatic Speech Processing: A Survey from Large Corpora to Limited Data
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
大多数最先进的语音系统都使用深度神经网络（DNN）。这些系统需要学习大量的数据。因此，在资源不足的语音语言/问题上学习最先进的框架是一项艰巨的任务。问题可能是语音受损的数据量有限。此外，获取更多的数据和/或专业知识既耗时又昂贵。在本文中，我们定位自己的以下语音处理任务：自动语音识别，说话人识别和情感识别。为了评估有限数据的问题，我们首先研究了最先进的自动语音识别系统，因为它代表了最困难的任务（由于每种语言的差异很大）。接下来，我们将概述需要较少数据的技术和任务。在最后一节中，我们研究了Few-Shot技术，因为我们将资源不足的语音解释为Few-Shot问题。在这个意义上，我们提出了一个概述的Few-Shot技术和观点，使用这种技术的重点语音问题在这次调查。它发生的审查技术不适合大型数据集。然而，一些有前途的结果，从文献鼓励使用这种技术的语音处理。
2020-03-09 cs.LG cs.SD eess.AS
A Comprehensive Survey with Critical Analysis for Deepfake Speech Detection
Austrian Institute of Technology（奥地利技术研究院）；HCM University of Technology（胡志明市理工大学）；University of Technology of Troyes（特鲁瓦技术大学）；FPT University（FPT大学）；BLOOM Social Analytics（BLOOM社会分析公司）；Université de technologie de Compiègne（贡比涅技术大学）
针对深度伪造语音检测任务，本文提供全面综述与批判性分析，涵盖挑战竞赛、公开数据集及深度学习技术，并通过实验验证假设，提出高性能检测模型及未来研究方向。
2025-03-25 cs.SD eess.AS
Toward Fair Speech Technologies: A Comprehensive Survey of Bias and Fairness in Speech AI
National Taiwan University（台湾大学）；University of Southern California（南加州大学）；Academia Sinica（中央研究院）
本综述整合400余项相关研究，构建统一框架，针对语音模态提出7种公平定义，梳理偏差来源并系统化缓解策略，为语音AI的公平性研究提供了全面指引。
2026-08-12 cs.SD eess.AS
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia（澳大利亚联邦大学）
在基于人工神经网络的序列到序列模型中，注意力是一种非常流行和有效的机制。在这篇调查论文中，提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
Accented Speech Recognition: A Survey
自动语音识别（ASR）系统对带口音语音的概括性较差。口音的语音和语言变异性在数据汇集和建模策略方面都对当今的ASR系统提出了严峻的挑战。不同口音的ASR性能的偏差对ASR的用户和提供商都是有代价的。我们提出了一个调查目前有前途的方法，口音语音识别，并强调在空间的关键挑战。目前的方法主要集中在单模型综合和重点特征工程。在这些挑战中，缺乏标准基准使得研究和比较特别困难。
2021-06-02 cs.CL cs.SD eess.AS
Direct Speech-to-Speech Neural Machine Translation: A Survey
NITTTR Chandigarh（昌迪加尔国家技术教师培训与研究中心）；IIT Indore（印多尔印度理工学院）
本文系统综述了直接语音到语音翻译模型，梳理其数据、应用与评估指标，分析基准性能并指出研究挑战与未来方向。
2024-11-13 cs.CL cs.SD eess.AS
Transformers in Speech Processing: A Survey
Queensland University of Technology（昆士兰理工大学）；Information Technology University（信息科技大学）；University of Lincoln（林肯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）；Qatar University（卡塔尔大学）
本文综述了Transformer在自动语音识别、合成、翻译、增强及多模态等语音处理各子领域中的应用、挑战与解决方案。
2025-06-04 cs.CL cs.SD eess.AS
Recent Advances in Speech Language Models: A Survey
Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）；LIGHTSPEED STUDIOS；National University of Singapore（新加坡国立大学）；Tencent（腾讯）
本综述首次全面概述语音语言模型（SpeechLMs）的构建方法、架构组件、训练方案、能力、评估指标及未来挑战，旨在替代ASR+LLM+TTS流水线，实现端到端语音生成。
2025-08-07 cs.CL cs.SD eess.AS
Meta-Learning in Audio and Speech Processing: An End to End Comprehensive Review
PES University（PES大学）
该文系统综述音频与语音处理中的元学习方法，涵盖数据、特征、元学习器、任务选择、数据集与应用，并展望未来方向。
2024-08-19 cs.LG cs.SD eess.AS
When Large Language Models Meet Speech: A Survey on Integration Approaches
Kyoto University（京都大学）
本文综述了语音与大语言模型的集成方法，分为基于文本、潜在表示和音频标记三类，并探讨了应用与挑战。
2025-09-09 cs.CL cs.SD eess.AS
Adversarial Attacks on Speech Recognition Systems for Mission-Critical Applications: A Survey
Deakin University（迪肯大学）
机器关键型应用程序是一个系统，它对特定和敏感的操作（如搜索和恢复，救援，军事和应急管理行动）的成功至关重要。机器学习、自然语言处理、话音识别和语音处理技术的最新进展自然允许开发和部署基于语音的会话接口以与各种机器关键应用交互。虽然这些对话界面允许用户发出语音命令来执行战略和关键活动，但它们对对抗攻击的鲁棒性仍然不确定和不清楚。事实上，对抗性人工智能（AI）是指一组试图用欺骗性数据欺骗机器学习模型的技术，是AI和机器学习研究界日益增长的威胁，特别是对于机器关键型应用程序。对抗攻击最常见的原因是在机器学习模型中造成故障。对抗攻击可能需要将不准确或伪造的样本作为模型的训练数据，或者引入恶意设计的数据来欺骗已经训练好的模型。在专注于机器关键型应用的语音识别的同时，在本文中，我们首先回顾了现有的语音识别技术，然后，我们调查了对抗攻击和防御这些系统的有效性，然后概述了研究挑战，防御建议和未来的工作。本文旨在为研究人员和从业人员提供参考，以帮助他们了解所面临的挑战，定位自己，并最终帮助他们改善现有的语音识别模型的关键任务的应用程序。关键词：关键任务应用，对抗性人工智能，语音识别系统。
2022-02-22 cs.CR cs.LG cs.SD
An experiment on an automated literature survey of data-driven speech enhancement methods
Universidade Estadual de Campinas（坎皮纳斯州立大学）；NeuralMind；ABB Corporate Research（ABB企业研究院）；KTH Royal Institute of Technology（皇家理工学院）
针对声学领域文献增多导致传统综述困难的问题，本研究用GPT模型对116篇数据驱动语音增强论文开展自动化综述，评估其回答特定查询的能力与局限性，发现自动化潜力大但需改进以提升技术问题回答的清晰度和准确性。
2023-10-10 cs.CL cs.SD eess.AS
Summarizing Speech: A Comprehensive Survey
KIT（卡尔斯鲁厄理工学院）；University Bonn（波恩大学）；Deutsches Museum（德意志博物馆）；CMU（卡内基梅隆大学）
本综述系统梳理语音摘要领域，涵盖数据集、评估方法及从传统到级联与端到端模型的进展，并指出现实基准、多语言和长上下文等挑战。
2025-10-17 cs.CL cs.SD eess.AS
A Survey of Multilingual Models for Automatic Speech Recognition
Microsoft Research India（微软研究院印度）
尽管自动语音识别（ASR）系统在某些语言上取得了与人类相似的性能，但由于缺乏大型语音数据集来训练这些模型，世界上大多数语言都没有可用的系统。跨语言迁移是这个问题的一个有吸引力的解决方案，因为低资源语言可以通过迁移学习或在同一多语言模型中联合训练而从高资源语言中受益。跨语言迁移的问题已经在ASR中得到了很好的研究，然而，自监督学习的最新进展正在为将未标记的语音数据用于多语言ASR模型开辟道路，这可以为提高低资源语言的性能铺平道路。在本文中，我们调查的艺术状态，在多语言ASR模型，建立了跨语言迁移的想法。我们提出了从不同语言和技术的研究中构建多语言模型的最佳实践，讨论了开放性问题，并为未来的工作提供了建议。
2022-02-25 cs.CL cs.SD eess.AS
Survey on Deep Neural Networks in Speech and Vision Systems
Old Dominion University（奥多明尼昂大学）；Tennessee State University（田纳西州立大学）
本综述综述了视觉和语音应用中最先进的深度神经网络架构、算法和系统。深度人工神经网络算法和架构的最新进展刺激了智能视觉和语音系统的快速创新和发展。随着大量传感器数据的可用性和用于处理和训练深度神经网络的云计算，以及移动和嵌入式技术的日益复杂性，下一代智能系统有望彻底改变个人和商业计算。本调查首先提供了一些迄今为止最成功的智能视觉和语音系统深度学习模型的背景和演变。概述了大规模的工业研究和开发工作，以强调智能视觉和语音系统的未来趋势和前景。强大而高效的智能系统需要在资源受限的硬件平台（如移动设备、机器人和汽车）中实现低延迟和高保真度。因此，本调查还总结了在硬件受限的平台上运行深度神经网络的关键挑战和最近的成功，即在有限的内存，电池寿命和处理能力内。最后，视觉和语音跨学科的新兴应用，如情感计算，智能交通和精准医疗进行了讨论。据我们所知，本文提供了一个最全面的调查在智能视觉和语音应用的最新发展，从软件和硬件系统的角度。许多使用深度神经网络的新兴技术显示出巨大的前景，将彻底改变未来视觉和语音系统的研究和开发。
2019-12-01 cs.CV cs.LG cs.NE
