Knowledge-and-Data-Driven Amplitude Spectrum Prediction for Hierarchical Neural Vocoders
University of Science and Technology of China（中国科学技术大学）
在我们以前的工作中，我们提出了一个神经声码器称为HiNet恢复语音波形预测幅度和相位谱分层输入的声学特征。在HiNet中，幅度谱预测器（ASP）从输入声学特征预测对数幅度谱（LAS）。本文提出了一种新的知识和数据驱动的ASP（KDD-ASP），以改善传统的。首先，声学特征（即，F0和梅尔倒谱）通过知识驱动的LAS恢复模块以获得近似LAS（ALAS）。该模块是基于短时傅里叶变换和信源滤波器理论相结合的方法设计的，其中信源部分和滤波器部分分别基于输入F0和梅尔倒谱进行设计。然后，由数据驱动的LAS细化模块处理恢复的LAS，该模块由多个可训练卷积层组成，以获得最终的LAS。实验结果表明，在文本到语音（TTS）任务中，使用KDD-ASP的HiNet声码器可以获得比使用传统ASP和WaveRNN声码器更高的合成语音质量。
2020-05-18 cs.SD eess.AS
ESTVocoder: An Excitation-Spectral-Transformed Neural Vocoder Conditioned on Mel Spectrogram
National Engineering Research Center of Speech and Language Information Processing（国家语言语音信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于源-滤波器理论的ESTVocoder，利用ConvNeXt v2将F0激励的幅度与相位谱转换为语音频谱并经ISTFT重建波形，实验表明其在语音质量上优于或媲美主流基线，且有效加速了模型收敛。
2024-11-18 cs.SD eess.AS
Unified Source-Filter GAN: Unified Source-filter Network Based On Factorization of Quasi-Periodic Parallel WaveGAN
Nagoya University（名古屋大学）
我们提出了一个统一的方法，数据驱动的源滤波器建模使用一个单一的神经网络开发的神经声码器能够生成高质量的合成语音波形，同时保留灵活性的源滤波器模型，以控制他们的语音特性。我们提出的网络称为统一的源滤波器生成对抗网络（uSFGAN）的开发，通过分解准周期并行WaveGAN（QPPWG），神经声码器的基础上一个单一的神经网络，到一个源激励生成网络和声道共振滤波网络通过额外实现正则化损失。此外，受神经源滤波器（NSF）的启发，仅正弦波形被另外用作最简单的线索以生成周期性源激励波形，同时最小化源滤波器模型中的近似的影响。实验结果表明，uSFGAN优于传统的神经声码器，如QPPWG和NSF在语音质量和音高可控性。
2021-06-27 cs.LG cs.SD eess.AS
A Neural Vocoder with Hierarchical Generation of Amplitude and Phase Spectra for Statistical Parametric Speech Synthesis
本文提出了一种神经元声码器HiNet，它通过对幅度谱和相位谱的分层预测，从声学特征中重构语音波形。与现有的WaveNet、SampleRNN和WaveRNN等直接使用单个神经网络产生波形样本的神经声码器不同，HiNet声码器由幅度谱预测器（ASP）和相位谱预测器（PSP）组成。ASP是一个简单的DNN模型，它从声学特征预测对数振幅谱（LAS）。预测的LAS被发送到PSP中用于相位恢复。考虑到相位扭曲问题和相位建模的困难，PSP是通过级联一个神经源滤波器（NSF）波形发生器和相位提取器。我们还将生成对抗网络（GANs）引入ASP和PSP。最后，将ASP和PSP的输出结合起来，通过短时傅立叶合成来重构语音波形。由于两种预测器都没有自回归结构，HiNet声码器可以高效地产生语音波形。客观和主观的实验结果表明，我们提出的HiNet声码器实现了更好的自然度比传统的STRAIGHT声码器，一个16位的WaveNet声码器使用开源实现和NSF声码器具有类似的复杂度的PSP，并获得类似的性能与16位的WaverRNN声码器的重建语音。我们还发现，在一定程度上，HiNet的性能是不敏感的神经波形发生器在PSP中的复杂性。在简化其模型结构后，使用GPU生成16kHz语音的1s波形所消耗的时间可以从0.34s进一步减少到0.19s，而不会显着降低质量。
2020-02-05 cs.SD eess.AS
HiFTNet: A Fast High-Quality Neural Vocoder with Harmonic-plus-Noise Filter and Inverse Short Time Fourier Transform
Columbia University（哥伦比亚大学）
本文提出HiFTNet，通过在iSTFTNet中引入谐波加噪声源滤波器并利用预训练F0估计网络，在保持高质量语音合成的同时显著降低计算成本和参数规模，速度达BigVGAN四倍且参数仅为其1/6。
2023-09-18 cs.AI cs.SD eess.AS
Training Universal Vocoders with Feature Smoothing-Based Augmentation Methods for High-Quality TTS Systems
NAVER Cloud Corp.（NAVER云公司）
本文提出一种基于随机线性平滑滤波的特征增强训练方法，用于提升通用声码器在TTS中的泛化能力，无需修改架构即可显著改善合成语音自然度，在Tacotron 2和FastSpeech 2上MOS分别提升11.99%和12.05%。
2024-09-04 cs.LG cs.SD eess.AS
SpecGrad: Diffusion Probabilistic Model based Neural Vocoder with Adaptive Noise Spectral Shaping
Google Research（谷歌研究院）；Tokyo University of Agriculture and Technology（东京农工大学）
通过对扩散噪声分布进行自适应处理，改进了基于去噪扩散概率模型（DDPM）的神经声码器。在这项研究中，我们提出了SpecGrad，适应扩散噪声，使其随时间变化的频谱包络变得接近的条件对数梅尔频谱图。通过时变滤波的这种适应改善了声音质量，特别是在高频段中。它在时频域中进行处理，以保持与传统的基于DDPM的神经声码器几乎相同的计算成本。实验结果表明，SpecGrad在分析合成和语音增强两种情况下都比传统的基于DDPM的神经声码器产生更高保真的语音波形。音频演示可在wavegrad.github.io/specgrad/上获得。
2022-08-04 cs.LG cs.SD eess.AS
ExcitNet vocoder: A neural excitation model for parametric speech synthesis systems
NAVER Corp.（NAVER公司）；Yonsei University（延世大学）
提出了一种基于WaveNet的神经元激励模型（ExcitNet），用于统计参数化语音合成系统。传统的基于WaveNet的神经语音编码系统通过自回归框架统计地生成语音波形的时间序列来显著地提高合成语音的感知质量。然而，他们往往遭受噪声输出，因为在捕捉语音信号的复杂的时变性质的困难。为了提高建模效率，所提出的ExcitNet声码器采用自适应逆滤波器来将频谱分量从语音信号中解耦。然后在WaveNet框架内训练和生成残差分量，即激励信号。通过这种方式，可以进一步提高合成语音信号的质量，因为频谱分量由深度学习框架很好地表示，此外，残差分量由WaveNet框架有效地生成。实验结果表明，建议的ExcitNet声码器，训练的说话人相关和说话人无关，优于传统的线性预测声码器和类似配置的传统WaveNet声码器。
2019-08-21 cs.LG cs.SD eess.AS
Avocodo: Generative Adversarial Network for Artifact-free Vocoder
NCSOFT（NCSoft公司）
基于生成式对抗神经网络（GAN）的神经声码器由于其快速的推理速度和轻量级的网络，同时产生高质量的语音波形而得到广泛应用。由于感知上重要的语音分量主要集中在低频段中，因此大多数基于GAN的声码器执行多尺度分析，以评估下采样的语音波形。这种多尺度分析有助于生成器提高语音清晰度。然而，在初步的实验中，我们发现集中于低频段的多尺度分析会导致非预期的伪影，例如，混叠和成像伪像，这降低了合成语音波形的质量。因此，在本文中，我们研究了这些伪影与基于GAN的声码器之间的关系，并提出了一种基于GAN的声码器，称为Avocodo，它允许合成高保真语音，减少伪影。我们介绍了两种鉴别器，以评估语音波形在不同的角度：一个合作的多带鉴别器和子带鉴别器。我们还利用伪正交镜像滤波器组，以获得下采样的多频带语音波形，同时避免混叠。根据实验结果，Avocodo在客观和主观上都优于基于GAN的基线声码器，同时以更少的伪影再现语音。
2023-01-03 cs.AI cs.SD eess.AS
Speaker-adaptive neural vocoders for parametric speech synthesis systems
NAVER Corp.（NAVER 公司）；Yonsei University（延世大学）
本文提出了一种用于参数化文语转换（TTS）系统的说话人自适应神经声码器。最近提出的基于WaveNet的神经语音编码系统成功地产生了一个时间序列的语音信号与自回归框架。然而，当目标说话人的训练数据量不足时，合成高质量的语音仍然是一个挑战。为了在有限训练数据的约束下生成更自然的语音信号，我们提出了一种说话人自适应任务，该任务具有有效的神经声码模型变体。在该方法中，一个说话人无关的训练方法被应用到捕捉通用属性嵌入在多个说话人，然后训练的模型进行优化，以代表目标说话人的具体特征。实验结果验证了所提出的TTS系统与说话人自适应神经声码器优于传统的基于源滤波器模型的声码器和WaveNet声码器，训练无论是说话人相关或说话人无关。特别是，我们的TTS系统实现了3.80和3.77 MOS的韩国男性和韩国女性发言人，分别，即使我们只使用十分钟的语音语料库训练模型。
2020-08-01 cs.LG cs.SD eess.AS
LP-WaveNet: Linear Prediction-based WaveNet Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）；Naver Corporation（Naver公司）；Yonsei University（延世大学）
提出了一种基于WaveNet语音编码框架的线性预测（LP）波形生成方法.基于WaveNet的神经声码器显著提高了参数化文语转换（TTS）系统的质量。然而，当目标数据库包含大量的声学信息，如韵律、风格或表现力时，有效地训练神经声码器是具有挑战性的。作为一种解决方案，已经提出了仅通过神经声码器产生语音源分量的方法。然而，它们往往会产生合成噪声，因为声源分量是独立处理的，而没有考虑整个语音产生过程;其中不可避免地会出现声源和声道滤波器之间的失配。为了解决这个问题，我们提出了一个LP-WaveNet声码器，其中声源和声道分量之间的复杂相互作用是在基于混合密度网络的WaveNet模型内联合训练的。实验结果表明，该系统在客观和主观上都优于传统的WaveNet声码器。特别是，所提出的方法实现了4.47 MOS的TTS框架内。
2020-03-04 cs.SD eess.AS
Pseudo-Cepstrum: Pitch Modification for Mel-Based Neural Vocoders
本文提出了一种基于倒谱的音高修改方法，可直接修改梅尔频谱图特征空间以实现音高调整，适用于各种基于梅尔的神经语音合成器。
2025-12-18 cs.LG cs.SD eess.AS
A Cyclical Approach to Synthetic and Natural Speech Mismatch Refinement of Neural Post-filter for Low-cost Text-to-speech System
Nagoya University（名古屋大学）；AI, Inc.（AI株式会社）
由于神经网络的快速发展，基于神经网络的文本转语音（TTS）系统实现了非常高保真的语音生成。然而，巨大的标记语料库和高计算成本的要求限制了小型公司或个人开发高保真TTS系统的可能性。另一方面，神经声码器，这已被广泛采用的基于神经的TTS系统中的语音生成，可以训练与一个相对较小的未标记的语料库。因此，在本文中，我们探讨了一个通用的框架，开发一个神经后置滤波器（NPF）的低成本TTS系统使用神经声码器。提出了一种循环方法来解决开发NPF的声学和时间失配（AM和TM）。已经进行了客观和主观的评价，以证明AM和TM的问题和所提出的框架的有效性。
2022-07-13 cs.SD eess.AS
Speaker-independent raw waveform model for glottal excitation
Aalto University（阿尔托大学）；University of Crete（克里特大学）；National Institute of Informatics（国立信息学研究所）
最近的语音技术研究已经看到对使用WaveNets作为统计声码器的兴趣越来越大，即，从声学特征生成语音波形。这些模型已被证明可以在许多任务中，如文本到语音合成和语音转换，提高生成的语音质量超过经典声码器。此外，具有声学特征的调节WaveNets允许在多个扬声器之间共享波形发生器模型，而无需额外的扬声器代码。然而，多扬声器WaveNet模型需要大量的训练数据和计算来覆盖整个声学空间。本文提出了利用语音产生的源滤波器模型来更有效地训练具有有限资源的说话者无关的波形发生器。我们提出了一个多扬声器的“GlotNet”声码器，它利用WaveNet产生声门激励波形，然后用于激励相应的声道滤波器产生语音。听力测试表明，该模型的性能优于直接WaveNet声码器训练与相同的模型结构和数据。
2018-04-25 cs.SD eess.AS stat.ML
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果，而轻量级的GAN模型，例如MelGAN和Parallel WaveGAN，在感知质量方面仍然较差。因此，我们提出了StyleMelGAN，一个轻量级的神经声码器，允许合成高保真语音，计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练，多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号，其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明，StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
NeuralDPS: Neural Deterministic Plus Stochastic Model with Multiband Excitation for Noise-Controllable Waveform Generation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
传统声码器具有合成效率高、可解释性强、语音可编辑等优点，而神经元声码器具有合成质量高的优点。为了结合两种声码器的优点，受传统的确定性加随机性模型的启发，提出了一种新的神经声码器NeuralDPS，它既能保持高的语音质量，又能获得高的合成效率和噪声可控性。首先，该框架包含四个模块：确定性源模块、随机源模块、神经V/UV决策模块和神经滤波器模块。声码器所需的输入仅为频谱参数，避免了估计额外参数（如F0）所带来的误差。其次，针对不同频段可能存在确定性成分和随机性成分比例不同的问题，采用多频段激励策略，以产生更精确的激励信号，减少神经滤波器的负担。第三，提出了一种语音噪声控制方法。这样，语音的信噪比（SNR）可以很容易地调节。客观和主观的实验结果表明，我们提出的NeuralDPS声码器可以获得类似的性能与WaveNet，它产生的波形至少比WaveNet声码器快280倍。它也比WaveGAN在单个CPU核心上的合成效率快28%。实验证明，该方法能有效地抑制预测语音中的噪声成分，调节语音的信噪比。生成的语音的示例可以在https://hairuo55.github.io/NeuralDPS找到。
2022-03-05 cs.CL cs.SD eess.AS
JenGAN: Stacked Shifted Filters in GAN-Based Speech Synthesis
Seoul National University (SNU)（首尔大学（SNU））；Supertone Inc.（Supertone公司）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对GAN神经声码器生成结果中的可听伪影问题，本文提出JenGAN训练策略，通过堆叠移位低通滤波器保证移位等变性以防止混叠并减少伪影，实验表明其能持续提升声码器模型在多数指标上的性能。
2024-06-10 cs.AI cs.SD eess.AS
Vocoder-free End-to-End Voice Conversion with Transformer Network
Kyungpook National University（庆北国立大学）
与原始频谱相比，基于梅尔频率滤波器组（MFB）的方法具有学习语音的优势，因为MFB具有较小的特征尺寸。然而，采用MFB方法的语音发生器需要额外的声码器，这需要大量的计算开销用于训练过程。额外的预/后处理，如MFB和声码器，对于将真实的人类语音转换为其他语音并不重要。可以仅使用原始频谱以及相位来生成具有清晰发音的不同风格的语音。在这方面，我们提出了一种快速有效的方法来转换现实的声音，使用原始频谱的并行方式。我们的基于transformer的模型架构没有任何CNN或RNN层，显示了快速学习的优势，解决了传统RNN顺序计算的局限性。本文介绍了一种利用Transformer网络实现无声码器端到端语音转换的方法。该转换模型也可用于语音识别的说话人自适应。我们的方法可以将源语音转换为目标语音，而无需使用MFB和声码器。通过将转换后的幅度与相位相乘，可以得到用于语音识别的自适应MFB。我们在TIDIGITS数据集上进行了语音转换实验，分别使用自然度，相似度和清晰度等指标与平均意见得分。
2020-02-05 cs.LG cs.SD eess.AS
A comparison of recent waveform generation and acoustic modeling methods for neural-network-based speech synthesis
National Institute of Informatics（国立信息学研究所）；Aalto University（阿尔托大学）
语音合成的最新进展表明，可以通过使用先进的机器学习方法来克服诸如具有最小相位近似的幅度谱的有损性质和声学建模中的过平滑效应之类的限制。在本文中，我们建立了一个框架，我们可以公平地比较新的声码和声学建模技术与传统的方法，通过大规模的众包评估。声学模型的结果表明，生成对抗网络和自回归（AR）模型的性能优于正常的递归网络，AR模型的性能最好。使用相同的AR声学模型对声码器进行评估表明，Wavenet声码器的性能优于经典的基于源滤波器的声码器。特别地，从AR声学模型和Wavenet声码器的组合生成的语音波形实现了类似的语音质量分数的声码语音。
2018-04-07 cs.CL cs.SD eess.AS
Streaming non-autoregressive model for any-to-many voice conversion
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音转换模型已经发展了几十年，目前主流的研究主要集中在非流式语音转换。但是，流式语音转换比非流式语音转换更适合实际应用场景。本文提出了一种基于完全非自回归模型的流任意到多语音转换方法，该方法包括基于流Transformer的声学模型和流声码器。基于流式Transformer的声学模型由基于流式端到端自动语音识别模型的预训练编码器和基于FastSpeech块修改的解码器组成。流声码器采用伪正交镜像滤波器组和因果卷积技术，实现了流声码器的设计。实验结果表明，该方法在延迟和转换质量方面都取得了显著的性能，并且可以在CPU和GPU上实现实时性。
2022-06-15 cs.SD eess.AS
Denoising-and-Dereverberation Hierarchical Neural Vocoder for Robust Waveform Generation
University of Science and Technology of China（中国科学技术大学）；National Institute of Informatics（国立信息学研究所）
本文提出了一种去噪和去混响的分层神经声码器（DNR HiNet），将噪声和混响的声学特征转换为干净的语音波形。我们主要是通过修改原有HiNet声码器中的幅度谱预测器（ASP）来实现的。这种改进的去噪和去混响ASP（DNR-ASP）可以从输入的退化声学特征预测干净的对数幅度谱（LAS）。为了实现这一点，DNR-ASP首先预测噪声和混响LAS、与噪声信息相关的噪声LAS以及与混响信息相关的房间脉冲响应，然后执行初始去噪和去混响。然后，通过另一个神经网络增强初始处理的LAS作为最终清洁LAS。为了进一步提高生成的干净LAS的质量，我们还在DNR-ASP中引入了带宽扩展模型和频率分辨率扩展模型。实验结果表明，DNR-HiNet声码器能够产生一个去噪和去混响的波形给定的噪声和混响的声学特征，并优于原来的HiNet声码器和其他一些神经声码器。我们还将DNR-HiNet声码器应用于语音增强任务，其性能与几种先进的语音增强方法相媲美。
2020-11-08 cs.SD eess.AS
Parallel Synthesis for Autoregressive Speech Generation
National Taiwan University（国立台湾大学）
本文提出频域自回归生成（FAR）和逐位自回归生成（BAR）两种并行合成方法，将自回归迭代次数从与话语长度成正比改为与子带数/位数成正比，显著提升推理效率，无需GPU即可实现比实时更快的语音合成，并在MUSHRA和泛化能力上优于基线声码器。
2024-06-05 cs.SD eess.AS
Unified Source-Filter GAN with Harmonic-plus-Noise Source Excitation Generation
Nagoya University（名古屋大学）
本文介绍了一种具有谐波加噪声源激励产生机制的统一源滤波器网络。在我们以前的工作中，我们提出了统一的源滤波器GAN（uSF GAN）开发一个高保真的神经声码器灵活的语音可控性使用统一的源滤波器神经网络架构。然而，uSFGAN对非周期性源激励信号进行建模的能力是不足的，并且在自然语音和生成语音之间的声音质量中仍然存在差距。为了提高声源激励的建模和生成的声音质量，提出了一种新的声源激励生成网络，分别生成周期和非周期分量。还采用了HiFiGAN的高级对抗训练过程来取代原始uSFGAN中使用的并行WaveGAN。客观和主观评价结果均表明，改进后的uSFGAN在保持语音可控性的同时，显著改善了基本uSFGAN的音质。
2022-07-01 cs.LG cs.SD eess.AS
GELP: GAN-Excited Linear Prediction for Speech Synthesis from Mel-spectrogram
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
基于神经网络的文本到语音的最新进展已经在合成语音中达到人类水平的自然度。本序列到序列模型可以直接将文本映射到梅尔频谱图声学特征，这便于建模，但对声码化提出了额外的挑战（即，从声学特征产生波形）。高质量的合成可以通过神经声码器实现，例如WaveNet，但是这种自回归模型会受到缓慢的顺序推理的影响。同时，它们现有的并行推理对应物难以训练，并且需要越来越大的模型尺寸。在本文中，我们提出了一种替代的训练策略的并行神经声码器利用生成对抗网络，并集成了线性预测合成滤波器的模型。实验结果表明，该模型在推理速度上有显著提高，同时在复制合成质量上优于WaveNet。
2019-06-26 cs.LG cs.SD eess.AS
Deep Convolutional Neural Network-based Inverse Filtering Approach for Speech De-reverberation
McGill University（麦吉尔大学）
本文介绍了一种使用深度卷积神经网络（CNN）进行单通道语音混响消除的谱域逆滤波方法。主要目标是更好地处理现实混响条件下，房间脉冲响应（RIR）滤波器比短时傅立叶变换（STFT）分析窗口长。为此，我们考虑混响语音信号的卷积传递函数（CTF）模型。在所提出的框架中，CNN架构被训练为直接估计CTF模型的逆滤波器。在CNN结构的各种选择中，我们考虑了U-网，它由具有跳跃连接的全卷积自动编码器网络组成。实验结果表明，在各种混响条件下，该方法都能获得比现有基准算法更好的去混响效果。
2020-10-15 cs.SD eess.AS
WaveCycleGAN: Synthetic-to-natural speech waveform conversion using cycle-consistent adversarial networks
NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
我们提出了一种基于学习的滤波器，它允许我们直接将合成语音波形修改为自然语音波形。使用诸如统计参数语音合成和语音转换的声码器框架的语音处理系统特别对于有限数量的数据是方便的，因为可以在紧凑的空间上表示和处理可解释的声学特征，诸如基频（F0）和梅尔倒谱。然而，导致生成的语音的质量劣化的公知问题是消除生成/转换的声学特征的一些详细结构的过平滑效应。为了解决这个问题，我们提出了一种合成到自然语音波形转换技术，该技术使用周期一致的对抗网络，并且在对抗学习中不需要对语音波形进行任何明确的假设。与目前的技术相比，由于我们的修改是在波形水平上进行的，我们预计，所提出的方法也将使它有可能产生“声码器少”发声语音，即使输入语音合成使用声码器框架。实验结果表明，我们提出的方法可以1）减轻过度平滑的声学特征，尽管直接修改的方法用于波形和2）大大提高所生成的语音的自然度。
2018-09-28 cs.LG cs.SD eess.AS
HiFi-Glot: High-Fidelity Neural Formant Synthesis with Differentiable Resonant Filters
Acoustic Lab, Department of Information Communications Engineering, Aalto University（声学实验室，信息与通信工程系，艾尔沃大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；Department of Speech, Music and Hearing, KTH Royal Institute of Technology（语音、音乐与听觉系，皇家理工学院）
HiFi-Glot通过可微共振滤波器实现高保真神经元音合成，提供精确的元音控制和自然语音生成。
2026-02-16 cs.SD eess.AS
VoiceFixer: Toward General Speech Restoration with Neural Vocoder
Speech, Audio and Music Intelligence (SAMI), ByteDance（字节跳动语音、音频和音乐智能（SAMI）部门）
语音恢复的目的是消除语音信号中的失真。现有的方法主要集中在单任务语音恢复（SSR），如语音去噪或语音declipping。然而，SSR系统只专注于一个任务，并没有解决一般的语音恢复问题。此外，以前的SSR系统在一些语音恢复任务（如语音超分辨率）中表现出有限的性能。为了克服这些限制，我们提出了一个通用的语音恢复（GSR）的任务，试图同时消除多个失真。此外，我们提出了VoiceFixer，一个生成框架来解决GSR任务。VoiceFixer由分析阶段和合成阶段组成，以模仿人类听觉系统的语音分析和理解。我们采用一个ResUNet模型的分析阶段和神经声码器模型的合成阶段。我们评估VoiceFixer与加性噪声，室内混响，低分辨率和削波失真。我们的基线GSR模型实现了0.499高的平均意见得分（MOS）比语音增强SSR模型。VoiceFixer在MOS得分上进一步超过GSR基线模型0.256。此外，我们观察到，VoiceFixer可以很好地推广到严重退化的真实语音记录，这表明它在恢复旧电影和历史演讲方面的潜力。源代码可在https://github.com/haoheliu/voicefixer_main上获得。
2021-10-05 cs.SD eess.AS
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Enhancing Low-Quality Voice Recordings Using Disentangled Channel Factor and Neural Waveform Model
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；University of Science and Technology of China（中国科学技术大学）
高质量的语音语料库是大多数语音应用的重要基础。然而，由于这些语音数据是在专业记录环境中收集的，因此它们是昂贵且有限的。在这项工作中，我们提出了一个编码器-解码器神经网络，可以自动将低质量的录音增强为专业的高质量录音。为了解决通道可变性，我们首先使用具有对抗训练的编码器网络从原始输入音频中过滤掉通道特征。接下来，我们从参考音频中解开通道因子。以该因子为条件，然后使用自回归解码器来预测目标-环境Mel谱图。最后，我们应用一个类神经声码器来合成语音波形。实验结果表明，该系统在以高质量音频为参考的情况下，能够生成专业的高质量语音波形。与几种最先进的基线系统相比，它还提高了语音增强性能。
2020-11-10 cs.SD eess.AS
Baseline Systems For The 2025 Low-Resource Audio Codec Challenge
Collaboration AI, Cisco Systems, Inc.（Collaboration AI，思科系统公司）
本文介绍了2025年低资源音频编解码器挑战赛的基线系统，采用带残差矢量量化的卷积神经编解码器，通过对抗与重建目标端到端训练，覆盖透明与增强两个赛道。
2025-10-07 cs.LG cs.SD
Neural source-filter waveform models for statistical parametric speech synthesis
National Institute of Informatics（国立信息学研究所）；Nagoya Institute of Technology（名古屋工业大学）；Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
对于统计参数语音合成，神经波形模型（如WaveNet）已证明比常规声码器性能更好。作为自回归（AR）模型，WaveNet受到缓慢的连续波形生成过程的限制。一些新的模型使用逆自回归流（IAF）可以在一个触发的方式产生一个完整的波形。然而，这些基于IAF的模型在训练过程中需要顺序转换，这严重降低了训练速度。其他模型如Parallel WaveNet和ClariNet将AR和IAF模型的优势结合在一起，并通过将知识从预先训练的AR教师转移到IAF学生而无需任何顺序转换来训练IAF模型。然而，这两种模型都需要额外的训练标准，并且它们的实现非常复杂。我们提出了一个框架，神经源滤波器（NSF）的波形建模没有AR，也没有基于IAF的方法。这个框架只需要三个组件来生成波形：一个源模块，它生成一个基于正弦的信号作为激励;一个基于非AR扩张卷积的滤波器模块，它将激励转换为波形;以及一个条件模块，它对源和滤波器模块的声学特征进行预处理。该框架最小化了用于模型训练的频谱幅度距离，这可以通过使用短时傅里叶变换例程来有效地实现。在此框架下，我们设计了三个NSF模型，并与WaveNet进行了比较。结果表明，NSF模型生成波形的速度至少比WaveNet快100倍，并且最佳NSF模型的合成语音质量优于或等同于WaveNet。
2019-11-17 cs.SD eess.AS stat.ML
The Deterministic plus Stochastic Model of the Residual Signal and its Applications
University of Mons（蒙斯大学）
语音产生的建模通常依赖于源过滤器方法。虽然滤波器的参数化方法目前已经达到了一定的成熟度，但对于一些语音处理应用，在寻找合适的激励模型方面仍有很多工作要做。本文提出了一个确定性加随机模型（DSM）的残留信号。DSM由作用于由最大浊音频率界定的两个不同谱带中的两个贡献组成。这两个分量是从对音高同步残留帧的依赖于说话者的数据集执行的分析中提取的。确定性部分模拟低频内容，并从这些帧的正交分解产生。至于随机分量，它是在时间和频率上调制的高频噪声。还强调了DSM的一些有趣的语音和计算属性。DSM在两个领域的语音处理的适用性进行了研究。首先，它表明，将DSM声码器在基于HMM的语音合成提高了交付的质量。事实证明，所提出的方法显着优于传统脉冲激励，并提供与STRAIGHT等效的质量。在第二个应用程序中，潜在的声门签名来自建议的DSM调查说话人辨识的目的。有趣的是，这些签名显示出比其他基于声门的方法更好的识别率。
2019-12-29 cs.CL cs.SD eess.AS
Unsupervised Instantaneous Phase and Frequency Tracking by Inverse Voice Synthesis
Queen Mary University of London（伦敦玛丽女王大学）
针对神经声码器难以端到端学习基频的问题，提出无混叠加性声源的源-滤波器模型，显式建模瞬时相位并求导得瞬时频率，无需外部跟踪器即可实现高精度无监督基频跟踪，在多个数据集上优于神经基线。
2026-10-05 cs.SD eess.AS
Joint NN-Supported Multichannel Reduction of Acoustic Echo, Reverberation and Noise
Invoxia SAS（Invoxia公司）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用研究实验室）
我们考虑的问题，同时减少声学回声，混响和噪声。在真实场景中，这些失真源可能同时发生，减少它们意味着组合相应的失真特定滤波器。由于这些过滤器相互作用，因此必须对其进行联合优化。我们建议使用多通道高斯建模框架对线性回波消除和去混响后的目标和残留信号进行建模，并通过神经网络联合表示它们的频谱。我们开发了一个迭代块坐标上升算法来更新所有的过滤器。我们评估我们的系统在各种情况下用智能扬声器获得的声学回声，混响和噪声的真实记录。所提出的方法优于整体失真的级联的个别方法和联合减少的方法，它不依赖于目标和残留信号的频谱模型。
2020-07-27 cs.LG cs.SD eess.AS
R2-SVC: Towards Real-World Robust and Expressive Zero-shot Singing Voice Conversion
AI Lab, Giant Network（巨量网络人工智能实验室）
R2-SVC提出一种鲁棒且富有表现力的零样本歌声转换框架，通过仿真增强、领域数据丰富表示和神经源-滤波器模型，在干净和噪声条件下均达到最先进性能。
2025-10-23 cs.AI cs.SD eess.AS
Serenade: A Singing Style Conversion Framework Based On Audio Infilling
Graduate School of Informatics（信息科学研究生院）；Nagoya University（名古屋大学）；Information Technology Center（信息技术中心）
Serenade 提出基于音频填充和流匹配的演唱风格转换框架，通过循环训练解耦源风格，并结合原始 F0 重合成以保留旋律，在相似度和自然度上取得最佳综合效果。
2025-07-04 cs.SD eess.AS
Effects of virtual acoustics on dynamic auditory distance perception
声音传播包括各种声学现象，包括混响。当前的虚拟声学方法，从参数滤波器到物理精确求解器，可以模拟具有不同保真度的混响。我们研究了使用不同传播算法产生的混响声音对声学距离感知的影响，即，人类感知声源的距离特别是，我们评估两类方法的实时声音传播的动态场景的基础上参数滤波器和光线追踪。我们的研究表明，更准确的方法显示较少的距离压缩相比，近似的，基于过滤器的方法。这表明VR中精确的混响可以更好地再现声学距离。我们还量化了虚拟环境中不同传播方法引入的距离压缩水平。
2017-04-20 cs.SD
A neural network-supported two-stage algorithm for lightweight dereverberation on hearing devices
Universität Hamburg（汉堡大学）；Advanced Bionics（先进仿生公司）
本文提出一种面向助听设备的轻量级两阶段在线去混响算法，结合多通道线性滤波与单通道后置滤波，并利用DNN估计PSD，通过端到端训练优化早期到中期混响比，再以后置滤波抑制晚期混响，在性能和计算效率上优于现有DNN方法。
2023-05-31 cs.LG cs.SD eess.AS
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
语音去混响的一种有前途的方法是基于监督学习，其中训练深度神经网络（DNN）以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识，并且很少明确地利用混响中的线性滤波器结构，即，该混响由房间脉冲响应（RIR）和干源信号之间的线性卷积产生。在这项工作中，我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号，然后识别作为估计的直接路径信号的衰减和延迟副本的信号，因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响，也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本，我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器（或RIR）。然后，我们修改所提出的算法，在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB，SMS-WSJ，和WHAMR！数据集。
2021-11-10 cs.SD eess.AS
A Waveform Representation Framework for High-quality Statistical Parametric Speech Synthesis
Northwestern Polytechnical University（西北工业大学）；Institute for Infocomm Research（资讯通信研究院）；Nanyang Technological University (NTU)（南洋理工大学）；Joint NTU-UBC Research Center of Excellence in Active Living for the Elderly（南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心）
现有技术的统计参数语音合成（SPSS）通常使用声码器来表示语音信号并将它们参数化为用于后续建模的特征。多年来，震级谱一直是一个主要特征。虽然感知研究表明相位谱对合成语音的质量至关重要，但在合成过程中使用最小相位滤波器往往忽略相位谱，从而影响语音质量。为了克服声码语音中的这一瓶颈，本文提出了一种相位嵌入的波形表示框架，并建立了一个高质量SPSS的幅相联合建模平台。波形重构实验表明，该算法的性能优于目前广泛使用的STRAIGHT算法。此外，所提出的建模和合成平台优于一个领先的，语音编码，深双向长短期记忆递归神经网络（DBLSTM-RNN）为基础的基线系统在各种客观的评估指标进行。
2015-10-06 cs.LG cs.SD
Computationally-efficient and perceptually-motivated rendering of diffuse reflections in room acoustics simulation
Cluster of Excellence Hearing4all, Universität Oldenburg（奥尔登堡大学Hearing4all卓越集群）
本文提出一种计算高效的数字滤波器方法，通过将镜像源能量分为镜面与散射部分并利用级联全通滤波器模拟时间效应，改进了房间声学模拟中的扩散反射渲染，感知评估结果良好。
2023-06-29 cs.SD eess.AS
Differentiable Attenuation Filters for Feedback Delay Networks
本文提出了一种基于反馈延迟网络的可微衰减滤波器设计方法，通过参数均衡器实现对频率依赖回声衰减的精细控制，提升了回声系统的性能并降低了计算成本。
2025-11-25 cs.LG cs.SD
Modeling plate and spring reverberation using a DSP-informed deep neural network
Queen Mary University of London（伦敦玛丽女王大学）
平板和弹簧混响器是最早用于替代实际房间混响的机电系统。由于其独特的声音特性，如今它们经常被用于音乐创作中。这些音频处理器及其感知质量的建模是困难的，因为它们使用机械元件和模拟电子器件，导致极其复杂的响应。基于使用稀疏FIR滤波器的数字混响器，我们提出了一种基于信号处理的深度学习架构，用于人工混响器的建模。我们探索了深度神经网络学习这种高度非线性机电响应的能力，并对板和弹簧混响器进行了建模。为了衡量模型的性能，我们进行了一个感知评估实验，我们还分析了给定的任务是如何完成的，以及模型实际上在学习什么。
2020-04-17 cs.LG cs.SD eess.AS
Modeling the Comb Filter Effect and Interaural Coherence for Binaural Source Separation
University of Surrey（萨里大学）；Qingdao University of Science and Technology（青岛科技大学）
用于双耳声源分离的典型方法仅考虑直达声作为混合中的目标信号。然而，在大多数情况下，这种假设限制了声源分离的性能。众所周知，早期反射与直达声相互作用，在收听位置处产生声学效果，例如所谓的梳状滤波器效果。在这篇文章中，我们提出了一种新的声源分离模型，该模型利用直达声和第一早期反射信息来模拟梳状滤波器的效果。这是通过观察从双耳混合的时间-频率表示获得的耳间相位差来完成的。此外，提出了一种方法来建模的信号的耳间相干性。包括与声音多径传播相关的信息，所提出的分离方法的性能相对于不使用这种信息的基线得到改善，如通过使用在四个房间中进行的具有不同大小和混响时间的双耳录音所示。
2019-10-04 cs.SD eess.AS
Reverberation as Supervision for Speech Separation
MERL（三菱电机研究实验室）
本文提出了混响作为监督（RAS），一种新的无监督损失函数的单通道混响语音分离。以前的方法，无监督的分离需要的混合物的混合物的合成或假设存在的教师模型，使他们难以考虑作为潜在的方法来解释分离能力的出现在动物的听觉系统。我们假设在训练时两个通道的混合物的可用性，并训练神经网络，以分离的来源给定的一个通道作为输入，使其他通道可以预测从分离的来源。由于每个通道的房间脉冲响应（RIR）之间的关系取决于网络未知的源的位置，因此网络不能依赖于学习该关系。相反，我们提出的损失函数通过维纳滤波将每个分离的源拟合到目标通道中的混合物，并将所得混合物与地面实况进行比较。我们表明，最小化预测的右通道混合物相对于地面真值的尺度不变信号失真比（SI-SDR）隐含地引导网络分离左通道源。基于WHAMR！数据集，使用训练数据，其中只有5%（分别为，10%）的混合物被标记有相关的分离源，我们实现了70%（分别为，78%）的SI-SDR改进，而仅在标记数据上训练的模型获得43%（分别为，45%）。
2022-11-15 cs.AI cs.LG cs.SD
Speech Dereverberation in the STFT Domain
Imperial College London（帝国理工学院）
混响对语音信号的质量和可懂度都有损害。提出了一种基于短时傅立叶变换域线性滤波器的单通道混响消除方法。每个增强帧基于信道脉冲响应从附近帧的线性和构造。结果表明，该方法可以解决任何混响信号的冲击响应的知识，非混响信号。
2015-09-24 cs.SD
Directional Selective Fixed-Filter Active Noise Control Based on a Convolutional Neural Network in Reverberant Environments
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（南洋理工大学电子与电气工程学院）；Center of Intelligent Acoustics and Immersive Communications, Northwestern Polytechnical University, China（西北工业大学智能声学与沉浸式通信中心）
本文提出基于卷积神经网络的定向选择性固定滤波主动降噪方法，用于在混响环境中提高噪声抑制效果。
2026-01-11 cs.SD eess.AS eess.SP
Accelerated Interactive Auralization of Highly Reverberant Spaces using Graphics Hardware
KU Leuven, Dept. of Electrical Engineering (ESAT), STADIUS Center for Dynamical Systems, Signal Processing
本文提出基于GPU的实时多声道扬声器声学还原系统，通过GPU加速降低计算延迟，实现高混响空间的实时声学合成与反馈消除。
2026-01-11 cs.SD eess.AS
Fast Random Approximation of Multi-channel Room Impulse Response
本文提出FRAM-RIR，一种对镜像源法的快速随机近似方法，通过随机采样虚拟声源位置与反射次数高效生成逼真多通道房间脉冲响应，在保持到达方向信息的同时显著加速训练，并在语音分离与去混响任务上达到相当或更优性能。
2023-04-17 cs.SD eess.AS
Online Localization and Tracking of Multiple Moving Speakers in Reverberant Environments
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔国立高等物理、数学与信息学院）；GIPSA-lab（GIPSA实验室）
我们解决的问题，在线定位和跟踪多个移动扬声器在混响环境。本文有以下贡献。我们使用的直接路径相对传递函数（DP-RTF），一个通道间的功能，编码的声学信息对混响鲁棒性，我们提出了一个在线算法，非常适合估计DP-RTF与移动音频源。所提出的方法的另一个关键因素是它能够正确分配DP-RTF音频源方向。为了实现这一目标，我们采用了最大似然公式，我们建议使用指数梯度（EG），以有效地更新源方向的估计，从他们目前可用的值。多个扬声器跟踪的问题是计算上棘手的，因为观察到的源方向和物理扬声器之间的可能的关联的数量随时间呈指数增长。我们采用贝叶斯框架，我们提出了一个变分近似的后验滤波分布与多说话人跟踪，以及一个有效的变分期望最大化（VEM）求解器。建议的在线定位和跟踪方法进行了彻底评估，使用两个数据集，包含在真实环境中进行的记录。
2019-02-26 cs.SD eess.AS
Structured Sparsity Models for Multiparty Speech Recovery from Reverberant Recordings
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们通过对混响室的声学建模来解决多方语音恢复问题。我们的方法利用结构化稀疏模型进行房间建模和语音恢复。我们提出了一个方案，用于表征房间声学从未知的竞争语音源依赖于本地化的早期图像的扬声器稀疏近似的空间频谱的虚拟源在自由空间模型。然后利用属于每个源的频谱时间分量的低秩结构对图像进行聚类。这使我们能够识别房间脉冲响应函数的早期支持及其到房间几何形状的唯一映射。为了进一步解决反射率的模糊性，我们提出了一种新的配方的混响模型和估计的吸收系数，通过凸优化利用联合稀疏模型制定的空间频谱稀疏并发语音表示。然后，通过结构化稀疏恢复或反向滤波声道，结合声学参数以分离各个语音信号。在真实数据记录上进行的实验证明了所提出的多方语音恢复和识别方法的有效性。
2012-10-25 cs.LG cs.SD
