STSR: High-Fidelity Speech Super-Resolution via Spectral-Transient Context Modeling
National Engineering Research Center for Multimedia Software, School of Computer Science（多媒体软件国家工程研究中心，计算机科学学院）；School of Artificial Intelligence（人工智能学院）
STSR通过频谱-瞬态上下文建模实现高质量语音超分辨率，结合MDCT域的统一端到端框架，提升谐波一致性和瞬态锐利度，优于现有基线。
2025-12-30 cs.SD eess.AS
DiTSE: High-Fidelity Generative Speech Enhancement via Latent Diffusion Transformers
INRS-EMT, Université du Québec, Montréal, Canada（INRS-EMT，魁北克大学，蒙特利尔，加拿大）；Adobe Research, San Francisco, California, United States（Adobe研究，旧金山，加利福尼亚，美国）
本文提出DiTSE，一种基于潜在扩散Transformer的语音增强方法，通过鲁棒条件特征在全带宽上抑制内容幻觉并保持说话人身份，首次达到与真实录音室质量相匹配的音频质量。
2025-09-19 cs.SD eess.AS
Unifying Robustness and Fidelity: A Comprehensive Study of Pretrained Generative Methods for Speech Enhancement in Adverse Conditions
Tencent AI Lab（腾讯人工智能实验室）
本文研究利用预训练vocoder和codec等生成式方法从含噪混响语音中重新合成干净语音，在模拟与真实数据上验证了其在提升语音质量、鲁棒性和主观评分方面的优势。
2023-09-16 cs.SD eess.AS
Generative Speech Enhancement Based on Cloned Networks
我们提出了实现语音增强的再生干净的语音从一个显着的表示提取的噪声信号。使用提取器网络的一组权重共享克隆来训练提取显著特征的网络。克隆接收相同语音信号的不同噪声版本的梅尔频谱作为输入。通过鼓励克隆的输出对于这些不同的输入信号是相似的，我们训练一个对噪声鲁棒的特征提取器网络。在推理时，显著特征形成WaveNet网络的输入，WaveNet网络生成具有与地面真实干净信号相同属性的自然干净语音信号。随着信号变得越来越嘈杂，我们的系统会产生自然的声音错误，这些错误会留在语音流形上，而不是在其他系统中发现的传统人工制品。我们的实验证实，我们的生成增强系统提供了国家的最先进的增强性能的生成类增强器根据MUSHRA样测试。基于克隆的系统匹配或优于其他系统在每个输入信噪比（SNR）范围内具有统计学意义。
2019-09-10 cs.SD eess.AS
DualSpecSE: A Dual-Path Speech Enhancement Network Integrating Mel and Complex Spectrograms
Northwestern Polytechnical University（西北工业大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出DualSpecSE双路径语音增强网络，联合建模梅尔谱与复数谱，通过交互与融合模块提升ASR性能及语音重建质量。
2026-10-09 cs.SD eess.AS
QC-GAN: A Parameter-Efficient Quaternion Conformer GAN for High-Fidelity Speech Enhancement
The Asahi Shimbun Company（朝日新闻社）；Tokyo Woman's Christian University（东京女子基督教大学）
提出参数高效的QC-GAN，结合四元数Conformer生成器和MetricGAN训练，通过汉密尔顿积共享权重减少参数量，在VoiceBank+DEMAND上以0.89M参数达到PESQ 3.48，性能媲美两倍大小模型。
2026-06-19 cs.AI cs.LG cs.SD
Enhancing Gappy Speech Audio Signals with Generative Adversarial Networks
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（洞察数据分析中心）
本文利用生成对抗网络，通过将音频转化为梅尔频谱图进行图像修复，再经Parallel-WaveGAN声码器还原，实现长达320毫秒语音间隙的近乎实时高质量再生，在240毫秒间隙上达到3.737的MOS评分。
2023-05-09 cs.LG cs.SD eess.AS
Cellular Network Speech Enhancement: Removing Background and Transmission Noise
Carnegie Mellon University（卡内基梅隆大学）
语音增强的主要目标是在保留目标语音的同时降低背景噪声。当说话者被限制在嘈杂的环境中并且接收具有高背景和传输噪声的呼叫时，常见的困境发生。为了解决这个问题，深度噪声抑制（DNS）挑战赛的重点是使用下一代深度学习模型消除背景噪声，以增强目标的语音;然而，研究人员未能考虑IP语音（VoIP）应用的传输噪声。我们专注于Google Meet及其蜂窝应用程序，在VoIP DNS挑战赛的Google Meet To Phone Track上实现了最先进的性能。本文演示了如何击败工业性能，实现1.92 PESQ和0.88 STOI，以及各种指标的卓越声学保真度，感知质量和可懂度。
2023-01-22 cs.LG cs.SD eess.AS
High-Fidelity Noise Reduction with Differentiable Signal Processing
Queen Mary University of London（伦敦玛丽女王大学）；Tape It Music GmbH（Tape It音乐有限公司）
提出结合信号处理降噪器与神经网络控制器的方法，实现语音和音乐信号的自动高保真降噪，性能媲美深度学习模型且更高效、伪影更少。
2023-10-17 cs.SD eess.AS
Improving DF-Conformer Using Hydra For High-Fidelity Generative Speech Enhancement on Discrete Codec Token
AI Lab, CyberAgent（CyberAgent人工智能实验室）
本文提出用双向选择性结构化状态空间模型 Hydra 替换 FAVOR+，以改进 DF-Conformer 在语音增强中的全局序列建模并保持线性复杂度，在 Genhancer 模型上取得了更优性能。
2025-11-04 cs.SD
Switching divergences for spectral learning in blind speech dereverberation
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, sinc(i), UNL, CONICET, FICH（信号、系统与计算智能研究所（sinc(i)），国立滨海大学，国家科学技术研究委员会，水利科学学院）；Instituto de Matemática Aplicada del Litoral, IMAL, UNL, CONICET（滨海应用数学研究所（IMAL），国立滨海大学，国家科学技术研究委员会）；Universidad Nacional del Litoral（国立滨海大学）
当在一个封闭的房间里录制时，声音信号肯定会受到混响的影响。这不仅破坏了音频质量，还给许多使用语音作为输入的人机交互技术带来了问题。在这项工作中，提出了一种新的盲的，两阶段的去混响方法的基础上，广义β-散度作为一个保真度项在非负表示。第一阶段包括仅从观察到的频谱图学习信号的频谱结构，而第二阶段致力于模型混响。这两个步骤都是通过最小化成本函数来实现的，其中的目标是通过改变所涉及的分歧来构建字典或良好的表示。此外，还提出了一种为字典学习寻找最佳保真度参数的方法。一种算法，用于实现所提出的方法进行了描述和测试对国家的最先进的方法。结果表明，人工混响和真实录音的改善。
2018-09-19 cs.SD eess.AS
Universal Score-based Speech Enhancement with High Content Preservation
LY Corporation（LY公司）
本研究提出基于分数扩散与对抗训练的通用语音增强方法UNIVERSE++，通过架构改进、对抗损失及带音素保真损失的低秩适配方案提升性能与内容保真度，在多基准测试中优于各类基线模型。
2024-06-18 cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.（小米公司）
本研究提出一种高效可扩展的语音增强方法，利用预训练生成式音频编码器提取含噪语音嵌入，经紧凑去噪编码器处理后由声码器合成干净语音，在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
A Hybrid Discriminative and Generative System for Universal Speech Enhancement
本文提出一种混合判别与生成模型，通过信号保真度与重建能力结合，提升通用语音增强效果，并在ICASSP 2026挑战中取得第三名。
2026-01-27 cs.SD eess.AS
On Psychoacoustically Weighted Cost Functions Towards Resource-Efficient Deep Neural Networks for Speech Denoising
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
我们提出了一个心理声学增强的成本函数，以平衡网络的复杂性和感知性能的深度神经网络的语音去噪。在训练网络时，我们利用感知权重添加到普通的均方误差中，以强调最可听的频率箱的贡献，而忽略不可听的箱的误差。为了生成权重，我们采用心理声学模型从干净的语音频谱计算全局掩蔽阈值。然后，我们评估我们的感知引导神经网络的语音去噪性能，通过使用客观和感知的声音质量指标，测试各种网络结构，从浅和窄的深和宽的。实验结果表明，我们的方法是一种有效的方法，为深度神经网络操作注入感知意义。特别是，通过简单的神经网络拓扑结构看到的性能的更感知的增强证明了所提出的方法可以在小型设备中实现资源高效的语音去噪，而不会降低感知的信号保真度。
2018-01-29 cs.SD eess.AS
MeanFlowSE: one-step generative speech enhancement via conditional mean flow
School of Electronic Science and Engineering, Xiamen University, China（厦门大学电子科学与技术学院）；School of Informatics, Xiamen University, China（厦门大学信息学院）
MeanFlowSE通过条件均流实现单步生成语音增强，无需多步求解器，提升实时生成效率与保真度。
2026-03-04 cs.AI cs.SD
HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Kakao Enterprise（Kakao企业（Kakao Enterprise））
最近几项关于语音合成的工作采用了生成对抗网络（GANs）来产生原始波形。虽然这些方法提高了采样效率和内存使用率，但它们的样本质量尚未达到自回归和基于流的生成模型。在这项工作中，我们提出了HiFi-GAN，它实现了高效和高保真的语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高样本质量至关重要。单个说话者数据集的主观人类评价（平均意见得分，MOS）表明，我们提出的方法与人类质量相似，同时在单个V100 GPU上生成22.05 kHz高保真音频的速度比实时快167.9倍。我们进一步展示了HiFi-GAN对看不见的说话者的梅尔频谱图反转和端到端语音合成的通用性。最后，HiFi-GAN的小尺寸版本生成的样本比CPU上的实时速度快13.4倍，质量与自回归对应物相当。
2020-10-23 cs.LG cs.SD eess.AS
High Fidelity Speech Synthesis with Adversarial Networks
Imperial College London（帝国理工学院）；DeepMind（深度思维）
生成对抗网络近年来发展迅速，并在图像生成建模方面取得了显着进步。然而，它们在音频域中的应用受到了有限的关注，并且自回归模型（诸如WaveNet）仍然是音频信号（诸如人类语音）的生成建模的最新技术。为了解决这一问题，我们引入了GAN-TTS，这是一种用于文本到语音的生成对抗网络。我们的架构是由一个有条件的前馈生成器产生原始语音音频，和一个合奏的歧视，不同大小的随机窗口上操作。鉴别器分析音频的一般真实性以及音频与应该发音的话语的对应程度。为了衡量GAN-TTS的性能，我们采用了主观的人类评价（MOS -平均意见得分）以及新的定量指标（Fréchet DeepSpeech距离和Kernel DeepSpeech距离），我们发现这些指标与MOS有很好的相关性。我们表明，GAN-TTS能够生成高保真语音，其自然度可与最先进的模型相媲美，并且与自回归模型不同，由于高效的前馈发生器，它具有高度的并行性。请在https://storage.googleapis.com/deepmind-media/research/abstract.wav上收听GAN-TTS阅读这篇摘要。
2019-09-26 cs.LG cs.SD eess.AS
GANSpeech: Adversarial Training for High-Fidelity Multi-Speaker Speech Synthesis
NCSOFT（NCSoft公司）
神经多说话人文本到语音（TTS）模型的最新进展使得能够用单个模型生成相当好的语音质量，并且使得能够用有限的训练数据合成说话人的语音。用多说话人模型对目标说话人数据进行微调可以获得更好的质量，但是与真实语音样本相比仍然存在差距，并且模型依赖于说话人。在这项工作中，我们提出了GANSpeech，这是一个高保真的多扬声器TTS模型，采用对抗训练方法的非自回归多扬声器TTS模型。此外，我们提出了简单但有效的自动缩放方法，用于对抗训练中的特征匹配损失。在主观听力测试中，GANSpeech的表现明显优于基线多扬声器FastSpeech和FastSpeech2模型，并且表现出比扬声器特定微调FastSpeech2更好的MOS分数。
2021-06-29 cs.CL cs.LG cs.SD
StyleMelGAN: An Efficient High-Fidelity Adversarial Vocoder with Temporal Adaptive Normalization
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，神经声码器在合成语音的自然度和感知质量方面已经超过了经典的语音生成方法。像WaveNet和WaveGlow这样的计算量大的模型实现了最佳结果，而轻量级的GAN模型，例如MelGAN和Parallel WaveGAN，在感知质量方面仍然较差。因此，我们提出了StyleMelGAN，一个轻量级的神经声码器，允许合成高保真语音，计算复杂度低。StyleMelGAN采用时间自适应归一化来对具有目标语音的声学特征的低维噪声向量进行样式化。为了有效的训练，多个随机窗口鉴别器逆向评估由滤波器组分析的语音信号，其中正则化由多尺度频谱重建损失提供。高度并行化的语音生成速度比CPU和GPU上的实时速度快几倍。MUSHRA和P.800听力测试表明，StyleMelGAN在复制合成和文本到语音场景中优于先前的神经声码器。
2021-02-12 cs.LG cs.SD eess.AS
Glow-WaveGAN: Learning Speech Representations from GAN-based Variational Auto-Encoder For High Fidelity Flow-based Speech Synthesis
Tencent AI Lab（腾讯人工智能实验室）
当前的两阶段TTS框架通常将声学模型与声码器集成-声学模型预测诸如Mel频谱的低分辨率中间表示，而声码器从中间表示生成波形。虽然中间表示作为一个桥梁，仍然存在的声学模型和声码器之间的关键不匹配，因为它们通常是分开学习和工作在不同的分布的表示，导致不可避免的人工合成的语音。在这项工作中，不同于使用预先设计的中间表示在大多数以前的研究中，我们提出使用VAE结合GAN直接从语音学习的潜在表示，然后利用基于流的声学模型来模拟的潜在表示从文本的分布。通过这种方式，当两个阶段在相同的分布上工作时，不匹配问题被迁移。结果表明，基于流的声学模型可以准确地模拟我们学习的语音表示的分布，并且所提出的TTS框架，即Glow-WaveGAN，可以产生高保真语音，优于最先进的基于GAN的模型。
2021-06-22 cs.SD eess.AS
SemiCodec: Bridging Speech Tokenization and High-fidelity Reconstruction with Semi-discrete Representations
Tencent（腾讯）
本研究提出新型半离散神经语音编解码器SemiCodec，采用“先保留后基础”训练范式，在重建质量、可懂度上优于全离散编解码器，声学保真度与说话人保留能力可与连续表示媲美。
2026-10-14 cs.SD eess.AS
DiffGAN-TTS: High-Fidelity and Efficient Text-to-Speech with Denoising Diffusion GANs
Tencent AI Lab（腾讯AI实验室）
去噪扩散概率模型（DDPM）是一种表达能力很强的生成模型，已被用于解决各种语音合成问题。然而，由于它们的高采样成本，DDPM难以用于实时语音处理应用。在本文中，我们介绍了DiffGAN-TTS，一种新的基于DDPM的文本转语音（TTS）模型，实现高保真和高效的语音合成。DiffGAN-TTS基于去噪扩散生成对抗网络（GANs），其采用对抗训练的表达模型来近似去噪分布。我们用多说话人TTS实验表明，DiffGAN-TTS可以在4个去噪步骤内生成高保真语音样本。我们提出了一个积极的浅扩散机制，以进一步加快推理。一个两阶段的训练计划，提出了一个基本的TTS声学模型在第一阶段训练提供有价值的先验信息的DDPM在第二阶段训练。我们的实验表明，DiffGAN-TTS可以实现高的合成性能，只有1个去噪步骤。
2022-01-28 cs.CL cs.SD eess.AS
Speech Bandwidth Expansion Via High Fidelity Generative Adversarial Networks
Lebanese American University（黎巴嫩美国大学）
本文提出一种基于高保真生成对抗网络的端到端语音带宽扩展方法，将多种上采样比率集成于单一模型，在多种扩展因子下展现零样本能力，且性能优于现有端到端及传统技术。
2024-07-29 cs.AI cs.SD eess.AS
FeatherWave: An efficient high-fidelity neural vocoder with multi-band linear prediction
Tencent（腾讯）
在本文中，我们提出了FeatherWave，又一个变体的WaveRNN声码器结合多带信号处理和线性预测编码。LPCNet是最近提出的一种神经声码器，它利用了WaveRNN结构中语音信号的线性预测特性，可以在单个CPU核上以比实时更快的速度生成高质量的语音。然而，LPCNet对于在线语音生成任务仍然不够高效。为了解决这个问题，我们采用多带线性预测编码的WaveRNN声码器。多带方法使该模型能够在一个步骤中并行生成多个语音样本。因此，它可以显著提高语音合成的效率。所提出的模型与4个子带需要不到1.6 GFLOPS的语音生成。在我们的实验中，它可以在单个CPU上生成24 kHz高保真音频，速度比实时快9倍，比LPCNet声码器快得多。此外，我们的主观听力测试表明，FeatherWave可以生成比LPCNet更好的语音质量。
2020-09-03 cs.SD eess.AS
High-Fidelity Simultaneous Speech-To-Speech Translation
Kyutai
本文提出Hibiki，一种基于多流语言模型的仅解码器同时语音翻译模型，通过弱监督方法学习逐词延迟，实现高质量、高保真的实时语音到语音翻译，并在法英任务上达到最先进性能。
2025-02-26 cs.CL cs.SD eess.AS
Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short-Time Fourier Transform
LINE Corporation（LINE公司）
我们提出了一个轻量级的端到文本转语音模型，使用多波段生成和逆短时傅里叶变换。我们的模型是基于VITS，一个高质量的端到文本转语音的模型，但采用两个变化，更有效的推理：1）最昂贵的计算部分被替换为一个简单的逆短时傅里叶变换，和2）多频带生成，固定或可训练的合成滤波器，用于生成波形。与传统的轻量级模型，采用优化或知识蒸馏分别训练两个级联组件，我们的方法享有端到端优化的全部好处。实验结果表明，我们的模型合成的语音一样自然的合成的VITS，同时实现了0.066的实时因子在英特尔酷睿i7 CPU上，4.1倍的速度比VITS。此外，该模型的较小版本在自然度和推理速度方面明显优于轻量级基线模型。代码和音频示例可从https://github.com/MasayaKawamura/MB-iSTFT-VITS获得。
2023-02-21 cs.LG cs.SD eess.AS
MobileSpeech: A Fast and High-Fidelity Framework for Mobile Zero-Shot Text-to-Speech
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出MobileSpeech，首个基于移动设备的快速、轻量且鲁棒的零样本文本到语音框架，通过并行语音掩码解码器与高层概率掩码实现高保真与高生成速度。
2024-06-02 cs.SD eess.AS
ReFlow-TTS: A Rectified Flow Model for High-fidelity Text-to-Speech
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与工程学院）
针对扩散模型语音合成采样步骤多、速度慢的问题，提出基于整流流的ReFlow-TTS，通过ODE将高斯分布直线路径映射到真实梅尔频谱，单步采样即可实现高质量合成，在LJSpeech数据集上性能优于同类扩散模型、媲美现有单步TTS模型。
2024-01-31 cs.SD eess.AS
Natural language guidance of high-fidelity text-to-speech with synthetic annotations
Stability AI；University of Edinburgh（爱丁堡大学）
提出用合成标注可扩展标注说话人身份、风格和录音条件，训练语音语言模型，实现高保真、多样化语音生成，仅凭自然语言控制。
2024-02-02 cs.CL cs.SD eess.AS
HiFi-SR: A Unified Generative Transformer-Convolutional Adversarial Network for High-Fidelity Speech Super-Resolution
Tongyi Lab, Alibaba Group（阿里集团通义实验室）
针对现有语音超分辨率方法表示不一致、域外质量差的问题，提出统一的HiFi-SR网络，结合Transformer-卷积生成器与多尺度判别结构，可将4-32kHz语音上采样至48kHz，在多场景下性能优于现有方法。
2025-01-17 cs.SD eess.AS
Speak, Read and Prompt: High-Fidelity Text-to-Speech with Minimal Supervision
Google Research（谷歌研究院）
我们介绍SPEAR-TTS，一个多扬声器的文本到语音（TTS）系统，可以训练与最小的监督。通过结合两种类型的离散语音表示，我们投TTS作为两个序列到序列的任务的组成：从文本到高级语义令牌（类似于“阅读”）和从语义令牌到低级声学令牌（“说话”）。将这两个任务解耦，可以使用大量的纯音频数据来训练“说话”模块，并解锁预训练和反向翻译的高效组合，以减少训练“阅读”组件时对并行数据的需求。为了控制扬声器的身份，我们采用示例提示，这使得SPEAR-TTS可以仅使用3秒的短样本来概括未见过的扬声器，而无需任何显式的扬声器表示或扬声器ID标签。我们的实验表明，SPEAR-TTS实现的字符出错率，是有竞争力的国家的最先进的方法，仅使用15分钟的并行数据，同时匹配地面实况语音的自然度和声学质量，在主观测试中测量。
2023-02-07 cs.SD eess.AS
ClapFM-EVC: High-Fidelity and Flexible Emotional Voice Conversion with Dual Control from Natural Language and Speech
Kyushu University（九州大学）；The University of Tokyo（东京大学）；Ximalaya Inc.（喜马拉雅公司）；EverestAI
针对高保真灵活可控情感语音转换的难题，提出ClapFM-EVC框架，通过EVC-CLAP跨模态对齐情感特征、FuEncoder融合特征及流匹配模型重建频谱，实现语言/语音双控且强度可调的高质量转换，经主客观评估验证有效。
2025-05-20 cs.AI cs.SD eess.AS
Source-Filter-Based Generative Adversarial Neural Vocoder for High Fidelity Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于声源-滤波器的生成对抗神经声码器SF-GAN，通过引入F0激励信号结合多分辨率卷积滤波器重建波形，在AS和TTS任务中超越HiFi-GAN和Fre-GAN，合成质量媲美真实音频。
2023-04-26 cs.SD eess.AS
U-Codec: Ultra Low Frame-rate Neural Speech Codec for Fast High-fidelity Speech Generation
Peking University（北京大学）；Tencent AI Lab（腾讯AI实验室）；Tencent Hunyuan（腾讯文生）
本文提出 5Hz 超低帧率神经语音编解码器 U-Codec，通过 Transformer 帧间建模与 RVQ 配置优化，使 LLM-TTS 在保持音质的同时推理提速约 3 倍。
2025-10-19 cs.CL cs.LG cs.SD
Vec-Tok Speech: speech vectorization and tokenization for neural speech generation
Northwestern Polytechnical University（西北工业大学）；Ximalaya Inc.（喜马拉雅公司）
Vec-Tok Speech提出基于语音向量和语义标记的编解码器，结合语言模型与BPE，统一多种语音生成任务，实现高保真和零样本能力，性能优于现有模型。
2023-10-12 cs.SD eess.AS
BAE-Net: A Low complexity and high fidelity Bandwidth-Adaptive neural network for speech super-resolution
Kuaishou Technology（快手科技）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
本文提出BAE-Net，一种流式自适应带宽扩展网络，通过双流架构同时修复幅度和细化相位，处理未知变化带宽的低分辨率语音，并推出轻量版BAE-NET-lite，在性能和效率上优于现有方法。
2023-12-21 cs.SD eess.AS
WG-WaveNet: Real-Time High-Fidelity Speech Synthesis without GPU
NVIDIA（英伟达）；Taiwan AI Labs（台湾人工智能实验室）
在本文中，我们提出了WG-WaveNet，一个快速，轻量级，高质量的波形生成模型。WG-WaveNet由一个紧凑的基于流的模型和一个后置过滤器组成。通过最大化训练数据的可能性和优化频域上的损失函数来联合训练这两个分量。由于我们设计了一个基于流的模型，该模型被严重压缩，因此与其他波形生成模型相比，在训练和推理时间内，所提出的模型需要的计算资源要少得多;即使模型被高度压缩，后滤波器也能保持生成波形的质量。我们的PyTorch实现可以使用不到8 GB的GPU内存进行训练，并在NVIDIA 1080Ti GPU上以超过960 kHz的速率生成音频样本。此外，即使在CPU上合成，我们表明，所提出的方法是能够产生44.1 kHz的语音波形比实时快1.2倍。实验还表明，生成的音频质量与其他方法相当。音频样本可在网上公开获取。
2020-08-20 cs.SD eess.AS
Universal MelGAN: A Robust Neural Vocoder for High-Fidelity Waveform Generation in Multiple Domains
Kakao Enterprise Corp.（Kakao 企业公司）；Kakao Corp.（Kakao公司）
我们提出了通用MelGAN，声码器，在多个域合成高保真语音。为了在使用数百个扬声器的数据集训练基于MelGAN的结构时保持音质，我们添加了多分辨率频谱图鉴别器来锐化生成波形的频谱分辨率。这使得模型能够通过减轻大覆盖区模型的高频段中的过平滑问题来生成多扬声器的真实波形。我们的结构通过在训练过程中区分波形和频谱图，在不降低推理速度的情况下生成接近地面实况数据的信号。该模型在大多数情况下使用地面实况mel-spectrogram作为输入，实现了最佳的平均意见得分（MOS）。特别是，它表现出优越的性能在看不见的领域方面的发言人，情感和语言。此外，在一个多说话人的文本到语音的场景中，使用由Transformer模型生成的梅尔频谱图，它合成高保真语音的4.22 MOS。这些结果，实现没有外部域的信息，突出了所提出的模型作为一个通用的声码器的潜力。
2021-03-04 cs.CL cs.LG cs.SD
NeuroIncept Decoder for High-Fidelity Speech Reconstruction from Neural Activity
CITIC-UGR University of Granada（CITIC-UGR格拉纳达大学）；Epilepsy Centre, Dept. Clinical Sciences Lund University Hospital（癫痫中心，临床科学系隆德大学医院）；School of Computing Science and Engineering VIT Bhopal University（计算科学与工程学院VIT博帕尔大学）
本研究提出结合高伽马波段时频特征与融合CNN和GRU的NeuroIncept Decoder架构，从侵入式EEG神经活动中重建语音，为言语障碍患者提供通信方案，推动脑机接口技术发展。
2025-01-07 cs.HC cs.SD eess.AS
Probing the Robustness Properties of Neural Speech Codecs
Department of Computer Science（计算机科学系）
本文系统评估了神经语音编解码器在噪声环境下的鲁棒性，通过分析其线性特性和频率响应，揭示了影响鲁棒性和音频保真度的关键因素，为未来编解码器设计提供了重要见解。
2025-05-30 cs.SD eess.AS
MSM-VC: High-fidelity Source Style Transfer for Non-Parallel Voice Conversion by Multi-scale Style Modeling
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
提出MSM-VC多尺度风格建模方法，通过帧级、局部和全局风格表示及显式约束模块，实现非平行语音转换中源风格的高保真迁移，同时保持语音质量和说话人相似度。
2023-09-03 cs.SD eess.AS
STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity
Hong Kong University of Science and Technology（香港科技大学）；Tencent Youtu Lab（腾讯优图实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出STEB基准，通过描述-总结框架评估语音到语音翻译在情感、场景风格和非语言发声方面的表现力，发现现有系统在语义保真度上表现良好但表现力保留不足。
2026-06-25 cs.AI cs.SD
Adversarial Training of Denoising Diffusion Model Using Dual Discriminators for High-Fidelity Multi-Speaker TTS
School of Robotics, Kwangwoon University（光云大学机器人学院）
为提升DiffGAN-TTS性能，提出结合扩散判别器与频谱图判别器的双判别器对抗训练语音合成模型，在多项客观与主观指标上优于FastSpeech2等基线。
2023-08-03 cs.LG cs.SD eess.AS
A Cyclical Approach to Synthetic and Natural Speech Mismatch Refinement of Neural Post-filter for Low-cost Text-to-speech System
Nagoya University（名古屋大学）；AI, Inc.（AI株式会社）
由于神经网络的快速发展，基于神经网络的文本转语音（TTS）系统实现了非常高保真的语音生成。然而，巨大的标记语料库和高计算成本的要求限制了小型公司或个人开发高保真TTS系统的可能性。另一方面，神经声码器，这已被广泛采用的基于神经的TTS系统中的语音生成，可以训练与一个相对较小的未标记的语料库。因此，在本文中，我们探讨了一个通用的框架，开发一个神经后置滤波器（NPF）的低成本TTS系统使用神经声码器。提出了一种循环方法来解决开发NPF的声学和时间失配（AM和TM）。已经进行了客观和主观的评价，以证明AM和TM的问题和所提出的框架的有效性。
2022-07-13 cs.SD eess.AS
HiFi-Glot: High-Fidelity Neural Formant Synthesis with Differentiable Resonant Filters
Acoustic Lab, Department of Information Communications Engineering, Aalto University（声学实验室，信息与通信工程系，艾尔沃大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；Department of Speech, Music and Hearing, KTH Royal Institute of Technology（语音、音乐与听觉系，皇家理工学院）
HiFi-Glot通过可微共振滤波器实现高保真神经元音合成，提供精确的元音控制和自然语音生成。
2026-02-16 cs.SD eess.AS
DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
Northwestern Polytechnical University（西北工业大学）；TAL Education Group（好未来集团）
本文提出DSPGAN，一种基于GAN的通用神经声码器，通过引入来自DSP模块的时频域监督和正弦激励时域监督，解决训练与推理阶段频谱不匹配问题，实现跨说话人、语言和风格的高保真语音合成。
2023-05-28 cs.SD eess.AS
BibleTTS: a large, high-fidelity, multilingual, and uniquely African speech corpus
Masakhane NLP（Masakhane自然语言处理社区）；Coqui（Coqui公司）；Saarland University（萨尔大学）；CLEAR Global（全球清晰语言组织）；Col·lectivaT（Col·lectivaT机构）；SIL International（国际暑期语言学院）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Niger-Volta LTI（尼日尔-沃尔特语言技术倡议）；Carnegie Mellon University（卡内基梅隆大学）；Technical University of Munich（慕尼黑工业大学）；Makerere University（马凯雷雷大学）；Ewegbe Akademi（埃韦格贝学院）；Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）
BibleTTS是一个大型，高质量，开放的语音数据集，涵盖撒哈拉以南非洲地区的十种语言。该语料库包含每种语言长达86小时的对齐、录音室质量的48 kHz单扬声器录音，从而能够开发高质量的文本到语音模型。代表的十种语言是：阿夸佩姆特维语、阿桑特特维语、齐切瓦语、埃维语、豪萨语、基库尤语、林加拉语、卢甘达语、卢奥语和约鲁巴语。本语料库是由圣经项目Open.Bible制作和发布的圣经录音的衍生作品。我们对原始记录进行了对齐、清理和过滤，并手动检查了每种语言的对齐子集。我们提出的文本到语音模型与Coqui TTS的结果。这些数据是在商业友好的CC-BY-SA许可证下发布的。
2022-07-07 cs.CL cs.SD eess.AS
SARA: A Dual-Stream VAE for High-Fidelity Speech Generation via Integrating Semantic and Acoustic Representations
School of Informatics, Xiamen University（厦门大学信息学院）；School of Electronic Science and Engineering, Xiamen University（厦门大学电子科学与技术学院）；DiDi Global Inc.（滴滴全球股份有限公司）
提出SARA双流VAE，融合冻结的SSL语义锚点和残差声学编码器，解决语音分词器中声学与语义的权衡，实现高保真重建和零样本TTS的自然合成。
2026-06-11 cs.SD
High-Fidelity Audio Compression with Improved RVQGAN
Descript, Inc.（Descript 公司）
本文提出一种基于改进RVQGAN的高保真通用神经音频压缩算法，在8kbps带宽下实现44.1 KHz音频约90倍压缩，统一处理语音、环境和音乐等多种音频，性能显著优于现有方法，并开源代码与模型权重。
2023-10-26 cs.LG cs.SD eess.AS
SACodec: Asymmetric Quantization with Semantic Anchoring for Low-Bitrate High-Fidelity Neural Speech Codecs
SACodec通过非对称双量化器和语义锚定机制，在低比特率下实现语音保真度与语义丰富性的平衡，提升语音重建质量与下游任务的语义表现。
2025-12-24 cs.SD
A High-Fidelity Speech Super Resolution Network using a Complex Global Attention Module with Spectro-Temporal Loss
George Mason University（乔治·梅森大学）；Chittagong University of Engineering & Technology（奇坦加大学工程与技术学院）
本文提出CTFT-Net，通过在复数域同时重建语音幅度与相位，并结合复数全局注意力、复数conformer及谱-时损失，在VCTK数据集上超越现有模型，显著提升极端上采样的语音超分辨率质量。
2025-06-30 cs.AI cs.SD eess.AS
High-Fidelity Neural Phonetic Posteriorgrams
Northwestern University（西北大学）
本文提出高保真可解释神经音素后验图，通过现成语音合成器验证其可独立控制音高与发音，并拓展至声学发音距离和细粒度发音控制。
2024-02-27 cs.SD eess.AS
Vox-Evaluator: Enhancing Stability and Fidelity for Zero-shot TTS with A Multi-Level Evaluator
本文提出Vox-Evaluator多层级评估器，通过识别并纠正错误语音片段及偏好对齐，增强零样本TTS的稳定性和保真度。
2025-10-23 cs.SD
