LMCodec: A Low Bitrate Speech Codec With Causal Transformer Models
Google(谷歌)
我们介绍LMCodec,一种因果神经语音编解码器,以非常低的比特率提供高质量的音频。该系统的骨干是一个因果卷积编解码器,它使用残差矢量量化将音频编码成一个由粗到细的令牌层次。LMCodec训练一个Transformer语言模型,以生成的方式从粗糙的令牌中预测精细的令牌,从而允许传输更少的代码。第二个Transformer预测给定过去发送的代码的下一个代码的不确定性,并用于执行条件熵编码。进行了MUSHRA主观测试,结果表明,在更高的比特率下,质量与参考编解码器相当。示例音频可在https://mjenrungrot.github.io/chrome-media-audio-papers/publications/lmcodec上获得。
2023-03-23 cs.SD eess.AS
A Fast and Lightweight Model for Causal Audio-Visual Speech Separation
School of Computer Technology and Application(计算机技术与应用学院);Intelligent Computing and Application Laboratory of Qinghai Province(青海省智能计算与应用实验室);Department of Computer Science and Technology(计算机科学与技术系);Institute for AI(人工智能研究院);Tsinghua Laboratory of Brain and Intelligence (THBI)(清华大学脑与智能实验室);IDG/McGovern Institute for Brain Research(IDG/麦克戈维脑研究学院);Tsinghua University(清华大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究院)
针对现有音视频语音分离模型架构复杂且依赖未来上下文、不适于实时应用的问题,本文提出流式因果模型Swift-Net,采用轻量视觉模块、高效融合模块和分组SRU,并在三个基准数据集上验证了其卓越性能。
2025-10-14 cs.SD eess.AS
Enhancing Intelligibility for Generative Target Speech Extraction via Joint Optimization with Target Speaker ASR
School of Information Science and Engineering, Shandong University(信息科学与工程学院,山东大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
针对生成式目标语音提取存在的语音可懂度不足、语义内容易丢失的问题,提出基于预训练Whisper模型、结合语义建模与流声学建模的生成式TSE框架,在多基准上优于现有基线,兼顾高可懂度与感知质量。
2025-05-21 cs.SD eess.AS
Embedding and Beamforming: All-neural Causal Beamformer for Multichannel Speech Enhancement
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
空间协方差矩阵已被认为是重要的波束形成器。基于传统波束形成器和深度神经网络的交叉点,提出了一种因果神经波束形成器的范式Embedding and Beamforming,并设计了两个核心模块EM和BM。对于EM,不是显式地估计空间协方差矩阵,而是使用网络学习3-D嵌入张量,其中可以表示光谱和空间判别信息。对于BM,直接利用网络来导出波束成形权重,以便实现滤波求和操作。为了进一步提高语音质量,引入后处理模块进一步抑制残余噪声。基于DNS-Challenge数据集,我们进行了多通道语音增强的实验,结果表明,该系统在多个评价指标上大大优于以前的先进基线。
2021-09-02 cs.SD eess.AS
Investigating Training Objectives for Generative Speech Enhancement
University of Hamburg(汉堡大学)
本文比较了基于分数的生成模型与薛定谔桥在生成式语音增强中的训练目标差异,并提出一种新型感知损失函数以提升增强语音的感知质量。
2025-01-18 cs.SD eess.AS
Generative Speech Coding with Predictive Variance Regularization
Google LLC(谷歌有限责任公司);Victoria University of Wellington(惠灵顿维多利亚大学)
最近出现的基于机器学习的语音生成模型表明语音编解码器的比特率的显著降低是可能的。然而,生成模型的性能显着恶化与真实世界的输入信号中存在的失真。我们认为,这种恶化是由于最大似然准则离群值的敏感性和一个单一的自回归模型建模的独立信号的总和无效。我们引入预测方差正则化来降低对离群值的敏感性,从而显着提高性能。我们表明,降噪去除不需要的信号可以显着提高性能。我们提供了广泛的主观性能评估表明,我们的系统生成建模的基础上提供了最先进的编码性能在3 kb/s的真实世界的语音信号在合理的计算复杂度。
2021-02-18 cs.SD eess.AS
RVAE-EM: Generative speech dereverberation based on recurrent variational auto-encoder and convolutive transfer function
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
提出基于RVAE和CTF的生成式语音去混响方法,通过EM算法实现MAP估计,在单声道实验中优于判别式网络。
2023-10-17 cs.SD eess.AS
iMetricGAN: Intelligibility Enhancement for Speech-in-Noise using Generative Adversarial Network-based Metric Learning
National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学);Academia Sinica(中央研究院)
自然语音的可懂度在暴露于不利的噪声环境时会严重降低。在这项工作中,我们提出了一种基于深度学习的语音修改方法来补偿可懂度损失,其约束条件是在修改之前和之后保持语音信号的均方根(RMS)水平和持续时间。具体来说,我们利用iMetricGAN方法来优化生成对抗网络(GANs)的语音可懂度指标。实验结果表明,所提出的iMetricGAN优于传统的国家的最先进的算法方面的客观措施,即,在食堂噪声条件下,以比特为单位的语音可懂度(SIIB)和扩展的短时客观可懂度(ESTOI)。此外,正式的听力测试显示显着的清晰度增益时,噪音和混响存在。
2020-04-07 cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)(信息技术大学(ITU));University of Southern Queensland(南昆士兰大学);Qatar University(卡塔尔大学)
尽管在深度学习方面取得了进展,但由于缺乏语音情感数据集,当前最先进的语音情感识别(SER)系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音(TTS)系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器,用于创建Mel频谱图的序列到序列文本生成器,以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明,所生成的情感语音的质量可以显着提高多个数据集上的SER性能,如与基线相比更高的平均意见得分(MOS)所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Unifying Robustness and Fidelity: A Comprehensive Study of Pretrained Generative Methods for Speech Enhancement in Adverse Conditions
Tencent AI Lab(腾讯人工智能实验室)
本文研究利用预训练vocoder和codec等生成式方法从含噪混响语音中重新合成干净语音,在模拟与真实数据上验证了其在提升语音质量、鲁棒性和主观评分方面的优势。
2023-09-16 cs.SD eess.AS
Generative Models for Improved Naturalness, Intelligibility, and Voicing of Whispered Speech
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学);Intel Labs(英特尔实验室)
这项工作适应了两个最近的架构生成模型,并评估其有效性转换的耳语音正常语音。我们将正常目标语音纳入矢量量化变分自编码器(VQ-VAE)和MelGAN的训练标准中,从而调节系统从耳声输入中恢复有声语音。客观和主观质量测量表明,VQ-VAE和MelGAN都可以修改以执行转换任务。我们发现,所提出的方法显着改善梅尔倒谱系数失真(MCD)度量至少25%相对于DiscoGAN基线。主观听力测试表明,与耳声输入语音相比,基于MelGAN的系统显着提高了自然度,可懂度和语音。一种基于潜在语音表示之间差异的新评估措施也表明,我们基于MelGAN的方法相对于基线有所改进。
2023-01-30 cs.SD eess.AS
Are These Even Words? Quantifying the Gibberishness of Generative Speech Models
Signal Processing, University of Hamburg, Germany(信号处理,汉堡大学,德国)
本文提出利用语言模型在无监督条件下量化生成语音的胡言乱语程度,并发布高质量合成胡言乱语语音数据集及评分代码,以改进非侵入式评估方法。
2025-10-24 cs.SD eess.AS
A Hybrid Discriminative and Generative System for Universal Speech Enhancement
本文提出一种混合判别与生成模型,通过信号保真度与重建能力结合,提升通用语音增强效果,并在ICASSP 2026挑战中取得第三名。
2026-01-27 cs.SD eess.AS
Glow-TTS: A Generative Flow for Text-to-Speech via Monotonic Alignment Search
Kakao Enterprise(Kakao企业);Seoul National University(首尔国立大学)
最近,已经提出了诸如FastSpeech和ParaNet的文本转语音(TTS)模型来并行地从文本生成梅尔频谱图。尽管有这样的优点,但在没有自回归TTS模型作为其外部对准器的指导下,并行TTS模型不能被训练。在这项工作中,我们提出了辉光TTS,一个基于流的生成模型并行TTS,不需要任何外部对准。通过结合流和动态规划的属性,该模型搜索文本和语音的潜在表示之间的最可能的单调对齐。我们证明,强制执行硬单调对齐,使强大的TTS,它概括为长的话语,并采用生成流,使快速,多样,可控的语音合成。辉光TTS获得了一个数量级的速度比自回归模型,Tacotron 2,在合成具有可比的语音质量。我们进一步表明,我们的模型可以很容易地扩展到多扬声器设置。
2020-10-23 cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research(三星研究院)
针对端侧ASR的低延迟需求,本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型,实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Speech World Model: Causal State-Action Planning with Explicit Reasoning for Speech
Zhejiang University(浙江大学);UC Berkeley(加州大学伯克利分校)
研究旨在改进语音语言模型推理弱的问题,采用模块化视角和世界模型观点,将语音理解分解为四个模块通过因果图通信,建立认知状态搜索空间,实现显式推理,让语音理解更透明可控。
2026-07-14 eess.AS
Confidence-based Filtering for Speech Dataset Curation with Generative Speech Enhancement Using Discrete Tokens
CyberAgent;The University of Tokyo(东京大学)
本文提出基于置信度的过滤方法,用于消除生成式语音增强模型中的幻觉错误,从而提升语音数据集的质量和TTS模型的性能。
2026-01-18 cs.SD eess.AS
Generative Speech Enhancement Based on Cloned Networks
我们提出了实现语音增强的再生干净的语音从一个显着的表示提取的噪声信号。使用提取器网络的一组权重共享克隆来训练提取显著特征的网络。克隆接收相同语音信号的不同噪声版本的梅尔频谱作为输入。通过鼓励克隆的输出对于这些不同的输入信号是相似的,我们训练一个对噪声鲁棒的特征提取器网络。在推理时,显著特征形成WaveNet网络的输入,WaveNet网络生成具有与地面真实干净信号相同属性的自然干净语音信号。随着信号变得越来越嘈杂,我们的系统会产生自然的声音错误,这些错误会留在语音流形上,而不是在其他系统中发现的传统人工制品。我们的实验证实,我们的生成增强系统提供了国家的最先进的增强性能的生成类增强器根据MUSHRA样测试。基于克隆的系统匹配或优于其他系统在每个输入信噪比(SNR)范围内具有统计学意义。
2019-09-10 cs.SD eess.AS
A non-causal FFTNet architecture for speech enhancement
University of Crete(克里特大学)
本文提出了一种基于FFTNet神经网络的并行、非因果、浅波形域语音增强算法。与其他基于波形的方法(如WaveNet)相比,FFTNet使用初始宽膨胀模式。这样的架构更好地表示时域中的语音的长期相关结构,其中噪声通常是高度不相关的,并且因此它适合于基于波形域的语音增强。为了进一步加强FFTNet的这一特性,我们提出了一种非因果FFTNet架构,其中每一层中的当前样本是从前一层的过去和未来样本中估计出来的。通过建议浅层网络并在一定限度内应用非因果关系,与用于语音增强的其他基于神经网络的方法(如WaveNet和SEGAN)相比,所建议的用于语音增强的FFTNet(SE-FFTNet)使用少得多的参数。具体来说,建议的网络大大减少了模型参数:与WaveNet相比减少了32%,与SEGAN相比减少了87%。最后,基于主观和客观指标,SE-FFTNet在增强的信号质量方面优于WaveNet,同时提供与SEGAN同样好的性能。在1中提供了该架构的Tensorflow实现。
2020-06-08 cs.CL cs.SD eess.AS
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
基于注意力的端到端自动语音识别(ASR)系统最近已经展示了用于许多任务的最先进的结果。然而,自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性,其中每个单词必须在说出后不久被识别。在这项工作中,我们提出了双重因果/非因果自我注意力(DCN)架构,与限制自我注意力相比,它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较,示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果,同时提供了帧同步处理的优点。结合触发注意力,所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
Multi-Metric Optimization using Generative Adversarial Networks for Near-End Speech Intelligibility Enhancement
National Institute of Informatics(国立情报学研究所);SOKENDAI(综合研究大学院大学)
在环境噪声和混响的存在下,语音的可懂度严重降低。在本文中,我们提出了一种新的基于深度学习的系统,用于修改语音信号以在等功率约束下提高其可懂度,即,修改前后的信号功率必须相同。为了实现这一点,我们使用生成对抗网络(GANs)来获得时频相关的放大因子,然后将其应用于输入的原始语音以重新分配语音能量。我们训练一个深度神经网络(DNN)模型,以同时优化多个高级语音指标,而不是只优化一个简单的指标,包括与清晰度和质量相关的指标,从而显著提高了性能和鲁棒性。我们的系统不仅可以工作在非实时模式下的离线音频播放,但也支持实际的实时语音应用。使用客观测量和主观听音测试的实验结果表明,该系统显着优于国家的最先进的基线系统在各种嘈杂和混响听音条件下。
2021-09-16 cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.(小米公司)
本研究提出一种高效可扩展的语音增强方法,利用预训练生成式音频编码器提取含噪语音嵌入,经紧凑去噪编码器处理后由声码器合成干净语音,在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
FLOWER: Flow-Based Estimated Gaussian Guidance for General Speech Restoration
Hanyang University(汉阳大学)
本文提出FLOWER方法,利用归一化流将干净语音映射到高斯先验以提取引导信息,并将该引导融入生成网络各模块,从而在多种通用语音恢复任务中提升性能。
2025-05-03 cs.SD eess.AS
Crowdsourcing MUSHRA Tests in the Age of Generative Speech Technologies: A Comparative Analysis of Subjective and Objective Testing Methods
Cisco SystemsEurope(思科系统欧洲)
本文针对生成式语音编解码器提出众包MUSHRA测试调整方案,对比MTurk与Prolific平台及专家数据,并评估六项客观指标,发现传统指标低估生成模型,为可扩展感知测试提供指导。
2025-06-01 cs.SD eess.AS
Generative Speech Foundation Model Pretraining for High-Quality Speech Extraction and Restoration
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院)
提出一种生成式预训练语音基础模型,直接处理复数值STFT系数以避免声码器限制,在语音去噪、带宽扩展和目标说话人提取等恢复任务中超越强基线。
2024-09-25 cs.SD eess.AS
Geneses: Unified Generative Speech Enhancement and Separation
The University of Tokyo, Japan(东京大学);National Institute of Advanced Industrial Science and Technology (AIST), Japan(日本先进工业科学和技术研究院)
Geneses通过多模态扩散Transformer和潜在流匹配实现统一的高质量语音增强与分离,优于传统方法并具备更强的复杂退化鲁棒性。
2026-01-26 cs.SD eess.AS
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab(vivo人工智能实验室);Trinity College Dublin(都柏林大学三一学院)
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响,因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架,涉及语音增强的视觉信息,通过结合生成对抗网络(GAN)。具体地说,提出的视觉语音增强GAN由两个以对抗方式训练的网络组成:i)一个采用多层特征融合卷积网络增强输入含噪语音的生成器,ii)一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明,该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
MAGE: A Coarse-to-Fine Speech Enhancer with Masked Generative Model
MAGE通过紧凑稳健的设计提升生成式语音增强效果,采用稀缺感知的粗到细掩码策略,结合轻量级校正模块,实现高效且高质量的语音增强,实验显示在DNS挑战和噪声LibriSpeech上取得最佳感知质量和更低的词错误率。
2026-03-13 cs.SD eess.AS
Whispered-to-voiced Alaryngeal Speech Conversion with Generative Adversarial Networks
1 Universitat Polit\`ecnica de Catalunya, Barcelona, Spain 2 Telef\'onica Research, Barcelona, Spain 3 Universidad de M\'alaga, M\'alaga, Spain
大多数用于失音症患者的声音恢复方法要么产生低声讲话,要么产生单调讲话。除了可理解性之外,这种类型的语音由于缺乏音高(耳语语音)或人工生成音高(单调语音)而缺乏表现力和自然性。用于恢复韵律信息的现有技术通常将参数化语音信号的声码器与预测韵律信息的机器学习技术组合。相反,本文描述了一种端到端的神经方法,用于从低声的喉音语音中估计全浊音语音波形。通过调整我们以前的工作在语音增强与生成对抗网络,我们开发了一个说话人相关的模型来执行耳语到有声语音转换。初步的定性结果表明,在重新生成有声语音的有效性,与现实的音高轮廓的创建。
2018-11-05 cs.LG cs.SD eess.AS
Attention-Guided Generative Adversarial Network for Whisper to Normal Speech Conversion
Anhui University(安徽大学);University of Windsor(温莎大学)
耳语是一种不利用声带振动的特殊发音方式。耳语音不包含基频,其能量比正常语音低约20 dB。将耳语音转换为正常语音可以提高语音质量和可懂度。本文提出了一种新的注意力引导生成对抗网络模型,该模型结合了自编码器、连体神经网络和用于耳语到正常语音转换的身份映射损失函数(AGAN-W2 SC)。所提出的方法避免了估计从耳语音转换的正常有声语音的基频的挑战。具体来说,该模型更易于实际应用,因为它不需要对齐语音特征进行训练。实验结果表明,所提出的AGAN-W2 SC可以获得更好的语音质量和可懂度相比,基于动态时间规整的方法。
2021-11-02 cs.HC cs.SD eess.AS
Generative Pre-training for Speech with Flow Matching
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Meta AI
本研究提出名为SpeechFlow的通用语音生成式预训练模型,利用Flow Matching和掩码条件在6万小时无转录语音上训练,微调后在语音增强、分离和合成任务上匹配或超越现有专家模型。
2024-03-25 cs.CL cs.LG cs.SD
Domain-Incremental Learning for Generative Speech Enhancement
Aalborg University(奥尔堡大学);Tampere University(坦佩雷大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种基于语言模型的生成式语音增强域增量学习框架,通过轻量级低秩适配增量适应新域,在四个数据集上实现不遗忘旧域的有效增强。
2026-09-29 cs.SD eess.AS
Few-step Adversarial Schrödinger Bridge for Generative Speech Enhancement
Seoul National University(首尔国立大学);Supertone Inc.(Supertone公司)
针对扩散类语音增强模型采样步数过多、低SNR下性能下降的问题,提出将薛定谔桥与GANs结合,实现少步甚至单步推理,并在去噪和去混响任务上优于现有基线。
2025-06-02 cs.SD eess.AS
Causal Self-supervised Pretrained Frontend with Predictive Code for Speech Separation
本文提出一种因果自监督预训练前端,通过自回归混合预测和上下文知识蒸馏代理任务将未来信息隐式纳入因果模型,有效缓解了实时流式语音分离中因缺乏未来上下文导致的性能下降。
2025-04-03 cs.LG cs.SD eess.AS
Investigating the Effects of Diffusion-based Conditional Generative Speech Models Used for Speech Enhancement on Dysarthric Speech
Bayer AG(拜耳公司);Idiap Research Institute(伊迪亚普研究所)
首次探索基于扩散的预训练语音增强模型对无噪声环境下帕金森病构音障碍语音的影响,发现该模型会丢失病理声学线索,但残差信号融合可提供互补线索。
2024-12-18 cs.LG cs.SD eess.AS
Universal Speech Enhancement with Regression and Generative Mamba
Academia Sinica(中国科学院);National Taiwan University(台湾大学);NVIDIA(NVIDIA公司);CITI;CSIE(資訊科學與工程學系)
本文提出状态空间模型 USEMamba,结合回归与生成式 Mamba 处理多失真、多语言通用语音增强,并在 URGENT Challenge 盲测 Track 1 获第二名。
2025-09-30 cs.SD eess.AS
Speech Enhancement with Score-Based Generative Models in the Complex STFT Domain
Universität Hamburg(汉堡大学);DESY(德国电子同步加速器研究所)
基于分数的生成模型(SGM)最近在困难的生成任务(例如自然图像和音频信号的无条件和有条件生成)方面取得了令人印象深刻的结果。在这项工作中,我们将这些模型扩展到复杂的短时傅里叶变换(STFT)域,提出了一种新的训练任务,使用复值深度神经网络进行语音增强。我们推导出随机微分方程(SDES)的形式主义内的训练任务,从而使预测校正采样器的使用。我们提供了替代配方的启发,以前的出版物上使用生成扩散模型的语音增强,避免需要任何先验假设的噪声分布和训练任务纯粹的生成,因为我们表明,在提高增强性能的结果。
2022-07-07 cs.LG cs.SD eess.AS
Causal-Anticausal Decomposition of Speech using Complex Cepstrum for Glottal Source Estimation
University of Mons(蒙斯大学);Izmir Institute of Technology(伊兹密尔理工学院)
复倒谱在文献中已知用于线性分离因果分量和反因果分量。依靠ZZT技术的零值,我们在这里研究了在大规模数据库上使用复倒谱进行声门流量估计的可能性。通过系统的研究窗口对反卷积质量的影响,我们表明,复倒谱cascarianticausal分解可以有效地用于声门流量估计时,满足特定的窗口标准。它还表明,这种复杂的倒谱分解得到类似的声门估计与ZZT方法。然而,由于复倒谱使用FFT运算而不需要高次多项式的因式分解,因此该方法受益于更高的速度。最后,在我们的一个大语料库的真实表达语音的测试,我们表明,该方法具有潜在的语音质量分析。
2019-12-30 cs.CL cs.SD eess.AS
FireRedTTS: A Foundation Text-To-Speech Framework for Industry-Level Generative Speech Applications
Xiaohongshu(小红书)
FireRedTTS是一个面向工业级应用的基础文本转语音框架,通过数据处理流程、基于语言模型的基础TTS系统和两阶段波形生成器,实现了零样本/少样本语音克隆及具有副语言行为的类人语音生成。
2025-04-11 cs.SD eess.AS
Non-Causal to Causal SSL-Supported Transfer Learning: Towards a High-Performance Low-Latency Speech Vocoder
本文提出一种基于师生蒸馏与自监督表示对齐的非因果到因果迁移学习方案,使低延迟因果 BigVGAN 声码器在极小复杂度增加下性能超越原始高延迟非因果模型。
2024-08-26 eess.AS
Diffusion-based Generative Modeling with Discriminative Guidance for Streamable Speech Enhancement
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
针对扩散生成模型(DGMs)在流式语音增强中计算量高的问题,提出在反向扩散过程初始步骤用判别模型的判别分数减少计算并提升性能,还推出50ms延迟的可流式时域生成模型,性能接近离线模型。
2024-06-19 cs.SD eess.AS
Inference and Denoise: Causal Inference-based Neural Speech Enhancement
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院);Norwegian University of Science and Technology(挪威科技大学)
本研究通过对噪声存在作为干预的建模,解决了因果推理范式中的语音增强(SE)任务。基于潜在的结果框架,建议的因果推理为基础的语音增强(CISE)分离干净和嘈杂的帧在一个干预嘈杂的语音使用噪声检测器和分配两组帧到两个基于掩码的增强模块(EM)执行噪声条件SE。具体来说,我们在训练期间使用噪声的存在作为EM选择的指导,并且噪声检测器根据对每帧的噪声存在的预测来选择增强模块。此外,我们推导出一个SE特定的平均治疗效果,以充分量化因果关系。实验证据表明,CISE优于非因果掩模为基础的SE方法在所研究的设置,并具有更好的性能和效率比更复杂的SE模型。
2022-11-02 cs.AI cs.LG cs.NE
Neural Speech Embeddings for Speech Synthesis Based on Deep Generative Networks
Korea University(高丽大学)
本文介绍脑到语音技术,并系统分析执行语音时的神经特征与神经语音嵌入,探讨其在基于深度生成模型的语音合成中的关键作用。
2024-02-27 cs.AI cs.SD eess.AS
Rethinking Speech Codecs: From Compression to Autoregressive Generative Modeling
The University of Hong Kong(香港大学);Meituan Inc.(美团公司)
本研究提出将语音令牌化与自回归训练对齐的新型语音编解码器框架,通过引入兼容约束与异构下采样策略,提升了语言模型在语音数据上的持续预训练效果,验证了方法的通用性。
2026-09-07 cs.MM cs.SD eess.AS
ASR for Affective Speech: Investigating Impact of Emotion and Speech Generative Strategy
National Tsing Hua University(国立清华大学)
本文探讨情感语音与生成策略对ASR性能的影响,提出两种生成策略提升ASR在情感语音识别中的表现。
2026-01-28 eess.AS
iSEGAN: Improved Speech Enhancement Generative Adversarial Networks
Idiap Research Institute(IDIAP研究所)
流行的基于神经网络的语音增强系统对幅度谱图进行操作,并且忽略有噪语音信号与干净语音信号之间的相位失配。条件生成对抗网络(cGAN)通过直接将原始噪声语音波形映射到底层的干净语音信号,在解决相位失配问题方面表现出了希望。然而,稳定和训练cGAN系统是困难的,它们仍然达不到频谱增强方法所实现的性能。本文研究了不同的归一化策略和单侧标签平滑是否可以进一步稳定基于cGAN的语音增强模型。此外,我们还提出了一个基于伽玛音的听觉过滤层和一个可训练的预加重层,以进一步提高cGAN框架的性能。仿真结果表明,所提出的方法提高了cGAN系统的语音增强性能,除了产生改进的稳定性和减少的计算工作量。
2020-02-20 cs.SD eess.AS eess.SP
On the Behavior of Intrusive and Non-intrusive Speech Enhancement Metrics in Predictive and Generative Settings
Universität Hamburg(汉堡大学)
本文比较同一语音增强骨干在预测式与生成式范式下的多种侵入式、非侵入式指标表现,揭示两类指标相关性随范式变化,呼吁建立无偏评估体系。
2023-06-05 cs.LG cs.SD eess.AS
Deep generative factorization for speech signal
Tsinghua University(清华大学)
语音信号中混杂着各种各样的信息因素,这是大多数语音信息处理任务的主要难点。一种直观的想法是将语音信号因子分解为各个信息因子(例如,语音内容和说话者特征),尽管事实证明这是非常具有挑战性的。提出了一种基于阶乘判别归一化流模型(阶乘DNF)的语音分解方法。在语音内容和说话人特征的双因素情况下进行的实验表明,所提出的阶乘DNF具有强大的分解语音信号的能力,并在信息表示和操作方面优于几个比较模型。
2020-10-27 cs.LG cs.SD eess.AS
Unsupervised speech enhancement with deep dynamical generative speech and noise models
Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);CNRS(法国国家科学研究中心);Grenoble-INP(格勒诺布尔国立理工学院)
该研究针对无监督语音增强任务,提出用深度动态生成模型(DDGM)替代传统非负矩阵分解噪声模型,支持三种训练配置,在性能比肩现有最优无监督方法的同时,噪声依赖训练配置可显著提升推理时间效率。
2023-06-13 cs.LG cs.SD eess.AS
Single-channel Speech Dereverberation via Generative Adversarial Training
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种基于卷积、双向长短期记忆和深度前馈神经网络(CBLDNN)的单通道语音去混响系统(DeReGAT)。为了获得更好的语音质量,而不是仅仅最小化均方误差(MSE),GAT被用来使去混响语音与干净样本不可区分。此外,我们的系统可以处理大范围的混响,并能很好地适应不同的环境。实验结果表明,该模型优于加权预测误差(WPE)和基于深度神经网络的系统。此外,DeReGAT扩展到一个在线语音去混响的情况下,报告与离线的情况下相当的性能。
2018-06-25 cs.CL cs.SD eess.AS
Time-domain Speech Enhancement with Generative Adversarial Learning
Harbin Engineering University(哈尔滨工程大学);ByteDance(字节跳动);University of Surrey(萨里大学)
语音增强的目的是从含噪语音中获得高清晰度和高质量的语音信号。最近的工作已经证明了时域深度学习方法(如Conv-TasNet)的出色性能。然而,这些方法可以退化的任意尺度的波形引起的尺度不变的信噪比(SI-SNR)的损失。本文提出了一种新的时域语音增强生成对抗网络(TSE GAN)框架,它是生成对抗网络(GAN)在时域上的扩展,具有度量评估功能,以减轻缩放问题,并提供模型训练稳定性,从而实现性能改进。此外,本文还提出了一种基于目标函数映射的度量GAN性能理论分析方法,并解释了其优于Wasserstein GAN的原因。实验结果表明了该方法的有效性,说明了度量GAN的优越性.
2021-09-19 cs.LG cs.SD eess.AS
Speech Bandwidth Expansion Via High Fidelity Generative Adversarial Networks
Lebanese American University(黎巴嫩美国大学)
本文提出一种基于高保真生成对抗网络的端到端语音带宽扩展方法,将多种上采样比率集成于单一模型,在多种扩展因子下展现零样本能力,且性能优于现有端到端及传统技术。
2024-07-29 cs.AI cs.SD eess.AS
GANtron: Emotional Speech Synthesis with Generative Adversarial Networks
Maastricht University(马斯特里赫特大学)
语音合成广泛应用于各种行业。尽管如此,它总是听起来平淡或机器人。允许韵律控制的现有技术方法使用起来非常麻烦,并且不允许容易的调谐。为了解决其中的一些缺点,在这项工作中,我们的目标是实现一个文本到语音模型,其中推断的语音可以调整所需的情绪。为此,我们使用生成对抗网络(GANs)以及使用注意力机制的序列到序列模型。我们评估了四种不同的配置,考虑不同的输入和训练策略,研究它们,并证明我们的最佳模型如何生成与初始训练数据集分布相同的语音文件。此外,提出了一种新的策略,以提高训练的收敛性,通过应用引导的注意力损失。
2021-10-06 cs.AI cs.SD eess.AS
Generative Modeling for Low Dimensional Speech Attributes with Neural Spline Flows
NVIDIA(英伟达)
尽管最近在文本到语音合成的生成建模方面取得了进展,但这些模型还没有像FastPitch和FastSpeech2这样的音高条件确定性模型那样具有相同的细粒度可调性。音高信息不仅是低维的,而且是不连续的,这使得在生成环境中建模特别困难。我们的工作探讨了几种技术来处理上述问题的规范化流模型的背景下。我们还发现这个问题非常适合神经样条流,这是一个高度表达的替代规范化流中更常见的仿射耦合机制。
2022-06-27 cs.LG cs.SD eess.AS