Convolutional Variational Autoencoders for Spectrogram Compression in Automatic Speech Recognition
NSU（新西伯利亚国立大学）；Zolotaya Korona（金冠公司）
本文提出用卷积变分自编码器将频谱图压缩为低维嵌入，并在 LibriSpeech 上训练、在 GoogleSpeechCommands 上生成特征构建 ASR 系统，与 MFCC 特征模型进行比较。
2024-10-04 cs.CL cs.SD eess.AS
Revisiting Acoustic Features for Robust ASR
Carnegie Mellon University（卡内基梅隆大学）
本文重新审视受生物听觉感知启发的声学特征，提出FreqMask和DoGSpec两种新特征，实验证明DoGSpec在保持准确性的同时显著提升了对包括对抗性攻击在内的多种噪声的鲁棒性。
2024-09-24 cs.CL cs.SD eess.AS
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA（英伟达）
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现，发现其性能与梅尔频谱图接近且对窄带数据更鲁棒，并可在20倍压缩下保持较低性能损失，同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
LLM can Read Spectrogram: Encoder-free Speech-Language Modeling
Microsoft, USA（微软公司，美国）
提出 Mel-LLM，一种无需专用语音编码器、直接将梅尔频谱图补丁通过线性投影输入 LLM 的架构，在 ASR 和 TTS 任务上验证了其可行性，ASR 性能与有编码器方案相当，TTS 初步可行。
2026-09-22 cs.SD eess.AS
speech and noise dual-stream spectrogram refine network with speech distortion loss for robust speech recognition
Tianjin University（天津大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出双流频谱细化网络，同时细化语音和噪声并从带噪输入中解耦噪声，以解决联合训练中语音失真与残余噪声问题，实现CER相对降低8.6%。
2023-05-30 cs.SD eess.AS
Dysarthria Normalization via Local Lie Group Transformations for Robust ASR
Independent Researcher（独立研究者）
本文提出用局部李群变换建模构音障碍语音的时频与幅度失真，通过仅用合成扭曲健康语音训练的神经网络推断并逆转变形，在TORGO上最多降低17个百分点WER且不损害干净语音性能。
2025-05-04 cs.CL cs.LG cs.SD
End-to-End Mandarin Tone Classification with Short Term Context Information
Data Science Research Center, Duke Kunshan University（昆山杜克大学数据科学研究中心）
在本文中，我们提出了一个端到端的普通话声调分类方法，从连续的语音话语利用频谱图和短期的上下文信息作为输入。声谱图和上下文段特征都被用来训练声调分类器。我们首先使用由ASR模型产生的力对齐结果将声谱图帧划分为音节段。然后，我们提取短期段特征，以捕获跨多个音节的上下文信息。将声谱图和短期上下文段特征馈送到端到端模型中可以显着提高性能。在一个大规模的开源汉语语音数据集上进行实验，以评估所提出的方法。在AISHELL3数据库上的实验结果表明，该方法将分类准确率从79.5%提高到92.6%。
2021-12-17 cs.LG cs.SD eess.AS
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA（英伟达）
本文提出CONF-TSASR，一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构，通过CTC损失和尺度不变语谱图重建损失联合优化，在多个混合语音数据集上取得最先进的目标说话人词错误率，并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
Bring the Noise: Introducing Noise Robustness to Pretrained Automatic Speech Recognition
University of Hamburg（汉堡大学）；Örebro University（厄勒布鲁大学）；exXxa GmbH（exXxa有限责任公司）
本研究提出Cleancoder预处理架构，从Conformer ASR模型中提取去噪能力，作为前端应用于任意编码器-解码器模型，在噪声条件下显著降低下游ASR的词错误率。
2023-09-05 cs.CL cs.SD eess.AS
Voice Quality and Pitch Features in Transformer-Based Speech Recognition
Universitat Pompeu Fabra（庞培法布拉大学）；Universitat de Barcelona（巴塞罗那大学）
抖动和闪烁测量已被证明是语音质量和韵律信息的载体，其增强了诸如说话人识别、日记或自动语音识别（ASR）的任务的性能。然而，这样的特征很少被用于基于神经的ASR的上下文中，其中频谱特征通常占上风。在这项工作中，我们研究的影响，将语音质量和音高功能完全和单独的基于变压器的ASR模型，与直觉的注意力机制可能会利用潜在的韵律特征。为此，我们提出了分离的卷积前端的韵律和频谱特征，表明这种架构的选择产生更好的结果比简单的级联这样的音高和语音质量功能梅尔频谱图滤波器组。此外，我们发现平均字的出错率相对减少高达5.6%的LibriSpeech基准。这些发现激发了进一步研究韵律知识的应用，以增加基于transformer的ASR的鲁棒性。
2021-12-21 cs.CL cs.LG cs.SD
The NTNU System at the Interspeech 2020 Non-Native Children's Speech ASR Challenge
National Taiwan Normal University（国立台湾师范大学）
本文介绍了NTNU ASR系统参加由ISCA的SIG-CHILD组支持的Interspeech 2020非母语儿童语音ASR挑战赛。由于非母语和儿童语言特征的共存多样性，这一ASR共享任务变得更具挑战性。在封闭式评估的环境下，所有参与者只能根据组织者提供的语音和文本语料库开发自己的系统。为了解决这个资源不足的问题，我们在基于CNN-TDNF的声学模型之上构建了我们的ASR系统，同时利用各种数据增强策略的协同作用，包括话语和单词级别的速度扰动和语谱图增强，以及简单而有效的数据清理方法。我们的ASR系统的所有变体都采用了基于RNN的语言模型来对第一遍识别假设进行重新评分，该模型仅在组织者发布的文本数据集上进行训练。我们的系统配置最好，排在第二位，字错误率（WER）为17.59%，而表现最好的、亚军和官方基线系统的字错误率分别为15.67%、18.71%和35.09%。
2020-06-02 cs.CL cs.SD eess.AS
ASR-Agnostic Multimodal Spectrotemporal Modeling for Early Dementia Detection
提出一种不依赖语音识别的框架，直接从梅尔频谱图中提取谱时位移场作为数字生物标志物，结合CNN-ConvGRU声学嵌入和交叉注意力融合，在三种语言语料库上验证了多模态融合的语料依赖性。
2026-07-01 cs.AI cs.CL cs.SD
Transfer Learning from Monolingual ASR to Transcription-free Cross-lingual Voice Conversion
Red Pill Lab（红丸实验室）
跨语言语音转换（VC）是指在源语和目标语使用不同语言的情况下，合成具有相同内容的目标语语音。它的挑战在于源数据和目标数据自然是非并行的，甚至很难在没有transmittance的情况下弥合语言之间的差距。在本文中，我们专注于知识转移从单语言ASR跨语言VC，以解决内容不匹配的问题。为了实现这一点，我们首先训练源语言的单语声学模型，使用它来提取VC数据集中所有语音的语音特征，然后训练Seq 2Seq转换模型来预测mel-声谱图。我们成功地解决了跨语言VC没有任何转录或特定语言的知识，为外国演讲。我们在Voice Conversion Challenge 2020数据集上进行了实验，结果表明，我们的说话者相关转换模型优于zero-shot基线，在跨语言转换的语音质量和说话者相似性方面实现了3.83和3.54的MOS。与Cascade ASR-TTS方法相比，我们提出的方法显著降低了跨语言转换和跨语言转换之间的MOS下降。
2020-09-30 cs.LG cs.SD eess.AS
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh（爱丁堡大学）
本文通过四个ASR系统和三个情感语料库，从词级层面研究ASR与SER的相互影响，揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响，以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
Proficiency-Aware Adaptation and Data Augmentation for Robust L2 ASR
Department of Linguistics, Indiana University, Bloomington, USA（语言学系，印第安纳大学，布卢明顿，美国）
针对通用ASR在L2学习者上表现不佳且微调会扩大差距的问题，提出熟练度感知多任务学习与针对性频谱掩码增强策略，有效降低WER并缩小熟练度差距，推动公平ASR。
2025-10-12 cs.AI cs.SD
Polyphonic pitch detection with convolutional recurrent neural networks
DoReMIR Music Research AB（DoReMIR音乐研究公司）
自动语音识别（ASR）研究的最新方向表明，在计算机视觉中应用来自图像识别挑战的深度学习模型是有益的。由于自动音乐转录（AMT）在表面上类似于ASR，因为方法通常依赖于将频谱图转换为事件的符号序列（例如单词或音符），因此深度学习也应该使AMT受益。在这项工作中，我们概述了一个在线的和弦音高检测系统，流音频到convlstms。我们的系统在2007年MIREX多F0开发集上取得了最先进的结果，在巴松管，单簧管，长笛，圆号和双簧管合奏录音上的F测量值为83%，而不需要任何音乐语言建模或乐器音色的假设。
2022-02-04 cs.LG cs.MM cs.SD
AVATAR: Unconstrained Audiovisual Speech Recognition
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
视听自动语音识别（AV-ASR）是ASR的扩展，其结合了视觉线索，通常来自说话者的嘴的运动。与单纯关注嘴唇运动的作品不同，我们研究了整个视觉框架（视觉动作，物体，背景等）的贡献。这对于不受约束的视频特别有用，其中扬声器不一定可见。为了解决这个问题，我们提出了一种新的序列到序列的视听ASR Transformer（AVATAR），它是从频谱图和全帧RGB进行端到端训练的。为了防止音频流主导训练，我们提出了不同的词掩蔽策略，从而鼓励我们的模型关注视觉流。我们展示了视觉模态对How2 AV-ASR基准测试的贡献，特别是在存在模拟噪声的情况下，并表明我们的模型在很大程度上优于所有其他先前的工作。最后，我们还为AV-ASR创建了一个名为VisSpeech的新的真实世界测试平台，它展示了视觉模态在具有挑战性的音频条件下的贡献。
2022-06-15 cs.CV cs.MM cs.SD
Exploring Dynamic Parameters for Vietnamese Gender-Independent ASR
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Institute of Digital Research and Innovation, CADT（数字研究与创新研究所，CADT）
本研究针对越南语ASR，提出结合极坐标SSCF动态参数与MFCC、用SSCF0作F0伪特征的方法，有效降低词错率并提升性别无关性。
2025-07-30 cs.CL cs.SD eess.AS
Mel-FullSubNet: Mel-Spectrogram Enhancement for Improving Both Speech Quality and ASR
本文提出 Mel-FullSubNet，通过交错全带与子带网络对单通道 Mel 频谱进行去噪和去混响，从而同时提升语音质量与 ASR 性能。
2024-02-22 eess.AS
iSTFTNet: Fast and Lightweight Mel-Spectrogram Vocoder Incorporating Inverse Short-Time Fourier Transform
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社通信科学实验室）
在最近的文本到语音合成和语音转换系统中，梅尔频谱图通常被用作中间表示，并且梅尔频谱图声码器的必要性正在增加。梅尔频谱声码器必须解决三个逆问题：恢复原始尺度幅度频谱，相位重建和频率到时间转换。当直接计算原始波形时，典型的卷积梅尔频谱图声码器使用包括时间上采样层的卷积神经网络来联合地和隐式地解决这些问题。这种方法允许在波形合成期间跳过冗余过程（例如，高维原始尺度谱图的直接重建）。相比之下，该方法解决了黑盒中的所有问题，并且不能有效地利用梅尔谱图中存在的时频结构。因此，我们提出了iSTFTNet，它取代了一些输出侧层的梅尔频谱声码器与逆短时傅立叶变换（iSTFT）后，充分降低了频率维度使用上采样层，降低了黑盒建模的计算成本，并避免冗余估计的高维频谱。在我们的实验中，我们将我们的想法应用于三个HiFi-GAN变体，并使模型更快，更轻量级，具有合理的语音质量。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/istftnet/上获得。
2022-03-04 cs.LG cs.SD eess.AS
Understanding Audio Features via Trainable Basis Functions
Singapore University of Technology and Design（新加坡科技设计大学）；Agency for Science, Technology and Research（科学技术研究局）
在本文中，我们探讨了通过使频谱图基函数可训练来最大化频谱图中所表示的信息的可能性。我们实验两个不同的任务，即关键字定位（KWS）和自动语音识别（ASR）。对于大多数神经网络模型，其结构和超参数通常在实验中进行微调和优化。但是，输入要素通常被视为固定要素。在音频的情况下，信号可以主要以两种主要方式表示：原始波形（时域）或频谱图（时频域）。此外，通常使用不同的频谱图类型，并进行定制以适应不同的应用。在我们的实验中，我们允许这种剪裁直接作为网络的一部分。我们的实验结果表明，使用可训练的基函数可以提高14.2个百分点的关键字定位（KWS）的准确性，并降低电话出错率（PER）的9.5个百分点。尽管随着模型复杂性的增加，使用可训练基函数的模型变得不那么有效，但经过训练的滤波器形状仍然可以为我们提供关于哪些频率段对特定任务很重要的见解。从我们的实验中，我们可以得出结论，可训练基函数是一个有用的工具，以提高性能时，模型的复杂性是有限的。
2022-04-25 cs.SD eess.AS eess.SP
Generating Diverse Vocal Bursts with StyleGAN2 and MEL-Spectrograms
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
我们描述了我们的方法生成的情感发声爆发任务（ExVo生成）的ICML表达发声比赛。我们在音频样本的预处理版本的mel频谱图上训练条件StyleGAN 2架构。然后将模型生成的梅尔频谱图反转回音频域。因此，从定性和定量的角度来看，我们生成的样本大大改善了比赛提供的基线。更准确地说，即使对于我们表现最差的情绪（敬畏），我们也获得了1.76的FAD，而基线为4.81（作为参考，敬畏的训练/验证集之间的FAD为0.776）。
2022-06-25 cs.LG cs.SD eess.AS
MELD: Mel-Spectrogram-Based Speech Language Modeling with Discrete Latent Variables
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Meta Superintelligence Labs（Meta超智能实验室）
提出一种在梅尔频谱上联合优化编码器和语音语言模型的离散潜变量模型，在零样本文本转语音和语音转文本任务上优于基于编解码器和其他梅尔频谱基线，并缓解了自回归建模中的长时间静音和单词遗漏问题。
2026-09-02 cs.CL eess.AS
High-quality Speech Synthesis Using Super-resolution Mel-Spectrogram
UBTECH Robotics Corporate（优必选机器人公司）；Novosibirsk State University（新西伯利亚国立大学）
在语音合成和语音增强系统中，梅尔声谱图在声学表示中需要是精确的。然而，生成的频谱图过于平滑，不能产生高质量的合成语音。受图像到图像转换的启发，我们通过使用基于学习的后置滤波器结合Pix 2 PixHD和ResUnet来解决这个问题，以重建梅尔光谱图以及超分辨率。从由此产生的超分辨率频谱图网络，我们可以生成增强的频谱图，以产生高质量的合成语音。我们提出的模型实现了改进的平均意见分数（MOS）的3.71和4.01比基线结果的3.29和3.84，而使用声码器Griffin-Lim和WaveNet，分别。
2019-12-03 cs.SD eess.AS
Mel-spectrogram features for acoustic vehicle detection and speed estimation
Faculty of Electrical Engineering, University of Montenegro（黑山大学电气工程学院）
本文讨论了声学车辆检测和速度估计从单传感器测量。我们预测车辆的通过时刻通过最小化剪切车辆到麦克风的距离，这是预测从梅尔频谱的输入音频，在监督学习的方法。此外，基于梅尔频谱图的特征直接用于车辆速度估计，而不引入任何中间特征。实验结果表明，所提出的特征可以用于准确的车辆检测和速度估计，平均误差为7.87 km/h。如果我们制定速度估计作为一个分类问题，与10公里/小时的离散化间隔，所提出的方法达到正确的类预测和91.0%的平均精度为48.7%时，一个类的偏移是允许的。所提出的方法进行评估的数据集上的304个城市环境的现场记录的10种不同的车辆。
2022-04-08 cs.LG cs.SD eess.AS
Universal MelGAN: A Robust Neural Vocoder for High-Fidelity Waveform Generation in Multiple Domains
Kakao Enterprise Corp.（Kakao 企业公司）；Kakao Corp.（Kakao公司）
我们提出了通用MelGAN，声码器，在多个域合成高保真语音。为了在使用数百个扬声器的数据集训练基于MelGAN的结构时保持音质，我们添加了多分辨率频谱图鉴别器来锐化生成波形的频谱分辨率。这使得模型能够通过减轻大覆盖区模型的高频段中的过平滑问题来生成多扬声器的真实波形。我们的结构通过在训练过程中区分波形和频谱图，在不降低推理速度的情况下生成接近地面实况数据的信号。该模型在大多数情况下使用地面实况mel-spectrogram作为输入，实现了最佳的平均意见得分（MOS）。特别是，它表现出优越的性能在看不见的领域方面的发言人，情感和语言。此外，在一个多说话人的文本到语音的场景中，使用由Transformer模型生成的梅尔频谱图，它合成高保真语音的4.22 MOS。这些结果，实现没有外部域的信息，突出了所提出的模型作为一个通用的声码器的潜力。
2021-03-04 cs.CL cs.LG cs.SD
CycleGAN-VC3: Examining and Improving CycleGAN-VCs for Mel-spectrogram Conversion
NTT Communication Science Laboratories, NTT Corporation（NTT（日本电报电话公司）通信科学实验室）
非并行语音转换（VC）是一种在不使用并行语料库的情况下学习源语音和目标语音之间的映射的技术。最近，周期一致性对抗网络（CycleGAN）-VC和CycleGAN-VC 2在这个问题上表现出了很好的结果，并被广泛用作基准方法。然而，由于CycleGAN-VC/VC 2用于梅尔频谱图转换的有效性的模糊性，它们通常用于梅尔倒频谱转换，即使当比较方法使用梅尔频谱图作为转换目标时。为了解决这个问题，我们研究了CycleGAN-VC/VC 2对mel光谱图转换的适用性。通过最初的实验，我们发现它们的直接应用损害了在转换过程中应该保留的时频结构。为了解决这个问题，我们提出了CycleGAN-VC 3，这是CycleGAN-VC 2的改进，它结合了时频自适应归一化（TFAN）。利用TFAN，我们可以调整转换后的特征的尺度和偏差，同时反映源梅尔谱图的时频结构。我们在性别间和性别内非平行VC上评估了CycleGAN-VC 3。自然度和相似性的主观评价表明，对于每个VC对，CycleGAN-VC 3优于或竞争于两种类型的CycleGAN-VC 2，其中一种应用于mel倒谱，另一种应用于mel谱图。音频样本可在http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/cyclegan-vc3/index.html上获得。
2020-10-22 cs.LG cs.SD eess.AS
DualSpecSE: A Dual-Path Speech Enhancement Network Integrating Mel and Complex Spectrograms
Northwestern Polytechnical University（西北工业大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出DualSpecSE双路径语音增强网络，联合建模梅尔谱与复数谱，通过交互与融合模块提升ASR性能及语音重建质量。
2026-10-09 cs.SD eess.AS
FastSpeech: Fast, Robust and Controllable Text to Speech
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft STC Asia（微软亚洲互联网工程院）
基于神经网络的端到端文语转换（TTS）技术显著提高了合成语音的质量。突出的方法（例如，Tacotron 2）通常首先从文本生成梅尔频谱图，然后使用声码器（如WaveNet）从梅尔频谱图合成语音。与传统的拼接和统计参数方法相比，基于神经网络的端到端模型的推理速度慢，并且合成的语音通常不鲁棒（即，某些单词被跳过或重复）和缺乏可控性（语音速度或韵律控制）。在这项工作中，我们提出了一种新的前馈网络的基础上Transformer的并行生成梅尔频谱的TTS。具体而言，我们提取注意力对齐从编码器-解码器为基础的教师模型音素持续时间预测，这是由长度调节器扩展源音素序列，以匹配的目标梅尔频谱图序列的长度并行梅尔频谱图生成。在LJSpeech数据集上的实验表明，我们的并行模型在语音质量方面与自回归模型相匹配，几乎消除了特别困难情况下的单词跳过和重复问题，并且可以平滑地调整语音速度。最重要的是，与自回归Transformer TTS相比，我们的模型将梅尔频谱图生成速度提高了270倍，端到端语音合成速度提高了38倍。因此，我们称我们的模型为FastSpeech。
2019-11-20 cs.CL cs.LG cs.SD
AVATAR submission to the Ego4D AV Transcription Challenge
Google Research（谷歌研究院）
在这份报告中，我们描述了我们提交给Ego 4D视听（AV）语音转录挑战赛2022。我们的流水线基于AVATAR，AVATAR是AV-ASR的最先进的编码器-解码器模型，可执行频谱图和RGB图像的早期融合。我们描述了数据集，实验设置和消融。我们的最终方法在挑战测试集上实现了68.40的WER，超过基线43.7%，并赢得了挑战。
2022-11-18 cs.CV cs.MM cs.SD
Multi-Scale Spectrogram Modelling for Neural Text-to-Speech
Alexa AI
我们提出了一种新的多尺度谱图（MSS）建模方法来合成语音与改进的粗粒度和细粒度韵律。我们提出了一个通用的多尺度谱图预测机制，系统首先预测粗尺度梅尔谱图捕捉语音中的超音段信息，然后使用这些粗尺度梅尔谱图预测细尺度梅尔谱图捕捉细粒度韵律。我们提出了两个特定版本的MSS称为词级MSS和句子级MSS的尺度在我们的系统中的动机的语言单位的细节。词级MSS对词、音素和帧级谱图进行建模，而句子级MSS另外对句子级谱图进行建模。主观评价表明，词级MSS在两种声音上的表现在统计上显著优于基线。
2021-06-29 cs.LG cs.SD eess.AS
Mel-Spectrogram Inversion via Alternating Direction Method of Multipliers
Tokyo Metropolitan University（东京都立大学）；Kumamoto University（熊本大学）
针对现有梅尔频谱图反演联合估计方法迭代多、性能待提升的问题，提出基于ADMM的联合估计方法，利用变量条件独立性实现高效更新，在语音和拟音信号上验证了有效性。
2025-01-13 cs.SD eess.AS
A Mel Spectrogram Enhancement Paradigm Based on CWT in Speech Synthesis
International School Jinan University（暨南大学国际学院）
针对梅尔频谱因傅里叶变换损失细粒度信息导致突变信号下合成语音清晰度不足的问题，提出基于CWT的梅尔频谱增强范式，引入小波频谱后处理任务，在Tacotron2和Fastspeech2上分别实现MOS提升0.14和0.09，验证了范式通用性。
2024-07-09 cs.AI cs.SD eess.AS
Universal Adaptor: Converting Mel-Spectrograms Between Different Configurations for Speech Synthesis
National Taiwan University（国立台湾大学）
最新的语音合成系统由合成器和声码器组成。然而，现有的合成器和声码器只能匹配到用特定配置提取的声学特征。因此，我们不能将任意的合成器和声码器组合在一起形成一个完整的系统，更不用说应用于新开发的模型。在本文中，我们提出了通用适配器，它采取由源配置参数化的梅尔频谱图，并将其转换成由目标配置参数化的梅尔频谱图，只要我们在源和目标配置的饲料。实验结果表明，无论是在单说话人还是多说话人情况下，基于Universal Adaptor的语音合成质量都可以与基于真实Mel-声谱图的语音合成质量相媲美。此外，通用适配器可以应用于最近的TTS系统和语音转换系统，而不会降低质量。
2022-10-29 cs.SD eess.AS
A sinusoidal signal reconstruction method for the inversion of the mel-spectrogram
Technological University of Dublin（都柏林理工大学）
通过深度学习方法合成声音最近受到了广泛关注。用于声音合成的深度学习方法的一些问题涉及指定音频信号所需的数据量以及保留合成信号的长时间和短时间相干性的必要性。视觉时频表示，如对数梅尔频谱图已经得到普及。对数梅尔频谱图是音频的感知信息表示，其极大地压缩了描述声音所需的信息量。然而，由于这种压缩，这种表示不是直接可逆的。信号处理和机器学习技术之前都被应用于对数梅尔频谱图的反演，但是由于时间和频谱相干性的问题，它们都导致合成声音中的可听失真。在本文中，我们概述了正弦模型在音调乐器声音的对数梅尔频谱图反演中的应用，其表现优于最先进的深度学习方法。该方法可以稍后用作神经应用中从频谱到时间间隔的一般解码步骤。
2022-01-07 cs.SD eess.AS
Combining High-Level Features of Raw Audio Waves and Mel-Spectrograms for Audio Tagging
University of Konstanz（康斯坦茨大学）
在本文中，我们描述了我们对DCASE 2018音频挑战任务2的贡献。虽然利用机器学习方法的集成来进行分类任务以获得更好的预测性能已经变得无处不在，但是大多数集成方法组合预测而不是学习的特征。我们提出了一种单模型方法，该方法结合了从对数缩放的梅尔频谱图和原始音频数据中计算出的高级特征。这些特征分别由两个卷积神经网络学习，每个网络用于一种输入类型，然后由单个网络内的密集连接层组合。这种相对简单的方法加上数据增强，在Kaggle上的Freesound通用音频标记挑战赛中名列前2%。
2018-11-26 cs.LG cs.SD eess.AS
GlowVC: Mel-spectrogram space disentangling model for language-independent text-free voice conversion
Alexa AI（Alexa人工智能）
在本文中，我们提出了GlowVC：一个多语言多说话人流为基础的模型，语言无关的文本自由的语音转换。我们以Glow-TTS为基础，它提供了一种架构，可以在训练期间使用语言特征，而无需将其用于VC推理。我们考虑我们的模型的两个版本：GlowVC条件和GlowVC显式。GlowVC-条件化模型化具有说话者条件化流的梅尔频谱图的分布，并且将梅尔频谱图空间解缠结成内容和音高相关维度，而GlowVC-显式模型化具有无条件化流的显式分布，并且将所述空间解缠结成内容、音高和说话者相关维度。我们评估我们的模型的可懂度，扬声器的相似性和自然度内和跨语言转换在看到和看不见的语言。GlowVC模型在可懂度方面大大优于AutoVC基线，同时在语内VC中实现了同样高的说话人相似性，在跨语言设置中略差。此外，我们证明了GlowVC-显式在自然性方面优于GlowVC-条件和AutoVC。
2022-07-04 cs.CL cs.LG eess.AS
GELP: GAN-Excited Linear Prediction for Speech Synthesis from Mel-spectrogram
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
基于神经网络的文本到语音的最新进展已经在合成语音中达到人类水平的自然度。本序列到序列模型可以直接将文本映射到梅尔频谱图声学特征，这便于建模，但对声码化提出了额外的挑战（即，从声学特征产生波形）。高质量的合成可以通过神经声码器实现，例如WaveNet，但是这种自回归模型会受到缓慢的顺序推理的影响。同时，它们现有的并行推理对应物难以训练，并且需要越来越大的模型尺寸。在本文中，我们提出了一种替代的训练策略的并行神经声码器利用生成对抗网络，并集成了线性预测合成滤波器的模型。实验结果表明，该模型在推理速度上有显著提高，同时在复制合成质量上优于WaveNet。
2019-06-26 cs.LG cs.SD eess.AS
cMelGAN: An Efficient Conditional Generative Model Based on Mel Spectrograms
University of Toronto（多伦多大学）
在机器学习领域分析音乐是一个非常困难的问题，需要考虑许多限制。音频数据的性质，其非常高的维度和广泛变化的结构尺度，是它如此难以建模的主要原因之一。机器学习在音乐中有许多应用，例如对一段音乐的情绪进行分类，有条件的音乐生成或流行预测。该项目的目标是开发一个基于Mel声谱图的音乐体裁条件生成模型，并通过将其与使用基于音符表示的现有生成音乐模型进行比较来评估其性能。我们最初实现了一个自回归的、基于RNN的生成模型，称为MelNet。然而，由于其速度慢且输出保真度低，我们决定创建一种新的全卷积架构，该架构基于Mel GAN [4]和条件GAN架构，称为cMel GAN。
2022-05-15 cs.AI cs.LG cs.SD
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum（博洛尼亚大学）
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而，对于现实世界的应用程序，并行数据很少可用。我们提出了MelGAN-VC，一种语音转换方法，依赖于非并行语音数据，能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图，然后使用生成对抗网络（GAN）架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息，而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集，以及与嘈杂的现实世界的语音例子的集合。最后，我们采用相同的方法来执行音乐风格的转移，翻译任意长的音乐样本从一个流派到另一个，并表明我们的框架是灵活的，可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
Mel-Refine: A Plug-and-Play Approach to Refine Mel-Spectrogram in Audio Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯AI实验室）
针对主流文本转音频模型生成音频细节不足的问题，提出即插即用的Mel-Refine方法，通过推理时调整U-Net高低频分量权重增强梅尔频谱细节，无需额外训练，可将Tango2性能提升25%。
2024-12-11 cs.MM cs.SD eess.AS
KaraSinger: Score-Free Singing Voice Synthesis with VQ-VAE using Mel-spectrograms
Earth Species Project（地球物种项目）
在本文中，我们提出了一种新的神经网络模型称为KaraSinger为一个较少研究的歌唱声音合成（SVS）任务命名为无分数SVS，其中的韵律和旋律是由机器自发决定。KaraSinger包括一个矢量量化变分自动编码器（VQ-VAE），它将歌唱音频的Mel频谱图压缩为离散代码序列，以及一个语言模型（LM），它学习预测相应歌词的离散代码。对于VQ-VAE部分，我们采用了连接主义时间分类（CTC）损失，以鼓励离散代码携带音素相关的信息。对于LM部分，我们使用位置敏感的注意力来学习输入音素序列和输出离散代码之间的鲁棒对齐。我们保持了VQ-VAE和LM的轻量级架构，以实现快速训练和推理速度。我们验证了建议的设计选择的有效性，使用多个业余歌手演唱的550首英文流行歌曲的专有集合。听力测试结果表明，卡拉歌手在可懂度、音乐性和整体质量方面都取得了很高的成绩。
2021-10-08 cs.LG cs.SD eess.AS
Clip-TTS: Contrastive Text-content and Mel-spectrogram, A High-Quality Text-to-Speech Method based on Contextual Semantic Understanding
本文提出Clip-TTS方法，利用Clip架构在文本编码阶段建立文本与真实梅尔频谱图的语义联系，并采用Transformer结构实现快速推理，在LJSpeech和Baker数据集上取得最先进的MOS分数。
2025-03-08 cs.AI cs.CL cs.HC
Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms
Seoul National University（首尔国立大学）；Michigan State University（密歇根州立大学）；Rutgers University（罗格斯大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出Stylus框架，利用预训练图像扩散模型实现无训练的音乐风格迁移，通过引入风格键值和相位保持重建策略提升音质，实验表明其在内容保留和感知质量上优于现有方法。
2026-05-13 cs.AI cs.LG cs.SD
Signal Reconstruction from Mel-spectrogram Based on Bi-level Consistency of Full-band Magnitude and Phase
Tokyo Metropolitan University（东京都立大学）
针对从梅尔频谱图等低维频谱表示重建时域信号的问题，提出一种基于优化、利用全带幅度与相位双层关系联合重建的方法，经多类音频信号实验验证有效。
2023-07-23 cs.SD eess.AS eess.SP
Pseudo-Cepstrum: Pitch Modification for Mel-Based Neural Vocoders
本文提出了一种基于倒谱的音高修改方法，可直接修改梅尔频谱图特征空间以实现音高调整，适用于各种基于梅尔的神经语音合成器。
2025-12-18 cs.LG cs.SD eess.AS
Multitaper mel-spectrograms for keyword spotting
SiDi
本文研究将多锥形技术用于关键词识别的特征提取，通过在不同场景、参数、数据集和嵌入式神经网络上的实验，验证了改进特征的有效性。
2024-07-05 cs.LG eess.AS
Music Genre Classification: A Comparative Analysis of CNN and XGBoost Approaches with Mel-frequency cepstral coefficients and Mel Spectrograms
University of California, Davis（加利福尼亚大学戴维斯分校）
本研究比较了CNN、VGG16和XGBoost在30秒Mel频谱图与3秒MFCCs特征下的音乐流派分类性能，发现MFCC XGBoost模型表现最佳，且数据分割能显著提升CNN性能。
2024-01-09 cs.AI cs.SD eess.AS
UnivNet: A Neural Vocoder with Multi-Resolution Spectrogram Discriminators for High-Fidelity Waveform Generation
Kakao Enterprise Corporation（Kakao Enterprise 公司）；Kakao Corporation（Kakao 公司）
大多数神经声码器采用带限梅尔频谱图来生成波形。如果使用全频带频谱特征作为输入，则可以向声码器提供尽可能多的声学信息。然而，在采用全频带梅尔频谱图的一些模型中，作为生成非尖锐频谱图的一部分，发生过平滑问题。为了解决这个问题，我们提出了UnivNet，一个神经声码器，实时合成高保真波形。受语音活动检测领域工作的启发，我们添加了一个多分辨率频谱图，它采用使用各种参数集计算的多个线性频谱图幅度。使用全波段梅尔频谱图作为输入，我们希望通过添加一个使用多个分辨率的频谱图作为输入的数字滤波器来生成高分辨率信号。在对包含数百名说话者信息的数据集进行评估时，UnivNet在竞争模型中获得了最佳的客观和主观结果，包括可见和不可见的说话者。这些结果，包括文本到语音的最佳主观评分，证明了快速适应新说话者的潜力，而无需从头开始训练。
2021-06-15 cs.SD eess.AS
Reducing over-smoothness in speech synthesis using Generative Adversarial Networks
Novosibirsk State University（新西伯利亚国立大学）
语音合成在许多实际应用中有着广泛的应用。近年来，语音合成技术发展迅速。然而，合成语音不自然的原因之一是它经常具有过度平滑。为了提高合成语音的自然度，首先提取语音的mel-声谱图并将其转换为真实图像，然后将过平滑的mel-声谱图图像作为输入，使用图像到图像翻译生成对抗网络（GANs）框架生成更真实的mel-声谱图。实验结果表明，该方法大大降低了合成语音的过平滑度，使合成语音的梅尔谱图更接近真实语音。
2018-12-17 cs.SD eess.AS
Deep Learning Based EDM Subgenre Classification using Mel-Spectrogram and Tempogram Features
Academia Sinica（中央研究院）
随着音乐技术的发展，近年来出现了大量的电子舞曲风格或“子流派”。虽然区分EDM和非EDM的分类任务经常在音乐流派分类的背景下进行研究，但在更具挑战性的EDM子流派分类上几乎没有做过工作。最先进的模型基于极度随机化的树，可以通过深度学习方法进行改进。在本文中，我们将最先进的音乐自动标记模型“short-chunkCNN+Resnet”扩展到EDM子流派分类，并添加了两个中级节奏相关特征表示，称为傅立叶节奏图和自相关节奏图。并且，我们探索了两种融合策略，早期融合和晚期融合，以聚合两种类型的温度图。我们使用包含30个不同EDM子流派的75，000首歌曲的大型数据集来评估所提出的模型，并表明采用深度学习模型和节奏特征确实会导致更高的分类精度。
2021-10-17 cs.LG cs.SD eess.AS
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms
Technological University of Dublin（都柏林理工大学）
在音频处理应用中，基于高级表示的富有表现力的声音的生成表现出很高的需求。这些表征可以用来操纵音色，影响创造性乐器音符的合成。现代算法，如神经网络，激发了基于乐器音色压缩的富有表现力的合成器的发展。无监督深度学习方法可以通过训练网络学习从波形或频谱图到低维表示的映射来实现音频压缩。本研究探讨了使用堆叠卷积自动编码器的压缩的时间-频率的音频表示的各种仪器为一个单一的音高。超参数和正则化技术的进一步探索证明，以提高初始设计的性能。在无监督的方式下，网络能够基于潜在表示重建单声道和谐波声音。此外，我们引入了一个评价指标来衡量原始和重建样本之间的相似性。评估用于声音合成的深度生成模型是一项具有挑战性的任务。我们的方法是基于所生成的频率的准确性，因为它为谐波声音的感知提供了重要的度量。这项工作有望加速未来的实验音频压缩使用神经自动编码器。
2023-01-18 cs.LG cs.SD eess.AS
SSM2Mel: State Space Model to Reconstruct Mel Spectrogram from the EEG
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Alibaba group（阿里巴巴集团）
本文提出SSM2Mel模型，利用状态空间模型和Mamba模块从EEG信号重建连续语音梅尔频谱图，在SparrKULee数据集上取得0.069的皮尔逊相关系数，较基线提升38%。
2025-01-03 cs.SD eess.AS eess.SP
A Neural Denoising Vocoder for Clean Waveform Generation from Noisy Mel-Spectrogram based on Amplitude and Phase Predictions
本文提出一种神经降噪声码器，通过频谱预测器和增强模块从含噪梅尔频谱中恢复干净幅度与相位谱，并经iSTFT重建波形，在VoiceBank+DEMAND上取得最先进性能。
2024-11-19 eess.AS eess.SP
