SSM2Mel: State Space Model to Reconstruct Mel Spectrogram from the EEG
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Alibaba group（阿里巴巴集团）
本文提出SSM2Mel模型，利用状态空间模型和Mamba模块从EEG信号重建连续语音梅尔频谱图，在SparrKULee数据集上取得0.069的皮尔逊相关系数，较基线提升38%。
2025-01-03 cs.SD eess.AS eess.SP
iSTFTNet: Fast and Lightweight Mel-Spectrogram Vocoder Incorporating Inverse Short-Time Fourier Transform
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社通信科学实验室）
在最近的文本到语音合成和语音转换系统中，梅尔频谱图通常被用作中间表示，并且梅尔频谱图声码器的必要性正在增加。梅尔频谱声码器必须解决三个逆问题：恢复原始尺度幅度频谱，相位重建和频率到时间转换。当直接计算原始波形时，典型的卷积梅尔频谱图声码器使用包括时间上采样层的卷积神经网络来联合地和隐式地解决这些问题。这种方法允许在波形合成期间跳过冗余过程（例如，高维原始尺度谱图的直接重建）。相比之下，该方法解决了黑盒中的所有问题，并且不能有效地利用梅尔谱图中存在的时频结构。因此，我们提出了iSTFTNet，它取代了一些输出侧层的梅尔频谱声码器与逆短时傅立叶变换（iSTFT）后，充分降低了频率维度使用上采样层，降低了黑盒建模的计算成本，并避免冗余估计的高维频谱。在我们的实验中，我们将我们的想法应用于三个HiFi-GAN变体，并使模型更快，更轻量级，具有合理的语音质量。音频样本可在https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/istftnet/上获得。
2022-03-04 cs.LG cs.SD eess.AS
Mel-Refine: A Plug-and-Play Approach to Refine Mel-Spectrogram in Audio Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯AI实验室）
针对主流文本转音频模型生成音频细节不足的问题，提出即插即用的Mel-Refine方法，通过推理时调整U-Net高低频分量权重增强梅尔频谱细节，无需额外训练，可将Tango2性能提升25%。
2024-12-11 cs.MM cs.SD eess.AS
CleanMel: Mel-Spectrogram Enhancement for Improving Both Speech Quality and ASR
Zhejiang University（浙江大学）；Westlake University（西湖大学）；School of Engineering（工程学院）；Institute of Advanced Technology（先进技术研究院）；Westlake Institute for Advanced Study（西湖研究学院）
本研究提出基于梅尔频域交错跨带与窄带处理的CleanMel网络，通过梅尔频谱图去噪去混响，同时提升语音质量与ASR性能，在多语种数据集上验证了显著效果且代码已开源。
2025-07-30 cs.AI cs.SD eess.AS
Generating Diverse Vocal Bursts with StyleGAN2 and MEL-Spectrograms
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
我们描述了我们的方法生成的情感发声爆发任务（ExVo生成）的ICML表达发声比赛。我们在音频样本的预处理版本的mel频谱图上训练条件StyleGAN 2架构。然后将模型生成的梅尔频谱图反转回音频域。因此，从定性和定量的角度来看，我们生成的样本大大改善了比赛提供的基线。更准确地说，即使对于我们表现最差的情绪（敬畏），我们也获得了1.76的FAD，而基线为4.81（作为参考，敬畏的训练/验证集之间的FAD为0.776）。
2022-06-25 cs.LG cs.SD eess.AS
Real time spectrogram inversion on mobile phone
Google Research（谷歌研究院）
本文提出流式 Griffin Lim 和流式 MelGAN 两种手机端实时频谱图反演方法，发现少量前瞻可显著提升 MelGAN 感知质量，并系统比较了二者在质量、延迟、内存和噪声敏感性上的权衡，指出流式 GL 在含噪且无梅尔变换条件下可与 MelGAN 相媲美且更快更省内存。
2023-05-24 cs.SD eess.AS
CycleGAN-VC3: Examining and Improving CycleGAN-VCs for Mel-spectrogram Conversion
NTT Communication Science Laboratories, NTT Corporation（NTT（日本电报电话公司）通信科学实验室）
非并行语音转换（VC）是一种在不使用并行语料库的情况下学习源语音和目标语音之间的映射的技术。最近，周期一致性对抗网络（CycleGAN）-VC和CycleGAN-VC 2在这个问题上表现出了很好的结果，并被广泛用作基准方法。然而，由于CycleGAN-VC/VC 2用于梅尔频谱图转换的有效性的模糊性，它们通常用于梅尔倒频谱转换，即使当比较方法使用梅尔频谱图作为转换目标时。为了解决这个问题，我们研究了CycleGAN-VC/VC 2对mel光谱图转换的适用性。通过最初的实验，我们发现它们的直接应用损害了在转换过程中应该保留的时频结构。为了解决这个问题，我们提出了CycleGAN-VC 3，这是CycleGAN-VC 2的改进，它结合了时频自适应归一化（TFAN）。利用TFAN，我们可以调整转换后的特征的尺度和偏差，同时反映源梅尔谱图的时频结构。我们在性别间和性别内非平行VC上评估了CycleGAN-VC 3。自然度和相似性的主观评价表明，对于每个VC对，CycleGAN-VC 3优于或竞争于两种类型的CycleGAN-VC 2，其中一种应用于mel倒谱，另一种应用于mel谱图。音频样本可在http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/cyclegan-vc3/index.html上获得。
2020-10-22 cs.LG cs.SD eess.AS
Mel-spectrogram features for acoustic vehicle detection and speed estimation
Faculty of Electrical Engineering, University of Montenegro（黑山大学电气工程学院）
本文讨论了声学车辆检测和速度估计从单传感器测量。我们预测车辆的通过时刻通过最小化剪切车辆到麦克风的距离，这是预测从梅尔频谱的输入音频，在监督学习的方法。此外，基于梅尔频谱图的特征直接用于车辆速度估计，而不引入任何中间特征。实验结果表明，所提出的特征可以用于准确的车辆检测和速度估计，平均误差为7.87 km/h。如果我们制定速度估计作为一个分类问题，与10公里/小时的离散化间隔，所提出的方法达到正确的类预测和91.0%的平均精度为48.7%时，一个类的偏移是允许的。所提出的方法进行评估的数据集上的304个城市环境的现场记录的10种不同的车辆。
2022-04-08 cs.LG cs.SD eess.AS
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA（英伟达）
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现，发现其性能与梅尔频谱图接近且对窄带数据更鲁棒，并可在20倍压缩下保持较低性能损失，同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
Multi-Scale Spectrogram Modelling for Neural Text-to-Speech
Alexa AI
我们提出了一种新的多尺度谱图（MSS）建模方法来合成语音与改进的粗粒度和细粒度韵律。我们提出了一个通用的多尺度谱图预测机制，系统首先预测粗尺度梅尔谱图捕捉语音中的超音段信息，然后使用这些粗尺度梅尔谱图预测细尺度梅尔谱图捕捉细粒度韵律。我们提出了两个特定版本的MSS称为词级MSS和句子级MSS的尺度在我们的系统中的动机的语言单位的细节。词级MSS对词、音素和帧级谱图进行建模，而句子级MSS另外对句子级谱图进行建模。主观评价表明，词级MSS在两种声音上的表现在统计上显著优于基线。
2021-06-29 cs.LG cs.SD eess.AS
Consistent ICA: Determined BSS meets spectrogram consistency
Waseda University（早稻田大学）
在确定的情况下（麦克风的数量等于源的数量）或确定的BSS中的多通道音频盲源分离（BSS）通过时频域中的多通道线性滤波来执行以处理卷积混合过程。通常，滤波器独立地处理每个频率，这导致众所周知的置换问题，即，如何对准频率方向的滤波器，使得每个分离的分量被正确地分配给相应的源的问题。本文证明了时频域表示的谱图一致性的一般性质可以作为求解置换问题的一个辅助。
2020-05-20 cs.SD eess.AS eess.SP
Text-only domain adaptation for end-to-end ASR using integrated text-to-mel-spectrogram generator
NVIDIA（英伟达）；University of London（伦敦大学）；ITMO University（ITMO大学）；Higher School of Economics（高等经济学院）
本文提出一种端到端ASR系统，通过集成非自回归多说话人文本到梅尔频谱生成器和GAN增强器，利用纯文本数据实现领域自适应，在准确率、自适应质量和训练速度上均优于仅用转写语音训练及级联TTS方案。
2023-08-16 cs.CL cs.LG cs.SD
UnivNet: A Neural Vocoder with Multi-Resolution Spectrogram Discriminators for High-Fidelity Waveform Generation
Kakao Enterprise Corporation（Kakao Enterprise 公司）；Kakao Corporation（Kakao 公司）
大多数神经声码器采用带限梅尔频谱图来生成波形。如果使用全频带频谱特征作为输入，则可以向声码器提供尽可能多的声学信息。然而，在采用全频带梅尔频谱图的一些模型中，作为生成非尖锐频谱图的一部分，发生过平滑问题。为了解决这个问题，我们提出了UnivNet，一个神经声码器，实时合成高保真波形。受语音活动检测领域工作的启发，我们添加了一个多分辨率频谱图，它采用使用各种参数集计算的多个线性频谱图幅度。使用全波段梅尔频谱图作为输入，我们希望通过添加一个使用多个分辨率的频谱图作为输入的数字滤波器来生成高分辨率信号。在对包含数百名说话者信息的数据集进行评估时，UnivNet在竞争模型中获得了最佳的客观和主观结果，包括可见和不可见的说话者。这些结果，包括文本到语音的最佳主观评分，证明了快速适应新说话者的潜力，而无需从头开始训练。
2021-06-15 cs.SD eess.AS
Combining High-Level Features of Raw Audio Waves and Mel-Spectrograms for Audio Tagging
University of Konstanz（康斯坦茨大学）
在本文中，我们描述了我们对DCASE 2018音频挑战任务2的贡献。虽然利用机器学习方法的集成来进行分类任务以获得更好的预测性能已经变得无处不在，但是大多数集成方法组合预测而不是学习的特征。我们提出了一种单模型方法，该方法结合了从对数缩放的梅尔频谱图和原始音频数据中计算出的高级特征。这些特征分别由两个卷积神经网络学习，每个网络用于一种输入类型，然后由单个网络内的密集连接层组合。这种相对简单的方法加上数据增强，在Kaggle上的Freesound通用音频标记挑战赛中名列前2%。
2018-11-26 cs.LG cs.SD eess.AS
Reducing over-smoothness in speech synthesis using Generative Adversarial Networks
Novosibirsk State University（新西伯利亚国立大学）
语音合成在许多实际应用中有着广泛的应用。近年来，语音合成技术发展迅速。然而，合成语音不自然的原因之一是它经常具有过度平滑。为了提高合成语音的自然度，首先提取语音的mel-声谱图并将其转换为真实图像，然后将过平滑的mel-声谱图图像作为输入，使用图像到图像翻译生成对抗网络（GANs）框架生成更真实的mel-声谱图。实验结果表明，该方法大大降低了合成语音的过平滑度，使合成语音的梅尔谱图更接近真实语音。
2018-12-17 cs.SD eess.AS
cMelGAN: An Efficient Conditional Generative Model Based on Mel Spectrograms
University of Toronto（多伦多大学）
在机器学习领域分析音乐是一个非常困难的问题，需要考虑许多限制。音频数据的性质，其非常高的维度和广泛变化的结构尺度，是它如此难以建模的主要原因之一。机器学习在音乐中有许多应用，例如对一段音乐的情绪进行分类，有条件的音乐生成或流行预测。该项目的目标是开发一个基于Mel声谱图的音乐体裁条件生成模型，并通过将其与使用基于音符表示的现有生成音乐模型进行比较来评估其性能。我们最初实现了一个自回归的、基于RNN的生成模型，称为MelNet。然而，由于其速度慢且输出保真度低，我们决定创建一种新的全卷积架构，该架构基于Mel GAN [4]和条件GAN架构，称为cMel GAN。
2022-05-15 cs.AI cs.LG cs.SD
Music Genre Classification: A Comparative Analysis of CNN and XGBoost Approaches with Mel-frequency cepstral coefficients and Mel Spectrograms
University of California, Davis（加利福尼亚大学戴维斯分校）
本研究比较了CNN、VGG16和XGBoost在30秒Mel频谱图与3秒MFCCs特征下的音乐流派分类性能，发现MFCC XGBoost模型表现最佳，且数据分割能显著提升CNN性能。
2024-01-09 cs.AI cs.SD eess.AS
Mel-spectrogram augmentation for sequence to sequence voice conversion
Neosapience（Neosapience公司）；Netmarble（网石游戏）；KT Corporation（KT公司）；Korea University（高丽大学）
为了训练序列到序列语音转换模型，我们需要处理关于由相同话语组成的语音对的数量的数据不足的问题。本研究从实验上研究了Mel声谱图增强对从头开始训练序列到序列语音转换（VC）模型的影响。对于Mel谱图增强，我们采用了SpecAugment中提出的策略。此外，我们还提出了新的政策（即，频率扭曲、响度和时间长度控制）以获得更多的数据变化。此外，为了在不训练VC模型的情况下找到合适的增强策略超参数，提出了超参数搜索策略和降低实验代价的新度量--变形/劣化比。我们比较了这些梅尔谱图增强方法的效果基于不同大小的训练集和增强策略。在实验结果中，基于时间轴扭曲的策略（即，时间长度控制和时间扭曲。比其他政策表现更好。这些结果表明，使用梅尔谱图增强更有利于训练VC模型。
2020-06-15 cs.LG cs.SD stat.ML
Random Projections of Mel-Spectrograms as Low-Level Features for Automatic Music Genre Classification
Federal University of Technology – Paraná（巴拉那联邦理工大学）；University of Campinas（坎皮纳斯大学）
在这项工作中，我们分析的随机投影梅尔声谱图作为低级别的功能，音乐流派分类。将该方法与手工特征、使用自动编码器学习的特征以及从迁移学习设置获得的特征进行比较。在五个不同的众所周知的公开数据集中进行的测试表明，随机投影导致的结果与学习的特征相当，并且在浅层学习场景中优于通过迁移学习获得的特征。随机投影不需要使用广泛的专业知识，同时，与其他基于投影的低级特征相比，需要更少的计算能力进行训练。因此，他们可以是一个可行的选择，用于浅层学习的基于内容的音乐流派分类。
2019-11-12 cs.IR cs.LG cs.SD
GELP: GAN-Excited Linear Prediction for Speech Synthesis from Mel-spectrogram
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）
基于神经网络的文本到语音的最新进展已经在合成语音中达到人类水平的自然度。本序列到序列模型可以直接将文本映射到梅尔频谱图声学特征，这便于建模，但对声码化提出了额外的挑战（即，从声学特征产生波形）。高质量的合成可以通过神经声码器实现，例如WaveNet，但是这种自回归模型会受到缓慢的顺序推理的影响。同时，它们现有的并行推理对应物难以训练，并且需要越来越大的模型尺寸。在本文中，我们提出了一种替代的训练策略的并行神经声码器利用生成对抗网络，并集成了线性预测合成滤波器的模型。实验结果表明，该模型在推理速度上有显著提高，同时在复制合成质量上优于WaveNet。
2019-06-26 cs.LG cs.SD eess.AS
SpectNet : End-to-End Audio Signal Classification Using Learnable Spectrograms
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
从音频信号中进行模式识别是一个活跃的研究课题，包括音频标记、声学场景分类、音乐分类和其他领域。频谱图和梅尔倒谱系数（MFCC）是音频信号分析和分类中最常用的特征之一。最近，深度卷积神经网络（CNN）已成功用于使用基于频谱图的2D特征的音频分类问题。在本文中，我们提出了SpectNet，这是一个集成的前端层，可以在CNN架构中提取频谱图特征，可用于音频模式识别任务。前端层利用可学习的gammatone滤波器，这些滤波器使用梅尔尺度滤波器进行初始化。所提出的层输出2D频谱图图像，其可以被馈送到2D CNN中用于分类。整个网络的参数，包括前端滤波器组，可以通过反向传播进行更新。该训练方案允许根据目标音频数据集微调频谱图图像特征。所提出的方法进行评估，在两个不同的音频信号分类任务：心音异常检测和声学场景分类。与经典的谱图图像特征相比，该方法在心音分类任务中的MACC提高了1.02%，在声学场景分类任务中的准确率提高了2.11%.我们实验的源代码可以在\url{https://github.com/mHealthBuet/SpectNet}上找到
2022-11-17 cs.SD eess.AS eess.SP
MelHuBERT: A simplified HuBERT on Mel spectrograms
National Taiwan University（台湾大学）；University of Edinburgh（爱丁堡大学）
本文提出MelHuBERT，通过改进损失函数、输入表示和多阶段训练简化HuBERT，在音素识别、说话人识别和语音识别上性能优于HuBERT，同时节省31.2%预训练时间。
2024-08-29 cs.CL cs.LG cs.SD
KaraSinger: Score-Free Singing Voice Synthesis with VQ-VAE using Mel-spectrograms
Earth Species Project（地球物种项目）
在本文中，我们提出了一种新的神经网络模型称为KaraSinger为一个较少研究的歌唱声音合成（SVS）任务命名为无分数SVS，其中的韵律和旋律是由机器自发决定。KaraSinger包括一个矢量量化变分自动编码器（VQ-VAE），它将歌唱音频的Mel频谱图压缩为离散代码序列，以及一个语言模型（LM），它学习预测相应歌词的离散代码。对于VQ-VAE部分，我们采用了连接主义时间分类（CTC）损失，以鼓励离散代码携带音素相关的信息。对于LM部分，我们使用位置敏感的注意力来学习输入音素序列和输出离散代码之间的鲁棒对齐。我们保持了VQ-VAE和LM的轻量级架构，以实现快速训练和推理速度。我们验证了建议的设计选择的有效性，使用多个业余歌手演唱的550首英文流行歌曲的专有集合。听力测试结果表明，卡拉歌手在可懂度、音乐性和整体质量方面都取得了很高的成绩。
2021-10-08 cs.LG cs.SD eess.AS
Radically Old Way of Computing Spectra: Applications in End-to-End ASR
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种使用频域线性预测（FDLP）来计算频谱图的技术，该技术使用全极点模型来拟合不同频率子带中语音的平方希尔伯特包络。一个完整的语音话语的频谱图是通过连续的全极点模型响应的叠加计算的。1.5秒的长上下文窗口使我们能够捕获频谱图中语音的低频时间调制。对于端到端的自动语音识别任务，FDLP频谱图与用于干净读取语音训练和测试数据的标准mel频谱图特征表现相当。对于具有训练测试域失配或混响的更真实的语音数据，FDLP谱图分别显示出相对于mel谱图的25%和22%的相对WER改进。
2021-04-02 cs.SD eess.AS
Repurposing Image Diffusion Models for Training-Free Music Style Transfer on Mel-spectrograms
Seoul National University（首尔国立大学）；Michigan State University（密歇根州立大学）；Rutgers University（罗格斯大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出Stylus框架，利用预训练图像扩散模型实现无训练的音乐风格迁移，通过引入风格键值和相位保持重建策略提升音质，实验表明其在内容保留和感知质量上优于现有方法。
2026-05-13 cs.AI cs.LG cs.SD
ItôTTS and ItôWave: Linear Stochastic Differential Equation Is All You Need For Audio Generation
Yangzhou University（扬州大学）；Fujitsu R&D Center（富士通研发中心）
在本文中，我们提出了统一的语音合成的两个方面，即文本到语音（TTS）和声码器，到一个框架的基础上对正向和反向时间线性随机微分方程（DTS）。这一对的解是两个随机过程，其中一个将我们想要生成的梅尔谱图（或波）的分布变成一个简单易处理的分布。另一个是将这个简单易处理的信号转换成目标梅尔频谱图（或波）的生成过程。生成mel谱图的模型称为ItôTTS，生成波的模型称为ItôWave。ItôTTS和ItôWave使用Wiener过程作为驱动器，在原始文本或mel声谱图的条件输入下，逐渐从噪声信号中减去多余的信号，以分别生成真实对应的有意义的mel声谱图和音频。实验结果表明，ItôTTS和ItôWave的平均意见得分（MOS）可以超过目前最先进的方法，分别达到3.925 $\pm$ 0.160和4.35 $\pm$ 0.115。生成的音频样本可在https://wushoule.github.io/ItoAudio/上获得。所有作者都对这项工作做出了同样的贡献。
2022-01-29 cs.SD eess.AS
Deep Learning for Speech Emotion Recognition: A CNN Approach Utilizing Mel Spectrograms
Kansas State University（堪萨斯州立大学）
本文提出一种基于梅尔频谱图和CNN的语音情感识别方法，通过将音频转为视觉格式提升分类精度，并集成图形界面支持实时预测，旨在推动深度学习在教育场景中的应用。
2025-03-25 cs.AI cs.SD
The impact of Audio input representations on neural network based music transcription
Singapore University of Technology and Design（新加坡科技设计大学）
本文深入分析了不同的输入表征方式对复调多乐器音乐转录的影响。我们使用我们自己的基于GPU的频谱图提取工具nnAudio来研究使用线性频谱图、对数频谱图、Mel频谱图和常数Q变换（CQT）的影响。我们的研究结果表明，在不改变神经网络设计（单层全连接）的情况下，通过选择适当的输入表示（具有STFT窗口长度为4，096和2，048频率箱的对数频谱图），可以获得转录准确度的$8.33$ %增加和错误的$9.39$ %减少。我们的实验还表明，梅尔声谱图是一个紧凑的表示，我们可以减少频率箱的数量只有512，同时仍然保持相对较高的音乐转录精度。
2020-07-21 cs.SD eess.AS
Universal MelGAN: A Robust Neural Vocoder for High-Fidelity Waveform Generation in Multiple Domains
Kakao Enterprise Corp.（Kakao 企业公司）；Kakao Corp.（Kakao公司）
我们提出了通用MelGAN，声码器，在多个域合成高保真语音。为了在使用数百个扬声器的数据集训练基于MelGAN的结构时保持音质，我们添加了多分辨率频谱图鉴别器来锐化生成波形的频谱分辨率。这使得模型能够通过减轻大覆盖区模型的高频段中的过平滑问题来生成多扬声器的真实波形。我们的结构通过在训练过程中区分波形和频谱图，在不降低推理速度的情况下生成接近地面实况数据的信号。该模型在大多数情况下使用地面实况mel-spectrogram作为输入，实现了最佳的平均意见得分（MOS）。特别是，它表现出优越的性能在看不见的领域方面的发言人，情感和语言。此外，在一个多说话人的文本到语音的场景中，使用由Transformer模型生成的梅尔频谱图，它合成高保真语音的4.22 MOS。这些结果，实现没有外部域的信息，突出了所提出的模型作为一个通用的声码器的潜力。
2021-03-04 cs.CL cs.LG cs.SD
LLM can Read Spectrogram: Encoder-free Speech-Language Modeling
Microsoft, USA（微软公司，美国）
提出 Mel-LLM，一种无需专用语音编码器、直接将梅尔频谱图补丁通过线性投影输入 LLM 的架构，在 ASR 和 TTS 任务上验证了其可行性，ASR 性能与有编码器方案相当，TTS 初步可行。
2026-09-22 cs.SD eess.AS
Clip-TTS: Contrastive Text-content and Mel-spectrogram, A High-Quality Text-to-Speech Method based on Contextual Semantic Understanding
本文提出Clip-TTS方法，利用Clip架构在文本编码阶段建立文本与真实梅尔频谱图的语义联系，并采用Transformer结构实现快速推理，在LJSpeech和Baker数据集上取得最先进的MOS分数。
2025-03-08 cs.AI cs.CL cs.HC
FastSpeech: Fast, Robust and Controllable Text to Speech
Zhejiang University（浙江大学）；Microsoft Research（微软研究院）；Microsoft STC Asia（微软亚洲互联网工程院）
基于神经网络的端到端文语转换（TTS）技术显著提高了合成语音的质量。突出的方法（例如，Tacotron 2）通常首先从文本生成梅尔频谱图，然后使用声码器（如WaveNet）从梅尔频谱图合成语音。与传统的拼接和统计参数方法相比，基于神经网络的端到端模型的推理速度慢，并且合成的语音通常不鲁棒（即，某些单词被跳过或重复）和缺乏可控性（语音速度或韵律控制）。在这项工作中，我们提出了一种新的前馈网络的基础上Transformer的并行生成梅尔频谱的TTS。具体而言，我们提取注意力对齐从编码器-解码器为基础的教师模型音素持续时间预测，这是由长度调节器扩展源音素序列，以匹配的目标梅尔频谱图序列的长度并行梅尔频谱图生成。在LJSpeech数据集上的实验表明，我们的并行模型在语音质量方面与自回归模型相匹配，几乎消除了特别困难情况下的单词跳过和重复问题，并且可以平滑地调整语音速度。最重要的是，与自回归Transformer TTS相比，我们的模型将梅尔频谱图生成速度提高了270倍，端到端语音合成速度提高了38倍。因此，我们称我们的模型为FastSpeech。
2019-11-20 cs.CL cs.LG cs.SD
Pseudo-Cepstrum: Pitch Modification for Mel-Based Neural Vocoders
本文提出了一种基于倒谱的音高修改方法，可直接修改梅尔频谱图特征空间以实现音高调整，适用于各种基于梅尔的神经语音合成器。
2025-12-18 cs.LG cs.SD eess.AS
DMF2Mel: A Dynamic Multiscale Fusion Network for EEG-Driven Mel Spectrogram Reconstruction
School of Computer Science and Technology（计算机科学与技术学院）；Anhui University（安徽大学）
本文提出动态多尺度融合网络DMF2Mel，通过结合动态对比特征聚合、层次注意力多尺度网络、SplineMap注意力与convMamba模块，有效解决了分钟级连续想象语音Mel频谱图重建中的长序列建模与信息保留问题，显著提升了已知与未知受试者的重建性能。
2025-08-11 cs.SD eess.AS
Deep Learning Based EDM Subgenre Classification using Mel-Spectrogram and Tempogram Features
Academia Sinica（中央研究院）
随着音乐技术的发展，近年来出现了大量的电子舞曲风格或“子流派”。虽然区分EDM和非EDM的分类任务经常在音乐流派分类的背景下进行研究，但在更具挑战性的EDM子流派分类上几乎没有做过工作。最先进的模型基于极度随机化的树，可以通过深度学习方法进行改进。在本文中，我们将最先进的音乐自动标记模型“short-chunkCNN+Resnet”扩展到EDM子流派分类，并添加了两个中级节奏相关特征表示，称为傅立叶节奏图和自相关节奏图。并且，我们探索了两种融合策略，早期融合和晚期融合，以聚合两种类型的温度图。我们使用包含30个不同EDM子流派的75，000首歌曲的大型数据集来评估所提出的模型，并表明采用深度学习模型和节奏特征确实会导致更高的分类精度。
2021-10-17 cs.LG cs.SD eess.AS
Intelligible Lip-to-Speech Synthesis with Speech Units
KAIST（韩国科学技术院）
本文提出一种唇语到语音合成框架，通过引入量化自监督语音单元作为额外预测目标，在无需文本标注的情况下增强内容监督，并结合多输入声码器提升波形生成质量，实现了从无声唇动视频合成可懂语音。
2023-05-31 cs.CV cs.SD eess.AS
Spectrogram Inversion for Audio Source Separation via Consistency, Mixing, and Magnitude Constraints
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Tampere University（坦佩雷大学）
本文提出了一个结合软惩罚或硬约束的通用频谱图反演框架，通过交替投影算法解决音频源分离问题，其新算法在语音增强任务中优于现有方法。
2023-06-30 cs.SD eess.AS
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms
Technological University of Dublin（都柏林理工大学）
在音频处理应用中，基于高级表示的富有表现力的声音的生成表现出很高的需求。这些表征可以用来操纵音色，影响创造性乐器音符的合成。现代算法，如神经网络，激发了基于乐器音色压缩的富有表现力的合成器的发展。无监督深度学习方法可以通过训练网络学习从波形或频谱图到低维表示的映射来实现音频压缩。本研究探讨了使用堆叠卷积自动编码器的压缩的时间-频率的音频表示的各种仪器为一个单一的音高。超参数和正则化技术的进一步探索证明，以提高初始设计的性能。在无监督的方式下，网络能够基于潜在表示重建单声道和谐波声音。此外，我们引入了一个评价指标来衡量原始和重建样本之间的相似性。评估用于声音合成的深度生成模型是一项具有挑战性的任务。我们的方法是基于所生成的频率的准确性，因为它为谐波声音的感知提供了重要的度量。这项工作有望加速未来的实验音频压缩使用神经自动编码器。
2023-01-18 cs.LG cs.SD eess.AS
Adversarial Multi-Task Learning for Disentangling Timbre and Pitch in Singing Voice Synthesis
NCSOFT Corp.（NCSoft公司）
本文提出对抗式多任务歌声合成模型，利用参数化声码器特征辅助解耦梅尔频谱图中的音色与音高，并以GAN提升多歌手音质，实验显示其优于单任务及传统参数声码器模型。
2024-06-13 cs.SD eess.AS
Graph Embedding with Mel-spectrograms for Underwater Acoustic Target Recognition
College of Meteorology and Oceanography, National University of Defense Technology（气象与海洋学院，国防科技大学）
本文提出UATR-GTransformer模型，通过结合Transformer与图神经网络，实现对水下声学目标的高效识别与特征提取。
2025-12-12 cs.AI cs.SD
Leveraged Mel spectrograms using Harmonic and Percussive Components in Speech Emotion Recognition
The University of Technology Sydney（悉尼科技大学）；Data Science Institute（数据科学研究所）
本研究首次探究梅尔频谱图的谐波与冲击分量在语音情感识别中的作用，提出含新型特征图生成算法、CNN特征提取器和MLP分类器的架构，结合数据增强构建混合特征图，在Berlin EMO-DB上取得92.79%的准确率，优于此前同类CNN-VGG16方法。
2023-12-18 cs.CV cs.HC cs.LG
DelightfulTTS 2: End-to-End Speech Synthesis with Adversarial Vector-Quantized Auto-Encoders
Microsoft Azure Speech（微软Azure语音）；Microsoft Research Asia（微软亚洲研究院）
当前的文本到语音（TTS）系统通常利用级联的声学模型和声码器流水线，其中梅尔频谱图作为中间表示，其受到两个限制：1）声学模型和声码器是单独训练的，而不是联合优化的，这导致级联的误差; 2）中间语音表示（例如，MEL频谱图）是预先设计的，并且丢失了相位信息，这是次优的。为了解决这些问题，本文开发了DelightfulTTS 2，这是一种新型端到端语音合成系统，具有自动学习的语音表示以及联合优化的声学模型和声码器。具体而言，1）我们提出了一种新的基于矢量量化自编码器与对抗训练（VQ-GAN）的编解码器网络，以提取中间帧级语音表示（而不是像梅尔频谱图这样的传统表示）并重建语音波形; 2）共同优化声学模型（基于DelightfulTTS）和声码器（VQ-GAN的解码器），在声学模型上具有辅助损失以预测中间语音表示。实验表明，DelightfulTTS 2的CMOS增益比DelightfulTTS提高了+0.14，进一步的方法分析进一步验证了所开发系统的有效性。
2022-07-11 cs.SD eess.AS eess.SP
Arabic Music Classification and Generation using Deep Learning
Egypt-Japan University of Science and Technology（埃及-日本科学技术大学）；Faculty of Engineering, Alexandria University（亚历山大大学工程学院）
本文提出结合CNN分类器与CNN自编码器的深度学习系统，按作曲家分类埃及音乐并从潜在空间生成相似音乐，分类准确率达81.4%。
2024-10-25 cs.AI cs.SD eess.AS
Mel Spectrogram Inversion with Stable Pitch
Apple（苹果公司）
声码器是能够将音频信号的低维频谱表示（通常为梅尔频谱图）变换为波形的模型。现代语音生成管道使用声码器作为其最终组件。最近为语音开发的声码器模型实现了高度的真实性，使得人们自然想知道它们在音乐信号上的表现如何。与语音相比，音乐声音纹理的异质性和结构性提出了新的挑战。在这项工作中，我们专注于一个特定的人工制品，一些声码器模型设计的语音往往表现出当应用于音乐：合成持续的音符时，音高的感知不稳定性。我们认为，这种人工制品的特征声音是由于缺乏水平相位相干性，这通常是使用时域目标空间与时移不变的模型，如卷积神经网络的结果。我们提出了一个新的声码器模型，是专门为音乐设计的。提高俯仰稳定性的关键是选择由幅度谱和相位梯度组成的平移不变目标空间。我们讨论了启发我们重新制定声码器任务的原因，概述了一个工作示例，并对音乐信号进行了评估。我们的方法的结果在60%和10%的改善重建持续的注意到和弦相对于现有的模型，使用一种新的谐波误差度量。
2022-08-26 cs.LG cs.MM cs.SD
Autovocoder: Fast Waveform Generation from a Learned Speech Representation using Differentiable Digital Signal Processing
University of Edinburgh（爱丁堡大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
提出autovocoder，利用机器学习获得语音表示，并通过可微DSP操作快速反演生成波形，速度优于Griffin-Lim和HiFi-GAN且质量相当。
2023-05-24 cs.SD eess.AS
Unsupervised Cross-Domain Speech-to-Speech Conversion with Time-Frequency Consistency
Sony Europe B.V.（索尼欧洲有限公司）
近年来，基于生成对抗网络（GAN）的模型已经成功地应用于无监督语音到语音转换，而幅度谱图丰富紧凑的谐波视图被认为是用音频数据训练这些模型的合适选择。为了重建语音信号，首先由神经网络生成幅度谱图，然后由Griffin-Lim算法等方法利用该幅度谱图来重建相位谱图。该过程存在生成的幅度谱图可能不一致的问题，这是找到相位所需的，使得完整的谱图具有听起来自然的语音波形。在这项工作中，我们通过提出一个在对抗训练过程中鼓励谱图一致性的条件来解决这个问题。我们展示了我们的方法上的任务翻译的声音的男性发言者的女性发言者，反之亦然。我们的实验结果表明，与TF一致性训练的模型提供了一个更好的语音到语音转换的感知质量。
2020-05-19 cs.LG cs.SD eess.AS
Neural Vocoder Feature Estimation for Dry Singing Voice Separation
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
歌唱声分离是将歌唱声从乐器声中分离出来的任务。以前的SVS研究主要采用了声谱图掩蔽方法，该方法在预测二进制掩码时需要很大的维数。此外，他们还专注于提取一个保留了混响效果的湿声的声干。这一结果可能会阻碍孤立的歌声的可重用性。本文通过预测混合音频中的干歌声的梅尔谱图作为神经声码器特征，并从神经声码器合成歌声波形来解决这个问题。我们尝试了两种分离方法。一种是在梅尔频谱图域中预测二进制掩码，另一种是直接预测梅尔频谱图。此外，我们增加了一个歌声检测器，以确定随着时间的推移更明确的歌声段。我们从音频、去混响、分离和整体质量方面测量了模型的性能。实验结果表明，该模型在客观和主观评价上均优于现有的歌唱声分离模型，但在音质评价上有较大的改进。
2022-11-29 cs.SD eess.AS
Real-Time Emergency Vehicle Detection using Mel Spectrograms and Regular Expressions
Tecnológico Nacional de México campus Chihuahua（墨西哥国立技术学院奇瓦瓦校区）
针对应急车辆警笛实时检测需求，提出基于DSP与信号符号化的Hi-Lo警笛识别方法，对比DNN分类器实验显示其准确率略低但更便携低耗，适合低成本ADAS实时警笛检测。
2024-06-23 cs.FL cs.SC cs.SD
Music Enhancement via Image Translation and Vocoding
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（奥多比研究院）
消费级音乐记录（例如由移动装置捕获的那些音乐记录）通常包含背景噪声、混响和麦克风诱发的EQ形式的失真。本文提出了一种深度学习方法，通过组合（i）用于在其梅尔频谱图表示中操纵音频的图像到图像转换模型和（ii）用于将合成生成的梅尔频谱图映射到感知上真实的波形的音乐声码模型来增强低质量的音乐录音。我们发现，这种方法的音乐增强优于基线，使用经典的方法梅尔频谱图反转和端到端的方法直接映射嘈杂的波形到干净的波形。此外，在评估所提出的方法与听力测试，我们分析了常见的音频增强评估指标的可靠性时，在音乐领域使用。
2022-04-28 cs.LG cs.SD eess.AS
Visual Transformers for Primates Classification and Covid Detection
LMU Munich（慕尼黑大学）
我们将视觉Transformer）应用于原始音频记录的梅尔声谱图表示，这是一种围绕注意力机制构建的深度机器学习模型。当添加基于mel的数据增强技术和样本加权时，我们在ComparE21的两个（PRS和CCS挑战）任务上实现了相当的性能，优于大多数单一模型基线。我们进一步介绍重叠的垂直修补和参数配置的影响进行评估。索引术语：音频分类，注意力，梅尔频谱图，不平衡数据集，计算语言学
2022-12-20 cs.CV cs.LG cs.SD
DSPGAN: a GAN-based universal vocoder for high-fidelity TTS by time-frequency domain supervision from DSP
Northwestern Polytechnical University（西北工业大学）；TAL Education Group（好未来集团）
本文提出DSPGAN，一种基于GAN的通用神经声码器，通过引入来自DSP模块的时频域监督和正弦激励时域监督，解决训练与推理阶段频谱不匹配问题，实现跨说话人、语言和风格的高保真语音合成。
2023-05-28 cs.SD eess.AS
ESTVocoder: An Excitation-Spectral-Transformed Neural Vocoder Conditioned on Mel Spectrogram
National Engineering Research Center of Speech and Language Information Processing（国家语言语音信息处理工程研究中心）；University of Science and Technology of China（中国科学技术大学）
本文提出基于源-滤波器理论的ESTVocoder，利用ConvNeXt v2将F0激励的幅度与相位谱转换为语音频谱并经ISTFT重建波形，实验表明其在语音质量上优于或媲美主流基线，且有效加速了模型收敛。
2024-11-18 cs.SD eess.AS
A Novel Audio Representation for Music Genre Identification in MIR
BITS Pilani WILP（印度博拉理工学院皮拉尼分校工作整合学习项目）；Eudoxia Research Centre（尤多西亚研究中心）；City of Dallas（达拉斯市政府）；CBRE Inc（世邦魏理仕公司）
本文针对MIR音乐流派识别任务，提出基于Jukebox深度向量量化的新型音频表示，并在2万曲目数据集上与梅尔频谱图对比，发现其效果并不优于梅尔频谱图。
2024-04-01 cs.IR cs.LG cs.SD
Speech Emotion Recognition with Dual-Sequence LSTM Architecture
Duke University（杜克大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）
语音情感识别（SER）已经成为下一代人机接口技术的关键组成部分。在这项工作中，我们提出了一个新的双层模型，预测情感的基础上MFCC功能和梅尔从原始音频信号产生的频谱图。每个语音被预处理成MFCC特征和两个不同时频分辨率的梅尔谱图。标准的LSTM处理MFCC特征，而一种新型的LSTM架构，称为双序列LSTM（DS-LSTM），同时处理两个mel谱图。输出随后被平均以产生话语的最终分类。我们提出的模型平均达到了72.7%的加权准确度和73.3%的未加权准确度-比当前最先进的单峰模型提高了6%-并且与利用文本信息以及音频信号的多模态模型相当。
2020-02-13 cs.LG cs.SD eess.AS
