Full-Frequency Temporal Patching and Structured Masking for Enhanced Audio Classification
Department of Computer Science, University of Alabama at Birmingham（计算机科学系，阿拉巴马大学伯明翰分校）
针对AST与AuM方形分块破坏频率结构且计算冗余的问题，提出FFTP全频时间分块及SpecMask增强，在两项音频基准上显著提升精度并降低最多83.26%计算量。
2025-08-28 cs.AI cs.SD
Deepfake Audio Detection Using Spectrogram-based Feature and Ensemble of Deep Learning Models
Austrian Institute of Technology（奥地利技术研究院）；HCM University of Technology（胡志明市理工大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本文提出融合多种频谱图特征、视觉迁移学习与音频预训练嵌入的深度学习集成系统，在ASVspoof 2019上实现0.03 EER。
2024-07-01 cs.AI cs.SD eess.AS
Multiscale Audio Spectrogram Transformer for Efficient Audio Classification
Amazon（亚马逊）
音频事件在时间和频率上都具有层次结构，可以组合在一起以构建更抽象的语义音频类。在这项工作中，我们开发了一个多尺度音频频谱图Transformer（MAST），采用分层表示学习有效的音频分类。具体来说，MAST采用一维（和二维）池运营商沿时间（和频域）在不同的阶段，并逐步减少令牌的数量和增加的特征维度。在没有外部训练数据的情况下，MAST在Kinetics-Sounds、Epic-Kitchen-100和VGGSound上的top-1准确率显著优于AST~ \cite{gong2021ast} 22.2%、4.4%和4.7%。在下载的AudioSet数据集上，有超过20%的音频丢失，MAST也实现了比AST稍好的准确性。此外，与AST相比，MAST在乘法累积（MAC）方面效率高5倍，参数数量减少42%。通过聚类度量和可视化，我们证明了所提出的MAST可以从音频信号中学习语义上更可分离的特征表示。
2023-03-19 cs.AI cs.CV cs.LG
SSAST: Self-Supervised Audio Spectrogram Transformer
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
最近，纯粹基于自我注意力的神经网络，如视觉Transformer（ViT），在各种视觉任务上表现优于卷积神经网络（CNN）构建的深度学习模型，从而将最初为语言处理开发的Transformers的成功扩展到视觉领域。最近的一项研究表明，类似的方法也可以应用于音频领域。具体而言，音频频谱图Transformer（AST）在各种音频分类基准上实现了最先进的结果。然而，与CNN相比，纯Transformer模型往往需要更多的训练数据，并且AST的成功依赖于监督预训练，这需要大量的标记数据和复杂的训练管道，从而限制了AST的实际使用。本文重点研究音频和语音分类，旨在通过利用未标记数据的自监督学习来减少AST对大量标记数据的需求。具体来说，我们建议使用AudioSet和Libripeech中的未标记音频，通过联合判别和生成掩蔽声谱图补丁建模（MSPM）来预训练AST模型。我们在音频和语音分类任务上评估我们的预训练模型，包括音频事件分类，关键字识别，情感识别和说话人辨识。所提出的自监督框架显着提高了AST在所有任务上的性能，平均提高了60.9%，导致与监督预训练AST相似甚至更好的结果。据我们所知，它是音频和语音领域的第一个基于块的自监督学习框架，也是AST的第一个自监督学习框架。
2022-02-10 cs.AI cs.SD eess.AS
Phase reconstruction of spectrograms with linear unwrapping: application to audio signal restoration
本文介绍了一种新的技术，用于重建相位的修改频谱的音频信号。从正弦曲线的混合物的分析中，我们获得在时间-频率（TF）域中的连续时间帧的相位之间的关系。为了获得类似的频率关系，特别是在发病帧内，我们研究了脉冲模型。瞬时频率和攻击时间估计本地包含类的非平稳信号，如vibratos。这些技术确保了分音的垂直相干性（在频率上）和水平相干性（在时间上）。该方法进行了测试，各种数据，并表现出更好的性能比传统的基于一致性的方法。我们还介绍了一个音频恢复框架，并观察到我们的技术优于传统方法。
2016-05-24 cs.SD
SpectNet : End-to-End Audio Signal Classification Using Learnable Spectrograms
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
从音频信号中进行模式识别是一个活跃的研究课题，包括音频标记、声学场景分类、音乐分类和其他领域。频谱图和梅尔倒谱系数（MFCC）是音频信号分析和分类中最常用的特征之一。最近，深度卷积神经网络（CNN）已成功用于使用基于频谱图的2D特征的音频分类问题。在本文中，我们提出了SpectNet，这是一个集成的前端层，可以在CNN架构中提取频谱图特征，可用于音频模式识别任务。前端层利用可学习的gammatone滤波器，这些滤波器使用梅尔尺度滤波器进行初始化。所提出的层输出2D频谱图图像，其可以被馈送到2D CNN中用于分类。整个网络的参数，包括前端滤波器组，可以通过反向传播进行更新。该训练方案允许根据目标音频数据集微调频谱图图像特征。所提出的方法进行评估，在两个不同的音频信号分类任务：心音异常检测和声学场景分类。与经典的谱图图像特征相比，该方法在心音分类任务中的MACC提高了1.02%，在声学场景分类任务中的准确率提高了2.11%.我们实验的源代码可以在\url{https://github.com/mHealthBuet/SpectNet}上找到
2022-11-17 cs.SD eess.AS eess.SP
Cross-Representation Transferability of Adversarial Attacks: From Spectrograms to Audio Waveforms
McGill University（麦吉尔大学）；École de Technologie Superiéure, Université du Québec（魁北克大学高等技术学院）；Pontifical Catholic University of Paraná（巴拉那天主教大学）
本文展示了基于频谱图的音频分类器对对抗攻击的敏感性以及这种攻击对音频波形的可转移性。一些常用的对图像的对抗攻击已经应用于Mel频率和短时傅立叶变换频谱图，并且这种扰动频谱图能够欺骗2D卷积神经网络（CNN）。这样的攻击会产生人类视觉上无法察觉的干扰频谱图。此外，从扰动的频谱图重建的音频波形也能够欺骗在原始音频上训练的1D CNN。在西方音乐数据集上的实验结果表明，2D CNN在合法样本上的平均准确率高达81.87%，而在对抗样本上的平均准确率下降到12.09%。同样，1D CNN在原始音频样本上实现了高达78.29%的平均准确度，并且在从扰动的频谱图重建的对抗音频波形上，这种性能下降到27.91%。
2020-07-29 cs.LG cs.MM cs.SD
DualSpec: Text-to-spatial-audio Generation via Dual-Spectrogram Guided Diffusion Model
本文提出 DualSpec 文本到空间音频生成框架，通过变分自编码器、大语言模型文本编码和扩散模型，结合梅尔谱图与 STFT 谱图双特征，在保证合成质量的同时提升方位角精度。
2025-06-05 cs.AI cs.SD eess.AS
AudioGS: Spectrogram-Based Audio Gaussian Splatting for Sound Field Reconstruction
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Institute of Cultural and Creative Industry, Shanghai Jiao Tong University（上海交通大学文创学院）
AudioGS通过频谱构建音频高斯点云，无需视觉先验，有效重建空间音频，实验显示其在MAG和DPAM指标上优于现有方法。
2026-04-10 cs.SD
Learning Temporal Resolution in Spectrogram for Audio Classification
University of Surrey（萨里大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出可微分时间分辨率建模方法DiffRes，在音频频谱图与分类器之间动态合并冗余时间帧，在五个音频分类任务上以至少25%的计算成本降低实现相当或更好的精度。
2024-01-12 cs.AI cs.MM cs.SD
Predicting Music Track Popularity by Convolutional Neural Networks on Spotify Features and Spectrogram of Audio Waveform
Department of Mathematics and Computer Science（数学与计算机科学系）；Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工学院））
提出融合 Spotify 声学、元数据与用户参与特征的 CNN 模型预测曲目流行度，并在多流派、跨时期数据上取得 97% F1 分数。
2025-05-12 cs.AI cs.SD
Low-rankness of Complex-valued Spectrogram and Its Application to Phase-aware Audio Processing
Waseda University（早稻田大学）
在包括非负矩阵分解的音频信号处理方法中已经有效地利用了幅度谱图的低秩。然而，这样的方法有一个基本的限制，由于其幅度的唯一的治疗，其中的相位的观察信号被用来重新合成的估计信号。为了解决这个问题，我们直接处理复值谱图，并显示正弦曲线的总和的复值谱图可以通过修改其相位近似低秩。为了评估所提出的低秩表示的适用性，我们进一步提出了一个凸先验强调谐波信号，并将其应用于音频去噪。
2019-03-13 cs.SD eess.AS eess.SP
MAST: Multiscale Audio Spectrogram Transformers
University of Maryland, College Park（马里兰大学帕克分校）；IIT Madras（印度理工学院马德拉斯分校）
提出多尺度音频频谱Transformer（MAST）用于音频分类，通过金字塔结构建模多尺度声学特征，并扩展出自监督方法SS-MAST，在多个任务上显著优于AST和SSAST。
2023-05-18 cs.AI cs.CL cs.SD
Combining High-Level Features of Raw Audio Waves and Mel-Spectrograms for Audio Tagging
University of Konstanz（康斯坦茨大学）
在本文中，我们描述了我们对DCASE 2018音频挑战任务2的贡献。虽然利用机器学习方法的集成来进行分类任务以获得更好的预测性能已经变得无处不在，但是大多数集成方法组合预测而不是学习的特征。我们提出了一种单模型方法，该方法结合了从对数缩放的梅尔频谱图和原始音频数据中计算出的高级特征。这些特征分别由两个卷积神经网络学习，每个网络用于一种输入类型，然后由单个网络内的密集连接层组合。这种相对简单的方法加上数据增强，在Kaggle上的Freesound通用音频标记挑战赛中名列前2%。
2018-11-26 cs.LG cs.SD eess.AS
Audio Spectrogram Factorization for Classification of Telephony Signals below the Auditory Threshold
Marchex Inc.（Marchex公司）
流量泵攻击是一种针对电话网络的大容量垃圾邮件，欺骗客户并浪费电话资源。这些攻击中的一种呼叫的特征在于非常低幅度的信号水平，特别是低于听觉阈值。我们提出了一种技术来分类所谓的“死空气”或“沉默”的垃圾邮件呼叫的基础上，来自因式分解的呼叫者音频频谱图的功能。我们描述了特征提取和分类的算法，以及我们的数据汇集方法和每周数百万次呼叫的生产性能。
2018-11-09 cs.SD eess.AS
Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training
Peking University, Shenzhen, China（北京大学深圳）；Zhejiang University, Hangzhou, China（浙江大学杭州）
基于transformer的模型在足够的数据量上训练时可以获得出色的结果和良好的泛化能力。然而，受音频域中可用的有限数据的约束，大多数用于音频任务的基于变换器的模型都是从其他域（例如图像）中的预训练模型进行微调的，这与音频域有显著的差距。其他方法直接在音频域中探索自监督学习方法，但目前在下游任务中表现不佳。在本文中，我们提出了一种新的自监督学习方法，用于基于变换的音频模型，称为掩蔽谱图预测（MaskSpec），从未标记的音频数据（本文中使用的AudioSet）中学习强大的音频表示。我们的方法屏蔽输入频谱图的随机补丁，并使用编码器-解码器架构重建被屏蔽的区域。在不使用额外的模型权重或监督的情况下，多个下游数据集上的实验结果表明，MaskSpec相对于监督方法实现了显着的性能提升，并且优于以前的预训练模型。特别是，我们的最佳模型在AudioSet上达到了0.471（mAP），在OpenMIC 2018上达到了0.854（mAP），在ESC-50上达到了0.982（准确度），在SCV 2上达到了0.976（准确度），在DCASE 2019 Task 1A上达到了0.823（准确度）。
2022-04-27 cs.SD eess.AS
Eventness: Object Detection on Spectrograms for Temporal Localization of Audio Events
Bosch（博世）
在本文中，我们介绍了事件的概念，音频事件检测，它可以，在某种程度上，被认为是一个模拟对象从计算机视觉。事件性概念背后的关键观察是，音频事件在频谱图中显示为具有特定纹理和几何结构的二维时频模式。这些时频模式可以类似于自然图像中出现的对象（除了缩放和旋转不变性不适用）。考虑到这一关键的观察，我们提出的问题，检测单声道或多声道音频事件作为一个等效的视觉对象（S）检测问题下的部分遮挡和杂波的频谱图。我们采用最先进的视觉目标检测模型来评估公共数据集上的音频事件检测任务。拟议的网络具有可比的结果与国家的最先进的基线，是更强大的少数事件。提供大规模的数据集，我们希望我们提出的事件的概念模型将有利于音频信号处理社区对提高音频事件检测的性能。
2018-02-19 cs.SD eess.AS
FastAST: Accelerating Audio Spectrogram Transformer via Token Merging and Cross-Model Knowledge Distillation
Reliance Jio AICoE（信实Jio人工智能卓越中心）
本文提出 FastAST 框架，通过 Token Merging 减少 AST 的音频频谱图 Token，并结合跨模型知识蒸馏恢复准确率，从而在提升推理速度和吞吐量的同时实现优于原始 AST 的分类表现。
2024-06-11 cs.AI cs.LG cs.MM
Robust Audio Anti-Spoofing with Fusion-Reconstruction Learning on Multi-Order Spectrograms
The University of Sydney（悉尼大学）；City University of Macau（澳门城市大学）
本文提出S2pecNet，通过多阶频谱融合重建学习提取鲁棒音频防欺骗特征，在ASVspoof2019 LA Challenge上取得EER 0.77%的最优性能。
2023-08-18 cs.AI cs.MM cs.SD
Hybrid Audio Detection Using Fine-Tuned Audio Spectrogram Transformers: A Dataset-Driven Evaluation of Mixed AI-Human Speech
Kean University（凯恩大学）
针对现有AI语音检测无法应对真实与克隆语音混合音频的问题，构建包含多类样本的混合音频数据集，提出微调AST模型的检测方法，混合音频检测准确率达97%，提升语音认证系统鲁棒性。
2025-05-21 cs.CR cs.SD eess.AS
Deep Learning for Speech Emotion Recognition: A CNN Approach Utilizing Mel Spectrograms
Kansas State University（堪萨斯州立大学）
本文提出一种基于梅尔频谱图和CNN的语音情感识别方法，通过将音频转为视觉格式提升分类精度，并集成图形界面支持实时预测，旨在推动深度学习在教育场景中的应用。
2025-03-25 cs.AI cs.SD
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA（英伟达）
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现，发现其性能与梅尔频谱图接近且对窄带数据更鲁棒，并可在20倍压缩下保持较低性能损失，同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
Phase reconstruction of spectrograms based on a model of repeated audio events
修正频谱图的相位恢复是诸如声源分离的音频信号处理应用中的主要问题。本文介绍了一种新的技术，估计成分的相位在复杂的混合物中的起始帧的时频域（TF）。我们建议利用相位重复从一个发病帧到另一个。我们引入了一个参考相位，它表征了一个独立于其激活时间的组件。然后将分量的起始相位建模为该参考和线性依赖于频率的偏移的和。我们推导出一个复杂的混合模型内发病帧，我们提供了两个算法的模型相位参数的估计。该模型估计的实验数据和这种技术被集成到一个音频声源分离框架。结果表明，该模型是一个很有前途的工具，利用相位重复，并指出其潜在的分离重叠组分在复杂的混合物。
2016-05-24 cs.SD
Study of positional encoding approaches for Audio Spectrogram Transformers
针对Audio Spectrogram Transformer（AST）需ImageNet预训练才能超越CNN的问题，研究AST的位置编码组件，提出多种变体提升从头训练的AST性能，最优模型融合条件位置编码，在Audioset和ESC-50上性能显著优于原始AST。
2021-10-13 cs.LG cs.SD eess.AS
Online Spectrogram Inversion for Low-Latency Audio Source Separation
IRIT, Université de Toulouse, CNRS（图卢兹大学IRIT研究所，法国国家科学研究中心）；Tampere University（坦佩雷大学）
音频声源分离通常通过估计每个源的短时傅里叶变换（STFT）幅度，然后应用频谱图反演算法来恢复时域信号来实现。特别是，多输入频谱图反演（MISI）算法已被成功地利用在最近的几项工作。然而，这种算法有两个缺点，我们在本文中解决。首先，它最初是以启发式的方式引入的：我们在这里提出了一个严格的优化框架，MISI是派生的，从而证明了该算法的收敛性。此外，虽然MISI离线运行，但我们在此提出了一种名为oMISI的MISI在线版本，它适用于低延迟声源分离，这是例如，助听器的应用oMISI还允许使用利用音频信号的时间结构的替代相位初始化方案。在语音分离任务上进行的实验表明，oMISI的表现以及其离线对应，从而证明了其实时声源分离的潜力。
2020-02-24 cs.SD eess.AS
MAE-AST: Masked Autoencoding Audio Spectrogram Transformer
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们提出了一个简单而强大的改进，最近的自我监督音频频谱图Transformer（SSAST）模型的语音和音频分类。具体来说，我们利用了SSAST在预训练期间使用非常高的掩蔽率（75%）的见解，这意味着绝大多数自我注意力计算都是在掩码令牌上执行的。我们通过将Masked Autoencoders are Scalable Vision Learners（MAE）的编码器-解码器架构集成到SSAST中来解决这个问题，其中深度编码器仅对未掩蔽的输入进行操作，而浅解码器对编码器输出和掩码令牌进行操作。我们发现，MAE类预训练可以提供3倍的加速和2倍的内存使用减少香草SSAST使用当前的音频预训练策略与普通的模型和输入大小。当对仅使用编码器的下游任务进行微调时，我们发现我们的方法在各种下游任务上的性能优于SSAST。我们进一步对不同的预训练策略进行了全面的评估，并探讨了视觉和听觉领域之间MAE风格预训练的差异。
2022-03-30 cs.AI cs.CL cs.LG
The impact of Audio input representations on neural network based music transcription
Singapore University of Technology and Design（新加坡科技设计大学）
本文深入分析了不同的输入表征方式对复调多乐器音乐转录的影响。我们使用我们自己的基于GPU的频谱图提取工具nnAudio来研究使用线性频谱图、对数频谱图、Mel频谱图和常数Q变换（CQT）的影响。我们的研究结果表明，在不改变神经网络设计（单层全连接）的情况下，通过选择适当的输入表示（具有STFT窗口长度为4，096和2，048频率箱的对数频谱图），可以获得转录准确度的$8.33$ %增加和错误的$9.39$ %减少。我们的实验还表明，梅尔声谱图是一个紧凑的表示，我们可以减少频率箱的数量只有512，同时仍然保持相对较高的音乐转录精度。
2020-07-21 cs.SD eess.AS
Masked Autoencoders that Listen
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本文研究了基于图像的掩码自编码器（MAE）的一个简单的扩展，从音频频谱图的自监督表示学习。遵循MAE中的Transformer编码器-解码器设计，我们的Audio-MAE首先以高掩蔽比编码音频频谱图补丁，仅通过编码器层馈送未掩蔽的令牌。然后，解码器重新排序并解码填充有掩码令牌的编码上下文，以便重建输入频谱图。我们发现在解码器中加入局部窗口注意力是有益的，因为音频频谱图在本地时间和频带中高度相关。然后，我们对编码器进行微调，在目标数据集上具有较低的掩蔽比。从经验上讲，Audio-MAE在六个音频和语音分类任务上设置了新的最先进的性能，优于其他使用外部监督预训练的最新模型。代码和模型将在https://github.com/facebookresearch/AudioMAE。
2023-01-12 cs.AI cs.LG cs.SD
From Coarse to Fine: Efficient Training for Audio Spectrogram Transformers
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出基于时间压缩的粗到细多阶段课程训练方法，在降低计算资源和时间成本的同时提升或保持AST音频分类性能，并适用于其他AST方法。
2024-01-16 cs.LG cs.SD eess.AS
Audio Mamba: Pretrained Audio State Space Model For Audio Tagging
Pennsylvania State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
本文提出Audio Mamba，一种无自注意力的状态空间模型，用于音频标记，以解决Transformer二次注意力成本问题，并以三分之一参数达到SOTA性能。
2024-05-22 cs.AI cs.SD eess.AS
FAST: Fast Audio Spectrogram Transformer
Purdue University（普渡大学）
该研究针对音频分类的实时应用需求，提出结合CNN与Transformer的FAST架构，引入Lipschitz连续注意力机制，在ADIMA等数据集上实现SOTA性能且参数至多减少150倍。
2025-01-02 cs.SD eess.AS
Music Style Transfer With Diffusion Model
Hunan University of Technology（湖南工业大学）；CRRC Zhuzhou Institute（中车株洲研究所）
本研究提出一种基于扩散模型（DM）的音乐风格迁移框架，利用基于频谱图的方法实现多对多风格转换，并通过 GuideDiff 恢复高保真音频，有效降低了计算成本与噪声，在消费级 GPU 上实现实时高质量音频生成。
2024-04-23 cs.AI cs.SD
Audio Classification of Low Feature Spectrograms Utilizing Convolutional Neural Networks
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有音频分类技术难以处理低特征声谱图信号、依赖不符合真实分布的全量数据集的问题，本文提出多种首创的定制化卷积架构与分类方法，在不同数据分布下实现了最优分类准确率与更高效率。
2024-10-28 cs.LG cs.SD eess.AS
Audio signal interpolation using optimal transportation of spectrograms
IRIT, Université de Toulouse（IRIT，图卢兹大学）；IMB, Université de Bordeaux（IMB，波尔多大学）；IRIT, CNRS, Université de Toulouse（IRIT，国家科学研究中心，图卢兹大学）
提出一种基于谱图Wasserstein重心及非平衡最优传输的音频插值方法，全局处理谱图并设计特定成本矩阵，实现源与目标声音间的平滑过渡。
2025-04-22 cs.SD eess.AS eess.SP
Spectrogram Inversion for Audio Source Separation via Consistency, Mixing, and Magnitude Constraints
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Tampere University（坦佩雷大学）
本文提出了一个结合软惩罚或硬约束的通用频谱图反演框架，通过交替投影算法解决音频源分离问题，其新算法在语音增强任务中优于现有方法。
2023-06-30 cs.SD eess.AS
Mel-Refine: A Plug-and-Play Approach to Refine Mel-Spectrogram in Audio Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯AI实验室）
针对主流文本转音频模型生成音频细节不足的问题，提出即插即用的Mel-Refine方法，通过推理时调整U-Net高低频分量权重增强梅尔频谱细节，无需额外训练，可将Tango2性能提升25%。
2024-12-11 cs.MM cs.SD eess.AS
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London（伦敦玛丽女王大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对文本到音频合成中迭代慢、计算重的问题，提出轻量级离散模型SpecMaskGIT，基于频谱图掩码生成建模，以少于16次迭代合成10秒音频，性能优于更大模型，并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer
Korea University（高丽大学）
本文提出SpecAugment-Patch Merging方法，通过掩蔽并合并补丁对减少AST处理的令牌数，在几乎不损失准确率（AudioSet mAP 34.07→34.08）的情况下提升吞吐量13.9%，实现高效训练。
2026-09-15 cs.LG cs.SD eess.AS
EDMSound: Spectrogram Based Diffusion Models for Efficient and High-Quality Audio Synthesis
University of Rochester（罗切斯特大学）；Ubisoft La Forge（育碧La Forge）
本文提出 EDMSound，一种基于频谱图域和 EDM 框架的扩散生成模型，结合高效确定性采样器，在 DCASE2023 基准上仅用 50 步即达 SOTA，并揭示了此类模型易生成与训练数据高感知相似样本的潜在问题。
2023-11-18 cs.SD eess.AS
Audio Spectrogram Representations for Processing with Convolutional Neural Networks
National University of Singapore（新加坡国立大学）
在为任何应用设计神经网络时出现的决策之一是数据应该如何表示，以便呈现给神经网络并可能由其生成。对于音频，选择似乎不像视觉图像那样明显，并且各种表示已用于不同的应用，包括原始数字化样本流、手工制作的特征、机器发现的特征、包括增量的MFCC和变体以及各种频谱表示。本文回顾了其中的一些表示和出现的问题，特别关注使用神经网络生成音频的风格转移的频谱图。
2017-06-29 cs.LG cs.MM cs.NE
U-PAST: A Phase-Aware Audio Spectrogram Transformer-U-Net for Single-Channel Speech Enhancement
Carl von Ossietzky University Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本文提出混合Transformer-U-Net架构U-PAST，在复频谱域通过自注意力建模解决CNNs间接捕获长时频依赖的局限，在多语料库多失配条件下表现优异，U-PAST-H性能最优且权衡性好。
2026-09-02 cs.SD eess.AS
ASGIR: Audio Spectrogram Transformer Guided Classification And Information Retrieval For Birds
IIIT-Delhi（德里英德拉普拉斯塔信息技术学院）
本文提出ASGIR框架，结合音频频谱图Transformer引导分类与两步信息检索系统，在Xeno-Canto数据集上实现高效鸟类声音识别与信息检索。
2024-07-10 cs.SD eess.AS
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum（博洛尼亚大学）
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而，对于现实世界的应用程序，并行数据很少可用。我们提出了MelGAN-VC，一种语音转换方法，依赖于非并行语音数据，能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图，然后使用生成对抗网络（GAN）架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息，而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集，以及与嘈杂的现实世界的语音例子的集合。最后，我们采用相同的方法来执行音乐风格的转移，翻译任意长的音乐样本从一个流派到另一个，并表明我们的框架是灵活的，可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
ASDA: Audio Spectrogram Differential Attention Mechanism for Self-Supervised Representation Learning
Laboratory of Cognitive Computing and Application, College of Intelligence and Computing（认知计算与应用实验室，智能与计算学院）；Huiyan Technology (Tianjin) Co., Ltd（慧颜科技（天津）有限公司）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）
本文提出ASDA模型，通过在Transformer中引入基于双softmax和差分系数的差分注意力机制，减少无效注意力分配，并在音频分类、关键词识别和环境声音分类等多个基准上取得SOTA性能。
2025-07-03 cs.AI cs.CL cs.SD
SGPA: Spectrogram-Guided Phonetic Alignment for Feasible Shapley Value Explanations in Multimodal Large Language Models
Warsaw University of Technology（华沙技术大学）
SGPA通过结合连接主义时间分类和频谱边界细化，实现了多模态大语言模型中可行的音频解释，显著减少了模型评估次数并保持了全局轮廓。
2026-02-25 cs.SD eess.AS
CAU_KU team's submission to ADD 2022 Challenge task 1: Low-quality fake audio detection through frequency feature masking
Chung-Ang University（中央大学）；Korea University（高丽大学）
本技术报告介绍了忠安大学和高丽大学（CAU_KU）团队参与音频深度合成检测（ADD）2022挑战赛的模型，第1轨道：低质量虚假音频检测。对于音轨1，我们提出了一种频率特征掩蔽（FFM）增强技术来处理低质量的音频环境。可以应用基于频谱图的模型的检测百分比。我们在五个基于频谱图的深度神经网络架构上应用了FFM和混合增强，这些架构在使用梅尔频谱图和恒定Q变换（CQT）特征的欺骗检测中表现良好。我们最好的提交达到了23.8%的EER排名第三的轨道1。
2022-02-09 cs.SD eess.AS
Deep Networks tag the location of bird vocalisations on audio spectrograms
Technological Educational Institute of Crete（克里特技术教育学院）
这项工作的重点是可靠的检测和分割的鸟类发声记录在开放的领域。鸟类声音的声学检测可用于自动化监测多个鸟类类群，并在长期记录中查询感兴趣的物种。在这项工作中，通过提出两种方法来解决这些任务：A）首先，将DenseNets应用于每周标记的数据，以推断数据集的注意力图（即显着性和CAM）。我们通过将注意力地图引导到基于YOLO v2 Deepnet的检测框架来进一步推动这一想法，以定位鸟类发声。B）深度自动编码器，即U网，将鸟类发声的音频频谱图映射到其对应的二进制掩码，该二进制掩码包围发声的频谱斑点，同时抑制其他音频源。我们只专注于需要最少人力参与的程序，适合扫描大量数据，以分析它们，评估见解和假设，并识别鸟类活动的模式。希望这种方法对需要设计生物多样性问题政策的研究人员、保护工作者和决策者有价值。
2017-11-12 cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance（字节跳动）
音乐声源分离（MSS）是将音乐片段分离成单个源（例如人声和伴奏）的任务。最近，基于神经网络的方法已经被应用于解决MSS问题，并且可以被分类为基于频谱图和基于时域的方法。然而，利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中，我们提出了一个CatNet框架，该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统，将频谱图计算纳入CatNet。此外，我们提出了一种新的混合音频数据增强方法，随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比（SDR），优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Corporation（NTT公司）
最近的通用音频表示在各种音频任务上显示出最先进的性能。这些表示是通过自监督学习方法预先训练的，该方法从输入中创建训练信号。例如，典型的音频对比学习使用输入声音之间的时间关系来创建训练信号，而一些方法使用由数据增强创建的输入视图之间的差异。然而，这些训练信号不提供从完整的输入声音中导出的信息，我们认为这对于描述输入的学习表示来说是次优的。在本文中，我们试图从输入本身学习音频表示作为监督，使用掩蔽频谱图补丁的自动编码的借口任务，掩蔽频谱图建模（MSM，应用于音频频谱图的掩蔽图像建模的变体）。为了实现MSM，我们使用了Masked Autoencoders（MAE），这是一种图像自监督学习方法。MAE学习有效地将少量可见补丁编码为潜在表示，以携带用于重建大量掩蔽补丁的基本信息。在训练时，MAE将输入作为训练信号，使重建误差最小化，从而达到了我们的目标。我们在HEAR 2021 NeurIPS Challenge的评估基准下，使用MAE（MSM-MAE）模型对MSM进行了实验。我们的MSM-MAE模型在15项任务中的7项上的表现优于HEAR 2021挑战赛的结果（例如，CREMA-D上的准确率为73.4%，LibriCount上的准确率为85.8%），同时在其他任务上表现出最佳性能，其中专业模型表现更好。我们还研究了MSM-MAE的设计选择如何影响性能，并对可视化结果进行定性分析，以了解学…
2022-04-26 cs.SD eess.AS
Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations
Aalborg University（奥尔堡大学）；Pioneer Center for AI（先锋人工智能中心）
本文提出Audio Mamba，一种基于选择性状态空间模型的自监督音频表示学习方法，在AudioSet预训练后于多个音频任务上显著优于SSAST基线。
2024-06-07 cs.AI cs.SD eess.AS
Improved Zero-Shot Audio Tagging & Classification with Patchout Spectrogram Transformers
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
用于标记和分类声学信号的标准机器学习模型无法处理在训练期间未看到的类。Zero-Shot（ZS）学习通过基于自适应类描述预测类来克服这一限制。本研究旨在研究基于自我注意的音频嵌入架构对ZS学习的有效性。为此，我们将最近的patchout频谱图Transformer与两种经典的卷积架构进行比较。我们在三个任务和三个不同的基准数据集上评估了这三种架构：AudioSet上的通用标记，ESC-50上的环境声音分类和OpenMIC上的仪器标记。我们的研究结果表明，在所有这些设置中，基于自我注意力的嵌入方法都优于两种比较的卷积架构。通过相应地设计训练和测试数据，我们观察到，当训练和新测试类之间的“语义距离”很大时，预测性能会受到显着影响，这种影响值得更详细的调查。
2022-08-24 cs.LG cs.SD eess.AS
Multiclass Language Identification using Deep Learning on Spectral Images of Audio Signals
Novetta（诺维塔）
任何话音识别软件的第一步都是确定说话者使用的是什么语言，理想情况下，这一过程将是自动化的。本文描述的技术，音频频谱图的语言识别（LIFAS），使用从音频信号生成的频谱图作为卷积神经网络（CNN）的输入，用于语言识别。LIFAS需要对音频信号进行最少的预处理，因为在训练期间将频谱图输入到网络时，会在每个批次期间生成频谱图。LIFAS利用了在图像处理任务中表现出成功的深度学习工具，并将其应用于音频信号分类。LIFAS在3.75秒的音频片段上以97%的准确率执行二进制语言分类，并且以89%的准确率执行六种语言的多类分类。
2019-05-10 cs.LG cs.SD eess.AS
Audio Deepfake Detection Based on a Combination of F0 Information and Real Plus Imaginary Spectrogram Features
Anhui University（安徽大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；Qiyuan Laboratory（启元实验室）
近年来，许多学者提出了大量的声学特征（对数功率谱、线性倒谱系数、常Q倒谱系数等），并对这些特征进行了研究。对于音频deepfake检测，获得了良好的性能，并且示出了不同的子带对音频deepfake检测具有不同的贡献。然而，这缺乏对子带中的特定信息的解释，并且这些特征也丢失了诸如相位的信息。受合成语音机制的启发，利用基频（F0）信息来提高合成语音的质量，但合成语音的F0仍然过于平均，与真实语音的F0相差很大。人们期望F0可以作为区分真假语音的重要信息，而由于F0的不规则分布，该信息不能直接使用。相反，选择包含大部分F0的频带作为输入特征。同时，为了充分利用相位和全频带信息，我们还提出使用实部和虚部谱图特征作为互补输入特征，并对不相交的子带分别建模。最后，融合F0、实、虚谱图特征的结果。在ASVspoof 2019 LA数据集上的实验结果表明，我们提出的系统对于音频deepfake检测任务非常有效，实现了0.43%的等效出错率（EER），几乎超过了所有系统。
2022-08-02 cs.LG cs.SD eess.AS
Enhancing Spectrogram Realism in Singing Voice Synthesis via Explicit Bandwidth Extension Prior to Vocoder
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克Quantin研究所）；Rajiv Gandhi University（拉朱·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出结合扩散频谱图估计与改进的Vocos声码器，在声码前进行显式带宽扩展，生成高保真歌唱语音，使听者与机器难以区分真假。
2025-08-03 cs.SD eess.AS
