From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer
Korea University（高丽大学）
本文提出SpecAugment-Patch Merging方法，通过掩蔽并合并补丁对减少AST处理的令牌数，在几乎不损失准确率（AudioSet mAP 34.07→34.08）的情况下提升吞吐量13.9%，实现高效训练。
2026-09-15 cs.LG cs.SD eess.AS
MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms
Alma Mater Studiorum（博洛尼亚大学）
传统的语音转换方法依赖于多个说话者发出相同句子的并行录音。然而，对于现实世界的应用程序，并行数据很少可用。我们提出了MelGAN-VC，一种语音转换方法，依赖于非并行语音数据，能够将任意长度的音频信号从源语音转换为目标语音。我们首先从波形数据计算频谱图，然后使用生成对抗网络（GAN）架构执行域转换。一个额外的连体网络有助于在翻译过程中保留语音信息，而不会牺牲灵活建模目标说话者风格的能力。我们测试我们的框架与干净的语音记录的数据集，以及与嘈杂的现实世界的语音例子的集合。最后，我们采用相同的方法来执行音乐风格的转移，翻译任意长的音乐样本从一个流派到另一个，并表明我们的框架是灵活的，可用于音频操作应用程序不同的语音转换。
2019-12-05 cs.LG cs.SD eess.AS
Multiclass Language Identification using Deep Learning on Spectral Images of Audio Signals
Novetta（诺维塔）
任何话音识别软件的第一步都是确定说话者使用的是什么语言，理想情况下，这一过程将是自动化的。本文描述的技术，音频频谱图的语言识别（LIFAS），使用从音频信号生成的频谱图作为卷积神经网络（CNN）的输入，用于语言识别。LIFAS需要对音频信号进行最少的预处理，因为在训练期间将频谱图输入到网络时，会在每个批次期间生成频谱图。LIFAS利用了在图像处理任务中表现出成功的深度学习工具，并将其应用于音频信号分类。LIFAS在3.75秒的音频片段上以97%的准确率执行二进制语言分类，并且以89%的准确率执行六种语言的多类分类。
2019-05-10 cs.LG cs.SD eess.AS
Audio Deepfake Detection Based on a Combination of F0 Information and Real Plus Imaginary Spectrogram Features
Anhui University（安徽大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；Qiyuan Laboratory（启元实验室）
近年来，许多学者提出了大量的声学特征（对数功率谱、线性倒谱系数、常Q倒谱系数等），并对这些特征进行了研究。对于音频deepfake检测，获得了良好的性能，并且示出了不同的子带对音频deepfake检测具有不同的贡献。然而，这缺乏对子带中的特定信息的解释，并且这些特征也丢失了诸如相位的信息。受合成语音机制的启发，利用基频（F0）信息来提高合成语音的质量，但合成语音的F0仍然过于平均，与真实语音的F0相差很大。人们期望F0可以作为区分真假语音的重要信息，而由于F0的不规则分布，该信息不能直接使用。相反，选择包含大部分F0的频带作为输入特征。同时，为了充分利用相位和全频带信息，我们还提出使用实部和虚部谱图特征作为互补输入特征，并对不相交的子带分别建模。最后，融合F0、实、虚谱图特征的结果。在ASVspoof 2019 LA数据集上的实验结果表明，我们提出的系统对于音频deepfake检测任务非常有效，实现了0.43%的等效出错率（EER），几乎超过了所有系统。
2022-08-02 cs.LG cs.SD eess.AS
SpectNet : End-to-End Audio Signal Classification Using Learnable Spectrograms
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
从音频信号中进行模式识别是一个活跃的研究课题，包括音频标记、声学场景分类、音乐分类和其他领域。频谱图和梅尔倒谱系数（MFCC）是音频信号分析和分类中最常用的特征之一。最近，深度卷积神经网络（CNN）已成功用于使用基于频谱图的2D特征的音频分类问题。在本文中，我们提出了SpectNet，这是一个集成的前端层，可以在CNN架构中提取频谱图特征，可用于音频模式识别任务。前端层利用可学习的gammatone滤波器，这些滤波器使用梅尔尺度滤波器进行初始化。所提出的层输出2D频谱图图像，其可以被馈送到2D CNN中用于分类。整个网络的参数，包括前端滤波器组，可以通过反向传播进行更新。该训练方案允许根据目标音频数据集微调频谱图图像特征。所提出的方法进行评估，在两个不同的音频信号分类任务：心音异常检测和声学场景分类。与经典的谱图图像特征相比，该方法在心音分类任务中的MACC提高了1.02%，在声学场景分类任务中的准确率提高了2.11%.我们实验的源代码可以在\url{https://github.com/mHealthBuet/SpectNet}上找到
2022-11-17 cs.SD eess.AS eess.SP
LAST: Looped Audio Spectrogram Transformer
Georgia Institute of Technology（佐治亚理工学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Google DeepMind（谷歌DeepMind）
针对变换器深度增加带来的计算开销问题，提出循环音频频谱图变换器（LAST），通过复用模块仅细化类别令牌，在AudioSet上以更少参数和计算量超越十二层顺序变换器，并提升鲁棒性与泛化能力。
2026-10-02 cs.LG cs.SD eess.AS
Audio Spectrogram Factorization for Classification of Telephony Signals below the Auditory Threshold
Marchex Inc.（Marchex公司）
流量泵攻击是一种针对电话网络的大容量垃圾邮件，欺骗客户并浪费电话资源。这些攻击中的一种呼叫的特征在于非常低幅度的信号水平，特别是低于听觉阈值。我们提出了一种技术来分类所谓的“死空气”或“沉默”的垃圾邮件呼叫的基础上，来自因式分解的呼叫者音频频谱图的功能。我们描述了特征提取和分类的算法，以及我们的数据汇集方法和每周数百万次呼叫的生产性能。
2018-11-09 cs.SD eess.AS
On Frequency-Wise Normalizations for Better Recording Device Generalization in Audio Spectrogram Transformers
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
本研究针对声学场景分类中录音设备不匹配问题，提出对音频频谱变换器输入进行频率居中操作，以抑制设备特征，在未见设备上平均提升性能达18.2个百分点。
2023-06-20 cs.LG cs.SD eess.AS
Masked Spectrogram Prediction For Self-Supervised Audio Pre-Training
Peking University, Shenzhen, China（北京大学深圳）；Zhejiang University, Hangzhou, China（浙江大学杭州）
基于transformer的模型在足够的数据量上训练时可以获得出色的结果和良好的泛化能力。然而，受音频域中可用的有限数据的约束，大多数用于音频任务的基于变换器的模型都是从其他域（例如图像）中的预训练模型进行微调的，这与音频域有显著的差距。其他方法直接在音频域中探索自监督学习方法，但目前在下游任务中表现不佳。在本文中，我们提出了一种新的自监督学习方法，用于基于变换的音频模型，称为掩蔽谱图预测（MaskSpec），从未标记的音频数据（本文中使用的AudioSet）中学习强大的音频表示。我们的方法屏蔽输入频谱图的随机补丁，并使用编码器-解码器架构重建被屏蔽的区域。在不使用额外的模型权重或监督的情况下，多个下游数据集上的实验结果表明，MaskSpec相对于监督方法实现了显着的性能提升，并且优于以前的预训练模型。特别是，我们的最佳模型在AudioSet上达到了0.471（mAP），在OpenMIC 2018上达到了0.854（mAP），在ESC-50上达到了0.982（准确度），在SCV 2上达到了0.976（准确度），在DCASE 2019 Task 1A上达到了0.823（准确度）。
2022-04-27 cs.SD eess.AS
Multiscale Audio Spectrogram Transformer for Efficient Audio Classification
Amazon（亚马逊）
音频事件在时间和频率上都具有层次结构，可以组合在一起以构建更抽象的语义音频类。在这项工作中，我们开发了一个多尺度音频频谱图Transformer（MAST），采用分层表示学习有效的音频分类。具体来说，MAST采用一维（和二维）池运营商沿时间（和频域）在不同的阶段，并逐步减少令牌的数量和增加的特征维度。在没有外部训练数据的情况下，MAST在Kinetics-Sounds、Epic-Kitchen-100和VGGSound上的top-1准确率显著优于AST~ \cite{gong2021ast} 22.2%、4.4%和4.7%。在下载的AudioSet数据集上，有超过20%的音频丢失，MAST也实现了比AST稍好的准确性。此外，与AST相比，MAST在乘法累积（MAC）方面效率高5倍，参数数量减少42%。通过聚类度量和可视化，我们证明了所提出的MAST可以从音频信号中学习语义上更可分离的特征表示。
2023-03-19 cs.AI cs.CV cs.LG
Eventness: Object Detection on Spectrograms for Temporal Localization of Audio Events
Bosch（博世）
在本文中，我们介绍了事件的概念，音频事件检测，它可以，在某种程度上，被认为是一个模拟对象从计算机视觉。事件性概念背后的关键观察是，音频事件在频谱图中显示为具有特定纹理和几何结构的二维时频模式。这些时频模式可以类似于自然图像中出现的对象（除了缩放和旋转不变性不适用）。考虑到这一关键的观察，我们提出的问题，检测单声道或多声道音频事件作为一个等效的视觉对象（S）检测问题下的部分遮挡和杂波的频谱图。我们采用最先进的视觉目标检测模型来评估公共数据集上的音频事件检测任务。拟议的网络具有可比的结果与国家的最先进的基线，是更强大的少数事件。提供大规模的数据集，我们希望我们提出的事件的概念模型将有利于音频信号处理社区对提高音频事件检测的性能。
2018-02-19 cs.SD eess.AS
nnAudio: An on-the-fly GPU Audio to Spectrogram Conversion Toolbox Using 1D Convolution Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）；Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究院）；Yong Siew Toh Conservatory of Music, National University of Singapore（新加坡国立大学杨秀桃音乐学院）
将时域波形转换为频域频谱图通常被认为是在模型训练之前完成的预处理步骤。然而，这种方法有几个缺点。首先，它需要大量的硬盘空间来存储不同的频域表示。在模型开发和调优过程中，当探索各种类型的频谱图以获得最佳性能时，尤其如此。其次，如果使用另一个数据集，则必须在重新训练网络之前再次处理所有音频片段。在本文中，我们将时域到频域的转换作为模型结构的一部分，并提出了一个基于神经网络的工具箱，nnAudio，它利用1D卷积神经网络在前馈过程中执行时域到频域的转换。它允许即时生成光谱图，而无需在磁盘上存储任何光谱图。这种方法还允许在波形到频谱图转换层上进行反向传播，这意味着这种转换过程可以是可训练的，因此可以通过梯度下降进一步优化。nnAudio减少了1，770个波形的波形到频谱图的转换时间（来自MAPS数据集）从librosa的$10.64$秒到短时傅立叶变换（STFT）的仅$0.001$秒，从Mel频谱图的$18.3$秒到$0.015$秒，从常数Q变换（CQT）的$103.4$秒到$0.258$，当在我们的DGX工作站上使用GPU和CPU时：英特尔（R）至强（R）CPU E5-2698 v4@2.20 GHz Tesla v100 32 Gb GPU。(Only所有实验均使用1个GPU。）我们还进一步优化了现有的CQT算法，使CQT频谱图可以得到没有混叠在一个更快的计算时间（从$0.258$秒到…
2020-08-22 cs.LG cs.SD eess.AS
Low-rankness of Complex-valued Spectrogram and Its Application to Phase-aware Audio Processing
Waseda University（早稻田大学）
在包括非负矩阵分解的音频信号处理方法中已经有效地利用了幅度谱图的低秩。然而，这样的方法有一个基本的限制，由于其幅度的唯一的治疗，其中的相位的观察信号被用来重新合成的估计信号。为了解决这个问题，我们直接处理复值谱图，并显示正弦曲线的总和的复值谱图可以通过修改其相位近似低秩。为了评估所提出的低秩表示的适用性，我们进一步提出了一个凸先验强调谐波信号，并将其应用于音频去噪。
2019-03-13 cs.SD eess.AS eess.SP
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA（英伟达）
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现，发现其性能与梅尔频谱图接近且对窄带数据更鲁棒，并可在20倍压缩下保持较低性能损失，同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
Multi-instrument Music Synthesis with Spectrogram Diffusion
Google Research, Brain Team（谷歌研究院大脑团队）
一个理想的音乐合成器应该是交互式和表现力，生成高保真音频实时任意组合的乐器和音符。最近的神经合成器已经在特定领域模型和原始波形模型之间进行了权衡，前者只提供特定乐器的详细控制，而后者可以对任何音乐进行训练，但控制最少，生成速度很慢。在这项工作中，我们专注于一个中间地带的神经合成器，可以生成音频序列与任意组合的仪器在实时。这使得能够使用单个模型在广泛的转录数据集上进行训练，从而在广泛的乐器上提供对作曲和乐器的音符级控制。我们使用一个简单的两阶段过程：使用编码器-解码器Transformer将频谱图转换为频谱图，然后使用生成对抗网络（GAN）频谱图转换器将频谱图转换为音频。我们比较训练的解码器作为一个自回归模型和作为一个去噪扩散概率模型（DDPM），并发现DDPM方法是优越的质量和音频重建和Fréchet距离度量测量。考虑到这种方法的交互性和普遍性，我们发现这是一个有前途的第一步，交互式和表达神经合成的任意组合的工具和说明。
2022-12-12 cs.LG cs.SD eess.AS
Online Spectrogram Inversion for Low-Latency Audio Source Separation
IRIT, Université de Toulouse, CNRS（图卢兹大学IRIT研究所，法国国家科学研究中心）；Tampere University（坦佩雷大学）
音频声源分离通常通过估计每个源的短时傅里叶变换（STFT）幅度，然后应用频谱图反演算法来恢复时域信号来实现。特别是，多输入频谱图反演（MISI）算法已被成功地利用在最近的几项工作。然而，这种算法有两个缺点，我们在本文中解决。首先，它最初是以启发式的方式引入的：我们在这里提出了一个严格的优化框架，MISI是派生的，从而证明了该算法的收敛性。此外，虽然MISI离线运行，但我们在此提出了一种名为oMISI的MISI在线版本，它适用于低延迟声源分离，这是例如，助听器的应用oMISI还允许使用利用音频信号的时间结构的替代相位初始化方案。在语音分离任务上进行的实验表明，oMISI的表现以及其离线对应，从而证明了其实时声源分离的潜力。
2020-02-24 cs.SD eess.AS
Hybrid Audio Detection Using Fine-Tuned Audio Spectrogram Transformers: A Dataset-Driven Evaluation of Mixed AI-Human Speech
Kean University（凯恩大学）
针对现有AI语音检测无法应对真实与克隆语音混合音频的问题，构建包含多类样本的混合音频数据集，提出微调AST模型的检测方法，混合音频检测准确率达97%，提升语音认证系统鲁棒性。
2025-05-21 cs.CR cs.SD eess.AS
The impact of Audio input representations on neural network based music transcription
Singapore University of Technology and Design（新加坡科技设计大学）
本文深入分析了不同的输入表征方式对复调多乐器音乐转录的影响。我们使用我们自己的基于GPU的频谱图提取工具nnAudio来研究使用线性频谱图、对数频谱图、Mel频谱图和常数Q变换（CQT）的影响。我们的研究结果表明，在不改变神经网络设计（单层全连接）的情况下，通过选择适当的输入表示（具有STFT窗口长度为4，096和2，048频率箱的对数频谱图），可以获得转录准确度的$8.33$ %增加和错误的$9.39$ %减少。我们的实验还表明，梅尔声谱图是一个紧凑的表示，我们可以减少频率箱的数量只有512，同时仍然保持相对较高的音乐转录精度。
2020-07-21 cs.SD eess.AS
Synthesizer Sound Matching Using Audio Spectrogram Transformers
Native Instruments
本文提出一种基于 Audio Spectrogram Transformer 的合成器声音匹配模型，通过在大型 Massive 合成器数据集上训练，能准确重建16个参数，在保真度上优于多层感知机和卷积神经网络基线，并具备良好的域外声音模拟能力。
2024-07-23 cs.LG cs.SD eess.AS
Improved Zero-Shot Audio Tagging & Classification with Patchout Spectrogram Transformers
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
用于标记和分类声学信号的标准机器学习模型无法处理在训练期间未看到的类。Zero-Shot（ZS）学习通过基于自适应类描述预测类来克服这一限制。本研究旨在研究基于自我注意的音频嵌入架构对ZS学习的有效性。为此，我们将最近的patchout频谱图Transformer与两种经典的卷积架构进行比较。我们在三个任务和三个不同的基准数据集上评估了这三种架构：AudioSet上的通用标记，ESC-50上的环境声音分类和OpenMIC上的仪器标记。我们的研究结果表明，在所有这些设置中，基于自我注意力的嵌入方法都优于两种比较的卷积架构。通过相应地设计训练和测试数据，我们观察到，当训练和新测试类之间的“语义距离”很大时，预测性能会受到显着影响，这种影响值得更详细的调查。
2022-08-24 cs.LG cs.SD eess.AS
Patch-Mix Contrastive Learning with Audio Spectrogram Transformer on Respiratory Sound Classification
KAIST AI（韩国科学技术院人工智能学院）；Department of AI, Kyungpook National University（庆北国立大学人工智能系）；SmartSound（SmartSound公司）；Dongguk University（东国大学）；MODULABS（MODULABS机构）
本文提出Patch-Mix对比学习方法，结合Audio Spectrogram Transformer，通过在潜在空间中区分混合patch表示，在ICBHI呼吸音分类数据集上取得最优性能，较此前最佳结果提升4.08%。
2024-12-26 cs.LG cs.SD eess.AS
FastAST: Accelerating Audio Spectrogram Transformer via Token Merging and Cross-Model Knowledge Distillation
Reliance Jio AICoE（信实Jio人工智能卓越中心）
本文提出 FastAST 框架，通过 Token Merging 减少 AST 的音频频谱图 Token，并结合跨模型知识蒸馏恢复准确率，从而在提升推理速度和吞吐量的同时实现优于原始 AST 的分类表现。
2024-06-11 cs.AI cs.LG cs.MM
FAST: Fast Audio Spectrogram Transformer
Purdue University（普渡大学）
该研究针对音频分类的实时应用需求，提出结合CNN与Transformer的FAST架构，引入Lipschitz连续注意力机制，在ADIMA等数据集上实现SOTA性能且参数至多减少150倍。
2025-01-02 cs.SD eess.AS
Spectrogram Inversion for Audio Source Separation via Consistency, Mixing, and Magnitude Constraints
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Tampere University（坦佩雷大学）
本文提出了一个结合软惩罚或硬约束的通用频谱图反演框架，通过交替投影算法解决音频源分离问题，其新算法在语音增强任务中优于现有方法。
2023-06-30 cs.SD eess.AS
Masked Autoencoders that Listen
Meta AI；Carnegie Mellon University（卡内基梅隆大学）
本文研究了基于图像的掩码自编码器（MAE）的一个简单的扩展，从音频频谱图的自监督表示学习。遵循MAE中的Transformer编码器-解码器设计，我们的Audio-MAE首先以高掩蔽比编码音频频谱图补丁，仅通过编码器层馈送未掩蔽的令牌。然后，解码器重新排序并解码填充有掩码令牌的编码上下文，以便重建输入频谱图。我们发现在解码器中加入局部窗口注意力是有益的，因为音频频谱图在本地时间和频带中高度相关。然后，我们对编码器进行微调，在目标数据集上具有较低的掩蔽比。从经验上讲，Audio-MAE在六个音频和语音分类任务上设置了新的最先进的性能，优于其他使用外部监督预训练的最新模型。代码和模型将在https://github.com/facebookresearch/AudioMAE。
2023-01-12 cs.AI cs.LG cs.SD
SpecMaskGIT: Masked Generative Modeling of Audio Spectrograms for Efficient Audio Synthesis and Beyond
Queen Mary University of London（伦敦玛丽女王大学）；Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
针对文本到音频合成中迭代慢、计算重的问题，提出轻量级离散模型SpecMaskGIT，基于频谱图掩码生成建模，以少于16次迭代合成10秒音频，性能优于更大模型，并支持零样本带宽扩展等应用。
2024-06-26 cs.SD eess.AS
EDMSound: Spectrogram Based Diffusion Models for Efficient and High-Quality Audio Synthesis
University of Rochester（罗切斯特大学）；Ubisoft La Forge（育碧La Forge）
本文提出 EDMSound，一种基于频谱图域和 EDM 框架的扩散生成模型，结合高效确定性采样器，在 DCASE2023 基准上仅用 50 步即达 SOTA，并揭示了此类模型易生成与训练数据高感知相似样本的潜在问题。
2023-11-18 cs.SD eess.AS
MAE-AST: Masked Autoencoding Audio Spectrogram Transformer
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们提出了一个简单而强大的改进，最近的自我监督音频频谱图Transformer（SSAST）模型的语音和音频分类。具体来说，我们利用了SSAST在预训练期间使用非常高的掩蔽率（75%）的见解，这意味着绝大多数自我注意力计算都是在掩码令牌上执行的。我们通过将Masked Autoencoders are Scalable Vision Learners（MAE）的编码器-解码器架构集成到SSAST中来解决这个问题，其中深度编码器仅对未掩蔽的输入进行操作，而浅解码器对编码器输出和掩码令牌进行操作。我们发现，MAE类预训练可以提供3倍的加速和2倍的内存使用减少香草SSAST使用当前的音频预训练策略与普通的模型和输入大小。当对仅使用编码器的下游任务进行微调时，我们发现我们的方法在各种下游任务上的性能优于SSAST。我们进一步对不同的预训练策略进行了全面的评估，并探讨了视觉和听觉领域之间MAE风格预训练的差异。
2022-03-30 cs.AI cs.CL cs.LG
Abnormal Respiratory Sound Identification Using Audio-Spectrogram Vision Transformer
National Taiwan University of Science and Technology（台湾科技大学）；Academia Sinica（中央研究院）
针对呼吸音异常识别需求，提出结合短时傅里叶变换与视觉Transformer的AS-ViT方法，在ICBHI 2017数据库上取得超越现有最优水平的检测性能，助力肺部疾病智能诊断。
2024-05-14 cs.LG cs.SD eess.AS
Generating Diverse Vocal Bursts with StyleGAN2 and MEL-Spectrograms
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
我们描述了我们的方法生成的情感发声爆发任务（ExVo生成）的ICML表达发声比赛。我们在音频样本的预处理版本的mel频谱图上训练条件StyleGAN 2架构。然后将模型生成的梅尔频谱图反转回音频域。因此，从定性和定量的角度来看，我们生成的样本大大改善了比赛提供的基线。更准确地说，即使对于我们表现最差的情绪（敬畏），我们也获得了1.76的FAD，而基线为4.81（作为参考，敬畏的训练/验证集之间的FAD为0.776）。
2022-06-25 cs.LG cs.SD eess.AS
BAST: Binaural Audio Spectrogram Transformer for Binaural Sound Localization
Maastricht University（马斯特里赫特大学）；Utrecht University（乌得勒支大学）；Radboud University（拉德堡德大学）；Donders Institute for Brain Cognition and Behavior（唐德斯脑认知与行为研究所）
本文提出端到端双耳音频频谱Transformer模型BAST，通过差分双耳积分与混合损失在消声和混响环境中实现高精度声源方位预测，显著超越CNN方法并验证了双耳Transformer的可行性。
2024-08-07 cs.LG cs.SD eess.AS
GAFX: A General Audio Feature eXtractor
Center for Safe AGI（安全通用人工智能中心）；Ohla AI Group（Ohla人工智能集团）
大多数用于音频任务的机器学习模型都在处理手工制作的功能，即声谱图。然而，目前还不清楚频谱图是否可以被基于深度学习的特征所取代。在本文中，我们通过比较不同的可学习神经网络提取特征与成功的频谱图模型来回答这个问题，并提出了一种基于双U-Net（GAFX-U），ResNet（GAFX-R）和Attention（GAFX-A）模块的通用音频特征提取器（GAFX）。我们设计了实验来评估这个模型在GTZAN数据集上的音乐流派分类任务，并对我们的框架和我们的模型GAFX-U的不同配置进行了详细的消融研究，在音频频谱图Transformer（AST）分类器取得了有竞争力的性能之后。
2022-07-19 cs.AI cs.SD eess.AS
Audio signal interpolation using optimal transportation of spectrograms
IRIT, Université de Toulouse（IRIT，图卢兹大学）；IMB, Université de Bordeaux（IMB，波尔多大学）；IRIT, CNRS, Université de Toulouse（IRIT，国家科学研究中心，图卢兹大学）
提出一种基于谱图Wasserstein重心及非平衡最优传输的音频插值方法，全局处理谱图并设计特定成本矩阵，实现源与目标声音间的平滑过渡。
2025-04-22 cs.SD eess.AS eess.SP
U-PAST: A Phase-Aware Audio Spectrogram Transformer-U-Net for Single-Channel Speech Enhancement
Carl von Ossietzky University Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本文提出混合Transformer-U-Net架构U-PAST，在复频谱域通过自注意力建模解决CNNs间接捕获长时频依赖的局限，在多语料库多失配条件下表现优异，U-PAST-H性能最优且权衡性好。
2026-09-02 cs.SD eess.AS
Mel-Refine: A Plug-and-Play Approach to Refine Mel-Spectrogram in Audio Generation
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯AI实验室）
针对主流文本转音频模型生成音频细节不足的问题，提出即插即用的Mel-Refine方法，通过推理时调整U-Net高低频分量权重增强梅尔频谱细节，无需额外训练，可将Tango2性能提升25%。
2024-12-11 cs.MM cs.SD eess.AS
ASGIR: Audio Spectrogram Transformer Guided Classification And Information Retrieval For Birds
IIIT-Delhi（德里英德拉普拉斯塔信息技术学院）
本文提出ASGIR框架，结合音频频谱图Transformer引导分类与两步信息检索系统，在Xeno-Canto数据集上实现高效鸟类声音识别与信息检索。
2024-07-10 cs.SD eess.AS
AST: Audio Spectrogram Transformer
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在过去的十年中，卷积神经网络（CNN）已被广泛采用作为端到端音频分类模型的主要构建块，其目的是学习从音频频谱图到相应标签的直接映射。为了更好地捕捉长期全球背景，最近的趋势是在CNN之上添加自注意力机制，形成CNN-注意力混合模型。然而，目前还不清楚依赖CNN是否是必要的，以及纯粹基于注意力的神经网络是否足以在音频分类中获得良好的性能。在本文中，我们回答了这个问题，通过介绍音频频谱图Transformer（AST），第一个卷积自由，纯粹基于注意力的音频分类模型。我们在各种音频分类基准上评估了AST，其中它在AudioSet上实现了0.485 mAP的最新结果，在ESC-50上实现了95.6%的准确率，在Speech Commands V2上实现了98.1%的准确率。
2021-07-08 cs.AI cs.SD
ElasticAST: An Audio Spectrogram Transformer for All Length and Resolutions
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对AST因固定输入范式导致推理长度变化时性能下降的问题，提出ElasticAST方法，通过序列打包实现训练与推理阶段适配任意音频长度及分辨率，在原生长度数据集上性能优于标准AST。
2024-07-11 cs.AI cs.SD eess.AS
SGPA: Spectrogram-Guided Phonetic Alignment for Feasible Shapley Value Explanations in Multimodal Large Language Models
Warsaw University of Technology（华沙技术大学）
SGPA通过结合连接主义时间分类和频谱边界细化，实现了多模态大语言模型中可行的音频解释，显著减少了模型评估次数并保持了全局轮廓。
2026-02-25 cs.SD eess.AS
An overview of neural architectures for self-supervised audio representation learning from masked spectrograms
Department of Electronic Systems, Aalborg University（电子系统系，奥尔堡大学）；Pioneer Centre for Artificial Intelligence（人工智能先锋中心）；National and Kapodistrian University of Athens（雅典国家与卡波蒂斯坦大学）
本文综述了基于掩码频谱图的自监督音频表示学习方法，重点比较Transformer、Mamba和xLSTM三种神经架构，并在十个下游音频分类任务上提供统一可复现的评估。
2025-09-23 cs.AI cs.SD eess.AS
A Novel Audio Representation for Music Genre Identification in MIR
BITS Pilani WILP（印度博拉理工学院皮拉尼分校工作整合学习项目）；Eudoxia Research Centre（尤多西亚研究中心）；City of Dallas（达拉斯市政府）；CBRE Inc（世邦魏理仕公司）
本文针对MIR音乐流派识别任务，提出基于Jukebox深度向量量化的新型音频表示，并在2万曲目数据集上与梅尔频谱图对比，发现其效果并不优于梅尔频谱图。
2024-04-01 cs.IR cs.LG cs.SD
CAU_KU team's submission to ADD 2022 Challenge task 1: Low-quality fake audio detection through frequency feature masking
Chung-Ang University（中央大学）；Korea University（高丽大学）
本技术报告介绍了忠安大学和高丽大学（CAU_KU）团队参与音频深度合成检测（ADD）2022挑战赛的模型，第1轨道：低质量虚假音频检测。对于音轨1，我们提出了一种频率特征掩蔽（FFM）增强技术来处理低质量的音频环境。可以应用基于频谱图的模型的检测百分比。我们在五个基于频谱图的深度神经网络架构上应用了FFM和混合增强，这些架构在使用梅尔频谱图和恒定Q变换（CQT）特征的欺骗检测中表现良好。我们最好的提交达到了23.8%的EER排名第三的轨道1。
2022-02-09 cs.SD eess.AS
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms
Technological University of Dublin（都柏林理工大学）
在音频处理应用中，基于高级表示的富有表现力的声音的生成表现出很高的需求。这些表征可以用来操纵音色，影响创造性乐器音符的合成。现代算法，如神经网络，激发了基于乐器音色压缩的富有表现力的合成器的发展。无监督深度学习方法可以通过训练网络学习从波形或频谱图到低维表示的映射来实现音频压缩。本研究探讨了使用堆叠卷积自动编码器的压缩的时间-频率的音频表示的各种仪器为一个单一的音高。超参数和正则化技术的进一步探索证明，以提高初始设计的性能。在无监督的方式下，网络能够基于潜在表示重建单声道和谐波声音。此外，我们引入了一个评价指标来衡量原始和重建样本之间的相似性。评估用于声音合成的深度生成模型是一项具有挑战性的任务。我们的方法是基于所生成的频率的准确性，因为它为谐波声音的感知提供了重要的度量。这项工作有望加速未来的实验音频压缩使用神经自动编码器。
2023-01-18 cs.LG cs.SD eess.AS
Deep Networks tag the location of bird vocalisations on audio spectrograms
Technological Educational Institute of Crete（克里特技术教育学院）
这项工作的重点是可靠的检测和分割的鸟类发声记录在开放的领域。鸟类声音的声学检测可用于自动化监测多个鸟类类群，并在长期记录中查询感兴趣的物种。在这项工作中，通过提出两种方法来解决这些任务：A）首先，将DenseNets应用于每周标记的数据，以推断数据集的注意力图（即显着性和CAM）。我们通过将注意力地图引导到基于YOLO v2 Deepnet的检测框架来进一步推动这一想法，以定位鸟类发声。B）深度自动编码器，即U网，将鸟类发声的音频频谱图映射到其对应的二进制掩码，该二进制掩码包围发声的频谱斑点，同时抑制其他音频源。我们只专注于需要最少人力参与的程序，适合扫描大量数据，以分析它们，评估见解和假设，并识别鸟类活动的模式。希望这种方法对需要设计生物多样性问题政策的研究人员、保护工作者和决策者有价值。
2017-11-12 cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance（字节跳动）
音乐声源分离（MSS）是将音乐片段分离成单个源（例如人声和伴奏）的任务。最近，基于神经网络的方法已经被应用于解决MSS问题，并且可以被分类为基于频谱图和基于时域的方法。然而，利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中，我们提出了一个CatNet框架，该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统，将频谱图计算纳入CatNet。此外，我们提出了一种新的混合音频数据增强方法，随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比（SDR），优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Corporation（NTT公司）
最近的通用音频表示在各种音频任务上显示出最先进的性能。这些表示是通过自监督学习方法预先训练的，该方法从输入中创建训练信号。例如，典型的音频对比学习使用输入声音之间的时间关系来创建训练信号，而一些方法使用由数据增强创建的输入视图之间的差异。然而，这些训练信号不提供从完整的输入声音中导出的信息，我们认为这对于描述输入的学习表示来说是次优的。在本文中，我们试图从输入本身学习音频表示作为监督，使用掩蔽频谱图补丁的自动编码的借口任务，掩蔽频谱图建模（MSM，应用于音频频谱图的掩蔽图像建模的变体）。为了实现MSM，我们使用了Masked Autoencoders（MAE），这是一种图像自监督学习方法。MAE学习有效地将少量可见补丁编码为潜在表示，以携带用于重建大量掩蔽补丁的基本信息。在训练时，MAE将输入作为训练信号，使重建误差最小化，从而达到了我们的目标。我们在HEAR 2021 NeurIPS Challenge的评估基准下，使用MAE（MSM-MAE）模型对MSM进行了实验。我们的MSM-MAE模型在15项任务中的7项上的表现优于HEAR 2021挑战赛的结果（例如，CREMA-D上的准确率为73.4%，LibriCount上的准确率为85.8%），同时在其他任务上表现出最佳性能，其中专业模型表现更好。我们还研究了MSM-MAE的设计选择如何影响性能，并对可视化结果进行定性分析，以了解学…
2022-04-26 cs.SD eess.AS
Learning Temporal Resolution in Spectrogram for Audio Classification
University of Surrey（萨里大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出可微分时间分辨率建模方法DiffRes，在音频频谱图与分类器之间动态合并冗余时间帧，在五个音频分类任务上以至少25%的计算成本降低实现相当或更好的精度。
2024-01-12 cs.AI cs.MM cs.SD
Deepfake Audio Detection Using Spectrogram-based Feature and Ensemble of Deep Learning Models
Austrian Institute of Technology（奥地利技术研究院）；HCM University of Technology（胡志明市理工大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本文提出融合多种频谱图特征、视觉迁移学习与音频预训练嵌入的深度学习集成系统，在ASVspoof 2019上实现0.03 EER。
2024-07-01 cs.AI cs.SD eess.AS
SSAST: Self-Supervised Audio Spectrogram Transformer
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
最近，纯粹基于自我注意力的神经网络，如视觉Transformer（ViT），在各种视觉任务上表现优于卷积神经网络（CNN）构建的深度学习模型，从而将最初为语言处理开发的Transformers的成功扩展到视觉领域。最近的一项研究表明，类似的方法也可以应用于音频领域。具体而言，音频频谱图Transformer（AST）在各种音频分类基准上实现了最先进的结果。然而，与CNN相比，纯Transformer模型往往需要更多的训练数据，并且AST的成功依赖于监督预训练，这需要大量的标记数据和复杂的训练管道，从而限制了AST的实际使用。本文重点研究音频和语音分类，旨在通过利用未标记数据的自监督学习来减少AST对大量标记数据的需求。具体来说，我们建议使用AudioSet和Libripeech中的未标记音频，通过联合判别和生成掩蔽声谱图补丁建模（MSPM）来预训练AST模型。我们在音频和语音分类任务上评估我们的预训练模型，包括音频事件分类，关键字识别，情感识别和说话人辨识。所提出的自监督框架显着提高了AST在所有任务上的性能，平均提高了60.9%，导致与监督预训练AST相似甚至更好的结果。据我们所知，它是音频和语音领域的第一个基于块的自监督学习框架，也是AST的第一个自监督学习框架。
2022-02-10 cs.AI cs.SD eess.AS
Phase reconstruction of spectrograms with linear unwrapping: application to audio signal restoration
本文介绍了一种新的技术，用于重建相位的修改频谱的音频信号。从正弦曲线的混合物的分析中，我们获得在时间-频率（TF）域中的连续时间帧的相位之间的关系。为了获得类似的频率关系，特别是在发病帧内，我们研究了脉冲模型。瞬时频率和攻击时间估计本地包含类的非平稳信号，如vibratos。这些技术确保了分音的垂直相干性（在频率上）和水平相干性（在时间上）。该方法进行了测试，各种数据，并表现出更好的性能比传统的基于一致性的方法。我们还介绍了一个音频恢复框架，并观察到我们的技术优于传统方法。
2016-05-24 cs.SD
ATGNN: Audio Tagging Graph Neural Network
Queen Mary University of London（伦敦玛丽女王大学）；Amazon Alexa（亚马逊Alexa）；Tilburg University（蒂尔堡大学）
本文提出ATGNN图神经网络，将频谱图建模为图结构并关联类别嵌入与频谱区域，在FSD50K和AudioSet-balanced上以更少参数达到与Transformer相当的音频标注性能。
2023-11-02 cs.LG cs.SD eess.AS
Enhancing Spectrogram Realism in Singing Voice Synthesis via Explicit Bandwidth Extension Prior to Vocoder
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克Quantin研究所）；Rajiv Gandhi University（拉朱·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出结合扩散频谱图估计与改进的Vocos声码器，在声码前进行显式带宽扩展，生成高保真歌唱语音，使听者与机器难以区分真假。
2025-08-03 cs.SD eess.AS
MAST: Multiscale Audio Spectrogram Transformers
University of Maryland, College Park（马里兰大学帕克分校）；IIT Madras（印度理工学院马德拉斯分校）
提出多尺度音频频谱Transformer（MAST）用于音频分类，通过金字塔结构建模多尺度声学特征，并扩展出自监督方法SS-MAST，在多个任务上显著优于AST和SSAST。
2023-05-18 cs.AI cs.CL cs.SD
Audio Spectrogram Representations for Processing with Convolutional Neural Networks
National University of Singapore（新加坡国立大学）
在为任何应用设计神经网络时出现的决策之一是数据应该如何表示，以便呈现给神经网络并可能由其生成。对于音频，选择似乎不像视觉图像那样明显，并且各种表示已用于不同的应用，包括原始数字化样本流、手工制作的特征、机器发现的特征、包括增量的MFCC和变体以及各种频谱表示。本文回顾了其中的一些表示和出现的问题，特别关注使用神经网络生成音频的风格转移的频谱图。
2017-06-29 cs.LG cs.MM cs.NE
