Improving Audio Spectrogram Transformers for Sound Event Detection Through Multi-Stage Training
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
本文提出一种多阶段训练方法，通过两阶段微调PaSST、BEATs和ATST三个音频频谱变换器，结合自监督损失、集成伪标签蒸馏及AudioSet强标签预训练，显著提升了DCASE 24任务4声音事件检测的单模型性能。
2024-07-17 cs.SD eess.AS
Evaluating CNN with Stacked Feature Representations and Audio Spectrogram Transformer Models for Sound Classification
SYSTEC-ARISE, Faculty of Engineering University of Porto, Portugal（SYSTEC-ARISE，工程学院，波尔图大学，葡萄牙）
本文提出基于堆叠特征表示的CNN模型，用于环境声音分类，通过对比不同特征组合和预训练方法，验证其在资源受限场景下的有效性。
2026-02-23 cs.SD eess.AS
DINO-A: Adapting Self-Distillation Vision Transformers to General Audio Representation Learning
Warsaw University of Technology（华沙理工大学）
本研究提出DINO-A，将自蒸馏视觉Transformer适配至通用音频表示学习，通过替换输入模态和增强方式实现，在多音频数据集上验证了其性能，发现了补丁分辨率、骨干选择对任务的影响及与BYOL-A v2的性能差异原因。
2026-08-12 cs.SD
Efficient Training of Audio Transformers with Patchout
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
基于transformer的模型在自然语言处理（NLP）中的巨大成功导致了各种尝试，使这些架构适应其他领域，如视觉和音频。最近的研究表明，Transformers在视觉和音频任务上的表现优于卷积神经网络（CNN）。然而，与成熟的CNN相比，Transformer模型的主要缺点之一是计算复杂性。在Transformers中，计算和内存的复杂度与输入长度成二次方增长。因此，在优化Transformers方面进行了大量的工作，但往往以降低预测性能为代价。在这项工作中，我们提出了一种新的方法来优化和正则化音频频谱图上的Transformers。我们提出的模型在Audioset上实现了最先进的性能，并且可以在单个消费级GPU上进行训练。此外，我们提出了一个Transformer模型，它在性能和训练速度方面都优于CNN。源代码：https://github.com/kkoutini/PaSST
2022-03-29 cs.LG cs.SD eess.AS
Audio Captioning Transformer
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心）；University of Surrey（萨里大学）
音频字幕旨在自动生成音频片段的自然语言描述。大多数字幕模型遵循编码器-解码器架构，其中解码器基于编码器提取的音频特征预测单词。卷积神经网络（CNN）和递归神经网络（RNN）通常用作音频编码器。然而，CNN在建模音频信号中的时间帧之间的时间关系方面可能受到限制，而RNN在建模时间帧之间的长期依赖性方面可能受到限制。在本文中，我们提出了一个音频字幕Transformer（ACT），这是一个完整的Transformer网络的基础上的编码器-解码器架构，是完全无卷积。所提出的方法具有更好的能力来建模音频信号内的全局信息以及捕获音频事件之间的时间关系。我们在AudioCaps上评估我们的模型，AudioCaps是公开可用的最大的音频字幕数据集。与其他最先进的方法相比，我们的模型显示出具有竞争力的性能。
2021-07-21 cs.LG cs.SD eess.AS
Audiovisual Transformer Architectures for Large-Scale Classification and Synchronization of Weakly Labeled Audio Events
KU Leuven（鲁汶大学）
我们从机器翻译中使用的Transformer神经网络架构中汲取灵感，解决了环境事件分类的任务。我们修改了这种基于注意力的前馈结构，使得到的模型可以使用音频和视频来计算声音事件预测。我们进行了广泛的实验，这些适应Transformers的视听数据集，通过将相关的视觉信息附加到现有的大规模弱标记的音频集合。所采用的多标签数据包含剪辑级注释，指示17类环境声音的存在或不存在，并且不包括时间信息。我们表明，所提出的修改后的Transformers大大提高了以前介绍的模型，实际上实现了最先进的结果。我们还提出了一个令人信服的情况下，投入更多的注意力在多模态视听分类的研究，通过证明手头的任务，即音频事件识别的视觉信息的有用性。此外，我们可视化的视听Transformers的内部注意力模式，并在这样做证明他们的潜力进行多模态同步。
2019-12-02 cs.LG cs.SD eess.AS
Learning General Audio Representations with Large-Scale Training of Patchout Audio Transformers
Johannes Kepler University（约翰内斯·开普勒大学）
监督式深度学习方法的成功很大程度上归功于它们从原始数据中学习相关特征的能力。在大规模数据集上训练的深度神经网络（DNN）能够捕获各种特征集，并学习一种表示，这种表示可以概括到来自同一领域的看不见的任务和数据集。因此，这些模型可以用作强大的特征提取器，结合较浅的模型作为分类器，用于较小的任务和数据集，其中训练数据的量不足以从头开始学习端到端模型。在过去的几年中，卷积神经网络（CNN）在很大程度上是音频处理的首选方法。然而，最近基于注意力的Transformer模型在监督环境中表现出巨大的潜力，优于CNN。在这项工作中，我们研究了使用在大规模数据集上训练的音频Transformers来学习通用表示。我们研究了这些音频Transformers中的不同设置如何影响其嵌入的质量。在HEAR 2021 NeurIPS挑战评估设置之后，我们对模型的时间分辨率、提取的嵌入水平和感受野进行了实验，以了解它们如何影响各种任务和数据集的性能。我们的研究结果表明，音频Transformers提取的表示优于CNN表示。此外，我们将证明，在Audioset上训练的Transformers可以成为非常有效的表示提取器，用于各种下游任务。
2023-03-02 cs.LG cs.SD eess.AS
From Coarse to Fine: Efficient Training for Audio Spectrogram Transformers
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出基于时间压缩的粗到细多阶段课程训练方法，在降低计算资源和时间成本的同时提升或保持AST音频分类性能，并适用于其他AST方法。
2024-01-16 cs.LG cs.SD eess.AS
CAT: Causal Audio Transformer for Audio Classification
University of Maryland, College Park（马里兰大学帕克分校）；ByteDance（字节跳动）
基于注意力的Transformers由于其全局感受野和处理长期依赖性的能力而越来越多地应用于音频分类。然而，主要从视觉Transformer扩展的现有框架与音频信号并不完全兼容。在本文中，我们介绍了一个因果音频Transformer（CAT）组成的多分辨率多特征（MRMF）特征提取与声学注意力块更优化的音频建模。此外，我们还提出了一个因果模块，它消除了过度拟合，有助于知识转移，并提高了可解释性。CAT在ESC50、AudioSet和UrbanSound8K数据集上获得了更高或相当的最先进分类性能，并且可以很容易地推广到其他基于Transformer的模型。
2023-03-14 cs.MM cs.SD eess.AS
Study of positional encoding approaches for Audio Spectrogram Transformers
针对Audio Spectrogram Transformer（AST）需ImageNet预训练才能超越CNN的问题，研究AST的位置编码组件，提出多种变体提升从头训练的AST性能，最优模型融合条件位置编码，在Audioset和ESC-50上性能显著优于原始AST。
2021-10-13 cs.LG cs.SD eess.AS
Streaming Audio Transformers for Online Audio Tagging
Xiaomi Corporation（小米公司）
本文提出流式音频Transformer（SAT），结合ViT架构与Transformer-Xl式分块处理，在2秒和1秒延迟下显著提升Audioset音频标记的mAP，并降低内存与计算开销。
2024-06-10 cs.SD eess.AS
What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure
IIIT-Delhi（德里印度理工学院信息技术学院）；Adobe（奥多比公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
最近，基于BERT的Transformer模型已经成为文本处理模型的“技术栈”中不可分割的一部分。在语音领域也观察到类似的进展，许多模型通过使用音频Transformer模型对语音进行编码来观察最先进的结果。这就引出了一个问题，这些音频Transformer模型在学习什么。此外，尽管标准方法是为任何下游任务选择最后一层嵌入，但它是最佳选择吗？我们试图回答这些问题的两个最近的音频Transformer模型，Mockingjay和wave2vec2.0。我们比较了一套全面的语言交付和结构特征，包括音频，流畅性和发音功能。此外，我们探讨了音频模型的理解的文本表面，语法和语义特征，并将它们与BERT。我们在本地，非本地，合成，阅读和自发语音数据集的详尽设置上这样做
2021-07-12 cs.CL cs.LG cs.SD
CT-SAT: Contextual Transformer for Sequential Audio Tagging
Ghent University（根特大学）；KU Leuven（鲁汶大学）；Meta AI
顺序音频事件标记不仅可以提供音频事件的类型信息，还可以提供事件之间的顺序信息以及在音频片段中发生的事件的数量。大多数以前的作品音频事件序列分析依赖于连接主义的时间分类（CTC）。然而，CTC的条件独立性假设使其无法有效地学习不同音频事件之间的相关性。本文首次尝试将Transformer引入序列音频标注，因为Transformers在序列相关任务中表现良好。为了更好地利用音频事件序列的上下文信息，借鉴双向递归神经网络的思想，提出了一种具有双向解码器的上下文Transformer（cTransformer），该解码器可以利用事件序列的前向和后向信息。在实际复音音频数据集上的实验表明，与基于CTC的方法相比，cTransformer可以有效地将编码器的细粒度声学表示和粗粒度音频事件线索结合起来，利用上下文信息成功地识别和预测音频事件序列。
2022-03-22 cs.SD eess.AS
Efficient Large-scale Audio Tagging via Transformer-to-CNN Knowledge Distillation
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
本文提出利用离线知识蒸馏从Transformer训练高效CNN（基于MobileNetV3），在AudioSet上实现0.483 mAP的新最先进性能，兼顾参数、计算效率与预测性能。
2023-06-23 cs.LG cs.SD eess.AS
Audiomer: A Convolutional Transformer For Keyword Spotting
Transformers在自然语言处理和计算机视觉任务方面出现了前所未有的增长。然而，在音频任务中，由于音频波形的序列长度非常大，所以它们不能进行训练，或者当在基于傅立叶的特征上进行训练时会导致性能损失。在这项工作中，我们引入了一种架构Audiomer，在该架构中，我们将1D残差网络与表演者注意力相结合，以实现原始音频波形关键字定位的最佳性能，优于所有以前的方法，同时计算成本更低，参数效率更高。此外，我们的模型具有语音处理的实际优势，如推断任意长的音频剪辑由于没有位置编码。该代码可在https://github.com/The-Learning-Machines/Audiomer-PyTorch上获得。
2022-02-01 cs.CL cs.LG cs.SD
A Whisper transformer for audio captioning trained with synthetic captions and transfer learning
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）；Johannes Kepler University（约翰开普勒大学）
本研究提出一种基于预训练Whisper模型和合成标题的音频字幕生成方法，通过实验验证了不同训练策略对模型性能的影响，并公开了代码与模型。
2023-05-15 cs.LG cs.SD eess.AS
Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
本文提出嵌套音乐变换器，通过自回归方式解码复合令牌，提升符号音乐和音频生成的性能，降低内存使用。
2026-03-16 cs.IR cs.LG cs.SD
Complex Image-Generative Diffusion Transformer for Audio Denoising
Cornell University（康奈尔大学）；Yeshiva University（叶史瓦大学）
本文提出复数图像生成扩散Transformer，将Transformer与扩散模型结合，利用复数傅里叶域信息和注意力扩散扩展感受野，在音频去噪任务上优于现有方法。
2024-06-13 cs.SD eess.AS
Multiscale Audio Spectrogram Transformer for Efficient Audio Classification
Amazon（亚马逊）
音频事件在时间和频率上都具有层次结构，可以组合在一起以构建更抽象的语义音频类。在这项工作中，我们开发了一个多尺度音频频谱图Transformer（MAST），采用分层表示学习有效的音频分类。具体来说，MAST采用一维（和二维）池运营商沿时间（和频域）在不同的阶段，并逐步减少令牌的数量和增加的特征维度。在没有外部训练数据的情况下，MAST在Kinetics-Sounds、Epic-Kitchen-100和VGGSound上的top-1准确率显著优于AST~ \cite{gong2021ast} 22.2%、4.4%和4.7%。在下载的AudioSet数据集上，有超过20%的音频丢失，MAST也实现了比AST稍好的准确性。此外，与AST相比，MAST在乘法累积（MAC）方面效率高5倍，参数数量减少42%。通过聚类度量和可视化，我们证明了所提出的MAST可以从音频信号中学习语义上更可分离的特征表示。
2023-03-19 cs.AI cs.CV cs.LG
JukeDrummer: Conditional Beat-aware Audio-domain Drum Accompaniment Generation via Transformer VQ-VAE
Academia Sinica（中央研究院）；National Cheng Kung University（台湾成功大学）；Taiwan AI Labs（台湾人工智能实验室）
本文提出了一种模型，该模型在音频域中生成鼓轨道，以与用户提供的无鼓录音一起播放。具体来说，使用成对的数据的无鼓轨道和相应的人造鼓轨道，我们训练一个Transformer模型即兴鼓的一个看不见的无鼓记录的一部分。我们结合两种方法来编码输入音频。首先，我们训练一个矢量量化变分自编码器（VQ-VAE）来表示输入音频与离散代码，然后可以很容易地用于Transformer。其次，使用音频域节拍跟踪模型，我们计算输入音频的节拍相关特征，并将其用作Transformer中的嵌入。我们使用一个单独的VQ-VAE来将鼓音轨的梅尔频谱图编码成另一组离散代码，并训练Transformer来预测与鼓相关的离散代码的序列，而不是将鼓音轨直接生成为波形。然后，输出代码用解码器转换为梅尔频谱图，然后用声码器转换为波形。我们报告所提出的模型的变体的客观和主观评价，表明该模型与节拍信息生成鼓伴奏，是节奏和风格上与输入音频一致。
2022-10-31 cs.AI cs.LG cs.SD
Dynamic Convolutional Neural Networks as Efficient Pre-trained Audio Models
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰开普勒林茨大学）
本文通过引入由动态非线性、动态卷积和注意力机制构建的动态CNN块提升高效CNNs容量，在大规模AudioSet及下游任务上实现优于传统高效CNNs的性能-复杂度权衡，并达到甚至超越Transformers的表现。
2023-10-24 cs.LG cs.SD eess.AS
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法，通过瓶颈Transformer降低跨模态融合复杂度，并结合自监督目标与掩码音频片段损失提升学习效率，在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation
Cooperative Medianet Innovation Center（协同媒体网络创新中心）；Shanghai Jiao Tong University（上海交通大学）
针对音频-视觉分割中卷积感受野小和特征融合不足的问题，提出音频感知查询增强Transformer（AuTR），通过多模态Transformer深度融合及音频感知查询解码器，提升分割性能与泛化能力。
2023-07-25 cs.CV cs.LG cs.MM
LAST: Looped Audio Spectrogram Transformer
Georgia Institute of Technology（佐治亚理工学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Google DeepMind（谷歌DeepMind）
针对变换器深度增加带来的计算开销问题，提出循环音频频谱图变换器（LAST），通过复用模块仅细化类别令牌，在AudioSet上以更少参数和计算量超越十二层顺序变换器，并提升鲁棒性与泛化能力。
2026-10-02 cs.LG cs.SD eess.AS
VoViT: Low Latency Graph-based Audio-Visual Voice Separation Transformer
Universitat Pompeu Fabra（庞培法布拉大学）
本文提出了一种视听方法的语音分离，产生国家的最先进的结果，在低延迟在两个场景：语音和歌声。该模型基于两阶段网络。运动线索是用一个轻量级的图卷积网络来处理面部标志。然后，音频和运动特征都被馈送到视听Transformer，其产生对隔离的目标源的相当好的估计。在第二阶段中，用纯音频网络增强主要语音。我们介绍了不同的消融研究，并与最先进的方法进行了比较。最后，我们探讨了在歌唱声分离任务中训练的语音分离模型的可移植性。演示、代码和权重可在https://ipcv.github.io/VoViT/上获得
2022-07-19 cs.CV cs.LG cs.SD
Efficient Audio Captioning Transformer with Patchout and Text Guidance
Institute for Language and Speech Processing, Athena Research Center（雅典娜研究中心语言与语音处理研究所）；National Technical University of Athens（雅典国立技术大学）
提出一种利用Patchout和文本引导的高效音频字幕Transformer架构，通过迁移学习、扩充数据集和Mixup增强缓解数据稀缺，在降低计算复杂度的同时提升性能并获DCASE 2022评委奖。
2023-04-06 cs.LG cs.SD eess.AS
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能，嘈杂的环境。因此，需要探索一种有效的视听融合策略，以保证视听对齐和模态可靠性。不同于以前的端到端的方法，其中的视听融合进行编码后，每一个模态，在本文中，我们建议将一个专注的融合块到编码过程中。结果表明，在编码器模块中提出的视听融合方法可以丰富视听表示，因为这两种模态之间的相关性被利用。根据基于变换器的架构，我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流，削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明，与现有方法相比，该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近，人们越来越关注双通道流式传输端到端语音识别（ASR），其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型，以提高识别准确性，同时保持低延迟。最新的第二遍重新评分模型之一，Transformer Rescorer，从第一遍模型中获取n个最佳初始输出和音频嵌入，然后通过重新评分n个最佳初始输出来选择最佳输出。然而，训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据，因为该模型使用音频嵌入作为输入。在这项工作中，我们提出了我们的联合音频/文本训练方法的Transformer Rescorer，利用未配对的纯文本数据，这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer，并表明与标准Transformer Rescorer相比，我们的训练方法可以显着提高单词出错率（WER），而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
SpecTNT: a Time-Frequency Transformer for Music Audio
ByteDance（字节跳动）；Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）
Transformers在自然语言处理和计算机视觉中表现出了卓越的性能，在MIR领域引起了人们的关注。然而，音频处理领域的现有工作大多使用Transformer作为时间特征聚合器，其作用类似于RNN。在本文中，我们提出了SpecTNT，一个基于变换器的架构来模拟输入时频表示的频谱和时间序列。具体来说，我们介绍了一种新的变形的Transformer-in-Transformer（TNT）架构。在每个SpecTNT块中，频谱Transformer将频率相关特征提取到每个帧的频率类令牌（FCT）中。随后，将FCT线性投影并添加到时间嵌入（TE）中，从而聚合来自FCT的有用信息。然后，时间Transformer处理TE以跨时间轴交换信息。通过堆叠SpecTNT块，我们构建SpecTNT模型来学习音乐信号的表示。在实验中，SpecTNT在音乐标记和声乐旋律提取方面表现出最先进的性能，并在和弦识别方面表现出竞争力。通过消融研究进一步检查SpecTNT和其他设计选择的有效性。
2021-10-18 cs.LG cs.SD eess.AS
AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes
该研究提出AudioFormer方法，将音频分类视为自然语言理解任务，基于离散声学码训练掩码语言模型并结合多正样本对比学习，在多个音频分类数据集上取得优于主流单模态甚至部分多模态模型的性能。
2023-08-25 cs.LG cs.SD eess.AS
From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer
Korea University（高丽大学）
本文提出SpecAugment-Patch Merging方法，通过掩蔽并合并补丁对减少AST处理的令牌数，在几乎不损失准确率（AudioSet mAP 34.07→34.08）的情况下提升吞吐量13.9%，实现高效训练。
2026-09-15 cs.LG cs.SD eess.AS
GCT: Gated Contextual Transformer for Sequential Audio Tagging
Ghent University（根特大学）；Meta AI；University of Surrey（萨里大学）
音频标注的目的是为音频片段分配预定义的标签，以指示音频事件的类别信息。顺序音频标记（SAT）意味着检测音频事件的类别信息以及它们在音频片段中发生的顺序。大多数现有的SAT方法是基于连接主义的时间分类（CTC）。然而，由于不同时间输出之间的条件独立性假设，CTC不能有效地捕获事件之间的联系。上下文Transformer（cTransformer）通过利用SAT中的上下文信息来解决这个问题。然而，cTransformer在利用上下文信息方面也受到限制，因为它只在推理中使用前向信息。提出了一种具有前后向推理功能的门控上下文Transformer（GCT）。此外，GCT中提出了一个门控上下文多层感知器（GCMLP）块，从结构上提高了cTransformer的性能。在两个真实的音频数据集上的实验表明，GCMLP和FBI相结合的GCT算法的性能优于基于CTC的方法和cTransformer。为了促进SAT的研究，发布了两个数据集的手动注释序列标签。
2022-10-22 cs.SD eess.AS
ModEFormer: Modality-Preserving Embedding for Audio-Video Synchronization using Transformers
Amazon Studios（亚马逊工作室）
缺乏音频-视频同步是电视广播和视频会议期间的常见问题，导致不令人满意的观看体验。一个被广泛接受的范例是创建一个错误检测机制，该机制识别音频领先或滞后的情况。我们提出了ModEFormer，它独立地提取音频和视频嵌入使用特定的模态Transformers。与其他基于transformer的方法不同，ModEFormer保留了输入流的模态，这允许我们使用更大的批量大小和更多的负音频样本进行对比学习。此外，我们提出了一个权衡负样本的数量和数量的独特的样本在一批显着超过以前的方法的性能。实验结果表明，ModEFormer实现了最先进的性能，94.5%的LRS 2和90.9%的LRS 3。最后，我们演示了如何ModEFormer可以用于偏移检测测试剪辑。
2023-03-21 cs.CV cs.LG cs.SD
A Generative Model for Raw Audio Using Transformer Architectures
Stanford University（斯坦福大学）
提出了一种利用Transformer结构在波形级进行音频合成的新方法。我们提出了一个用于生成波形的深度神经网络，类似于waveNet。这是完全概率的、自回归的和因果的，即生成的每个样本仅取决于先前观察到的样本。我们的方法在预测下一步的类似数据集上比广泛使用的wavenet架构高出9%。使用注意力机制，我们使架构能够学习哪些音频样本对于未来样本的预测是重要的。我们展示了因果Transformer生成模型如何用于原始波形合成。我们还表明，通过在更广泛的背景下调节样本，这种性能可以再提高2%。当前模型从潜在表示合成音频的灵活性表明了大量的潜在应用。然而，使用生成式Transformer架构进行原始音频合成的新颖方法仍然远离生成任何有意义的音乐，而不使用潜在代码/元数据来辅助生成过程。
2021-07-08 cs.AI cs.LG cs.MM
Audio MFCC-gram Transformers for respiratory insufficiency detection in COVID-19
这项工作探讨了语音作为生物标志物，并通过分析语音样本研究了呼吸功能不全（RI）的检测。先前的工作\cite{spira2021}构建了呼吸功能不全COVID-19患者话语的数据集，并通过卷积神经网络对其进行分析，实现了$87.04\%$的准确性，验证了可以通过语音检测RI的假设。在这里，我们研究了Transformer神经网络架构如何提高RI检测的性能。该方法使得能够构建声学模型。通过选择正确的预训练技术，我们生成了一个自我监督的声学模型，从而提高了Transformers用于RI检测的性能（$96.53\%$）。
2022-10-25 cs.LG cs.SD eess.AS
FAST: Fast Audio Spectrogram Transformer
Purdue University（普渡大学）
该研究针对音频分类的实时应用需求，提出结合CNN与Transformer的FAST架构，引入Lipschitz连续注意力机制，在ADIMA等数据集上实现SOTA性能且参数至多减少150倍。
2025-01-02 cs.SD eess.AS
Forensic Analysis and Localization of Multiply Compressed MP3 Audio Using Transformers
Purdue University（普渡大学）；Politecnico di Milano（米兰理工大学）
音频信号通常以压缩格式存储和传输。在众多可用的音频压缩方案中，MPEG-1音频层III（MP3）是非常流行和广泛使用的。由于MP3是有损的，它会在压缩音频中留下特征痕迹，这些痕迹可用于取证，以暴露音频文件的过去历史。在本文中，我们考虑的情况下，压缩和未压缩的音频信号的时间拼接完成的音频信号操纵。我们提出了一种基于Transformer网络的拼接点时间定位方法。我们的方法识别音频信号的哪些时间部分在时间帧级别（这是MP3压缩的最小时间单位）经历了单次或多次压缩。我们在486，743个MP3音频片段的数据集上测试了我们的方法。我们的方法取得了更高的性能和表现出的鲁棒性与不同的MP3数据相比，与现有的方法。
2022-04-28 cs.MM cs.SD eess.AS
Hybrid Audio Detection Using Fine-Tuned Audio Spectrogram Transformers: A Dataset-Driven Evaluation of Mixed AI-Human Speech
Kean University（凯恩大学）
针对现有AI语音检测无法应对真实与克隆语音混合音频的问题，构建包含多类样本的混合音频数据集，提出微调AST模型的检测方法，混合音频检测准确率达97%，提升语音认证系统鲁棒性。
2025-05-21 cs.CR cs.SD eess.AS
DPATD: Dual-Phase Audio Transformer for Denoising
University of Science and Technology, Liaoning（辽宁科技大学）；Cornell University（康奈尔大学）；Yeshiva University（叶史瓦大学）
本文提出双阶段音频Transformer（DPATD），通过将音频分割为更小块并使用记忆压缩可解释注意力，高效建模长序列语音去噪，实验表明其性能优于现有最先进方法。
2023-10-30 cs.CL cs.SD eess.AS
uaMix-MAE: Efficient Tuning of Pretrained Audio Transformers with Unsupervised Audio Mixtures
Microsoft（微软）
提出uaMix-MAE，一种基于无监督音频混合的高效实例判别调优策略，通过对比调优对齐预训练MAEs表征，在低/少样本下实现4-6%准确率提升。
2024-03-14 cs.LG cs.SD eess.AS
Siamese Vision Transformers are Scalable Audio-visual Learners
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出音视频孪生网络AVSiam，用单一共享ViT骨干同时处理音频和视觉输入，结合多比例随机掩码的对比预训练，在AudioSet和VGGSound上以更高参数效率取得有竞争力的分类与检索性能。
2024-03-28 cs.CV cs.SD eess.AS
Fall Detection from Audios with Audio Transformers
Wayne State University（韦恩州立大学）；Meta AI
老年人的跌倒检测是一个经过充分研究的问题，提出了几种解决方案，包括可穿戴和非可穿戴技术。虽然现有的技术具有优异的检测率，但由于需要佩戴设备和用户隐私问题，它们缺乏目标人群的采用。我们的论文提供了一种新颖的，非可穿戴的，非侵入性的，可扩展的解决方案，跌倒检测，部署在一个自主的移动机器人配备了麦克风。所提出的方法使用在人们家中记录的环境声音输入。我们专门针对浴室环境，因为它非常容易跌倒，并且现有技术无法在不危及用户隐私的情况下部署。目前的工作开发了一个解决方案的基础上的Transformer架构，从浴室的嘈杂的声音输入，并将其分类为秋季/非秋季类的精度为0.8673。此外，所提出的方法可扩展到除浴室之外的其他室内环境，并且适合于部署在老人院、医院和康复设施中，而不需要用户佩戴任何设备或由传感器不断地“监视”。
2022-08-23 cs.LG cs.RO cs.SD
Visual Echoes: A Simple Unified Transformer for Audio-Visual Generation
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文提出一种简单轻量的生成式Transformer，在离散VQ-GAN空间中通过掩码去噪训练，实现图像到音频生成，并可直接扩展至音频到图像及联合生成，性能超越现有方法。
2024-05-24 cs.CV cs.LG cs.MM
ElasticAST: An Audio Spectrogram Transformer for All Length and Resolutions
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对AST因固定输入范式导致推理长度变化时性能下降的问题，提出ElasticAST方法，通过序列打包实现训练与推理阶段适配任意音频长度及分辨率，在原生长度数据集上性能优于标准AST。
2024-07-11 cs.AI cs.SD eess.AS
CMKD: CNN/Transformer-Based Cross-Model Knowledge Distillation for Audio Classification
Massachusetts Institute of Technology（麻省理工学院）
音频分类是一个非常活跃的研究领域，有着广泛的应用。在过去的十年中，卷积神经网络（CNN）已经成为端到端音频分类模型的事实标准构建块。最近，仅基于自注意力机制的神经网络，如音频频谱图Transformer（AST），已被证明优于CNN。在本文中，我们发现了两个非常不同的模型之间有趣的相互作用- CNN和AST模型是彼此的好老师。当我们使用其中一个作为教师，并通过知识蒸馏（KD）训练另一个模型作为学生时，学生模型的性能显著提高，在许多情况下，优于教师模型。在我们使用这种CNN/Transformer跨模型知识蒸馏（CMKD）方法的实验中，我们在FSD 50 K、AudioSet和ESC-50上实现了新的最先进性能。
2022-03-13 cs.AI cs.SD eess.AS
Audio Mamba: Pretrained Audio State Space Model For Audio Tagging
Pennsylvania State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
本文提出Audio Mamba，一种无自注意力的状态空间模型，用于音频标记，以解决Transformer二次注意力成本问题，并以三分之一参数达到SOTA性能。
2024-05-22 cs.AI cs.SD eess.AS
AVSegFormer: Audio-Visual Segmentation with Transformer
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出基于 Transformer 的 AVSegFormer 框架，通过音频查询、可学习查询、音视混合器和中间掩码损失提升发声物体分割性能，并在 AVS 基准上达到最先进水平。
2023-12-18 cs.CV cs.LG cs.SD
SoloAudio: Target Sound Extraction with Language-oriented Audio Diffusion Transformer
Johns Hopkins University（约翰斯·霍普金斯大学）
SoloAudio提出一种基于潜在扩散Transformer的目标声音提取模型，利用CLAP支持音频和语言导向提取，并通过合成音频训练实现强泛化，在FSD Kaggle 2018和AudioSet上取得最先进结果。
2025-01-02 cs.SD eess.AS
EAT: Self-Supervised Pre-Training with Efficient Audio Transformer
MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室，人工智能研究院）；X-LANCE Lab, Department of Computer Science and Engineering（X-LANCE实验室，计算机科学与工程系）；Shanghai Jiao Tong University（上海交通大学）
本文提出高效音频Transformer（EAT），通过bootstrap自监督训练范式和Utterance-Frame Objective（UFO）及大型逆块掩码策略，在多项音频任务上实现SOTA性能，并将预训练速度提升约15倍。
2024-01-07 cs.AI cs.CL cs.LG
Vision Transformers are Parameter-Efficient Audio-Visual Learners
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出LAVISH适配器，通过向冻结的预训练ViTs注入少量可训练参数并利用潜在token形成注意力瓶颈，高效融合音视频线索，在减少参数和无需音频预训练的情况下实现优异的音视频学习性能。
2023-04-05 cs.CL cs.CV cs.LG
SSAST: Self-Supervised Audio Spectrogram Transformer
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
最近，纯粹基于自我注意力的神经网络，如视觉Transformer（ViT），在各种视觉任务上表现优于卷积神经网络（CNN）构建的深度学习模型，从而将最初为语言处理开发的Transformers的成功扩展到视觉领域。最近的一项研究表明，类似的方法也可以应用于音频领域。具体而言，音频频谱图Transformer（AST）在各种音频分类基准上实现了最先进的结果。然而，与CNN相比，纯Transformer模型往往需要更多的训练数据，并且AST的成功依赖于监督预训练，这需要大量的标记数据和复杂的训练管道，从而限制了AST的实际使用。本文重点研究音频和语音分类，旨在通过利用未标记数据的自监督学习来减少AST对大量标记数据的需求。具体来说，我们建议使用AudioSet和Libripeech中的未标记音频，通过联合判别和生成掩蔽声谱图补丁建模（MSPM）来预训练AST模型。我们在音频和语音分类任务上评估我们的预训练模型，包括音频事件分类，关键字识别，情感识别和说话人辨识。所提出的自监督框架显着提高了AST在所有任务上的性能，平均提高了60.9%，导致与监督预训练AST相似甚至更好的结果。据我们所知，它是音频和语音领域的第一个基于块的自监督学习框架，也是AST的第一个自监督学习框架。
2022-02-10 cs.AI cs.SD eess.AS
BAT: Better Audio Transformer Guided by Convex Gated Probing
Ghent University（根特大学）；University of Kassel（卡塞尔大学）
提出凸门控探测（CGP）方法，通过门控机制有效利用所有冻结层，缩小音频自监督学习中探测与微调的差距，并基于CGP改进SSL流程，构建Better Audio Transformer（BAT），在音频基准上取得新最优结果。
2026-05-29 cs.LG cs.SD
Multimodal Transformer Distillation for Audio-Visual Synchronization
National Taiwan University（台湾大学）
本文提出MTDVocaLiST模型，通过多模态Transformer蒸馏损失和不确定性加权，在显著缩小模型规模（减少83.52%）的同时，性能超越同规模SOTA模型，实现高效音视频同步。
2024-03-18 cs.CV cs.IR cs.SD
Unified Keyword Spotting and Audio Tagging on Mobile Devices with Transformers
Xiaomi Corperation（小米公司）
关键词识别（KWS）是大多数现代智能助理的核心人机交互前端任务。最近，一个统一的（UniKW-AT）框架已经提出，增加了额外的能力，在音频标记（AT）的形式，KWS模型。然而，以前的工作没有考虑UniKW-AT模型的实际部署，其中模型大小和推理速度等因素比性能更重要。这项工作介绍了三个移动设备部署模型命名为统一的Transformers（UiT）。我们最好的模型在Audioset上达到了34.09的mAP，在公共的Google Speech Commands V1数据集上达到了97.76的准确度。此外，我们基准我们提出的方法在四个移动平台上，揭示了建议的UiT模型可以实现2 - 6倍的加速比对竞争对手MobileNetV 2。
2023-03-03 cs.SD eess.AS
