Study of positional encoding approaches for Audio Spectrogram Transformers
针对Audio Spectrogram Transformer(AST)需ImageNet预训练才能超越CNN的问题,研究AST的位置编码组件,提出多种变体提升从头训练的AST性能,最优模型融合条件位置编码,在Audioset和ESC-50上性能显著优于原始AST。
2021-10-13 cs.LG cs.SD eess.AS
Efficient Large-scale Audio Tagging via Transformer-to-CNN Knowledge Distillation
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出利用离线知识蒸馏从Transformer训练高效CNN(基于MobileNetV3),在AudioSet上实现0.483 mAP的新最先进性能,兼顾参数、计算效率与预测性能。
2023-06-23 cs.LG cs.SD eess.AS
A Whisper transformer for audio captioning trained with synthetic captions and transfer learning
Faculty of Informatics, Masaryk University(马萨里克大学信息学院);Johannes Kepler University(约翰开普勒大学)
本研究提出一种基于预训练Whisper模型和合成标题的音频字幕生成方法,通过实验验证了不同训练策略对模型性能的影响,并公开了代码与模型。
2023-05-15 cs.LG cs.SD eess.AS
Dynamic Convolutional Neural Networks as Efficient Pre-trained Audio Models
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰开普勒林茨大学)
本文通过引入由动态非线性、动态卷积和注意力机制构建的动态CNN块提升高效CNNs容量,在大规模AudioSet及下游任务上实现优于传统高效CNNs的性能-复杂度权衡,并达到甚至超越Transformers的表现。
2023-10-24 cs.LG cs.SD eess.AS
LAST: Looped Audio Spectrogram Transformer
Georgia Institute of Technology(佐治亚理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校);Google DeepMind(谷歌DeepMind)
针对变换器深度增加带来的计算开销问题,提出循环音频频谱图变换器(LAST),通过复用模块仅细化类别令牌,在AudioSet上以更少参数和计算量超越十二层顺序变换器,并提升鲁棒性与泛化能力。
2026-10-02 cs.LG cs.SD eess.AS
SpecTNT: a Time-Frequency Transformer for Music Audio
ByteDance(字节跳动);Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组)
Transformers在自然语言处理和计算机视觉中表现出了卓越的性能,在MIR领域引起了人们的关注。然而,音频处理领域的现有工作大多使用Transformer作为时间特征聚合器,其作用类似于RNN。在本文中,我们提出了SpecTNT,一个基于变换器的架构来模拟输入时频表示的频谱和时间序列。具体来说,我们介绍了一种新的变形的Transformer-in-Transformer(TNT)架构。在每个SpecTNT块中,频谱Transformer将频率相关特征提取到每个帧的频率类令牌(FCT)中。随后,将FCT线性投影并添加到时间嵌入(TE)中,从而聚合来自FCT的有用信息。然后,时间Transformer处理TE以跨时间轴交换信息。通过堆叠SpecTNT块,我们构建SpecTNT模型来学习音乐信号的表示。在实验中,SpecTNT在音乐标记和声乐旋律提取方面表现出最先进的性能,并在和弦识别方面表现出竞争力。通过消融研究进一步检查SpecTNT和其他设计选择的有效性。
2021-10-18 cs.LG cs.SD eess.AS
AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes
该研究提出AudioFormer方法,将音频分类视为自然语言理解任务,基于离散声学码训练掩码语言模型并结合多正样本对比学习,在多个音频分类数据集上取得优于主流单模态甚至部分多模态模型的性能。
2023-08-25 cs.LG cs.SD eess.AS
From Masking to Merging: Rethinking SpecAugment for Efficient Audio Spectrogram Transformer
Korea University(高丽大学)
本文提出SpecAugment-Patch Merging方法,通过掩蔽并合并补丁对减少AST处理的令牌数,在几乎不损失准确率(AudioSet mAP 34.07→34.08)的情况下提升吞吐量13.9%,实现高效训练。
2026-09-15 cs.LG cs.SD eess.AS
Audiovisual Transformer Architectures for Large-Scale Classification and Synchronization of Weakly Labeled Audio Events
KU Leuven(鲁汶大学)
我们从机器翻译中使用的Transformer神经网络架构中汲取灵感,解决了环境事件分类的任务。我们修改了这种基于注意力的前馈结构,使得到的模型可以使用音频和视频来计算声音事件预测。我们进行了广泛的实验,这些适应Transformers的视听数据集,通过将相关的视觉信息附加到现有的大规模弱标记的音频集合。所采用的多标签数据包含剪辑级注释,指示17类环境声音的存在或不存在,并且不包括时间信息。我们表明,所提出的修改后的Transformers大大提高了以前介绍的模型,实际上实现了最先进的结果。我们还提出了一个令人信服的情况下,投入更多的注意力在多模态视听分类的研究,通过证明手头的任务,即音频事件识别的视觉信息的有用性。此外,我们可视化的视听Transformers的内部注意力模式,并在这样做证明他们的潜力进行多模态同步。
2019-12-02 cs.LG cs.SD eess.AS
Audio MFCC-gram Transformers for respiratory insufficiency detection in COVID-19
这项工作探讨了语音作为生物标志物,并通过分析语音样本研究了呼吸功能不全(RI)的检测。先前的工作\cite{spira2021}构建了呼吸功能不全COVID-19患者话语的数据集,并通过卷积神经网络对其进行分析,实现了$87.04\%$的准确性,验证了可以通过语音检测RI的假设。在这里,我们研究了Transformer神经网络架构如何提高RI检测的性能。该方法使得能够构建声学模型。通过选择正确的预训练技术,我们生成了一个自我监督的声学模型,从而提高了Transformers用于RI检测的性能($96.53\%$)。
2022-10-25 cs.LG cs.SD eess.AS
uaMix-MAE: Efficient Tuning of Pretrained Audio Transformers with Unsupervised Audio Mixtures
Microsoft(微软)
提出uaMix-MAE,一种基于无监督音频混合的高效实例判别调优策略,通过对比调优对齐预训练MAEs表征,在低/少样本下实现4-6%准确率提升。
2024-03-14 cs.LG cs.SD eess.AS
What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure
IIIT-Delhi(德里印度理工学院信息技术学院);Adobe(奥多比公司);State University of New York at Buffalo(纽约州立大学布法罗分校)
最近,基于BERT的Transformer模型已经成为文本处理模型的“技术栈”中不可分割的一部分。在语音领域也观察到类似的进展,许多模型通过使用音频Transformer模型对语音进行编码来观察最先进的结果。这就引出了一个问题,这些音频Transformer模型在学习什么。此外,尽管标准方法是为任何下游任务选择最后一层嵌入,但它是最佳选择吗?我们试图回答这些问题的两个最近的音频Transformer模型,Mockingjay和wave2vec2.0。我们比较了一套全面的语言交付和结构特征,包括音频,流畅性和发音功能。此外,我们探讨了音频模型的理解的文本表面,语法和语义特征,并将它们与BERT。我们在本地,非本地,合成,阅读和自发语音数据集的详尽设置上这样做
2021-07-12 cs.CL cs.LG cs.SD
Streaming Audio Transformers for Online Audio Tagging
Xiaomi Corporation(小米公司)
本文提出流式音频Transformer(SAT),结合ViT架构与Transformer-Xl式分块处理,在2秒和1秒延迟下显著提升Audioset音频标记的mAP,并降低内存与计算开销。
2024-06-10 cs.SD eess.AS
Audiomer: A Convolutional Transformer For Keyword Spotting
Transformers在自然语言处理和计算机视觉任务方面出现了前所未有的增长。然而,在音频任务中,由于音频波形的序列长度非常大,所以它们不能进行训练,或者当在基于傅立叶的特征上进行训练时会导致性能损失。在这项工作中,我们引入了一种架构Audiomer,在该架构中,我们将1D残差网络与表演者注意力相结合,以实现原始音频波形关键字定位的最佳性能,优于所有以前的方法,同时计算成本更低,参数效率更高。此外,我们的模型具有语音处理的实际优势,如推断任意长的音频剪辑由于没有位置编码。该代码可在https://github.com/The-Learning-Machines/Audiomer-PyTorch上获得。
2022-02-01 cs.CL cs.LG cs.SD
CT-SAT: Contextual Transformer for Sequential Audio Tagging
Ghent University(根特大学);KU Leuven(鲁汶大学);Meta AI
顺序音频事件标记不仅可以提供音频事件的类型信息,还可以提供事件之间的顺序信息以及在音频片段中发生的事件的数量。大多数以前的作品音频事件序列分析依赖于连接主义的时间分类(CTC)。然而,CTC的条件独立性假设使其无法有效地学习不同音频事件之间的相关性。本文首次尝试将Transformer引入序列音频标注,因为Transformers在序列相关任务中表现良好。为了更好地利用音频事件序列的上下文信息,借鉴双向递归神经网络的思想,提出了一种具有双向解码器的上下文Transformer(cTransformer),该解码器可以利用事件序列的前向和后向信息。在实际复音音频数据集上的实验表明,与基于CTC的方法相比,cTransformer可以有效地将编码器的细粒度声学表示和粗粒度音频事件线索结合起来,利用上下文信息成功地识别和预测音频事件序列。
2022-03-22 cs.SD eess.AS
JukeDrummer: Conditional Beat-aware Audio-domain Drum Accompaniment Generation via Transformer VQ-VAE
Academia Sinica(中央研究院);National Cheng Kung University(台湾成功大学);Taiwan AI Labs(台湾人工智能实验室)
本文提出了一种模型,该模型在音频域中生成鼓轨道,以与用户提供的无鼓录音一起播放。具体来说,使用成对的数据的无鼓轨道和相应的人造鼓轨道,我们训练一个Transformer模型即兴鼓的一个看不见的无鼓记录的一部分。我们结合两种方法来编码输入音频。首先,我们训练一个矢量量化变分自编码器(VQ-VAE)来表示输入音频与离散代码,然后可以很容易地用于Transformer。其次,使用音频域节拍跟踪模型,我们计算输入音频的节拍相关特征,并将其用作Transformer中的嵌入。我们使用一个单独的VQ-VAE来将鼓音轨的梅尔频谱图编码成另一组离散代码,并训练Transformer来预测与鼓相关的离散代码的序列,而不是将鼓音轨直接生成为波形。然后,输出代码用解码器转换为梅尔频谱图,然后用声码器转换为波形。我们报告所提出的模型的变体的客观和主观评价,表明该模型与节拍信息生成鼓伴奏,是节奏和风格上与输入音频一致。
2022-10-31 cs.AI cs.LG cs.SD
A Novel Stochastic Transformer-based Approach for Post-Traumatic Stress Disorder Detection using Audio Recording of Clinical Interviews
LISSI Université Paris-Est Créteil (UPEC)(巴黎东部克雷泰伊大学LISSI实验室)
本文提出一种基于MFCC特征和随机Transformer的深度学习方法,利用临床访谈音频检测PTSD,在eDAIC数据集上取得RMSE 2.92的最新性能。
2024-03-28 cs.LG cs.SD eess.AS
VoViT: Low Latency Graph-based Audio-Visual Voice Separation Transformer
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出了一种视听方法的语音分离,产生国家的最先进的结果,在低延迟在两个场景:语音和歌声。该模型基于两阶段网络。运动线索是用一个轻量级的图卷积网络来处理面部标志。然后,音频和运动特征都被馈送到视听Transformer,其产生对隔离的目标源的相当好的估计。在第二阶段中,用纯音频网络增强主要语音。我们介绍了不同的消融研究,并与最先进的方法进行了比较。最后,我们探讨了在歌唱声分离任务中训练的语音分离模型的可移植性。演示、代码和权重可在https://ipcv.github.io/VoViT/上获得
2022-07-19 cs.CV cs.LG cs.SD
A Transformer-based Audio Captioning Model with Keyword Estimation
NTT Corporation(日本电报电话公司)
自动音频字幕(AAC)的问题之一是对应于音频事件/场景的词选择的不确定性。由于一个声学事件/场景可以用几个词来描述,因此它导致可能的字幕的组合爆炸和训练的困难。为了解决这个问题,我们提出了一个基于transformer的音频字幕模型与关键字估计称为TRACKE。它在执行声学事件检测/声学场景分类的子任务(即,关键字估计)。TRACKE估计关键词,其包括与输入音频中的音频事件/场景相对应的词集合,并且在参考估计的关键词的同时生成字幕以减少词选择的不确定性。在公共AAC数据集上的实验结果表明,TRACKE实现了最先进的性能,并成功地估计了标题及其关键字。
2020-08-08 cs.LG cs.SD eess.AS
Attentive Fusion Enhanced Audio-Visual Encoding for Transformer Based Robust Speech Recognition
视听信息融合使得能够改进在复杂声学场景中执行的语音识别的性能,嘈杂的环境。因此,需要探索一种有效的视听融合策略,以保证视听对齐和模态可靠性。不同于以前的端到端的方法,其中的视听融合进行编码后,每一个模态,在本文中,我们建议将一个专注的融合块到编码过程中。结果表明,在编码器模块中提出的视听融合方法可以丰富视听表示,因为这两种模态之间的相关性被利用。根据基于变换器的架构,我们使用具有单向或双向交互的基于多头注意力的视听融合来实现嵌入式融合块。该方法可以充分结合两个流,削弱对音频模态的过度依赖。在LRS 3-TED数据集上的实验表明,与现有方法相比,该方法在干净、可见和不可见噪声条件下的识别率平均分别提高了0.55%、4.51%和4.61%。
2020-08-06 cs.LG cs.MM cs.SD
Complex Image-Generative Diffusion Transformer for Audio Denoising
Cornell University(康奈尔大学);Yeshiva University(叶史瓦大学)
本文提出复数图像生成扩散Transformer,将Transformer与扩散模型结合,利用复数傅里叶域信息和注意力扩散扩展感受野,在音频去噪任务上优于现有方法。
2024-06-13 cs.SD eess.AS
CAT: Causal Audio Transformer for Audio Classification
University of Maryland, College Park(马里兰大学帕克分校);ByteDance(字节跳动)
基于注意力的Transformers由于其全局感受野和处理长期依赖性的能力而越来越多地应用于音频分类。然而,主要从视觉Transformer扩展的现有框架与音频信号并不完全兼容。在本文中,我们介绍了一个因果音频Transformer(CAT)组成的多分辨率多特征(MRMF)特征提取与声学注意力块更优化的音频建模。此外,我们还提出了一个因果模块,它消除了过度拟合,有助于知识转移,并提高了可解释性。CAT在ESC50、AudioSet和UrbanSound8K数据集上获得了更高或相当的最先进分类性能,并且可以很容易地推广到其他基于Transformer的模型。
2023-03-14 cs.MM cs.SD eess.AS
Synthesizer Sound Matching Using Audio Spectrogram Transformers
Native Instruments
本文提出一种基于 Audio Spectrogram Transformer 的合成器声音匹配模型,通过在大型 Massive 合成器数据集上训练,能准确重建16个参数,在保真度上优于多层感知机和卷积神经网络基线,并具备良好的域外声音模拟能力。
2024-07-23 cs.LG cs.SD eess.AS
Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition
Google Inc.(谷歌公司)
在本文中,我们提出了一个Transformer-Transducer模型架构和训练技术,统一流和非流语音识别模型到一个模型。该模型由一个用于音频编码的Transformer层堆栈和一个额外的Transformer层堆栈组成,该堆栈没有前瞻或右上下文,该堆栈在顶部,用可变右上下文进行训练。在推理时间中,可以改变可变上下文层的上下文长度,以权衡延迟和模型的准确性。我们还表明,我们可以在Y模型架构中运行此模型,顶层在低延迟和高延迟模式下并行运行。这使我们能够以有限的延迟获得流式语音识别结果,并以较大的准确性改进获得延迟的语音识别结果(语音搜索任务的相对改进为20%)。我们表明,在解码结束时,使用有限的右上下文(1-2秒的音频)和小的额外延迟(50-100毫秒),我们可以使用无限音频右上下文的模型实现类似的准确性。我们还对音频和标签编码器进行了优化,以加快流式和非流式语音解码中的推理。
2020-10-07 cs.LG cs.SD eess.AS
Patch-Mix Contrastive Learning with Audio Spectrogram Transformer on Respiratory Sound Classification
KAIST AI(韩国科学技术院人工智能学院);Department of AI, Kyungpook National University(庆北国立大学人工智能系);SmartSound(SmartSound公司);Dongguk University(东国大学);MODULABS(MODULABS机构)
本文提出Patch-Mix对比学习方法,结合Audio Spectrogram Transformer,通过在潜在空间中区分混合patch表示,在ICBHI呼吸音分类数据集上取得最优性能,较此前最佳结果提升4.08%。
2024-12-26 cs.LG cs.SD eess.AS
RingFormer: A Neural Vocoder with Ring Attention and Convolution-Augmented Transformer
Kwangwoon University(光云大学)
RingFormer通过引入环注意力机制和卷积增强变换器,提升神经语音合成器在实时音频生成中的性能。
2025-07-19 cs.LG cs.SD eess.AS
Toward Robust Real-World Audio Deepfake Detection: Closing the Explainability Gap
University of Oxford(牛津大学);BBC AI(BBC人工智能部门)
本文针对真实世界中基于transformer的音频深度伪造检测器缺乏可解释性的问题,提出新颖的可解释性方法并开源新基准,以缩小与传统方法的差距,建立专家信任并借助公民智能解决检测的可扩展性。
2024-10-09 cs.LG cs.SD eess.AS
HTS-AT: A Hierarchical Token-Semantic Audio Transformer for Sound Classification and Detection
University of California San Diego(加州大学圣地亚哥分校);Bytedance Inc.(字节跳动公司)
音频分类是将音频样本映射到其对应的标签的重要任务。近年来,具有自我注意力机制的Transformer模型被广泛应用于该领域。然而,现有的音频Transformers需要大量的GPU内存和较长的训练时间,同时依赖于预训练的视觉模型来实现高性能,这限制了模型在音频任务中的可扩展性。为了解决这些问题,我们引入了HTS-AT:一个具有层次结构的音频Transformer,以减少模型大小和训练时间。它还与标记语义模块相结合,将最终输出映射到类特征图中,从而使模型能够进行音频事件检测(即时间定位)。我们在三个音频分类数据集上评估了HTS-AT,其中它在AudioSet和ESC-50上实现了新的最先进的(SOTA)结果,并且等于Speech Command V2上的SOTA。它在事件定位方面也比以前基于CNN的模型具有更好的性能。此外,HTS-AT只需要以前的音频Transformer的35%的模型参数和15%的训练时间。这些结果证明了HTS-AT的高性能和高效率。
2022-02-02 cs.AI cs.IR cs.LG
GCT: Gated Contextual Transformer for Sequential Audio Tagging
Ghent University(根特大学);Meta AI;University of Surrey(萨里大学)
音频标注的目的是为音频片段分配预定义的标签,以指示音频事件的类别信息。顺序音频标记(SAT)意味着检测音频事件的类别信息以及它们在音频片段中发生的顺序。大多数现有的SAT方法是基于连接主义的时间分类(CTC)。然而,由于不同时间输出之间的条件独立性假设,CTC不能有效地捕获事件之间的联系。上下文Transformer(cTransformer)通过利用SAT中的上下文信息来解决这个问题。然而,cTransformer在利用上下文信息方面也受到限制,因为它只在推理中使用前向信息。提出了一种具有前后向推理功能的门控上下文Transformer(GCT)。此外,GCT中提出了一个门控上下文多层感知器(GCMLP)块,从结构上提高了cTransformer的性能。在两个真实的音频数据集上的实验表明,GCMLP和FBI相结合的GCT算法的性能优于基于CTC的方法和cTransformer。为了促进SAT的研究,发布了两个数据集的手动注释序列标签。
2022-10-22 cs.SD eess.AS
EAViT: External Attention Vision Transformer for Audio Classification
University of Massachusetts(马萨诸塞大学);Aligarh Muslim University(阿里格尔穆斯林大学);UESTC(电子科技大学);Monash University Malaysia(莫纳什大学马来西亚分校);Tohoku University(东北大学)
本文提出EAViT模型,通过将多头外部注意力机制集成到视觉Transformer框架中,在GTZAN数据集上实现93.99%准确率,有效提升了音频分类性能。
2024-08-23 cs.IR cs.LG cs.SD
FAST: Fast Audio Spectrogram Transformer
Purdue University(普渡大学)
该研究针对音频分类的实时应用需求,提出结合CNN与Transformer的FAST架构,引入Lipschitz连续注意力机制,在ADIMA等数据集上实现SOTA性能且参数至多减少150倍。
2025-01-02 cs.SD eess.AS
Multiscale Audio Spectrogram Transformer for Efficient Audio Classification
Amazon(亚马逊)
音频事件在时间和频率上都具有层次结构,可以组合在一起以构建更抽象的语义音频类。在这项工作中,我们开发了一个多尺度音频频谱图Transformer(MAST),采用分层表示学习有效的音频分类。具体来说,MAST采用一维(和二维)池运营商沿时间(和频域)在不同的阶段,并逐步减少令牌的数量和增加的特征维度。在没有外部训练数据的情况下,MAST在Kinetics-Sounds、Epic-Kitchen-100和VGGSound上的top-1准确率显著优于AST~ \cite{gong2021ast} 22.2%、4.4%和4.7%。在下载的AudioSet数据集上,有超过20%的音频丢失,MAST也实现了比AST稍好的准确性。此外,与AST相比,MAST在乘法累积(MAC)方面效率高5倍,参数数量减少42%。通过聚类度量和可视化,我们证明了所提出的MAST可以从音频信号中学习语义上更可分离的特征表示。
2023-03-19 cs.AI cs.CV cs.LG
Effective Pre-Training of Audio Transformers for Sound Event Detection
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
针对帧级声音事件检测任务,提出包含平衡采样器、强数据增强和集成知识蒸馏的音频Transformer预训练流程,在AudioSet及下游任务上性能显著提升并发布可直接微调的检查点。
2024-11-28 cs.SD eess.AS
Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation
Cooperative Medianet Innovation Center(协同媒体网络创新中心);Shanghai Jiao Tong University(上海交通大学)
针对音频-视觉分割中卷积感受野小和特征融合不足的问题,提出音频感知查询增强Transformer(AuTR),通过多模态Transformer深度融合及音频感知查询解码器,提升分割性能与泛化能力。
2023-07-25 cs.CV cs.LG cs.MM
Fall Detection from Audios with Audio Transformers
Wayne State University(韦恩州立大学);Meta AI
老年人的跌倒检测是一个经过充分研究的问题,提出了几种解决方案,包括可穿戴和非可穿戴技术。虽然现有的技术具有优异的检测率,但由于需要佩戴设备和用户隐私问题,它们缺乏目标人群的采用。我们的论文提供了一种新颖的,非可穿戴的,非侵入性的,可扩展的解决方案,跌倒检测,部署在一个自主的移动机器人配备了麦克风。所提出的方法使用在人们家中记录的环境声音输入。我们专门针对浴室环境,因为它非常容易跌倒,并且现有技术无法在不危及用户隐私的情况下部署。目前的工作开发了一个解决方案的基础上的Transformer架构,从浴室的嘈杂的声音输入,并将其分类为秋季/非秋季类的精度为0.8673。此外,所提出的方法可扩展到除浴室之外的其他室内环境,并且适合于部署在老人院、医院和康复设施中,而不需要用户佩戴任何设备或由传感器不断地“监视”。
2022-08-23 cs.LG cs.RO cs.SD
AVSegFormer: Audio-Visual Segmentation with Transformer
Nanjing University(南京大学);The Chinese University of Hong Kong(香港中文大学)
本文提出基于 Transformer 的 AVSegFormer 框架,通过音频查询、可学习查询、音视混合器和中间掩码损失提升发声物体分割性能,并在 AVS 基准上达到最先进水平。
2023-12-18 cs.CV cs.LG cs.SD
Deformable Audio Transformer for Audio Event Detection
提出可变形音频Transformer(DATAR),通过可学习的可变形注意力与金字塔主干降低计算复杂度,并引入输入适配器增强特征,实现最先进的音频事件识别性能。
2024-01-08 cs.LG cs.MM cs.NE
ModEFormer: Modality-Preserving Embedding for Audio-Video Synchronization using Transformers
Amazon Studios(亚马逊工作室)
缺乏音频-视频同步是电视广播和视频会议期间的常见问题,导致不令人满意的观看体验。一个被广泛接受的范例是创建一个错误检测机制,该机制识别音频领先或滞后的情况。我们提出了ModEFormer,它独立地提取音频和视频嵌入使用特定的模态Transformers。与其他基于transformer的方法不同,ModEFormer保留了输入流的模态,这允许我们使用更大的批量大小和更多的负音频样本进行对比学习。此外,我们提出了一个权衡负样本的数量和数量的独特的样本在一批显着超过以前的方法的性能。实验结果表明,ModEFormer实现了最先进的性能,94.5%的LRS 2和90.9%的LRS 3。最后,我们演示了如何ModEFormer可以用于偏移检测测试剪辑。
2023-03-21 cs.CV cs.LG cs.SD
A Generative Model for Raw Audio Using Transformer Architectures
Stanford University(斯坦福大学)
提出了一种利用Transformer结构在波形级进行音频合成的新方法。我们提出了一个用于生成波形的深度神经网络,类似于waveNet。这是完全概率的、自回归的和因果的,即生成的每个样本仅取决于先前观察到的样本。我们的方法在预测下一步的类似数据集上比广泛使用的wavenet架构高出9%。使用注意力机制,我们使架构能够学习哪些音频样本对于未来样本的预测是重要的。我们展示了因果Transformer生成模型如何用于原始波形合成。我们还表明,通过在更广泛的背景下调节样本,这种性能可以再提高2%。当前模型从潜在表示合成音频的灵活性表明了大量的潜在应用。然而,使用生成式Transformer架构进行原始音频合成的新颖方法仍然远离生成任何有意义的音乐,而不使用潜在代码/元数据来辅助生成过程。
2021-07-08 cs.AI cs.LG cs.MM
SoloAudio: Target Sound Extraction with Language-oriented Audio Diffusion Transformer
Johns Hopkins University(约翰斯·霍普金斯大学)
SoloAudio提出一种基于潜在扩散Transformer的目标声音提取模型,利用CLAP支持音频和语言导向提取,并通过合成音频训练实现强泛化,在FSD Kaggle 2018和AudioSet上取得最先进结果。
2025-01-02 cs.SD eess.AS
Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
本文提出了一种名为AVT的音视频识别方法,通过瓶颈Transformer降低跨模态融合复杂度,并结合自监督目标与掩码音频片段损失提升学习效率,在多个数据集上显著超越现有方法。
2024-01-08 cs.AI cs.CV cs.LG
BAT: Better Audio Transformer Guided by Convex Gated Probing
Ghent University(根特大学);University of Kassel(卡塞尔大学)
提出凸门控探测(CGP)方法,通过门控机制有效利用所有冻结层,缩小音频自监督学习中探测与微调的差距,并基于CGP改进SSL流程,构建Better Audio Transformer(BAT),在音频基准上取得新最优结果。
2026-05-29 cs.LG cs.SD
Joint Audio/Text Training for Transformer Rescorer of Streaming Speech Recognition
Meta
最近,人们越来越关注双通道流式传输端到端语音识别(ASR),其在传统的第一通道流式传输ASR模型之上结合第二通道重新评分模型,以提高识别准确性,同时保持低延迟。最新的第二遍重新评分模型之一,Transformer Rescorer,从第一遍模型中获取n个最佳初始输出和音频嵌入,然后通过重新评分n个最佳初始输出来选择最佳输出。然而,训练这个Transformer Rescorer需要昂贵的成对音频-文本训练数据,因为该模型使用音频嵌入作为输入。在这项工作中,我们提出了我们的联合音频/文本训练方法的Transformer Rescorer,利用未配对的纯文本数据,这是相对便宜的配对音频文本数据。我们使用Librispeech数据集以及我们的大规模内部数据集上的联合音频/文本训练来评估Transformer Rescorer,并表明与标准Transformer Rescorer相比,我们的训练方法可以显着提高单词出错率(WER),而无需任何额外的模型参数或延迟。
2022-10-31 cs.CL cs.SD eess.AS
Transformer-Based Video Front-Ends for Audio-Visual Speech Recognition for Single and Multi-Person Video
Google(谷歌)
视听自动语音识别(AV-ASR)通过引入视频模态作为附加信息源来扩展语音识别。在这项工作中,包含在说话人的嘴的运动的信息被用来增强音频功能。视频模态传统上用3D卷积神经网络(例如,VGG的3D版本)处理。最近,图像Transformer网络arXiv:2010.11929展示了为图像分类任务提取丰富视觉特征的能力。在这里,我们建议用视频Transformer代替3D卷积来提取视觉特征。我们训练我们的基线和建议的模型上的大规模语料库的YouTube视频。我们的方法的性能进行了评估的标签子集的YouTube视频以及LRS 3-TED公共语料库。我们最好的纯视频模型在YTDEV 18上获得了31.4%的WER,在LRS 3-TED上获得了17.0%的WER,比我们的卷积基线分别提高了10%和15%。我们实现了最先进的性能的视听识别的LRS 3-TED微调后,我们的模型(1.6% WER)。此外,在多人AV-ASR的一系列实验中,我们的卷积视频前端平均相对减少了2%。
2022-10-31 cs.CV cs.LG cs.SD
Unified Keyword Spotting and Audio Tagging on Mobile Devices with Transformers
Xiaomi Corperation(小米公司)
关键词识别(KWS)是大多数现代智能助理的核心人机交互前端任务。最近,一个统一的(UniKW-AT)框架已经提出,增加了额外的能力,在音频标记(AT)的形式,KWS模型。然而,以前的工作没有考虑UniKW-AT模型的实际部署,其中模型大小和推理速度等因素比性能更重要。这项工作介绍了三个移动设备部署模型命名为统一的Transformers(UiT)。我们最好的模型在Audioset上达到了34.09的mAP,在公共的Google Speech Commands V1数据集上达到了97.76的准确度。此外,我们基准我们提出的方法在四个移动平台上,揭示了建议的UiT模型可以实现2 - 6倍的加速比对竞争对手MobileNetV 2。
2023-03-03 cs.SD eess.AS
Investigating Group Relative Policy Optimization for Diffusion Transformer based Text-to-Audio Generation
Tsinghua University(清华大学);Microsoft(微软)
本文基于扩散变压器架构,利用群体相对策略优化提升文本到音频生成的保真度和提示遵循性。
2026-03-02 cs.SD eess.AS
Continuous Learning of Transformer-based Audio Deepfake Detection
Viettel AI, Viettel Group(越南电信人工智能公司,越南电信集团);Institute for Infocomm Research, A*STAR(新加坡资讯通信研究院(新加坡科技研究局下属机构))
针对音频深度伪造检测,本文提出基于 Audio Spectrogram Transformer 的框架,并结合数据增强与持续学习插件,实现高准确率及少样本新伪造类型更新。
2024-09-09 cs.SD eess.AS
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University(纽约大学)
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成,提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin(西菲·欣);ZhihongZhu(朱之宏);XuxinCheng(程旭鑫);XushengYang(杨旭生);YuexianZou(邹岳先)
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架,并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐,实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
Visual Echoes: A Simple Unified Transformer for Audio-Visual Generation
Sony Group Corporation(索尼集团公司);Sony AI(索尼人工智能)
本文提出一种简单轻量的生成式Transformer,在离散VQ-GAN空间中通过掩码去噪训练,实现图像到音频生成,并可直接扩展至音频到图像及联合生成,性能超越现有方法。
2024-05-24 cs.CV cs.LG cs.MM
WildMix Dataset and Spectro-Temporal Transformer Model for Monoaural Audio Source Separation
Carnegie Mellon University(卡内基梅隆大学);Singapore University of Technology and Design(新加坡科技设计大学)
单声道音频声源分离是机器学习中具有挑战性的研究领域。在这方面,一个混合包含多个音频源,并期望一个模型来解开的混合成孤立的原子源。在本文中,我们首先介绍了一个具有挑战性的新数据集的单声道声源分离称为WildMix。WildMix的设计目标是将声源分离的边界扩展到该领域以前的数据集所允许的范围之外。它包含来自25个不同声音类别的各种野外录音,使用任意合成策略相互组合。声源分离通常需要在时域和谱域中对长程相关性进行建模。为此,我们引入了一种新的transnformer为基础的模型称为频谱时间Transformer(STT)。STT使用一个专门的编码器,称为频谱时间编码器(STE)。STE突出时间和频谱成分的混合物内的来源,使用自我注意机制。它随后以等级的方式解开它们。在我们的实验中,STT在具有挑战性的WildMix数据集上迅速优于单耳声源分离的各种先前基线。
2019-11-21 cs.LG cs.SD eess.AS
Forensic Analysis and Localization of Multiply Compressed MP3 Audio Using Transformers
Purdue University(普渡大学);Politecnico di Milano(米兰理工大学)
音频信号通常以压缩格式存储和传输。在众多可用的音频压缩方案中,MPEG-1音频层III(MP3)是非常流行和广泛使用的。由于MP3是有损的,它会在压缩音频中留下特征痕迹,这些痕迹可用于取证,以暴露音频文件的过去历史。在本文中,我们考虑的情况下,压缩和未压缩的音频信号的时间拼接完成的音频信号操纵。我们提出了一种基于Transformer网络的拼接点时间定位方法。我们的方法识别音频信号的哪些时间部分在时间帧级别(这是MP3压缩的最小时间单位)经历了单次或多次压缩。我们在486,743个MP3音频片段的数据集上测试了我们的方法。我们的方法取得了更高的性能和表现出的鲁棒性与不同的MP3数据相比,与现有的方法。
2022-04-28 cs.MM cs.SD eess.AS
Hybrid Audio Detection Using Fine-Tuned Audio Spectrogram Transformers: A Dataset-Driven Evaluation of Mixed AI-Human Speech
Kean University(凯恩大学)
针对现有AI语音检测无法应对真实与克隆语音混合音频的问题,构建包含多类样本的混合音频数据集,提出微调AST模型的检测方法,混合音频检测准确率达97%,提升语音认证系统鲁棒性。
2025-05-21 cs.CR cs.SD eess.AS
AST-SED: An Effective Sound Event Detection Method Based on Audio Spectrogram Transformer
University Of Science And Technology Of China(中国科学技术大学);Singapore Institute of Technology(新加坡理工学院);iFLYTEK Co. Ltd(科大讯飞股份有限公司)
在本文中,我们提出了一种有效的声音事件检测(SED)方法的基础上的音频频谱图Transformer(AST)模型,预训练的大规模AudioSet音频标记(AT)任务,称为AST-SED。预训练的AST模型最近在DCASE 2022挑战任务4中显示出了希望,它们有助于缓解缺乏足够的真实注释数据的问题。然而,主要是由于AT和SED任务之间的差异,直接利用预训练的AST模型的输出是次优的。因此,所提出的AST-SED采用编码器-解码器架构,以实现有效且高效的微调,而无需重新设计或重新训练AST模型。具体而言,频率方面的Transformer编码器(FTE)由沿着频率轴具有自注意力的Transformers组成,以解决单个剪辑中的多个重叠音频事件问题。局部门控递归单元解码器(LGD)由最近邻插值(NNI)和双向门控递归单元(Bi-GRU)组成,以补偿预训练AST模型输出中的时间分辨率损失。在DCASE 2022 task 4开发集上的实验结果证明了所提出的AST-SED与FTE-LGD架构的优越性。具体来说,基于事件的F1分数(EB-F1)为59.60%,复调声音检测分数(PSDS 1)为0.5140,显著优于CRNN和其他基于AST的预训练系统。
2023-03-07 cs.SD eess.AS