Audio Mamba：用于音频标记的预训练音频状态空间模型
Audio Mamba: Pretrained Audio State Space Model For Audio Tagging
AI总结：
本文提出Audio Mamba，一种无自注意力的状态空间模型，用于音频标记，以解决Transformer二次注意力成本问题，并以三分之一参数达到SOTA性能。
摘要：
音频标记是将音频样本映射到其对应类别的重要任务。近年来，在该领域利用Transformer模型的研究取得了巨大成功。然而，二次自注意力成本限制了音频Transformer模型的扩展，并进一步制约了更通用音频模型的发展。在本文中，我们尝试通过提出Audio Mamba来解决这个问题，这是一种无自注意力的方法，利用状态空间模型捕获长音频频谱图依赖关系。我们在两个音频标记数据集上的实验结果表明了Audio Mamba的参数效率，它以三分之一的参数达到了与最先进的音频频谱图Transformer相当的结果。
英文摘要：
Audio tagging is an important task of mapping audio samples to their corresponding categories. Recently endeavours that exploit transformer models in this field have achieved great success. However, the quadratic self-attention cost limits the scaling of audio transformer models and further constrains the development of more universal audio models. In this paper, we attempt to solve this problem by proposing Audio Mamba, a self-attention-free approach that captures long audio spectrogram dependency with state space models. Our experimental results on two audio-tagging datasets demonstrate the parameter efficiency of Audio Mamba, it achieves comparable results to SOTA audio spectrogram transformers with one third parameters.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
