If You Hear It, Help Find It: Orthogonal Knowledge Distillation for Open-Vocabulary Audio-Visual Event Localization
Tongji University（同济大学）
针对开放词汇音频-视觉事件定位中教师监督可靠性差异问题，提出可靠性感知的非对称蒸馏框架OV-OrthKD，通过正交损失分离视觉与音频教师投影，在OV-AVEBench上显著提升定位性能。
2026-09-22 cs.CV cs.LG cs.MM
General-purpose Tagging of Freesound Audio with AudioSet Labels: Task Description, Dataset, and Baseline
Universitat Pompeu Fabra（庞培法布拉大学）；Google, Inc.（谷歌公司）
本文描述了DCASE 2018挑战赛的任务2，题为“使用AudioSet标签对Freesound内容进行通用音频标记”。该任务在Kaggle平台上作为“Freesound通用音频标记挑战”托管。该任务的目标是建立一个音频标记系统，可以识别的音频剪辑的类别从一个子集的41个不同的类别从AudioSet本体。我们提出的任务，为竞争准备的数据集，和一个基线系统。
2018-10-07 cs.LG cs.SD eess.AS
Tiny is not small enough: High-quality, low-resource facial animation models through hybrid knowledge distillation
Electronic Arts（电子艺术）
本文通过混合知识蒸馏与伪标签方法，提出了一种设备端实时面部动画模型，显著减少内存占用并保持高质量动画，为模型驱动的数字角色发展提供新方向。
2026-02-12 cs.GR cs.LG cs.MM
Combining High-Level Features of Raw Audio Waves and Mel-Spectrograms for Audio Tagging
University of Konstanz（康斯坦茨大学）
在本文中，我们描述了我们对DCASE 2018音频挑战任务2的贡献。虽然利用机器学习方法的集成来进行分类任务以获得更好的预测性能已经变得无处不在，但是大多数集成方法组合预测而不是学习的特征。我们提出了一种单模型方法，该方法结合了从对数缩放的梅尔频谱图和原始音频数据中计算出的高级特征。这些特征分别由两个卷积神经网络学习，每个网络用于一种输入类型，然后由单个网络内的密集连接层组合。这种相对简单的方法加上数据增强，在Kaggle上的Freesound通用音频标记挑战赛中名列前2%。
2018-11-26 cs.LG cs.SD eess.AS
Audiovisual transfer learning for audio tagging and sound event detection
KU Leuven（鲁汶大学）
我们研究了两个声音识别问题的迁移学习的优点，即，音频标记和声音事件检测。采用特征融合，我们调整了一个仅利用频谱声学输入的基线系统，以利用预训练的听觉和视觉特征，这些特征是从为不同任务构建的网络中提取的，并使用外部数据进行训练。我们用这些修改后的模型在视听多标签数据集上进行实验，其中训练分区包含大量未标记的样本和少量具有弱注释的剪辑，指示剪辑级存在10个声音类别，而不指定活动听觉事件的时间边界。对于基于剪辑的音频标记，这种迁移学习方法给予显着的改进。在这种情况下，在音频之上添加视觉模态也被证明是有利的。当涉及到生成音频记录的传输时，预训练特征的好处取决于所需的时间分辨率：对于粗粒度的声音事件检测，它们的实用性仍然值得注意。但是，当需要更细粒度的预测时，由于手头的问题与获得预训练向量的模型目标之间的不匹配，性能增益会大大降低。
2021-06-09 cs.LG cs.SD eess.AS
PSLA: Improving Audio Tagging with Pretraining, Sampling, Labeling, and Aggregation
Massachusetts Institute of Technology（麻省理工学院）
音频标注是一个活跃的研究领域，有着广泛的应用。自AudioSet发布以来，在提高模型性能方面取得了很大进展，主要来自于新颖的模型架构和注意力模块的开发。然而，我们发现适当的训练技术对于使用AudioSet构建音频标记模型同样重要，但尚未得到应有的重视。为了填补这一空白，在这项工作中，我们提出了PSLA，这是一系列训练技术，可以显着提高模型的准确性，包括ImageNet预训练，平衡采样，数据增强，标签增强，模型聚合及其设计选择。通过使用这些技术训练EfficientNet，我们获得了单个模型（具有13.6M参数）和集成模型，分别在AudioSet上实现了0.444和0.474的平均精度（mAP）得分，优于之前81M参数的0.439的最佳系统。此外，我们的模型还在FSD 50K上实现了0.567的最新mAP。
2021-11-17 cs.LG cs.SD eess.AS
Weakly Labelled AudioSet Tagging with Attention Neural Networks
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Qingdao University of Science and Technology（青岛科技大学）
音频标记是预测音频片段中是否存在声音类别的任务。以前的音频标记工作集中在相对较小的数据集上，仅限于识别少量的声音类别。我们研究AudioSet上的音频标记，AudioSet是一个由超过200万个音频片段和527个类组成的数据集。AudioSet的标签较弱，因为每个剪辑仅知道是否存在声音类别，而开始和偏移时间未知。为了解决弱标记的音频标记问题，我们提出了注意力神经网络作为一种方式来参加音频剪辑的最显着的部分。我们的桥梁之间的联系，注意神经网络和多实例学习（MIL）的方法，并提出了决策级和特征级的注意神经网络的音频标记。我们研究了由不同函数、深度和宽度建模的注意神经网络。AudioSet上的实验表明，特征级注意力神经网络达到了最先进的平均精度（mAP）0.369，优于最佳多实例学习（MIL）方法0.317和谷歌深度神经网络基线0.314。此外，我们发现，音频标记性能的AudioSet嵌入功能有一个弱相关性的训练样本的数量和每个声音类的标签的质量。
2019-12-10 cs.SD eess.AS
Sample Mixed-Based Data Augmentation for Domestic Audio Tagging
National University of Defense Technology（国防科技大学）；University of Surrey（萨里大学）
近十年来，音频标签技术受到越来越多的关注，在许多领域有着广泛的应用前景。音频标记的目的是预测音频片段的标签。最近，深度学习方法已被应用于音频标记，并取得了最先进的性能，这提供了对新数据的泛化能力差。然而，由于音频标记数据（如DCASE数据）的大小有限，训练的模型往往会导致网络的过拟合。以前的数据增强方法，如音高移位，时间拉伸和添加背景噪声，并没有显示出很大的改善音频标记。本文研究了国内音频标注任务中的样本混合数据增强，包括混合、样本配对和外推。我们应用卷积递归神经网络（CRNN）与注意力模块与对数缩放梅尔频谱作为基线系统。在我们的实验中，我们使用混合方法在DCASE 2016 task4数据集上实现了0.10的等出错率（EER），优于没有数据增强的基线系统。
2018-08-12 cs.SD eess.AS
A Light-Weight Multimodal Framework for Improved Environmental Audio Tagging
Robert Bosch LLC（罗伯特·博世有限责任公司）；Carnegie Mellon University（卡内基梅隆大学）
强标签的缺乏严重限制了最先进的全监督音频标记系统扩展到更大的数据集。同时，基于未标记视频的视听学习模型已经成功地应用于音频标记，但它们不可避免地需要很长的训练时间和资源。在这项工作中，我们提出了一个轻量级的，多模式的环境音频标记框架。该框架的音频分支是基于多实例学习（MIL）的卷积和递归神经网络（CRNN）。它使用大量弱标记YouTube视频摘录的音频轨道进行训练;视频分支使用预先训练的最先进的图像识别网络和词嵌入从视频轨道中提取信息，并将视觉对象映射到声音事件。在DCASE 2017挑战的音频标记任务上的实验表明，视频信息的并入在$F_1$分数方面将强基线音频标记系统绝对提高了5.3%。整个系统可以在单个GPU上在6~小时内完成训练，并且可以很容易地转移到其他音频任务，如语音情感分析。
2018-03-01 cs.SD eess.AS
A Modulation Front-End for Music Audio Tagging
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）
卷积神经网络在自动音乐标注任务中得到了广泛的研究。这个问题可以通过使用工程时频特征或原始音频作为输入来解决。作为音色感知的基础，调制滤波器组表示已被积极研究，有可能促进感知显著特征的提取。我们探索端到端的学习前端音频表示学习，ModNet和SincModNet，其中包括一个时间调制处理块。该结构实际上类似于调制滤波器组，其中FIR滤波器中心频率以数据驱动的方式学习。期望的是，感知动机的滤波器组可以提供用于识别音乐特征的有用表示。我们的实验结果提供了一个完全可视化和可解释的前端时间调制分解的原始音频。我们评估了我们的模型对MagnaTagATune数据集上最先进的音乐标记的性能。我们分析了特定标签的性能的影响时，时间-频率带的调制滤波器在一个逐步降低的速率进行二次采样。我们证明，调制滤波提供了有前途的结果，音乐标记和特征表示，而不使用广泛的音乐领域的知识，在这个前端的设计。
2021-05-25 cs.LG cs.SD eess.AS
Region-Specific Audio Tagging for Spatial Sound
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK（视觉、语音和信号处理中心（CVSSP），英国萨里大学）；Tencent AI Lab, Bellevue, WA, USA（腾讯AI实验室，美国西雅图）；Department of Computer Science and Technology, University of Science and Technology Beijing, China（北京科技大学计算机科学与技术系）；The Chinese University of Hong Kong (CUHK)（香港中文大学）
本文提出区域特定音频标记任务，为空间音频中指定区域标注声学事件，并扩展PANNs和AST等系统，实验验证了其可行性和方向特征的有效性。
2025-09-11 cs.SD eess.AS
Audio tagging with noisy labels and minimal supervision
Music Technology Group, Universitat Pompeu Fabra（庞培法布拉大学音乐技术组）；Google, Inc.（谷歌公司）
本文介绍了DCASE 2019挑战赛的任务2，题为“带噪声标签和最小监督的音频标记”。该任务在Kaggle平台上作为“Freesound Audio Tagging 2019”托管。该任务评估系统的多标签音频标记使用一个大的噪声标记的数据集，和一个小得多的手动标记的数据集，在一个大的词汇设置的80个日常的声音类。此外，由于噪声训练集和测试集来自不同的网络音频源，因此所提出的数据集在噪声训练集和测试集之间造成声学失配问题。这可以对应于由收集大量手动标记的数据的困难给出的现实场景。我们介绍了任务设置，为这项科学评估准备的FSDKaggle2019数据集，以及由卷积神经网络组成的基线系统。所有这些资源都是免费提供的。
2020-01-20 cs.LG cs.SD eess.AS
ATGNN: Audio Tagging Graph Neural Network
Queen Mary University of London（伦敦玛丽女王大学）；Amazon Alexa（亚马逊Alexa）；Tilburg University（蒂尔堡大学）
本文提出ATGNN图神经网络，将频谱图建模为图结构并关联类别嵌入与频谱区域，在FSD50K和AudioSet-balanced上以更少参数达到与Transformer相当的音频标注性能。
2023-11-02 cs.LG cs.SD eess.AS
Audio Mamba: Pretrained Audio State Space Model For Audio Tagging
Pennsylvania State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
本文提出Audio Mamba，一种无自注意力的状态空间模型，用于音频标记，以解决Transformer二次注意力成本问题，并以三分之一参数达到SOTA性能。
2024-05-22 cs.AI cs.SD eess.AS
A Global-local Attention Framework for Weakly Labelled Audio Tagging
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；University of Surrey（萨里大学）
弱标记的音频标记旨在预测音频片段内的声音事件的类别，其中不提供声音事件的开始和偏移时间。以前的工作使用多实例学习（MIL）框架，并利用MIL池函数的信息，整个音频片段。然而，在此框架下可能不考虑声音事件的详细信息，例如其持续时间。为了解决这个问题，我们提出了一种新的双流框架，利用全球和本地信息的声音事件的音频标记。全局流的目的是分析整个音频剪辑，以便捕获需要使用类选择模块来参与的本地剪辑。然后将这些剪辑馈送到本地流，以利用详细信息进行更好的决策。在AudioSet上的实验结果表明，该方法可以显著提高不同基线网络架构下的音频标注性能。
2021-02-03 cs.SD eess.AS
Enriching Ontology with Temporal Commonsense for Low-Resource Audio Tagging
Shanghai Jiao Tong University（上海交通大学）；CMB Credit Card Center（招商银行信用卡中心）
音频标记旨在预测录音中发生的声音事件。传统模型需要大量费力的注释，否则性能退化将成为常态。因此，我们研究在低资源的情况下，增强知识图谱的强大的音频标记模型。除了现有的本体知识，我们进一步提出了一个半自动的方法，可以构建不同的领域特定的标签集的时间知识图谱。此外，我们利用关系感知的图神经网络，D-GCN的变体，结合两种知识类型的强度。在AudioSet和SONYC城市声音标注数据集上的实验表明了引入时态知识的有效性，以及与D-GCN相结合的KG相对于单一知识源的优势。
2021-10-03 cs.SD eess.AS
An empirical study of weakly supervised audio tagging embeddings for general audio representations
Xiaomi Corporation（小米公司）
我们研究了预训练的弱监督音频标记（AT）模型作为一般音频表示的特征提取器的可用性。我们主要分析了将这些嵌入转移到语音和声音域中的其他任务的可行性。具体来说，我们将弱监督预训练模型（MobileNetV 2和EfficientNet-B 0）与现代自监督学习方法（BYOL-A）作为特征提取器进行基准测试。14个下游任务用于评估，从乐器分类到语言分类。我们的研究结果表明，AT预训练模型是音乐，事件和情感识别任务的优秀迁移学习选择。此外，微调AT模型还可以使语音相关任务受益，例如关键字识别和意图分类。
2022-09-30 cs.SD eess.AS
CT-SAT: Contextual Transformer for Sequential Audio Tagging
Ghent University（根特大学）；KU Leuven（鲁汶大学）；Meta AI
顺序音频事件标记不仅可以提供音频事件的类型信息，还可以提供事件之间的顺序信息以及在音频片段中发生的事件的数量。大多数以前的作品音频事件序列分析依赖于连接主义的时间分类（CTC）。然而，CTC的条件独立性假设使其无法有效地学习不同音频事件之间的相关性。本文首次尝试将Transformer引入序列音频标注，因为Transformers在序列相关任务中表现良好。为了更好地利用音频事件序列的上下文信息，借鉴双向递归神经网络的思想，提出了一种具有双向解码器的上下文Transformer（cTransformer），该解码器可以利用事件序列的前向和后向信息。在实际复音音频数据集上的实验表明，与基于CTC的方法相比，cTransformer可以有效地将编码器的细粒度声学表示和粗粒度音频事件线索结合起来，利用上下文信息成功地识别和预测音频事件序列。
2022-03-22 cs.SD eess.AS
Geo-ATBench: A Benchmark for Geospatial Audio Tagging with Geospatial Semantic Context
Geo-ATBench通过引入地理语义上下文提升音频标签任务的性能，提供了一个可重复的地理音频融合框架。
2026-03-11 cs.LG cs.SD eess.AS
Hierarchical Label Propagation: A Model-Size-Dependent Performance Booster for AudioSet Tagging
针对AudioSet标注不一致问题，提出分层标签传播（HLP）沿本体层级修正标签，提升正标签数量并增强多种模型性能，小模型获益更大，且在FSD50K上验证了泛化性。
2025-03-26 cs.LG cs.SD eess.AS
Audio Tagging With Connectionist Temporal Classification Model Using Sequential Labelled Data
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）
音频标记旨在预测音频片段中的一个或多个标签。许多以前的作品使用弱标记数据（WLD）进行音频标记，其中只有声音事件的存在或不存在是已知的，但声音事件的顺序是未知的。为了使用声音事件的顺序信息，我们提出了顺序标记数据（SLD），其中声音事件的存在或不存在以及顺序信息都是已知的。为了在音频标记中利用SLD，我们提出了一个卷积递归神经网络，然后是连接主义时间分类（CRNN-CTC）目标函数，以从音频片段频谱图映射到SLD。实验表明，CRNN-CTC在音频标记中获得了0.986的曲线下面积（AUC）分数，分别优于最大池化和平均池化的0.908和0.815的基线CRNN。此外，我们展示了CRNN-CTC具有预测音频片段中声音事件的顺序的能力。
2018-08-06 cs.CL cs.SD eess.AS
Pseudo strong labels for large scale weakly supervised audio tagging
Xiaomi Corporation（小米公司）
大规模的音频标记数据集不可避免地包含不完美的标签，例如由于高手动标记成本而没有精确的开和偏移的剪辑式注释（时间上弱）标签。这项工作提出了伪强标签（PSL），一个简单的标签增强框架，提高了大规模弱监督音频标记的监督质量。机器注释器首先在大型弱监督数据集上进行训练，然后为学生模型提供更精细的监督。使用PSL，我们使用MobileNetV2后端实现了Audioset的35.95平衡训练子集的mAP，显著优于没有PSL的方法。提供的分析显示，PSL减轻了标签缺失。最后，我们证明了用PSL训练的模型在推广到Freesound数据集（FSD）方面也优于弱训练的模型。
2022-04-28 cs.SD eess.AS
Improved Zero-Shot Audio Tagging & Classification with Patchout Spectrogram Transformers
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
用于标记和分类声学信号的标准机器学习模型无法处理在训练期间未看到的类。Zero-Shot（ZS）学习通过基于自适应类描述预测类来克服这一限制。本研究旨在研究基于自我注意的音频嵌入架构对ZS学习的有效性。为此，我们将最近的patchout频谱图Transformer与两种经典的卷积架构进行比较。我们在三个任务和三个不同的基准数据集上评估了这三种架构：AudioSet上的通用标记，ESC-50上的环境声音分类和OpenMIC上的仪器标记。我们的研究结果表明，在所有这些设置中，基于自我注意力的嵌入方法都优于两种比较的卷积架构。通过相应地设计训练和测试数据，我们观察到，当训练和新测试类之间的“语义距离”很大时，预测性能会受到显着影响，这种影响值得更详细的调查。
2022-08-24 cs.LG cs.SD eess.AS
GCT: Gated Contextual Transformer for Sequential Audio Tagging
Ghent University（根特大学）；Meta AI；University of Surrey（萨里大学）
音频标注的目的是为音频片段分配预定义的标签，以指示音频事件的类别信息。顺序音频标记（SAT）意味着检测音频事件的类别信息以及它们在音频片段中发生的顺序。大多数现有的SAT方法是基于连接主义的时间分类（CTC）。然而，由于不同时间输出之间的条件独立性假设，CTC不能有效地捕获事件之间的联系。上下文Transformer（cTransformer）通过利用SAT中的上下文信息来解决这个问题。然而，cTransformer在利用上下文信息方面也受到限制，因为它只在推理中使用前向信息。提出了一种具有前后向推理功能的门控上下文Transformer（GCT）。此外，GCT中提出了一个门控上下文多层感知器（GCMLP）块，从结构上提高了cTransformer的性能。在两个真实的音频数据集上的实验表明，GCMLP和FBI相结合的GCT算法的性能优于基于CTC的方法和cTransformer。为了促进SAT的研究，发布了两个数据集的手动注释序列标签。
2022-10-22 cs.SD eess.AS
TranssionADD: A multi-frame reinforcement based sequence tagging model for audio deepfake detection
Transsion（传音）
针对音频深度伪造检测挑战赛（ADD 2023）Track 2的篡改区域定位难题，提出TranssionADD系统，通过适配序列标注任务、数据增强技术及引入多帧检测模块与孤立帧惩罚损失，有效提升了模型的鲁棒性与泛化能力，最终获得第二名。
2023-06-27 cs.LG cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Fictional University（虚构大学）；University of the Imagination（想象大学）
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
Intra-Utterance Similarity Preserving Knowledge Distillation for Audio Tagging
Johns Hopkins University（约翰斯·霍普金斯大学）；Amazon.com Inc.（亚马逊公司）
知识蒸馏（KD）是一个热门的研究领域，用于减少大型模型的大小，同时仍然保持良好的性能。较大教师模型的输出用于指导较小学生模型的训练。鉴于声学事件的重复性，我们建议利用这些信息来调节音频标记的KD训练。这种新的KD方法，“话语内相似性保持KD”（IUSP），显示出有前途的结果的音频标记任务。它是由以前发表的KD方法：“相似性保持KD”（SP）的动机。然而，我们的方法保留了单个输入话语的帧之间的成对相似性，而不是保留小批量内输入之间的成对相似性。我们提出的KD方法IUSP在DCASE 2019任务5数据集上的不同大小的学生模型上显示了对SP的一致改进。相对于SP在基线上的改善，微AUPRC在基线上的改善增加了27.1%至122.4%。
2020-09-03 cs.SD eess.AS
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven（鲁汶大学）
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常，他们在平均教师设置中接受训练，以处理可用数据的异构注释。在这项工作中，我们对改变这些卷积递归神经网络的时间分辨率（可以通过简单地调整其池化操作来完成）如何影响其性能进行了全面的分析。通过使用各种评估指标，我们调查的影响，适应这个设计参数下的几个声音识别的情况下，涉及不同的需求，在时间定位。
2022-09-27 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Streaming Audio Transformers for Online Audio Tagging
Xiaomi Corporation（小米公司）
本文提出流式音频Transformer（SAT），结合ViT架构与Transformer-Xl式分块处理，在2秒和1秒延迟下显著提升Audioset音频标记的mAP，并降低内存与计算开销。
2024-06-10 cs.SD eess.AS
Unified Keyword Spotting and Audio Tagging on Mobile Devices with Transformers
Xiaomi Corperation（小米公司）
关键词识别（KWS）是大多数现代智能助理的核心人机交互前端任务。最近，一个统一的（UniKW-AT）框架已经提出，增加了额外的能力，在音频标记（AT）的形式，KWS模型。然而，以前的工作没有考虑UniKW-AT模型的实际部署，其中模型大小和推理速度等因素比性能更重要。这项工作介绍了三个移动设备部署模型命名为统一的Transformers（UiT）。我们最好的模型在Audioset上达到了34.09的mAP，在公共的Google Speech Commands V1数据集上达到了97.76的准确度。此外，我们基准我们提出的方法在四个移动平台上，揭示了建议的UiT模型可以实现2 - 6倍的加速比对竞争对手MobileNetV 2。
2023-03-03 cs.SD eess.AS
Audio Tagging by Cross Filtering Noisy Labels
National University of Defense Technology（国防科技大学）；University of Surrey（萨里大学）
高质量的标记数据集使深度学习在许多声音分析任务上取得了令人印象深刻的结果。然而，准确地注释大量的音频数据是劳动密集型的，并且在实际设置中数据集可能包含噪声标签。同时，由于其出色的记忆能力，深度神经网络对那些不正确的标记数据具有抵抗力。在本文中，我们提出了一种新的框架，名为交叉过滤器，以打击嘈杂的标签问题的音频标记。多个表示（如Logmel和MFCC）被用作我们的框架的输入，以提供更多的音频补充信息。然后，通过两个神经网络的合作和交互，我们将数据集分为策划和噪声子集，通过增量式地从噪声数据中挑选出可能正确标记的数据。此外，我们的方法利用具有不同损失函数的精选和噪声子集的多任务学习来充分利用整个数据集。噪声鲁棒的损失函数，以减轻不正确的标签的不利影响。在音频标记数据集FSDKaggle2018和FSDKaggle2019上，实证结果表明，与其他竞争方法相比，性能有所提高。在FSDKaggle2018数据集上，我们的方法达到了最先进的性能，甚至超过了集成模型。
2020-07-16 cs.LG cs.SD eess.AS
Semantic Proximity Alignment: Towards Human Perception-consistent Audio Tagging by Aligning with Label Text Description
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education（空天信息安全与可信计算教育部重点实验室）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
本文提出语义邻近对齐（SPA）方法，通过将音频特征与标签文本描述对齐，把声音事件的语义层级和邻近关系注入音频编码器，使音频标记模型的预测更符合人类感知，并在OmAP指标上比仅用独热标签训练的模型提升1.8。
2024-01-16 cs.SD eess.AS
A Comparison of Audio Signal Preprocessing Methods for Deep Neural Networks on Music Tagging
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）；EECS（电子工程与计算机科学学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）
在本文中，我们实证研究了音频预处理对深度神经网络音乐标记的影响。我们进行全面的实验，涉及音频预处理使用不同的时间-频率表示，对数幅度压缩，频率加权和缩放。我们发现，许多常用的输入预处理技术是多余的，除了幅度压缩。
2021-02-22 cs.CV cs.IR cs.LG
Convolutional Gated Recurrent Neural Network Incorporating Spatial Features for Audio Tagging
University of Surrey（萨里大学）
环境音频标记是一个新提出的任务，以预测特定的音频事件在一个块的存在或不存在。基于深度神经网络（DNN）的方法已被成功地用于预测家庭音频场景中的音频标签。在本文中，我们提出使用卷积神经网络（CNN）从梅尔滤波器组（MFB），频谱图甚至原始波形中提取鲁棒的特征用于音频标记。然后级联基于门控递归单元（GRU）的递归神经网络（RNN）以对音频信号的长期时间结构进行建模。为了补充输入信息，辅助CNN被设计为学习立体声录音的空间特征。我们在2016年声学场景和事件的检测和分类（DCASE 2016）挑战的任务4（音频标记）上评估了我们提出的方法。与我们最近的基于DNN的方法相比，所提出的结构可以将开发集上的相等出错率（EER）从0.13降低到0.11。空间特征可以进一步将EER降低到0.10。原始波形的端到端学习性能也相当。最后，在评估集上，我们得到了最先进的性能与0.12 EER，而现有的最好的系统的性能是0.15 EER。
2017-02-24 cs.LG cs.NE cs.SD
musicnn: Pre-trained convolutional neural networks for music audio tagging
Universitat Pompeu Fabra（庞培法布拉大学）；Music Technology Group（音乐技术集团）
发音为“musicnn”，musicnn库包含一组用于音乐音频标记的预先训练的音乐动机卷积神经网络：https://github.com/jordipons/musicnn。这个存储库还包括一些预训练的类似vgg的基线。这些模型可以用作开箱即用的音乐音频标记器、音乐特征提取器或用于迁移学习的预训练模型。我们还提供代码来训练上述模型：https://github.com/jordipons/musicnn-training。该框架还允许实现新的模型。例如，具有基于注意力的输出层（而不是时间池化层）的音乐动机卷积神经网络可以实现音乐音频标记的最先进结果：MagnaTagATune数据集上的90.77 ROC-AUC / 38.61 PR-AUC和百万歌曲数据集上的88.81 ROC-AUC / 31.51 PR-AUC。
2019-09-14 cs.CL cs.SD eess.AS
Polyphonic audio tagging with sequentially labelled data using CRNN with learnable gated linear units
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）
音频标记旨在检测音频记录中发生的声音事件的类型。为了对复音音频录音进行标记，我们提出了基于一种新类型的音频标记数据：顺序标记数据（SLD），在具有可学习门控线性单元的卷积递归神经网络（CRNN）（GLU-CTC）之上使用连接主义时间分类（CTC）损失函数。在GLU-CTC中，CTC目标函数将标签的帧级概率映射到标签的剪辑级概率。为了比较GLU-CTC对声音事件的映射能力，我们训练了一个基于全局最大池的GLU CRNN（GLU-GMP）和一个基于全局平均池的GLU CRNN（GLU-GAP）。我们还比较了建议的GLU-CTC系统与基线系统，这是一个CRNN训练使用CTC损失函数没有GLU。实验表明，GLU-CTC在音频标记中实现了0.882的曲线下面积（AUC）得分，优于GLU-GMP的0.803，GLU-GAP的0.766和基线系统的0.837。也就是说，在与GLU相同的CRNN模型下，CTC映射的性能优于GMP和GAP映射。考虑到两者都基于CTC映射，具有GLU的CRNN优于不具有GLU的CRNN。
2018-11-17 cs.SD eess.AS
UniKW-AT: Unified Keyword Spotting and Audio Tagging
Xiaomi Corperation（小米公司）
在音频研究社区和行业内，关键字定位（KWS）和音频标记（AT）被视为两个不同的任务和研究领域。然而，从技术的角度来看，这两个任务是相同的：它们为一些固定大小的输入音频段预测标签（KWS中的关键字，AT中的声音事件）。这项工作提出了UniKW-AT：联合训练KWS和AT的初步方法。UniKW-AT增强了KWS的噪声鲁棒性，同时还能够预测特定的声音事件，并在声音事件上启用有条件唤醒。我们的方法扩展了AT管道，增加了描述关键字存在的标签。实验在Google Speech Commands V1（GSCV 1）和平衡Audioset（AS）数据集上进行。所提出的MobileNetV 2模型在GSCV 1数据集上实现了97.53%的准确度，在AS评估集上实现了33.4的mAP。此外，我们表明，显着的噪声鲁棒性增益可以观察到在现实世界的KWS数据集，大大优于标准的KWS方法。我们的研究表明，KWS和AT可以合并成一个单一的框架，而不会显着的性能下降。
2022-09-23 cs.SD eess.AS
Zero-shot Learning for Audio-based Music Classification and Tagging
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）；NAVER Corp.（NAVER公司）
基于音频的音乐分类和标记通常基于具有固定标签集的分类监督学习。这本质上不能处理看不见的标签，如新添加的音乐流派或语义词，用户任意选择的音乐检索。零样本学习可以通过利用标签的附加语义空间来解决这个问题，其中关于标签的边信息用于揭示彼此之间的关系。在这项工作中，我们研究了音乐领域的零样本学习，并组织了两种不同的边信息设置。一种是使用基于Free Music Archive和OpenMIC-2018数据集的人工标记属性信息。另一种方法是利用基于Million Song Dataset和Last.fm标签标注的通用词语义信息。考虑到在音乐分类和标签数据集中，音乐曲目通常是多标签的，我们还提出了一个多标签零样本学习的数据分割方案和相关的评估设置。最后，我们报告实验结果，并讨论了零样本学习在音乐领域的有效性和新的可能性。
2020-03-19 cs.LG cs.MM cs.SD
Receptive Field Regularization Techniques for Audio Classification and Tagging with Deep Convolutional Neural Networks
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
在本文中，我们研究了著名的卷积神经网络（CNN）架构的变体在不同音频任务上的性能。我们表明，调整CNN的接收场（RF）对其推广至关重要。RF不足限制了CNN拟合训练数据的能力。相比之下，具有过度RF的CNN往往过拟合训练数据，并且无法推广到看不见的测试数据。随着计算机视觉和其他领域中最先进的CNN架构在层数方面趋于深入，其RF大小增加，因此在若干音频分类和标记任务中性能下降。我们研究了著名的CNN架构以及它们的构建块如何影响它们的感受野。我们提出了几种系统的方法来控制CNN的RF，并在不同的音频分类和标记任务和数据集上系统地测试所产生的架构。实验表明，使用我们提出的方法正则化CNN的RF可以大大提高模型的泛化能力，在更大的数据集上表现出复杂的架构和预训练的模型。提出的CNN在多个任务中实现了最先进的结果，从声学场景分类到音乐中的情感和主题检测，再到乐器识别，正如几个相关挑战（DCASE，MediaEval）中的顶级排名所证明的那样。
2021-05-26 cs.LG cs.NE cs.SD
Melon Playlist Dataset: a public dataset for audio-based playlist generation and music tagging
Universitat Pompeu Fabra（庞培法布拉大学）；Kakao Corp（Kakao公司）
音频信号处理领域的主要限制之一是由于受版权保护的商业音乐的限制，缺乏具有音频表示和高质量注释的大型公共数据集。我们提出了Melon Playlist Dataset，这是一个公共数据集，包含649，091首曲目和148，826个由30，652个不同标签注释的相关播放列表。所有的数据都是从Melon收集的，Melon是一个流行的韩国流媒体服务。该数据集适合于音乐信息检索任务，特别是自动标记和自动播放列表延续。尽管后者可以通过协同过滤方法来解决，但音频为研究轨道建议和构建抗冷启动问题的系统提供了机会，为此我们提供了一个基线。此外，Melon Playlist Dataset中包含的播放列表和注释使其适用于度量学习和表示学习。
2021-01-30 cs.IR cs.LG cs.MM
Comprehensive Evaluation of CNN-Based Audio Tagging Models on Resource-Constrained Devices
Instituto Tecnologico de Informatica（信息技术技术学院）
本文在Raspberry Pi上综合评估多种CNN音频标记模型，包括PANNs、ConvNeXt和MobileNetV3等架构，并通过ONNX转换和24小时连续推理验证了模型选择与优化对保持稳定推理延迟和有效热管理的关键作用。
2025-09-19 cs.AI cs.SD eess.AS
Joint framework with deep feature distillation and adaptive focal loss for weakly supervised audio tagging and acoustic event detection
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）；ByteDance（字节跳动）
一个好的联合训练框架有助于同时提高弱监督音频标记和声学事件检测的性能。在这项研究中，我们提出了三种方法来改进IEEE AASP声学场景和事件检测和分类挑战赛（DCASE）2019任务4中的最佳师生框架，用于音频标记和声学事件检测任务。首先提出了一种基于帧级目标事件的深度特征提取方法，旨在利用弱监督框架中有限的强标记数据来学习更好的中间特征图。然后，我们提出了一个自适应的焦点损失和两个阶段的训练策略，使一个有效的和更准确的模型训练，其中的贡献，硬和容易的声学事件的总代价函数可以自动调整。此外，一个特定的事件后处理的设计，以提高目标事件的时间戳的预测。在公开的DCASE 2019 Task 4数据集上进行了实验，结果表明，该方法在AT（81.2% F1-score）和AED（49.8% F1-score）任务上都取得了较好的性能.
2022-02-12 cs.SD eess.AS
A Joint Framework for Audio Tagging and Weakly Supervised Acoustic Event Detection Using DenseNet with Global Average Pooling
Amazon.com Inc.（亚马逊公司）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
本文提出了一种主要用于音频标记的网络架构，该架构也可用于弱监督声事件检测（AED）。建议的网络由一个修改后的DenseNet作为特征提取器，和一个全局平均池（GAP）层在推理时预测帧级标签。该架构受到Zhou等人提出的工作的启发，一个众所周知的框架，使用GAP来本地化给定图像级标签的视觉对象。虽然大多数弱监督AED的先前工作使用具有基于注意力的机制的递归层来定位声学事件，但所提出的网络使用DenseNet提取的特征图直接定位事件，而无需任何递归层。在DCASE 2017的音频标记任务中，我们的方法在绝对值方面在开发集上的F1得分中显著优于最先进的方法5.3%，在评估集上为6.0%。对于DCASE 2018中的弱监督AED任务，我们的模型通过使用数据增强和tri-training来利用未标记的数据，在绝对值方面，我们的模型在基于事件的F1中的性能优于最先进的方法8.1%，在eval集上的性能优于0.5%。
2020-08-07 cs.SD eess.AS
Robust Audio Tagging under Class-wise Supervision Unreliability
Machine Learning Research Group, Engineering Science, University of Oxford（牛津大学机器学习研究组）；GISP, Harbin Engineering University（哈尔滨工程大学GISP）；EECS, KTH Royal Institute of Technology（皇家理工学院电子工程与计算机科学系）；CVSSP, University of Surrey（萨里大学计算机视觉与模式识别实验室）
本文针对音频标签任务中类依赖性的监督不可靠性问题，提出了一种新的框架CSU，通过在训练过程中控制类级别的监督强度，提高了模型在不同架构和不同监督不可靠性源下的鲁棒性。
2026-05-17 cs.SD eess.AS
LC-Protonets: Multi-Label Few-Shot Learning for World Music Audio Tagging
School of ECE, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院）；Centre for Digital Music, Queen Mary University of London（伦敦玛丽女王大学数字音乐中心）
本文提出 LC-Protonets，通过为标签组合生成原型解决多标签少样本分类问题，并在世界音乐音频标注任务上显著优于现有方法，且无需微调即可取得高性能。
2025-02-08 cs.LG cs.SD eess.AS
Attention and Localization based on a Deep Convolutional Recurrent Model for Weakly Supervised Audio Tagging
University of Surrey（萨里大学）
音频标记旨在对音频块进行多标签分类，这是2016年声学场景和事件检测和分类（DCASE 2016）挑战中新提出的任务。这项任务鼓励研究人员更好地分析和理解网络上大量音频数据的内容。音频标记的难点在于它只有块级标签而没有帧级标签。本文提出了一种弱监督的方法，不仅预测标签，但也表明发生的声学事件的时间位置。注意方案被发现是有效的识别重要帧，而忽略不相关的帧。所提出的框架是一个深度卷积递归模型，具有两个辅助模块：注意力模块和定位模块。在DCASE 2016挑战的任务4上对所提出的算法进行了评估。与卷积递归基线系统相比，评估集的等出错率（EER）从0.13降低到0.11，达到了最先进的性能。
2017-03-17 cs.SD
LHGNN: Local-Higher Order Graph Neural Networks For Audio Classification and Tagging
Queen Mary University of London（伦敦玛丽女王大学）；Meta；Tilburg University（蒂尔堡大学）
针对Transformer难以处理高阶关系的问题，提出局部-高阶图神经网络LHGNN，通过整合局部邻域与模糊C均值聚类高阶数据，在三个音频数据集上以更少参数超越Transformer，并在无ImageNet预训练时优势显著。
2025-01-29 cs.AI cs.SD eess.AS
LabelBuddy: An Open Source Music and Audio Language Annotation Tagging Tool Using AI Assistance
Athens University of Economics and Business（雅典经济与商业大学）；Orfium（Orfium公司）；University of Patras（帕特拉斯大学）；Archimedes/Athena R.C.（阿基米德/雅典研究会）
LabelBuddy是一种开源工具，利用AI辅助进行音乐和音频语言标注，通过容器化后端和多用户共识机制提升音频标注的准确性和效率。
2026-03-04 cs.AI cs.IR cs.LG
Lightweight Systems for Spatial Semantic Segmentation of Sound Scenes
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用实验室）
本文针对DCASE 2025挑战的基线S5系统模型规模过大不适用于嵌入式设备的问题，评估使用轻量级PANNs、DyMNs、SuDoRMRF模型的S5系统性能损失，为轻量级S5系统的构建提供依据。
2026-10-12 cs.SD eess.AS
A Joint Detection-Classification Model for Audio Tagging of Weakly Labelled Data
University of Surrey（萨里大学）
音频标签的目的是为音频片段分配一个或多个标签。大多数数据集都是弱标签的，这意味着只有剪辑的标签是已知的，而不知道标签的出现时间。音频剪辑的标记通常基于剪辑中的音频事件，并且不向用户提供事件级别标签。以前的工作都使用框架袋模型假设标签一直出现，这在实践中是不可能的。我们提出了一个联合检测分类（JDC）模型，同时检测和分类的音频片段。JDC模型有能力关注信息性的声音，而忽略非信息性的声音。然后，只有信息区域用于分类。在“CHiME Home”数据集上的实验结果表明，JDC模型将等出错率（EER）从19.0%降低到16.9%.更有趣的是，音频事件检测器在不需要事件级别标签的情况下成功训练。
2016-10-06 cs.SD
Ontology-aware Learning and Evaluation for Audio Tagging
University of Surrey（萨里大学）；ByteDance（字节跳动）
本研究针对传统mAP指标未考虑声音类别关联、标注模糊致评估不准的问题，提出本体感知评估指标OmAP和损失函数OBCE，均基于本体距离加权，经人工评估和AudioSet任务验证，更符合人类感知且能提升标注性能。
2022-11-22 cs.AI cs.LG cs.SD
Unsupervised Feature Learning Based on Deep Models for Environmental Audio Tagging
University of Surrey（萨里大学）；Queen Mary University of London（伦敦玛丽女王大学）
环境音频标记的目的是预测感兴趣的声学场景中某些声学事件的存在或不存在。本文主要从声学建模和特征学习两个方面对音频标注进行研究。我们建议使用一个包含无监督特征学习的收缩深度神经网络（DNN）框架来处理多标签分类任务。对于声学建模，考虑到只有块（或话语）级而不是帧级标签可用，将块的大的上下文帧集合馈送到DNN中以对预期标签执行多标签分类。为了提高DNN的泛化能力，还采用了丢弃和背景噪声感知训练。对于无监督特征学习，我们建议使用对称或非对称深度去噪自动编码器（sDAE或aDAE）从Mel滤波器组（MFB）特征中生成新的数据驱动特征。这些新特征对背景噪声进行了平滑处理，并且与上下文信息更加紧密，可以进一步提高DNN基线的性能。与DCASE 2016音频标记挑战的标准高斯混合模型（GMM）基线相比，我们提出的方法在开发集上获得了从0.21到0.13的显著相等出错率（EER）降低。与开发集上的强DNN基线相比，所提出的aDAE系统可以获得相对6.7%的EER降低。最后，结果还表明，我们的方法在DCASE 2016音频标注任务的评估集上获得了最先进的性能，EER为0.15，而该挑战赛的一等奖EER为0.17。
2016-11-29 cs.CV cs.LG cs.SD
CED: Consistent ensemble distillation for audio tagging
Xiaomi Corporation（小米集团）
本文提出CED框架，首次结合数据增强与知识蒸馏的一致性教学方法，从大型教师集成模型中蒸馏无标签学生模型，在Audioset上以极低磁盘开销实现高效音频分类。
2023-09-08 cs.SD eess.AS
