Task 1A DCASE 2021: Acoustic Scene Classification with mismatch-devices using squeeze-excitation technique and low-complexity constraint
声场景分类是机器听觉领域的热点问题之一。这个问题的目的是分类的音频剪辑到一个预定义的场景，只使用音频数据。多年来，这个问题在DCASE的不同版本中取得了相当大的进展。它通常有几个子任务，允许用不同的方法来解决这个问题。本报告中提出的子任务对应于ASC问题，该问题受到模型复杂性的限制，并且具有从不同设备（称为失配设备（真实和模拟））记录的音频。本报告中介绍的工作遵循了该小组前几年进行的研究路线。具体而言，提出了一种基于两个步骤的系统：使用Gamamtone滤波器组的音频的二维表示和使用挤压激励技术的卷积神经网络。所提出的系统比基线高出约17个百分点。
2021-07-30 cs.LG cs.SD eess.AS
Low-Complexity Acoustic Scene Classification Using Parallel Attention-Convolution Network
South China University of Technology（华南理工大学）
面向DCASE2023低复杂度声学场景分类任务，提出并行注意力-卷积网络并结合知识蒸馏等技术，以5.21千参数和144万乘加运算达到56.10%准确率。
2024-06-12 cs.SD eess.AS
Sound event detection based on auxiliary decoder and maximum probability aggregation for DCASE Challenge 2024 Task 4
针对DCASE 2024任务4的声音事件检测，提出辅助解码器、最大概率聚合及多通道输入特征三种方法，实现跨数据集与标签类型的均衡性能提升，推动更鲁棒灵活的SED模型发展。
2024-06-24 cs.SD eess.AS
Self-training with noisy student model and semi-supervised loss function for dcase 2021 challenge task 4
Gwangju Institute of Science and Technology（光州科学技术院）
本报告为DCASE 2021挑战任务4提出了一种复音声音事件检测（SED）方法。建议的SED模型由两个阶段组成：一个平均教师模型，用于提供关于弱标记或未标记数据的目标标签，以及一个基于自我训练的嘈杂学生模型，用于预测声音事件的强标签。均值-教师模型基于教师和学生模型的残差卷积递归神经网络（RCRNN），首先使用来自弱标记数据集、未标记数据集和强标记合成数据集的所有训练数据进行训练。然后，训练好的均值-教师模型预测每个弱标记和未标记数据集的强标记，并在所提出的SED模型的第二阶段将其带入噪声学生模型。这里，噪声学生模型的结构与第一阶段中的均值-教师模型的基于RCRNN的学生模型相同。然后，通过添加特征噪声（如时频偏移，mixup，SpecAugment和基于dropout的模型噪声）进行自训练。此外，半监督损失函数被应用于训练噪声学生模型，其充当标签噪声注入。在DCASE 2021 Challenge Task 4的验证集上对所提出的SED模型的性能进行了评估，然后，最终选择了将五重验证模型与半监督损失函数的不同超参数相结合的几个集成模型作为我们的最终模型。
2021-07-06 cs.LG cs.SD eess.AS
Acoustic Scene Classification Using Bilinear Pooling on Time-liked and Frequency-liked Convolution Neural Network
Xylem Inc（赛莱默公司）；Newcastle University（纽卡斯尔大学）
当前处理声学场景分类（ASC）任务的方法可以描述为两个步骤，将音频波形预处理成对数梅尔频谱图，然后将其用作卷积神经网络（CNN）的输入表示。这种范式转变发生在DCASE 2016之后，该框架模型在（ESC-50）数据集上实现了ASC任务的最新结果，并实现了64.5%的准确度，比基线模型提高了20.5%，DCASE 2016数据集的准确度为90.0%（开发）和86.2%（评估），分别比基线系统提高了6.4%和9%。本文探讨了利用谐波和谐波源分离（HPSS）将音频分离为谐波音频和谐波音频的方法，该方法在音乐信息检索（MIR）领域得到了广泛的应用。虽然已经在ASC任务中使用HPSS作为CNN模型的输入表示方面做了工作，但是本文进一步研究了通过策展2个CNN来利用分离的谐波分量和谐波分量的可能性，所述2个CNN试图以其自然形式理解谐波音频和谐波音频，一个专门用于在时间偏置域中提取深度特征，另一个专门用于在频率偏置域中提取深度特征，分别然后，从这2个CNN中提取的深度特征将使用双线性池进行组合。因此，提出了一种时频双流CNN结构的声学场景分类方法。该模型正在DCASE 2019子任务1a数据集上进行评估，并在开发数据集Kaggle Leadership Private and Public Board上平均得分为65%。
2020-02-14 cs.LG cs.SD eess.AS
Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey（萨里大学）
在本文中，我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法，该方法在声学场景和事件的检测和分类（DCASE）2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的，手动标记有一个或几个音频标签，但没有音频事件的时间戳，这被称为弱标记数据。在该挑战中定义了两个子任务，包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元（GLU）非线性的卷积递归神经网络（CRNN），用于对数梅尔谱图。此外，提出了一种时间注意力方法沿帧预测的位置，每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
Guided multi-branch learning systems for sound event detection with sound separation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们详细描述了我们的DCASE 2020任务4系统。该系统基于DCASE 2019任务4的第一名系统，该系统采用弱监督框架，具有基于注意力的嵌入水平池模块和称为引导学习的半监督学习方法。今年，我们将多分支学习（MBL）融入到原始系统中，以进一步提高其性能。MBL使用具有不同池化策略（包括实例级和嵌入级策略）和不同池化模块（包括注意力池化、全局最大池化或全局平均池化模块）的不同分支，这些分支共享模型的相同特征编码器。因此，追求不同目的并关注数据的不同特性的多个分支可以帮助特征编码器更好地对特征空间建模并避免过拟合。为了更好地利用强标记的合成数据，受多任务学习的启发，我们还采用了声音事件检测分支。为了将声音分离（SS）与声音事件检测（SED）相结合，我们将SED系统的结果与使用SS系统输出的分离声音训练的SS-SED系统相融合。实验结果表明，MBL可以提高模型性能，使用SS对提高SED集成系统性能有很大潜力。
2020-11-02 cs.SD eess.AS
FMSG-JLESS Submission for DCASE 2024 Task4 on Sound Event Detection with Heterogeneous Training Dataset and Potentially Missing Labels
Fortemedia Singapore（新加坡富迪美公司）；Northwestern Polytechnical University（西北工业大学）
针对 DCASE 2024 任务4 中异构双源数据集和标签缺失问题，本文提出融合音频变换器与卷积循环神经网络的领域泛化声音事件检测方法，通过 mixstyle、数据集独立损失和边界框后处理提升性能。
2024-06-29 cs.SD eess.AS
Surrey-cvssp system for DCASE2017 challenge task4
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）
在这份技术报告中，我们提出了一系列方法，用于2017年声学场景和事件的检测和分类（DCASE 2017）挑战的任务4。该任务评估系统的大规模检测的声音事件使用弱标记的训练数据。这些数据是YouTube视频摘录，重点是交通和警告，因为它们的行业应用。有两个任务，音频标记和声音事件检测从弱标记的数据。卷积神经网络（CNN）和基于门控递归单元（GRU）的递归神经网络（RNN）作为我们的基本框架。我们提出了一个可学习的门控激活函数选择信息的本地功能。基于注意力的方案用于在弱监督模式下定位特定事件。提出了一种新的批级平衡策略来解决数据不平衡问题。不同系统的后验融合可以有效地提高性能。总之，我们在开发集上获得音频标记子任务的61% F值和声音事件检测子任务的0.73出错率（ER）。而官方的多层感知器（MLP）为基础的基线刚刚获得13.1%的F值的音频标记和1.02的声音事件检测。
2017-11-25 cs.SD
Urban Sound Tagging using Convolutional Neural Networks
FindHotel（FindHotel公司）
在本文中，我们提出了一个框架，环境声音分类在低数据的情况下（少于100个标记的例子，每个类）。我们表明，使用预训练的图像分类模型以及使用数据增强技术的结果在更高的性能比替代方法。我们将该系统应用于DCASE 2019的城市声音标记任务。目标是从原始音频数据中标记不同的噪声源。MobileNetV 2的修改形式，卷积神经网络（CNN）模型被训练以联合分类粗标签和细标签。该模型使用对数尺度梅尔频谱图作为音频数据的表示格式。混合、随机擦除、缩放和移位被用作数据增强技术。使用缩放标签的第二个模型被构建来解释注释中的人为错误。所提出的模型在排行榜上获得了第一名，精细和粗糙标签的Micro-AUPRC值分别为0.751和0.860。
2019-09-27 cs.LG cs.SD eess.AS
Receptive-field-regularized CNN variants for acoustic scene classification
声学场景分类和相关任务一直由卷积神经网络（CNN）主导。性能最好的CNN主要使用音频频谱图作为输入，并主要从计算机视觉中借用其架构设计。最近的一项研究表明，以适当的方式限制CNN的感受野（RF）对于它们在音频任务中的性能，鲁棒性和泛化至关重要。限制CNN的RF的一个副作用是丢失了更多的频率信息。在本文中，我们在DCASE 2019任务1.A数据集上对各种CNN架构的不同RF配置进行了系统研究。其次，我们引入了频率感知CNN来补偿由受限RF引起的频率信息的缺乏，并通过实验确定它们是否以及在什么RF范围内产生额外的改进。这些调查的结果是DCASE 2019挑战赛中不同任务的几个表现良好的提交。
2019-09-05 cs.LG cs.SD eess.AS
Integrating the Data Augmentation Scheme with Various Classifiers for Acoustic Scene Modeling
Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, CAS（中国科学院新疆理化技术研究所）
本技术报告描述了IOA团队提交的DCASE 2019挑战的TASK 1A。我们的声学场景分类（ASC）系统采用了数据增强方案，采用生成对手网络。在该方案中部署了两个主要的分类器，即集成了尺度图特征的1D深度卷积神经网络和集成了Mel滤波器组特征的2D全卷积神经网络。其他方法，如对手城市适应，基于离散余弦变换的时间模块和混合架构，已被开发用于进一步的融合。我们的实验结果表明，最终的融合系统A-D可以在官方提供的折叠1评估数据集上实现高于85%的准确度。
2019-07-15 cs.LG cs.SD eess.AS
Non-Negative Matrix Factorization-Convolutional Neural Network (NMF-CNN) For Sound Event Detection
Newcastle University（纽卡斯尔大学）；Visenti Pte Ltd (A Brand of Xylem)（维森蒂私人有限公司（赛莱默旗下品牌））
今年DCASE挑战的主要科学问题，任务4 -家庭环境中的声音事件检测，是调查实现最佳性能系统所需的数据类型（强标记合成数据，弱标记数据，未标记域数据）。在本文中，我们提出了一种深度学习模型，该模型集成了非负矩阵分解（NMF）和卷积神经网络（CNN）。这种集成的核心思想是使用NMF来为弱标记数据提供近似的强标记。与基线系统相比，这种整合能够实现更高的基于事件的F1评分（评价数据集：30.39% vs. 23.7%，验证数据集：31% vs. 25.8%）。通过将验证结果与其他参与者进行比较，在今年的任务4挑战中，拟议的系统在19个团队（包括基线系统）中排名第8。
2020-01-22 cs.SD eess.AS
A Comparison of deep learning methods for environmental sound
Bosch（博世）
环境声音检测是机器学习的一个具有挑战性的应用，因为信号的噪声性质，以及通常可用的少量（标记的）数据。因此，这项工作提出了几个最先进的深度学习模型对IEEE挑战的声学场景和事件的检测和分类（DCASE）2016挑战任务和数据的比较，将声音分类为十五个常见的室内和室外声学场景之一，如公共汽车，咖啡馆，汽车，市中心，森林路径，图书馆，训练等。13小时的立体声音频记录可用，使其成为可用的最大数据集之一。我们对六组特征进行了实验，包括标准Mel频率倒谱系数（MFCC），双耳MFCC，对数Mel频谱和两个不同的大规模时间池特征提取使用OpenSMILE。在这些特征上，我们应用了五种模型：高斯混合模型（GMM）、深度神经网络（DNN）、递归神经网络（RNN）、卷积深度神经网络（CNN）和i向量。使用后期融合方法，我们在4倍交叉验证（CV）avg中将基线的性能提高了72.5%和15.6%。测试准确率为11%，与DCASE 2016挑战赛的最佳结果相匹配。对于大的特征集，深度神经网络模型优于传统方法，在所有研究的方法中达到最佳性能。与其他工作一致，表现最好的单一模型是非时间DNN模型，我们将其作为证据，证明DCASE挑战中的声音没有表现出强烈的时间动态。
2017-03-20 cs.LG cs.SD
Enhancing Stereo Sound Event Detection with BiMamba and Pretrained PSELDnet
Department of Electrical and Photonics Engineering, Denmark Technical University, Lyngby, Denmark（丹麦技术大学电子与光子工程系）；School of Electrical Engineering, KAIST, Daejeon, Republic of Korea（韩国成均馆大学电气工程学院）
针对基于Transformer的声事件定位与检测模型计算成本高的问题，提出结合预训练PSELDnet与双向Mamba模块的立体声SELD系统，在DCASE2025 Task 3数据集上以更少计算资源超越基线性能。
2025-07-13 cs.SD eess.AS
R-CRNN: Region-based Convolutional Recurrent Neural Network for Audio Event Detection
Amazon Alexa（亚马逊Alexa）
提出了一种基于区域的卷积循环神经网络（R-CRNN）用于音频事件检测（AED）。所提出的网络受到Faster-RCNN的启发，Faster-RCNN是一种用于视觉目标检测的基于区域的卷积网络框架。与原始Faster-RCNN不同，在卷积网络的顶部添加了一个递归层，以从提取的高级特征中捕获长期时间上下文。虽然大多数关于AED的先前工作首先在帧级生成预测，然后使用后处理来从概率序列预测事件的开始/偏移时间戳;所提出的方法直接在事件级生成预测，并且可以在多任务丢失的情况下进行端到端训练，这同时优化了音频事件的分类和定位。该方法在DCASE 2017 Challenge数据集上进行了测试。据我们所知，R-CRNN是所有方法中性能最好的单模型方法，无需在开发集和评估集上使用集成。与其他基于区域的AED网络（R-FCN）相比，基于事件的出错率（ER）为0.18，我们的方法将ER减少到一半。
2018-08-20 cs.SD eess.AS
An Entropy-Guided Curriculum Learning Strategy for Data-Efficient Acoustic Scene Classification under Domain Shift
本文提出一种基于熵的课程学习策略，用于在域偏移下提升声学场景分类的数据效率。
2025-09-14 cs.AI cs.SD
DNN and CNN with Weighted and Multi-task Loss Functions for Audio Event Detection
University of Hamburg（汉堡大学）
本报告介绍了我们为DCASE 2017挑战赛任务2“罕见声音事件检测”提交的音频事件检测系统。所提出的系统基于卷积神经网络（CNN）和深度神经网络（DNN），并结合新的加权和多任务损失函数以及最先进的相位感知信号增强。损失函数是为音频流中的音频事件检测而定制的。加权损失旨在解决背景/前景分类中数据不平衡的常见问题，而多任务损失使网络能够同时对目标事件的类分布和时间结构进行建模以进行识别。我们提出的系统显著优于挑战基线，将F分数从72.7%提高到90.0%，并将开发数据的平均检测出错率从0.53降低到0.18。在评估数据方面，我们提交的文件获得的平均F1分数为88.3%，出错率为0.22，明显优于DCASE基线（即F1分数为64.1%，出错率为0.64）。
2017-10-18 cs.LG cs.SD
Semi-Supervised NMF-CNN For Sound Event Detection
Newcastle University Singapore（新加坡纽卡斯尔大学）；Xylem Water Solution Singapore Pte Ltd（赛莱默新加坡水务解决方案私人有限公司）
本文提出了一种结合非负矩阵分解（NMF）和卷积神经网络（CNN）的音频片段声音事件检测（SED）方法。其主要思想开始于使用NMF来近似弱标记数据的强标记。随后，使用近似的强标记数据，在半监督框架中训练两个不同的CNN，其中一个CNN用于剪辑级预测，另一个用于帧级预测。基于这个想法，我们的模型可以在声学场景和事件的检测和分类（DCASE）2020挑战任务4验证数据集上获得45.7%的基于事件的F1分数。通过对后验输出进行平均来集成模型，基于事件的F1分数可以增加到48.6%。通过与基线模型的比较，我们提出的模型优于基线模型超过8%。通过在DCASE 2020 Challenge Task 4测试集上测试我们的模型，我们的模型可以实现44.4%的基于事件的F1分数，而我们的集成系统可以实现46.3%的基于事件的F1分数。这样的结果在基线系统上具有7%的最小裕度，这证明了我们所提出的方法在不同数据集上的鲁棒性。
2020-09-21 cs.SD eess.AS
Sound Event Localization and Detection Using CRNN on Pairs of Microphones
Massachusetts Institute of Technology（麻省理工学院）；University of Surrey（萨里大学）
本文提出了多通道录音中声音事件的定位和检测方法。该系统是基于两个卷积递归神经网络（CRNN）执行声音事件检测（SED）和到达时间差（TDOA）估计的麦克风阵列中的每对麦克风。在本文中，该系统进行了评估与四麦克风阵列，从而结合从六对麦克风的结果，提供一个最终的分类和3-D的到达波达方向（DOA）估计。结果表明，所提出的方法优于DCASE 2019基线系统。
2019-10-22 cs.SD eess.AS
Forward-Backward Convolutional Recurrent Neural Networks and Tag-Conditioned Convolutional Neural Networks for Weakly Labeled Semi-supervised Sound Event Detection
Paderborn University（帕德博恩大学）
在本文中，我们提出了我们的系统检测和分类的声学场景和事件（DCASE）2020年挑战任务4：声音事件检测和分离在国内环境。我们推出两种新模式：前向-后向卷积递归神经网络（FBCRNN）和标签条件卷积神经网络（CNN）。FBCRNN采用两个共享相同CNN的递归神经网络（RNN）分类器进行预处理。一个RNN在前向方向上处理记录，另一个在后向方向上处理记录，这两个网络被训练来联合预测音频标签，即，弱标签，在记录内的每个时间步，因为在每个时间步它们已经联合处理了整个记录。所提出的训练鼓励分类器尽快标记事件。因此，在训练之后，网络可以应用于较短的音频段，例如，200 ms，允许声音事件检测（SED）。此外，我们提出了一个标签条件CNN，以补充SED。它被训练为在使用（预测的）标签的同时预测强标签，即，弱标签，作为额外的输入。对于训练，使用来自FBCRNN系综的伪强标签。该系统在系统和团队排名中分别获得第四名和第三名。随后的改进使我们的系统甚至超过挑战基线和赢家系统的平均，分别为18.0%和2.2%的基于事件的F1分数的验证集。源代码可在https://github.com/fgnt/pb_sed上公开获取。
2021-03-11 cs.SD eess.AS
Detecting Sound Events Using Convolutional Macaron Net With Pseudo Strong Labels
Newcastle University（纽卡斯尔大学）
在本文中，我们提出了解决缺乏强标记数据使用伪强标记数据近似卷积非负矩阵分解。使用这组数据，我们然后训练一个新的架构，称为卷积马卡龙网（CMN），它结合了卷积神经网络（CNN）与MN，在半监督的方式。我们不是只训练单个模型或使用均值-教师方法，而是使用课程一致性成本和课程内插一致性成本同步训练两个不同的CMN。在推理阶段，其中一个模型将提供帧级预测，而另一个模型将提供剪辑级预测。基于我们提出的框架，我们的系统比声学场景和事件的检测和分类（DCASE）2020挑战任务4的基线系统的性能高出10%以上。通过与DCASE 2019挑战赛的顶级提交相比，我们的系统精度也高出1.8%。另一方面，与DCASE 2020的顶级提交相比，即使使用更少的Transformer编码层，我们的准确率也略高0.3%。我们的系统在看不见的YouTube评估数据集上保持稳健，与DCASE 2019和基线系统的顶级提交相比，获胜率分别为0.6%和6.3%。
2021-08-02 cs.SD eess.AS
Frequency-aware convolution for sound event detection
Kuaishou Technology（快手科技）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对声音事件检测中CNN因平移等变性对频率维度偏移不敏感、现有FDY模型参数量大的问题，提出频率感知卷积FAC，通过自注意力缩放的频率位置编码向量融入信息，在DCASE 2023任务4上以极少新增参数达到与FDY相当的性能。
2024-10-28 cs.SD eess.AS
Receptive Field Regularization Techniques for Audio Classification and Tagging with Deep Convolutional Neural Networks
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
在本文中，我们研究了著名的卷积神经网络（CNN）架构的变体在不同音频任务上的性能。我们表明，调整CNN的接收场（RF）对其推广至关重要。RF不足限制了CNN拟合训练数据的能力。相比之下，具有过度RF的CNN往往过拟合训练数据，并且无法推广到看不见的测试数据。随着计算机视觉和其他领域中最先进的CNN架构在层数方面趋于深入，其RF大小增加，因此在若干音频分类和标记任务中性能下降。我们研究了著名的CNN架构以及它们的构建块如何影响它们的感受野。我们提出了几种系统的方法来控制CNN的RF，并在不同的音频分类和标记任务和数据集上系统地测试所产生的架构。实验表明，使用我们提出的方法正则化CNN的RF可以大大提高模型的泛化能力，在更大的数据集上表现出复杂的架构和预训练的模型。提出的CNN在多个任务中实现了最先进的结果，从声学场景分类到音乐中的情感和主题检测，再到乐器识别，正如几个相关挑战（DCASE，MediaEval）中的顶级排名所证明的那样。
2021-05-26 cs.LG cs.NE cs.SD
KU Leuven（鲁汶大学）
In this technical report, the systems we submitted for subtask 4 of the DCASE 2021 challenge, regarding sound event detection, are described in detail. These models are closely related to the baseline provided for this problem, as they are essentially convolutional recurrent neural networks trained in a mean teacher setting to deal with the heterogeneous annotation of the supplied data. However, the time resolution of the predictions was adapted to deal with the fact that these systems are evaluated using two intersection-based metrics involving different needs in terms of temporal localizatio…
2022-10-18 cs.SD eess.AS
Sound Event Localization and Detection using Squeeze-Excitation Residual CNNs
Visualfy（Visualfy公司）；Universitat de València（瓦伦西亚大学）
声音事件定位与检测（SELD）是一个与机器听觉领域相关的问题，其目标是识别单个声音事件，检测它们的时间活动，并估计它们的空间位置。由于出现了更多的硬标记音频数据集，深度学习技术已经成为最先进的解决方案。最常见的是那些实现卷积递归网络（CRNN）的方法，该卷积递归网络先前已将音频信号转换为多通道2D表示。挤压激励技术可以被认为是一种卷积增强，其目的是独立地学习空间和通道特征图，而不是像标准卷积那样一起学习。这通常通过组合一些全局聚类算子、线性算子以及块输入与其学习关系之间的最终校准来实现。这项工作旨在通过在CRNN的卷积部分中添加残余挤压激励（SE）块来提高DCASE 2020任务3中提出的基线CRNN的准确性结果。接下来的过程涉及对残差SE块的比率参数（用于线性关系）进行网格搜索，而网络的超参数与基线保持相同。实验表明，通过简单地引入剩余SE块，所获得的结果能够大大改善基线。
2021-07-30 cs.SD eess.AS
Convolutional Gated Recurrent Neural Network Incorporating Spatial Features for Audio Tagging
University of Surrey（萨里大学）
环境音频标记是一个新提出的任务，以预测特定的音频事件在一个块的存在或不存在。基于深度神经网络（DNN）的方法已被成功地用于预测家庭音频场景中的音频标签。在本文中，我们提出使用卷积神经网络（CNN）从梅尔滤波器组（MFB），频谱图甚至原始波形中提取鲁棒的特征用于音频标记。然后级联基于门控递归单元（GRU）的递归神经网络（RNN）以对音频信号的长期时间结构进行建模。为了补充输入信息，辅助CNN被设计为学习立体声录音的空间特征。我们在2016年声学场景和事件的检测和分类（DCASE 2016）挑战的任务4（音频标记）上评估了我们提出的方法。与我们最近的基于DNN的方法相比，所提出的结构可以将开发集上的相等出错率（EER）从0.13降低到0.11。空间特征可以进一步将EER降低到0.10。原始波形的端到端学习性能也相当。最后，在评估集上，我们得到了最先进的性能与0.12 EER，而现有的最好的系统的性能是0.15 EER。
2017-02-24 cs.LG cs.NE cs.SD
Hodge and Podge: Hybrid Supervised Sound Event Detection with Multi-Hot MixMatch and Composition Consistence Training
Fujitsu Research and Development Center（富士通研究开发中心）
在本文中，我们提出了一种称为Hodge和Podge的声音事件检测方法。我们在声学场景和事件的检测和分类（DCASE）2019挑战任务4的数据集上演示了Hodge和Podge。该任务旨在预测家庭环境中声音事件的存在或不存在以及开始和结束时间。声音事件检测由于缺乏大规模真实强标记数据而具有挑战性。最近，深度半监督学习（SSL）已被证明在弱标记和未标记数据的建模中是有效的。这项工作探讨了如何扩展深度SSL，以产生一种新的、最先进的声音事件检测方法，称为Hodge和Podge。以卷积递归神经网络（CRNN）为骨干网络，首先引入多尺度挤压激励机制，生成金字塔挤压激励CRNN。金字塔挤压激励层可以关注不同声音事件具有不同持续时间的问题，并且自适应地重新校准声道频谱图响应。此外，为了弥补缺乏真正的强标记数据的问题，我们提出了多热MixMatch和成分一致性训练与时频增强。我们对公开的DCASE2019挑战任务4验证数据的实验结果是基于事件的F分数为43.4%，比挑战中的最先进方法绝对好1.6%。而官方基线的F值为25.8%。
2020-02-13 cs.SD eess.AS
Cosine-similarity penalty to discriminate sound classes in weakly-supervised sound event detection
IRIT, Université Paul Sabatier, CNRS（图卢兹第三大学计算机研究所、图卢兹第三大学、法国国家科学研究中心）
设计新的方法和模型时，只有弱标记的数据是至关重要的，以减少人工注释的成本和相当大的人力与it. In这项工作中，我们解决声音事件检测的情况下，弱注释的数据集可用于训练。弱注释提供音频事件的标签，但不提供时间边界。目标有两个：1）音频标记，即在记录级的多标签分类，2）声音事件检测，即记录内事件边界的定位。这项工作主要集中在第二个目标。我们探索了一种受多实例学习启发的方法，在该方法中，我们训练卷积递归神经网络以在帧级进行预测，使用基于弱标签和基于帧的预测统计数据的自定义损失函数。由于这种方法无法区分某些声音类别，因此我们通过在训练期间惩罚阳性类别预测之间的相似性来改进该方法。在DCASE 2018挑战赛中使用的测试集上，由288个录音和10个声音类别组成，添加惩罚导致本地化F分数为34.75%，与不使用惩罚相比，相对提高了10%。我们的最佳模型在DCASE-2018官方Eval子集上获得了26.20%的F分数，接近10系统集成方法，该方法在挑战中以29.9%的F分数排名第二。
2019-04-01 cs.SD eess.AS
Deep Within-Class Covariance Analysis for Robust Audio Representation Learning
LIT AI Lab（LIT人工智能实验室）
卷积神经网络（CNN）可以学习有效的特征，尽管当数据的分布从训练数据变为测试数据时，CNN的性能会下降。在本文中，我们分析了CNN的内部表示，并观察到与训练数据的表示相比，每个类别中不可见数据的表示在CNN的嵌入空间中传播得更多（具有更高的方差）。更重要的是，如果看不见的数据来自移动的分布，这种差异会更加极端。基于这一观察，我们通过对CNN内部表示的类内协方差进行特征值分解，客观地评估了每个类中表示的方差程度，并观察到相同的行为。这可能是有问题的，因为如果样本跨越其类别的决策边界，则较大的方差可能导致错误分类。我们对表示应用最近邻分类，并根据经验表明，具有高方差的嵌入实际上具有显着更差的KNN分类性能，尽管这无法从其端到端分类结果中预见。为了解决这个问题，我们提出了深度类内协方差分析（DWCCA），这是一个深度神经网络层，可以显著降低DNN表示的类内协方差，从而提高移动分布中看不见的测试数据的性能。我们在声学场景分类的两个数据集（DCASE2016和DCASE2017）上经验性地评估了DWCCA。我们证明，DWCCA不仅显着提高了网络的内部表示，它也增加了端到端的分类精度，特别是当测试集表现出分布偏移。通过将DWCCA添加到VGG网络，我们在分布不匹配的情况下实现了约6个百分点的改进。
2018-11-30 cs.AI cs.LG cs.SD
Event-Independent Network for Polyphonic Sound Event Localization and Detection
University of Surrey（萨里大学）；ByteDance（字节跳动）
复调声音事件定位与检测不仅仅是检测正在发生的声音事件，而是定位相应的声源。这一系列任务首次在DCASE 2019任务3中引入。在2020年，声音事件定位和检测任务在移动声源和重复事件情况下引入了额外的挑战，其中包括具有两个不同到达方向（DoA）角度的两个相同类型的事件。本文提出了一种新的事件无关网络用于多音事件定位和检测。与我们在DCASE 2019任务3中提出的两阶段方法不同，这个新网络是完全端到端的。网络的输入是一阶Ambisonics（FOA）时域信号，然后将其馈送到1-D卷积层以提取声学特征。然后，网络被分成两个并行的分支。第一分支用于声音事件检测（SED），并且第二分支用于DoA估计。网络中有三种类型的预测：SED预测、DoA预测和事件活动检测（EAD）预测，它们用于组合SED和DoA特征以进行开始和结束估计。所有这些预测都具有两个轨迹的格式，表明最多有两个重叠的事件。在每一个轨迹中，最多只能有一个事件发生。这种架构引入了轨道排列的问题。为了解决这个问题，使用帧级置换不变训练方法。实验结果表明，该方法可以检测出复调声音事件及其对应的DOA。在Task 3数据集上的性能与基线方法相比有了很大的提高。
2020-09-30 cs.SD eess.AS
Sound event detection using weakly-labeled semi-supervised data with GCRNNS, VAT and Self-Adaptive Label Refinement
Graz University of Technology（格拉茨工业大学）
在本文中，我们提出了一种基于门控卷积递归神经网络的方法来解决DCASE 2018挑战的任务4，即国内环境中的大规模弱标记半监督声音事件检测。门控线性单元和时间注意层被用于预测10秒长的音频片段中的声音事件的开始和偏移。因此，对于训练，仅使用弱标记的数据。虚拟对抗训练用于正则化，利用标记和未标记的数据。此外，我们还引入了自适应标签细化，这种方法允许我们训练的系统进行无监督自适应，以提高帧级类预测的准确性。所提出的系统达到了整体宏观平均基于事件的F-分数为34.6%，导致在基线系统的20.5%的相对改善。
2018-10-16 cs.SD eess.AS
Acoustic scene classification using convolutional neural network and multiple-width frequency-delta data augmentation
Seoul National University（首尔大学）；Advanced Institutes of Convergence Technology（先进融合技术研究院）
近年来，神经网络方法已经在许多应用领域显示出优于传统手工特征的性能。特别地，卷积神经网络（ConvNets）利用跨输入数据的空间局部相关性来改善音频处理任务的性能，诸如语音识别、和弦识别和起始点检测。在这里，我们将ConvNet应用于声学场景分类，并表明通过在频域中使用delta特征可以进一步降低出错率。我们提出了一种多宽度频率增量（MWFD）数据增强方法，使用静态梅尔频谱图和频率增量功能作为单独的输入示例。此外，我们描述了一种为MWFD增强设计的ConvNet输出聚合方法，折叠平均聚合，它首先使用乘法将来自同一分析窗口的静态和MWFD特征的输出概率结合起来，而不是取所有输出概率的平均值。我们使用DCASE 2016挑战数据集描述了计算结果，该数据集显示ConvNet的性能优于具有手工制作功能和深度神经网络方法的基线系统约7%。使用MWFD增强和折叠平均聚集进一步提高了性能（5.7%）。该系统表现出的分类准确率为0.831时，分类15声场景。
2016-07-08 cs.SD
While many deep learning methods on other domains have been applied to sound event detection (SED), differences between original domains of the methods and SED have not been appropriately considered so far. As SED uses audio data with two dimensions (time and frequency) for input, thorough comprehension on these two dimensions is essential for application of methods from other domains on SED. Previous works proved that methods those address on frequency dimension are especially powerful in SED. By applying FilterAugment and frequency dynamic convolution those are frequency dependent methods pr…
2022-06-23 eess.AS
Data-Balanced Curriculum Learning for Audio Question Answering
Maastricht University（马斯特里赫特大学）
针对音频问答中数据集不平衡与训练不稳定问题，提出结合课程学习与统计数据平衡的方法，通过难度标注、过滤与引导解码，在DCASE 2025基准上准确率达64.2%，较基线提升11.7%。
2025-07-09 cs.SD eess.AS
A Dataset of Reverberant Spatial Sound Scenes with Moving Sources for Sound Event Localization and Detection
Tampere University（坦佩雷大学）
本报告介绍了DCASE 2020挑战赛的声音事件定位和检测（SELD）任务的数据集和评估设置。SELD任务是指试图同时对一组已知的声音事件类别进行分类，检测它们的时间激活，并在它们活跃时估计它们的空间方向或位置的问题。为了训练和测试SELD系统，需要在真实声学条件下发生的不同声音事件的数据集。与之前的挑战相比，DCASE 2020创建了一个更加复杂的数据集。两个关键的区别是更多样化的声学条件和动态条件，即移动源。空间声音场景是使用以连续方式捕获的真实房间脉冲响应与缓慢移动的激励源创建的。静态和运动的声音事件都是从它们合成的。现场记录的环境噪声被添加以完成场景记录的生成。基线SELD方法基于卷积递归神经网络伴随数据集，为任务提供基准分数。基线是上一个挑战中使用的基线的更新版本，具有输入功能和训练修改以提高其性能。
2020-06-27 cs.SD eess.AS
Sample Mixed-Based Data Augmentation for Domestic Audio Tagging
National University of Defense Technology（国防科技大学）；University of Surrey（萨里大学）
近十年来，音频标签技术受到越来越多的关注，在许多领域有着广泛的应用前景。音频标记的目的是预测音频片段的标签。最近，深度学习方法已被应用于音频标记，并取得了最先进的性能，这提供了对新数据的泛化能力差。然而，由于音频标记数据（如DCASE数据）的大小有限，训练的模型往往会导致网络的过拟合。以前的数据增强方法，如音高移位，时间拉伸和添加背景噪声，并没有显示出很大的改善音频标记。本文研究了国内音频标注任务中的样本混合数据增强，包括混合、样本配对和外推。我们应用卷积递归神经网络（CRNN）与注意力模块与对数缩放梅尔频谱作为基线系统。在我们的实验中，我们使用混合方法在DCASE 2016 task4数据集上实现了0.10的等出错率（EER），优于没有数据增强的基线系统。
2018-08-12 cs.SD eess.AS
Dynamic Kernel Convolution Network with Scene-dedicate Training for Sound Event Localization and Detection
本文面向真实空间声场景下的SELD任务，提出融合动态核卷积、多轨ACCDOA、SELDnet与EINv2及场景专用训练和数据增强的系统，在DCASE任务中以0.348分超越现有SOTA。
2023-07-17 eess.AS
Exploring Audio-Visual Information Fusion for Sound Event Localization and Detection In Low-Resource Realistic Scenarios
本研究针对低资源场景下的声音事件定位与检测问题，提出跨模态师生学习框架、两阶段视听融合策略及视频像素交换增强技术，在DCASE 2023挑战赛SELD任务中取得第一名。
2024-06-21 eess.AS eess.SP
