Robust Bioacoustic Detection via Richly Labelled Synthetic Soundscape Augmentation
Department of Mechanical Engineering, University of Canterbury（坎特伯雷大学机械工程系）；Institute of Biosciences, Sao Paulo State University (UNESP)（圣保罗州立大学生物学院）
针对被动声学监测标注数据稀缺问题，提出由有限源材料生成带动态标签合成音景的框架，证明其可训练出泛化良好的鲁棒生物声学检测器。
2025-07-22 cs.SD eess.AS
Sound Event Localization and Detection Using Activity-Coupled Cartesian DOA Vector and RD3net
Sony Corporation（索尼公司）
本报告描述了我们提交给DCASE 2020任务3：声音事件定位和检测（SELD）的系统。我们考虑两个系统：一个是同时解决声音事件定位（SEL）和声音事件检测（SED）的单级系统，另一个是首先单独处理SED和SEL任务，然后将这些结果组合起来的两级系统。作为单阶段系统，我们提出了一个统一的训练框架，使用一个活动耦合的笛卡尔DOA向量~（ACCDOA）表示作为一个单一的目标，为SED和SEL任务。为了有效地估计声音事件的位置和活动，我们进一步提出了RD 3 Net，它结合了具有密集跳跃连接和膨胀的递归和卷积层。为了推广模型，我们应用了三种数据增强技术：均衡混合数据增强（EMDA），一阶Ambisonic~（FOA）信号的旋转和SpecAugment的多通道扩展。我们的系统比基线系统有了显著的改进。
2020-10-08 cs.SD eess.AS
Deep Convolutional Neural Networks and Data Augmentation for Environmental Sound Classification
New York University（纽约大学）
深度卷积神经网络（CNN）学习区分性频谱-时间模式的能力使其非常适合环境声音分类。然而，标记数据的相对稀缺阻碍了这一系列高容量模型的开发。这项研究有两个主要贡献：首先，我们提出了一个深度卷积神经网络架构的环境声音分类。其次，我们提出使用音频数据增强来克服数据稀缺的问题，并探索不同增强对所提出的CNN架构的性能的影响。结合数据增强，所提出的模型产生国家的最先进的结果，环境声音分类。我们表明，改进的性能源于深度，高容量模型和增强训练集的组合：这种组合优于没有增强的拟议CNN和增强的“浅”字典学习模型。最后，我们研究了每个增强对每个类别的模型的分类精度的影响，并观察到每个类别的精度受到每个增强的不同影响，这表明通过应用类条件数据增强可以进一步提高模型的性能。
2016-11-28 cs.CV cs.LG cs.NE
RCT: Random Consistency Training for Semi-supervised Sound Event Detection
Centre for Speech Technology Research (CSTR), University of Edinburgh（爱丁堡大学语音技术研究中心）
针对声事件检测的数据缺乏问题，本文提出随机一致性训练（RCT）策略，通过融合自一致性损失、硬混合数据增强和随机增强方案稳定模型训练，在半监督学习下取得优于常用策略的效果。
2022-03-27 cs.LG cs.SD eess.AS
Heavily Augmented Sound Event Detection utilizing Weak Predictions
Korea Advanced Institute of Science and Technology（韩国科学技术院）
大规模强标记数据集的生成困难极大地限制了声音事件检测（SED）系统的性能。在这项工作中，我们使用了两种主要方法来克服缺乏强标记数据的问题。首先，我们在输入特征上应用了大量的数据增强。所使用的数据增强方法不仅包括语音/音频域中使用的传统方法，还包括我们提出的名为FilterAugment的方法。其次，我们提出了两种方法来利用弱预测，以提高弱监督SED性能。因此，我们在DESED真实验证数据集上获得了0.4336的最佳PSDS 1和0.8161的最佳PSDS 2。这项工作提交给DCASE 2021 Task 4，并排名第三位。可用代码：https://github.com/frednam93/FilterAugSED。
2021-09-14 cs.SD eess.AS
SoundCLR: Contrastive Learning of Representations For Improved Environmental Sound Classification
University of South Carolina（南卡罗来纳大学）
环境声音分类（ESC）是非语音音频处理中一个具有挑战性的研究领域。目前ESC的大部分研究都集中在设计具有针对特定音频数据集定制的特殊架构的深度模型，这通常无法利用数据中的固有模式。然而，最近的研究令人惊讶地表明，在ImageNet上训练的模型的迁移学习是ESC中非常有效的技术。在这里，我们提出了Soundcloud，一种有监督的对比学习方法，用于有效的环境声音分类，具有最先进的性能，其工作原理是学习表示，将每个类别的样本与其他类别的样本分开。我们的深度网络模型是通过将有助于分类层输出更好概率的对比损失与分类器层输出上的交叉熵损失相结合来训练的，以将样本映射到其各自的1-hot编码标签。由于可用的环境声音数据集的尺寸相对较小，我们提出并利用迁移学习和强大的数据增强管道，并在将声音信号及其对数梅尔频谱图输入到模型之前对其进行增强。我们的实验表明，我们的掩蔽基于对数梅尔谱图的增强技术可以显着提高识别性能。我们广泛的基准测试实验表明，我们的混合深度网络模型在三个基准数据集ESC-10，ESC-50和US 8 K上实现了最先进的性能，验证准确率分别为99.75%，93.4%和86.49%。我们模型的集成版本也优于其他顶级集成方法。该代码可在https://github.com/alireza-nasiri/SoundCLR上获得。
2021-03-02 cs.LG cs.SD eess.AS
SpecMix : A Mixed Sample Data Augmentation method for Training withTime-Frequency Domain Features
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
提出了一种混合样本数据增强策略来增强模型在音频场景分类、声音事件分类和语音增强任务上的性能。虽然已经有几种增强方法被证明在提高图像分类性能方面是有效的，但是它们对音频的时频域特征的功效并不被保证。我们提出了一种新的音频数据增强方法命名为“Specmix”专门设计用于处理时频域功能。增强方法包括通过应用有效地保留每个音频样本的频谱相关性的时间-频率掩模来混合两个不同的数据样本。我们的声学场景分类，声音事件分类和语音增强任务的实验表明，所提出的Specmix提高了各种神经网络架构的性能最高为2.7%。
2021-08-06 cs.SD
Overview of Tasks and Investigation of Subjective Evaluation Methods in Environmental Sound Synthesis and Conversion
Ritsumeikan University（立命馆大学）；LINE Corporation（LINE公司）；The University of Tokyo（东京大学）
合成和转换环境声音具有许多应用的潜力，例如支持电影和游戏制作、用于声音事件检测和场景分类的数据增强。关于合成和转换环境声音的常规工作是基于物理建模或级联方法。然而，有有限数量的作品，解决了环境声音合成和转换与统计生成模型，因此，这一研究领域还没有很好地组织。本文综述了环境声音合成和转换的问题定义、应用和评价方法。然后，我们报告使用声音事件标签的环境声音合成，其中我们专注于统计环境声音合成的当前性能，并调查我们应该如何进行主观实验环境声音合成。
2019-08-27 cs.SD eess.AS
Urban Sound Tagging using Convolutional Neural Networks
FindHotel（FindHotel公司）
在本文中，我们提出了一个框架，环境声音分类在低数据的情况下（少于100个标记的例子，每个类）。我们表明，使用预训练的图像分类模型以及使用数据增强技术的结果在更高的性能比替代方法。我们将该系统应用于DCASE 2019的城市声音标记任务。目标是从原始音频数据中标记不同的噪声源。MobileNetV 2的修改形式，卷积神经网络（CNN）模型被训练以联合分类粗标签和细标签。该模型使用对数尺度梅尔频谱图作为音频数据的表示格式。混合、随机擦除、缩放和移位被用作数据增强技术。使用缩放标签的第二个模型被构建来解释注释中的人为错误。所提出的模型在排行榜上获得了第一名，精细和粗糙标签的Micro-AUPRC值分别为0.751和0.860。
2019-09-27 cs.LG cs.SD eess.AS
Spatial Scaper: A Library to Simulate and Augment Soundscapes for Sound Event Localization and Detection in Realistic Rooms
Music and Audio Research Laboratory, New York University（纽约大学音乐与音频研究实验室）；Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院）
本文提出SpatialScaper库，通过参数化虚拟房间与增强流程生成SELD数据，并在DCASE数据上验证声学多样性可提升模型鲁棒性。
2024-01-19 cs.LG cs.SD eess.AS
HODGEPODGE: Sound event detection based on ensemble of semi-supervised learning methods
Fujitsu Research and Development Center（富士通研究开发中心）；Shuangfeng First（双峰第一）
在本文中，我们提出了一种名为HODGEPODGE \footnotemark [1]的方法，用于使用弱标记，合成和未标记的数据来大规模检测声音事件，该数据在声学场景和事件的检测和分类（DCASE）2019挑战任务4中提出：国内环境中的声音事件检测。为了执行这项任务，我们采用卷积递归神经网络（CRNN）作为我们的骨干网络。为了处理少量标记数据和大量未标记的域内数据，我们的目标主要集中在如何有效地应用半监督学习方法，以充分利用有限的数据。在我们的系统中使用了三个半监督学习原则，包括：1）一致性正则化应用数据增强; 2）MixUp正则化器要求两个输入的插值预测接近每个输入的预测插值; 3）MixUp正则化应用于数据增强之间的插值。我们还尝试了各种模型的集成，这些模型是通过使用不同的半监督学习原则进行训练的。我们提出的方法显着提高了基线的性能，实现了42.0%的基于事件的f-测量相比，25.8%的基于事件的f-测量的基线在提供的官方评估数据集。我们的参赛作品在任务4的18支队伍中排名第三。
2019-07-17 cs.SD eess.AS
Visual onoma-to-wave: environmental sound synthesis from visual onomatopoeias and sound-source images
National Institute of Technology, Tokuyama College（德山国立技术学院）；The University of Tokyo（东京大学）；Doshisha University（同志社大学）；Ritsumeikan University（立命馆大学）
我们提出了一种方法来合成环境声音从视觉上表示拟声词和声源。拟声词是一个模仿声音结构的词，即，声音的文本表示。从这个角度来看，拟声词到波已经被提出来合成环境声音从所需的拟声词文本。拟声词还有另一种表现形式：漫画、广告和虚拟现实中声音的视觉-文本表现形式。视觉拟声词（拟声词的视觉文本）包含文本中不存在的丰富信息，例如图像的长短持续时间，因此使用这种表示法有望合成不同的声音。因此，我们提出了视觉拟声到波的环境声音合成从视觉拟声。该方法可以将视觉文本和声源图像的视觉概念转换为合成声音。我们还提出了一个数据增强的方法，侧重于拟声词的重复，以提高我们的方法的性能。实验结果表明，该方法可以从视觉文本和声源图像合成不同的环境声音。
2022-10-17 cs.SD eess.AS
Effective Pre-Training of Audio Transformers for Sound Event Detection
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
针对帧级声音事件检测任务，提出包含平衡采样器、强数据增强和集成知识蒸馏的音频Transformer预训练流程，在AudioSet及下游任务上性能显著提升并发布可直接微调的检查点。
2024-11-28 cs.SD eess.AS
Acoustic Scene Classification Using Multichannel Observation with Partially Missing Channels
Doshisha University（同志社大学）
使用智能手机或物联网设备录制的声音通常会有部分不可靠的观测结果，这些观测结果是由削波、风噪声以及由于麦克风故障和网络数据传输中的数据包丢失而导致的完全缺失部分造成的。在本文中，我们调查的影响，部分缺失的通道上的声学场景分类的性能，使用多通道音频记录，特别是分布式麦克风阵列。观测数据缺失不仅会导致声源时频和空间信息的丢失，还会导致训练模型与评估数据之间的不匹配。因此，我们研究如何丢失的通道影响声学场景分类的性能详细。我们还提出了简单的数据增强方法，场景分类使用多通道观测与部分丢失的通道，并使用数据增强方法的场景分类性能进行评估。
2021-05-05 cs.SD eess.AS
Multi-stream Network With Temporal Attention For Environmental Sound Classification
Amazon AI（亚马逊人工智能）
环境声音分类系统通常不能在不同的声音分类任务和不同时间结构的音频信号上稳健地执行。我们介绍了一个多流卷积神经网络的时间注意力，解决这些问题。该网络依赖于由原始音频和频谱特征组成的三个输入流，并利用根据随时间的能量变化计算的时间注意力函数。训练和分类利用决策融合和包含不确定性的数据增强技术。我们在三个常用的环境声音和音频场景分类数据集上评估了该网络，并在网络架构或前端预处理没有任何变化的情况下实现了新的最先进的性能，从而展示了更好的通用性。
2019-01-24 cs.MM cs.SD eess.AS
Unsupervised Feature Learning for Environmental Sound Classification Using Weighted Cycle-Consistent Generative Adversarial Network
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
在本文中，我们提出了一种新的环境声音分类方法，结合无监督的特征学习的码本通过球形$K$ -Means++算法和一个新的架构，高层次的数据增强。使用离散小波变换（DWT）将音频信号变换成2D表示。然后通过一种新的周期一致性生成对抗网络架构来增强DWT谱图。这种高级增强引导通过将结构特征从样本转换到样本来以类内和类间方式生成谱图。采用加速鲁棒特征检测器（SURF）和K-Means++算法对小波变换谱图进行编码，建立码书。随机森林是我们最终的学习算法，它从码本中的聚类码字中学习环境声音分类任务。在四个基准环境声音数据集（ESC-10，ESC-50，UrbanSound 8 k和DCASE-2017）中的实验结果表明，所提出的分类方法优于该范围内的最先进的分类器，包括高级和密集的卷积神经网络，如AlexNet和GoogLeNet，根据数据集的不同，分类率提高了3.51%至14.34%。
2019-11-25 cs.LG cs.SD eess.AS
Improving Polyphonic Sound Event Detection on Multichannel Recordings with the Sørensen-Dice Coefficient Loss and Transfer Learning
Nanyang Technological University（南洋理工大学）
Sørensen-Dice Coefficient最近作为损失函数（也称为Dice loss）越来越受欢迎，因为它在负样本数量显著超过正样本数量的任务中具有鲁棒性，例如语义分割，自然语言处理和声音事件检测。具有二进制交叉熵损失的复调声音事件检测系统的常规训练通常导致次优检测性能，因为训练通常被来自负样本的更新淹没。在本文中，我们研究了Dice损失，模态内和模态间迁移学习，数据增强和记录格式对多通道输入的复调声音事件检测系统性能的影响。我们的分析表明，在F1得分和错误率方面，使用Dice损失训练的复音声音事件检测系统在不同的训练设置和记录格式中始终优于使用交叉熵损失训练的系统。我们通过使用迁移学习和不同数据增强技术的适当组合实现了进一步的性能提升。
2021-10-02 cs.AI cs.LG cs.SD
Data Augmentation of Room Classifiers using Generative Adversarial Networks
Imperial College London（帝国理工学院）
声学环境的分类允许机器更好地理解它们周围的听觉世界。使用深度学习来教机器区分不同的房间是一个新的研究领域。与其他学习任务类似，该任务受到高维和训练数据有限的影响。数据增强方法已被证明是有用的，在解决这个问题的任务，声音事件检测和场景分类。本文提出了一种用于混响语音房间分类任务的数据增强方法。生成式对抗网络（GANs）经过训练，可以生成人工数据，就像在真实房间中测量一样。这为分类器提供了额外的训练示例，而不需要任何额外的数据收集，这是耗时的并且通常不切实际。提出了一种声学环境的表示方法，用于训练GANs。该表示是基于稀疏模型的早期反射，混响尾部和两者之间的混合机制的随机模型。在所示的实验中，所提出的数据增强方法将CNN-RNN房间分类器的测试准确率从89.4%提高到95.5%。
2020-12-04 cs.SD eess.AS
Leveraging LLM and Text-Queried Separation for Noise-Robust Sound Event Detection
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Fortemedia Singapore（Fortemedia新加坡公司）
针对嘈杂环境下声音事件检测性能下降的问题，提出利用大语言模型识别噪声类型进行噪声增强微调，再将微调模型的预测结果作为文本查询输入语言查询音频源分离模型的方法，提升了噪声环境下的检测性能。
2025-01-12 cs.SD eess.AS
Ensemble of ACCDOA- and EINV2-based Systems with D3Nets and Impulse Response Simulation for Sound Event Localization and Detection
Sony Group Corporation（索尼集团公司）
本报告描述了我们提交给DCASE2021挑战任务3的系统：具有定向干扰的声音事件定位和检测（SELD）。我们以前的系统的基础上的活动耦合笛卡尔波达方向（ACCDOA）表示使我们能够解决一个单一的目标SELD任务。这种基于ACCDOA的系统具有称为RD3Net的高效网络架构和数据增强技术，在定位和位置相关检测方面优于最先进的SELD系统。使用基于ACCDOA的系统作为基础，我们通过对使用不同条件（如输入特征、训练倍数和模型架构）训练的几个系统的输出进行平均来执行模型集成。我们还使用基于事件独立网络v2（EINV2）的系统来增加模型集成的多样性。为了推广这些模型，我们进一步提出了脉冲响应模拟（IRS），它通过将模拟的房间脉冲响应（RIR）与从原始数据集中提取的源信号进行卷积来生成模拟的多通道信号。我们的系统在开发数据集上比基线系统有了显著的改进。
2021-06-21 cs.SD eess.AS
Hodge and Podge: Hybrid Supervised Sound Event Detection with Multi-Hot MixMatch and Composition Consistence Training
Fujitsu Research and Development Center（富士通研究开发中心）
在本文中，我们提出了一种称为Hodge和Podge的声音事件检测方法。我们在声学场景和事件的检测和分类（DCASE）2019挑战任务4的数据集上演示了Hodge和Podge。该任务旨在预测家庭环境中声音事件的存在或不存在以及开始和结束时间。声音事件检测由于缺乏大规模真实强标记数据而具有挑战性。最近，深度半监督学习（SSL）已被证明在弱标记和未标记数据的建模中是有效的。这项工作探讨了如何扩展深度SSL，以产生一种新的、最先进的声音事件检测方法，称为Hodge和Podge。以卷积递归神经网络（CRNN）为骨干网络，首先引入多尺度挤压激励机制，生成金字塔挤压激励CRNN。金字塔挤压激励层可以关注不同声音事件具有不同持续时间的问题，并且自适应地重新校准声道频谱图响应。此外，为了弥补缺乏真正的强标记数据的问题，我们提出了多热MixMatch和成分一致性训练与时频增强。我们对公开的DCASE2019挑战任务4验证数据的实验结果是基于事件的F分数为43.4%，比挑战中的最先进方法绝对好1.6%。而官方基线的F值为25.8%。
2020-02-13 cs.SD eess.AS
A Squeeze-and-Excitation and Transformer based Cross-task System for Environmental Sound Recognition
Northwestern Polytechnical University（西北工业大学）；LianFeng Acoustic Technologies Co., Ltd.（连峰声学科技有限公司）
针对环境声识别模型跨任务泛化能力差的问题，提出基于Squeeze-and-Excitation和Transformer的SE-Trans架构，结合FMix数据增强，在三项ESR任务上达到最先进性能并有效共享声学知识。
2023-11-21 cs.SD eess.AS
An Ensemble of Convolutional Neural Networks for Audio Classification
University of Padua（帕多瓦大学）；Missouri State University（密苏里州立大学）；Tampere University（坦佩雷大学）
在本文中，分类器的集合，利用几种数据增强技术和四种信号表示来训练卷积神经网络（CNN）进行音频分类，并在三个免费提供的音频分类数据集上进行测试：i）鸟鸣，ii）猫的声音，iii）环境声音分类数据集。性能最好的合奏相结合的数据增强技术与不同的信号表示进行了比较，并表现出优于这些数据集的文献中报道的最佳方法。本文提出的方法在广泛使用的ESC-50数据集中获得了最先进的结果。据我们所知，这是调查用于音频分类的CNN集成的最广泛的研究。结果表明，CNN不仅可以被训练用于音频分类，而且它们使用不同技术的融合比独立的分类器效果更好。
2021-04-27 cs.LG cs.SD eess.AS
Codec Data Augmentation for Time-domain Heart Sound Classification
IIT Delhi（印度理工学院德里分校）；Nanyang Technological University（南洋理工大学）
针对心音分类训练数据有限的问题，提出一种基于编解码器模拟的时域数据增强方法，将分类错误率从0.8降至0.2并优于CNN-BiLSTM基线，有效克服了数据限制。
2023-09-14 cs.SD eess.AS
Self Training and Ensembling Frequency Dependent Networks with Coarse Prediction Pooling and Sound Event Bounding Boxes
Institute of Civil Military Technology Cooperation（军民技术合作研究所）；Defense Acquisition Program Administration（国防采计局）；Ministry of Trade, Industry and Energy（产业通商资源部）；Korea Research Institute of Ships and Ocean engineering（韩国船舶海洋工程研究院）；Ministry of Oceans and Fisheries（海洋水产部）
提出频率依赖网络（FreDNet），结合多分支架构、自训练与声音事件边界框后处理，在DCASE 2024任务4中获第二名。
2024-09-20 cs.SD eess.AS
Towards duration robust weakly supervised sound event detection
声音事件检测（SED）是在给定音频片段内标记音频事件的存在或不存在及其对应间隔的任务。虽然SED可以使用监督机器学习来完成，其中训练数据完全标记为可以访问每个事件的时间戳和持续时间，但我们的工作重点是弱监督声音事件检测（WSSED），其中有关事件持续时间的先验知识不可用。该领域最近的研究重点是针对特定评估指标的特定数据集提高片段和事件级本地化性能。具体来说，性能良好的事件级本地化需要完全标记的开发子集来获得事件持续时间估计，这对本地化性能有很大的好处。此外，性能良好的分段级定位模型以粗略尺度（例如，1秒），阻碍了它们在包含非常短的事件（<1秒）的数据集上的部署。这项工作提出了一个持续时间强大的CRNN（CDur）的框架，其目的是实现竞争力的表现在段和事件级本地化。本文提出了一种新的后处理策略，命名为"三阈值"，并研究了两个数据增强的方法，随着标签平滑方法的WSSED范围内。我们的模型在DCASE2017和2018任务4数据集以及URBAN-SED上进行了评估。我们的模型在DCASE2018和URBAN-SED数据集上的表现优于其他方法，而无需事先了解持续时间。特别是，我们的模型能够在URBAN-SED数据集上与强标记监督模型具有相似的性能。最后，消融实验表明，没有后处理，我们的模型的定位性能下降显着低于其他方法。
2021-02-05 cs.SD eess.AS
Multitask frame-level learning for few-shot sound event detection
China University of Mining and Technology（中国矿业大学）；University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research Institute（讯飞研究院）
本文提出一种多任务帧级学习框架及TimeFilterAug数据增强方法，解决少样本声音事件检测中背景噪声导致的预测截断问题，在2023年挑战赛中以63.8%的F分数获得第一名。
2024-03-17 cs.CV cs.SD eess.AS
Masked Conditional Neural Networks for Environmental Sound Classification
University of York（约克大学）
条件神经网络（CLNN）利用声谱图中表示的声音信号的时间序列的性质，并且其变体掩蔽条件神经网络（MCLNN）通过使用二进制掩码在网络的链路上嵌入滤波器组样稀疏性来诱导网络在频带中学习。此外，掩蔽同时自动化不同特征组合的探索，类似于手工制作用于识别任务的特征的最佳组合。我们使用Urbansound8k环境声音数据集评估了MCLNN的性能。此外，我们提出了一个手动记录的声音为铁路和公路交通，YorNoise，调查机器产生的声音具有低频成分之间的混淆率。MCLNN在没有增强的情况下取得了有竞争力的结果，并使用了12%的可训练参数，这些参数是基于Urbansound 8k上最先进的卷积神经网络的等效模型所使用的。我们使用YorNoise扩展了Urbansound8k数据集，实验表明常见的音调属性会影响分类性能。
2019-04-27 cs.LG cs.SD eess.AS
Masked Conditional Neural Networks for Automatic Sound Events Recognition
University of York（约克大学）
为除声音之外的应用领域（特别是图像识别）设计的深度神经网络架构在适应声音识别问题时可能无法最佳地利用时频表示。在这项工作中，我们探讨了条件神经网络（CLNN）和掩蔽条件神经网络（MCLNN）的多维时间信号识别。CLNN考虑帧间关系，并且MCLNN在网络的链路上实施系统稀疏性，以实现频带而不是bin中的学习，从而允许网络模仿滤波器组而具有频移不变。掩码还允许同时考虑几种特征组合，这通常是通过详尽的手动搜索手工制作的。我们使用ESC-10和ESC-50数据集将MCLNN应用于环境声音识别问题。与最先进的卷积神经网络相比，MCLNN使用12%的参数并且没有增强，实现了具有竞争力的性能。
2019-04-28 cs.LG cs.SD eess.AS
Data Augmentation for Instrument Classification Robust to Audio Effects
Universitat Pompeu Fabra（庞培法布拉大学）
重复使用录制的声音（采样）是电子音乐制作（EMP）的一个关键组成部分，它从早期就存在了，并且是嘻哈或丛林等流派的核心。商业和非商业服务允许用户获得声音的集合（样本包），以在他们的作品中重复使用。单次乐器声音的自动分类允许对这些集合中包含的声音进行自动分类，从而允许更容易的导航和更好的表征。自动乐器分类主要针对未处理的孤立乐器声音的分类或检测混合音乐曲目中的主要乐器。为了使这种分类在EMP的音频数据库中有用，它必须对应用于未处理声音的音频效果具有鲁棒性。在本文中，我们评估了在对使用音频效果处理的乐器进行分类时，使用一次性乐器声音的大型数据集训练的最新模型的表现。为了评估模型的鲁棒性，我们使用带有音频效果的数据增强，并评估每个效果如何影响分类精度。
2019-07-19 cs.SD eess.AS
A benchmark of state-of-the-art sound event detection systems evaluated on synthetic soundscapes
Université de Lorraine, CNRS, Inria, Loria（洛林大学，法国国家科学研究中心，法国国家信息与自动化研究所，洛林计算机科学实验室）
本文提出了DCASE 2021 Task 4声音事件检测系统基准，评估不同分割策略在信噪比和时间定位上的鲁棒性，发现粗粒度分割系统鲁棒性更强，而非目标事件易导致细粒度系统产生误报。
2022-02-08 cs.LG cs.SD eess.AS
Spatial Data Augmentation with Simulated Room Impulse Responses for Sound Event Localization and Detection
Sony Group Corporation（索尼集团公司）；The University of Tokyo（东京大学）
为声音事件定位和检测（SELD）任务记录和注释真实声音事件是耗时的，并且当数据量有限时，数据增强技术通常是有利的。然而，如何在数据集中增加空间信息，包括未标记的定向干扰事件，仍然是一个开放的研究问题。此外，定向干扰事件使得难以从目标声音事件中准确地提取空间特征。为了解决这个问题，我们提出了一个脉冲响应模拟框架（IRS），增强空间特性，使用模拟房间脉冲响应（RIR）。准确地模拟与假设放置在各个房间中的麦克风阵列相对应的RIR，并且从混合物中提取目标声音事件的源信号。然后将模拟的RIR与提取的源信号卷积以获得增强的多通道训练数据集。使用TAU-NIGENS Spatial Sound Events 2021数据集获得的评估结果表明，IRS有助于提高整体SELD性能。此外，我们进行了一项消融研究，以讨论IRS中每个组件的贡献和需求。
2022-04-28 cs.SD eess.AS
Data Augmentation and Squeeze-and-Excitation Network on Multiple Dimension for Sound Event Localization and Detection in Real Scenes
Korea Advanced Institute of Science and Technology（韩国科学技术院）
由于难以获得足够数量的具有准确标签的真实多声道音频数据记录，因此在真实场景中的声音事件定位和检测（SELD）的性能受到SELD数据集的小尺寸的限制。我们使用两种主要策略来解决小型真实SELD数据集所产生的问题。首先，我们在所有数据维度上应用了各种数据增强方法：通道，频率和时间。我们还提出了原始数据的增强方法命名为适度混淆，以模拟的情况下，噪声地板或干扰事件存在。其次，我们应用挤压和激励块的通道和频率维度，有效地提取特征。我们在STARSS 22测试数据集上训练的模型的结果实现了最佳ER，F1，LE和LR，分别为0.53，49.8%，16.0度，和56.2%。
2022-06-24 cs.SD eess.AS
Pretraining Representations for Bioacoustic Few-shot Detection using Supervised Contrastive Learning
IMT Atlantique（大西洋理工大学）；University of Lorraine（洛林大学）
本文利用监督对比学习与数据增强，从零预训练特征提取器，实现生物声学少样本事件检测，在DCASE挑战中取得第二名的成绩。
2023-09-02 cs.LG cs.SD eess.AS
Tiny Transformers for Environmental Sound Classification at the Edge
Florida Institute of Technology（佛罗里达理工学院）
随着物联网的发展和大数据的兴起，数据处理和机器学习应用正在向边缘的廉价、低尺寸、低重量和低功耗（SWaP）设备转移，通常以移动电话、嵌入式系统或微控制器的形式出现。网络物理测量和特征情报（MASINT）领域利用这些设备以其他方式无法分析和利用数据，从而提高数据质量，提高安全性并降低带宽。然而，在边缘处训练和部署模型的方法是有限的，并且具有足够精度的模型对于边缘设备来说通常太大。因此，显然需要在边缘创建高效AI/ML的技术。这项工作提出了在边缘环境声音分类领域的音频模型的训练技术。具体来说，我们设计并训练Transformers来对音频片段中的办公室声音进行分类。结果表明，在Mel频谱图上训练的基于BERT的Transformer可以使用少99.85%的参数胜过CNN。为了实现这一结果，我们首先测试了几种为Transformers设计的音频特征提取技术，使用ESC-50进行评估，以及各种增强。我们的最终模型在办公室声音数据集上的性能优于最先进的基于MFCC的CNN，使用了6,000多个参数-小到足以在微控制器上运行。
2021-03-22 cs.LG cs.SD eess.AS
Recurrent Neural Networks for Polyphonic Sound Event Detection in Real Life Recordings
Tampere University of Technology（坦佩雷理工大学）
本文提出了一种基于双向长短期记忆（BLSTM）循环神经网络（RNN）的复调声音事件检测方法。训练单个多标签BLSTM RNN以将由来自多个类别的声音组成的混合信号的声学特征映射到每个事件类别的二进制活动指标。我们的方法在一个大型的现实生活录音数据库上进行了测试，其中包括来自10个不同日常环境的61个类别（例如音乐，汽车，语音）。所提出的方法优于以前的方法的一个很大的利润率，并使用数据增强技术的结果进一步改善。总的来说，我们的系统报告了1秒块的平均F1分数为65.5%，单帧的平均F1分数为64.7%，分别比之前的6.8%和15.1%的最先进方法有相对的改进。
2016-04-04 cs.LG cs.NE cs.SD
Towards Understanding of Frequency Dependence on Sound Event Detection
本文深入分析 FilterAugment 和频率动态卷积两种频率依赖方法在声音事件检测中的特性与有效性，通过逐类性能比较、Grad-CAM 可视化和 PCA 分析揭示频率依赖性的重要作用。
2025-08-27 cs.SD eess.AS
RepAugment: Input-Agnostic Representation-Level Augmentation for Respiratory Sound Classification
Kyungpook National University（庆北国立大学）；MODULABS；KAIST AI（韩国科学技术院人工智能学院）；Amazon（亚马逊）
本文提出输入无关的表示级增强方法RepAugment，解决预训练语音模型在呼吸音分类中面临的表征差距问题，性能优于SpecAugment，少数疾病类别准确率最高提升7.14%。
2024-05-05 cs.AI cs.SD eess.AS
Fusion of Audio and Visual Embeddings for Sound Event Localization and Detection
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心）
本研究针对声音事件定位与检测任务，探索融合预训练网络提取的音视觉特征嵌入，对比多种模型与融合方法，在STARSS23数据集上大幅优于现有基线，达到挑战赛前沿水平。
2023-12-14 cs.SD eess.AS eess.IV
Deep Convolutional Neural Networks and Data Augmentation for Acoustic Event Detection
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
提出了一种新的声事件检测方法。与语音相反，来自声学事件的声音可以由各种各样的源产生。此外，由于缺乏明确的子词单位，区分它们通常需要分析延长的时间段。为了将AED的长时间频率结构，我们引入了一个卷积神经网络（CNN）与一个大的输入字段。与以前的工作相比，这使得能够训练音频事件检测端到端。我们的架构受到VGGNet成功的启发，并使用小的3x3卷积，但比AED中以前的方法更深入。为了防止过度拟合，并充分利用我们的网络的建模能力，我们进一步提出了一种新的数据增强方法来引入数据变化。实验结果表明，我们的CNN显着优于最先进的方法，包括音频词袋（BoAW）和经典的CNN，实现了16%的绝对改善。
2016-12-08 cs.MM cs.SD
A Track-Wise Ensemble Event Independent Network for Polyphonic Sound Event Localization and Detection
University of Chinese Academy of Sciences（中国科学院大学）；University of Surrey（萨里大学）；ByteDance（字节跳动）
复调声音事件定位与检测（SELD）旨在检测具有相应时间活动和空间位置的声音事件类型。本文提出了一种新的数据增强方法--航迹系综事件无关网络。该模型是基于我们以前提出的事件无关网络V2，并扩展了构象块和密集块。针对不同模型间可能出现的航迹排列问题，提出了基于航迹输出格式的航迹集成模型。数据增强方法包含若干数据增强链，其由若干数据增强操作的随机组合组成。该方法还利用对数梅尔频谱图，强度矢量，和空间线索增强对数频谱图（SALSA）的不同模型。我们在L3 DAS 22挑战的任务中评估了我们提出的方法，并获得了排名最高的解决方案，其位置相关的F分数为0.699。源代码已发布。
2022-03-19 cs.SD eess.AS
Spatial mixup: Directional loudness modification as data augmentation for sound event localization and detection
Aalto University（阿尔托大学）；Sony Group Corporation（索尼集团公司）
数据增强方法在标记数据稀缺或获取成本高的各种监督学习问题中表现出非常重要的作用。对于声音事件定位和检测（SELD）任务，已经提出了几种增强方法，其中大多数从其他领域（如图像，语音或单声道音频）借用想法。然而，只有少数人利用完整3D音频场景的空间属性。我们提出了空间混合，作为参数空间音频效果的数据增强，它修改了在立体混响域中编码的多声道空间音频信号的方向属性的应用。类似于波束成形，这些修改增强或抑制来自某些方向的信号，尽管效果不太明显。因此，使深度学习模型能够实现对小空间扰动的不变性。该方法在DCASE 2021任务3数据集中进行了实验评估，其中空间混合在非增强基线上提高了性能，并与其他众所周知的增强方法进行了比较。此外，将空间混淆与其他方法相结合，可以大大提高性能。
2021-10-12 cs.LG cs.SD eess.AS
EquiSELD: Efficient training of equivariant sound event localization and detection networks
Radboud University（拉德堡德大学）；Columbia University（哥伦比亚大学）
EquiSELD提出一种利用FOA信号O(3)对称性的等变注意力网络，通过成对流处理和Multi-ACCDOA读出，以更低训练成本在模拟和真实声景中超越先前等变及非等变SELD网络。
2026-09-22 cs.AI cs.SD
Surrey System for DCASE 2022 Task 5: Few-shot Bioacoustic Event Detection with Segment-level Metric Learning
University of Surrey（萨里大学）；ByteDance（字节跳动）
Few-Shot音频事件检测是检测给定几个示例的新颖声音类别的发生时间的任务。在这项工作中，我们提出了一个基于段级度量学习的系统，用于Few-Shot生物声学事件检测（任务5）的DCASE 2022挑战。我们更好地利用每个声音类别中的负数据来构建损失函数，并使用直推推理来获得对评估集的更好适应。对于输入特征，我们发现每通道能量归一化与Δ梅尔频率倒谱系数级联是最有效的组合。我们还介绍了新的数据增强和后处理程序，这项任务。我们的最终系统在DCASE任务5验证集上实现了68.74的f-测量，大大超过了29.5的基线性能。我们的系统在https://github.com/haoheliu/DCASE_2022_Task_5上完全开源。
2022-07-21 cs.SD eess.AS
Overview of ESDD2: Environment-Aware Speech and Sound Deepfake Detection Challenge
Duke Kunshan University（昆山杜克大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；The University of Melbourne（墨尔本大学）；Johns Hopkins University（约翰霍普金斯大学）；Fortemedia Singapore（Fortemedia新加坡）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
介绍ESDD2挑战赛，评估语音和环境声音独立或联合操纵的检测系统，最佳系统Macro-F1达0.8775，模块化分解、跨域自监督编码器、数据增强和选择性集成是关键。
2026-06-29 cs.SD
Analytic Incremental Learning For Sound Source Localization With Imbalance Rectification
University of Science and Technology Beijing（北京科技大学）；The Chinese University of Hong Kong（香港中文大学）；Tongyi Speech Lab（通义语音实验室）；Alibaba（阿里巴巴）；Eigenspace GmbH
本文提出分析增量学习方法，通过数据增强和动态不平衡校正技术，提升声音源定位在现实环境中的鲁棒性和准确性。
2026-01-26 cs.AI cs.SD
Contrastive Learning with Spectrum Information Augmentation in Abnormal Sound Detection
Xinjiang university（新疆大学）
针对无监督异常声音检测，提出一种基于高频信息增强的对比学习方法，使模型聚焦代表正常运行的低频特征，并在 DCASE 2020 与 2022 任务上验证了其有效性。
2025-09-19 cs.AI cs.SD eess.AS
Automatic COVID-19 disease diagnosis using 1D convolutional neural network and augmentation with human respiratory sound based on parameters: cough, breath, and voice
NIT Tiruchirappalli（印度国立理工学院蒂鲁吉拉帕利分校）
呼吸音分类的问题在过去一年中得到了临床科学家和医学研究小组的高度关注，以诊断COVID-19疾病。迄今为止，各种人工智能（AI）模型进入现实世界，从人类产生的声音（如语音/语音，咳嗽和呼吸）中检测COVID-19疾病。卷积神经网络（CNN）模型是在人工智能（AI）的基础上实现的，用于解决许多现实问题。在此背景下，提出并实施一维（1D）CNN，以从诸如语音、咳嗽和呼吸的人类呼吸声音诊断COVID-19的呼吸疾病。应用基于增强的机制来提高COVID-19声音数据集的预处理性能，并使用1D卷积网络自动进行COVID-19疾病诊断。此外，DDAE（数据去噪自动编码器）技术被用来生成深度声音特征，如输入函数的1D CNN，而不是采用标准的输入MFCC（梅尔频率倒谱系数），它是执行比以前的模型更好的精度和性能。
2021-12-14 cs.LG cs.SD eess.AS
Sinusoidal wave generating network based on adversarial learning and its application: synthesizing frog sounds for data augmentation
基于理论模型生成观测结果的模拟器是开发、预测和评估信号处理算法的重要工具。为了设计这些模拟器，需要根据其应用构建数学模型。复杂的模型有时是必要的，以代表各种真实的现象。相比之下，从真实观测结果开发的生成模型中获得合成观测结果通常需要少得多的努力。本文提出了一种基于对抗学习的生成模型。考虑到观测值通常是由正弦波和随机噪声的线性组合组成的信号，首先基于对抗网络设计正弦波生成网络。然后可以使用所提出的网络来执行音频波形生成。实验研究了使用对抗学习设计所提出的网络的目标函数的几种方法。此外，两栖动物的声音分类是使用卷积神经网络与真实的和合成的声音训练。定性和定量的结果表明，所提出的生成模型，使真实的信号，是非常有帮助的数据增强和数据分析。
2019-01-07 cs.LG cs.SD eess.AS
SynSonic: Augmenting Sound Event Detection through Text-to-Audio Diffusion ControlNet and Effective Sample Filtering
Department of Electrical and Computer Engineering（电气与计算机工程系）
SynSonic 利用能量包络 ControlNet 引导的文本到音频扩散模型生成时间连贯的声音事件，并通过双分类器联合分数过滤保证样本质量，从而提升 SED 的时间定位与类别判别性能。
2025-09-23 cs.AI cs.SD eess.AS
Robust sound event detection in bioacoustic sensor networks
Cornell Lab of Ornithology, Cornell University（康奈尔大学康奈尔鸟类学实验室）；Music and Audio Research Laboratory, New York University（纽约大学音乐与音频研究实验室）；Center for Urban Science and Progress, New York University（纽约大学城市科学与进步中心）
生物声学传感器，有时被称为自主记录单元（ARU），可以以可扩展和微创的方式长时间记录野生动物的声音。从这些传感器导出每种丰度估计需要检测，分类和量化的动物发声作为个人的声学事件。然而，环境噪声随时间和跨传感器的变化性阻碍了当前用于声音事件检测（SED）的自动化系统（诸如时频域中的卷积神经网络（CNN））的可靠性。在这篇文章中，我们开发，基准测试，并结合了几个机器听技术，以提高SED模型在异构声学环境中的通用性。作为一个案例研究，我们考虑的问题，检测鸟类飞行电话从10小时的记录夜间鸟类迁徙，记录的网络中存在的异质背景噪声的六个ARU。从CNN在这项任务上产生最先进的准确性开始，我们介绍了两种噪声自适应技术，分别整合短期（60毫秒）和长期（30分钟）上下文。首先，我们在时频域中应用每通道能量归一化（PCEN），其对梅尔频谱图中的每个子带应用短期自动增益控制。其次，我们用上下文自适应神经网络（CA-NN）层代替网络中的最后一个稠密层。将它们结合起来会产生最先进的结果，这是单独人工数据增强无法比拟的。我们以BirdVoxDetect的名义发布了我们最佳性能系统的预训练版本，这是一种现场录音中鸟类飞行呼叫的即用型检测器。
2019-10-30 cs.AI cs.LG cs.SD
Improving Stereo 3D Sound Event Localization and Detection: Perceptual Features, Stereo-specific Data Augmentation, and Distance Normalization
本技术报告针对DCASE 2025挑战赛任务3的立体声SELD任务，提出了感知特征、立体声专用数据增强（含通道交换、时频掩蔽与FilterAugment）及距离归一化方法，在STARSS23数据集上全面提升了各项指标。
2025-07-01 eess.AS
SILA: Signal-to-Language Augmentation for Enhanced Control in Text-to-Audio Generation
Adobe Research（奥多比研究院）；University of Maryland（马里兰大学）
针对文本到音频生成精细声学控制不足的问题，提出模型无关的SILA信号到语言增强方法，通过解耦音频语义与声学特征实现多参数可控音效生成，经主客观评估验证效果优异，为创意音频制作开辟新路径。
2024-12-13 cs.SD eess.AS
Exploring Self-Supervised Contrastive Learning of Spatial Sound Event Representation
Columbia University（哥伦比亚大学）
提出 MC-SimCLR 自监督多通道对比学习框架，结合多级频谱与空间特征及通道增强，从无标签空间音频中学习表征，提升下游事件分类与定位性能。
2023-09-27 cs.LG cs.SD eess.AS
