Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Fictional University（虚构大学）；University of the Imagination（想象大学）
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
Exploring Text-Queried Sound Event Detection with Audio Source Separation
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Alibaba Group（阿里巴巴集团）；Fortemedia Singapore（Fortemedia新加坡公司）
本文提出 TQ-SED 框架，通过预训练改进的 AudioSep-DP 语言查询音频源分离模型分离重叠事件，再由多分支检测目标声音，显著提升 SED 性能。
2025-01-10 cs.SD eess.AS
Multiple Instance Deep Learning for Weakly Supervised Small-Footprint Audio Event Detection
Robert Bosch LLC（罗伯特·博世有限责任公司）；University of Southern California（南加州大学）；Carnegie Mellon University（卡内基梅隆大学）
现有技术的音频事件检测（AED）系统依赖于使用强标记数据的监督学习。然而，这种依赖性严重限制了大规模数据集的可扩展性，其中精细分辨率注释太昂贵而无法获得。在本文中，我们提出了一个小的足迹多实例学习（MIL）框架多类AED使用弱注释标签。所提出的MIL框架使用从预训练的卷积神经网络提取的音频嵌入作为输入特征。我们表明，通过使用音频嵌入，MIL框架可以使用一个简单的DNN实现，其性能与递归神经网络相当。我们通过使用AudioSet的一个子集训练音频标记系统来评估我们的方法，AudioSet是一个大型的弱标记YouTube视频摘录集合。结合后期融合方法，我们将基线音频标记系统的F1分数提高了17%。我们表明，音频嵌入提取的卷积神经网络显着提高所有MIL模型的性能。该框架降低了AED系统的模型复杂度，并且适用于计算资源有限的应用。
2018-03-26 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven（鲁汶大学）
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常，他们在平均教师设置中接受训练，以处理可用数据的异构注释。在这项工作中，我们对改变这些卷积递归神经网络的时间分辨率（可以通过简单地调整其池化操作来完成）如何影响其性能进行了全面的分析。通过使用各种评估指标，我们调查的影响，适应这个设计参数下的几个声音识别的情况下，涉及不同的需求，在时间定位。
2022-09-27 cs.SD eess.AS
Large-scale weakly supervised audio classification using gated convolutional neural network
University of Surrey（萨里大学）
在本文中，我们提出了一种用于音频分类的门控卷积神经网络和基于时间注意力的定位方法，该方法在声学场景和事件的检测和分类（DCASE）2017挑战赛的大规模弱监督声音事件检测任务中获得了第一名。该任务中的音频片段是从YouTube视频中提取的，手动标记有一个或几个音频标签，但没有音频事件的时间戳，这被称为弱标记数据。在该挑战中定义了两个子任务，包括使用该弱标记数据的音频标记和声音事件检测。提出了一种具有可学习门控线性单元（GLU）非线性的卷积递归神经网络（CRNN），用于对数梅尔谱图。此外，提出了一种时间注意力方法沿帧预测的位置，每个音频事件的块从弱标记的数据。我们在DCASE 2017挑战赛的这两个子任务中分别以F值55.6\%和Equal error 0.73排名第一和第二。
2017-10-01 cs.SD eess.AS
FLAM: Frame-Wise Language-Audio Modeling
Adobe Research（Adobe研究院）
本文提出开放词汇对比音频-语言模型 FLAM，通过带 logit adjustment 的校准逐帧目标和大规模仿真标注数据，实现声音事件的时间定位并保持检索与下游性能。
2025-06-08 cs.SD eess.AS
A dataset for Audio-Visual Sound Event Detection in Movies
University of Southern California（南加州大学）
音频事件检测是一项被广泛研究的音频处理任务，其应用范围从自动驾驶汽车到医疗保健。Audioset等野外数据集推动了这一领域的研究。然而，许多努力通常涉及手动注释和验证，这对于大规模执行来说是昂贵的。电影描绘了各种现实生活和虚构的场景，这使得它们成为挖掘各种音频事件的丰富资源。在这项工作中，我们提出了一个数据集的音频事件称为字幕对齐的电影声音（SAM-S）。我们使用公开的封闭字幕转录自动挖掘超过110 K音频事件从430部电影。我们确定了三个维度来对音频事件进行分类：声音，来源，质量，并提出了产生245种声音的最终分类所涉及的步骤。我们讨论了生成分类法所涉及的选择，并强调了我们数据集中声音的以人为本的性质。我们建立了一个基线性能为34.76%的平均平均精度的音频声音分类，并表明，将视觉信息可以进一步提高性能约5%。数据和代码可在https://github.com/usc-sail/mica-subtitle-aligned-movie-sounds上进行研究
2023-02-14 cs.LG cs.SD eess.AS
Joint framework with deep feature distillation and adaptive focal loss for weakly supervised audio tagging and acoustic event detection
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）；ByteDance（字节跳动）
一个好的联合训练框架有助于同时提高弱监督音频标记和声学事件检测的性能。在这项研究中，我们提出了三种方法来改进IEEE AASP声学场景和事件检测和分类挑战赛（DCASE）2019任务4中的最佳师生框架，用于音频标记和声学事件检测任务。首先提出了一种基于帧级目标事件的深度特征提取方法，旨在利用弱监督框架中有限的强标记数据来学习更好的中间特征图。然后，我们提出了一个自适应的焦点损失和两个阶段的训练策略，使一个有效的和更准确的模型训练，其中的贡献，硬和容易的声学事件的总代价函数可以自动调整。此外，一个特定的事件后处理的设计，以提高目标事件的时间戳的预测。在公开的DCASE 2019 Task 4数据集上进行了实验，结果表明，该方法在AT（81.2% F1-score）和AED（49.8% F1-score）任务上都取得了较好的性能.
2022-02-12 cs.SD eess.AS
R-CRNN: Region-based Convolutional Recurrent Neural Network for Audio Event Detection
Amazon Alexa（亚马逊Alexa）
提出了一种基于区域的卷积循环神经网络（R-CRNN）用于音频事件检测（AED）。所提出的网络受到Faster-RCNN的启发，Faster-RCNN是一种用于视觉目标检测的基于区域的卷积网络框架。与原始Faster-RCNN不同，在卷积网络的顶部添加了一个递归层，以从提取的高级特征中捕获长期时间上下文。虽然大多数关于AED的先前工作首先在帧级生成预测，然后使用后处理来从概率序列预测事件的开始/偏移时间戳;所提出的方法直接在事件级生成预测，并且可以在多任务丢失的情况下进行端到端训练，这同时优化了音频事件的分类和定位。该方法在DCASE 2017 Challenge数据集上进行了测试。据我们所知，R-CRNN是所有方法中性能最好的单模型方法，无需在开发集和评估集上使用集成。与其他基于区域的AED网络（R-FCN）相比，基于事件的出错率（ER）为0.18，我们的方法将ER减少到一半。
2018-08-20 cs.SD eess.AS
Overcoming label noise in audio event detection using sequential labeling
Sogang University（西江大学）；Naver Corporation（NAVER公司）
针对音频事件检测（AED）中的噪声标签问题，将强标签细化为去除不准确时间戳的序列标签。在AED中，强标签包含特定事件的发生及其与音频片段中事件的开始和结束相对应的时间戳。时间戳依赖于每个注释者的主观性，它们的标签噪声是不可避免的。与强标签相反，弱标签仅指示特定事件的发生。它们不具有由时间戳引起的标签噪声，但是时间信息被排除在外。为了充分利用现有的强标签和弱标签的信息，我们提出了一个AED计划，训练与顺序标签，除了给定的强标签和弱标签后，强标签转换成顺序标签。使用顺序标签始终提高了性能，特别是通过关注事件的发生，使用基于片段的F分数。在用于半监督学习的基于平均教师的方法中，除了具有顺序标签的监督学习之外还包括具有顺序预测的早期步骤，减轻了标签噪声和教师模型的不准确预测，并且在保持基于事件的F分数的同时显著提高了基于片段的F分数。
2020-07-10 cs.SD eess.AS
w2v-SELD: A Sound Event Localization and Detection Framework for Self-Supervised Spatial Audio Pre-Training
University of Campinas（坎皮纳斯大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出w2v-SELD，一种基于wav2vec 2.0的自监督声音事件定位与检测框架，通过预训练和微调利用未标记3D音频数据，在基准数据集上超越基线并达到与监督方法相当的性能。
2023-12-30 cs.SD eess.AS
Do sound event representations generalize to other audio tasks? A case study in audio transfer learning
Facebook Reality Labs Research（Facebook Reality Labs 研究院）；Facebook Applied AI Research（Facebook 应用人工智能研究院）
迁移学习对于跨多个相关学习问题的有效信息迁移至关重要。一种简单而有效的迁移学习方法利用在大规模任务上训练的深度神经网络进行特征提取。然后，这些表示用于学习相关的下游任务。在本文中，我们研究了迁移学习能力的音频表示从神经网络训练的大规模声音事件检测数据集。我们通过一个简单的线性分类器传输机制，在广泛的其他音频任务中构建和评估这些表示。我们表明，这种简单的线性传输已经足够强大，可以在下游任务上实现高性能。我们还提供了见解的属性，使这种有效的信息传输的声音事件表示。
2021-06-21 cs.AI cs.SD eess.AS
SALT: Standardized Audio event Label Taxonomy
针对固定音频分类体系难以整合新声音且跨数据集兼容性差的问题，提出基于AudioSet层级结构的SALT标准化标签分类体系，覆盖24个数据集，并提供Python包实现统一映射与数据聚合。
2024-09-18 cs.SD eess.AS
Audio Event-Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Leicester（莱斯特大学）；University College London（伦敦大学学院）；University of Surrey（萨里大学）
针对现有声学场景分类方法可解释性不足的问题，提出基于音频事件关系图的表示学习框架ERGL，以事件嵌入为节点、多维边特征表征关系，仅用少量音频事件嵌入学习就在真实数据集上取得有竞争力的分类性能，同时可明确解释分类线索。
2023-10-05 cs.SD eess.AS
Maximizing Audio Event Detection Model Performance on Small Datasets Through Knowledge Transfer, Data Augmentation, And Pretraining: An Ablation Study
Microsoft（微软）
Xception模型通过ImageNet权重的知识转移、AudioSet上的预训练和动态数据增强管道，在ESC-50数据集上达到最先进的（SOTA）音频事件检测精度。本文提出了一种消融研究，分析哪些组件有助于提高性能和训练时间。一个较小的Xception模型也提出了接近SOTA的性能，几乎三分之一的参数。
2022-02-07 cs.LG cs.SD eess.AS
AST-SED: An Effective Sound Event Detection Method Based on Audio Spectrogram Transformer
University Of Science And Technology Of China（中国科学技术大学）；Singapore Institute of Technology（新加坡理工学院）；iFLYTEK Co. Ltd（科大讯飞股份有限公司）
在本文中，我们提出了一种有效的声音事件检测（SED）方法的基础上的音频频谱图Transformer（AST）模型，预训练的大规模AudioSet音频标记（AT）任务，称为AST-SED。预训练的AST模型最近在DCASE 2022挑战任务4中显示出了希望，它们有助于缓解缺乏足够的真实注释数据的问题。然而，主要是由于AT和SED任务之间的差异，直接利用预训练的AST模型的输出是次优的。因此，所提出的AST-SED采用编码器-解码器架构，以实现有效且高效的微调，而无需重新设计或重新训练AST模型。具体而言，频率方面的Transformer编码器（FTE）由沿着频率轴具有自注意力的Transformers组成，以解决单个剪辑中的多个重叠音频事件问题。局部门控递归单元解码器（LGD）由最近邻插值（NNI）和双向门控递归单元（Bi-GRU）组成，以补偿预训练AST模型输出中的时间分辨率损失。在DCASE 2022 task 4开发集上的实验结果证明了所提出的AST-SED与FTE-LGD架构的优越性。具体来说，基于事件的F1分数（EB-F1）为59.60%，复调声音检测分数（PSDS 1）为0.5140，显著优于CRNN和其他基于AST的预训练系统。
2023-03-07 cs.SD eess.AS
Audiovisual transfer learning for audio tagging and sound event detection
KU Leuven（鲁汶大学）
我们研究了两个声音识别问题的迁移学习的优点，即，音频标记和声音事件检测。采用特征融合，我们调整了一个仅利用频谱声学输入的基线系统，以利用预训练的听觉和视觉特征，这些特征是从为不同任务构建的网络中提取的，并使用外部数据进行训练。我们用这些修改后的模型在视听多标签数据集上进行实验，其中训练分区包含大量未标记的样本和少量具有弱注释的剪辑，指示剪辑级存在10个声音类别，而不指定活动听觉事件的时间边界。对于基于剪辑的音频标记，这种迁移学习方法给予显着的改进。在这种情况下，在音频之上添加视觉模态也被证明是有利的。当涉及到生成音频记录的传输时，预训练特征的好处取决于所需的时间分辨率：对于粗粒度的声音事件检测，它们的实用性仍然值得注意。但是，当需要更细粒度的预测时，由于手头的问题与获得预训练向量的模型目标之间的不匹配，性能增益会大大降低。
2021-06-09 cs.LG cs.SD eess.AS
Enabling Early Audio Event Detection with Neural Networks
University of Lübeck（吕贝克大学）
本文提出了一种从音频流中早期检测音频事件的方法。早期检测是在初始阶段推断正在进行的事件的能力。该系统由一个新的推理步骤加上双并行的定制损失深度神经网络（DNN）。DNN共享类似的架构，除了它们的损失函数，即加权损失和多任务损失，其被设计为有效地应对音频事件检测常见的问题。推理步骤是新引入的，利用网络输出识别正在进行的事件。检测函数的单调性是可靠的早期检测所必需的，并且也将被证明。在ITC-Irst数据库上的实验表明，该系统具有较好的检测性能。此外，即使是部分事件也足以实现与观察整个事件时所获得的性能类似的良好性能，从而实现早期事件检测。
2019-04-06 cs.LG cs.SD eess.AS
A Closer Look at Weak Label Learning for Audio Events
根据声音事件的音频内容分析是各种应用的重要研究问题。近年来，弱标记音频或声音事件检测（AED）方法的发展和大规模弱标记数据集的可用性最终为大规模AED开辟了可能性。然而，弱标签如何影响学习的声音事件的更深入的理解仍然缺乏从文献。在这项工作中，我们首先描述了一种基于CNN的方法，用于弱监督训练音频事件。该方法遵循依赖于弱标记音频的学习方法中所期望的一些基本设计原则。然后，我们描述了重要的特点，自然出现在弱监督学习的声音事件。我们展示了弱标签的这些方面如何影响模型的泛化。更具体地说，我们研究了标签密度和标签损坏等特征如何影响音频事件的弱监督训练。我们还研究了直接从Web上获得弱标记数据而无需任何手动标记的可行性，并将其与已手动标记的数据集进行比较。在未来弱标记学习方法的开发中，应该考虑这些因素的分析和理解。实验中使用了一个大规模的弱标记声音事件数据集AudioSet。
2018-04-24 cs.LG cs.MM cs.SD
Secost: Sequential co-supervision for large scale weakly labeled audio event detection
Facebook Reality Labs（Facebook现实实验室）
弱监督学习算法对于将音频事件检测扩展到数百个声音类别至关重要。这样的学习模型不仅应该用最少的类特定注释有效地消除声音事件的歧义，而且对标签噪声具有鲁棒性，这在弱标签而不是强注释的情况下更明显。在这项工作中，我们提出了一个新的框架，设计学习模型与弱监督的桥梁思想从顺序学习和知识蒸馏。我们将所提出的方法称为SeCoST（发音为Sequest）-用于训练几代学生的顺序共同监督。SeCoST通过一种新的知识转移方法逐步建立了一系列的学生-教师对。我们对Audioset（最大的弱标记数据集）的评估表明，SeCoST实现了0.383的平均精度，同时大大优于现有技术。
2020-05-04 cs.LG cs.SD eess.AS
The Sounds of Home: A Speech-Removed Residential Audio Dataset for Sound Event Detection
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）
本文构建了一个面向老年人智能家居的住宅音频数据集，通过级联预训练音频神经网络自动去除语音片段以保护隐私，同时保留其他声音事件，为家庭场景声音事件检测模型的开发与评测提供基础。
2024-10-04 cs.AI cs.SD eess.AS
Features and Kernels for Audio Event Recognition
Carnegie Mellon University（卡内基梅隆大学）
音频事件检测研究中最重要的问题之一是缺乏与任何提出的方法进行比较的基准结果。不同的作品考虑不同的事件和数据集，这使得很难用现有的方法全面分析任何新方法。在本文中，我们建议在两个最近公开的数据集上建立音频事件识别的结果。特别是，我们使用高斯混合模型为基础的特征表示，并将它们与线性以及非线性核支持向量机。
2016-07-19 cs.MM cs.SD
Knowledge Transfer from Weakly Labeled Audio using Convolutional Neural Network for Sound Events and Scenes
Carnegie Mellon University（卡内基梅隆大学）；Facebook Inc.（脸书公司）
在这项工作中，我们提出了有效地转移弱标记的网络音频数据的知识的方法。我们首先描述了一个基于卷积神经网络（CNN）的框架，用于使用弱标记的音频数据进行声音事件检测和分类。我们的模型从可变长度的音频中有效地训练;因此，它非常适合迁移学习。然后，我们提出了使用该模型学习表示的方法，该模型可以有效地用于解决目标任务。我们研究了转导和归纳迁移学习任务，显示了我们的方法对领域和任务适应的有效性。我们表明，使用所提出的CNN模型的学习表示可以很好地推广到ESC-50声音事件数据集上达到人类水平的准确性，并在该数据集上设置最先进的结果。我们进一步将它们用于声学场景分类任务，并再次表明我们提出的方法也适合这项任务。我们还表明，我们的方法是有助于捕捉语义意义和关系。此外，在这个过程中，我们还在Audioset数据集上设置了最先进的结果，依赖于平衡的训练集。
2018-09-07 cs.MM cs.SD eess.AS
Sound Event Detection in Synthetic Audio: Analysis of the DCASE 2016 Task Results
LS2N（南特数字科学实验室）；CNRS（法国国家科学研究中心）；Ecole Centrale de Nantes（南特中央理工学院）；Queen Mary University of London（伦敦玛丽女王大学）
作为2016年声学场景和事件检测和分类公众评估挑战赛（DCASE 2016）的一部分，第二项任务侧重于使用办公室声音的合成混合物评估声音事件检测系统。该任务遵循DCASE 2013的“事件检测-办公室合成”任务，研究当面临背景噪音和复调/密度方面的受控音频复杂度水平时，测试算法的行为，并具有非常准确的额外好处地面真相。本文介绍了任务制定，评估指标，提交的系统，并提供了一个统计分析的结果，相对于各个方面的评估数据集。
2017-11-15 cs.SD eess.AS stat.ML
You Only Hear Once: A YOLO-like Algorithm for Audio Segmentation and Sound Event Detection
University of Plymouth（普利茅斯大学）；Plymouth Marine Laboratory（普利茅斯海洋实验室）
音频分割和声音事件检测是机器听力中的关键主题，旨在检测声学类别及其各自的边界。它对音频内容分析、语音识别、音频索引和音乐信息检索都很有用。近年来，大多数研究文章采用逐类分段的方法。该技术将音频划分为小帧，并单独对这些帧执行分类。在本文中，我们提出了一种名为You Only Hear Once（YOHO）的新方法，该方法受到计算机视觉中普遍采用的YOLO算法的启发。我们将声学边界的检测转换为回归问题，而不是基于帧的分类。这是通过使用单独的输出神经元来检测音频类的存在并预测其开始和结束点来完成的。与最先进的卷积递归神经网络相比，YOHO的F度量的相对改进在音频分割和声音事件检测的多个数据集上的范围从1%到6%。由于YOHO的输出是端到端的，并且需要预测的神经元更少，因此推理速度至少比分段分类快6倍。此外，由于这种方法直接预测声学边界，因此后处理和平滑速度约为7倍。
2022-09-18 cs.LG cs.SD eess.AS
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford（牛津大学）；NIHR Oxford Biomedical Research Centre（英国国家健康研究所牛津生物医学研究中心）
我们提出了一个基于卷积递归神经网络的多标签多任务框架，以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征，更高的递归层在这些特征上执行顺序建模。此外，输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步，输出三元组专用于每个感兴趣的事件类别，以联合建模事件发生和时间边界。也就是说，网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后，我们介绍了网络训练的三个连续损失：多标签分类损失，距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力：ITC-Irst用于孤立音频事件检测，TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
Sound Event Detection in Multichannel Audio Using Spatial and Harmonic Features
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了使用空间和谐波特征结合长短期记忆（LSTM）递归神经网络（RNN）的自动声音事件检测（SED）任务。现实生活中的录音通常有许多重叠的声音事件，使得很难仅用单声道音频来识别。人类听众已经成功地使用音高线索识别重叠声音事件的混合，并利用在他们的耳朵处可用的立体声（多通道）音频信号来空间定位这些事件。传统上，SED系统仅使用单声道音频，出于人类听众的动机，我们建议将其扩展为使用多声道音频。在TUT声音事件检测2016数据库的开发子集上，将所提出的SED系统与最先进的单声道方法进行比较。空间和谐波特征的使用被证明可以提高SED的性能。
2017-06-07 cs.LG cs.SD
A Toolchain for Comprehensive Audio/Video Analysis Using Deep Learning Based Multimodal Approach (A use case of riot or violent context detection)
Austrian Institute of Technology（奥地利技术研究院）；HCM University of Technology（胡志明市理工大学）；FPT University（FPT大学）
本文提出一个基于深度学习的多模态音视频分析工具链，集成语音转文本、声学场景分类、声学事件检测、视觉目标检测、图像描述和视频描述等任务，支持音视频聚类、综合摘要及骚乱或暴力场景检测等应用。
2024-05-02 cs.AI cs.SD eess.AS
Sound Event Detection in Urban Audio With Single and Multi-Rate PCEN
New York University（纽约大学）；Center for Data Science（数据科学中心）
最近的文献已经证明，使用每通道能量归一化（PCEN），具有显着的性能改善，在声学声音事件检测（SED）在多类设置与重叠事件的传统的对数缩放梅尔频谱图。然而，PCEN的参数的配置对记录环境、感兴趣的事件的类别的特性以及多个重叠事件的存在敏感。这导致了在类与类之间的改进，但是跨类性能很差。在本文中，我们使用UrbanSED数据集，实验使用PCEN频谱图作为城市音频中SED的替代方法，展示了基于参数配置的每类改进。此外，我们解决跨类性能与PCEN使用一种新的方法，多速率PCEN（MRPCEN）。我们展示了跨类SED性能与MRPCEN，展示了跨类性能的改进相比，传统的单速率PCEN。
2021-02-06 cs.LG cs.SD eess.AS
An Approach for Self-Training Audio Event Detectors Using Web Data
Carnegie Mellon University（卡内基梅隆大学）；NITK Surathkal（NITK 苏拉特卡尔）；BITS Pilani（皮拉尼博拉理工学院）
音频事件检测（AED）旨在识别音频和视频记录中的声音。AED采用通常在注释数据集上训练和测试的机器学习算法。然而，现有的数据集是有限的样本数量，因此它是难以建模的声学多样性。因此，我们建议将来自数据集的标记音频和来自网络的未标记音频相结合，以改进声音模型。音频事件检测器在标记的音频上训练，并在从YouTube下载的未标记的音频上运行。每当检测器以高置信度识别任何已知声音时，未标记的音频被用于重新训练检测器。重新训练的检测器的性能进行比较，从原始检测器使用注释的测试集。结果显示AED的改进，并揭示了使用视频中的网络音频的挑战。
2017-06-27 cs.LG cs.MM cs.SD
A Transformer-based Audio Captioning Model with Keyword Estimation
NTT Corporation（日本电报电话公司）
自动音频字幕（AAC）的问题之一是对应于音频事件/场景的词选择的不确定性。由于一个声学事件/场景可以用几个词来描述，因此它导致可能的字幕的组合爆炸和训练的困难。为了解决这个问题，我们提出了一个基于transformer的音频字幕模型与关键字估计称为TRACKE。它在执行声学事件检测/声学场景分类的子任务（即，关键字估计）。TRACKE估计关键词，其包括与输入音频中的音频事件/场景相对应的词集合，并且在参考估计的关键词的同时生成字幕以减少词选择的不确定性。在公共AAC数据集上的实验结果表明，TRACKE实现了最先进的性能，并成功地估计了标题及其关键字。
2020-08-08 cs.LG cs.SD eess.AS
What Makes Audio Event Detection Harder than Classification?
University of Kent（肯特大学）
有一个共同的观察，音频事件分类比检测更容易处理。到目前为止，这一观察被认为是一个事实，我们缺乏仔细的分析。在本文中，我们推理这一事实背后的基本原理，更重要的是，利用它们来帮助音频事件检测任务。我们提出了一种改进的检测流水线，其中的验证步骤被附加到增强检测系统。该步骤采用高质量的事件分类器对检测系统输出的良性事件假设进行后处理，并拒绝误报。为了证明所提出的管道的有效性，我们实现和配对不同的事件检测器的基础上最常见的检测方案和各种事件分类器，从标准的词袋模型的国家的最先进的银行的回归。在ITC-Irst数据集上的实验结果表明，检测性能得到了显着改善。更重要的是，这些改进对于所有检测器-分类器组合是一致的。
2018-05-17 cs.SD
Data-Efficient Weakly Supervised Learning for Low-Resource Audio Event Detection Using Deep Learning
Queen Mary University of London（伦敦玛丽女王大学）
我们提出了一种方法来执行音频事件检测的共同约束下，只有有限的训练数据是可用的。在训练深度学习系统以执行音频事件检测时，出现两个实际问题。首先，大多数数据集是“弱标记的”，只有每个记录中存在的事件列表，没有任何用于训练的时间信息。其次，深度神经网络需要非常大量的带标签的训练数据来实现良好的质量性能，然而在实践中很难为大多数感兴趣的类别收集足够的样本。在本文中，我们提出了一个数据有效的训练堆叠卷积和递归神经网络。这个神经网络是在多实例学习环境中训练的，为此我们引入了一个新的损失函数，与弱监督学习的常用方法相比，它可以改进训练。我们成功地测试了我们的方法在两个低资源的数据集，缺乏时间标签。
2018-10-26 cs.LG cs.SD eess.AS
Weakly Supervised Scalable Audio Content Analysis
Carnegie Mellon University（卡内基梅隆大学）
音频事件检测是多媒体数据内容分析的一项重要任务。当前大多数关于音频事件检测的工作是通过监督学习方法来驱动的。我们提出了一个弱监督学习框架，它可以利用大量的Web多媒体数据，显着减少注释工作和费用。具体来说，我们使用几个多实例学习算法，以表明通过弱标签的音频事件检测是可行的。我们还提出了一种新的可扩展的多实例学习算法，并表明其竞争力与其他多实例学习算法的音频事件检测任务。
2016-06-12 cs.LG cs.MM cs.SD
CaR-FOREST: Joint Classification-Regression Decision Forests for Overlapping Audio Event Detection
本报告介绍了我们提交的DCASE 2016挑战的任务2和任务3。该系统旨在处理连续流中重叠音频事件的检测，其中检测器基于随机决策森林。建议的森林同时进行分类和回归的联合训练。最初，训练是面向分类的，以鼓励树从重叠的混合物中选择有区别的特征，以将积极的音频片段与消极的音频片段分开。然后执行回归阶段以让肯定音频片段投票事件开始和偏移，并且因此对音频事件的时间结构进行建模。一个随机决策森林是专门为每个感兴趣的事件类别训练的。开发数据的实验结果表明，我们的系统显着优于基线的任务2的评估，而他们是劣于基线的任务3的评估。
2016-08-15 cs.AI cs.LG cs.MM
Deformable Audio Transformer for Audio Event Detection
提出可变形音频Transformer（DATAR），通过可学习的可变形注意力与金字塔主干降低计算复杂度，并引入输入适配器增强特征，实现最先进的音频事件识别性能。
2024-01-08 cs.LG cs.MM cs.NE
DNN and CNN with Weighted and Multi-task Loss Functions for Audio Event Detection
University of Hamburg（汉堡大学）
本报告介绍了我们为DCASE 2017挑战赛任务2“罕见声音事件检测”提交的音频事件检测系统。所提出的系统基于卷积神经网络（CNN）和深度神经网络（DNN），并结合新的加权和多任务损失函数以及最先进的相位感知信号增强。损失函数是为音频流中的音频事件检测而定制的。加权损失旨在解决背景/前景分类中数据不平衡的常见问题，而多任务损失使网络能够同时对目标事件的类分布和时间结构进行建模以进行识别。我们提出的系统显著优于挑战基线，将F分数从72.7%提高到90.0%，并将开发数据的平均检测出错率从0.53降低到0.18。在评估数据方面，我们提交的文件获得的平均F1分数为88.3%，出错率为0.22，明显优于DCASE基线（即F1分数为64.1%，出错率为0.64）。
2017-10-18 cs.LG cs.SD
Stereo Sound Event Localization and Detection with Onscreen/offscreen Classification
Sony AI（索尼人工智能）；Audio Research Group（音频研究组）；Tampere University（塔尔皮奥大学）；Queen Mary University of London（伦敦女王学院）；Sony Group Corporation（索尼集团）
本文介绍了DCASE2025挑战赛任务3，研究基于立体声音频的声音事件定位与检测，引入屏幕内/屏幕外分类新任务，并提供数据集、基线系统和评估指标。
2025-07-16 cs.CV cs.MM cs.SD
AENet: Learning Deep Audio Features for Video Analysis
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
我们提出了一个新的音频事件识别深度网络，称为AENet。与语音相反，来自音频事件的声音可以由各种各样的源产生。此外，区分它们往往需要分析一个延长的时间段，由于缺乏明确的子词单位，目前在讲话。为了将这种长时间的音频事件的频率结构，我们引入了一个卷积神经网络（CNN）上的一个大的时间输入。与以前的作品相比，这使我们能够训练音频事件检测系统端到端。我们的网络架构和一种新的数据增强相结合，比以前的音频事件检测方法提高了16%。此外，我们进行了迁移学习，并表明我们的模型学习了通用的音频特征，类似于CNN学习视觉任务的通用特征的方式。在视频分析中，结合视觉特征和传统的音频特征（如MFCC）通常只能带来边际改进。相反，将视觉特征与我们的AENet特征相结合，可以在GPU上有效地计算，从而在动作识别和视频亮点检测方面显着提高性能。在视频亮点检测中，我们的音频特征比单独的视觉特征提高了8%以上的性能。
2017-01-04 cs.CV cs.MM cs.SD
Spatial Audio Motion Understanding and Reasoning
Qualcomm Technologies Inc.（高通技术公司）
本文提出空间音频编码器与音频定位模型以提取移动声源的结构化空间属性，并结合大语言模型实现动态音频场景的复杂查询推理，同时构建了空间音频运动理解与推理基准数据集。
2025-09-18 cs.AI cs.CL cs.SD
Audio Event Detection using Weakly Labeled Data
Carnegie Mellon University（卡内基梅隆大学）
声事件检测是多媒体录音内容分析和描述的基础。目前关于该主题的大多数文献都是通过采用强标记数据的全监督技术来学习检测器。然而，可用于大多数多媒体数据的标签通常是弱的，并没有提供足够的细节，这样的方法被采用。在本文中，我们提出了一个框架，学习声事件检测器使用弱标记的数据。我们首先表明，使用弱标签的音频事件检测可以用公式表示为多实例学习问题。然后，我们提出了两个框架来解决多实例学习，一个基于支持向量机，另一个基于神经网络。所提出的方法可以帮助消除手动注释数据的耗时和昂贵的过程，以促进完全监督学习。此外，它不仅可以检测记录中的事件，而且还可以提供记录中事件的时间位置。这有助于获得记录的完整描述，并且值得注意，因为在弱标记数据中，时间信息首先是未知的。
2016-07-06 cs.AI cs.MM cs.SD
A Neuromorphic Trigger for Efficient Audio Event Detection
ICNS, University of Manchester（曼彻斯特大学ICNS）
提出基于脉冲神经网络（SNN）的低成本前端触发器，选择性筛选音频片段，在异常声音检测和声音事件检测任务上分别实现0.97的F1分数和42.6倍FLOPs减少。
2026-06-25 cs.AI cs.NE cs.SD
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕是一个跨模态的任务，生成自然语言描述来总结音频剪辑的声音事件。然而，尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集，它提供了声音事件和Audiocaps中提供的字幕之间的对应关系，以及每个声音事件的位置（时间戳）。在此基础上，我们提出了文本到音频接地（TAG）的任务，交互地考虑音频处理和语言理解之间的关系。提供了基线方法，导致事件F1评分为28.3%，复音检测评分（PSDS）为14.7%。
2021-02-23 cs.SD eess.AS
CT-SAT: Contextual Transformer for Sequential Audio Tagging
Ghent University（根特大学）；KU Leuven（鲁汶大学）；Meta AI
顺序音频事件标记不仅可以提供音频事件的类型信息，还可以提供事件之间的顺序信息以及在音频片段中发生的事件的数量。大多数以前的作品音频事件序列分析依赖于连接主义的时间分类（CTC）。然而，CTC的条件独立性假设使其无法有效地学习不同音频事件之间的相关性。本文首次尝试将Transformer引入序列音频标注，因为Transformers在序列相关任务中表现良好。为了更好地利用音频事件序列的上下文信息，借鉴双向递归神经网络的思想，提出了一种具有双向解码器的上下文Transformer（cTransformer），该解码器可以利用事件序列的前向和后向信息。在实际复音音频数据集上的实验表明，与基于CTC的方法相比，cTransformer可以有效地将编码器的细粒度声学表示和粗粒度音频事件线索结合起来，利用上下文信息成功地识别和预测音频事件序列。
2022-03-22 cs.SD eess.AS
Automated Audio Captioning using Audio Event Clues
音频字幕是一个重要的研究领域，旨在为音频片段生成有意义的描述。现有的大多数研究提取音频片段的声学特征作为编码器-解码器和Transformer架构的输入，以序列到序列的方式产生字幕。由于数据不足和架构的学习能力不足，需要额外的信息来生成自然语言句子以及声学特征。为了解决这些问题，提出了一种编码器-解码器架构，该架构从声学特征和提取的音频事件标签两者作为输入来学习。该模型基于预训练的声学特征和音频事件检测。各种实验使用不同的声学特征，词嵌入模型，音频事件标签提取方法和实现配置，以显示哪些组合在音频字幕任务上具有更好的性能。在多个数据集上进行的大量实验结果表明，使用具有声学特征的音频事件标签提高了识别性能，并且所提出的方法优于最先进的模型或取得了与最先进的模型竞争的结果。
2022-04-18 cs.SD eess.AS
PicoAudio: Enabling Precise Timestamp and Frequency Controllability of Audio Events in Text-to-audio Generation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
PicoAudio提出一种时间可控的音频生成框架，通过整合时间信息并利用数据爬取、分割、过滤和模拟细粒度对齐数据，显著提升了音频事件的时间戳与频率可控性。
2024-07-17 cs.SD eess.AS
ELSA: Acoustic Event-Level Semantic Alignment for Fine-Grained Reference-Free Text-to-Audio Evaluation
Keio University（Keio大学）
提出ELSA指标，通过将生成音频分解为文本查询中的声学事件并评估事件级对齐，实现细粒度无参考文本到音频评估，在四个基准上比现有指标更符合人类评分。
2026-06-17 cs.SD eess.AS
A Detailed Audio-Text Data Simulation Pipeline using Single-Event Sounds
Shanghai Jiao Tong University（上海交通大学）
针对现有音频-文本数据集描述简单的问题，提出一种基于单事件声音的精细化音频-文本数据模拟流水线，从四维度控制音频细节并生成对应文本，验证了其助力模型学习精细化音频描述的有效性。
2024-03-07 cs.SD eess.AS
Deep Learning of Human Perception in Audio Event Classification
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
在本文中，我们介绍了我们最近的研究人类感知音频事件分类不同的深度学习模型。特别是，预训练模型VGGish被用作处理音频数据的特征提取器，DenseNet被训练并用作我们的脑电图（EEG）数据的特征提取器。在共享空间中学习音频刺激和EEG之间的相关性。在实验中，我们记录大脑活动（EEG信号）的几个主题，而他们正在听8个音频类别的音乐事件从谷歌AudioSet，使用16通道EEG耳机与有源电极。我们的实验结果表明，i）音频事件分类可以通过利用人类感知的能力来改进，ii）音频刺激和EEG之间的相关性可以被学习以补充音频事件理解。
2018-09-03 cs.MM cs.SD eess.AS
Exploring Differences between Human Perception and Model Inference in Audio Event Recognition
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Ghent University（根特大学）；Beijing AISHELL Technology Co., Ltd（北京AISHELL科技有限公司）；University of Surrey（萨里大学）
本文提出音频事件识别中的语义重要性概念，构建MAFAR多标注数据集，通过对比人类标注与模型预测，揭示了人类感知与模型推理在事件语义识别和存在性检测上的显著差异。
2024-09-10 cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
The Benefit Of Temporally-Strong Labels In Audio Event Classification
Google Research（谷歌研究院）
为了揭示地面实况音频事件标签中时间精度的重要性，我们为AudioSet数据集的一部分收集了精确（~0.1秒分辨率）的“强”标签。我们设计了一个时间上强的评估集（包括不同难度的显式否定）和一个67 k剪辑的小的强标记训练子集（与原始数据集的1.8M剪辑相比，以10秒的分辨率标记）。我们表明，微调与弱和强标记的数据的混合可以大大提高分类器的性能，即使只使用原来的弱标签进行评估。对于ResNet 50架构，包括显式否定的强评估数据的d'从1.13提高到1.41。新标签可作为AudioSet的更新提供。
2021-05-14 cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
