Polyphonic Sound Event and Sound Activity Detection: A Multi-task approach
Queen Mary University of London（伦敦玛丽女王大学）
由于声音事件的动态复调水平、强度和持续时间，在真实世界录音中的复调声音事件检测（SED）是一项具有挑战性的任务。当前的复音SED系统未能明确地对声音事件的时间结构进行建模，而是试图查看在每个音频帧处存在哪些声音事件。因此，逐事件检测性能远低于逐段检测性能。在这项工作中，我们提出了一个联合模型的方法，以提高使用多任务学习设置的声音事件的时间定位。第一个任务预测在每个时间帧存在哪些声音事件;我们称这个分支为“声音事件检测（SED）模型”，而第二个任务预测在每个帧是否存在声音事件;我们称这个分支为“声音活动检测（SAD）模型”。我们验证了建议的联合模型进行比较，这两个任务聚合在一起，从单独的任务预测的一个单独的实施。我们在URBAN-SED数据集上的实验表明，所提出的联合模型可以减轻假阳性（FP）和假阴性（FN）错误，并提高分段和事件度量。
2019-08-01 cs.SD eess.AS
Sound Event Detection Using Duration Robust Loss Function
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）；Kansai University（关西大学）
许多基于机器学习的声音事件检测（SED）方法都将一段时间帧作为一个数据样本进行模型训练。然而，声音事件的声音持续时间根据声音事件类别而变化很大，例如，声音事件"fan“具有长的持续时间，而声音事件" mouse clicking”是瞬时的。因此，声音事件类别之间的持续时间的差异导致SED中严重的数据不平衡问题。在本文中，我们提出了一种方法SED使用持续时间的鲁棒损失函数，它可以集中在短时间的声音事件的模型训练。在所提出的方法中，我们专注于声音事件的持续时间和模型训练的难易程度之间的关系。特别地，许多长持续时间的声音事件（例如，声音事件“风扇”）是平稳声音，其在其声学特征中具有较少的变化，且其模型训练是容易的。同时，一些短持续时间的声音事件（例如，声音事件"物体撞击“）具有多于一个音频模式，例如攻击、衰减和释放部分。因此，我们根据模型训练的难易程度对二进制交叉熵损失函数应用类加权。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集进行的评估实验表明，与使用二进制交叉熵损失函数的传统方法相比，该方法在宏观和微观Fscores上分别提高了声音事件检测性能3.15和4.37个百分点。
2020-06-27 cs.SD eess.AS
USM-SED - A Dataset for Polyphonic Sound Event Detection in Urban Sound Monitoring Scenarios
Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）
本文介绍了一种新的数据集，用于城市声音监测用例中的复调声音事件检测。基于从FSD 50 k数据集获取的孤立声音，使用不同的响度水平将声音随机放置在立体声全景中，合成20，000个复音景。本文详细讨论了可能的应用场景，详细解释了数据集的生成过程，并讨论了拟议的USM-SED数据集的当前限制。
2021-05-06 cs.SD eess.AS
Sound Event Detection Utilizing Graph Laplacian Regularization with Event Co-occurrence
Ritsumeikan University（立命馆大学）；University of Kitakyusyu（北九州市立大学）
针对声学场景中声音事件常共现的特点，提出结合事件共现图拉普拉斯正则化的声音事件检测方法，在多个公开数据集上较传统方法显著提升了检测性能，尤其对共现事件检测更准确。
2020-04-25 cs.SD eess.AS
A two-step system for sound event localization and detection
Singtel（新加坡电信）
声音事件检测和声音事件定位需要与音频输入信号不同的特征。虽然声音事件检测主要依赖于时间-频率模式来区分不同的事件类别，但声音事件定位使用麦克风之间的幅度或相位差来估计源方向。因此，我们提出了一个两步系统来做声音事件定位和检测。在第一步中，我们分别检测声音事件和估计到达方向。在第二步中，我们将事件检测器和到达方向估计器的结果结合在一起。所获得的结果显示，与DCASE 2019任务3挑战中的声音事件定位和检测的基线解决方案相比，有了显着的改进。使用评估数据集，所提出的系统实现了93.4%的F1分数的声音事件检测和5.4度的到达方向估计的误差，而获胜的解决方案分别实现了94.7%的F1分数和3.7度的角度误差。
2019-11-26 cs.SD eess.AS
AI-based soundscape analysis: Jointly identifying sound sources and predicting annoyance
Ghent University（根特大学）；Interuniversity Microelectronics Centre（校际微电子中心）；University College London（伦敦大学学院）
本文提出基于交叉注意力融合的双分支卷积神经网络（DCNN-CaF），联合进行声源分类和烦恼度预测，在DeLTA数据集上优于传统方法，且与人类感知一致。
2023-11-15 cs.SD eess.AS
How Information on Acoustic Scenes and Sound Events Mutually Benefits Event Detection and Scene Classification Tasks
Doshisha University（同志社大学）；LINE Corporation（LINE公司）
声场景分类（ASC）和声音事件检测（SED）是环境声音分析中的基本任务，已经提出了许多基于深度学习的方法。考虑到声学场景和声音事件的信息有助于SED和ASC的相互作用，一些研究者提出了通过多任务学习（MTL）来联合分析声学场景和声音事件。然而，传统的作品没有详细研究声学场景和声音事件如何使SED和ASC相互受益。因此，我们调查的声学场景和声音事件上的信息的SED和ASC的性能的影响，通过使用域对抗训练的基础上的梯度反转层（GRL）或模型训练与假标签。使用TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017获得的实验结果表明，关于声学场景和声音事件的信息分别有效地用于检测声音事件和分类声学场景。此外，在将基于GRL和伪标签的方法与基于单任务的ASC和SED方法进行比较时，发现基于单任务的方法具有更好的性能。这一结果意味着，即使使用单任务为基础的ASC和SED的方法，声学场景的信息可以隐式地用于SED，反之亦然。
2022-04-05 cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events with Weakly labeled Data
Doshisha University（同志社大学）；Tokyo Metropolitan University（东京都立大学）
考虑到声学场景和声音事件之间的紧密联系，在以前的一些论文中，提出了利用基于多任务学习（MTL）的神经网络对声学场景和声音事件进行联合分析。在传统方法中，强监督方案被应用于MTL模型中的声音事件检测，这需要模型训练中的声音事件的强标签;然而，注释强事件标签是相当耗时的。因此，在本文中，我们提出了一种方法的联合分析的声学场景和声音事件的MTL框架的基础上与弱标签的声音事件。特别是，在所提出的方法中，我们引入了多实例学习计划弱监督训练的声音事件检测和评估四个池功能，即，最大池，平均池，指数softmax池，注意力池。使用部分TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017数据集获得的实验结果表明，所提出的基于弱标签的MTL方法在场景分类和事件检测性能方面优于传统的基于单任务的场景分类和事件检测模型。
2022-07-10 cs.SD eess.AS
Acoustic Scene Classification by Implicitly Identifying Distinct Sound Events
Harbin Institute of Technology（哈尔滨工业大学）；Harbin Normal University（哈尔滨师范大学）
在本文中，我们提出了一种新的策略，声学场景分类（ASC），即识别声学场景通过识别不同的声音事件。这与现有的策略不同，现有的策略专注于表征音频的全局声学分布或短期音频特征的时间演变，而不分析声音事件的水平。为了识别每个场景的不同声音事件，我们在多实例学习（MIL）框架中制定ASC，其中每个音频记录被映射到一个实例包表示。在这里，实例可以被视为场景内声音事件的高级表示。我们还提出了一个MIL神经网络模型，它隐含地识别不同的实例（即，声音事件）。此外，我们提出了两个专门设计的模块，分别模拟声音事件的多时间尺度和多模态性质。实验是在DCASE2018任务1子任务B的官方开发集上进行的，我们的最佳模型在分类准确率方面比官方基线提高了9.4%（68.3% vs 58.9%）。这项研究表明，通过识别不同的声音事件来识别声学场景是有效的，并为未来的研究铺平了道路，将这种策略与以前的。
2019-04-27 cs.LG cs.SD eess.AS
Text-to-Audio Grounding: Building Correspondence Between Captions and Sound Events
Shanghai Jiao Tong University（上海交通大学）
自动音频字幕是一个跨模态的任务，生成自然语言描述来总结音频剪辑的声音事件。然而，尚未研究基于其对应的字幕将给定音频中的实际声音事件接地。本文贡献了一个AudioGrounding数据集，它提供了声音事件和Audiocaps中提供的字幕之间的对应关系，以及每个声音事件的位置（时间戳）。在此基础上，我们提出了文本到音频接地（TAG）的任务，交互地考虑音频处理和语言理解之间的关系。提供了基线方法，导致事件F1评分为28.3%，复音检测评分（PSDS）为14.7%。
2021-02-23 cs.SD eess.AS
Environmental sound synthesis from vocal imitations and sound event labels
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）；The University of Tokyo（东京大学）
本文提出一种基于向量量化编码器和Tacotron2解码器框架的环境声音合成方法，利用声音模仿和声音事件标签控制合成声音的音高与节奏，实验证明该方法有效。
2023-09-14 cs.SD eess.AS
Learning to match transient sound events using attentional similarity for few-shot sound recognition
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
在本文中，我们引入了一个新的注意相似性模块的问题，Few-Shot的声音识别。给定几个看不见的声音事件的例子，分类器必须快速适应以识别新的声音事件，而不需要太多的微调。所提出的注意力相似性模块可以插入到任何基于度量的学习方法中用于少样本学习，从而允许所得到的模型特别地匹配相关的短声音事件。在两个数据集上进行的大量实验表明，该模块一致地提高了Few-Shot声音识别的五种不同的基于度量的学习方法的性能。ESC-50数据集的5次5向精度的相对改善范围为+4.1%至7.7%，noiseESC-50的相对改善范围为+2.1%至6.5%。定性结果表明，我们的方法有助于特别是瞬态声音事件的识别。
2019-02-18 cs.SD eess.AS
Zero-shot Sound Event Classification Using a Sound Attribute Vector with Global and Local Feature Learning
Kobe University（神户大学）
本文介绍了一种zero-shot声音事件分类（ZH-SEC）方法，用于识别在训练数据中从未发生过的声音事件。在我们之前的工作中，我们提出了一种使用声音属性向量（SAVs）的ESP-SEC方法，其中深度神经网络模型推断描述事件类的声音的属性信息，而不是直接推断其类标签。我们以前的方法表明，它可以在一定程度上分类看不见的事件，但是，对看不见的事件的准确性是远远低于对看到的事件。在本文中，我们提出了一种新的可区分的全局特征和局部特征的学习方法，可以同时提高基于SAV-SEC。该方法在学习全局特征以区分训练数据中的事件类别的同时，学习谱时局部特征以利用属性原型回归属性信息。实验结果表明，该方法可以提高基于SAV-SEC的准确性，并且可以可视化与每个属性相关的频谱图中的区域。
2023-03-18 cs.SD eess.AS
Sound Event Triage: Detecting Sound Events Considering Priority of Classes
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）
提出了声音事件检测的一个新任务：声音事件分类. SET的目标是检测任意数量的高优先级事件类，同时允许误检测低优先级事件类，其中每个事件类都有优先级。在用于以特定声音事件类别为目标的SED的常规方法中，仅可能给予单个事件类别优先级。此外，优先级的水平是不可调的，即，传统的方法只能使用目标事件类的类型，如独热向量，作为输入。为了灵活地控制关于目标事件的大量信息，所提出的SET不仅利用目标声音的类型，而且利用每个目标声音被优先检测的程度。为了实现优先级事件的检测，我们提出了类加权训练，其中损失函数和网络由每个类的优先级参数随机加权。由于这是第一篇关于SET的论文，我们特别介绍了SET的子任务单目标SET的实现。使用URBAN-SED数据集的实验结果表明，所提出的方法的单目标SET优于传统的SED方法的8.70，6.66和6.09个百分点，分别为“空调，”“汽车喇叭，”和“街道音乐，”在基于交叉口的F-分数。对于类的平均得分，所提出的方法增加了基于交叉的F-分数高达3.37个百分点相比，传统的SED和其他目标类的条件模型。
2023-01-11 cs.SD eess.AS
Misrecognition or Abstraction? Rethinking Outputs of Sound Event Recognition
Kyoto University（京都大学）；The University of Tokyo（东京大学）
本文提出结合声音类别、置信度和拟声词描述的输出表示，在不确定性下提升声音事件识别的信息性和沟通性，实验验证其性能与传统系统相当且更受偏好。
2026-09-22 cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events Based on Semi-Supervised Training of Sound Events With Partial Labels
Graduate School of Informatics, Kyoto University, Japan（信息学研究生院，京都大学，日本）
针对声音事件标注成本高的问题，提出利用声学场景信息构建部分标签的多任务联合分析框架，并结合半监督训练与自蒸馏标签精炼方法，平衡标注成本与检测性能。
2025-10-29 cs.SD eess.AS
Improving Sound Event Detection Metrics: Insights from DCASE 2020
Audio Analytic - AA Labs（音频分析公司AA实验室）；Universite de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛里亚实验室）
声音事件检测（SED）系统的排名可能会受到评估标准和操作点选择所固有的假设的影响。本文比较了传统的基于事件和基于段的标准对复调声音检测分数（PSDS）的交叉为基础的标准，从DCASE 2020挑战任务4的选择系统。它表明，依靠衣领，传统的基于事件的标准，根据声音事件的长度引入不同的严格性水平，和基于段的标准可能缺乏精度和应用程序相关。或者，PSDS的交叉为基础的标准克服了依赖性的评价声音事件的持续时间，并提供了鲁棒性标签的主观性，通过允许有效的检测中断的事件。此外，PSDS通过独立于系统的操作点测量声音事件建模性能，增强了SED系统的比较。
2020-10-26 cs.SD eess.AS
Joint Analysis of Sound Events and Acoustic Scenes Using Multitask Learning
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）
声音事件检测和声场景分类是环境声音分析中的重要研究课题。许多研究小组已经使用基于神经网络的方法来解决SED和ASC，例如卷积神经网络（CNN）、递归神经网络（RNN）和卷积递归神经网络（CRNN）。传统的方法分别解决SED和ASC，即使声音事件和声学场景彼此密切相关。例如，在声学场景“办公室”中，可能发生声音事件“鼠标点击”和“键盘键入”。因此，预计有关声音事件和声学场景的信息将对SED和ASC相互帮助。在本文中，我们提出了多任务学习的声音事件和声学场景的联合分析，其中的部分网络持有的信息，声音事件和声学场景中的共同共享。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集获得的实验结果表明，与传统的方法相比，所提出的方法在F-score方面分别将SED和ASC的性能提高了1.31和1.80个百分点。基于CRNN的方法。
2020-10-16 cs.SD eess.AS
Event-Independent Network for Polyphonic Sound Event Localization and Detection
University of Surrey（萨里大学）；ByteDance（字节跳动）
复调声音事件定位与检测不仅仅是检测正在发生的声音事件，而是定位相应的声源。这一系列任务首次在DCASE 2019任务3中引入。在2020年，声音事件定位和检测任务在移动声源和重复事件情况下引入了额外的挑战，其中包括具有两个不同到达方向（DoA）角度的两个相同类型的事件。本文提出了一种新的事件无关网络用于多音事件定位和检测。与我们在DCASE 2019任务3中提出的两阶段方法不同，这个新网络是完全端到端的。网络的输入是一阶Ambisonics（FOA）时域信号，然后将其馈送到1-D卷积层以提取声学特征。然后，网络被分成两个并行的分支。第一分支用于声音事件检测（SED），并且第二分支用于DoA估计。网络中有三种类型的预测：SED预测、DoA预测和事件活动检测（EAD）预测，它们用于组合SED和DoA特征以进行开始和结束估计。所有这些预测都具有两个轨迹的格式，表明最多有两个重叠的事件。在每一个轨迹中，最多只能有一个事件发生。这种架构引入了轨道排列的问题。为了解决这个问题，使用帧级置换不变训练方法。实验结果表明，该方法可以检测出复调声音事件及其对应的DOA。在Task 3数据集上的性能与基线方法相比有了很大的提高。
2020-09-30 cs.SD eess.AS
A multi-room reverberant dataset for sound event localization and detection
Tampere University（坦佩雷大学）
本文介绍了DCASE 2019挑战赛的声音事件定位和检测（SELD）任务设置。SELD任务的目标是检测一组已知的声音事件类的时间活动，并在活动时进一步将它们定位在空间中。作为挑战的一部分，提供了具有与使用方位角和仰角表示的空间坐标相关联的每个声音事件的合成数据集。这些声音事件使用在具有不同尺寸和材料属性的五个不同房间中的多个空间坐标处收集的真实脉冲响应进行空间化。采用卷积递归神经网络的基线SELD方法用于为该混响数据集生成基准分数。基准分数是使用推荐的交叉验证设置获得的。
2019-05-24 cs.SD eess.AS
Improving Sound Event Detection In Domestic Environments Using Sound Separation
French National Research Agency（法国国家研究署）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；RENATER（法国国家电信通信网络）
对真实世界录音执行声音事件检测通常意味着处理重叠的目标声音事件和非目标声音，也称为干扰或噪声。到目前为止，这些问题主要在分类器级别解决。我们建议使用声音分离作为声音事件检测的预处理。在本文中，我们从在Free Universal Sound Separation数据集和DCASE 2020任务4声音事件检测基线上训练的声音分离模型开始。我们探索不同的方法来结合分离的声源和原始的混合物内的声音事件检测。此外，我们调查的声音分离模型，以适应声音事件检测数据上的声音分离和声音事件检测的影响。
2020-07-08 cs.SD eess.AS eess.SP
Sound Event Localization and Detection for Real Spatial Sound Scenes: Event-Independent Network and Data Augmentation Chains
University of Chinese Academy of Sciences（中国科学院大学）；Xi'an Jiaotong Liverpool University（西交利物浦大学）；ByteDance（字节跳动）；University of Surrey（萨里大学）
声事件定位与检测（SELD）是声事件检测和波达方向估计的联合任务。在DCASE 2022任务3中，数据类型从计算生成的空间记录转换为真实声音场景的记录。我们提交给DCASE 2022任务3的系统基于我们之前提出的事件无关网络V2（EINV 2），具有新颖的数据增强方法。我们的方法采用EINV 2，具有逐轨输出格式，置换不变训练和软参数共享策略，以检测同一类但位于不同位置的不同声音事件。Conformer结构用于扩展EINV 2以学习局部和全局特征。一个数据扩充方法，它包含几个数据扩充链组成的几个不同的数据扩充操作的随机组合，被用来推广模型。为了缓解开发数据集中缺乏真实场景录音以及存在不平衡的声音事件，我们利用FSD 50 K，AudioSet和TAU空间房间脉冲响应数据库（TAU-SRIR DB）来生成用于训练的模拟数据集。我们详细介绍了Sony-TAu Realistic Spatial Soundscapes 2022（STARSS 22）验证集的结果。实验结果表明，推广到不同环境的能力和不同类之间的不平衡的性能是两个主要的挑战。我们在DCASE 2022挑战的任务3中评估了我们提出的方法，并在团队排名中获得第二名。源代码已发布。
2022-09-09 cs.SD eess.AS
A Dataset of Reverberant Spatial Sound Scenes with Moving Sources for Sound Event Localization and Detection
Tampere University（坦佩雷大学）
本报告介绍了DCASE 2020挑战赛的声音事件定位和检测（SELD）任务的数据集和评估设置。SELD任务是指试图同时对一组已知的声音事件类别进行分类，检测它们的时间激活，并在它们活跃时估计它们的空间方向或位置的问题。为了训练和测试SELD系统，需要在真实声学条件下发生的不同声音事件的数据集。与之前的挑战相比，DCASE 2020创建了一个更加复杂的数据集。两个关键的区别是更多样化的声学条件和动态条件，即移动源。空间声音场景是使用以连续方式捕获的真实房间脉冲响应与缓慢移动的激励源创建的。静态和运动的声音事件都是从它们合成的。现场记录的环境噪声被添加以完成场景记录的生成。基线SELD方法基于卷积递归神经网络伴随数据集，为任务提供基准分数。基线是上一个挑战中使用的基线的更新版本，具有输入功能和训练修改以提高其性能。
2020-06-27 cs.SD eess.AS
Onoma-to-wave: Environmental sound synthesis from onomatopoeic words
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）；The University of Tokyo（东京大学）；Kansai University（关西大学）
在本文中，我们提出了一个框架，环境声音合成从拟声词。作为表达环境声音的一种方式，我们可以使用拟声词，这是一个语音模仿声音的字符序列。拟声词能有效地描述各种语音特征。因此，使用拟声词进行环境声音合成将使我们能够产生多样化的环境声音。为了生成不同的声音，我们提出了一种方法的基础上的序列到序列的框架合成环境的声音拟声词。我们还提出了一种使用拟声词和声音事件标签的环境声音合成方法。除了拟声词之外，声音事件标签的使用使我们能够根据输入的声音事件标签来捕获每个声音事件的特征。我们的主观实验表明，我们提出的方法实现了更高的多样性和自然度比传统的方法使用声音事件标签。
2022-02-07 cs.SD eess.AS
A Multi-grained based Attention Network for Semi-supervised Sound Event Detection
Xinjiang University（新疆大学）；Tsinghua University（清华大学）
声音事件检测（SED）是一项有趣但具有挑战性的任务，这是由于现实生活中数据的稀缺性和声音事件的多样性。提出了一种基于多粒度的注意力网络（MGA-Net）用于半监督声音事件检测。为了获得与声音事件相关的特征表示，设计了残差混合卷积（RH-Conv）块来增强香草卷积提取时频特征的能力。此外，多粒度注意（MGA）模块的设计，学习时间分辨率的功能，从粗到细的水平。通过MGA模块，网络可以捕获具有短或长持续时间的目标事件的特征，从而更准确地确定声音事件的开始和结束。此外，为了有效地提高平均教师（MT）方法的性能，空间移位（SS）模块作为数据扰动机制，以增加数据的多样性。实验结果表明，MGA-Net的性能优于已发表的最先进的竞争对手，分别达到53.27%和56.96%的基于事件的宏F1（EB-F1）分数，0.709和0.739复调声音检测分数（PSDS）在验证和公共集。
2022-06-21 cs.SD eess.AS
Sound Event Detection and Time-Frequency Segmentation from Weakly Labelled Data
声音事件检测（SED）旨在检测音频片段中何时发生声音事件以及识别哪些声音事件。许多监督SED算法依赖于强标记的数据，其中包含声音事件的起始和偏移注释。然而，许多音频标记数据集是弱标记的，即，仅知道声音事件的存在，而不知道它们的起始和偏移注释。在本文中，我们提出了一个时间-频率（T-F）分割框架训练弱标记的数据，以解决声音事件检测和分离问题。在训练中，在T-F表示（诸如音频片段的对数梅尔频谱图）上应用分割映射以获得声音事件的T-F分割掩码。T-F分割掩模可以用于在时频域中将声音事件与背景场景分离。然后对T-F分割模板应用分类映射来估计声音事件的存在概率。我们使用一个卷积神经网络和分类映射使用全局加权秩池（GWRP）的分割映射建模。在SED中，可以从T-F分割掩模获得预测的起始和偏移时间。作为副产品，可以从T-F分割掩模获得声音事件的分离波形。我们将DCASE 2018任务1声学场景数据与DCASE 2018任务2声音事件数据重新混合。当在0 dB下混合时，所提出的方法在音频标记、逐帧SED和逐事件SED中实现了0.534、0.398和0.167的F1分数，分别优于0.331、0.237和0.120的全连接深度神经网络基线。在T-F分割中，我们实现了0.218的F1分数，而以前的方法无法进行T-F分割。
2019-03-02 cs.SD eess.AS
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元（BiGRU）使用预训练的音频功能和声音事件检测。一个预训练的神经网络（PANN）被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕，我们从音频片段中提取声音事件，并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明，我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
Sound Event Bounding Boxes
Mitsubishi Electric Research Laboratories（三菱电机研究院）
本文提出SEBBs格式和基于变化检测的转换算法，将声音事件的范围预测与置信度解耦，显著提升DCASE 2023 Challenge系统性能。
2024-06-06 cs.SD eess.AS
A simple model for detection of rare sound events
Amazon Alexa（亚马逊Alexa）
我们提出了一个简单的经常性模型，用于检测罕见的声音事件，当事件的时间边界可用于训练。我们的模型优化了话语级损失和帧级损失的组合，话语级损失对事件是否发生进行分类，帧级损失对每个帧是否对应于事件发生时进行分类。这两个损失利用了事件的共同矢量表示，并通过注意力机制连接起来。我们在DCASE 2017挑战赛的任务2上展示了我们的模型，并实现了具有竞争力的性能。
2018-08-20 cs.SD eess.AS
A report on sound event detection with different binaural features
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们比较使用双耳音频功能代替单通道功能的声音事件检测的性能。三种不同的双耳功能进行了研究，并在公开可用的TUT声音事件2017数据集的长度70分钟进行评估。声音事件检测使用堆叠的卷积和递归神经网络分别利用单声道和双耳特征来执行，并且使用出错率和F分数的标准度量来报告评估。所研究的双耳特征被认为在出错率度量方面一致地执行等于或优于单通道特征。
2017-10-09 cs.SD eess.AS
Spatial Data Augmentation with Simulated Room Impulse Responses for Sound Event Localization and Detection
Sony Group Corporation（索尼集团公司）；The University of Tokyo（东京大学）
为声音事件定位和检测（SELD）任务记录和注释真实声音事件是耗时的，并且当数据量有限时，数据增强技术通常是有利的。然而，如何在数据集中增加空间信息，包括未标记的定向干扰事件，仍然是一个开放的研究问题。此外，定向干扰事件使得难以从目标声音事件中准确地提取空间特征。为了解决这个问题，我们提出了一个脉冲响应模拟框架（IRS），增强空间特性，使用模拟房间脉冲响应（RIR）。准确地模拟与假设放置在各个房间中的麦克风阵列相对应的RIR，并且从混合物中提取目标声音事件的源信号。然后将模拟的RIR与提取的源信号卷积以获得增强的多通道训练数据集。使用TAU-NIGENS Spatial Sound Events 2021数据集获得的评估结果表明，IRS有助于提高整体SELD性能。此外，我们进行了一项消融研究，以讨论IRS中每个组件的贡献和需求。
2022-04-28 cs.SD eess.AS
Sound Event Localization and Detection Using Activity-Coupled Cartesian DOA Vector and RD3net
Sony Corporation（索尼公司）
本报告描述了我们提交给DCASE 2020任务3：声音事件定位和检测（SELD）的系统。我们考虑两个系统：一个是同时解决声音事件定位（SEL）和声音事件检测（SED）的单级系统，另一个是首先单独处理SED和SEL任务，然后将这些结果组合起来的两级系统。作为单阶段系统，我们提出了一个统一的训练框架，使用一个活动耦合的笛卡尔DOA向量~（ACCDOA）表示作为一个单一的目标，为SED和SEL任务。为了有效地估计声音事件的位置和活动，我们进一步提出了RD 3 Net，它结合了具有密集跳跃连接和膨胀的递归和卷积层。为了推广模型，我们应用了三种数据增强技术：均衡混合数据增强（EMDA），一阶Ambisonic~（FOA）信号的旋转和SpecAugment的多通道扩展。我们的系统比基线系统有了显著的改进。
2020-10-08 cs.SD eess.AS
Sound Event Localization and Detection of Overlapping Sources Using Convolutional Recurrent Neural Networks
Tampere University of Technology（坦佩雷理工大学）；Aalto University（阿尔托大学）
在本文中，我们提出了一个卷积递归神经网络的联合声音事件定位和检测（SELD）的多个重叠的声音事件在三维（3D）空间。该网络以连续的频谱图时间帧序列作为输入，并将其并行映射到两个输出。作为第一输出，在每个时间帧上执行声音事件检测（SED）作为多标签分类任务，从而为所有声音事件类别产生时间活动。作为第二输出，通过使用多输出回归估计每个声音事件类的到达方向（DOA）的3D笛卡尔坐标来执行定位。所提出的方法能够将多个DOA与相应的声音事件标签相关联，并且进一步跟踪关于时间的这种关联。所提出的方法分别使用在每个音频通道上计算的频谱图的相位和幅度分量作为特征，从而避免任何方法和阵列特定的特征提取。该方法进行了评估五个高保真度和两个圆形阵列格式的数据集与不同的重叠的声音事件在消声，混响和现实生活中的场景。该方法与两个SED，三个DOA估计，和一个SELD基线进行了比较。结果表明，该方法具有通用性，适用于任何阵列结构，对未知DOA值、混响和低信噪比情况具有鲁棒性。与最佳基线相比，所提出的方法实现了跨数据集的DOA估计数量的一致更高的召回率。此外，对于更多数量的重叠声音事件，观察到该回忆显著优于最佳基线方法。
2018-12-17 cs.SD eess.AS
Noise-Robust Sound Event Detection and Counting via Language-Queried Sound Separation
针对声事件检测在嘈杂环境中性能下降的问题，提出基于事件外观检测的协同训练多任务学习框架，结合语言查询声音分离，显著提升了高噪声环境下的检测与计数性能。
2025-08-10 cs.SD eess.AS
VOICe: A Sound Event Detection Dataset For Generalizable Domain Adaptation
Tampere University（坦佩雷大学）
声音事件检测方法的性能在它们用于看不见的条件（例如，记录设备、环境噪声）时可能显著降低。领域自适应是解决这一问题的有效方法。在本文中，我们提出了VOICe，第一个数据集的领域自适应方法的开发和评估声音事件检测。VOICe由三种不同声音事件（“婴儿哭声”，“玻璃破碎”和“枪声”）的混合物组成，这些声音事件被叠加在三种不同类别的声学场景上：车辆，室外和室内。此外，还提供了没有任何背景噪声的混合物。VOICe可在网上免费获取（https：//doi.org/10.5281/zenodo.3514950）。此外，使用基于对抗的训练方法，我们评估了VOICe上的领域自适应方法的性能。
2019-11-25 cs.SD eess.AS
Sound Event Localization and Detection Using CRNN on Pairs of Microphones
Massachusetts Institute of Technology（麻省理工学院）；University of Surrey（萨里大学）
本文提出了多通道录音中声音事件的定位和检测方法。该系统是基于两个卷积递归神经网络（CRNN）执行声音事件检测（SED）和到达时间差（TDOA）估计的麦克风阵列中的每对麦克风。在本文中，该系统进行了评估与四麦克风阵列，从而结合从六对麦克风的结果，提供一个最终的分类和3-D的到达波达方向（DOA）估计。结果表明，所提出的方法优于DCASE 2019基线系统。
2019-10-22 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Full-frequency dynamic convolution: a physical frequency-dependent convolution for sound event detection
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出全频动态卷积（FFDConv），通过为每个频带生成频率核实现物理上的频率依赖建模，在DESED数据集上PSDS1较基线提升6.6%，并验证其频带特征提取能力。
2024-08-22 cs.SD eess.AS
Onset and offset weighted loss function for sound event detection
针对声音事件检测中起止点附近错误难以通过中值滤波器去除的问题，提出起止点加权二值交叉熵损失函数，在DCASE 2022 task 4中使CRNN的event-F1、PSDS1和PSDS2分别相对提升6.43%、1.96%和2.43%。
2024-03-20 cs.SD eess.AS
Sound Event Detection with Sequentially Labelled Data Based on Connectionist Temporal Classification and Unsupervised Clustering
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Surrey（萨里大学）
声音事件检测（SED）方法通常依赖于强标记数据或弱标记数据。作为替代方案，提出了顺序标记数据（SLD）。在SLD中，音频片段中的事件和事件的顺序是已知的，而不知道事件的发生时间。本文提出了一种基于连接主义时态分类（CTC）的SED系统，该系统使用SLD代替强标记数据，具有一个新的无监督聚类阶段。对41类声音事件的实验表明，所提出的两阶段方法在SLD上训练达到与先前的最先进的强标记数据上训练的SED系统相当的性能，并且远优于另一种最先进的弱标记数据上训练的SED系统，这表明所提出的两阶段方法在SLD上训练而没有任何声音事件的开始/偏移时间的有效性。
2019-04-27 cs.SD eess.AS
A Framework for the Robust Evaluation of Sound Event Detection
Audio Analytic - AA Labs（Audio Analytic - AA实验室）
这项工作定义了一个新的框架，性能评估的复音声事件检测（SED）系统，它克服了传统的基于衣领的事件决策，事件F-分数和事件错误率的限制。拟议的框架引入了一个定义的事件检测，是更强大的标签的主观性。它还利用复音接收器操作特性（ROC）曲线来提供比F1分数更全面的系统性能洞察，并建议将这些曲线简化为单个复音声音检测分数（PSDS），这允许系统比较独立于操作点（OP）。所提出的方法还提供了更好的洞察数据偏差和跨声音类的分类稳定性。此外，它可以调整到不同的应用程序，以匹配各种用户体验要求。通过重新评估DCASE 2019任务4中的基线和两个性能最好的系统，证明了所提出方法的好处。
2020-02-14 cs.SD eess.AS
Learning generic feature representation with synthetic data for weakly-supervised sound event detection by inter-frame distance loss
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于强标记声音事件检测数据集的局限性，利用合成数据提高声音事件检测系统的性能成为新的研究热点。在本文中，我们试图利用合成数据的使用，以改善特征表示。在度量学习的基础上，提出了一种基于帧间距离损失函数的领域自适应方法，并证明了该方法在声音事件检测中的有效性。我们还应用了多任务学习与合成数据。我们发现当这两种方法结合使用时，可以达到最佳的性能。在DCASE 2018 task 4测试集和DCASE 2019 task 4合成集上的实验都显示了竞争性的结果。
2020-11-02 cs.SD eess.AS
Selective Pseudo-labeling and Class-wise Discriminative Fusion for Sound Event Detection
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）
近年来，探索有效的声音分离技术来提高重叠声事件检测技术受到越来越多的关注。创建精确的分离信号以避免SED模型训练期间灾难性的误差积累是非常重要和具有挑战性的。在这项研究中，我们首先提出了一种新的选择性伪标记的方法，称为SPL，产生高置信度分离的目标事件从盲目的声音分离输出。然后，这些目标事件用于微调原始SED模型，该模型以多目标学习方式对声音混合进行预训练。然后，为了进一步利用SSep输出，提出了一种逐类判别融合，通过结合声音混合物及其分离信号的多个帧级事件预测来提高最终的SED性能。在公开的DCASE 2021 Task 4数据集上进行的实验表明，本文方法的性能明显优于官方基准，基于领的F1、PSDS1和PSDS2的性能分别从44.3%、37.3%和54.9%提高到46.5%、44.5%和75.4%。
2022-03-04 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Fictional University（虚构大学）；University of the Imagination（想象大学）
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
Hierarchical Pooling Structure for Weakly Labeled Sound Event Detection
Department of Electronic Engineering, Tsinghua University, Beijing 100084, China（电子工程系，清华大学，北京100084，中国）
本文提出一种无需增加参数的分层池化结构，用于提升弱标注声音事件检测性能，并在DCASE 2017任务4上取得有竞争力的结果。
2019-11-28 cs.SD eess.AS
Polyphonic Sound Event Detection and Localization using a Two-Stage Strategy
University of Surrey（萨里大学）；Qingdao University of Technology（青岛理工大学）
声音事件检测（SED）和定位是指识别声音事件并估计其空间和时间位置。使用神经网络已经成为SED的主流方法。在通常通过估计到达方向（DOA）来执行的声音定位领域中，最近已经开发了基于学习的方法。在本文中，它是实验表明，训练的SED模型是能够有助于波达方向估计（DOAE）。然而，SED和DOAE的联合训练降低了两者的性能。在此基础上，提出了一种两阶段的复音声音事件检测和定位方法。该方法首先学习SED，然后将学习到的特征层转移到DOAE。然后使用SED地面实况作为掩码来训练DOAE。该方法在DCASE 2019任务3数据集上进行了评估，该数据集包含不同环境中的不同重叠声音事件。实验结果表明，该方法能够提高SED和DOAE的性能，并且性能明显优于基线方法。
2019-11-05 cs.SD eess.AS
An Improved Event-Independent Network for Polyphonic Sound Event Localization and Detection
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（萨里大学视觉、语音与信号处理中心（CVSSP））；ByteDance（字节跳动）；Qingdao University of Technology（青岛理工大学）
复调声音事件定位与检测（SELD）联合执行声音事件检测（SED）和到达方向（DoA）估计，同时检测声音事件的类型和发生时间以及它们对应的DoA角度。我们从多任务学习的角度研究SELD任务。本文讨论了两个开放的问题。首先，为了检测相同类型但具有不同DoA的重叠声音事件，我们建议使用逐轨输出格式并使用置换不变训练解决伴随的轨道置换问题。进一步使用多头自注意来分离轨道。其次，以前的发现是，通过使用硬参数共享，SELD遭受的性能损失相比，单独学习的子任务。这是解决了软参数共享计划。我们将所提出的方法称为事件独立网络V2（EINV2），它是我们以前提出的方法的改进版本，也是SELD的端到端网络。我们表明，我们提出的EINV2联合SED和DoA估计优于以前的方法的一个很大的利润率，并具有可比的性能，以国家的最先进的合奏模型。
2021-02-11 cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events Based on Multitask Learning with Dynamic Weight Adaptation
Doshisha University（同志社大学）
声场景分类（ASC）和声音事件检测（SED）是环境声分析中的重要课题。考虑到声学场景和声音事件之间的紧密联系，在以往的一些工作中提出了使用基于多任务学习（MTL）的神经网络对声学场景和声音事件进行联合分析。传统方法使用具有恒定权重的ASC和SED损失函数的线性组合来训练基于MTL的模型。然而，传统的基于MTL的方法的性能强烈地依赖于ASC和SED损失的权重，并且难以确定ASC和SED的MTL损失的恒定权重之间的适当平衡。因此，在本文中，我们提出了动态权重自适应方法的ASC和SED的MTL的动态权重平均和多焦点损失的基础上自动调整学习权重。使用TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017的部分进行了评估实验，我们表明，与传统的基于MTL的方法相比，所提出的方法提高了场景分类和事件检测的性能特征。然后，我们研究了ASC和SED任务的学习权重如何随着模型训练的进展而动态适应。
2022-06-21 cs.SD eess.AS
Effective Pre-Training of Audio Transformers for Sound Event Detection
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
针对帧级声音事件检测任务，提出包含平衡采样器、强数据增强和集成知识蒸馏的音频Transformer预训练流程，在AudioSet及下游任务上性能显著提升并发布可直接微调的检查点。
2024-11-28 cs.SD eess.AS
Training sound event detection with soft labels from crowdsourced annotations
Tampere University（坦佩雷大学）
在本文中，我们研究了使用软标签训练系统的声音事件检测（SED）。软标签可以由解释人类对类别的不确定性的注释产生，也可以作为注释中多种观点的自然表示。将注释转换为硬标签会产生明确的类别用于训练，但代价是丢失了关于标签分布的细节。这项工作研究如何使用软标签，以及它们在培训SED系统中带来的好处。结果表明，该系统能够学习有关反映在软标签中的声音活动的信息，并且能够检测在典型的二进制目标训练设置中丢失的声音。我们还发布了一个通过众包产生的新数据集，包含现实生活中录音中声音事件的时间强标签，包括软标签和硬标签。
2023-02-28 cs.SD eess.AS
Large-Scale Weakly Labeled Semi-Supervised Sound Event Detection in Domestic Environments
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）；Johannes Kepler University of Linz（林茨约翰内斯·开普勒大学）；Carnegie Mellon University（卡内基梅隆大学）
本文介绍了DCASE 2018任务4。该任务使用弱标记数据（无时间边界）评估大规模检测声音事件的系统。该系统的目标是不仅提供事件类别，而且提供事件时间边界，因为音频记录中可能存在多个事件。任务的另一个挑战是探索利用大量不平衡和未标记的训练数据以及小的弱标记训练集来提高系统性能的可能性。这些数据是来自家庭背景的Youtube视频摘录，这些视频具有许多应用，例如环境辅助生活。选择该领域是因为科学挑战（各种各样的声音，时间本地化的事件。.)和潜在的工业应用。
2018-07-27 cs.SD eess.AS
The impact of non-target events in synthetic soundscapes for sound event detection
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学实验室）；Department of Information Engineering, Universita Politecnica delle Marche（马尔凯理工大学信息工程系）
本文研究合成声景中非目标事件对声事件检测的影响，发现在训练或验证阶段仅使用一次目标与非目标事件可优于基线，并探讨了非目标事件子集与声学相似性的未来问题。
2021-09-28 cs.LG cs.SD eess.AS
Impact of temporal resolution on convolutional recurrent networks for audio tagging and sound event detection
KU Leuven（鲁汶大学）
用于音频标记和声音事件检测的许多最先进的系统采用卷积递归神经架构。通常，他们在平均教师设置中接受训练，以处理可用数据的异构注释。在这项工作中，我们对改变这些卷积递归神经网络的时间分辨率（可以通过简单地调整其池化操作来完成）如何影响其性能进行了全面的分析。通过使用各种评估指标，我们调查的影响，适应这个设计参数下的几个声音识别的情况下，涉及不同的需求，在时间定位。
2022-09-27 cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
