Semi-supervised Acoustic Event Detection based on tri-training
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);Amazon(亚马逊)
本文介绍了我们的工作,训练声事件检测(AED)模型使用未标记的数据集。最近的声学事件检测器基于大规模神经网络,这些神经网络通常使用大量标记数据进行训练。声学事件的标签获得起来很昂贵,并且相关的声学事件音频可能有限,特别是对于罕见事件。在本文中,我们利用互联网规模的未标记的数据集与潜在的域转移,以提高检测的声学事件。基于经典的三重训练方法,我们提出的方法在所有预定义的声学事件检测任务中,都显示了监督训练基线和半监督自训练设置的准确性提高。由于我们的方法依赖于集成模型,我们进一步表明,可以通过知识蒸馏将改进提炼为单个模型,从而使单个学生模型保持教师集成模型的高精度。
2019-04-29 cs.LG cs.SD eess.AS
Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion
University of New South Wales(新南威尔士大学);Western Sydney University(西澳悉尼大学);Resourced Music Therapy(资源音乐治疗)
针对儿童言语中声学变异大、病理口吃与发育性不流畅难以区分的问题,提出Paediatric-HGNN框架,通过构建异构图捕获词汇与声学片段的分层关系,在儿童语料上实现82.4%加权准确率和0.386的典型不流畅F1分数。
2026-11-03 cs.CL cs.SD eess.AS
Joint Analysis of Acoustic Events and Scenes Based on Multitask Learning
Ritsumeikan University(立命馆大学)
声事件检测和场景分类是环境声分析中的主要研究内容,基于神经网络的方法已经被提出。传统的方法已经分别解决了这些任务,然而,声学事件和场景是密切相关的。例如,在声学场景“办公室”中,可能发生声学事件“鼠标点击”和“键盘键入”。在本文中,我们提出了多任务学习的声学事件和场景的联合分析,它共享的部分网络持有的声学事件和场景的共同信息。通过整合这两个网络,我们期望声学场景的信息将提高声学事件检测的性能。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集获得的实验结果表明,与基于卷积递归神经网络的传统方法相比,所提出的方法将声学事件检测的性能提高了10.66个百分点。
2019-07-19 cs.SD eess.AS
End-to-End Speech Recognition from Federated Acoustic Models
University of Cambridge(剑桥大学);Avignon University(阿维尼翁大学);Telecom Paris(巴黎电信);University of Oxford(牛津大学);Adap GmbH(Adap有限责任公司)
在联邦学习(FL)环境下训练自动语音识别(ASR)模型近年来引起了广泛的关注。然而,在文献中的FL场景往往是人为的,并未能捕捉到真实FL系统的复杂性。在本文中,我们构建了一个具有挑战性和现实的ASR联邦实验设置,包括客户端的异构数据分布使用法语和意大利语集的CommonVoice数据集,一个大型的异构数据集,包含数千个不同的扬声器,声学环境和噪声。我们提出了第一个基于注意力的序列到序列端到端(E2 E)ASR模型与三个聚合加权策略-标准FedAvg,基于损失的聚合和一个新的字出错率(WER)为基础的聚合,在两个现实的FL场景:跨筒仓与10个客户端和跨设备与2K和4K客户端进行比较的实证研究。我们的分析E2 E ASR异构和现实的联邦声学模型提供了基础,为未来的研究和开发现实的FL为基础的ASR应用。
2021-07-09 cs.LG cs.SD eess.AS
How Information on Acoustic Scenes and Sound Events Mutually Benefits Event Detection and Scene Classification Tasks
Doshisha University(同志社大学);LINE Corporation(LINE公司)
声场景分类(ASC)和声音事件检测(SED)是环境声音分析中的基本任务,已经提出了许多基于深度学习的方法。考虑到声学场景和声音事件的信息有助于SED和ASC的相互作用,一些研究者提出了通过多任务学习(MTL)来联合分析声学场景和声音事件。然而,传统的作品没有详细研究声学场景和声音事件如何使SED和ASC相互受益。因此,我们调查的声学场景和声音事件上的信息的SED和ASC的性能的影响,通过使用域对抗训练的基础上的梯度反转层(GRL)或模型训练与假标签。使用TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017获得的实验结果表明,关于声学场景和声音事件的信息分别有效地用于检测声音事件和分类声学场景。此外,在将基于GRL和伪标签的方法与基于单任务的ASC和SED方法进行比较时,发现基于单任务的方法具有更好的性能。这一结果意味着,即使使用单任务为基础的ASC和SED的方法,声学场景的信息可以隐式地用于SED,反之亦然。
2022-04-05 cs.SD eess.AS
Acoustic Scene Classification by Implicitly Identifying Distinct Sound Events
Harbin Institute of Technology(哈尔滨工业大学);Harbin Normal University(哈尔滨师范大学)
在本文中,我们提出了一种新的策略,声学场景分类(ASC),即识别声学场景通过识别不同的声音事件。这与现有的策略不同,现有的策略专注于表征音频的全局声学分布或短期音频特征的时间演变,而不分析声音事件的水平。为了识别每个场景的不同声音事件,我们在多实例学习(MIL)框架中制定ASC,其中每个音频记录被映射到一个实例包表示。在这里,实例可以被视为场景内声音事件的高级表示。我们还提出了一个MIL神经网络模型,它隐含地识别不同的实例(即,声音事件)。此外,我们提出了两个专门设计的模块,分别模拟声音事件的多时间尺度和多模态性质。实验是在DCASE2018任务1子任务B的官方开发集上进行的,我们的最佳模型在分类准确率方面比官方基线提高了9.4%(68.3% vs 58.9%)。这项研究表明,通过识别不同的声音事件来识别声学场景是有效的,并为未来的研究铺平了道路,将这种策略与以前的。
2019-04-27 cs.LG cs.SD eess.AS
Cross-task pre-training for on-device acoustic scene classification
Didi Chuxing(滴滴出行)
声场景分类(ASC)和声事件检测(AED)是两个不同但又相关的任务。声学事件可以为声学场景的识别提供有用的信息。然而,大多数数据集都没有提供声学事件或场景标签。为了利用声事件信息来提高ASC任务的性能,我们提出了跨任务预训练机制,该机制利用来自预训练的AED模型的声事件信息用于ASC任务。另一方面,大多数模型都是在计算资源丰富的平台上设计和实现的,在设备上的应用有限。为了解决这个问题,我们使用模型蒸馏方法来压缩我们的跨任务模型,使设备上的声学场景分类。在本文中,跨任务模型及其学生模型在两个数据集上进行了训练和评估:TAU Urban Acoustic Scenes 2019数据集和TUT Acoustic Scenes 2017数据集。实验结果表明,跨任务预训练机制可以显著提高ASC任务的绩效。与官方基线相比,我们最好的模型在TAU Urban Acoustic Scenes 2019数据集中的性能提高了9.5%,在TUT Acoustic Scenes 2017数据集中也提高了10%。同时,学生模型的表现要比没有教师的模型好得多。
2020-10-24 cs.LG cs.SD eess.AS
Joint Analysis of Sound Events and Acoustic Scenes Using Multitask Learning
Ritsumeikan University(立命馆大学);Doshisha University(同志社大学)
声音事件检测和声场景分类是环境声音分析中的重要研究课题。许多研究小组已经使用基于神经网络的方法来解决SED和ASC,例如卷积神经网络(CNN)、递归神经网络(RNN)和卷积递归神经网络(CRNN)。传统的方法分别解决SED和ASC,即使声音事件和声学场景彼此密切相关。例如,在声学场景“办公室”中,可能发生声音事件“鼠标点击”和“键盘键入”。因此,预计有关声音事件和声学场景的信息将对SED和ASC相互帮助。在本文中,我们提出了多任务学习的声音事件和声学场景的联合分析,其中的部分网络持有的信息,声音事件和声学场景中的共同共享。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集获得的实验结果表明,与传统的方法相比,所提出的方法在F-score方面分别将SED和ASC的性能提高了1.31和1.80个百分点。基于CRNN的方法。
2020-10-16 cs.SD eess.AS
Binaural Signal Representations for Joint Sound Event Detection and Acoustic Scene Classification
Tampere University(坦佩雷大学)
声音事件检测和声学场景分类是两个被广泛研究的音频任务,是声景物分析研究的重要组成部分。考虑到声音事件和声学场景之间的共享信息,联合执行这两项任务是复杂机器收听系统的自然部分。在本文中,我们研究了几种空间音频特征在训练执行SED和ASC的联合深度神经网络(DNN)模型中的有用性。实验进行两个不同的数据集,包含双耳录音和同步的声音事件和声学场景标签,以分析单独或联合执行SED和ASC之间的差异。所提出的结果表明,使用特定的双耳功能,主要是广义互相关相位变换(GCC-PHAT)和正弦和余弦的相位差,导致在单独的和联合的任务相比,基线方法的基础上logmel能量只有一个更好的表现模型。
2022-09-13 cs.CV cs.LG cs.SD
Joint Analysis of Acoustic Scenes and Sound Events with Weakly labeled Data
Doshisha University(同志社大学);Tokyo Metropolitan University(东京都立大学)
考虑到声学场景和声音事件之间的紧密联系,在以前的一些论文中,提出了利用基于多任务学习(MTL)的神经网络对声学场景和声音事件进行联合分析。在传统方法中,强监督方案被应用于MTL模型中的声音事件检测,这需要模型训练中的声音事件的强标签;然而,注释强事件标签是相当耗时的。因此,在本文中,我们提出了一种方法的联合分析的声学场景和声音事件的MTL框架的基础上与弱标签的声音事件。特别是,在所提出的方法中,我们引入了多实例学习计划弱监督训练的声音事件检测和评估四个池功能,即,最大池,平均池,指数softmax池,注意力池。使用部分TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017数据集获得的实验结果表明,所提出的基于弱标签的MTL方法在场景分类和事件检测性能方面优于传统的基于单任务的场景分类和事件检测模型。
2022-07-10 cs.SD eess.AS
Impact of Acoustic Event Tagging on Scene Classification in a Multi-Task Learning Framework
University of Maryland(马里兰大学);Amazon.com Inc(亚马逊公司)
声学事件是具有明确定义的频谱-时间特性的声音,其可以与产生它们的物理对象相关联。声学场景是没有特定时间顺序的声学事件的集合。鉴于事件和场景之间的这种自然联系,人们普遍认为,对事件进行分类的能力必须有助于对场景进行分类。这导致了尝试使用多任务网络在声学事件标记(AET)和声学场景分类(ASC)上做得很好的若干努力。然而,在这些努力中,一项任务的改进并不能保证另一项任务的改进,这表明ASC和AET之间存在紧张关系。目前尚不清楚AET的改善是否转化为ASC的改善。我们通过广泛的实证研究来探索这个难题,并表明在一定条件下,使用AET作为多任务网络中的辅助任务,可以持续提高ASC性能。此外,ASC性能随着AET数据集大小而进一步提高,并且对AET数据集中事件的选择或事件的数量不敏感。我们的结论是,这种改善在ASC性能来自正则化的效果,使用AET,而不是从网络的改进能力,以区分声事件。
2022-06-27 cs.AI cs.LG cs.SD
Event-related data conditioning for acoustic event classification
Ghent University(根特大学)
近年来,基于不同注意力机制的模型在声事件分类(AEC)的相关任务中大放异彩。其中,自我注意常用于纯音频任务中,以帮助模型识别不同的声学事件。自注意依赖于时间帧之间的相似性,并使用来自整个片段的全局信息来突出帧内的特定特征。在现实生活中,与声事件相关的信息会随着时间的推移而衰减,这意味着事件周围的一些帧内的信息比可能与事件无关的遥远时间全局信息更值得关注。本文表明,自我注意可能会过度增强音频表示的某些片段,并平滑事件表示和背景噪声之间的边界。因此,本文提出了一个事件相关的数据条件(EDC)的AEC。EDC直接作用于光谱图。EDC的思想是基于声学特征自适应地选择与帧相关的注意范围,并收集与事件相关的局部信息来表示帧。实验表明:1)与基于谱图的数据增强方法和可训练特征加权和自注意相比,EDC在原始大小模式和增强模式下均优于它们; 2)EDC有效地收集了事件相关的局部信息,增强了事件和背景之间的边界,提高了AEC的性能。
2022-06-16 cs.SD eess.AS
Multi-dimensional Edge-based Audio Event Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University(根特大学);University of Cambridge(剑桥大学);University of Manchester(曼彻斯特大学);Baidu Inc.(百度公司);University of Surrey(萨里大学)
大多数现有的基于深度学习的声学场景分类(ASC)方法直接利用从频谱图中提取的表示来识别目标场景。然而,这些方法很少关注发生在场景中的音频事件,尽管它们提供了重要的语义信息。本文进行的第一项研究,调查是否可以可靠地识别现实生活中的声学场景的基础上,描述了有限数量的音频事件的功能。为了对粗粒度声学场景和细粒度音频事件之间的任务特定关系进行建模,我们提出了一个用于ASC的事件关系图表示学习(ERGL)框架。具体而言,ERGL从输入音频中学习声学场景的图形表示,其中每个事件的嵌入被视为节点,而从每对事件嵌入中导出的关系线索由学习的多维边缘特征描述。在一个复调声学场景数据集上的实验表明,所提出的ERGL在ASC上实现了有竞争力的性能,只使用有限数量的音频事件嵌入,而没有任何数据增强。该框架的有效性证明了基于事件关系图的声学场景识别的可行性。我们的代码可以在我们的主页上找到(https://github.com/Yuanbo2020/ERGL)。
2022-11-01 cs.SD eess.AS
Adaptive Multi-scale Detection of Acoustic Events
Tsinghua University(清华大学)
声学(或声音)事件检测(AED或SED)的目标是预测给定音频片段中目标事件的时间位置。该任务在安全监测、声学预警等场景中发挥着重要作用。然而,数据的不足和声事件源的多样性使得AED任务成为一个棘手的问题,特别是对于流行的数据驱动方法。本文从分析声事件的时频域特征入手,指出不同的声事件具有不同的时频尺度特征。受此启发,我们提出了一种自适应多尺度检测(AdaMD)方法。通过利用沙漏神经网络和门控递归单元(GRU)模块,我们的AdaMD在不同的时间和频率分辨率下产生多个预测。随后采用自适应训练算法来组合多尺度预测,以提高其整体能力。声学场景和事件的检测和分类2017(DCASE 2017)任务2,DCASE 2016任务3和DCASE 2017任务3的实验结果表明,AdaMD在事件错误率(ER)和F1分数方面优于已发布的最先进的竞争对手。在我们收集的工厂机械数据集上的验证实验也证明了AdaMD的抗噪声能力,为它在复杂环境中部署提供了可能性。
2019-11-24 cs.SD eess.AS
Relation-guided acoustic scene classification aided with event embeddings
Ghent University(根特大学)
在现实生活中,声学场景和音频事件自然相关。人类本能地依赖于细粒度的音频事件以及整体声音特征来区分不同的声学场景。然而,大多数先前的方法将声学场景分类(ASC)和音频事件分类(AEC)视为两个独立的任务。一些关于场景和事件联合分类的研究要么使用与真实世界几乎不匹配的合成音频数据集,要么简单地使用多任务框架同时执行两个任务。这两种方法都没有充分利用细粒度事件和粗粒度场景之间的内在联系。为此,本文提出了一个关系引导的ASC(RGASC)模型,以进一步开发和协调的场景和事件识别的互惠互利的场景和事件的关系。TUT Urban Acoustic Scenes 2018数据集(TUT 2018)通过简单高效的音频相关预训练模型PANN(最先进的AEC模型之一)使用事件的伪标签进行注释。然后,先验场景-事件关系矩阵被定义为每个场景类中每个事件类型存在的平均概率。最后,双塔RGASC模型在真实数据集TUT 2018上进行联合训练,用于场景和事件分类。取得了以下成果。1)RGASC有效地协调了粗粒度场景的真实信息和细粒度事件的伪信息。2)在先验场景-事件关系的指导下从伪标签学习的事件嵌入有助于减少相似声学场景之间的混淆。3)与其他(非集成)方法相比,RGASC提高了对真实数据集的场景分类精度。
2022-05-01 cs.SD eess.AS
Few-shot acoustic event detection via meta-learning
Amazon(亚马逊)
本文研究了Few-Shot声事件检测方法。少样本学习使得能够利用非常有限的标记数据来检测新事件。与计算机视觉等其他研究领域相比,用于音频识别的少样本学习研究不足。我们制定了Few-Shot AED问题,并探讨了利用传统的监督方法,这种设置以及各种元学习方法,这是传统上用于解决Few-Shot分类问题的不同方式。与监督基线相比,元学习模型具有更好的性能,从而显示出其对新音频事件的泛化效果。我们的分析包括初始化和域差异的影响,进一步验证了元学习方法在Few-Shot AED中的优势。
2020-02-21 cs.LG cs.SD eess.AS
Compression of Acoustic Event Detection Models With Quantized Distillation
Amazon(亚马逊)
声学事件检测(AED),旨在检测基于音频信号的事件的类别,已经在许多智能系统中得到应用。最近,深度神经网络大大推进了这一领域,并大规模减少了检测错误。然而,如何在AED中有效地执行深度模型受到的关注要少得多。与此同时,最先进的AED模型基于大型深度模型,这些模型对计算要求很高,并且在计算资源受限的设备上部署具有挑战性。在本文中,我们提出了一种简单而有效的压缩方法,该方法联合利用知识蒸馏和量化将较大的网络(教师模型)压缩为紧凑的网络(学生模型)。实验结果表明,该方法不仅通过蒸馏将原紧致网络的错误率降低了15%,而且通过量化进一步大幅度减小了其模型大小(教师的2%,全精度学生的12%)。
2019-07-01 cs.LG cs.SD eess.AS
Sports highlights generation based on acoustic events detection: A rugby case study
我们的方法具有挑战性的问题,仅利用音频信息从体育广播产生的亮点。一个独立的语言,多阶段的分类方法被用于检测的关键声学事件,然后作为一个平台,总结的亮点场景。客观的结果和人类的经验表明,我们的系统是高效的。
2015-09-18 cs.AI cs.LG cs.SD
Joint framework with deep feature distillation and adaptive focal loss for weakly supervised audio tagging and acoustic event detection
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(云知声人工智能科技股份有限公司);ByteDance(字节跳动)
一个好的联合训练框架有助于同时提高弱监督音频标记和声学事件检测的性能。在这项研究中,我们提出了三种方法来改进IEEE AASP声学场景和事件检测和分类挑战赛(DCASE)2019任务4中的最佳师生框架,用于音频标记和声学事件检测任务。首先提出了一种基于帧级目标事件的深度特征提取方法,旨在利用弱监督框架中有限的强标记数据来学习更好的中间特征图。然后,我们提出了一个自适应的焦点损失和两个阶段的训练策略,使一个有效的和更准确的模型训练,其中的贡献,硬和容易的声学事件的总代价函数可以自动调整。此外,一个特定的事件后处理的设计,以提高目标事件的时间戳的预测。在公开的DCASE 2019 Task 4数据集上进行了实验,结果表明,该方法在AT(81.2% F1-score)和AED(49.8% F1-score)任务上都取得了较好的性能.
2022-02-12 cs.SD eess.AS
Multi-Scale Time-Frequency Attention for Acoustic Event Detection
Tsinghua University(清华大学);Institute of Forensic Science, Ministry of Public Security(公安部物证鉴定中心);Key Laboratory of Intelligent Speech Technology, Ministry of Public Security(公安部智能语音技术重点实验室)
大多数基于注意力的方法只关注时间轴,这对于声事件检测(AED)是不够的。同时,以往的AED方法很少考虑目标事件具有明显的时间尺度和频率尺度。在这项工作中,我们提出了一个多尺度时频注意力(MTFA)模块的AED。MTFA以多个分辨率收集信息,以生成时频注意力掩码,该掩码告诉模型在时间和频率轴上关注何处。利用MTFA,模型可以捕捉不同尺度下目标事件的特征。我们在2017年声学场景和事件检测和分类(DCASE)挑战赛的任务2中演示了所提出的方法。我们的方法在开发数据集和评估数据集上都取得了有竞争力的结果。
2019-09-09 cs.SD eess.AS
Joint Acoustic and Class Inference for Weakly Supervised Sound Event Detection
Johns Hopkins University(约翰斯·霍普金斯大学);Ritsumeikan University(立命馆大学)
声音事件检测是一项具有挑战性的任务,特别是对于具有多个同时发生的事件的场景。虽然事件分类方法往往相当准确,但事件本地化带来了额外的挑战,特别是当大量标记数据不可用时。2018年DCASE挑战赛的任务4提出了一个事件检测任务,该任务要求在事件的分割和识别方面都具有准确性,同时只提供弱标记的训练数据。监督方法可以产生准确的事件标签,但当训练数据缺乏事件时间戳时,在事件分割方面受到限制。另一方面,对音频的声学特性进行建模的无监督方法可以产生准确的事件边界,但不受事件类别和声音类别的特征的指导。我们提出了一种混合方法,该方法结合了声学驱动的事件边界检测和使用深度神经网络的监督标签推理。该框架利用了无监督和有监督方法的优点,并利用了大量未标记的数据,使其成为大规模弱标记事件检测的理想选择。与基线系统相比,所提出的方法提供了一个15%的F-分数的绝对改善,证明了混合自下而上,自上而下的方法的好处。
2018-11-09 cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events Based on Multitask Learning with Dynamic Weight Adaptation
Doshisha University(同志社大学)
声场景分类(ASC)和声音事件检测(SED)是环境声分析中的重要课题。考虑到声学场景和声音事件之间的紧密联系,在以往的一些工作中提出了使用基于多任务学习(MTL)的神经网络对声学场景和声音事件进行联合分析。传统方法使用具有恒定权重的ASC和SED损失函数的线性组合来训练基于MTL的模型。然而,传统的基于MTL的方法的性能强烈地依赖于ASC和SED损失的权重,并且难以确定ASC和SED的MTL损失的恒定权重之间的适当平衡。因此,在本文中,我们提出了动态权重自适应方法的ASC和SED的MTL的动态权重平均和多焦点损失的基础上自动调整学习权重。使用TUT Acoustic Scenes 2016/2017和TUT Sound Events 2016/2017的部分进行了评估实验,我们表明,与传统的基于MTL的方法相比,所提出的方法提高了场景分类和事件检测的性能特征。然后,我们研究了ASC和SED任务的学习权重如何随着模型训练的进展而动态适应。
2022-06-21 cs.SD eess.AS
Sound Event Detection by Multitask Learning of Sound Events and Scenes with Soft Scene Labels
Ritsumeikan University(立命馆大学);NTT Media Intelligence Laboratories(NTT媒体智能实验室)
声音事件检测和声场景分类是环境声音分析的主要任务。考虑到声音事件和场景之间的紧密联系,一些研究工作提出了基于多任务学习(MTL)的声音事件和声场景的联合分析,其中声音事件和场景的知识可以帮助它们相互估计。传统的基于MTL的方法利用单热场景标签来训练声音事件和场景之间的关系;因此,传统的方法不能对声音事件和场景相关的程度进行建模。然而,在现实环境中,常见的声音事件可能发生在某些声学场景中;另一方面,一些声音事件仅发生在有限的声学场景中。因此,在本文中,我们提出了一种新的方法SED的基础上MTL的SED和ASC使用软标签的声学场景,这使我们能够模拟的程度,声音事件和场景相关。使用TUT Sound Events 2016/2017和TUT Acoustic Scenes 2016数据集进行的实验表明,与传统的基于MTL的SED相比,所提出的方法将SED性能提高了3.80%。
2020-02-14 cs.SD eess.AS
Enabling Acoustic Audience Feedback in Large Virtual Events
Sureel;Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
针对大型虚拟活动中观众静音导致表演者缺乏反馈的问题,本文提出一个虚拟观众框架,通过本地采集鼓掌、笑声等反馈并利用AudioGen等模型合成为统一声学反馈,使所有参与者无需取消静音即可感知真实观众氛围。
2023-10-27 cs.MM cs.SD eess.AS
DNN Transfer Learning based Non-linear Feature Extraction for Acoustic Event Classification
Korea University(高丽大学);Incheon National University(仁川国立大学)
最近的声事件分类研究集中在训练合适的滤波器来表示声事件。然而,由于目标事件数据库的有限可用性和传统滤波器的线性,仍然存在改进性能的空间。通过利用深度神经网络(DNN)的非线性建模及其在预训练环境之外学习的能力,这封信提出了一种基于DNN的特征提取方案,用于声学事件的分类。室内监控环境数据库的使用证明了所提出的方法的有效性和鲁棒性的噪声。
2017-08-11 cs.SD
Joint model-based recognition and localization of overlapped acoustic events using a set of distributed small microphone arrays
TALP Research Center(TALP研究中心)
在声学场景的分析中,经常发生的声音必须在时间上被检测,被识别,并且在空间上被定位。通常,这些任务都是单独完成的。在本文中,一个基于模型的方法,共同进行多个同时来源的情况下,他们提出和测试。所识别的事件类别和它们各自的房间位置是用单个系统获得的,该单个系统最大化大的分数集合的组合,每个分数集合由不同的声学事件模型和不同的波束形成器输出信号产生,该波束形成器输出信号来自于几个任意定位的小麦克风阵列中的一个。通过使用一个两步的方法,实验工作的一个特定的场景组成的会议室声学事件,无论是孤立的或重叠的语音,报告。用两个数据集进行的测试表明,所提出的方法相对于一些常用的技术的优势,估计先验的列入带来了进一步的性能改善。
2017-12-19 cs.SD eess.AS
A Comparison of Pooling Methods on LSTM Models for Rare Acoustic Event Classification
Amazon.com Inc.(亚马逊公司);Salesforce Research(Salesforce研究院)
声事件分类(AEC)和声事件检测(AED)是指检测音频中是否出现特定目标事件的任务。由于长短期记忆(LSTM)在各种语音相关任务中产生了最先进的结果,因此它也被用作AEC的流行解决方案。本文重点研究了AEC任务上LSTM模型的动态特性。它包括对LSTM内存保留的详细分析,以及使用具有不同信噪比的多个事件的1.7M生成的混合剪辑对LSTM模型上的九种不同池化方法进行基准测试。本文着重于理解:1)话语级分类准确性; 2)对话语中事件位置的敏感性。该分析是在DCASE 2017挑战赛中检测罕见声音事件的数据集上完成的。我们发现最大池的预测水平上执行最好的九个池的方法中的分类准确性和不敏感性的话语内的事件位置。据作者所知,这是第一种专注于AEC任务的LSTM动态的此类工作。
2020-02-14 cs.SD eess.AS
Compact recurrent neural networks for acoustic event detection on low-energy low-complexity platforms
ICT-irst Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会ICT-irst研究所);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
户外声学事件检测是一个令人兴奋的研究领域,但由于需要复杂的算法和深度学习技术,通常需要许多计算,内存和能源资源,因此面临挑战。这一挑战阻碍了物联网的实施,因为物联网需要有效利用资源。然而,当前的嵌入式技术和微控制器已经在不影响能源效率的情况下提高了它们的能力。本文通过在物联网资源受限的嵌入式平台上优化深度学习技术,解决了边缘声音事件检测的应用。贡献是双重的:首先,提出了一个两阶段的学生-教师方法,使最先进的神经网络的声音事件检测适合当前的微控制器;其次,我们测试我们的方法在ARM Cortex M4上,特别是专注于与8位量化的问题。我们的嵌入式实现可以在Urbansound 8 k上实现68%的识别准确率,与最先进的性能相差不远,每秒音频流的推理时间为125 ms,仅34.3 kB RAM的功耗为5.5 mW。
2020-01-29 cs.LG cs.SD eess.AS
Acoustic event detection for multiple overlapping similar sources
Queen Mary University of London(伦敦玛丽女王大学)
许多当前的声学事件检测(AED)范例不适于自然声音的有机变化,和/或它们假设对同时源的数量的限制:通常只有一个源或每种类型的一个源可以是活动的。这些方面对于诸如鸟类种群监测的应用是非常不期望的。我们介绍了一个简单的方法建模的声音事件的起始,持续时间和偏移,以避免固有的限制复调或事件间的时间模式。我们评估的方法在案例研究中超过3000斑胸草雀调用。与基于HMM的方法相比,我们发现它在恢复声学事件时更准确,并且在估计呼叫率时更鲁棒。
2015-07-09 cs.SD
Joint Analysis of Acoustic Scenes and Sound Events Based on Semi-Supervised Training of Sound Events With Partial Labels
Graduate School of Informatics, Kyoto University, Japan(信息学研究生院,京都大学,日本)
针对声音事件标注成本高的问题,提出利用声学场景信息构建部分标签的多任务联合分析框架,并结合半监督训练与自蒸馏标签精炼方法,平衡标注成本与检测性能。
2025-10-29 cs.SD eess.AS
Audio Event-Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University(根特大学);University of Leicester(莱斯特大学);University College London(伦敦大学学院);University of Surrey(萨里大学)
针对现有声学场景分类方法可解释性不足的问题,提出基于音频事件关系图的表示学习框架ERGL,以事件嵌入为节点、多维边特征表征关系,仅用少量音频事件嵌入学习就在真实数据集上取得有竞争力的分类性能,同时可明确解释分类线索。
2023-10-05 cs.SD eess.AS
CNN-based Discriminative Training for Domain Compensation in Acoustic Event Detection with Frame-wise Classifier
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(云知声人工智能科技有限公司)
在实际应用中,由于目标域数据难以获取,域失配是声事件检测任务中值得注意的问题。在这项研究中,我们提出了一种新的基于CNN的区分训练框架作为域补偿方法来处理这个问题。它使用一个并行的基于CNN的学习器来学习一对高级中间声学表示。与二进制判别损失一起,判别器被迫最大限度地利用具有目标事件的每个音频片段中的异质声学信息的判别,这导致可以很好地分别判别目标事件和背景/域变化的鲁棒配对表示。此外,为了更好地学习目标事件的瞬态特性,设计了一个逐帧分类器来执行最终分类。此外,一个两阶段的训练与基于CNN的训练初始化进一步提出了加强系统的训练。所有实验都在DCASE 2018 Task 3数据集上进行。结果表明,我们的建议显着优于官方基线的跨域条件下的AUC的相对$1.8-12.1$ %没有任何性能下降域内的评估条件。
2021-03-26 cs.SD eess.AS
Cross-scale Attention Model for Acoustic Event Classification
National Institute of Information and Communications Technology(国立信息与通信技术研究所);Research Center for Information Technology Innovation, Academic Sinica(中央研究院资讯科技创新研究中心)
深度卷积神经网络(CNN)的一个主要优点是通过堆叠多个卷积层来增加聚焦的感受野大小。因此,该模型可以从顶层探索特征的长期依赖性。然而,该网络的一个潜在限制是,来自底层的区别性特征(可以对短程依赖性进行建模)在最终表示中被平滑掉了。这种限制在声学事件分类(AEC)任务中尤其明显,其中短持续时间和长持续时间事件都涉及音频片段并且需要被分类。在本文中,我们提出了一个跨尺度的注意力(CSA)模型,它明确地整合了来自不同尺度的功能,以形成最终的表示。此外,我们提出了采用注意力机制来指定的局部和全局特征的空间和时间特性的基础上的声学事件的权重。使用数学公式,我们进一步揭示了所提出的CSA模型可以被视为加权残差CNN(ResCNN)模型时,ResCNN作为骨干模型。我们在两个AEC数据集上测试了该模型:一个是城市AEC任务,另一个是智能汽车环境中的AEC任务。实验结果表明,所提出的CSA模型能够有效地提高现有深度学习算法的性能.
2020-06-15 cs.LG cs.SD eess.AS
Deep Convolutional Neural Networks and Data Augmentation for Acoustic Event Detection
Sony Corporation(索尼公司);ETH Zurich(苏黎世联邦理工学院)
提出了一种新的声事件检测方法。与语音相反,来自声学事件的声音可以由各种各样的源产生。此外,由于缺乏明确的子词单位,区分它们通常需要分析延长的时间段。为了将AED的长时间频率结构,我们引入了一个卷积神经网络(CNN)与一个大的输入字段。与以前的工作相比,这使得能够训练音频事件检测端到端。我们的架构受到VGGNet成功的启发,并使用小的3x3卷积,但比AED中以前的方法更深入。为了防止过度拟合,并充分利用我们的网络的建模能力,我们进一步提出了一种新的数据增强方法来引入数据变化。实验结果表明,我们的CNN显着优于最先进的方法,包括音频词袋(BoAW)和经典的CNN,实现了16%的绝对改善。
2016-12-08 cs.MM cs.SD
Compression of Acoustic Event Detection Models with Low-rank Matrix Factorization and Quantization Training
Toyota Technological Institute At Chicago(芝加哥丰田理工学院);Amazon(亚马逊)
在本文中,我们提出了一种基于低秩矩阵分解和量化训练相结合的压缩方法,以降低基于神经网络的声事件检测(AED)模型的复杂性。我们的实验结果表明,这种组合压缩方法是非常有效的。对于基于三层长短期记忆(LSTM)的AED模型,原始模型大小可以减少到1%,而精度损失可以忽略不计。我们的方法使部署AED资源有限的应用程序的可行性。
2019-05-02 cs.CL cs.SD eess.AS
Acoustic Event Detection with Classifier Chains
LINE Corporation(LINE公司);Carnegie Mellon University(卡内基梅隆大学);Nagoya University(名古屋大学);Human Dataware Lab. Co., Ltd.(Human Dataware实验室有限公司(注:此处按原文机构名直译,“Human Dataware Lab. Co., Ltd.”的中文常见译法可参考,但严格按原文机构名提取))
提出了一种基于概率链规则的分类器--分类器链的声事件检测方法。建议AED与分类器链由一个门控递归单元,并执行迭代二进制检测的每个事件一个接一个。在每次迭代中,事件的活动被估计并用于基于概率链规则来调节下一个输出以形成分类器链。因此,所提出的方法可以处理事件之间的相互依赖性分类,而传统的AED方法与多个二进制分类器的线性层和sigmoid函数放置了一个假设的条件独立性。在与真实记录数据集的实验中,所提出的方法证明了其优越的AED性能,与具有多个二进制分类器的卷积递归神经网络基线系统相比,相对提高了14.80%。
2022-02-17 cs.SD eess.AS
A Four-Stage Data Augmentation Approach to ResNet-Conformer Based Acoustic Modeling for Sound Event Localization and Detection
University of Science and Technology of China(中国科学技术大学);iFlytek(科大讯飞);Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们提出了一种新的四阶段的数据增强方法ResNet-Conformer为基础的声学建模的声音事件定位和检测(SELD)。首先,我们探讨了两种空间增强技术,即音频通道交换(ACS)和多通道模拟(MCS),以处理在SELD数据稀疏。ACS和MDS专注于用扩展的到达方向(DOA)表示来增强有限的训练数据,使得用增强的数据训练的声学模型对声源的定位变化是鲁棒的。其次,时域混合(TDM)和时频掩蔽(TFM)也被研究,以处理重叠的声音事件和数据的多样性。最后,将ACS、MCS、TDM和TFM逐步结合起来,形成一个有效的四阶段数据增强方案。在声学场景和事件的检测和分类(DCASE)2020数据集上进行测试,我们提出的增强方法大大提高了系统性能,将我们提交的系统在DCASE 2020挑战赛的SELD任务中排名第一。此外,我们采用ResNet-Conformer架构来建模音频序列的全局和局部上下文依赖关系,并在DCASE 2022 SELD评估中获得第一名。
2023-03-07 cs.SD eess.AS
Federated Self-Supervised Learning for Acoustic Event Classification
Massachusetts Institute of Technology(麻省理工学院);Amazon.com Inc(亚马逊公司)
标准声学事件分类(AEC)解决方案需要从客户端设备大规模收集数据以进行模型优化。联邦学习(FL)是一个引人注目的框架,它将数据汇集和模型训练结合起来,以增强客户隐私。在这项工作中,我们调查的可行性,应用FL,以提高AEC性能,而没有客户数据可以直接上传到服务器。我们假设没有伪标签可以从设备上的用户输入中推断出来,与AEC的典型用例保持一致。我们将自监督学习适应于FL框架,用于表示的设备上持续学习,并且在没有标记/伪标记数据的情况下,它可以提高下游AEC分类器的性能。与基线w/o FL相比,该方法在保持召回率的同时,相对提高了准确率高达20.3%。我们的工作与FL之前的工作不同,因为我们的方法不需要用户生成的学习目标,我们使用的数据是从我们的Beta程序中收集的,并且是去识别的,以最大限度地模拟生产环境。
2022-03-22 cs.LG cs.SD eess.AS
Transferring Voice Knowledge for Acoustic Event Detection: An Empirical Study
Facebook(脸书)
从音频中检测常见事件和场景对于提取和理解日常生活中的人类上下文是有用的。先前的研究已经表明,利用来自相关领域的知识对于目标声事件检测(AED)过程是有益的。受日常生活中许多以人为中心的声学事件涉及语音元素的观察的启发,本文研究了从公共扬声器数据集中提取的高级语音表示的传输潜力,以丰富AED管道。为此,我们开发了一种双分支神经网络架构,用于在AED过程中联合学习语音和声学特征,并进行了彻底的实证研究,以检查具有不同类型输入的公共AudioSet [1]的性能。我们的主要观察结果是:1)音频和语音输入的联合学习提高了CNN基线(0.292 vs 0.134 mAP)和TALNet [2]基线(0.361 vs 0.351 mAP)的AED性能(平均精度); 2)增强额外的语音特征对于最大化双输入模型性能至关重要。
2021-10-07 cs.AI cs.SD eess.AS
Benchmarking Representations for Speech, Music, and Acoustic Events
Kore University of Enna(恩纳科雷大学);Politecnico di Torino(都灵理工大学);Università degli Studi di Palermo(巴勒莫大学)
针对音频表征学习基准多样性不足的问题,提出覆盖声学事件、音乐、语音的多领域综合基准ARCH,含12个数据集可评估不同规模预训练SSL模型,还发布了性能优异的非语音预训练模型,为领域研究提供参考。
2024-05-02 cs.LG cs.SD eess.AS
Structure Across Voices: Comparing acoustic-event type accumulation and sequence dependence across four vocal corpora using frozen audio encoders
本研究用冻结音频编码器比较四种声音库,发现声学事件累积与序列依赖性差异取决于测量属性与时间尺度,而非单一等级。
2026-10-27 cs.AI cs.SD
An evaluation framework for event detection using a morphological model of acoustic scenes
City University London(伦敦城市大学)
本文介绍了一种环境声场景模型,该模型通过提取声场景的时间结构,采用形态学方法。为了证明其潜力,该模型被用来评估一个大的声学事件检测系统的性能。该模型允许我们显式地控制声学场景的关键形态方面,并隔离它们对评估系统性能的影响。因此,可以获得更多关于被评估系统行为的信息,为进一步改进提供指导。所提出的模型进行了验证,使用提交的系统从IEEE DCASE挑战;结果表明,所提出的方案是能够成功地建立数据集,用于评估某些方面的事件检测系统的性能,更特别是他们的鲁棒性,新的收听条件和不断增加的背景声音的水平。
2015-01-31 cs.SD stat.ML
Learning audio sequence representations for acoustic event classification
Imperial College London(帝国理工学院);Technische Universität München(慕尼黑工业大学);University of Augsburg(奥格斯堡大学);The University of Tokyo(东京大学)
声事件分类(AEC)已经成为机器感知周围听觉场景的一项重要任务。然而,提取有效的表示,捕获的声学事件的基本特征仍然是具有挑战性的。以前的方法主要集中在以“手工制作”的方式设计音频特征。有趣的是,最近有报道称,数据学习的功能表现出更好的性能。到目前为止,这些仅在帧级别上考虑。在这篇文章中,我们提出了一个无监督学习框架来学习一个矢量表示的音频序列的AEC。该框架由一个递归神经网络(RNN)编码器和一个RNN解码器组成,分别将可变长度的音频序列转换为一个固定长度的向量,并在生成的向量上重建输入序列。在训练编码器-解码器之后,我们将音频序列馈送到编码器,然后将学习的向量作为音频序列表示。与以往的方法相比,该方法不仅可以处理任意长度的音频流,而且还可以学习音频序列的显著性信息。在一个大型的声学事件数据库上进行了广泛的评估,实验结果表明,与其他最先进的手工制作的AEC序列特征相比,学习的音频序列表示产生了显着的性能改善。
2021-06-19 cs.LG cs.SD
Towards Event-Robust Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University(西安交通大学利物浦大学);Zhongdian Zhiheng Information Technology Service Co., Ltd(中电智恒信息技术服务有限公司);China Telecom Jiangsu Branch(中国电信江苏分公司);Nanjing University of Posts and Telecommunications(南京邮电大学)
针对现有声学场景分类系统在未知声音事件下性能下降的问题,提出事件移位声学场景数据集ESAS,通过大语言模型注入前景事件模拟真实环境,评估并推动事件鲁棒ASC研究。
2026-07-14 cs.SD
A Joint Framework for Audio Tagging and Weakly Supervised Acoustic Event Detection Using DenseNet with Global Average Pooling
Amazon.com Inc.(亚马逊公司);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
本文提出了一种主要用于音频标记的网络架构,该架构也可用于弱监督声事件检测(AED)。建议的网络由一个修改后的DenseNet作为特征提取器,和一个全局平均池(GAP)层在推理时预测帧级标签。该架构受到Zhou等人提出的工作的启发,一个众所周知的框架,使用GAP来本地化给定图像级标签的视觉对象。虽然大多数弱监督AED的先前工作使用具有基于注意力的机制的递归层来定位声学事件,但所提出的网络使用DenseNet提取的特征图直接定位事件,而无需任何递归层。在DCASE 2017的音频标记任务中,我们的方法在绝对值方面在开发集上的F1得分中显著优于最先进的方法5.3%,在评估集上为6.0%。对于DCASE 2018中的弱监督AED任务,我们的模型通过使用数据增强和tri-training来利用未标记的数据,在绝对值方面,我们的模型在基于事件的F1中的性能优于最先进的方法8.1%,在eval集上的性能优于0.5%。
2020-08-07 cs.SD eess.AS
Machine Learning For Distributed Acoustic Sensors, Classic versus Image and Deep Neural Networks Approach
FH Kaernten(克恩藤应用科学大学)
基于光纤的分布式声传感技术是管道监测和保护的一项新技术。在这项工作中,我们应用并比较了两种使用DAS进行事件检测的方法:经典的机器学习方法和基于图像处理和深度学习的方法。虽然这两种方法都可以实现可接受的性能,但初步结果表明,基于图像的深度学习是更有前途的方法,事件检测延迟降低了六倍,执行时间降低了十二倍。
2019-04-25 cs.LG cs.SD eess.AS
Deep Learning Features for Robust Detection of Acoustic Events in Sleep-Disordered Breathing
University of Sheffield(谢菲尔德大学)
睡眠呼吸障碍(SDB)是一种严重而普遍的疾病,通过消费者设备(如智能手机)的声学分析提供了一种低成本的解决方案,以筛选它。我们提出了一种新的方法,SDB声音的声学识别,如打鼾,使用瓶颈功能学习的语料库的整夜录音。描述了两种类型的瓶颈特征,通过将深度自动编码器应用于听觉模型的输出或短期自相关分析来获得。我们研究了两种用于打鼾声音检测的架构:串联系统和混杂系统。在这两种情况下,都采用了"语言模型",以利用关于不同SDB事件顺序的信息。我们的研究结果表明,建议的瓶颈功能比传统的梅尔频率倒谱系数提供更好的性能,和串联系统优于混杂系统给定的有限数量的标记的训练数据。LM对这两个分类器的性能都有一个小的改进。
2019-04-05 cs.SD eess.AS
Modelling of Sound Events with Hidden Imbalances Based on Clustering and Separate Sub-Dictionary Learning
NEC Corporation(日本电气股份有限公司);Data Science Research Laboratories(数据科学研究实验室)
本文提出了一种有效的建模与隐藏的数据大小不平衡的声音事件谱,改进声事件检测(AED)。该方法将每个事件建模为几个潜在因素的聚合表示,而传统方法试图直接从事件谱中找到声学元素。在该方法中,所有事件的所有潜在因素被分配相当的重要性和复杂性,以克服隐藏的事件谱数据大小的不平衡。为了提取每个事件中的潜在因素,所提出的方法采用聚类和执行非负矩阵分解每个潜在因素,并学习其声学元素作为一个子字典。单独的子字典学习有效地对具有有限数据大小的声学元素进行建模,并避免由于训练数据中隐藏的不平衡而导致的过度拟合。对于来自DCASE 2013挑战的复音声音事件检测任务,基于所提出的建模的AED实现了46.5%的检测F-测量,与现有的最先进的方法相比,显著提高了19%以上。
2019-04-05 cs.SD eess.AS
Learning to Detect Novel and Fine-Grained Acoustic Sequences Using Pretrained Audio Representations
Apple(苹果公司)
本研究针对无可用非目标音频的新型细粒度声学序列小样本检测问题,开发了预训练音频表示的流程及迁移方法,实验验证了预训练嵌入的通用性及对小样本检测框架的支撑作用。
2023-05-03 cs.LG cs.SD eess.AS
Heterogeneous sound classification with the Broad Sound Taxonomy and Dataset
Universitat Pompeu Fabra(庞培法布拉大学)
本文构建含28类的两级 Broad Sound Taxonomy 及人工标注数据集,比较传统与现代声音分类方法,证明融合声学和语义信息的预训练音频嵌入准确率更高。
2024-10-01 cs.AI cs.SD eess.AS
ELSA: Acoustic Event-Level Semantic Alignment for Fine-Grained Reference-Free Text-to-Audio Evaluation
Keio University(Keio大学)
提出ELSA指标,通过将生成音频分解为文本查询中的声学事件并评估事件级对齐,实现细粒度无参考文本到音频评估,在四个基准上比现有指标更符合人类评分。
2026-06-17 cs.SD eess.AS
Leveraging Geometrical Acoustic Simulations of Spatial Room Impulse Responses for Improved Sound Event Detection and Localization
New York University(纽约大学)
本研究提出利用几何声学仿真生成空间房间脉冲响应(SRIR)数据集,以解决声事件定位与检测(SELD)任务中空间音频训练数据不足的问题,有效提升了模型性能并改进了现有基准。
2023-09-06 cs.SD eess.AS
Incremental Learning of Acoustic Scenes and Sound Events
Tampere University(坦佩雷大学)
本研究针对声学场景分类与音频标注的增量学习中存在的灾难性遗忘问题,提出结合独立学习与知识蒸馏的CNN增量学习方法,在TUT 2016/2017数据集上验证了其在保留旧任务性能的同时学习新任务的有效性。
2023-08-24 cs.SD eess.AS
Weight-sharing Supernet for Searching Specialized Acoustic Event Classification Networks Across Device Constraints
Amazon(亚马逊)
声学事件分类(AEC)已广泛用于智能扬声器和移动电话等设备中,用于家庭安全或辅助功能支持。随着AEC模型在越来越多的具有不同计算资源约束的设备上运行,开发针对每个给定计算资源约束进行调整以实现最佳精度/计算权衡的模型变得越来越昂贵。在本文中,我们介绍了一个一次性的所有(OFA)神经架构搜索(NAS)框架AEC。具体来说,我们首先训练一个支持不同模型架构的权重共享超网,然后自动搜索给定特定计算资源约束的模型。我们的实验结果表明,通过一次训练,NAS产生的模型明显优于从头开始训练和知识蒸馏的模型(相对提高25.4%和7.3%)。我们还发现,超小型模型的权重共享超网训练的好处不仅来自搜索,还来自优化。
2023-03-18 cs.SD eess.AS