Robust Anomaly Map Assisted Multiple Defect Detection with Supervised Classification Techniques
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);National Technical University of Athens(雅典国立技术大学);Philips Consumer Lifestyle BV(飞利浦消费生活有限公司);Qlector d.o.o.(Qlector有限责任公司)
工业4.0旨在通过利用新的技术进步来优化制造环境,例如新的传感能力和人工智能。DRAEM技术已显示出最先进的无监督分类性能。可以利用创建异常图的能力来突出缺陷可能存在的区域,以向监督分类模型提供线索并增强其性能。我们的研究表明,当通过提供图像和相应的异常图作为输入来训练缺陷检测模型时,可以实现最佳性能。此外,这样的设置在将缺陷检测框定为二进制或多类分类问题时提供一致的性能,并且不受类平衡策略的影响。我们在Philips Consumer Lifestyle BV提供的三个真实数据集上进行了实验。
2022-12-19 cs.CV cs.LG
Batch Uniformization for Minimizing Maximum Anomaly Score of DNN-based Anomaly Detection in Sounds
NTT Media Intelligence Laboratories(NTT媒体情报实验室);NTT Communication Science Laboratories(NTT通信科学实验室)
使用自动编码器(AE)作为正常模型是用于声音中的无监督异常检测(ADS)的最先进技术。AE被训练以最小化小批量中正常声音的异常分数的样本平均值。这种方法的一个问题是罕见正常声音的异常分数变得高于频率正常声音的异常分数,因为样本均值受到频率正常样本的强烈影响,导致优先降低频率正常样本的异常分数。为了减少频繁和罕见的正常声音的异常分数,我们提出了批量均匀化,一种用于无监督ADS的训练方法,用于最小化小批量中每个样本的异常分数的加权平均值。我们使用每个样本的概率密度的倒数作为权重,更直观地,对于稀有正常声音给出了较大的权重。这样的权重用于为频繁正常声音和罕见正常声音两者给出恒定的异常分数。由于概率密度是未知的,我们估计它通过使用核密度估计每个训练小批量。验证和客观的实验表明,所提出的批量均匀化提高了无监督ADS的性能。
2019-07-19 cs.LG cs.SD eess.AS
Deep Learning Framework Applied for Predicting Anomaly of Respiratory Sounds
Ho Chi Minh City University of Technology(胡志明市理工大学);Da Nang University of Science and Technology(岘港科技大学)
本文提出了一种用于分类呼吸周期异常的鲁棒深度学习框架。最初,我们的框架从前端特征提取步骤开始。该步骤旨在将呼吸输入声音转换成频谱和时间特征都很好地呈现的二维频谱图。接下来,然后应用C-DNN和Autoencoder网络的集合来将呼吸异常周期分类为四个类别。在这项工作中,我们对2017年生物医学健康信息学内部会议(ICBHI)基准数据集进行了实验。结果,我们取得了有竞争力的表现与ICBHI平均得分为0.49,ICBHI谐波得分为0.42。
2020-12-26 cs.CV cs.LG cs.SD
Semi-supervised Sound Event Detection using Random Augmentation and Consistency Regularization
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
声事件检测是声环境分析的核心模块。半监督学习技术允许在不增加注释预算的情况下大规模地扩展数据集,最近吸引了大量的研究关注。在这项工作中,我们研究了两个先进的半监督学习技术的声音事件检测。数据增强对于最近深度学习系统的成功至关重要。本文研究了音频信号随机增强方法,该方法提供了一种可以处理大量不同音频变换的增强策略。此外,一致性正则化在最近的最先进的半监督学习方法中被广泛采用,该方法通过将一个样本的不同变换的预测约束为与该样本的预测相同来利用未标记的数据。研究发现,对于半监督的声音事件检测,一致性正则化是一种有效的策略,尤其是与MeanTeacher模型相结合时,性能最佳。
2021-01-30 cs.SD eess.AS
Joint Analysis of Acoustic Scenes and Sound Events Based on Semi-Supervised Training of Sound Events With Partial Labels
Graduate School of Informatics, Kyoto University, Japan(信息学研究生院,京都大学,日本)
针对声音事件标注成本高的问题,提出利用声学场景信息构建部分标签的多任务联合分析框架,并结合半监督训练与自蒸馏标签精炼方法,平衡标注成本与检测性能。
2025-10-29 cs.SD eess.AS
Weakly Supervised Source-Specific Sound Level Estimation in Noisy Soundscapes
New York University(纽约大学);New Jersey Institute of Technology(新泽西理工学院);Northwestern University(西北大学)
虽然对声源是什么、它们何时发生以及它们来自何处的估计已经得到了很好的研究,但对这些声源有多大的估计经常被忽视。目前的解决方案,我们称之为源特定的声级估计(SSSLE),遭受的挑战,由于不切实际的获取现实的数据和缺乏鲁棒性的现实记录条件。最近提出的弱监督源分离提供了一种利用剪辑级源注释来训练源分离模型的方法,我们用修改后的损失函数来弥补源分离和SSSLE之间的差距,并解决背景的存在。我们表明,我们的方法提高了SSSLE的性能相比,基线源分离模型,并提供消融分析,探索我们的方法的设计选择,显示SSSLE在实际的记录和注释的情况下是可能的。
2021-07-29 cs.SD eess.AS
SSDPT: Self-Supervised Dual-Path Transformer for Anomalous Sound Detection in Machine Condition Monitoring
Northwestern Polytechnical University(西北工业大学);LianFeng Acoustic Technologies Co., Ltd.(联丰声学技术有限公司);Xi’an University of Posts and Telecommunications(西安邮电大学)
用于机器状态监测的异常声音检测在工业4.0的发展中具有巨大的潜力。然而,这些机器的异常声音在正常情况下通常是不可用的。因此,所采用的模型必须学习正常声音的声学表示进行训练,并在测试时检测异常声音。在这篇文章中,我们提出了一个自我监督的双路Transformer(SSDPT)网络来检测机器监控中的异常声音。SSDPT网络将声学特征分成多个段,并使用多个DPT块进行时间和频率建模。DPT块使用注意模块来交替地对关于分段声学特征的频率和时间分量的交互信息进行建模。为了解决异常声音缺乏的问题,我们采用了一种自监督学习的方法来训练网络与正常的声音。具体而言,该方法随机掩蔽和重建的声学特征,并联合分类机器身份信息,以提高异常声音检测的性能。我们在DCASE2021 task2数据集上评估了我们的方法。实验结果表明,SSDPT网络实现了显着增加的谐波平均AUC分数,在目前的国家的最先进的异常声音检测方法相比。
2022-08-06 cs.SD eess.AS
Acoustic Anomaly Detection for Machine Sounds based on Image Transfer Learning
LMU Munich(慕尼黑大学)
在工业应用中,早期检测故障工厂机械至关重要。在本文中,我们考虑通过迁移学习的声学故障检测。与目前大多数基于深度自动编码器的方法相反,我们建议使用在图像分类任务上进行预训练的神经网络来提取特征。然后,我们使用这些功能来训练各种异常检测模型,并表明,与噪声环境中四种不同工厂机器的记录中的卷积自动编码器相比,这改善了结果。此外,我们发现从基于ResNet的网络中提取的特征比从AlexNet和Squeezenet中提取的特征产生更好的结果。在我们的设置中,高斯混合模型和单类支持向量机实现了最佳的异常检测性能。
2020-12-11 cs.CV cs.LG cs.SD
Supervised Learning for Multi Zone Sound Field Reproduction under Harsh Environmental Conditions
Technical University Berlin(柏林工业大学)
本文提出了一种基于监督学习的多区域声场再现方法。传统的多区域声场再现方法假设声音的速度恒定,忽略了风和温度分层等非线性效应。我们将展示如何使用传递函数的监督学习来克服这些限制。通过声学对比度和再现误差来衡量解决方案的质量。我们的研究结果表明,对于所选的设置,即使风速相对较小,当在训练模型中考虑风时,声学对比度和再现误差也可以提高高达16 dB。
2021-12-14 cs.SD eess.AS physics.flu-dyn
From Vision to Sound: Advancing Audio Anomaly Detection with Vision-Based Algorithms
University of Padova(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本研究将视觉异常检测算法适应到音频领域,提出在频谱图中进行细粒度时频定位的音频异常检测方法,以提高可解释性和实用性,并在工业与环境基准上验证其有效性。
2025-02-25 cs.AI cs.CV cs.SD
Anomalous Sound Detection Based on Machine Activity Detection
Hitachi, Ltd.(日立有限公司)
我们开发了一种用于机器状态监测的无监督异常声音检测方法,该方法利用辅助任务-检测目标机器何时处于活动状态。首先,我们训练一个模型,该模型通过使用带有机器活动标签的正常数据来检测机器活动,然后如果我们在推理阶段可以访问地面实况活动标签,则使用活动检测错误作为给定声音片段的异常分数。如果这些标签不可用,则通过对由活动检测模型获得的嵌入向量进行离群值检测来计算异常分数。解决这个辅助任务使模型能够学习目标机器声音和类似背景噪声之间的差异,这使得识别目标声音中的小偏差成为可能。实验结果表明,该方法通过集成的方式互补地提高了传统方法的异常检测性能。
2022-04-15 cs.LG cs.SD eess.AS
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所);Waseda University(早稻田大学)
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中,发声物体具有大量的种类和不同的外观,在实践中标记所有发声物体是不可能的。这就需要自监督学习,它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像,并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题,提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息,我们的方法训练深度神经网络(DNN)来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明,我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象,包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
Domain Shift-oriented Machine Anomalous Sound Detection Model Based on Self-Supervised Learning
Guilin University of Electronic Technology(桂林电子科技大学);School of Marine Engineering(海洋工程学院)
得益于深度学习的发展,基于自监督学习的机器异常声音检测研究取得了显著成果。然而,在同一台机器的不同操作条件下,测试集和训练集的声学特性存在差异(域偏移)。现有的检测方法具有挑战性,以低的计算开销稳定地学习域移位特征。针对这些问题,本文提出了一种基于自监督学习的面向领域转移的机器异常声音检测模型(TranSelf-DyGCN)。首先,设计了一个时频域特征建模网络,用于捕获全局和局部的空间和时域特征,从而提高了机器异常声音检测在域偏移下的稳定性。然后,采用动态图卷积网络(DyGCN)对域移位特征之间的依赖关系进行建模,使模型能够有效地感知域移位特征。最后,我们使用一个域自适应网络(DAN)来补偿域偏移引起的性能下降,使模型在自监督环境中更好地适应异常声音。在DCASE 2020任务2和DCASE 2022任务2上验证了所建议模型的性能。
2022-09-07 cs.SD eess.AS
A Multi-grained based Attention Network for Semi-supervised Sound Event Detection
Xinjiang University(新疆大学);Tsinghua University(清华大学)
声音事件检测(SED)是一项有趣但具有挑战性的任务,这是由于现实生活中数据的稀缺性和声音事件的多样性。提出了一种基于多粒度的注意力网络(MGA-Net)用于半监督声音事件检测。为了获得与声音事件相关的特征表示,设计了残差混合卷积(RH-Conv)块来增强香草卷积提取时频特征的能力。此外,多粒度注意(MGA)模块的设计,学习时间分辨率的功能,从粗到细的水平。通过MGA模块,网络可以捕获具有短或长持续时间的目标事件的特征,从而更准确地确定声音事件的开始和结束。此外,为了有效地提高平均教师(MT)方法的性能,空间移位(SS)模块作为数据扰动机制,以增加数据的多样性。实验结果表明,MGA-Net的性能优于已发表的最先进的竞争对手,分别达到53.27%和56.96%的基于事件的宏F1(EB-F1)分数,0.709和0.739复调声音检测分数(PSDS)在验证和公共集。
2022-06-21 cs.SD eess.AS
Variational Autoencoders for Anomaly Detection in Respiratory Sounds
University of Milano(米兰大学)
本文提出一种基于变分自编码器的弱监督呼吸音异常检测方法,以较低训练复杂度和较小数据集实现57%准确率,达到与强监督方法相当的水平。
2023-12-03 cs.LG cs.SD eess.AS
Weakly supervised CRNN system for sound event detection with large-scale unlabeled in-domain data
National University of Defense Technology(中国人民解放军国防科技大学);University of Surrey(萨里大学)
声音事件检测(SED)通常被设定为需要具有声音事件的强时间标签的训练数据的监督学习问题。然而,生产具有强标签的数据集通常需要负担不起的劳动力成本。它限制了监督SED方法的实际应用。SED方法的最新进展集中在利用弱标记或未标记的训练数据来检测声音事件。在本文中,我们提出了一个联合框架来解决SED任务,使用大规模的未标记的域内数据。特别地,首先采用最先进的通用音频标记模型来预测未标记数据的弱标签。另一方面,弱监督架构的基础上的卷积递归神经网络(CRNN)的开发,以解决强注释的声音事件的帮助下,未标记的数据与预测的标签。结果发现,SED的性能一般增加更多的未标记的数据被添加到训练。为了解决未标记数据的噪声标记问题,应用集成策略来增加系统的鲁棒性。在DCASE 2018挑战赛的SED数据集上对所提出的系统进行了评估。它达到了21.0%的F1分数,比基线系统提高了10%。
2018-11-01 cs.SD eess.AS
Sound event detection using weakly-labeled semi-supervised data with GCRNNS, VAT and Self-Adaptive Label Refinement
Graz University of Technology(格拉茨工业大学)
在本文中,我们提出了一种基于门控卷积递归神经网络的方法来解决DCASE 2018挑战的任务4,即国内环境中的大规模弱标记半监督声音事件检测。门控线性单元和时间注意层被用于预测10秒长的音频片段中的声音事件的开始和偏移。因此,对于训练,仅使用弱标记的数据。虚拟对抗训练用于正则化,利用标记和未标记的数据。此外,我们还引入了自适应标签细化,这种方法允许我们训练的系统进行无监督自适应,以提高帧级类预测的准确性。所提出的系统达到了整体宏观平均基于事件的F-分数为34.6%,导致在基线系统的20.5%的相对改善。
2018-10-16 cs.SD eess.AS
Evaluation of Barlow Twins and VICReg self-supervised learning for sound patterns of bird and anuran species
New York University(纽约大学);University of São Paulo(圣保罗大学);São Paulo State University(圣保罗州立大学);University College Cork(科克大学学院)
本研究针对声景生态学标注稀缺的问题,采用Barlow Twins和VICReg自监督方法用小型鸟兽声音数据集预训练模型,在下游分类任务中性能接近大规模数据预训练的监督模型。
2023-12-18 cs.SD eess.AS
Anomalous Sound Detection Using Self-Attention-Based Frequency Pattern Analysis of Machine Sounds
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出一种基于自注意力频率模式分析与频谱-时间融合的异常声音检测方法,自动分析有效频率并增强特征,在DCASE 2020任务2数据集上提升检测性能。
2023-09-06 cs.SD eess.AS
Learning Representations for New Sound Classes With Continual Self-Supervised Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Concordia University(康考迪亚大学);Université de Montréal(蒙特利尔大学);Columbia University(哥伦比亚大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Amazon Web Services(亚马逊云科技)
在本文中,我们工作的声音识别系统,不断纳入新的声音类。我们的主要目标是开发一个框架,可以在不依赖标记数据的情况下更新模型。为此,我们建议采用表示学习,其中编码器使用未标记的数据进行训练。这个学习框架使得能够研究和实现实际相关的用例,其中在持续学习的上下文中只有少量的标签可用。我们还进行了实证观察,在这个框架内的基于相似性的表征学习方法是强大的遗忘,即使没有明确的机制,对遗忘。我们表明,这种方法获得类似的性能相比,几个蒸馏为基础的持续学习方法时,采用自监督表示学习方法。
2022-12-13 cs.LG cs.SD eess.AS
Learning generic feature representation with synthetic data for weakly-supervised sound event detection by inter-frame distance loss
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
由于强标记声音事件检测数据集的局限性,利用合成数据提高声音事件检测系统的性能成为新的研究热点。在本文中,我们试图利用合成数据的使用,以改善特征表示。在度量学习的基础上,提出了一种基于帧间距离损失函数的领域自适应方法,并证明了该方法在声音事件检测中的有效性。我们还应用了多任务学习与合成数据。我们发现当这两种方法结合使用时,可以达到最佳的性能。在DCASE 2018 task 4测试集和DCASE 2019 task 4合成集上的实验都显示了竞争性的结果。
2020-11-02 cs.SD eess.AS
Affinity Mixup for Weakly Supervised Sound Event Detection
弱监督声音事件检测问题是预测弱标记数据集中声音事件的存在及其相应的起点和终点的任务。弱数据集将每个训练样本(短记录)与一个或多个当前源相关联。仅依赖卷积层和递归层的网络无法直接关联记录中的多个帧。受注意力和图神经网络的启发,我们引入了亲和度混合的概念,以合并时间级别的相似性并在帧之间建立连接。这种正则化技术使用自适应亲和矩阵混合不同层中的特征。我们提出的亲和力混合网络提高了$8.2\%$的最先进的技术事件F1分数。
2021-06-21 cs.LG cs.SD eess.AS
Sound Localization by Self-Supervised Time Delay Estimation
University of Michigan(密歇根大学)
声音到达立体声对中的一个麦克风比另一个更快,导致两耳间的时间延迟,从而传达它们的方向。估计声音的时间延迟需要找到每个麦克风记录的信号之间的对应关系。我们建议通过自我监督来学习这些对应关系,借鉴视觉跟踪的最新技术。我们采用Jabri等人的对比随机游走,从未标记的立体声中学习周期一致的表示,从而产生一个模型,该模型与“野外”互联网录音的监督方法不相上下。我们还提出了一个多模态对比学习模型,解决了视觉引导的定位任务:估计时间延迟为一个特定的人在多扬声器混合,给定的视觉表示他们的脸。项目网址:https://ificl.github.io/stereocrw/
2023-01-28 cs.CV cs.SD eess.AS
A Robust Interpretable Deep Learning Classifier for Heart Anomaly Detection Without Segmentation
Queensland University of Technology(昆士兰科技大学);M3DICINE Pty Ltd(M3DICINE私人有限公司)
传统上,异常心音分类被框定为三阶段过程。第一阶段涉及分割心音图以检测基本心音;之后提取特征并进行分类。该领域的一些研究人员认为分割步骤是一个不必要的计算负担,而其他人则将其作为特征提取的优先步骤。当比较在分析之前分割心音的研究与忽略这一步骤的研究所达到的准确度时,是否在特征提取之前分割心音的问题仍然是开放的。在这项研究中,我们明确地检查心音分割的重要性,作为一个事先步骤的心音分类,然后寻求应用所获得的见解,提出一个强大的分类器异常心音检测。此外,认识到医疗领域对可解释的人工智能(AI)模型的迫切需求,我们还揭示了分类器使用模型解释技术学习的隐藏表示。实验结果表明,分割在异常心音分类中起着至关重要的作用。我们的新分类器也被证明是鲁棒的,稳定的,最重要的是,可解释的,在广泛使用的PhysioNet数据集上的准确率几乎为100%。
2020-09-29 cs.LG cs.SD eess.AS
Explainable anomaly detection for sound spectrograms using pooling statistics with quantile differences
ZF Friedrichshafen AG(采埃孚集团);TU Dortmund University(多特蒙德工业大学);Research Center for Trustworthy Data Science and Security(可信数据科学与安全研究中心)
本文提出一种基于统计评估的声谱图异常检测方法,具备内在可解释性,适用于工业4.0中预测性维护等不适用黑盒算法的场景。
2025-06-27 cs.SD eess.AS stat.AP
Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室)
我们提出了一个简单而有效的自监督框架视听表示学习,本地化的声源在视频中。为了理解是什么使得能够学习有用的表示,我们系统地研究了数据增强的效果,并揭示了(1)数据增强的组合起着关键作用,即明确地鼓励视听表示对各种变换保持不变~({ \em变换不变性});(2)强制几何一致性实质上提高了学习表示的质量,即,检测到的声源应当遵循应用于输入视频帧的相同变换~({ \em变换等方差})。大量的实验表明,我们的模型显着优于以前的方法在两个声音定位基准,即,Flickr-SoundNet和VGG-Sound。此外,我们还评估了音频检索和跨模态检索任务。在这两种情况下,我们的自监督模型表现出优越的检索性能,甚至与音频检索中的监督方法竞争。这表明,所提出的框架学习强大的多模态表示,有利于声音的本地化和推广到进一步的应用。\textit{All codes will be available}。
2022-08-15 cs.CV cs.MM cs.SD
Self-Supervised Learning for Few-Shot Bird Sound Classification
IMT Atlantique(IMT大西洋高等矿业电信学院);University of Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛里亚实验室)
本研究证明自监督学习可从无标注音频中学习鸟类声音表示,并泛化到少样本学习中的新物种,且选择高鸟类激活窗口可提升表示质量。
2024-02-09 cs.LG cs.SD eess.AS
Joint Acoustic and Class Inference for Weakly Supervised Sound Event Detection
Johns Hopkins University(约翰斯·霍普金斯大学);Ritsumeikan University(立命馆大学)
声音事件检测是一项具有挑战性的任务,特别是对于具有多个同时发生的事件的场景。虽然事件分类方法往往相当准确,但事件本地化带来了额外的挑战,特别是当大量标记数据不可用时。2018年DCASE挑战赛的任务4提出了一个事件检测任务,该任务要求在事件的分割和识别方面都具有准确性,同时只提供弱标记的训练数据。监督方法可以产生准确的事件标签,但当训练数据缺乏事件时间戳时,在事件分割方面受到限制。另一方面,对音频的声学特性进行建模的无监督方法可以产生准确的事件边界,但不受事件类别和声音类别的特征的指导。我们提出了一种混合方法,该方法结合了声学驱动的事件边界检测和使用深度神经网络的监督标签推理。该框架利用了无监督和有监督方法的优点,并利用了大量未标记的数据,使其成为大规模弱标记事件检测的理想选择。与基线系统相比,所提出的方法提供了一个15%的F-分数的绝对改善,证明了混合自下而上,自上而下的方法的好处。
2018-11-09 cs.SD eess.AS
Frame Pairwise Distance Loss for Weakly-supervised Sound Event Detection
Zhejiang Lab(之江实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对弱监督声音事件检测中强标注昂贵的问题,提出 FPD 损失分支并结合少量合成数据及配套采样、标签策略,在 DCASE 2023 task4 上验证有效。
2023-12-07 cs.HC cs.SD eess.AS
Activity-Guided Industrial Anomalous Sound Detection against Interferences
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
针对工业声音异常检测中目标机器声音易受背景噪声和邻近机器干扰的问题,提出SSAD框架,利用机器活动信息进行源分离和两步掩蔽,在仅提供受损信号和活动信息的情况下,实现了与使用干净信号的基线相当的准确率,并在有干扰时优于标准方法。
2024-09-03 cs.LG cs.SD eess.AS
Self-Supervised Learning from Automatically Separated Sound Scenes
Google Research(谷歌研究院)
真实世界的声音场景由随时间变化的声源集合组成,每个声源都生成在音频记录中混合在一起的特征声音事件。这些组成声音事件与它们的混合物和彼此的关联在语义上受到约束:声音场景包含源类的联合,而不是所有类自然地共同出现。有了这个动机,本文探讨了使用无监督的自动声音分离分解成多个语义链接的意见,用于自我监督的对比学习未标记的声音场景。我们发现,学习将输入混合物与其自动分离的输出相关联,比过去单独使用混合物的方法产生更强的表示。此外,我们发现,最佳的声源分离是不需要成功的对比学习,证明了一系列的分离系统的收敛状态都导致有用的,往往是互补的例子变换。我们最好的系统将这些无监督分离模型集成到一个单一的增强前端中,并联合优化视图中的相似性最大化和重合预测目标。其结果是一个无监督的音频表示,竞争对手的国家的最先进的替代品上建立浅AudioSet分类基准。
2021-09-15 cs.LG cs.SD eess.AS
SP-SEDT: Self-supervised Pre-training for Sound Event Detection Transformer
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,一个基于事件的端到端模型(SEDT)已被提出用于声音事件检测(SED),并取得了有竞争力的性能。然而,与基于帧的模型相比,它需要更多的时间注释的训练数据,以提高定位能力。合成数据是一种替代方案,但它与真实记录存在很大的领域差距。受UP-DETR在目标检测中的巨大成功的启发,我们提出通过检测随机块(仅沿时间轴裁剪)来自我监督地预训练SEDT(SP-SEDT)。在DCASE 2019 task 4数据集上的实验表明,所提出的SP-SEDT可以优于微调的基于帧的模型。还进行了消融研究,以研究不同损失函数和贴片尺寸的影响。
2022-04-06 cs.SD eess.AS
Duration robust weakly supervised sound event detection
Shanghai Jiao Tong University(上海交通大学)
DCASE 2018挑战赛的任务4表明,声音事件检测的实际应用需要更多的研究。分析挑战结果可以看出,大多数成功的模型偏向于预测长期(例如,超过5个)夹子。这项工作的目的是研究固定大小的窗口中值滤波后处理的性能影响,并提倡使用双阈值作为一个更强大和可预测的后处理方法。此外,提出了CRNN框架内的四种不同的时间子采样方法:均值-最大值,α-均值-最大值,Lp-范数和卷积。我们表明,对于这项任务的二次采样的时间分辨率由神经网络提高了F1分数,以及其对短,零星的声音事件的鲁棒性。我们最好的单一模型在评估集上达到30.1%F1,最好的融合模型达到32.5%,同时对事件长度变化具有鲁棒性。
2020-01-26 cs.SD eess.AS
Large-Scale Weakly Labeled Semi-Supervised Sound Event Detection in Domestic Environments
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用实验室);Johannes Kepler University of Linz(林茨约翰内斯·开普勒大学);Carnegie Mellon University(卡内基梅隆大学)
本文介绍了DCASE 2018任务4。该任务使用弱标记数据(无时间边界)评估大规模检测声音事件的系统。该系统的目标是不仅提供事件类别,而且提供事件时间边界,因为音频记录中可能存在多个事件。任务的另一个挑战是探索利用大量不平衡和未标记的训练数据以及小的弱标记训练集来提高系统性能的可能性。这些数据是来自家庭背景的Youtube视频摘录,这些视频具有许多应用,例如环境辅助生活。选择该领域是因为科学挑战(各种各样的声音,时间本地化的事件。.)和潜在的工业应用。
2018-07-27 cs.SD eess.AS
Power Pooling Operators and Confidence Learning for Semi-Supervised Sound Event Detection
Institute of Acoustics, CAS(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
近年来,半监督声音事件检测(SSED)中强标记数据、弱标记数据和未标记数据的综合处理引起了人们的广泛关注。自训练模型在没有强注释的情况下进行预测,然后将具有高概率的预测作为伪标签进行再训练。这些模型在SSED中显示了其有效性。然而,概率是校准较差的置信度估计值,概率低的样本会被忽略。因此,我们引入了一种故意学习置信度的方法,并通过应用置信度作为权重来清晰地保留所有数据。此外,线性池已被认为是一个国家的最先进的聚合功能的SSED与弱标记。在本文中,我们提出了一个功率池函数,其系数可以自动训练,以实现非线性。设计了一种基于置信度的半监督声音事件检测(C-SSED)框架,将置信度和功率池相结合。实验结果表明,置信度与预测的准确性成正比。功率池化函数在出错率和F1结果方面的性能均优于线性池化。此外,与基线模型相比,C-SSED框架实现了34%的相对出错率降低。
2020-05-23 cs.SD eess.AS
Improving weakly supervised sound event detection with self-supervised auxiliary tasks
Carnegie Mellon University(卡内基梅隆大学)
虽然多任务和迁移学习已经证明可以在有限的数据设置中提高神经网络的性能,但它们需要预先在大型数据集上对模型进行预训练。在本文中,我们专注于同时提高低数据和噪声环境中弱监督声音事件检测的性能,而不需要任何预训练任务。在这种程度上,我们提出了一个共享的编码器架构,声音事件检测作为主要任务和一个额外的辅助解码器的自我监督的辅助任务。我们在DCASE 2019任务1声学场景数据与DCASE 2018任务2声音事件数据在0,10和20 dB SNR下的混音数据集上经验性地评估了弱监督声音事件检测的拟议框架。为了确保我们保留多个声音事件的本地化信息,我们提出了一个两步注意力池机制,提供了一个时间-频率本地化的多个音频事件的剪辑。在信噪比为0、10和20 dB时,该框架的性能分别比现有的基准模型高出22.3%、12.8%和5.9%。我们进行了消融研究,以确定辅助任务和两步注意池的SED性能改善的贡献。
2021-06-12 cs.LG eess.AS
Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching
Renmin University of China(中国人民大学);Baidu Inc.(百度公司);Shanghai Jiao Tong University(上海交通大学)
在鸡尾酒会中有区别地定位发声对象,即,混合声音场景,对于人类来说是司空见惯的,但对于机器来说仍然具有挑战性。在本文中,我们提出了一个两阶段的学习框架来执行自我监督类感知的发声对象定位。首先,我们建议通过聚合单个源场景中的候选声音定位结果来学习鲁棒的对象表示。然后,类感知的对象定位地图生成鸡尾酒会的情况下,通过参考预先学习的对象知识,并相应地选择发声对象通过匹配音频和视觉对象类别分布,其中视听一致性被视为自监督信号。在现实和合成的鸡尾酒会视频的实验结果表明,我们的模型是优越的,在过滤出沉默的对象,并指出不同类别的发声对象的位置。代码可在https://github.com/DTaoo/Discriminative-Sounding-Objects-Localization上获得。
2020-10-12 cs.CV cs.LG cs.MM
Hierarchical Metadata Information Constrained Self-Supervised Learning for Anomalous Sound Detection Under Domain Shift
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
针对域偏移下ASD忽略区段内元数据属性的问题,提出HMIC自监督方法,利用区段ID与属性的分层约束学习精细特征,并以AGC计算异常分数,在DCASE 2022任务2上优于现有方法。
2023-12-18 cs.SD eess.AS
Polyphonic sound event detection based on convolutional recurrent neural networks with semi-supervised loss function for DCASE challenge 2020 task 4
本报告为DCASE 2020挑战任务4提出了一种复音声音事件检测(SED)方法。所提出的SED方法是基于半监督学习来处理不同的训练数据集的组合,如弱标记数据集,未标记数据集和强标记的合成数据集。特别地,首先通过使用作为DCASE 2020基线的平均教师模型来预测来自弱标记或未标记数据集的每个音频片段的目标标记。具有预测标签的数据用于训练所提出的SED模型,该模型由具有跳过连接和自注意机制的CNN,然后是RNN组成。为了补偿弱标记和未标记数据的错误预测,半监督损失函数被用于所提出的SED模型。在这项工作中,建议SED模型的几个版本的实施和评估的验证集根据不同的参数设置的半监督损失函数,然后集成模型,结合五重验证模型最终被选为我们的最终模型。
2020-07-02 cs.SD eess.AS
Low-complexity Attention-based Unsupervised Anomalous Sound Detection exploiting Separable Convolutions and Angular Loss
本文提出一种结合注意力模块和可分离卷积的新型深度神经网络,在降低计算复杂度和参数量的同时,提升了无监督异常声音检测的准确率,并在DCASE 2020数据集上验证了其优于现有方法的性能。
2024-10-11 eess.AS
w2v-SELD: A Sound Event Localization and Detection Framework for Self-Supervised Spatial Audio Pre-Training
University of Campinas(坎皮纳斯大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出w2v-SELD,一种基于wav2vec 2.0的自监督声音事件定位与检测框架,通过预训练和微调利用未标记3D音频数据,在基准数据集上超越基线并达到与监督方法相当的性能。
2023-12-30 cs.SD eess.AS
ToyADMOS2: Another dataset of miniature-machine operating sounds for anomalous sound detection under domain shift conditions
本文提出了一种新的大规模数据集称为“ToyADMOS 2”的机器操作声音异常检测(ADMOS)。与我们之前的ToyADMOS数据集一样,我们通过故意损坏微型机器(玩具),在正常和异常条件下收集了大量微型机器(玩具)的操作声音,但在异常样本中提供了受控的损坏深度。由于ADMOS的典型应用场景通常需要在域转移条件下具有强大的性能,因此ToyADMOS 2数据集旨在评估此类条件下的系统。发布的数据集包括两个子数据集的机器状态检查:故障诊断的机器与几何固定的任务和故障诊断的机器与移动的任务。通过引入操作条件的几个差异来表示域偏移,例如使用相同的机器类型但具有不同的机器模型和部件配置、不同的操作速度、麦克风布置等。每个子数据集包含超过27 k的正常机器操作声音样本和超过8 k的异常声音样本,这些异常声音样本由五到八个麦克风记录。该数据集可在https://github.com/nttcslab/ToyADMOS2-dataset和https://doi.org/10.5281/zenodo.4580270免费下载。
2021-06-04 eess.AS
Weakly-Supervised Classification and Detection of Bird Sounds in the Wild. A BirdCLEF 2021 Solution
Universidad de Valladolid(巴利亚多利德大学);Jio Saavn
听鸟比看鸟更容易,然而,它们仍然在自然界中发挥着重要作用,它们是环境质量和污染恶化的良好指标。机器学习和卷积神经网络的最新进展使我们能够检测和分类鸟类的声音,通过这样做,我们可以帮助研究人员监测生态系统中鸟类种群和生物多样性的状态和趋势。我们提出了一个声音检测和分类管道,用于分析复杂的音景记录,并识别背景中的鸟鸣。我们的管道从弱标签中学习,对野外细粒度的鸟类发声进行分类,并且对背景声音(例如,飞机、雨等)。我们的解决方案在Kaggle举办的BirdCLEF 2021挑战赛中获得了816支球队的第10名。
2021-07-10 cs.MM cs.SD eess.AS
Unsupervised Detection of Anomalous Sound based on Deep Learning and the Neyman-Pearson Lemma
NTT Media Intelligence Laboratories(NTT媒体情报实验室);NTT Corporation(NTT公司)
本文提出了一种新的优化原理和实现的无监督异常检测声音(ADS)使用自动编码器(AE)。无监督ADS的目标是在没有异常声音训练数据的情况下检测未知的异常声音。使用AE作为正常模型是用于无监督ADS的最先进技术。为了降低假阳性率(FPR),训练AE以最小化正常声音的重建误差,并且计算异常分数作为观察到的声音的重建误差。不幸的是,由于该训练过程没有考虑异常声音的异常评分,因此真阳性率(TPR)不一定增加。在这项研究中,我们定义了一个目标函数的基础上内曼皮尔逊引理考虑ADS作为一个统计假设检验。建议的目标函数训练AE,以最大化TPR在任意低FPR条件下。为了计算目标函数中的TPR,我们认为异常声音的集合是正常声音的互补集合,并通过使用拒绝抽样算法来模拟异常声音。通过使用合成数据的实验,我们发现所提出的方法在低FPR条件下提高了ADS的性能指标。此外,我们证实,所提出的方法可以检测到异常的声音在现实环境中。
2018-10-22 cs.LG cs.SD eess.AS
Improving Weakly Supervised Sound Event Detection with Causal Intervention
Peking University(北京大学);Xiaomi Corporation(小米集团)
现有的弱监督声音事件检测(WSSED)工作没有同时探索两种类型的同现,即,一些声音事件经常同时出现,并且它们的出现通常伴随着特定的背景声音,因此它们将不可避免地纠缠在一起,从而导致仅使用剪辑级监督的错误分类和有偏差的定位结果。为了解决这个问题,我们首先建立了一个结构因果模型(SCM),揭示了上下文是同现混淆因素的主要原因,这些混淆因素会误导模型学习帧和剪辑级标签之间的虚假相关性。在因果分析的基础上,提出了一种因果干预(CI)方法,通过迭代累积每个类的所有可能上下文,然后将上下文重新投影到帧级特征,使事件边界更清晰,从而消除WSSED中同现混淆的负面影响.实验表明,该方法有效地提高了多数据集上的性能,并可以推广到各种基线模型。
2023-03-10 cs.LG cs.SD eess.AS
RCT: Random Consistency Training for Semi-supervised Sound Event Detection
Centre for Speech Technology Research (CSTR), University of Edinburgh(爱丁堡大学语音技术研究中心)
针对声事件检测的数据缺乏问题,本文提出随机一致性训练(RCT)策略,通过融合自一致性损失、硬混合数据增强和随机增强方案稳定模型训练,在半监督学习下取得优于常用策略的效果。
2022-03-27 cs.LG cs.SD eess.AS
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所)
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码,称为混合和分离框架。我们提出了一种视听联合分割,其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同,我们的架构可以以端到端的方式学习,并且不需要额外的监督或限界框建议。具体来说,我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地,结合使用对象分割的输出,一个设计,有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明,我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
ECHO: Environmental Sound Classification with Hierarchical Ontology-guided Semi-Supervised Learning
SRM Institute of Science and Technology(SRM科技学院);Samsung Research Institute(三星研究院)
本文提出了一种名为ECHO的半监督学习框架,通过定义基于标签本体层次结构的新前置任务来学习语义表示,并在三个环境声音数据集上实现了1%至8%的准确率提升。
2024-09-21 cs.CV cs.SD eess.AS
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy(维苏阿尔公司)
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如,在工业过程中,机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决,因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器(无监督和半监督)和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
Self-Supervised Learning for Anomalous Sound Detection
Fraunhofer FKIE(弗劳恩霍夫通信、信息处理和人机工程学研究所)
针对异常声音检测依赖手动标注、分类任务难度影响检测性能的问题,提出特征交换这一自监督学习方法,结合现有方法后在DCASE2023 ASD数据集上取得大幅领先的最优性能。
2023-12-15 cs.LG cs.SD eess.AS
MIMII-Agent: Leveraging LLMs with Function Calling for Relative Evaluation of Anomalous Sound Detection
Hitachi Ltd., R\&D Group, Tokyo, Japan
针对缺乏真实异常声时难以跨机器类型评估 UASD 的问题,提出用 LLM 函数调用依据故障描述自动选择音频变换并合成可信异常,实验证明其相对难度趋势与真实异常一致。
2025-07-28 cs.AI cs.LG cs.SD
Patient Domain Supervised Contrastive Learning for Lung Sound Classification Using Mobile Phone
Dept. Applied Artificial Intelligence(应用人工智能系)
本研究针对手机麦克风与电子听诊器的音频差异及患者变异性挑战,提出患者域监督对比学习(PD-SCL)方法并结合AST模型,使肺音分类性能提升2.4%,推动了手机肺部疾病检测的普及。
2025-05-29 cs.AI cs.SD eess.AS
Anomalous sound detection based on interpolation deep neural network
Hitachi, Ltd.(日立有限公司)
随着劳动力的减少,对进行工业设备维护的节省劳动力的自动异常声音检测技术的需求已经增长。常规方法基于自动编码器的重构误差来检测异常。然而,当目标机器声音是非平稳的时,重建误差倾向于与异常无关地大,并且其变化由于预测边缘帧的困难而增加。为了解决这个问题,我们提出了一种异常检测的方法,在该方法中,该模型利用多帧的频谱图,其中心帧被删除作为输入,并预测删除的帧的插值作为输出。该方法不需要预测边缘帧,而是使重建误差与异常一致。实验结果表明,基于标准AUC评分,所提出的方法实现了27%的改善,尤其是针对非平稳机械声音。
2020-05-19 cs.LG cs.SD eess.AS
Self-Supervised Audio-Visual Co-Segmentation
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
分割图像中的对象和分离音频中的声源是具有挑战性的任务,部分原因是传统方法需要大量的标记数据。在本文中,我们开发了一个神经网络模型的视觉对象分割和声音声源分离,学习自然视频通过自我监督。该模型是最近提出的将图像像素映射到声音的工作的扩展。在这里,我们引入了一种学习方法来解开神经网络中的概念,并将语义类别分配给网络特征通道,以便在视频上进行视听训练后实现独立的图像分割和声音声源分离。我们的评估表明,解开模型优于几个基线在语义分割和声音声源分离。
2019-04-18 cs.CV cs.SD eess.AS