ACCDOA: Activity-Coupled Cartesian Direction of Arrival Representation for Sound Event Localization and Detection
Sony Corporation(索尼公司)
基于神经网络(NN)的方法在声音事件定位和检测(SELD)中表现出很高的性能。传统的基于神经网络的方法使用两个分支的声音事件检测(SED)目标和到达方向(DOA)目标。单网络的双分支表示法在优化过程中必须决定如何平衡两个目标。使用两个专用于每个任务的网络会增加系统复杂性和网络规模。为了解决这些问题,我们提出了一个活动耦合的笛卡尔DOA(ACCDOA)表示,它分配一个声音事件活动的长度相应的笛卡尔DOA向量。ACCDOA表示使我们能够解决SELD任务与一个单一的目标,并有两个优点:避免平衡的目标和模型大小的增加的必要性。在DCASE 2020任务3数据集的实验评估中,ACCDOA表示在SELD指标中的表现优于两个分支表示,网络大小较小。基于ACCDOA的SELD系统在定位和位置相关检测方面也比最先进的SELD系统表现得更好。
2021-02-15 cs.SD eess.AS
Robust, General, and Low Complexity Acoustic Scene Classification Systems and An Effective Visualization for Presenting a Sound Scene Context
Austrian Institute of Technology(奥地利技术研究所);University of Technology, Austria(奥地利技术大学);Da Nang University(岘港大学);University of Technology of Compiègne(贡比涅技术大学)
在本文中,我们提出了一个全面的分析声学场景分类(ASC),识别现场的音频记录从其声学签名的任务。特别是,我们首先提出了一个基于初始和低足迹的ASC模型,称为ASC基线。然后将拟议的ASC基线与MobileNetV 1、MobileNetV 2、VGG 16、VGG 19、ResNet 50 V2、ResNet 152 V2、DenseNet 121、DenseNet 201和Xception的基准和高复杂度网络架构进行比较。接下来,我们通过提出一种新的深度神经网络架构来改进ASC基线,该架构利用了残差初始架构和多个内核。给出了新的残差初始(NRI)模型,我们进一步评估了模型复杂性和模型精度性能之间的权衡。最后,我们评估是否发生在声音场景记录的声音事件可以帮助提高ASC的准确性,然后指出如何结合声音场景和声音事件信息的声音场景上下文很好地呈现。我们对各种ASC数据集进行了广泛的实验,包括拥挤场景,IEEE AASP声学场景和事件检测和分类挑战(DCASE)2018任务1A和1B,2019任务1A和1B,2020任务1A,2021任务1A,2022任务1。几个不同的ASC挑战的实验结果突出了两个主要成就;第一个是提出鲁棒的,通用的,低复杂度的ASC系统,适用于各种边缘设备和移动设备上的实际应用;第二个是提出一种有效的可视化方法,用于全面呈现声音场景上下文。
2022-10-16 cs.AI cs.SD eess.AS
Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);Department of Electrical Engineering, POSTECH(浦项工科大学电气工程系);School of Engineering and Applied Sciences at Harvard University(哈佛大学工程与应用科学学院)
针对声源定位中跨模态交互被忽视的问题,提出新合成基准、新评估指标及跨模态对齐学习框架,显著提升定位性能并全面评估交互能力。
2024-07-18 cs.CV cs.MM cs.SD
Cross-Referencing Self-Training Network for Sound Event Detection in Audio Mixtures
Johns Hopkins University(约翰斯·霍普金斯大学);Drexel University(德雷塞尔大学)
本文提出一种基于学生-教师方案的自训练与交叉训练平衡的半监督方法,结合后处理提取声音区间,在DCASE2020声音事件检测任务上显著优于现有半监督系统。
2021-05-27 cs.LG cs.SD eess.AS
From Sound Representation to Model Robustness
École de Technologie Supérieure (ÉTS), University of Quebec(魁北克大学高等技术学院)
在本文中,我们研究了不同标准环境声音表示(频谱图)对受害者残差卷积神经网络的识别性能和对抗性攻击鲁棒性的影响。通过对三个基准环境声音数据集的各种实验进行平均,我们发现ResNet-18模型在分类精度和训练参数数量方面都优于其他深度学习架构,如GoogLeNet和AlexNet。因此,我们将此模型设置为后续研究的前端分类器。在这里,我们测量的影响,需要产生更多的信息梅尔频率倒谱系数(MFCC),短时傅里叶变换(STFT),离散小波变换(DWT)表示我们的前端模型的不同设置。该测量涉及比较分类性能与对抗鲁棒性。在对手分配的平均预算和攻击成本的平衡下,我们证明了识别精度和模型对六种攻击算法的鲁棒性之间的反比关系。此外,我们的实验结果表明,虽然在DWT谱图上训练的ResNet-18模型达到了最高的识别准确率,但与其他2D表示相比,攻击该模型对对手来说成本相对更高。
2021-01-18 cs.LG cs.SD eess.AS
Knowledge Transfer from Weakly Labeled Audio using Convolutional Neural Network for Sound Events and Scenes
Carnegie Mellon University(卡内基梅隆大学);Facebook Inc.(脸书公司)
在这项工作中,我们提出了有效地转移弱标记的网络音频数据的知识的方法。我们首先描述了一个基于卷积神经网络(CNN)的框架,用于使用弱标记的音频数据进行声音事件检测和分类。我们的模型从可变长度的音频中有效地训练;因此,它非常适合迁移学习。然后,我们提出了使用该模型学习表示的方法,该模型可以有效地用于解决目标任务。我们研究了转导和归纳迁移学习任务,显示了我们的方法对领域和任务适应的有效性。我们表明,使用所提出的CNN模型的学习表示可以很好地推广到ESC-50声音事件数据集上达到人类水平的准确性,并在该数据集上设置最先进的结果。我们进一步将它们用于声学场景分类任务,并再次表明我们提出的方法也适合这项任务。我们还表明,我们的方法是有助于捕捉语义意义和关系。此外,在这个过程中,我们还在Audioset数据集上设置了最先进的结果,依赖于平衡的训练集。
2018-09-07 cs.MM cs.SD eess.AS
Sound Context Classification Basing on Join Learning Model and Multi-Spectrogram Features
Ho Chi Minh City University of Technology(胡志明市理工大学);University of Nottingham(诺丁汉大学);University of Kent(肯特大学)
在本文中,我们提出了一个应用于声学场景分类(ASC)的深度学习框架,该框架用于从环境输入声音中对场景上下文进行分类。ASC系统通常包括两个主要步骤,称为前端特征提取和后端分类。在第一步中,提取器用于从原始音频信号中提取低级特征。接下来,所提取的区别性特征被馈送到分类器中并由分类器进行分类,从而报告准确度结果。为了开发一个鲁棒的ASC框架,我们解决了ASC系统中的前端和后端组件存在的问题,因此,提出了三个主要的贡献:首先,我们进行了全面的分析,从声音场景输入提取的频谱图表示,从而提出了最佳的多频谱图组合。在后端分类方面,我们提出了一种新的连接学习架构,使用并行卷积递归网络,这是有效的学习空间特征和时间序列的谱图输入。最后,在IEEE AASP Challenge on Detection and Classification of Acoustic Scenes and Events(DCASE)2016 Task 1,2017 Task 1,2018 Task 1A & 1B,LITIS Rouen的基准数据集上获得了良好的实验结果,证明了我们提出的框架对于ASC任务的通用性和鲁棒性。
2020-05-26 cs.SD eess.AS
AudioTagging Done Right: 2nd comparison of deep learning methods for environmental sound classification
Carnegie Mellon University(卡内基梅隆大学)
在视觉和语言任务中取得巨大成功之后,纯粹基于注意力的神经架构(例如DeiT)正在成为音频标记(AT)排行榜的榜首,这似乎淘汰了传统的卷积神经网络(CNN),前馈网络或递归网络。然而,仔细观察,已发表的研究存在很大的差异,例如,使用预训练权重初始化的模型的性能与没有预训练的模型的性能有很大差异,模型的训练时间从几个小时到几周不等,并且通常,本质隐藏在看似微不足道的细节中。这迫切需要进行全面的研究,因为我们的第一次比较是五年前的事了。在这项工作中,我们对AudioSet进行了广泛的实验,这是最大的弱标记声音事件数据集,我们也做了基于数据质量和效率的分析。我们比较了AT任务的几个最先进的基线,并研究了两大类神经架构的性能和效率:CNN变体和基于注意力的变体。我们还仔细研究了他们的优化程序。我们的开源实验结果为从业者和研究人员提供了性能,效率和优化过程之间权衡的见解。实施:https://github.com/lijuncheng16/AudioTaggingDoneRight
2022-04-03 cs.SD eess.AS
Unified Audio Event Detection
National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
针对声音事件检测与说话人分割聚类在复杂音频场景下分析不全面的问题,提出统一音频事件检测任务及基于Transformer的T-UAED框架,构建对应数据集,性能优于简单组合基线且在单任务上表现与专用模型相当。
2024-09-13 cs.SD eess.AS
Sound event detection based on auxiliary decoder and maximum probability aggregation for DCASE Challenge 2024 Task 4
针对DCASE 2024任务4的声音事件检测,提出辅助解码器、最大概率聚合及多通道输入特征三种方法,实现跨数据集与标签类型的均衡性能提升,推动更鲁棒灵活的SED模型发展。
2024-06-24 cs.SD eess.AS
Improving trajectory localization accuracy via direction-of-arrival derivative estimation
IIIT Hyderabad(海得拉巴国际信息技术学院);Queen Mary University of London(伦敦玛丽女王大学)
声源定位在声学传感和监测相关应用中至关重要。在本文中,我们做了一个全面的分析,改善声源定位相结合的波达方向(DOA)及其衍生物,量化的变化,随着时间的推移,在源的位置。本研究使用SALSA-Lite功能和卷积递归神经网络(CRNN)模型来预测DOA及其一阶导数。引入一个更新规则,将预测的DOA与估计的导数相结合,以获得最终的DOA。使用TAU-NIGENS空间声音事件(TNSSE)2021数据集进行实验验证。我们比较了在低信噪比水平下,用导数预测波达方向的网络与只预测波达方向的网络的性能。结果表明,将导数与波达方向相结合可以提高运动源的定位精度。
2022-12-10 cs.SD eess.AS
Detect Any Sound: Open-Vocabulary Sound Event Detection with Multi-Modal Queries
University of Science and Technology of China(科学技术大学);Singapore Institute of Technology(新加坡理工学院)
提出DASM模型,通过多模态查询和双流解码器实现开放词汇声音事件检测,在AudioSet Strong和DESED上显著提升性能。
2025-10-27 cs.AI cs.SD eess.AS
Active Bird2Vec: Towards End-to-End Bird Sound Monitoring with Transformers
University of Kassel(卡塞尔大学);University of Kiel(基尔大学);Fraunhofer-Institut(弗劳恩霍夫研究所)
提出结合自监督和深度主动学习的端到端Transformer模型ActiveBird2Vec,直接处理原始音频生成鸟类声音表示,减少人工标注依赖,并构建基准任务以促进生物声学研究与保护策略。
2023-11-21 cs.HC cs.LG cs.SD
A Critical Assessment of Visual Sound Source Localization Models Including Negative Audio
Universitat Pompeu Fabra(庞培法布拉大学);MARL-IDM, New York University(纽约大学MARL-IDM)
该研究针对现有视觉声源定位模型评估的三大缺陷,构建含三类负样本音频的测试集与指标,发现多数SOTA模型未有效利用音频、判别力不足,无法适配无先验信息的真实场景定位。
2025-01-10 cs.CV cs.SD eess.AS
Teaching Physical Awareness to LLMs through Sounds
Peking University(北京大学)
本文提出 ACORN 框架,利用物理声学模拟数据和兼顾幅度、相位的音频编码器,让 LLM 获得多普勒效应、多径效应与空间关系等物理感知能力。
2025-06-11 cs.AI cs.MM cs.RO
Generalization in birdsong classification: impact of transfer learning methods and dataset characteristics
Naturalis Biodiversity Center(自然生物多样性中心);Xeno-Canto Foundation(异音基金会);Landesbund fur Vogel- und Naturschutz(鸟类与自然保护州联合会);Department of Cognitive Science and Artificial Intelligence, Tilburg University(蒂尔堡大学认知科学与人工智能系)
本研究探讨了迁移学习在大规模鸟类声音分类中的泛化能力,发现浅层微调在复杂声音景观中表现更优,并提倡更全面的标注实践以增强分类器的鲁棒性。
2024-09-21 cs.LG cs.SD eess.AS
From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks
École de Technologie Supérieure (ÉTS)(高等技术学院);Université du Québec(魁北克大学)
本文研究了不同标准环境声音表示(频谱图)对受害者残差卷积神经网络(即ResNet-18)的识别性能和对抗攻击鲁棒性的影响。我们专注于这种前端分类器而不是其他复杂架构的主要动机是平衡识别精度和训练参数的总数。在此,我们测量了在我们的前端模型上生成更多信息的梅尔频率倒谱系数(MFCC),短时傅立叶变换(STFT)和离散小波变换(DWT)表示所需的不同设置的影响。该测量涉及比较分类性能与对抗鲁棒性。我们证明了识别精度和模型鲁棒性之间的反比关系,对六个基准攻击算法的平均预算分配的对手和攻击成本的平衡。此外,我们的实验结果表明,虽然在DWT谱图上训练的ResNet-18模型实现了较高的识别准确率,但攻击该模型的成本相对于其他2D表示更高。我们还报告了不同卷积神经网络架构的一些结果,如ResNet-34,ResNet-56,AlexNet和GoogLeNet,SB-CNN和LSTM。
2022-04-14 cs.CR cs.CV cs.LG
ESResNet: Environmental Sound Classification Based on Visual Domain Models
DFKI GmbH(德国人工智能研究中心);TU Kaiserslautern(凯泽斯劳滕工业大学)
环境声音分类(ESC)是音频领域的一个活跃的研究领域,在过去的几年里取得了很大的进展。然而,许多现有的方法通过依赖于特定于域的特征和架构来实现高准确性,使得更难受益于其他领域的进步(例如,图像域)。此外,过去的一些成功归因于结果评估方式的差异(即,UrbanSound 8 K(US 8 K)数据集的非官方分裂),扭曲了该领域的整体进展。本文的贡献是双重的。首先,我们提出了一个模型,是固有的单声道和立体声输入兼容。我们的模型基于简单的对数功率短时傅立叶变换(STFT)谱图,并将它们与来自图像域的几种众所周知的方法(即,ResNet,Siamese-like networks and attention)。我们研究了跨域预训练、架构变化的影响,并在标准数据集上评估了我们的模型。我们发现,我们的模型在公平的比较中优于所有先前已知的方法,准确率分别为97.0%(ESC-10),91.5%(ESC-50)和84.2%/85.4%(US 8 K单声道/立体声)。其次,我们通过区分官方或非官方分裂之间的US 8 K数据集上的几个先前报告的结果,提供了该领域实际状态的全面概述。为了更好的再现性,我们的代码(包括任何重新实现)是可用的。
2020-04-15 cs.CV cs.LG cs.SD
A Generalist Audio Foundation Model for Comprehensive Body Sound Auscultation
Shanghai Jiao Tong University(上海交通大学);Xinhua Hospital Affiliated To Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属新华医院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tongji University(同济大学)
本文提出AuscultaBase,一个基于自监督与对比学习的通用音频基础模型,用于全面身体声音听诊,在AuscultaBench基准上优于现有方法,助力临床筛查与早期干预。
2025-03-25 cs.SD eess.AS
A Comprehensive Survey on Heart Sound Analysis in the Deep Learning Era
University of Bremen(不来梅大学);Imperial College London(伦敦帝国学院);Griffith University(格里菲斯大学);Beijing Institute of Technology(北京理工大学);University of Augsburg(奥格斯堡大学);Technical University of Munich(慕尼黑工业大学);GLAM, Imperial College London(伦敦帝国学院GLAM机构)
本文综述2017—2022年深度学习在心音分析中的研究,对比经典机器学习,总结技术进展并指出未来方向,同时提供公开论文资源库。
2024-05-11 cs.LG cs.SD eess.AS
Mirage Fools the Ear, Mute Hides the Truth: Precise Targeted Adversarial Attacks on Polyphonic Sound Event Detection Systems
Beijing University of Posts and Telecommunications(北京邮电大学);National University of Singapore(新加坡国立大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Hong Kong(香港大学)
针对现有声音事件检测系统对抗攻击效果差、精准度不足的问题,提出M2A攻击框架与编辑精准度指标,在复音SED定向攻击中兼顾攻击效果与非目标区域保护,显著提升攻击精准性。
2025-10-02 cs.CR cs.SD
ASDKit: A Toolkit for Comprehensive Evaluation of Anomalous Sound Detection Methods
本文提出ASDKit,一个用于异常声音检测(ASD)任务的开源工具包,提供统一框架支持多种ASD方法的训练与评估,并在DCASE 2020--2024数据集上实现全面评估,重现了最先进水平的性能。
2025-07-14 eess.AS
BUET Multi-disease Heart Sound Dataset: A Comprehensive Auscultation Dataset for Developing Computer-Aided Diagnostic Systems
BUET(孟加拉工程技术大学);Cornell University(康奈尔大学);University of Pittsburgh(匹兹堡大学)
本文提出 BUET 多病种心音数据集,包含 864 条五类心音录音,并采用多标签标注系统,以支持自动心音分类与诊断模型开发。
2024-09-01 cs.AI cs.LG cs.SD
MEMS and ECM Sensor Technologies for Cardiorespiratory Sound Monitoring - A Comprehensive Review
McMaster University(麦克马斯特大学);M Corporation(3M公司)
本文综述心肺听诊设备及 ECM、MEMS 传感技术,重点梳理近十年基于 MEMS 的可穿戴设计,首次系统总结二者在心音和肺音分析中的应用。
2025-02-14 cs.AI cs.LG eess.AS
Robust COVID-19 Detection from Cough Sounds using Deep Neural Decision Tree and Forest: A Comprehensive Cross-Datasets Evaluation
University of Chittagong(吉大港大学);Charles Sturt University(查尔斯斯图尔特大学)
本研究提出基于深度神经决策树与森林的COVID-19咳嗽声检测方法,经特征选择、超参优化等处理,在多个数据集上取得优于现有方法的AUC得分,跨数据集分析揭示差异并验证数据集整合的价值。
2025-01-02 cs.AI cs.LG cs.SD
AI-Enhanced Acoustic Analysis for Comprehensive Biodiversity Monitoring and Assessment
本项目提出利用声学传感器网络和先进AI算法构建实时生物多样性监测系统,通过分析声音数据识别物种并检测其变化,为生态保护和政策决策提供支持。
2024-10-16 eess.AS
Detecting Drill Failure in the Small Short-sound Drill Dataset
Mid Sweden University(瑞典中部大学);Ton Duc Thang University(孙德胜大学)
监控机器的状态在制造业中至关重要。及早检测机器中的故障部件,以便停止和修理故障部件,可以最大限度地减少机器的停机时间。本文提出了一种基于维美德公司的钻孔声检测钻孔机故障的方法。钻数据集包括三个类别:异常声音、正常声音和不相关声音,它们也分别被标记为“破碎”、“正常”和“其他”。由于以下原因,有效地检测钻头故障仍然是一个挑战。钻声波形复杂,检测时间短.此外,在现实的音景中,同时存在声音和噪音。此外,平衡数据集很小,无法应用最先进的深度学习技术。为了克服上述困难,我们增强了声音,以增加数据集中的声音数量。然后,我们提出了一个卷积神经网络(CNN)与长短期记忆(LSTM)相结合,从对数梅尔频谱图中提取特征,并学习全局高级特征表示,用于三个类别的分类。一个泄漏整流线性单元(泄漏ReLU)被用作我们提出的CNN的激活函数,而不是整流线性单元(ReLU)。此外,我们在LSTM层之后的帧级别部署了一个注意力机制,以学习长期的全局特征表示。结果表明,该方法对钻头故障检测系统的总体准确率达到92.35%。
2021-11-09 cs.SD eess.AS
A Sequential Self Teaching Approach for Improving Generalization in Sound Event Recognition
Facebook Reality Labs(Facebook现实实验室)
机器听觉感知中的一个重要问题是识别和检测声音事件。在本文中,我们提出了一个顺序的自我教学方法来学习声音。我们的主要主张是,在不利的情况下,例如从弱标记和/或噪声标记的数据中学习声音是很困难的,在这些情况下,单个学习阶段是不够的。我们的建议是一个连续的阶段明智的学习过程,提高了泛化能力的一个给定的建模系统。我们通过技术结果证明了这种方法的合理性,在最大的声音事件数据集Audioset上,我们的顺序学习方法可以使性能提高9%。一个全面的评估还表明,该方法导致从以前训练的模型的知识的可转移性的改善,从而导致迁移学习任务的泛化能力的改善。
2020-06-30 cs.LG cs.SD eess.AS
Investigating catastrophic forgetting in sound event classification
Tampere University(坦佩雷大学)
本研究针对声音事件分类的类增量学习,提出冻结特征提取器并微调动态头部分类器,有效缓解灾难性遗忘,兼顾稳定性与可塑性。
2026-09-11 cs.AI cs.SD eess.AS
Detection of Electric Motor Damage Through Analysis of Sound Signals Using Bayesian Neural Networks
AGH University of Krakow(克拉科夫AGH科技大学);Norwegian University of Science and Technology(挪威科技大学)
针对电动机故障诊断中均衡数据集难以获取、分类器开发难的问题,提出利用贝叶斯神经网络分析声音信号检测电动机损伤,在真实信号上验证了性能并完成鲁棒性分析。
2024-09-12 cs.LG cs.SD eess.AS
QC-MI-OVSEL: Benchmarking Query-Conditioned Multi-Instance Open-Vocabulary Sound Event Localization
Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心)
该研究针对QC-MI-OVSEL任务推出对应基准,提出Q-RSet方法,在声源恢复等指标上优于基线,同时分析了影响声源发现等的因素。
2026-10-12 cs.SD eess.AS
FakeSound2: A Benchmark for Explainable and Generalizable Deepfake Sound Detection
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Peking University, Shenzhen(广东超高清沉浸媒体技术重点实验室,北京大学深圳校区);Shanghai Jiao Tong University, Shanghai(上海交通大学);Tencent AI Lab, Beijing(腾讯AI实验室)
FakeSound2基准从定位、可追溯性和泛化三个维度评估深度伪造声音检测,覆盖6种操作和12个来源,揭示现有方法虽高准确率但缺乏可解释性,推动稳健可信的音频认证。
2025-09-26 cs.SD eess.AS
Representational learning for an anomalous sound detection system with source separation model
School of Electronic and Electrical Engineering, Kyungpook National University(庆北国立大学电子与电气工程学院);School of Electronics Engineering, Kyungpook National University(庆北国立大学电子工程学院)
针对机械异常声音检测中传统方法的局限性,提出基于源分离模型CMGAN的训练方法,通过分离非目标机器声音提升表征学习效果,实验证明其性能优于传统方法且可随非目标数据量增加进一步增强。
2024-10-29 cs.SD eess.AS
Time-Frequency Analysis and Parameterisation of Knee Sounds for Non-invasive Detection of Osteoarthritis
Imperial College London(帝国理工学院)
目的:在这项工作中,潜在的非侵入性检测膝关节骨关节炎的研究使用的声音在行走过程中产生的膝关节。研究方法:利用这些信号及其压缩表示的时频域中所包含的信息,并研究了它们的判别特性。他们的正常与异常信号分类的任务的功效进行评估,使用一个全面的实验框架。在此基础上,采用分类回归树(CART)、线性判别分析(LDA)和支持向量机(SVM)分类器研究了特征提取参数对分类性能的影响。结果:分类是成功的,受试者工作特征(ROC)曲线下面积为0.92。结论:分析表明,使用非均匀频率缩放时,分类性能的改善,并确定特定的频段,包含歧视性的功能。重要性:与其他专注于坐到站运动和膝关节屈曲/伸展的研究相反,这项研究使用了步行过程中获得的膝关节声音。这种信号的分析导致以高准确度对膝关节骨关节炎的非侵入性检测,并且可以潜在地扩展用于疾病评估的可用工具的范围,作为更实用和成本有效的方法,而不需要临床设置。
2020-04-27 cs.SD eess.AS
The Sound of Syntax: Finetuning and Comprehensive Evaluation of Language Models for Speech Pathology
Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学);Sound Speech and Hearing Clinic(语音与听力诊所)
针对言语病理学中SLP短缺问题,构建MLM应用分类体系和首个综合基准,评估15个模型,发现无模型全面领先且存在性别差异,微调可提升超10%性能。
2025-10-08 cs.AI cs.CL cs.SD
Uncertainty-Aware COVID-19 Detection from Imbalanced Sound Data
University of Cambridge(剑桥大学)
最近,基于声音的COVID-19检测研究显示出实现可扩展和快速数字预筛选的巨大希望。然而,仍然有两个未解决的问题阻碍了实践。首先,用于模型训练的收集数据集通常是不平衡的,测试结果呈阳性的用户比例要小得多,这使得学习具有代表性和鲁棒性的特征变得更加困难。其次,深度学习模型通常对自己的预测过于自信。在临床上,错误的预测加剧了医疗保健成本。对筛查不确定性的估计将有助于这一点。为了解决这些问题,我们提出了一个集成框架,其中用于基于声音的COVID-19检测的多个深度学习模型是从原始数据的不同但平衡的子集开发的。因此,与传统的上采样和下采样方法相比,数据得到了更有效的利用:AUC为0.74,灵敏度为0.68,特异性为0.69。同时,我们从多个模型的不一致中估计不确定性。结果表明,错误的预测往往会产生更高的不确定性,使我们能够建议用户确定性高于阈值,在他们的手机上重复音频测试或进行临床测试,如果数字诊断仍然失败。这项研究为更强大的基于声音的COVID-19自动筛查系统铺平了道路。
2021-06-18 cs.LG cs.SD eess.AS
Audio feature ranking for sound-based COVID-19 patient detection
University of Brighton(布莱顿大学);Royal Holloway University of London(伦敦大学皇家霍洛威学院)
使用呼吸和咳嗽样本的音频分类最近已成为一种低成本,非侵入性和可访问的COVID-19筛查方法。然而,一项全面的调查显示,由于关键医疗环境的严格可靠性和准确性要求,在撰写本文时,还没有任何应用程序被批准用于官方用途。为了支持机器学习分类模型的开发,我们对15个音频特征进行了广泛的比较调查和排名,其中包括不太知名的特征。结果在两个独立的COVID-19声音数据集上得到了验证。通过使用识别出的性能最佳的特征,与没有我们的特征排名的原始基线准确度相比,我们在剑桥数据集上将COVID-19分类准确度提高了17%,在Coswara数据集上提高了10%。
2022-11-23 cs.LG cs.SD eess.AS
Resnet-conformer network with shared weights and attention mechanism for sound event localization, detection, and distance estimation
Drexel University, College of Engineering Electrical(德雷塞尔大学工程学院电气工程系)
面向DCASE 2024任务3A纯音频SELD,提出融合对数梅尔频谱、强度向量、数据增强及共享权重注意力的EINV2 Resnet-conformer网络,并新增距离估计,取得更优指标。
2025-07-23 cs.SD eess.AS
UniKW-AT: Unified Keyword Spotting and Audio Tagging
Xiaomi Corperation(小米公司)
在音频研究社区和行业内,关键字定位(KWS)和音频标记(AT)被视为两个不同的任务和研究领域。然而,从技术的角度来看,这两个任务是相同的:它们为一些固定大小的输入音频段预测标签(KWS中的关键字,AT中的声音事件)。这项工作提出了UniKW-AT:联合训练KWS和AT的初步方法。UniKW-AT增强了KWS的噪声鲁棒性,同时还能够预测特定的声音事件,并在声音事件上启用有条件唤醒。我们的方法扩展了AT管道,增加了描述关键字存在的标签。实验在Google Speech Commands V1(GSCV 1)和平衡Audioset(AS)数据集上进行。所提出的MobileNetV 2模型在GSCV 1数据集上实现了97.53%的准确度,在AS评估集上实现了33.4的mAP。此外,我们表明,显着的噪声鲁棒性增益可以观察到在现实世界的KWS数据集,大大优于标准的KWS方法。我们的研究表明,KWS和AT可以合并成一个单一的框架,而不会显着的性能下降。
2022-09-23 cs.SD eess.AS
Exploring Self-Supervised Contrastive Learning of Spatial Sound Event Representation
Columbia University(哥伦比亚大学)
提出 MC-SimCLR 自监督多通道对比学习框架,结合多级频谱与空间特征及通道增强,从无标签空间音频中学习表征,提升下游事件分类与定位性能。
2023-09-27 cs.LG cs.SD eess.AS
Balanced Deep CCA for Bird Vocalization Detection
University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院)
当事件由两种不同的模态而不是仅一种捕获时,事件检测得到改进。但是在多模态上训练检测系统是具有挑战性的,特别是当存在大量未标记数据但标记数据量有限时。我们开发了一种新的多模态数据的自监督学习技术,学习(隐藏)同时记录的麦克风(声音)信号和加速度计(身体振动)信号之间的相关性。这项工作的主要目标是学习有用的嵌入与高性能的下游事件检测任务时,标记的数据是稀缺的,感兴趣的音频事件(鸣禽发声)是稀疏的。我们的方法基于深典型相关分析(DCCA),遭受事件稀疏。我们首先从标记的数据中学习数据采样模型,并将DCCA应用于它产生的输出,从而克服了正标签的稀疏性。这种方法,我们称之为平衡DCCA(b-DCCA),与经典DCCA相比,提高了无监督嵌入在下游监督音频检测任务上的性能。由于数据标签经常不平衡,我们的方法可能是广泛的实用程序在低资源的情况下。
2022-11-17 cs.LG cs.SD eess.AS
Respiratory Inhaler Sound Event Classification Using Self-Supervised Learning
University College Dublin(都柏林大学学院);St. Vincent’s University Hospital(圣文森特大学医院)
针对现有吸入器声音分类模型泛化能力不足的问题,本研究将wav2vec 2.0自监督学习模型应用于该任务,通过预训练和微调实现98%的平衡准确率,并验证了少量目标数据重新微调适配不同设备的有效性,首次展示智能手表的辅助监测潜力。
2025-04-15 cs.AI cs.LG eess.AS
Pseudo-label distillation for discriminative anomalous sound detection
Nagoya University(名古屋大学)
研究针对判别式异常声音检测方法依赖详细标签成本高、基于SSL的无标签方法模型大计算昂贵的问题,提出伪标签蒸馏框架及NRFT方法,在相关数据集上评估分析,结果表明该框架能转移并提升性能,NRFT方法也有增益。
2026-07-21 eess.AS
FSD50K: An Open Dataset of Human-Labeled Sound Events
Universitat Pompeu Fabra(庞培法布拉大学)
大多数现有的声音事件识别(SER)数据集都相对较小和/或特定于域,AudioSet除外,它基于YouTube视频中超过200万个音轨,包含超过500个声音类别。然而,AudioSet不是一个开放数据集,因为其官方版本由预计算的音频特征组成。由于YouTube视频逐渐消失和使用权限问题,下载原始音轨可能会出现问题。为了提供一个替代的基准数据集,从而促进SER研究,我们引入了FSD 50 K,这是一个开放的数据集,包含超过51 k个音频片段,总计超过100小时的音频,使用从AudioSet Ontology中提取的200个类进行手动标记。音频片段在Creative Commons许可下授权,使数据集可自由分发(包括波形)。我们提供了FSD 50 K创建过程的详细描述,针对Freesound数据的特殊性,包括遇到的挑战和采用的解决方案。我们包括一个全面的数据集特征,以及限制和关键因素的讨论,以允许其音频知情的使用。最后,我们进行声音事件分类实验,以提供基线系统,以及洞察分裂Freesound音频数据的SER时要考虑的主要因素。我们的目标是开发一个数据集被广泛采用的社会作为一个新的开放基准SER研究。
2022-04-23 cs.LG cs.SD eess.AS
BUT Systems for Environmental Sound Deepfake Detection in the ESDD 2026 Challenge
Brno University of Technology(布尔诺理工大学);Johns Hopkins University(约翰斯·霍普金斯大学);The Hong Kong Polytechnic University(香港理工大学)
BUT系统通过集成自监督学习模型和轻量级MHFA后端,有效提升环境声音深度伪造检测的泛化能力,实验结果在多个数据集上均取得优异性能。
2025-12-09 eess.AS
Reacting like Humans: Incorporating Intrinsic Human Behaviors into NAO through Sound-Based Reactions to Fearful and Shocking Events for Enhanced Sociability
Sharif University of Technology(谢里夫理工大学);University of Padova(帕多瓦大学)
本文提出并实现了一个集成声音分类、LSTM-MDN动作生成和YOLO物体检测的恐惧模块,使NAO机器人能对突发巨响做出类人恐惧反应并定位声源,实验证明其能提升机器人社交性,且非专家期望更高。
2024-06-05 cs.AI cs.LG cs.RO
WhaleNet: a Novel Deep Learning Architecture for Marine Mammals Vocalizations on Watkins Marine Mammal Sound Database
Politecnico di Torino(都灵理工大学);Istituto Nazionale di Fisica Nucleare (INFN)(国家核物理研究所)
本文提出WhaleNet深度集成架构,结合小波散射变换和梅尔频谱图特征,在Watkins海洋哺乳动物声音数据库上实现97.61%的分类准确率,较现有架构提升8-10%。
2024-06-26 cs.AI cs.CV cs.LG