Recognizing bird species in diverse soundscapes under weak supervision
NVIDIA(英伟达);RWTH Aachen University(亚琛工业大学)
我们提出了一种强大的分类方法,用于复杂多样的音景中的鸟类发声,在BirdCLEF2021挑战赛中获得第二名。我们说明了如何充分利用预先训练好的卷积神经网络,通过使用一个有效的建模和训练例程,辅以新的增强方法。因此,我们改进了弱标记的众包数据的泛化到由自主记录单元收集的生产数据。因此,我们说明了如何朝着一个准确的自动化评估鸟类种群,这将使全球生物多样性监测规模,不可能通过手动注释。
2021-07-16 cs.LG cs.SD eess.AS
Uncertainty Calibration of Multi-Label Bird Sound Classifiers
INS, Kiel University, Germany(基尔大学);Tilburg University, Netherlands(蒂尔堡大学);Naturalis Biodiversity Center, Netherlands(自然史生物多样性中心);IES, University of Kassel, Germany(卡塞尔大学)
本文研究了多标签鸟类声音分类器的不确定性校准问题,发现不同模型在不同数据集和类别上的校准效果差异显著,提出通过简单后处理方法提升校准性能。
2026-02-24 cs.LG cs.SD
A fundamental frequency estimation method for tonal sounds inspired on bird song studies
University of Quilmes (UNQ)(基尔梅斯大学);IFIBA-CONICET
本文提出了一种快速实现基频估计的方法。该算法是基于频域的方法。它主要是为音调声音开发的,并用于金丝雀的歌声分析。该方法已实施,但不限于此类数据。它可以很容易地适应其他建议。使用Python库开发了一个代码,其中包含一个简单的算法来获得基频。一个简单的开源代码在当地大学的知识库中提供。
2017-09-21 cs.SD
Unsupervised outlier detection to improve bird audio dataset labels
针对Xeno-Canto鸟类音频数据集中因非目标声音导致的标签噪声问题,提出结合音频预处理、神经网络降维与无监督异常值检测的清洗流程,有效降低了标签噪声但效果因物种而异。
2025-04-25 cs.LG cs.SD eess.AS
Detecting bird sound in unknown acoustic background using crowdsourced training data
University of Oxford(牛津大学)
通过大规模部署廉价、无人值守的记录站,或通过使用移动设备上的记录和物种识别的大规模众包,可以在真正的全球范围内实现使用音频记录的生物多样性监测。然而,可靠地识别发声动物物种的能力受到这样的事实的限制,即在这样的记录中感兴趣的声学签名通常嵌入在多样化和复杂的声学背景中。为了避免与建模这样的背景相关的问题,我们建立生成模型的鸟的声音,并使用的概念,新奇的检测屏幕记录,以检测部分的数据,这是可能的鸟发声。我们目前的检测结果对各种声学环境和不同的信噪比。我们讨论的问题,选择成本函数和设置检测阈值,在这样的算法。我们的方法被设计为可扩展的,并自动适用于任意选择的物种,这取决于特定的地理区域和部署的时间段。
2015-05-24 cs.LG cs.SD stat.ML
Unsupervised classification to improve the quality of a bird song recording dataset
Institut Systématique, Évolution, Biodiversité (ISYEB), Muséum national d’Histoire naturelle, CNRS, Sorbonne Université, EPHE, Université des Antilles(系统学、进化与生物多样性研究所(ISYEB),法国国家自然历史博物馆,法国国家科学研究中心,索邦大学,巴黎高等研究实践学院,安第列斯大学)
Xeno-Canto等开放式音频数据库被广泛用于构建数据集,以探索鸟类的鸣叫曲目,或通过深度学习算法来训练用于自动鸟类声音分类的模型。然而,这样的数据库遭受的事实,鸟类的声音是弱标记:一个物种的名称是归因于每个音频记录没有时间戳,提供了时间定位感兴趣的鸟鸣。手动注释可以解决这个问题,但它们非常耗时,依赖于专家,并且无法在大型数据集上运行。另一种解决方案包括使用标记功能,该标记功能在将标签分配给每个分段的音频样本之前自动地对音频记录进行分段。虽然引入了标签功能以加快强标签分配,但其分类性能仍然是未知的。为了解决这个问题,并减少标签噪声(错误的标签分配)在大型鸟鸣数据集,我们引入了一个以数据为中心的新的标签功能,包括三个连续的步骤:1)时频声音单元分割,2)每个声音单元的特征计算,和3)每个声音单元的分类鸟鸣或噪声与无监督DBSCAN算法或监督BirdNET神经网络。标记功能进行了优化,验证,并测试了44个西方古北常见鸟类的歌曲。我们首先表明,根据物种的不同,仅对鸟鸣的分割就聚集了10%到83%的标签噪声。我们还证明了我们的标签函数能够将数据集中存在的初始标签噪声显著降低高达三倍。最后,我们讨论了不同的机会来设计合适的标签功能,以建立高质量的动物发声与最小的专家注释工作。
2023-02-15 cs.LG cs.SD eess.AS
BirdSoundsDenoising: Deep Visual Audio Denoising for Bird Sounds
Yeshiva University(叶史瓦大学);Cornell University(康奈尔大学)
几十年来,人们一直在使用传统方法和基于深度学习的方法来探索音频去噪。然而,这些方法仍然限于手动添加的人工噪声或较低的去噪音频质量。为了克服这些挑战,我们收集了一个大规模的自然噪声鸟声数据集。我们首次将音频去噪问题转化为图像分割问题,并提出了深度视觉音频去噪(DVAD)模型。我们开发了一个音频ImageMask工具,并建议使用Few-Shot泛化策略来标记这些图像。大量的实验结果表明,该模型达到了最先进的性能。我们还表明,我们的方法可以很容易地推广到语音去噪,音频分离,音频增强和噪声估计。
2022-10-18 cs.CV cs.SD eess.AS
SSL-Net: A Synergistic Spectral and Learning-based Network for Efficient Bird Sound Classification
Department of Computer Science, University of Oxford, United Kingdom(牛津大学计算机科学系)
本研究提出SSL-Net框架,结合频谱与学习特征,实现高效准确的鸟类声音分类,在有限样本下表现优异,并提供了三种特征融合策略供选择。
2023-12-23 cs.SD eess.AS
SoundPlot: An Open-Source Framework for Birdsong Acoustic Analysis and Neural Synthesis with Interactive 3D Visualization
Electrical Engineering Sukkur IBA University(电气工程 Sukkur IBA大学)
SoundPlot是一种开源框架,用于分析鸟类叫声并通过神经合成和交互式3D可视化进行声学处理,支持高保真的音频重建和多维特征空间分析。
2026-01-19 cs.LG cs.SD
Dynamic Multi-Species Bird Soundscape Generation with Acoustic Patterning and 3D Spatialization
George Mason University(乔治·马歇尔大学);Stanford University(斯坦福大学)
本文提出了一种基于算法驱动的框架,通过DSP生成和3D空间化技术,实现动态多物种鸟类声音景观的生成,具备高灵活性和生态真实性。
2025-11-24 cs.AI cs.SD eess.AS
Deep learning for detection of bird vocalisations
Technological Educational Institute of Crete(克里特技术教育学院)
这项工作的重点是可靠的检测鸟类的声音发射记录在开放的领域。鸟类声音的声学检测可用于自动化监测多个鸟类类群,并在长期记录中查询研究人员,保护从业者和决策者感兴趣的物种。由于麦克风暴露于源自所有距离和方向的大量音频源,野外录音可能非常嘈杂,其数量和身份无法先验地知道。目标发声与非生物干扰在无约束环境中的共存是低效的音频信号增强的现有方法处理。一种只发现鸟类叫声而忽略其他音频源的技术至关重要。这些困难在这项工作中得到解决,提出了一种深度自动编码器,该编码器将鸟类发声的音频频谱图映射到其对应的二进制掩码,该掩码包围发声的频谱斑点,同时抑制其他音频源。该程序需要最少的人力参与,在执行过程中非常快,因此适合扫描大量数据,以分析它们,评估见解和假设,识别鸟类活动的模式,希望最终导致生物多样性问题的设计政策。
2016-09-25 cs.LG cs.SD
Channel-Spatial-Based Few-Shot Bird Sound Event Detection
Jilin Agricultural University(吉林农业大学)
本文提出Metric Channel-Spatial Network模型,通过在原型网络中融合通道空间压缩-激励块以整合通道与空间注意力机制,有效解决了少样本鸟声事件检测问题,并在DCASE 2022基准上取得优异性能。
2023-06-25 cs.SD eess.AS
Generalization in birdsong classification: impact of transfer learning methods and dataset characteristics
Naturalis Biodiversity Center(自然生物多样性中心);Xeno-Canto Foundation(异音基金会);Landesbund fur Vogel- und Naturschutz(鸟类与自然保护州联合会);Department of Cognitive Science and Artificial Intelligence, Tilburg University(蒂尔堡大学认知科学与人工智能系)
本研究探讨了迁移学习在大规模鸟类声音分类中的泛化能力,发现浅层微调在复杂声音景观中表现更优,并提倡更全面的标注实践以增强分类器的鲁棒性。
2024-09-21 cs.LG cs.SD eess.AS
Few-shot Long-Tailed Bird Audio Recognition
University of Würzburg(维尔茨堡大学);Institute of Computer Science, University of Würzburg(维尔茨堡大学计算机科学研究所)
听鸟比看鸟容易。然而,它们仍然在自然界中发挥着至关重要的作用,是环境质量和污染恶化的良好指标。深度神经网络的最新进展使我们能够处理音频数据来检测和分类鸟类。这项技术可以帮助研究人员监测鸟类种群和生物多样性。我们提出了一个声音检测和分类管道来分析复杂的音景录音,并识别背景中的鸟鸣。我们的方法从弱标签和少量数据中学习,并从声学上识别鸟类。我们的解决方案在Kaggle举办的BirdCLEF 2022挑战赛中获得了807支球队的第18名。
2022-07-04 cs.CV cs.LG cs.SD
When Humans Growl and Birds Speak: High-Fidelity Voice Conversion from Human to Animal and Designed Sounds
NC AI Co., Ltd(NC AI有限公司);Sogang University(西江大学)
本研究提出面向动物及设计声音的高保真人类到非人类语音转换方法,通过引入预处理管道与改进的基于CVAE的模型,在44.1kHz下实现多样非语音声音生成,并在质量、自然度与相似度MOS上超越基线。
2025-05-30 cs.AI cs.LG cs.SD
Towards Citizen Science for Smart Cities: A Framework for a Collaborative Game of Bird Call Recognition Based on Internet of Sound Practices
公民科学旨在让人们参与与其福祉相关的重要问题的研究活动。智慧城市旨在为他们提供服务,提高他们的生活质量。这两个概念在过去几年中都有了显着的增长,并且可以通过将其目的与允许动态和大规模通信和交互的物联网技术相结合来进一步增强。然而,激发和保持参与者的兴趣是此类举措的关键因素。在本文中,我们建议,在智能城市基础设施上应用的公民科学项目的参与,可以通过增强音频交互机制实现的上下文和结构的游戏元素来增强。我们的跨学科的框架描述通过一个协作的鸟叫识别游戏,在该游戏中,用户收集和提交音频数据,然后进行分类,并用于增强物理空间与虚拟音景地图的范例。我们讨论了游戏学习,音频物联网和鸟类监测的原则,塑造了我们的范例的设计,并分析其潜在的技术实现。
2021-03-31 cs.SD
Vision Transformer Segmentation for Visual Bird Sound Denoising
Yeshiva University(叶史瓦大学);Cornell University(康奈尔大学)
针对鸟鸣声中残余人工及低频噪声难去除的问题,提出融合分割技术的 ViTVS,以 ViT 构建多尺度长程表示,并在实验中超越现有先进方法。
2024-06-13 cs.SD eess.AS
Polyphonic sound event detection for highly dense birdsong scenes
Tilburg University(蒂尔堡大学);Naturalis Biodiversity Center(Naturalis生物多样性中心)
在日出前一个小时,人们可以体验到不同种类的鸟类一起唱歌的黎明合唱。在这种情况下,高水平的复调,如重叠声源的数量,容易发生,导致复杂的声学结果。声音事件检测(SED)任务分析声学场景,以便识别发生的事件及其各自的时间信息。然而,高度密集的场景可能难以处理,并且尚未进行深入研究。在这里,我们展示了使用卷积递归神经网络(CRNN),如何在处理更高的复调时检测鸟鸣复调场景,以及这种类型的模型如何有效地面对一个非常密集的场景,多达10只重叠的鸟。我们发现,用更密集的例子训练的模型(即,更高的复调)以与在其训练集中使用更简单样本的模型相似的速率学习。此外,用密度最小的样本训练的模型对所有复调保持一致的分数,而用密度最小的样本训练的模型随着复调的增加而下降。我们的研究结果表明,高密度的声学场景可以处理使用CRNN。我们希望这项研究作为一个起点,工作高度人口稠密的鸟类场景,如黎明合唱或其他密集的声学问题。
2022-07-13 cs.SD eess.AS
Automated bird sound recognition in realistic settings
University of Oxford(牛津大学);University of Southampton(南安普顿大学)
我们评估了一个自动鸟声识别系统的有效性的情况下,模仿一个现实的,典型的应用程序。我们在众包的鸟类音频记录数据集合上训练分类算法,并限制我们的训练方法完全不受人工干预。因此,这种方法直接适用于分析多个物种的收藏,由众包收集提供标签。我们评估了鸟的声音识别系统的性能的一个现实的候选类,对应于真实的条件。我们研究了两种典型分类方法的使用,由于它们的广泛使用和易于解释,即一个k最近邻(kNN)分类与直方图为基础的功能和一个支持向量机(SVM)与时间汇总功能。我们进一步研究了使用的确定性措施,来自分类器的输出概率,以提高类决策的可解释性和可靠性。我们的研究结果表明,这两种识别方法实现了类似的性能,但我们认为,使用kNN分类器提供了更多的灵活性。此外,我们表明,采用结果的确定性措施提供了一个有价值的和一致的分类结果的可靠性指标。我们使用的通用训练数据和我们的调查的概率分类方法,可以灵活地解决可变数量的候选物种/类,预计将在该领域遇到的,直接有助于开发一个实用的鸟的声音识别系统与潜在的全球应用。此外,我们表明,与识别结果相关的确定性措施可以显着促进整个系统的实际可用性。
2018-09-04 cs.CY cs.LG cs.SD
Multispecies bird sound recognition using a fully convolutional neural network
本研究提出基于全卷积神经网络的鸟声识别方法,通过网格搜索优化架构,实现高准确率、多物种检测及近实时识别,适用于物联网设备。
2024-02-08 cs.SD eess.AS
Deductive Refinement of Species Labelling in Weakly Labelled Birdsong Recordings
Queen Mary University of London(伦敦玛丽女王大学)
许多方法已经被用于从它们的声音进行鸟类种类分类,以便为整个记录提供标签。然而,更精确地分类每一种鸟类的鸣叫将是非常重要的声音档案的使用和管理和鸟类监测。在这项工作中,我们介绍了一种技术,使用两个步骤的过程可以首先自动检测所有的鸟类发声,然后,使用“弱”标记的录音,将它们分类。我们所提出的方法的评估表明,它实现了61%的正确分类时,用于合成数据集,高达89%时,合成数据集只包括大于1000像素的发声。
2016-03-23 cs.SD
On-bird Sound Recordings: Automatic Acoustic Recognition of Activities and Contexts
我们介绍了一种新的方法来研究动物的行为和它发生的背景下,通过使用麦克风背包进行个人自由飞翔的鸟类的背上。这些传感器越来越多地被动物行为研究人员用于研究自由行为动物的个体发声,甚至在野外。然而,这样的设备可能记录的不仅仅是动物的发声行为,并且有可能被用于研究发声发生的特定活动(运动)和背景(背景)。为了促进这种方法,我们调查的自动注释,通过两种不同的声音景物分析范例:场景分类方法,使用特征学习,和事件检测方法,使用概率潜在成分分析(PLCA)。我们分析记录与欧亚寒鸦(乌鸦monedula)在圈养和现场设置。结果是与最先进的声音景物分析的国家,我们发现,目前的识别质量水平,使音频记录器数据的可扩展的自动注释,部分注释,但也发现动物和/或他们的背包之间的个体差异限制了从一个人到另一个人的概括。我们考虑在这一特定任务中“场景”和“事件”的相互关系,以及时间分辨率的问题。
2016-12-16 cs.SD
ASGIR: Audio Spectrogram Transformer Guided Classification And Information Retrieval For Birds
IIIT-Delhi(德里英德拉普拉斯塔信息技术学院)
本文提出ASGIR框架,结合音频频谱图Transformer引导分类与两步信息检索系统,在Xeno-Canto数据集上实现高效鸟类声音识别与信息检索。
2024-07-10 cs.SD eess.AS
Bird detection in audio: a survey and a challenge
Queen Mary University of London(伦敦玛丽女王大学);University of Salford(索尔福德大学);University of Crete(克里特大学);University of Toulon(土伦大学)
本文针对当前鸟类声学检测多需人工调优的问题,综述了自动鸟类鸣声检测前沿技术,提出了对免调优、物种无关方法的需求,并发布新数据集与IEEE挑战赛以推动全自动检测算法研发。
2016-08-11 cs.SD
Domain-Invariant Representation Learning of Bird Sounds
INRIA;Université de Montpellier(蒙彼利埃大学);Université de Lorraine(洛林大学);Queen Mary University of London(伦敦女王学院);IMT Atlantique(IMT大西洋);Lab-STICC
本文提出ProtoCLR作为SupCon的替代方案,通过类原型比较降低计算复杂性,提升鸟类声音领域不变表示学习的性能。
2026-01-28 cs.SD eess.AS
Leveraging tropical reef, bird and unrelated sounds for superior transfer learning in marine bioacoustics
University College London(伦敦大学学院);Google DeepMind(谷歌DeepMind);Zoological Society of London(伦敦动物学会);Conservation Metrics Inc.(保护指标公司);University of New Hampshire(新罕布什尔大学);K. Lisa Yang Center for Conservation Bioacoustics, Cornell Lab of Ornithology, Cornell University(康奈尔大学鸟类学实验室K. Lisa Yang保护生物声学中心);Department of Public and Ecosystem Health, Cornell University(康奈尔大学公共与生态系统健康系);Sound Ocean Science(海洋声学科学);University of Exeter(埃克塞特大学);University of Bristol(布里斯托大学);IPB University(IPB大学);Google Research(谷歌研究院)
本文针对珊瑚礁生物声学数据匮乏问题,构建ReefSet标注库并发现跨领域混合预训练策略(融合鸟类、珊瑚礁及无关音频)能最大化泛化能力,由此提出预训练网络SurfPerch,为低标注低计算成本的海洋被动声学监测自动分析奠定基础。
2024-05-07 cs.AI cs.LG cs.SD
Evaluation of Barlow Twins and VICReg self-supervised learning for sound patterns of bird and anuran species
New York University(纽约大学);University of São Paulo(圣保罗大学);São Paulo State University(圣保罗州立大学);University College Cork(科克大学学院)
本研究针对声景生态学标注稀缺的问题,采用Barlow Twins和VICReg自监督方法用小型鸟兽声音数据集预训练模型,在下游分类任务中性能接近大规模数据预训练的监督模型。
2023-12-18 cs.SD eess.AS
Machine Learning-based Classification of Birds through Birdsong
The University of Melbourne(墨尔本大学)
音频声音识别和分类用于许多任务和应用,包括人类话音识别、音乐识别和音频标记。在本文中,我们应用梅尔频率倒谱系数(MFCC)结合一系列的机器学习模型,以确定(澳大利亚)鸟类从公开的音频文件,他们的鸟鸣。我们提出了用于数据处理和增强的方法,并比较了各种最先进的机器学习模型的结果。从选定作为案例研究的30只鸟类中,我们获得了前5名鸟类的总体准确率为91%。将模型应用于包含152种鸟类的更具挑战性和多样性的音频文件,我们实现了58%的准确率
2022-12-09 cs.LG cs.SD eess.AS
Transfer Learning with Pseudo Multi-Label Birdcall Classification for DS@GT BirdCLEF 2024
Georgia Institute of Technology(佐治亚理工学院);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
针对BirdCLEF 2024印度鸟类声纹识别任务,DS@GT团队结合多种生产级鸟鸣模型,提出利用无标注数据的伪多标签分类策略应对分布偏移问题,赛后公开榜得分达0.63并开源代码。
2024-07-08 cs.SD eess.AS
Identifying birdsong syllables without labelled data
Mila - Quebec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学)
本研究提出首个完全无监督的鸟鸣音节分解算法,通过音节检测、聚类提取模板及匹配追踪实现序列分解,在白腰文鸟数据集上性能优异,还可区分两种鸟类的个体。
2025-09-22 cs.LG cs.SD eess.AS
Convolutional Recurrent Neural Networks for Bird Audio Detection
Tampere University of Technology(坦佩雷理工大学)
鸟类的声音具有独特的频谱结构,根据鸟类的种类和环境条件,可能会出现微小的频谱变化。在本文中,我们建议使用卷积循环神经网络在现实环境中进行自动鸟类音频检测。在所提出的方法中,卷积层提取高维的局部频移不变特征,而递归层捕获从短时间帧提取的特征之间的长期依赖关系。该方法在看不见的评估数据上获得了88.5%的ROC曲线下面积(AUC)得分,并在鸟类音频检测挑战赛中获得第二名。
2017-03-07 cs.LG cs.SD stat.ML
MyGardenBird: A Machine-Learning-Ready Bird Sound Dataset for Twelve Common Malaysian Birds
Faculty of Computer Science and Information Technology, Universiti Malaya(马来大学计算机科学与信息技术学院);Faculty of Electrical Engineering, Universiti Teknologi Malaysia(技术学院电气工程学院)
提出MyGardenBird数据集,包含来自Xeno-canto的12种马来西亚常见鸟类的7200个经过人工验证的音频片段,通过卷积神经网络基线实验达到92-96%的分类准确率。
2026-06-05 cs.SD eess.AS
Can Masked Autoencoders Also Listen to Birds?
University of Kassel(卡塞尔大学);Fraunhofer IEE(弗劳恩霍夫研究所);INRIA Montpellier(蒙彼利埃INRIA)
本文针对通用 Audio-MAE 在细粒度鸟声分类中的性能局限,基于 BirdSet 数据集对预训练、微调和冻结特征利用进行全流程适配,提出 Bird-MAE 及参数高效的原型探测方法,在 BirdSet 多标签分类上取得最先进结果并显著提升少样本性能。
2025-08-19 cs.LG cs.SD eess.AS
BIRD: Big Impulse Response Dataset
本文介绍了BIRD,大脉冲响应数据集。该开放数据集由100,000个多通道房间脉冲响应(RIR)组成,这些多通道房间脉冲响应(RIR)是使用图像方法模拟生成的,使其成为目前可用的最大多通道开放数据集。这些RIR可用于针对涉及两个麦克风和多个声源的场景执行高效的在线数据增强。本文还介绍了用例,以说明如何鸟可以执行数据增强与现有的语音语料库。
2020-10-19 cs.SD eess.AS
Unsupervised Contrastive Learning of Sound Event Representations
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Insight Centre for Data Analytics, Dublin City University (DCU)(都柏林城市大学洞察数据分析中心)
自监督表示学习可以缓解人工标记数据少而未标记数据多的识别任务的局限性--这是声音事件研究中的一种常见情况。在这项工作中,我们探索无监督的对比学习作为一种学习声音事件表示的方法。为此,我们建议使用的借口任务,对比不同的增强意见的声音事件。视图主要通过将训练样本与不相关的背景混合来计算,然后进行其他数据增强。我们通过烧蚀实验分析了我们的方法的主要组成部分。我们评估学习表示使用线性评估,并在两个域中的下游声音事件分类任务,即,使用有限的手动标记的数据,并使用嘈杂的标记数据。我们的研究结果表明,无监督的对比预训练可以减轻数据稀缺的影响,并提高对噪声标签的鲁棒性,优于有监督的基线。
2020-11-15 cs.LG cs.SD eess.AS
Deep Dense and Convolutional Autoencoders for Unsupervised Anomaly Detection in Machine Condition Sounds
CCG ZGDV Institute(CCG ZGDV研究所);Bosch Car Multimedia, Portugal(博世汽车多媒体(葡萄牙)公司)
本技术报告描述了为DCASE 2020挑战任务2开发的两种方法。挑战涉及到无监督学习来检测异常声音,因此在训练过程中只有正常的机器工作条件样本可用。这两种方法涉及深度自动编码器,基于使用melspectogram处理的声音特征的密集和卷积架构。使用挑战的六种机器类型数据集进行实验。总体而言,所提出的密集和卷积AE实现了具有竞争力的结果,优于基线挑战方法。
2020-06-19 cs.LG cs.SD eess.AS
Automatic Rain and Cicada Chorus Filtering of Bird Acoustic Data
University of Tasmania(塔斯马尼亚大学)
记录和分析环境音频记录已成为监测环境的常用方法。执行环境记录的分析的当前问题是来自噪声的干扰,其可以掩盖感兴趣的声音。这使得检测这些声音更加困难,并且可能需要额外的资源。虽然已经做了一些工作来去除环境录音中的静态噪音,但几乎没有努力去除来自非静态来源的噪音,例如雨、风、发动机和不感兴趣的动物叫声。在本文中,我们解决了过滤噪音的挑战,从雨和合唱录音包含鸟的声音。我们改进了以前建立的分类方法,使用声学指数和梅尔频率倒谱系数(MFCC)作为声学特征来检测这些噪声源,接近的问题,去除这些声音的动机。我们调查使用声学指数,和机器学习分类器,以找到最有效的过滤器。我们使用的方法,使用户能够设置阈值,以增加或减少分类的敏感性,根据分类器输出的预测概率。我们还提出了一种新的方法,以消除choruses使用带通滤波器我们的阈值为基础的方法(随机森林与声学指数和梅尔频率倒谱系数(MFCC))的雨检测实现了AUC为0.9881,是更准确的比现有的方法时,设置为相同的灵敏度。我们还使用10倍交叉验证以100%的准确率检测训练集中的重叠。我们的滤波方法大大提高了受影响录音的中值信噪比,从未滤波音频的0.53提高到由滤波器和静态噪声滤波器滤波的音频的1.86。
2018-04-16 cs.SD
Automatic acoustic detection of birds through deep learning: the first Bird Audio Detection challenge
Queen Mary University of London(伦敦玛丽女王大学);University of Salford(索尔福德大学);AGH University of Science and Technology(AGH科技大学);University of Crete(克里特大学);University of Toulon(土伦大学)
本文介绍首届Bird Audio Detection挑战赛成果,表明基于深度学习等机器学习的通用鸟类声学检测无需手动校准和预训练,即可在远程监测数据中达到约88% AUC的性能,还发布了新数据集并探讨了实际应用方向。
2018-07-16 cs.SD eess.AS
Generating the Unheard: Phylogeny-Guided Latent Generation for Ancestral Sound Reconstruction
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Massachusetts Institute of Technology(麻省理工学院)
提出首个系统发育引导的潜在生成框架,通过VAE编码、性状投影和锚定逆提升,为鸟类祖先节点生成全新且合理的发声,并在两个支系上验证了生成质量与系统发育一致性。
2026-09-15 cs.SD
Anomalous Sound Detection using unsupervised and semi-supervised autoencoders and gammatone audio representation
Visualfy(维苏阿尔公司)
异常音检测是当前机器听力领域的热门课题之一。无监督检测由于其在许多领域的直接适用性而引起了人们的极大兴趣。例如,在工业过程中,机器故障或损坏的早期检测可能意味着工业过程效率的巨大节省和提高。这个问题可以通过无监督的ASD解决方案来解决,因为工业机器不会仅仅因为在训练阶段具有此音频数据而损坏。本文提出了一种基于卷积自编码器(无监督和半监督)和基于Gammatone的音频表示的新框架。通过这些架构获得的结果大大超过了作为基线呈现的结果。
2020-06-27 cs.LG cs.SD eess.AS
Transfer Learning with Semi-Supervised Dataset Annotation for Birdcall Classification
Georgia Institute of Technology(佐治亚理工学院)
针对BirdCLEF 2023非洲鸟类声纹识别任务,提出结合BirdNET、MixIT的半监督标注迁移学习方法,通过探索嵌入空间构建标注数据集,结合多模型与特征工程提升分类性能,验证了该方案的有效性与应用潜力。
2023-06-29 cs.IR cs.LG cs.SD
Unsupervised Detection of Anomalous Sound based on Deep Learning and the Neyman-Pearson Lemma
NTT Media Intelligence Laboratories(NTT媒体情报实验室);NTT Corporation(NTT公司)
本文提出了一种新的优化原理和实现的无监督异常检测声音(ADS)使用自动编码器(AE)。无监督ADS的目标是在没有异常声音训练数据的情况下检测未知的异常声音。使用AE作为正常模型是用于无监督ADS的最先进技术。为了降低假阳性率(FPR),训练AE以最小化正常声音的重建误差,并且计算异常分数作为观察到的声音的重建误差。不幸的是,由于该训练过程没有考虑异常声音的异常评分,因此真阳性率(TPR)不一定增加。在这项研究中,我们定义了一个目标函数的基础上内曼皮尔逊引理考虑ADS作为一个统计假设检验。建议的目标函数训练AE,以最大化TPR在任意低FPR条件下。为了计算目标函数中的TPR,我们认为异常声音的集合是正常声音的互补集合,并通过使用拒绝抽样算法来模拟异常声音。通过使用合成数据的实验,我们发现所提出的方法在低FPR条件下提高了ADS的性能指标。此外,我们证实,所提出的方法可以检测到异常的声音在现实环境中。
2018-10-22 cs.LG cs.SD eess.AS
Description and Discussion on DCASE2020 Challenge Task2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring
NTT Corporation(NTT公司);Hitach, Ltd.(日立有限公司);Doshisha University(同志社大学)
在本文中,我们介绍了任务描述,并讨论了DCASE 2020挑战任务2的结果:机器状态监测的异常声音的无监督检测。异常声音检测(ASD)的目的是识别目标机器发出的声音是正常还是异常。该任务的主要挑战是在仅提供正常声音样本作为训练数据的条件下检测未知的异常声音。我们设计了这个挑战作为ASD研究的第一个基准,其中包括一个大规模的数据集,评估指标和一个简单的基线系统。我们收到了来自40个团队的117份提交,由于这一挑战,已经开发了几种新方法。在分析评价结果的基础上,讨论了两种新的评价方法及其存在的问题。
2020-08-08 cs.LG cs.SD eess.AS
Modelling Animal Biodiversity Using Acoustic Monitoring and Deep Learning
几个世纪以来,研究人员一直使用声音来监测和研究野生动物。传统上,自然资源保护主义者通过耳朵识别物种;然而,现在普遍采用录音技术来监测动物和生态系统的声音。动物利用声音进行交流、交配、导航和领土防御。动物的声音提供了有价值的信息,并帮助保护主义者量化生物多样性。由于各种传感器类型(包括相机陷阱、便携式声学传感器、无源声学传感器甚至智能手机)的可用性,声学监测已经变得越来越受欢迎。被动声学传感器易于部署,可以长时间运行,以提供对栖息地和动物和非法活动发出的声音的见解。虽然这项技术带来了巨大的好处,但所产生的数据量使得处理对自然资源保护者来说是一个耗时的过程。因此,自然资源保护主义者有兴趣自动处理声学数据,以帮助加快生物多样性评估。处理这些大数据源并从背景噪声中提取相关声音带来了重大挑战。在本文中,我们概述了一种实现这一目标的方法,使用机器学习的最新技术从时间序列音频信号中自动提取特征,并对深度学习模型进行建模,以根据它们发出的声音对不同的鸟类进行分类。采集到的鸟鸣声进行处理,使用梅尔频率倒谱(MFC)提取的功能,随后使用多层感知器(MLP)进行分类。我们提出的方法取得了可喜的成果,0.74的灵敏度,0.92的特异性和0.74的准确性。
2021-03-12 cs.LG cs.SD eess.AS
Unsupervised Sound Separation Using Mixture Invariant Training
Google Research(谷歌研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校)
近年来,使用深度神经网络的监督训练在单通道声音分离问题上取得了快速进展。在这种监督方法中,模型被训练以从通过将孤立的地面实况源相加而创建的合成混合物中预测分量源。依赖这种合成训练数据是有问题的,因为良好的性能取决于训练数据与真实世界音频之间的匹配程度,特别是在声学条件和源分布方面。声学特性可能难以准确模拟,并且声音类型的分布可能难以复制。在本文中,我们提出了一种完全无监督的方法,混合不变训练(MixIT),它只需要单通道声学混合。在MixIT中,通过将现有混合物混合在一起来构建训练示例,并且模型将它们分离成可变数量的潜在源,以便可以重新混合分离的源以近似原始混合物。我们表明,MixIT可以实现有竞争力的性能相比,监督的语音分离方法。在半监督学习设置中使用MixIT可以实现无监督域自适应和从大量真实数据中学习,而无需地面真实源波形。特别是,我们显着提高混响语音分离性能,通过将混响混合物,训练的语音增强系统从嘈杂的混合物,并提高通用的声音分离,通过将大量的野生数据。
2020-10-24 cs.LG cs.SD eess.AS
Description and Discussion on DCASE 2021 Challenge Task 2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring under Domain Shifted Conditions
Hitachi, Ltd.(日立制作所);Doshisha University(同志社大学);Google(谷歌);NTT Corporation(日本电报电话公司)
我们介绍了DCASE 2021挑战任务2的任务描述和结果讨论。2020年,我们组织了一项无监督的异常声音检测(ASD)任务,在没有异常训练数据的情况下识别给定声音是正常还是异常。在2021年,我们组织了一个在领域转移条件下的高级无监督ASD任务,重点关注ASD系统实际使用中不可避免的问题。该任务的主要挑战是检测未知的异常声音,其中训练样本和测试样本的声学特性不同,即,域转移由于季节、制造产品和/或环境噪声的变化,该问题经常发生。我们收到了来自26个团队的75份参赛作品,在这次挑战中开发了几种新颖的方法。在对评估结果进行分析的基础上,我们发现TOP-5获胜团队采用了两种类型的显着方法:1)基于“离群点检测”(OE)的检测器和基于“内点建模”(IM)的检测器的集成方法,以及2)基于IM的机器识别任务中学习的特征检测方法。
2021-09-27 cs.LG cs.SD eess.AS
Retrieval-Augmented Approach for Unsupervised Anomalous Sound Detection and Captioning without Model Training
Research and Development Group, Hitachi, Ltd.(日立公司研发集团)
针对现有无监督异常声音检测与差异描述分离训练导致结果不相关、需大量标注的问题,提出基于预训练CLAP嵌入空间的检索增强方法,无需训练即可保证检测与描述一致,经实验验证有效。
2024-10-29 cs.SD eess.AS
Self-Supervised Learning from Automatically Separated Sound Scenes
Google Research(谷歌研究院)
真实世界的声音场景由随时间变化的声源集合组成,每个声源都生成在音频记录中混合在一起的特征声音事件。这些组成声音事件与它们的混合物和彼此的关联在语义上受到约束:声音场景包含源类的联合,而不是所有类自然地共同出现。有了这个动机,本文探讨了使用无监督的自动声音分离分解成多个语义链接的意见,用于自我监督的对比学习未标记的声音场景。我们发现,学习将输入混合物与其自动分离的输出相关联,比过去单独使用混合物的方法产生更强的表示。此外,我们发现,最佳的声源分离是不需要成功的对比学习,证明了一系列的分离系统的收敛状态都导致有用的,往往是互补的例子变换。我们最好的系统将这些无监督分离模型集成到一个单一的增强前端中,并联合优化视图中的相似性最大化和重合预测目标。其结果是一个无监督的音频表示,竞争对手的国家的最先进的替代品上建立浅AudioSet分类基准。
2021-09-15 cs.LG cs.SD eess.AS
Description and Discussion on DCASE 2026 Challenge Task 2: Noise-aware Unsupervised Anomalous Sound Detection for Machine Condition Monitoring
National Institute of Information and Communications Technology, Japan(日本信息与通信技术研究院)
本文介绍DCASE 2026挑战任务2,通过利用近远双通道音频分离环境噪声与机器声音,提升无监督异常声音检测在噪声条件下的鲁棒性。
2026-06-01 cs.SD eess.AS
Unsupervised Feature Learning for Environmental Sound Classification Using Weighted Cycle-Consistent Generative Adversarial Network
École de Technologie Supérieure, Université du Québec(魁北克大学高等技术学院)
在本文中,我们提出了一种新的环境声音分类方法,结合无监督的特征学习的码本通过球形$K$ -Means++算法和一个新的架构,高层次的数据增强。使用离散小波变换(DWT)将音频信号变换成2D表示。然后通过一种新的周期一致性生成对抗网络架构来增强DWT谱图。这种高级增强引导通过将结构特征从样本转换到样本来以类内和类间方式生成谱图。采用加速鲁棒特征检测器(SURF)和K-Means++算法对小波变换谱图进行编码,建立码书。随机森林是我们最终的学习算法,它从码本中的聚类码字中学习环境声音分类任务。在四个基准环境声音数据集(ESC-10,ESC-50,UrbanSound 8 k和DCASE-2017)中的实验结果表明,所提出的分类方法优于该范围内的最先进的分类器,包括高级和密集的卷积神经网络,如AlexNet和GoogLeNet,根据数据集的不同,分类率提高了3.51%至14.34%。
2019-11-25 cs.LG cs.SD eess.AS
UCIL: An Unsupervised Class Incremental Learning Approach for Sound Event Detection
Fortemedia Singapore(富特美迪亚新加坡公司)
本研究针对声音事件检测的类别增量学习需求,提出结合蒸馏损失、样本选择与平衡更新机制的无监督UCIL方法,在DCASE 2023 Task 4数据集上验证了其在真实动态音频场景的应用价值与研究方向。
2025-01-11 cs.SD eess.AS
First-Shot Unsupervised Anomalous Sound Detection With Unknown Anomalies Estimated by Metadata-Assisted Audio Generation
University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
针对DCASE 2023挑战赛任务2的首次无监督异常声音检测难题,提出元数据辅助音频生成估计未知异常、结合TWFR-GMM主干的FS-TWFR-GMM方法,以极少参数取得顶尖性能。
2024-03-11 cs.SD eess.AS
A Multimodal Prototypical Approach for Unsupervised Sound Classification
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);New York University(纽约大学)
针对零样本音频分类性能受限问题,提出利用局部音频-文本嵌入构建质心原型的无监督多模态方法,并在三个基准上平均提升12%。
2023-08-17 cs.SD eess.AS
Deep Networks tag the location of bird vocalisations on audio spectrograms
Technological Educational Institute of Crete(克里特技术教育学院)
这项工作的重点是可靠的检测和分割的鸟类发声记录在开放的领域。鸟类声音的声学检测可用于自动化监测多个鸟类类群,并在长期记录中查询感兴趣的物种。在这项工作中,通过提出两种方法来解决这些任务:A)首先,将DenseNets应用于每周标记的数据,以推断数据集的注意力图(即显着性和CAM)。我们通过将注意力地图引导到基于YOLO v2 Deepnet的检测框架来进一步推动这一想法,以定位鸟类发声。B)深度自动编码器,即U网,将鸟类发声的音频频谱图映射到其对应的二进制掩码,该二进制掩码包围发声的频谱斑点,同时抑制其他音频源。我们只专注于需要最少人力参与的程序,适合扫描大量数据,以分析它们,评估见解和假设,并识别鸟类活动的模式。希望这种方法对需要设计生物多样性问题政策的研究人员、保护工作者和决策者有价值。
2017-11-12 cs.SD eess.AS