Sound Event Detection of Weakly Labelled Data with CNN-Transformer and Automatic Threshold Optimization
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Qingdao University of Science and Technology（青岛科技大学）
声音事件检测（SED）是检测音频记录中的声音事件的任务。SED任务的一个挑战是许多数据集，例如声学场景和事件的检测和分类（DCASE）数据集是弱标记的。也就是说，对于每个音频剪辑，只有音频标签，而没有声音事件的开始和偏移时间。\qk{We compare segment-wise and clip-wise training for SED that is lacking in previous works. We propose a convolutional neural network transformer (CNN-Transfomer) for audio tagging and SED, and show that CNN-Transformer performs similarly to a convolutional recurrent neural network (CRNN)}。SED的另一个挑战是检测声音事件需要阈值。以往的工作经验性地设置阈值，并不是一个最佳的方法。为了解决这个问题，我们提出了一种自动阈值优化方法。第一阶段是针对不依赖于阈值的度量（例如平均精度（mAP））来优化系统。第二阶段是针对依赖于这些阈值的度量来优化阈值。我们提出的自动阈值优化系统实现了最先进的音频标记F1为0.646，优于没有阈值优化的0.629，以及声音事件检测F1为0.584，…
2020-08-23 cs.SD eess.AS
Disappeared Command: Spoofing Attack On Automatic Speech Recognition Systems with Sound Masking
Tencent（腾讯）
深度学习技术的发展极大地促进了自动语音识别（ASR）技术的性能提升，在许多任务中已经展现出与人类听觉相当的能力。语音接口正变得越来越广泛地用作许多应用程序和智能设备的输入。然而，已有研究表明，DNN很容易受到轻微干扰的干扰而做出错误识别，这对于语音控制的智能语音应用来说是极其危险的。
2022-06-08 cs.AI cs.SD eess.AS
Snore-GANs: Improving Automatic Snore Sound Classification with Synthesized Data
Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）；The University of Tokyo（东京大学）；Technical University of Munich（慕尼黑工业大学）；audEERING GmbH（audEERING公司）
严重阻碍自动打鼾声音分类（ASSC）发展的前沿问题之一与缺乏足够的监督训练数据有关。为了解决这个问题，我们提出了一种新的基于半监督条件生成对抗网络（scGANs）的数据增强方法，其目的是自动学习从随机噪声空间到原始数据分布的映射策略。所提出的方法具有很好的合成“现实”的高维数据的能力，而不需要额外的注释过程。为了处理GANs的模式坍塌问题，我们进一步引入集成策略来增强生成数据的多样性。在广泛使用的Munich-Passau打鼾声音语料库上进行的系统实验表明，基于scGANs的系统可以显着优于其他经典的数据增强系统，并且与最近报道的ASSC系统相比也具有竞争力。
2019-03-29 cs.LG cs.SD eess.AS
Representation Learning for the Automatic Indexing of Sound Effects Libraries
Georgia Institute of Technology（佐治亚理工学院）
标记和维护商业音效库是一项耗时的任务，数据库的大小不断增长并进行分类更新。此外，不统一的元数据使可靠的搜索和分类创建变得复杂，即使引入了新的行业标准通用类别系统，这也是一个无情的问题。为了解决这些问题，并克服阻碍深度学习模型成功训练的依赖于机器人的限制，我们追求表示学习来训练广义嵌入，这些嵌入可用于各种各样的音效库，并且是声音的分类不可知表示。我们表明，一个特定于任务但独立于数据集的表示可以成功地解决数据问题，如类不平衡，不一致的类标签，和数据集大小不足，优于现有的表示，如OpenL3。详细的实验结果显示了度量学习方法和不同的跨数据集训练方法对表征有效性的影响。
2022-08-18 cs.LG cs.SD eess.AS
Automatic Detection of Speech Sound Disorder in Child Speech Using Posterior-based Speaker Representations
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出了一种宏观的方法来自动检测语音的声音障碍（SSD）在儿童的讲话。通常，SSD表现为语言中特定音素的持续发音和语音错误。这种障碍可以通过集中分析儿童受试者引出的音素或单词来检测。在本研究中，而不是试图检测个人的电话和单词级的错误，我们建议提取一个主题级的表示，从一个长的话语，是由连接多个测试词。说话人验证方法和由深度神经网络模型生成的后验特征被应用于导出各种类型的整体表示。训练一个线性分类器来区分正常语音和无序语音。实验结果表明，该方法在检测粤语儿童SSD的任务中，比以往需要融合音素级检测结果的方法具有更好的检测性能。使用发音后特征从多词话语中导出i向量，实现了78.2%的未加权平均召回率和78.0%的宏观F1分数。
2022-06-29 cs.SD eess.AS
Automatic Sound Event Detection and Classification of Great Ape Calls Using Neural Networks
University of Neuchâtel（纳沙泰尔大学）；University of Zurich（苏黎世大学）；University of St Andrews（圣安德鲁斯大学）；University of Warwick（华威大学）；University of Miami（迈阿密大学）
本研究提出一种结合wav2vec 2.0与LSTM的大猿叫声自动检测分类方法，在三类大猿数据集上取得高精度，可推广至其他动物及通用声音事件检测任务，且相关流水线已公开。
2024-06-21 cs.SD eess.AS
Exploring Automatic Diagnosis of COVID-19 from Crowdsourced Respiratory Sound Data
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
由人体产生的音频信号（例如，叹息、呼吸、心跳、消化、振动声）已被临床医生常规地用作诊断疾病或评估疾病进展的指标。直到最近，这些信号通常是通过人工听诊在预定的访问收集。研究现在已经开始使用数字技术来收集身体声音（例如，来自数字听诊器）用于心血管或呼吸检查，然后可以用于自动分析。一些初步工作显示出从声音和咳嗽中检测COVID-19诊断信号的希望。在本文中，我们描述了我们对收集的大规模众包呼吸音数据集的数据分析，以帮助诊断COVID-19。我们使用咳嗽和呼吸来了解COVID-19的声音与哮喘或健康对照者的声音有多不同。我们的研究结果表明，即使是一个简单的二进制机器学习分类器也能够正确分类健康和COVID-19的声音。我们还展示了如何区分COVID-19检测呈阳性并咳嗽的用户与健康咳嗽用户，以及COVID-19检测呈阳性并咳嗽的用户与哮喘和咳嗽的用户。我们的模型在所有任务中的AUC都超过80%。这些结果是初步的，只是触及了这种基于数据和音频的机器学习潜力的表面。这项工作为进一步研究如何将自动分析的呼吸模式用作预筛选信号以帮助COVID-19诊断打开了大门。
2021-01-18 cs.LG cs.SD eess.AS
Automatic Inspection Based on Switch Sounds of Electric Point Machines
East Japan Railway Co.（东日本铁路公司）；Hitachi, Ltd.（日立株式会社）
本文提出利用电动转辙机的转换声音检测道岔转换错误，通过麦克风等低成本IoT设备实现远程实时故障监测，以替代人工目视检测并支持预防性维护。
2025-08-28 cs.LG cs.SD eess.AS
User Specific Adaptation in Automatic Transcription of Vocalised Percussion
INESC TEC（葡萄牙系统与计算机工程研究所）
这项工作的目标是开发一个应用程序，使音乐制作人使用他们的声音来创建鼓模式时，在数字音频工作站（DW）。一个易于使用和面向用户的系统，能够自动转录发声的打击乐的声音，称为LVT -现场发声转录，提出。LVT被开发为Max for Live设备，它遵循鼓转录的“分段和分类”方法，包括三个模块：i）一个起始检测器，用于及时分段事件; ii）一个从音频内容中提取相关特征的模块; iii）一个机器学习组件，用于实现k-最近邻（kNN）算法，用于对发声鼓音色进行分类。由于不同用户对同一鼓声的发声存在很大差异，因此提出了一种针对用户的发声转录方法。从这个角度来看，给定的最终用户在将他们想要的模式输入到鼓中之前，用他们自己对每个鼓声的发声来训练算法。用户自适应是通过一个新的Max外部实现的，它实现了顺序向前选择（SFS），为给定的一组输入鼓声选择最相关的功能。
2018-11-06 cs.SD eess.AS
Masked Conditional Neural Networks for Automatic Sound Events Recognition
University of York（约克大学）
为除声音之外的应用领域（特别是图像识别）设计的深度神经网络架构在适应声音识别问题时可能无法最佳地利用时频表示。在这项工作中，我们探讨了条件神经网络（CLNN）和掩蔽条件神经网络（MCLNN）的多维时间信号识别。CLNN考虑帧间关系，并且MCLNN在网络的链路上实施系统稀疏性，以实现频带而不是bin中的学习，从而允许网络模仿滤波器组而具有频移不变。掩码还允许同时考虑几种特征组合，这通常是通过详尽的手动搜索手工制作的。我们使用ESC-10和ESC-50数据集将MCLNN应用于环境声音识别问题。与最先进的卷积神经网络相比，MCLNN使用12%的参数并且没有增强，实现了具有竞争力的性能。
2019-04-28 cs.LG cs.SD eess.AS
Audio-based automatic mating success prediction of giant pandas
本文提出了一种基于音频的自动方法，用于预测 giant pandas 的配对成功率，通过提取音频特征并使用深度神经网络进行分类，以辅助大熊猫的繁殖研究。
2020-06-03 cs.LG cs.SD eess.AS
Automatic Environmental Sound Recognition: Performance versus Computational Cost
Queen Mary University of London（伦敦玛丽女王大学）；Audio Analytic Ltd.（Audio Analytic 有限公司）；University of Surrey（萨里大学）
在物联网（IoT）的背景下，声音感测应用需要在嵌入式平台上运行，其中产品定价和形状因子的概念对可用计算能力施加了严格的约束。鉴于自动环境声音识别（AESR）算法的开发往往考虑有限的计算成本，本文旨在通过比较声音分类性能em作为其计算成本的函数，AESR算法可以最大限度地利用有限的计算能力。结果表明，深度神经网络在一系列计算成本中产生最佳的声音分类准确率，而高斯混合模型以一贯的小成本提供合理的准确率，而支持向量机在准确性和计算成本之间的折衷方面介于两者之间。
2016-07-15 cs.LG cs.NE cs.SD
On-bird Sound Recordings: Automatic Acoustic Recognition of Activities and Contexts
我们介绍了一种新的方法来研究动物的行为和它发生的背景下，通过使用麦克风背包进行个人自由飞翔的鸟类的背上。这些传感器越来越多地被动物行为研究人员用于研究自由行为动物的个体发声，甚至在野外。然而，这样的设备可能记录的不仅仅是动物的发声行为，并且有可能被用于研究发声发生的特定活动（运动）和背景（背景）。为了促进这种方法，我们调查的自动注释，通过两种不同的声音景物分析范例：场景分类方法，使用特征学习，和事件检测方法，使用概率潜在成分分析（PLCA）。我们分析记录与欧亚寒鸦（乌鸦monedula）在圈养和现场设置。结果是与最先进的声音景物分析的国家，我们发现，目前的识别质量水平，使音频记录器数据的可扩展的自动注释，部分注释，但也发现动物和/或他们的背包之间的个体差异限制了从一个人到另一个人的概括。我们考虑在这一特定任务中“场景”和“事件”的相互关系，以及时间分辨率的问题。
2016-12-16 cs.SD
Automatic acoustic identification of individual animals: Improving generalisation across species and recording conditions
Queen Mary University of London（伦敦玛丽女王大学）；Charles University（查理大学）；The Czech Academy of Sciences（捷克科学院）；Czech University of Life Sciences Prague（布拉格捷克生命科学大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）
许多动物发出的声音，独立于声音的功能，嵌入一些个体独特的签名。因此，通过声音自动识别个体是动物学和生态学研究以及实际监测的潜在有力工具。在这里，我们提出了一个通用的自动识别方法，可以在多个动物物种的通信系统中的各种复杂程度。我们进一步介绍了新的分析技术，数据集操作的基础上，可以评估的鲁棒性和一般性的分类。通过使用这些技术，我们证实了实验混淆的情况下，类似于那些从过去的研究。我们引入数据操作，可以减少这些混淆的影响，与任何分类器兼容。我们建议混淆的评估应该成为未来研究的标准部分，以确保他们不会报告过于乐观的结果。我们提供了用于分析的注释记录以及本研究，我们呼吁数据集共享成为一种常见的做法，以加强方法的开发和结果的比较。
2018-10-22 cs.SD eess.AS
Towards Enhanced Classification of Abnormal Lung sound in Multi-breath: A Light Weight Multi-label and Multi-head Attention Classification Method
National Yang Ming Chiao Tung University（国立阳明交通大学）
本研究针对呼吸音数据集类别不平衡等问题，提出结合多标签学习与多头注意力的轻量高精度肺部异常音分类方法，在ICBHI2017四分类任务获59.2%的ICBHI得分，助力临床辅助诊断。
2024-07-15 cs.AI cs.SD eess.AS
Automatic Speech Recognition (ASR) for the Diagnosis of pronunciation of Speech Sound Disorders in Korean children
Korea University（高丽大学）；MediaZen；The Catholic University of Korea（韩国天主教大学）；Dankook University（檀国大学）
本研究微调wav2vec 2.0 XLS-R模型识别儿童实际发音，用于诊断韩语语音障碍，准确率约90%，可简化临床发音错误诊断流程。
2024-03-13 cs.CL cs.SD eess.AS
Automatic Identification of Animal Breeds and Species Using Bioacoustics and Artificial Neural Networks
Research Collaboratory for Advanced Intelligent Systems（高级智能系统研究合作中心）；Institute of Computer Science, University of the Philippines Los Baños（菲律宾大学洛斯巴诺斯分校计算机科学学院）
在这项研究工作中，假设动物在发声过程中产生的声音可以用作动物品种或物种的标识符，即使它们在没有辅助的人耳中听起来相同。为了验证这一假设，三个人工神经网络（ANN）开发使用生物声学特性作为输入分别自动识别的13种鸟类，8个狗品种，和11种青蛙。收集这些动物的发声记录，并使用几种已知的信号处理技术进行处理，以将相应的声音转换为可计算的生物声学值。转换值的发声，连同品种或物种的识别，被用来训练人工神经网络的10倍交叉验证技术。实验结果表明，所建立的神经网络对鸟类、狗和青蛙的正确识别率分别为71.43%、94.44%和90.91%。这一结果表明，生物声学和人工神经网络可以用来自动确定动物品种和物种，这两者一起可能是一个有前途的自动化工具，动物识别，生物多样性确定，动物保护，和其他动物福利的努力。
2015-07-20 cs.SD q-bio.QM
Deep CardioSound-An Ensembled Deep Learning Model for Heart Sound MultiLabelling
Manchester Metropolitan University（曼彻斯特城市大学）
心音诊断和分类在检测心血管疾病中起着至关重要的作用，特别是当远程诊断成为标准的临床实践时。目前大多数的工作是专为单一类别的听到的声音分类任务。为了进一步扩展自动心音诊断领域的前景，这项工作提出了一种深度多标签学习模型，该模型可以使用来自不同标签组的标签自动注释心音记录，包括杂音的定时，音高，分级，质量和形状。我们的实验结果表明，所提出的方法取得了突出的表现上的holdout数据的多标签任务的敏感性=0.990，特异性=0.999，F1=0.990在段的水平，和一个整体的准确性=0.969在病人的记录水平。
2022-04-20 cs.CV cs.SD eess.AS
Deep Attention-based Representation Learning for Heart Sound Classification
University of Augsburg（奥格斯堡大学）；The University of Tokyo（东京大学）；Shenzhen University General Hospital（深圳大学总医院）；Wenzhou Medical University First Affiliated Hospital（温州医科大学附属第一医院）；Imperial College London（帝国理工学院）
心血管疾病是人类死亡的主要原因，严重威胁着人类的健康。一方面，临床实践和灵巧家庭应用对监测患有慢性心血管疾病的受试者的心脏状态的需求急剧增加。另一方面，能够进行有效听诊的经验丰富的医生在数量上仍然缺乏。利用先进信号处理和机器学习技术的自动心音分类已经显示出令人鼓舞的结果。然而，人类手工制作的功能是昂贵和耗时的。为此，我们提出了一种新的深度表示学习方法与注意力机制的心音分类。在该范例中，从记录的心音数据自动学习高级表示。特别地，全局注意力池层通过估计特征图中每个单元的贡献来提高学习表示的性能。利用170名被试的深圳心音语料库对所提方法进行了验证。实验结果表明，该方法对心音的三个类别，即心音、心音和心音的分类，未加权平均召回率为51.2%。例如，心脏病专家在超声心动图的帮助下注释的正常、轻度和中度/重度。
2021-01-13 cs.SD eess.AS
A Proposal for Foley Sound Synthesis Challenge
Gaudio Lab, Inc.（高迪奥实验室公司）；New York University（纽约大学）
“Foley”是指在后期制作期间添加到多媒体以增强其感知声学特性的声音效果，例如，通过模拟脚步声、周围环境声音或屏幕上的可见对象。虽然foley传统上是由foley艺术家制作的，但基于声音合成和生成模型的最新进展，对自动或机器辅助技术的兴趣越来越大。为了促进更多的参与这一日益增长的研究领域，我们提出了一个挑战自动福利合成。通过对音频和机器学习领域先前成功挑战的案例研究，我们设定了拟议挑战的目标：对不同的Foley合成系统进行严格、统一和有效的评估，其总体目标是吸引研究界的积极参与。我们概述了福利声音合成挑战的细节和设计考虑，包括任务定义，数据集要求和评估标准。
2022-07-21 cs.AI cs.MM cs.SD
AudioPairBank: Towards A Large-Scale Tag-Pair-Based Audio Content Analysis
University of Kaiserslautern（凯泽斯劳滕大学）；DFKI（德国人工智能研究中心）；Carnegie Mellon University（卡内基梅隆大学）
最近，声音识别已经被用于识别声音，例如汽车和河流。然而，声音有细微差别，可以更好地描述形容词-名词对，如缓慢的汽车，和动词-名词对，如飞行的昆虫，这是正在探索。因此，在这项工作中，我们调查音频内容和形容词-名词对和动词-名词对之间的关系。由于缺乏具有此类注释的数据集，我们收集并处理了AudioPairBank语料库，该语料库由总计1，123对和超过33，000个音频文件组成。一个贡献是以前没有的文件的挑战和影响，收集录音与这些类型的标签。第二个贡献是通过声音识别实验显示音频内容和标签之间的相关程度，该实验产生了70%的准确度，因此也提供了性能基准。本文的结果和研究鼓励进一步探索音频中的细微差别，并旨在补充多媒体分析中对图像和文本进行的类似研究。
2018-01-08 cs.CL cs.SD
NELS -- Never-Ending Learner of Sounds
Carnegie Mellon University（卡内基梅隆大学）；BITS Pilani（比尔拉科学技术学院皮拉尼分校）
声音对于人类如何感知世界和与世界互动至关重要，并被记录下来并在互联网上每分钟分享。这些录音，主要是视频，构成了我们所知道的最大的声音档案。然而，这些录音中的大多数都有未描述的内容，这使得自动声音分析，索引和检索成为必要的方法。这些方法必须解决多重挑战，例如声音和语言之间的关系，众多而多样的声音类别以及大规模的评估。我们提出了一个系统，不断学习的声音和语言之间的网络关系，随着时间的推移，改善声音识别模型，并评估其学习能力在大规模没有参考。我们介绍永不结束的声音学习者（NELS），一个持续学习声音及其相关知识的项目，可在nels.cs.cmu.edu在线获得
2023-03-29 cs.SD eess.AS
Foley Sound Synthesis at the DCASE 2023 Challenge
Gaudio Lab, Inc.（Gaudio实验室公司）；KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；New York University（纽约大学）；Doshisha University（同志社大学）；Ritsumeikan University（立命馆大学）；CNRS（法国国家科学研究中心）；Ecole Centrale Nantes（南特中央理工学院）；The University of Tokyo（东京大学）
本文介绍 DCASE 2023 Task 7 Foley 音效合成挑战赛，建立标准化数据集、基线与主客观评估框架，并对 17 个系统按音质、类别契合度和多样性排名。
2023-09-28 cs.SD eess.AS
Automatic large-scale classification of bird sounds is strongly improved by unsupervised feature learning
Centre for Digital Music, Queen Mary University of London（伦敦玛丽女王大学数字音乐中心）
根据鸟类的声音进行鸟类自动分类是一种在生态学、保护监测和声音交流研究中越来越重要的计算工具。为了使分类在实践中有用，关键是要提高其准确性，同时确保它可以在大数据规模下运行。许多方法使用基于频谱图类型数据的声学测量，例如Mel频率倒谱系数（MFCC）特征，其表示频谱信息的手动设计的概要。然而，最近在机器学习方面的工作已经证明，从数据中自动学习的特征通常可以胜过手动设计的特征变换。特征学习可以在大规模和“无监督”的情况下进行，这意味着它不需要手动标记数据，但它可以提高分类等“监督”任务的性能。在这项工作中，我们介绍了一种技术，从大量的鸟的声音记录，已被证明在其他领域有用的技术的启发，功能学习。我们实验比较十二个不同的功能表示来自梅尔频谱（其中六个使用这种技术），使用四个大的和不同的数据库的鸟类发声，与随机森林分类。我们证明，在这种情况下，MFCC是有限的功率，导致比原始梅尔光谱数据的性能更差。相反，我们证明了无监督的特征学习提供了一个实质性的推动MFCC和梅尔频谱，而不增加计算复杂性后，模型已经训练。这种提升对于大规模的单标签分类任务尤其明显。通过我们的程序学习的频谱-时间激活类似于从鸟类初级听觉前脑计算的频谱-时间感受野。
2014-05-26 cs.LG cs.SD
An Automatic System for Acoustic Microphone Geometry Calibration based on Minimal Solvers
Lund University（隆德大学）
在本文中，强大的检测，跟踪和几何估计方法的开发和组合成一个系统，用于估计时间差估计，麦克风定位和声源运动。没有对麦克风和声源的3D位置进行假设。该系统能够在混响环境中跟踪连续移动的声源。多路径分量被明确地跟踪并用于几何估计部分。该系统基于使用GCC-PHAT的通道对之间的匹配。而不是采取一个单一的最大值在每个时刻从每个这样的对，我们选择四个最强的局部最大值。这产生了一组假设，以在后续步骤中使用，其中利用通道之间的一致性约束和时间连续性约束。在论文中，它演示了如何使用这种检测来估计麦克风位置，声源移动和房间几何形状。使用实际数据从几个混响环境的方法进行了测试和验证。评估表明精度在几毫米的数量级。
2016-10-07 cs.SD
Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现语音识别模型Whisper的音频表征与非语音声音高度相关，基于此冻结其主干并添加轻量标记头构建Whisper-AT，以极低额外成本实现单前向传播同时完成语音识别与通用音频事件标记。
2023-07-06 cs.SD eess.AS
CycleGuardian: A Framework for Automatic RespiratorySound classification Based on Improved Deep clustering and Contrastive Learning
School of BioMedical Engineering, Hainan University（海南大学生物医学工程学院）；School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；School of Information and Communication, Hainan University（海南大学信息与通信学院）
针对呼吸音分类中数据集受限、异常特征难区分及模型过大难部署的问题，提出基于改进深度聚类与对比学习的轻量级框架CycleGuardian，在ICBHI2017上取得最优性能并实现Android部署。
2025-02-02 cs.AI cs.SD eess.AS
Influence of Event Duration on Automatic Wheeze Classification
Univ Coimbra（科英布拉大学）；Univ Aveiro（阿威罗大学）；CISUC（CISUC机构）；Lab3R（Lab3R机构）；DEI（DEI机构）；ESSUA（ESSUA机构）；iBiMED（iBiMED机构）
患有呼吸系统疾病的患者通常会出现偶发性呼吸音，如喘息。喘息事件的持续时间各不相同。在这项工作中，我们研究了事件持续时间对喘息分类的影响，即非喘息类的创建如何影响分类器的性能。首先，我们在开放获取的呼吸音数据库上评估了几种分类器，其中最好的一种分别达到了98%和95%的灵敏度和特异性值。然后，通过改变非喘息类设计中的一个参数，即，事件持续时间，最佳分类器仅分别达到55%和76%的灵敏度和特异性值。这些结果表明实验设计在喘息分类算法性能评估中的重要性。
2020-11-04 cs.LG cs.SD eess.AS
DiveSound: LLM-Assisted Automatic Taxonomy Construction for Diverse Audio Generation
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
针对音频生成缺乏多样性评估的问题，提出DiveSound框架，利用大语言模型和多模态对比表示自动构建具有类内多样分类体系的数据集，实验证明视觉信息引导可显著提升生成多样性。
2024-07-18 cs.SD eess.AS
An automatic analysis of ultrasound vocalisations for the prediction of interaction context in captive Egyptian fruit bats
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Imperial College London（帝国理工学院）
本文提出利用深度神经网络自动分析圈养埃及果蝠的超声发声，以预测其交互情境，未加权平均召回率超过30%，显著优于随机水平，推动了从声音自动分析动物状态的研究。
2024-06-10 cs.SD eess.AS
Conditioning Deep Generative Raw Audio Models for Structured Automatic Music
Boston University（波士顿大学）
现有的以深度学习为特征的自动音乐生成方法可以大致分为两种类型：原始音频模型和符号模型。符号模型在音符级别进行训练和生成，目前是更流行的方法;这些模型可以捕获旋律结构的长范围依赖性，但无法掌握原始音频生成的细微差别和丰富性。原始音频模型，如DeepMind的WaveNet，直接在采样的音频波形上进行训练，使它们能够产生听起来真实的，尽管是非结构化的音乐。在本文中，我们提出了一个自动的音乐生成方法结合这两种方法来创建结构化的，逼真的声音组成。我们考虑一个长短期记忆网络来学习不同风格的音乐的旋律结构，然后使用这个模型的独特符号代作为基于WaveNet的原始音频生成器的条件输入，创建一个自动的，新颖的音乐模型。然后，我们通过展示这项工作的结果来评估这种方法。
2018-06-26 cs.LG cs.SD eess.AS
Modelling Animal Biodiversity Using Acoustic Monitoring and Deep Learning
几个世纪以来，研究人员一直使用声音来监测和研究野生动物。传统上，自然资源保护主义者通过耳朵识别物种;然而，现在普遍采用录音技术来监测动物和生态系统的声音。动物利用声音进行交流、交配、导航和领土防御。动物的声音提供了有价值的信息，并帮助保护主义者量化生物多样性。由于各种传感器类型（包括相机陷阱、便携式声学传感器、无源声学传感器甚至智能手机）的可用性，声学监测已经变得越来越受欢迎。被动声学传感器易于部署，可以长时间运行，以提供对栖息地和动物和非法活动发出的声音的见解。虽然这项技术带来了巨大的好处，但所产生的数据量使得处理对自然资源保护者来说是一个耗时的过程。因此，自然资源保护主义者有兴趣自动处理声学数据，以帮助加快生物多样性评估。处理这些大数据源并从背景噪声中提取相关声音带来了重大挑战。在本文中，我们概述了一种实现这一目标的方法，使用机器学习的最新技术从时间序列音频信号中自动提取特征，并对深度学习模型进行建模，以根据它们发出的声音对不同的鸟类进行分类。采集到的鸟鸣声进行处理，使用梅尔频率倒谱（MFC）提取的功能，随后使用多层感知器（MLP）进行分类。我们提出的方法取得了可喜的成果，0.74的灵敏度，0.92的特异性和0.74的准确性。
2021-03-12 cs.LG cs.SD eess.AS
Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound
FAIR at Meta（Meta FAIR实验室）；Reality Labs at Meta（Meta Reality Labs）
本文提出Meta Audiobox Aesthetics，通过四轴标注指南和无参考逐项预测模型，统一自动评估语音、音乐与声音的美学质量，性能达到或超越人类MOS与现有方法，并开源模型与数据集。
2025-02-07 cs.LG cs.SD eess.AS
Power pooling: An adaptive pooling function for weakly labelled sound event detection
在工程应用中，访问具有强标记的声音事件的大型语料库是昂贵且困难的。许多研究转向解决如何使用仅指定类型的弱标签来检测声音事件的类型和时间戳的问题。这个任务可以看作是一个多实例学习（MIL）问题，它的关键是池函数的设计。在本文中，我们提出了一个自适应的功率池功能，可以自动适应各种声源。在两个公共数据集上，所提出的功率池函数在粗粒度和细粒度指标上都优于最先进的线性softmax池。值得注意的是，相对于两个数据集，它将基于事件的F1评分（用于评估事件开始和结束的检测）提高了11.4%和10.2%。虽然本文的重点是声音事件检测的应用程序，所提出的方法可以应用到MIL任务在其他领域。
2021-01-20 cs.LG cs.SD eess.AS
Automatic Feature Extraction for Heartbeat Anomaly Detection
Romanian Institute of Science and Technology（罗马尼亚科学技术研究院）；Babes-Bolyai University（巴比什-波雅依大学）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学与科学研究所）
我们专注于原始音频心跳声音的自动特征提取，旨在医疗保健中的异常检测应用。我们在由1D非因果卷积编码器和WaveNet解码器组成的自动编码器的帮助下学习特征，WaveNet解码器采用最大均值离散（MMD），基于变分推理，采用修改后的目标进行训练。此外，我们使用高斯链图形模型来捕获表征编码信号的时间相关性，对潜在分布进行建模。在以无监督的方式对自动编码器进行重建任务的训练后，我们通过训练SVM来预测异常来测试学习到的潜在表示的重要性。我们评估的PASCAL分类心音挑战提出的一个问题上的方法，我们在文献中的结果进行比较。
2021-02-24 cs.LG cs.SD eess.AS
Vocalsound: A Dataset for Improving Human Vocal Sounds Recognition
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Signify Research
识别人类的非言语发声是一项重要的任务，并且具有广泛的应用，例如自动声音转录和健康状况监测。然而，现有的数据集具有相对少量的人声样本或噪声标签。因此，现有技术的音频事件分类模型在检测人类声音时可能表现不佳。为了支持建立强大而准确的人声识别的研究，我们创建了一个VocalSound数据集，其中包括来自3，365个独特受试者的超过21，000个众包的笑声，叹息，咳嗽，清嗓子，打喷嚏和嗅探记录。实验表明，通过将VocalSound数据集作为训练材料添加到现有数据集中，模型的人声识别性能可以显著提高41.9%。此外，与以前的数据集不同，VocalSound数据集包含说话者年龄，性别，母语，国家和健康状况等Meta信息。
2022-06-18 cs.LG cs.SD eess.AS
SoundNet: Learning Sound Representations from Unlabeled Video
MIT（麻省理工学院）
我们通过利用在野外收集的大量未标记的声音数据来学习丰富的自然声音表示。我们利用视觉和声音之间的自然同步，使用200万个未标记的视频来学习声学表示。未标记的视频的优势在于它可以大规模经济地获取，但包含有关自然声音的有用信号。我们提出了一个学生-教师的培训过程，将歧视性的视觉知识从建立良好的视觉识别模型转换为声音模态，使用未标记的视频作为桥梁。我们的声音表示产生了显着的性能改进的声学场景/对象分类的标准基准上的最先进的结果。可视化表明，一些高级语义自动出现在声音网络中，即使它是在没有地面真值标签的情况下训练的。
2016-10-27 cs.CV cs.LG cs.SD
Anomalous sound detection based on interpolation deep neural network
Hitachi, Ltd.（日立有限公司）
随着劳动力的减少，对进行工业设备维护的节省劳动力的自动异常声音检测技术的需求已经增长。常规方法基于自动编码器的重构误差来检测异常。然而，当目标机器声音是非平稳的时，重建误差倾向于与异常无关地大，并且其变化由于预测边缘帧的困难而增加。为了解决这个问题，我们提出了一种异常检测的方法，在该方法中，该模型利用多帧的频谱图，其中心帧被删除作为输入，并预测删除的帧的插值作为输出。该方法不需要预测边缘帧，而是使重建误差与异常一致。实验结果表明，基于标准AUC评分，所提出的方法实现了27%的改善，尤其是针对非平稳机械声音。
2020-05-19 cs.LG cs.SD eess.AS
Bird detection in audio: a survey and a challenge
Queen Mary University of London（伦敦玛丽女王大学）；University of Salford（索尔福德大学）；University of Crete（克里特大学）；University of Toulon（土伦大学）
本文针对当前鸟类声学检测多需人工调优的问题，综述了自动鸟类鸣声检测前沿技术，提出了对免调优、物种无关方法的需求，并发布新数据集与IEEE挑战赛以推动全自动检测算法研发。
2016-08-11 cs.SD
Source Separation & Automatic Transcription for Music
Khoury College of Computer Science, Northeastern University（东北大学科里计算机科学学院）
针对音乐源分离与自动转录任务面临的噪声大、训练慢、数据少等问题，研究者结合频谱图掩码、深度神经网络与MuseScore API，构建了可分离乐器音干并转写乐谱的端到端流水线。
2024-12-09 cs.AI cs.SD eess.AS
COVID-19 and Computer Audition: An Overview on What Speech & Sound Analysis Could Contribute in the SARS-CoV-2 Corona Crisis
Imperial College London（伦敦帝国学院）；University of Augsburg（奥格斯堡大学）；audEERING GmbH（audEERING有限公司）；The University of Tokyo（东京大学）
在撰写本报告时，自三个多月前冠状病毒（现正式称为SARS-CoV-2）爆发以来，世界人口正遭受超过10，000例登记的COVID-19疾病流行导致的死亡。自那时以来，全世界作出了巨大努力，以对抗和控制目前被称为大流行病的流行病。在这方面的贡献，我们提供了一个概述的潜力，计算机试听（CA），即，通过人工智能使用语音和声音分析来帮助解决这个问题。我们首先调查哪些类型的相关或上下文显着的现象可以自动评估从语音或声音。这些包括自动识别和监测呼吸，干和湿咳嗽或打喷嚏的声音，寒冷下的言语，饮食行为，嗜睡或疼痛，仅举几例。然后，我们考虑潜在的利用用例。这些包括基于症状直方图及其随时间的发展的风险评估和诊断，以及对传播、社交距离及其影响、治疗和康复以及患者健康的监测。我们快速引导进一步通过挑战，需要面对现实生活中的使用。我们得出的结论是，CA似乎已经准备好实施（预）诊断和监测工具，并且更普遍地提供了丰富和重要的，但迄今为止尚未开发的潜力，以对抗COVID-19的传播。
2020-03-24 cs.CL cs.LG cs.SD
Advanced Framework for Animal Sound Classification With Features Optimization
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Notre Dame（圣母大学）
本文提出一种基于MFCC特征优化和注意力双向LSTM的通用动物声音分类框架，并构建涵盖海洋动物与鸟类的基准数据集，实验表明其精确率、召回率和准确率均优于基线方法超过25%。
2024-07-03 cs.LG cs.SD eess.AS
Quantifying the Corpus Bias Problem in Automatic Music Transcription Systems
Johannes Kepler University（约翰·开普勒大学）
本文通过构建模拟不同音乐分布偏移的测试集，评估多个SotA AMT系统，揭示训练语料过度集中于古典钢琴所导致的显著性能差距。
2024-08-08 cs.LG cs.SD eess.AS
Exploiting Attention-based Sequence-to-Sequence Architectures for Sound Event Localization
Ruhr University Bochum（波鸿鲁尔大学）；NTT Corporation（日本电报电话公司）
与经典参数方法相比，基于深度神经网络的声音事件定位框架已经显示出关于混响和噪声的增加的鲁棒性。特别是，经常性的架构，将时间背景的估计过程似乎是非常适合这项任务。本文提出了一种新的方法，利用注意力为基础的序列到序列模型的声音事件定位。这些类型的模型已成功地应用于自然语言处理和自动语音识别中的问题。在这项工作中，多声道音频信号被编码到一个潜在的表示，这是随后解码到一个序列的估计方向的到来。这里，注意力允许通过聚焦于与估计当前时间步处的声音事件的活动和到达方向相关的特定帧来捕获音频信号中的时间依赖性。该框架进行评估的声音事件本地化的三个公开可用的数据集。它产生优越的定位性能相比，国家的最先进的方法在消声和混响条件。
2021-02-28 cs.LG cs.SD eess.AS
Automatic Rain and Cicada Chorus Filtering of Bird Acoustic Data
University of Tasmania（塔斯马尼亚大学）
记录和分析环境音频记录已成为监测环境的常用方法。执行环境记录的分析的当前问题是来自噪声的干扰，其可以掩盖感兴趣的声音。这使得检测这些声音更加困难，并且可能需要额外的资源。虽然已经做了一些工作来去除环境录音中的静态噪音，但几乎没有努力去除来自非静态来源的噪音，例如雨、风、发动机和不感兴趣的动物叫声。在本文中，我们解决了过滤噪音的挑战，从雨和合唱录音包含鸟的声音。我们改进了以前建立的分类方法，使用声学指数和梅尔频率倒谱系数（MFCC）作为声学特征来检测这些噪声源，接近的问题，去除这些声音的动机。我们调查使用声学指数，和机器学习分类器，以找到最有效的过滤器。我们使用的方法，使用户能够设置阈值，以增加或减少分类的敏感性，根据分类器输出的预测概率。我们还提出了一种新的方法，以消除choruses使用带通滤波器我们的阈值为基础的方法（随机森林与声学指数和梅尔频率倒谱系数（MFCC））的雨检测实现了AUC为0.9881，是更准确的比现有的方法时，设置为相同的灵敏度。我们还使用10倍交叉验证以100%的准确率检测训练集中的重叠。我们的滤波方法大大提高了受影响录音的中值信噪比，从未滤波音频的0.53提高到由滤波器和静态噪声滤波器滤波的音频的1.86。
2018-04-16 cs.SD
Sound Event Detection in Multichannel Audio Using Spatial and Harmonic Features
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了使用空间和谐波特征结合长短期记忆（LSTM）递归神经网络（RNN）的自动声音事件检测（SED）任务。现实生活中的录音通常有许多重叠的声音事件，使得很难仅用单声道音频来识别。人类听众已经成功地使用音高线索识别重叠声音事件的混合，并利用在他们的耳朵处可用的立体声（多通道）音频信号来空间定位这些事件。传统上，SED系统仅使用单声道音频，出于人类听众的动机，我们建议将其扩展为使用多声道音频。在TUT声音事件检测2016数据库的开发子集上，将所提出的SED系统与最先进的单声道方法进行比较。空间和谐波特征的使用被证明可以提高SED的性能。
2017-06-07 cs.LG cs.SD
ProtoSound: A Personalized and Scalable Sound Recognition System for Deaf and Hard-of-Hearing Users
University of Washington（华盛顿大学）；Google（谷歌）；Google Research（谷歌研究院）
最近的进展已经使移动设备上的聋人和听力困难（DHH）用户能够使用自动声音识别系统。然而，这些工具使用预先训练的通用声音识别模型，无法满足DHH用户的各种需求。我们介绍ProtoSound，一个交互式系统，通过记录一些例子来定制声音识别模型，从而实现个性化和细粒度的类别。ProtoSound的动机是以前的工作检查DHH的人的声音意识的需求，并通过我们与472 DHH参与者进行了调查。为了评估ProtoSound，我们在两个真实世界的声音数据集上表征了性能，显示出比最先进的显着改进（例如，第一个数据集的准确率为+9.7%）。然后，我们通过移动应用程序部署了ProtoSound的最终用户培训和实时识别，并招募了19名听力参与者，他们聆听了真实世界的声音，并对56个地点的准确性进行了评级（例如，家庭、餐馆、公园）。结果表明，ProtoSound可以实时个性化设备上的模型，并在不同的声学环境中准确地学习声音。最后，我们讨论了个性化声音识别方面的挑战，包括需要更好的录音界面和算法改进。
2022-02-22 cs.HC cs.LG cs.SD
Bi-class classification of humpback whale sound units against complex background noise with Deep Convolution Neural Network
ENSTA Bretagne（布列塔尼国立高等先进技术学校）；Inst. Syst. Intelligents et de Robotique, UPMC（皮埃尔和玛丽·居里大学智能系统与机器人研究所）；Sorbonne Universités, UPMC, UMR 7190, Institut Jean Le Rond d’Alembert（索邦大学皮埃尔和玛丽·居里大学达朗贝尔研究所）
在复杂的时变背景噪声中自动检测座头鲸的声音单元是科学家们目前面临的挑战。在本文中，我们探讨了卷积神经网络（CNN）的方法，这项任务的适用性。在评估阶段，我们提出了6个针对不同背景噪声类型（例如，雨，风）。与经典的基于FFT的表示（如频谱图）相比，我们发现使用基于图像的预训练CNN特征可以提高对鲸鱼声音和背景噪声进行分类的性能。
2017-03-31 cs.LG cs.SD stat.ML
Sound Analysis and Synthesis Adaptive in Time and Two Frequency Bands
UMR STMS IRCAM - CNRS - UPMC（法国国家信息与自动化研究所-法国国家科学研究中心-巴黎第六大学联合单位STMS IRCAM）
我们提出了一个算法的声音分析和再合成与局部自动适应的时间-频率分辨率。存在允许根据其时间或频率位置来调整分析窗口的若干算法;在下文中，我们提出了根据时间和频率两者来选择最佳分辨率的方法。我们考虑的方法，我们表示为分析加权，从Gabor框架理论的角度来看。我们特别分析的情况下，不同的自适应时变分辨率在两个互补的频带内，这是一个典型的情况下，完美的信号重建一般不能实现快速算法，导致一定的误差最小化。我们提供了音乐声音的自适应分析的例子，并概述了这项工作打开的几种可能性。
2011-09-29 cs.SD
Short-segment heart sound classification using an ensemble of deep convolutional neural networks
Universiti Teknologi Malaysia（马来西亚工艺大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出了一种基于深度卷积神经网络（CNN）的框架，用于使用单个心跳的短片段进行自动心音分类。我们设计了一个直接从原始心音信号中学习特征的1D-CNN和一个基于Mel频率倒谱系数（MFCC）的二维的时频特征图的2D-CNN。我们进一步开发了一个时频CNN集成（TF-ECNN）结合的1D-CNN和2D-CNN基于分数级融合的类概率。在大型PhysioNet CinC挑战2016数据库上，提出的CNN模型优于基于支持向量机和隐马尔可夫模型的传统分类器，具有各种手工制作的时域和频域特征。ECNN实现了最佳分类评分，准确度为89.22%，灵敏度为89.94%，2D-CNN单独在测试集上实现了91.55%的特异性和88.82%的修正准确度。
2018-10-27 cs.LG cs.SD eess.AS
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
基于深度学习的视觉到声音生成系统本质上需要开发，特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中，我们引入了一个新的任务，指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列，从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集，以使用FoleyGAN进行训练，并通过人类调查评估我们的合成声音，该调查显示出值得注意的（平均81%）视听同步性能。与其他基线模型和视听数据集相比，我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
