The Neural-SRP method for positional sound source localization
Imperial College（帝国理工学院）
针对高混响环境下SRP定位性能下降及现有DNN对麦克风拓扑适应性差的问题，提出结合SRP灵活性与DNN性能的Neural-SRP方法，通过模拟数据和迁移学习训练，显著提升定位性能。
2024-03-14 cs.SD eess.AS
Description and Discussion on DCASE 2025 Challenge Task 4: Spatial Semantic Segmentation of Sound Scenes
1 NTT Corporation, Japan, 2 Universit\'e de Lorraine, France 3 Tokyo Metropolitan University, Japan
本文介绍DCASE 2025挑战赛任务4的声场景空间语义分割任务设置、专用数据集及基线系统实验结果，聚焦多通道空间输入下的声音事件检测与分离。
2025-06-12 cs.SD eess.AS
Hierarchical Linear Dynamical System for Representing Notes from Recorded Audio
University of Florida（佛罗里达大学）
我们寻求发展的同时分割和分类的笔记从音频记录中存在的离群值。所选择的结构建模时间序列是分层线性动态系统（HLDS）。我们提出了一种新的方法，其参数设置。HLDS可以潜在地以两种方式被采用：1）用于探索数据的同时分割和聚类，即找到未知音符，2）用于在存在离群值的情况下找到感兴趣音符的音频记录的同时分割和分类。我们适应HLDS的第二个目的，因为它是一个更容易的任务，仍然是一个具有挑战性的问题，例如，在生物声学领域。每个测试剪辑都具有与训练剪辑相同的注释（但不同的实例），并且还包含离群值注释。在测试中，如果有兴趣的话，它会自动决定一个笔记属于哪个兴趣类别。这项工作的两个应用领域的生物声学检测动物的声音在音频现场录音，也音乐学。实验已经进行了分割和分类的鸟类和音乐音符从录制的音频。
2022-02-27 cs.LG cs.SD eess.AS
Multiple Sound Source Localisation with Steered Response Power Density and Hierarchical Grid Refinement
Middle East Technical University（中东技术大学）
声源波达方向（DOA）估计是声场分析中的一个重要环节。刚性球形麦克风阵列允许计算声场的紧凑球谐表示。用于分析使用这种阵列记录的声场的基本方法是转向响应功率（SRP）图，其中源DOA可以被估计为使最大定向波束的输出功率最大化的转向方向。这种方法在计算上是昂贵的，因为它需要在所有可能的方向上操纵波束。本文提出了一种扩展SRP称为转向响应功率密度（SRPD）和相关的，信号自适应搜索方法称为分层网格细化（HiGRID），以减少DOA估计所需的转向方向的数量。所提出的方法可以定位相干以及非相干源，同时共同提供的场景中的突出的源的数量。它被证明是强大的混响和加性白噪声。评估所提出的方法，使用模拟和真实的录音高度混响条件下，以及与国家的最先进的方法进行比较。
2018-03-04 cs.MM cs.SD eess.AS
Self-supervised Neural Audio-Visual Sound Source Localization via Probabilistic Spatial Modeling
National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）；Waseda University（早稻田大学）
在视觉观察范围内检测声源目标对于自主机器人理解周围环境具有重要意义。由于在我们的生活环境中，发声物体具有大量的种类和不同的外观，在实践中标记所有发声物体是不可能的。这就需要自监督学习，它不需要人工标记。大多数传统的自监督学习使用单声道音频信号和图像，并且由于音频信号中的差的空间信息而不能区分具有相似外观的声源对象。针对这一问题，提出了一种基于360°图像和多声道音频信号的自监督训练方法。通过结合多声道音频信号中的空间信息，我们的方法训练深度神经网络（DNN）来区分多个声源对象。我们用于定位图像中声源对象的系统由音频和视觉DNN组成。视觉DNN被训练以定位输入图像内的声源候选。音频DNN验证每个候选是否实际产生声音。这些DNN基于概率空间音频模型以自监督方式联合训练。模拟数据的实验结果表明，我们的方法训练的DNN定位多个扬声器。我们还证明了视觉DNN检测对象，包括说话的游客和特定的展品从真实的数据记录在科学博物馆。
2020-07-28 cs.CV cs.SD eess.AS
Masked Conditional Neural Networks for Environmental Sound Classification
University of York（约克大学）
条件神经网络（CLNN）利用声谱图中表示的声音信号的时间序列的性质，并且其变体掩蔽条件神经网络（MCLNN）通过使用二进制掩码在网络的链路上嵌入滤波器组样稀疏性来诱导网络在频带中学习。此外，掩蔽同时自动化不同特征组合的探索，类似于手工制作用于识别任务的特征的最佳组合。我们使用Urbansound8k环境声音数据集评估了MCLNN的性能。此外，我们提出了一个手动记录的声音为铁路和公路交通，YorNoise，调查机器产生的声音具有低频成分之间的混淆率。MCLNN在没有增强的情况下取得了有竞争力的结果，并使用了12%的可训练参数，这些参数是基于Urbansound 8k上最先进的卷积神经网络的等效模型所使用的。我们使用YorNoise扩展了Urbansound8k数据集，实验表明常见的音调属性会影响分类性能。
2019-04-27 cs.LG cs.SD eess.AS
Sound Event Detection in Multichannel Audio using Convolutional Time-Frequency-Channel Squeeze and Excitation
Microsoft Research（微软研究院）
在这项研究中，我们引入了一个卷积时频信道“挤压和激励”（tfc-SE）模块，以显式地对时频域和多个信道之间的相互依赖性进行建模。tfc-SE模块由两部分组成：tf-SE块和c-SE块，分别用于提供时频域和信道域的关注，用于自适应地重新校准输入特征图。所提出的tfc-SE模块以及流行的卷积递归神经网络（CRNN）模型在具有重叠音频源的多通道声音事件检测任务中进行了评估：训练和测试数据是用麦克风阵列记录的合成TUT Sound Events 2018数据集。我们表明，TFC-SE模块可以被纳入CRNN模型在一个小的额外的计算成本，并带来显着的改善声音事件检测精度。我们还通过分析可能影响SE块性能的各种因素进行详细的消融研究。结果表明，使用最佳tfc-SE块，错误率（ER）从0.2538降低到0.2026，ER相对降低20.17%，F1得分提高5.72%。结果表明，学习的声学嵌入与tfc-SE模块有效地加强时频和通道的特征表示，以提高区分性能。
2019-08-04 cs.LG cs.SD eess.AS
Empirical Study of Drone Sound Detection in Real-Life Environment with Deep Neural Networks
The Affiliated Institute of ETRI（韩国电子通信研究院附属研究所）
这项工作的目的是研究使用深度神经网络来检测商业爱好无人机在现实生活中的环境中，通过分析他们的声音数据。这项工作的目的是促进建立一个系统，用于检测用于恐怖主义等恶意目的的无人机。具体来说，我们提出了一种方法，能够检测商业爱好无人机的存在作为一个二进制分类问题的基础上声音事件检测。我们记录了一些流行的商业爱好无人机产生的声音，然后用不同的环境声音数据来增强这些数据，以弥补不同环境中无人机声音数据的不足。我们研究了最先进的事件声音分类方法的有效性，即，高斯混合模型（GMM）、卷积神经网络（CNN）和递归神经网络（RNN），用于无人机声音检测。我们的实证结果，这是获得与测试数据集收集的城市街道上，证实了这些模型在真实环境中运行的有效性。总之，我们的RNN模型显示出最佳的检测性能，F-Score为0.8009，输入音频为240 ms，处理时间较短，这表明它们适用于实时检测系统。
2017-01-20 cs.LG cs.SD
PC-Mix: Partial-Component Audio Spoofing Detection under Mixed Speech and Environmental Sound Conditions
研究针对部分音频欺骗检测，提出PC-Mix数据集，解决现有基准差距。构建含真实与部分欺骗环境声音组件并与语音信号混合的音频，建立评估协议与联合学习框架，实验表明匹配条件下训练检测欺骗更有效。
2026-07-14 cs.CL cs.SD
Enhancing Sound Texture in CNN-Based Acoustic Scene Classification
The Chinese University of Hong Kong（香港中文大学）
声学场景分类是识别从其记录音频信号的场景的任务。卷积神经网络（CNN）模型在声学场景分类中被广泛采用并取得了成功。然而，在CNN中如何感知音频场景的见解很少，正如在图像识别研究中所证明的那样。在本研究中，类激活映射（CAM）被用来分析如何对数幅度梅尔规模滤波器组（log-Mel）功能的不同声学场景中学习的CNN分类器。注意，音频信号的不同的高能量时频分量通常不对应于CAM上的强激活，而背景声音纹理在CNN中被很好地学习。为了使声音纹理更加突出，我们提出了应用高斯差分（DoG）和Sobel算子处理的log-Mel特征和增强边缘信息的时频图像。DCASE 2017 ASC挑战赛的实验结果表明，使用边缘增强的log-Mel图像作为CNN的输入特征显著提高了音频场景分类的性能。
2019-01-06 cs.LG cs.SD eess.AS
Acoustic Scene Classification Using Multichannel Observation with Partially Missing Channels
Doshisha University（同志社大学）
使用智能手机或物联网设备录制的声音通常会有部分不可靠的观测结果，这些观测结果是由削波、风噪声以及由于麦克风故障和网络数据传输中的数据包丢失而导致的完全缺失部分造成的。在本文中，我们调查的影响，部分缺失的通道上的声学场景分类的性能，使用多通道音频记录，特别是分布式麦克风阵列。观测数据缺失不仅会导致声源时频和空间信息的丢失，还会导致训练模型与评估数据之间的不匹配。因此，我们研究如何丢失的通道影响声学场景分类的性能详细。我们还提出了简单的数据增强方法，场景分类使用多通道观测与部分丢失的通道，并使用数据增强方法的场景分类性能进行评估。
2021-05-05 cs.SD eess.AS
Detection of Deepfake Environmental Audio
École Centrale Nantes（南特中央理工学院）；Nantes Université（南特大学）；CNRS（法国国家科学研究中心）；Carnegie Mellon University（卡内基梅隆大学）
针对环境音频伪造检测研究不足的问题，提出基于 CLAP 嵌入的检测流水线，在 DCASE 2023 数据上对 44 个合成器生成声音达到 98% 平均准确率。
2024-06-13 cs.SD eess.AS
A Comparative Study on Approaches to Acoustic Scene Classification using CNNs
North South University（北南大学）
本文比较了基于CNN的声谱图、MFCC和嵌入三种表示在声学场景分类中的效果，发现声谱图准确性最高，MFCC最低，并提出了改进指南。
2022-04-26 cs.AI cs.CV cs.SD
Description of algorithms for Ben-Gurion University Submission to the LOCATA challenge
Ben-Gurion University（本-古里安大学）
本文总结了用于本地化和跟踪（LOCATA）挑战记录的源的方法。考虑了固定源和阵列的任务，即，挑战的任务1和2，这是用Nao机器人阵列和Eigenmike阵列记录的。对于这两个阵列，到达方向（DOA）估计已执行与测量在短时间傅立叶变换域，并与直接路径优势（DPD）为基础的测试，其目的是确定时间频率（TF）箱占主导地位的直接声音。对于Nao的记录，使用直接应用于麦克风信号的DPD测试。对于Eigenmike记录，使用设计用于球面谐波域中的平面波密度测量的基于DPD的测试。在获得具有通过DPD测试的TF仓的DOA估计之后，执行k均值聚类的阶段，以分配每个说话者的最终DOA估计。
2018-12-12 cs.SD eess.AS
Robust sound event detection in bioacoustic sensor networks
Cornell Lab of Ornithology, Cornell University（康奈尔大学康奈尔鸟类学实验室）；Music and Audio Research Laboratory, New York University（纽约大学音乐与音频研究实验室）；Center for Urban Science and Progress, New York University（纽约大学城市科学与进步中心）
生物声学传感器，有时被称为自主记录单元（ARU），可以以可扩展和微创的方式长时间记录野生动物的声音。从这些传感器导出每种丰度估计需要检测，分类和量化的动物发声作为个人的声学事件。然而，环境噪声随时间和跨传感器的变化性阻碍了当前用于声音事件检测（SED）的自动化系统（诸如时频域中的卷积神经网络（CNN））的可靠性。在这篇文章中，我们开发，基准测试，并结合了几个机器听技术，以提高SED模型在异构声学环境中的通用性。作为一个案例研究，我们考虑的问题，检测鸟类飞行电话从10小时的记录夜间鸟类迁徙，记录的网络中存在的异质背景噪声的六个ARU。从CNN在这项任务上产生最先进的准确性开始，我们介绍了两种噪声自适应技术，分别整合短期（60毫秒）和长期（30分钟）上下文。首先，我们在时频域中应用每通道能量归一化（PCEN），其对梅尔频谱图中的每个子带应用短期自动增益控制。其次，我们用上下文自适应神经网络（CA-NN）层代替网络中的最后一个稠密层。将它们结合起来会产生最先进的结果，这是单独人工数据增强无法比拟的。我们以BirdVoxDetect的名义发布了我们最佳性能系统的预训练版本，这是一种现场录音中鸟类飞行呼叫的即用型检测器。
2019-10-30 cs.AI cs.LG cs.SD
Automatic Identification of Animal Breeds and Species Using Bioacoustics and Artificial Neural Networks
Research Collaboratory for Advanced Intelligent Systems（高级智能系统研究合作中心）；Institute of Computer Science, University of the Philippines Los Baños（菲律宾大学洛斯巴诺斯分校计算机科学学院）
在这项研究工作中，假设动物在发声过程中产生的声音可以用作动物品种或物种的标识符，即使它们在没有辅助的人耳中听起来相同。为了验证这一假设，三个人工神经网络（ANN）开发使用生物声学特性作为输入分别自动识别的13种鸟类，8个狗品种，和11种青蛙。收集这些动物的发声记录，并使用几种已知的信号处理技术进行处理，以将相应的声音转换为可计算的生物声学值。转换值的发声，连同品种或物种的识别，被用来训练人工神经网络的10倍交叉验证技术。实验结果表明，所建立的神经网络对鸟类、狗和青蛙的正确识别率分别为71.43%、94.44%和90.91%。这一结果表明，生物声学和人工神经网络可以用来自动确定动物品种和物种，这两者一起可能是一个有前途的自动化工具，动物识别，生物多样性确定，动物保护，和其他动物福利的努力。
2015-07-20 cs.SD q-bio.QM
Automated Bioacoustic Monitoring for South African Bird Species on Unlabeled Data
University of Applied Sciences Darmstadt（达姆施塔特应用科学大学）；University of KwaZulu-Natal（夸祖鲁-纳塔尔大学）
针对生物声学监测标注数据不足、噪声干扰的问题，提出自动提取鸟类标注数据并嵌入噪声训练CRNN模型的框架，在南非城市真实环境下取得0.73的F1值，可快速适配更多物种用于保护项目。
2024-06-19 cs.CV cs.SD eess.AS
Soroll-IA: A Weakly Labeled Audio Dataset for Real-World Industrial Port Monitoring
Instituto Tecnologico de Informatica (ITI)（信息技术学院）
提出一个在西班牙瓦伦西亚真实工业港口环境中录制的弱标注音频数据集，包含22小时音频和26种声音事件类别，用于支持音频标注、弱监督声音事件检测及机器学习研究。
2026-06-26 cs.SD
Sonify Anything: Towards Context-Aware Sonic Interactions in AR
Technical University of Munich（慕尼黑技术大学）
针对AR中虚拟对象与真实对象交互缺乏自然声音的问题，提出利用计算机视觉识别材质并基于物理建模合成实时情境感知声音，用户研究证明其显著提升交互真实感和材质区分能力。
2025-08-03 cs.CV cs.HC cs.SD
The Patchkeeper: An Integrated Wearable Electronic Stethoscope with Multiple Sensors
本文设计集成 ECG、PPG、IMU 的可穿戴电子听诊器 Patchkeeper，支持长期、多部位高质量同步采集体音与生命体征，可由用户自行操作并服务于远程医疗诊断。
2024-12-06 cs.HC eess.SP
