A multi-room reverberant dataset for sound event localization and detection
Tampere University（坦佩雷大学）
本文介绍了DCASE 2019挑战赛的声音事件定位和检测（SELD）任务设置。SELD任务的目标是检测一组已知的声音事件类的时间活动，并在活动时进一步将它们定位在空间中。作为挑战的一部分，提供了具有与使用方位角和仰角表示的空间坐标相关联的每个声音事件的合成数据集。这些声音事件使用在具有不同尺寸和材料属性的五个不同房间中的多个空间坐标处收集的真实脉冲响应进行空间化。采用卷积递归神经网络的基线SELD方法用于为该混响数据集生成基准分数。基准分数是使用推荐的交叉验证设置获得的。
2019-05-24 cs.SD eess.AS
Sound Event Localization and Detection Using CRNN on Pairs of Microphones
Massachusetts Institute of Technology（麻省理工学院）；University of Surrey（萨里大学）
本文提出了多通道录音中声音事件的定位和检测方法。该系统是基于两个卷积递归神经网络（CRNN）执行声音事件检测（SED）和到达时间差（TDOA）估计的麦克风阵列中的每对麦克风。在本文中，该系统进行了评估与四麦克风阵列，从而结合从六对麦克风的结果，提供一个最终的分类和3-D的到达波达方向（DOA）估计。结果表明，所提出的方法优于DCASE 2019基线系统。
2019-10-22 cs.SD eess.AS
Location-Oriented Sound Event Localization and Detection with Spatial Mapping and Regression Localization
School of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）；Wuhan University of Technology（武汉理工大学）；Sanya Science and Education Innovation Park（三亚科技教育创新园）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出SMRL-SELD方法，通过空间映射和回归定位提升多音环境下的声学事件定位与检测性能。
2026-01-30 cs.SD eess.AS
Sound Event Localization and Detection Using Activity-Coupled Cartesian DOA Vector and RD3net
Sony Corporation（索尼公司）
本报告描述了我们提交给DCASE 2020任务3：声音事件定位和检测（SELD）的系统。我们考虑两个系统：一个是同时解决声音事件定位（SEL）和声音事件检测（SED）的单级系统，另一个是首先单独处理SED和SEL任务，然后将这些结果组合起来的两级系统。作为单阶段系统，我们提出了一个统一的训练框架，使用一个活动耦合的笛卡尔DOA向量~（ACCDOA）表示作为一个单一的目标，为SED和SEL任务。为了有效地估计声音事件的位置和活动，我们进一步提出了RD 3 Net，它结合了具有密集跳跃连接和膨胀的递归和卷积层。为了推广模型，我们应用了三种数据增强技术：均衡混合数据增强（EMDA），一阶Ambisonic~（FOA）信号的旋转和SpecAugment的多通道扩展。我们的系统比基线系统有了显著的改进。
2020-10-08 cs.SD eess.AS
Polyphonic Sound Event Detection and Localization using a Two-Stage Strategy
University of Surrey（萨里大学）；Qingdao University of Technology（青岛理工大学）
声音事件检测（SED）和定位是指识别声音事件并估计其空间和时间位置。使用神经网络已经成为SED的主流方法。在通常通过估计到达方向（DOA）来执行的声音定位领域中，最近已经开发了基于学习的方法。在本文中，它是实验表明，训练的SED模型是能够有助于波达方向估计（DOAE）。然而，SED和DOAE的联合训练降低了两者的性能。在此基础上，提出了一种两阶段的复音声音事件检测和定位方法。该方法首先学习SED，然后将学习到的特征层转移到DOAE。然后使用SED地面实况作为掩码来训练DOAE。该方法在DCASE 2019任务3数据集上进行了评估，该数据集包含不同环境中的不同重叠声音事件。实验结果表明，该方法能够提高SED和DOAE的性能，并且性能明显优于基线方法。
2019-11-05 cs.SD eess.AS
SLoClas: A Database for Joint Sound Localization and Classification
National University of Singapore（新加坡国立大学）
在这项工作中，我们提出了一个新的数据库，即声音定位和分类（SLoClas）语料库，研究和分析声音定位和分类的发展。该语料库包含使用4通道麦克风阵列记录的总计23.27小时的数据。通过以5度的间隔将到达方向（DoA）从1度改变到360度，在距阵列1.5米的距离处的扬声器上播放10类声音。为了便于研究噪声鲁棒性，使用相同的设备在4个DoA处记录了6种类型的室外噪声。此外，我们提出了一个基线方法，即声音定位和分类网络（SLCnet），并提出了实验结果和分析上收集的SLoClas数据库进行。我们实现了95.21%和80.01%的准确性，分别为声音定位和分类。我们公开发布此数据库和源代码用于研究目的。
2021-08-05 cs.DB cs.SD eess.AS
Search Disaster Victims using Sound Source Localization
Institute of Engineering, Pulchowk Campus（普尔乔克校区工程学院）；Sanothimi Campus, Tribhuvan University（特里布万大学萨诺蒂米校区）
声源定位（SSL）用于估计声源的位置。已经使用各种方法来检测声音及其定位。本文介绍了一种安装在三轮全方位驱动装置上的立体声声源定位系统，该系统由八个麦克风组成，分别放置在四个垂直相邻的面上，用于灾区灾民的检查和监测。所提出的方法通过使用广义互相关相位变换（GCC-PHAT）的网格搜索方法在3D空间上定位声源，该方法在缺乏可见性的现实生活场景中操作时是鲁棒的。计算出的方位角和仰角的受害人的声音被馈送到嵌入式全向驱动系统，该系统自动导航车辆朝向固定声源。
2021-03-10 cs.RO cs.SD eess.AS
Sound Source Localization is All about Cross-Modal Alignment
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Harvard University（哈佛大学）；POSTECH（浦项科技大学）；Yonsei University（延世大学）
本文提出将跨模态对齐与声源定位联合训练，以增强音视频语义理解能力，在声源定位和跨模态检索任务上均超越现有最先进方法。
2023-09-19 cs.AI cs.CV cs.MM
Joining Sound Event Detection and Localization Through Spatial Segregation
Technische Universität Berlin（柏林工业大学）；Ruhr-Universität Bochum（波鸿鲁尔大学）
声音的识别和定位都是计算听觉景物分析的重要组成部分。虽然每一个都可以单独解决，但形成连贯的听觉对象和实现全面的空间场景理解的目标建议追求这两个问题的联合解决方案。这项工作提出了一种方法，鲁棒绑定定位与双耳机器人系统中的声音事件的检测。这两个任务通过使用空间流分离来结合，该空间流分离产生可归因于单独位置的各个源的概率性时间-频率掩模，使得能够在这些流上操作分离的声音事件检测。我们使用模拟的一套全面的测试场景与多个共同出现的声源，并提出了性能措施，系统调查的影响场景复杂性，这种隔离检测的声音类型。分析空间场景布置的效果，我们展示了机器人如何通过最佳头部旋转来提高性能。此外，我们研究了隔离检测的性能，可能的定位误差以及错误的估计活动源的数量。我们的分析表明，所提出的方法是一种有效的方法来获得联合声音事件的位置和类型的信息在广泛的条件下。
2019-12-21 cs.SD eess.AS
Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Electrical Engineering, POSTECH（浦项工科大学电气工程系）；School of Engineering and Applied Sciences at Harvard University（哈佛大学工程与应用科学学院）
针对声源定位中跨模态交互被忽视的问题，提出新合成基准、新评估指标及跨模态对齐学习框架，显著提升定位性能并全面评估交互能力。
2024-07-18 cs.CV cs.MM cs.SD
Lightweight and Optimized Sound Source Localization and Tracking Methods for Open and Closed Microphone Array Configurations
Université de Sherbrooke（舍布鲁克大学）；Interdisciplinary Institute for Technological Innovation (3IT)（跨学科技术创新研究所（3IT））
自然环境中的人机交互需要过滤掉环境中的不同声音源。这种能力通常涉及使用麦克风阵列在线定位、跟踪和分离声源。多麦克风信号处理技术可以提高对噪声的鲁棒性，但是处理成本随着所使用的麦克风的数量而增加，限制了响应时间并且在不同类型的移动机器人上广泛使用。由于声源定位方法在计算资源方面是最昂贵的，因为它们涉及扫描大的3D空间，因此最小化所需的计算量将有助于它们在机器人上的实现和使用。机器人的形状也对麦克风阵列的几何形状和配置带来了约束。此外，声源定位方法通常返回噪声特征，这些噪声特征需要通过跟踪声源来进行平滑和滤波。本文提出了一种新的声源定位方法，称为SRP-PHAT-HDA，扫描空间与粗和细分辨率网格，以减少内存查找的数量。麦克风方向性模型用于减少要扫描的方向的数量并且忽略不重要的麦克风对。还介绍了一种配置方法来自动设置通常根据麦克风阵列的形状经验调谐的参数。对于声源跟踪，本文提出了一种改进的三维卡尔曼（M3 K）方法，能够同时跟踪三维声源的方向。使用16个麦克风阵列和低成本硬件，结果表明，SRP-PHAT-HSA和M3 K执行至少与其他声源定位和跟踪方法一样好，同时分别使用高达4倍和30倍的计算资源。
2018-12-01 cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
PILOT: Introducing Transformers for Probabilistic Sound Event Localization
Ruhr University Bochum（波鸿鲁尔大学）；NTT Communications Science Laboratories, NTT Corporation（日本电信电话株式会社通信科学实验室）
声音事件定位旨在估计环境中声源相对于声学接收器（例如麦克风阵列）的位置。该领域的最新进展主要集中在利用深度递归神经网络。受Transformer架构作为经典递归神经网络的合适替代方案的成功启发，本文介绍了一种新的基于transformer的声音事件定位框架，其中通过自我注意力机制捕获接收到的多声道音频信号中的时间依赖性。另外，所估计的声音事件位置被表示为多变量高斯变量，从而产生不确定性的附加概念，这是许多先前提出的为该应用设计的基于深度学习的系统没有提供的。该框架进行了评估，三个公开的多源声音事件定位数据集，并与最先进的方法在定位误差和事件检测精度方面进行比较。它在所有数据集上都优于所有竞争系统，在性能上具有统计学显著差异。
2021-06-07 cs.LG cs.SD eess.AS
Sound Event Localization based on Sound Intensity Vector Refined By DNN-Based Denoising and Source Separation
NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Ritsumeikan University（立命馆大学）
提出了一种用于声事件定位与检测的波达方向估计方法。使用深度神经网络（DNN）的DOA的直接估计，即完全数据驱动的方法，实现了高精度。然而，有一个单一的和重叠的源DOA估计的准确性之间的差距，因为他们不能把物理知识。同时，虽然基于物理的方法的准确性不如基于DNN的方法，但它对重叠源具有鲁棒性。在这项研究中，我们考虑了基于物理和基于DNN的方法的组合;基于DNN的去噪和源分离的基础上，改进了基于物理的DOA估计的声强向量（IV）。该方法能够实现球形麦克风阵列对单个声源和重叠声源的准确DOA估计。实验结果表明，所提出的方法达到了国家的最先进的DOA估计精度上的SELD的开放数据集。
2020-02-14 cs.SD eess.AS
A Dataset of Reverberant Spatial Sound Scenes with Moving Sources for Sound Event Localization and Detection
Tampere University（坦佩雷大学）
本报告介绍了DCASE 2020挑战赛的声音事件定位和检测（SELD）任务的数据集和评估设置。SELD任务是指试图同时对一组已知的声音事件类别进行分类，检测它们的时间激活，并在它们活跃时估计它们的空间方向或位置的问题。为了训练和测试SELD系统，需要在真实声学条件下发生的不同声音事件的数据集。与之前的挑战相比，DCASE 2020创建了一个更加复杂的数据集。两个关键的区别是更多样化的声学条件和动态条件，即移动源。空间声音场景是使用以连续方式捕获的真实房间脉冲响应与缓慢移动的激励源创建的。静态和运动的声音事件都是从它们合成的。现场记录的环境噪声被添加以完成场景记录的生成。基线SELD方法基于卷积递归神经网络伴随数据集，为任务提供基准分数。基线是上一个挑战中使用的基线的更新版本，具有输入功能和训练修改以提高其性能。
2020-06-27 cs.SD eess.AS
Multi-Sound-Source Localization Using Machine Learning for Small Autonomous Unmanned Vehicles with a Self-Rotating Bi-Microphone Array
New Mexico State University（新墨西哥州立大学）
摘要虽然基于视觉的定位技术已被广泛研究的小型自主无人驾驶车辆（SAUV），声源定位能力还没有完全启用SAUV。本文提出了两种新的方法SAUV执行三维（3D）多声源定位（MSSL）仅使用通道间的时间差（ICTD）信号产生的自旋转双麦克风阵列。所提出的两种方法基于两种机器学习技术，基于密度的空间聚类算法（DBSCAN）和随机采样一致性（RANSAC）算法，分别，其性能进行了测试和比较，在模拟和实验。结果表明，这两种方法都能够正确地识别声源的数量以及它们在混响环境中的3D方向。
2020-06-28 cs.RO cs.SD eess.AS
Reflection-Aware Sound Source Localization
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；KAIST（韩国科学技术院）
我们提出了一种新的，反射感知的方法在室内环境中的三维声音定位。与以前的方法，这主要是基于连续的声音信号从一个固定的源，我们的配方是为了本地化的位置瞬间从信号在一个单一的帧。我们考虑直接声音和间接声音信号，这些信号在天花板或墙壁等表面反射后到达麦克风。然后，我们使用逆声光线追踪生成并追踪直接和反射的声路径，并利用这些路径与蒙特卡洛定位来估计3D声源位置。我们已经实现了我们的方法与立方体形状的麦克风阵列的机器人和测试它对不同的设置与连续和间歇的声音信号与固定或移动源。在不同的设置中，我们的方法可以定位声音，在一个7米乘7米的房间中测试的平均距离误差为0.8米，高度为3米，包括移动和非视线声源。我们还发现，间接射线的建模增加了40%的定位精度相比，只使用直接声射线。
2017-11-21 cs.RO cs.SD eess.AS
How to Listen? Rethinking Visual Sound Localization
New York University（纽约大学）；Descript, Inc.（Descript公司）
定位视觉声音包括定位图像中发出声音的对象的位置。它是一个不断发展的研究领域，在监测自然和城市环境，如野生动物迁徙和城市交通方面具有潜在的应用。以前的工作通常使用主要具有单个主导可见对象的数据集进行评估，并且所提出的模型通常需要在训练或专用采样策略期间引入本地化模块，但目前尚不清楚这些设计选择如何在更具挑战性的场景中对这些方法的适应性发挥作用。在这项工作中，我们分析了各种模型的选择视觉声音定位和讨论他们的不同组件如何影响模型的性能，即编码器的架构，损失函数和定位策略。此外，我们通过挖掘跨越不同困难和特征的不同评估数据集，研究这些决策，模型性能和数据之间的相互作用，并讨论这些决策在实际应用中的影响。我们的代码和模型权重是开源的，可用于进一步的应用。
2022-04-11 cs.SD eess.AS
Fast and Robust 3-D Sound Source Localization with DSVD-PHAT
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了一种变形的奇异值分解与相位变换（SVD-PHAT），命名为差分SVD-PHAT（DSVD-PHAT），实现强大的声源定位（SSL）在嘈杂的条件下。实验是在Baxter机器人上进行的，机器人头部安装了四个麦克风平面阵列。结果表明，该方法提供了类似的鲁棒性的国家的最先进的多信号分类的基础上广义奇异值分解（GSVD-MUSIC）方法，噪声，并大大减少了计算量的一个因素250。因此，这种性能增益使得DSVD-PHAT在具有有限机载计算能力的机器人上的实时应用具有吸引力。
2019-07-29 cs.SD eess.AS
SVD-PHAT: A Fast Sound Source Localization Method
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了一种新的定位方法SVD-PHAT。SVD-PHAT方法依赖于SRP-PHAT投影矩阵的奇异值分解。还提出了一种k-d树，以加快搜索最可能的声音到达波达方向。我们表明，这种方法的准确执行SRP-PHAT，同时显着减少所需的计算量。
2019-02-11 cs.SD eess.AS eess.SP
A Survey of Sound Source Localization with Deep Learning Methods
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Orange Labs（奥兰治实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔理工学院）
本文综述了用于单个和多个声源定位的深度学习方法。我们特别感兴趣的声源定位在室内/家庭环境中，混响和扩散噪声存在。我们提供了一个详尽的地形的神经为基础的本地化文献在这种情况下，组织根据几个方面：神经网络架构，输入功能的类型，输出策略（分类或回归），用于模型训练和评估的数据类型，以及模型训练策略。通过这种方式，感兴趣的读者可以轻松地理解基于深度学习的声源定位方法的广阔全景。总结文献调查的表格提供了一个快速搜索的方法与一组给定的目标特性的文件的末尾。
2022-06-17 cs.LG cs.SD eess.AS
Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation（索尼集团公司）
虽然一些研究工作已经报道了在无约束视频中的视听声源定位，没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的，因为产生声音的位置不限于源对象的范围，而是振动通过周围对象传播和扩散。因此，我们提出了一个新的概念，发声对象，以减少声音的视觉位置的模糊性，使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标，我们制定的问题，视听探测对象定位（AVSOL）。我们还通过手动注释著名的视听事件（AVE）数据集的测试集来创建评估数据集（AVSOL-E数据集）。为了解决这个新的AVSOL问题，我们提出了一种新的多任务训练策略和架构，称为双归一化多任务（DNM），它将视听对应（AVC）任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督，我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS
Stereo sound event localization and detection based on PSELDnet pretraining and BiMamba sequence modeling
针对声音事件定位与检测任务中Transformer类模型计算复杂度高的问题，提出结合预训练PSELDnet与BiMamba序列建模的立体声检测系统，替换Conformer并引入非对称卷积，在DCASE2025 Task 3数据集上性能更优且复杂度更低。
2025-06-16 cs.SD eess.AS
Overview and Evaluation of Sound Event Localization and Detection in DCASE 2019
Tampere University（坦佩雷大学）
声音事件定位和检测是一个新的研究领域，出现了从感兴趣的声音的空间和时间活动方面分析声学场景的组合兴趣。本文概述了作为DCASE 2019挑战赛的一项任务，首次对声音事件定位和检测进行的国际评估。一个大规模的现实数据集的空间化的声音事件产生的挑战，用于训练的学习为基础的方法，并在未标记的子集的意见书的评估。概述详细介绍了如何对这些系统进行评估和排名，以及表现最佳的系统的特点。讨论了输入特征、模型架构、训练方法、先验知识利用和数据增强方面的常见策略。由于挑战赛的排名是基于对本地化和事件分类性能的单独评估，因此概述的一部分侧重于介绍用于联合测量两者的指标，以及使用这些新指标重新评估提交的内容。新的分析显示，在检测接近其原始位置的正确类型的事件的联合任务中，提交的表现优于在挑战中排名较高的一些提交。因此，排名的提交表现强劲时，分别进行检测或定位，但不联合在这两个，受到负面影响。
2021-01-11 cs.SD eess.AS
Audio Simulation for Sound Source Localization in Virtual Evironment
Home Team Science and Technology Agency（内政团队科技局）
提出结合物理声音传播仿真与机器学习的虚拟环境声源定位方法，利用音频 transformer 频谱图缓解数据不足问题，F1 分数达 0.786±0.0136。
2024-04-02 cs.LG cs.SD eess.AS
A hybrid parametric-deep learning approach for sound event localization and detection
这项工作描述并讨论了提交给DCASE 2019挑战赛的声音事件定位和检测任务的算法。所提出的方法依赖于用于源定位和检测的参数空间音频分析，结合基于深度学习的单声道事件分类器。所提出的算法的评估产生的总体结果相比，基线系统。主要亮点是与基线性能相比，评估数据集上的定位误差减少了2.6倍。
2019-08-27 cs.LG cs.SD eess.AS
Binaural Sound Event Localization and Detection Neural Network based on HRTF Localization Cues for Humanoid Robots
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对仿人机器人双耳输入在仰角估计和前后混淆上的不足，提出BiSELDnet，利用八通道双耳时频特征和HRTF线索，实现声音事件的同时检测与定位，并在城市噪声下显著优于SOTA模型。
2025-08-06 cs.SD eess.AS
Event-Independent Network for Polyphonic Sound Event Localization and Detection
University of Surrey（萨里大学）；ByteDance（字节跳动）
复调声音事件定位与检测不仅仅是检测正在发生的声音事件，而是定位相应的声源。这一系列任务首次在DCASE 2019任务3中引入。在2020年，声音事件定位和检测任务在移动声源和重复事件情况下引入了额外的挑战，其中包括具有两个不同到达方向（DoA）角度的两个相同类型的事件。本文提出了一种新的事件无关网络用于多音事件定位和检测。与我们在DCASE 2019任务3中提出的两阶段方法不同，这个新网络是完全端到端的。网络的输入是一阶Ambisonics（FOA）时域信号，然后将其馈送到1-D卷积层以提取声学特征。然后，网络被分成两个并行的分支。第一分支用于声音事件检测（SED），并且第二分支用于DoA估计。网络中有三种类型的预测：SED预测、DoA预测和事件活动检测（EAD）预测，它们用于组合SED和DoA特征以进行开始和结束估计。所有这些预测都具有两个轨迹的格式，表明最多有两个重叠的事件。在每一个轨迹中，最多只能有一个事件发生。这种架构引入了轨道排列的问题。为了解决这个问题，使用帧级置换不变训练方法。实验结果表明，该方法可以检测出复调声音事件及其对应的DOA。在Task 3数据集上的性能与基线方法相比有了很大的提高。
2020-09-30 cs.SD eess.AS
Leveraging Sound Source Trajectories for Universal Sound Separation
National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（国家级通用人工智能重点实验室，智能科学与技术学院，北京大学）
提出一种利用声源定位与分离相互促进机制的方法，通过迭代跟踪和波束形成实现移动声源的精确分离。
2026-06-15 cs.SD eess.AS
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
视听声源定位的任务已经得到了很好的研究，在受约束的场景，其中的音频记录是干净的。然而，在现实世界中，音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程，使以前的研究不适用。在这项工作中，我们提出了干扰擦除器（IEr）框架，它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说，我们观察到，由于音频信号的加性，以前只学习单个音频表示的做法是不够的。因此，我们用我们的音频实例标识符模块扩展了音频表示，当不同音量的音频信号不均匀混合时，该模块可以清楚地区分发声实例。然后，我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明，我们提出的框架取得了优异的成绩，声音定位任务，特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
Graph neural networks for sound source localization on distributed microphone networks
Department of Electrical and Electronic Engineering, Imperial College London（伦敦帝国理工学院电气与电子工程系）
针对分布式麦克风阵列需处理可变输入通道的挑战，提出基于Relation Network GNN的声源定位方法，实验证明其显著优于经典基线。
2023-06-28 cs.SD eess.AS
Infrastructure-less Localization from Indoor Environmental Sounds Based on Spectral Decomposition and Spatial Likelihood Model
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院（AIST））
针对室内环境声定位中低信噪比和声音非唯一性问题，提出一种基于有监督频谱分解（NMF）和空间似然模型的麦克风定位方法，在12x30m实验中证明其比MFCC更鲁棒且易于结合先验分布。
2024-03-26 cs.SD eess.AS
Learning Multiple Sound Source 2D Localization
IBM Research（IBM研究院）；MINES ParisTech - PSL Research University（巴黎高等矿业学院 - PSL研究大学）
在本文中，我们提出了新的基于深度学习的多声源定位算法。具体来说，我们的目标是找到多个声源在封闭的环境中，通过使用多个麦克风阵列的二维笛卡尔坐标。为此，我们使用了一个编码解码架构，并提出了两个改进，它来完成任务。此外，我们还提出了两个新的本地化表示，提高了准确性。最后，新的指标开发依赖于基于分辨率的多源关联，使我们能够评估和比较不同的定位方法。我们在合成和真实世界的数据上测试了我们的方法。结果表明，我们的方法改进了以前的基线方法对这个问题。
2020-12-10 cs.LG cs.SD eess.AS
Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）
在鸡尾酒会中有区别地定位发声对象，即，混合声音场景，对于人类来说是司空见惯的，但对于机器来说仍然具有挑战性。在本文中，我们提出了一个两阶段的学习框架来执行自我监督类感知的发声对象定位。首先，我们建议通过聚合单个源场景中的候选声音定位结果来学习鲁棒的对象表示。然后，类感知的对象定位地图生成鸡尾酒会的情况下，通过参考预先学习的对象知识，并相应地选择发声对象通过匹配音频和视觉对象类别分布，其中视听一致性被视为自监督信号。在现实和合成的鸡尾酒会视频的实验结果表明，我们的模型是优越的，在过滤出沉默的对象，并指出不同类别的发声对象的位置。代码可在https://github.com/DTaoo/Discriminative-Sounding-Objects-Localization上获得。
2020-10-12 cs.CV cs.LG cs.MM
SoundDet: Polyphonic Moving Sound Event Detection and Localization from Raw Waveform
University of Oxford（牛津大学）
我们提出了一个新的框架SoundDet，这是一个端到端的可训练和轻量级的框架，用于多音移动声音事件检测和定位。现有方法通常通过将原始波形预处理成时间-频率表示来解决这个问题，这更适合于用完善的图像处理流水线来处理。现有方法也以分段方式检测，导致不完全和部分检测。SoundDet采用一种新颖的方法，直接消耗原始的多通道波形，并将时空声音事件视为要检测的完整“声音对象”。具体来说，SoundDet由一个骨干神经网络和两个分别用于时间检测和空间定位的并行头组成。考虑到原始波形的大采样率，骨干网络首先学习一组相位敏感和频率选择性滤波器组，以显式地保留到达方向信息，同时比标准1D/2D卷积在计算和参数上更高效。然后构建密集的声音事件建议图来处理预测具有大的变化的持续时间的事件的挑战。伴随密集提议图的是时间平滑度图和运动平滑度图，其从时间检测准确性和运动一致性的角度测量提议作为事件的置信度。涉及这两个地图保证了SoundDet以时空统一的方式进行训练。在公共DCASE数据集上的实验结果显示了SoundDet在基于片段和我们新提出的基于事件的评估系统上的优势。
2021-08-21 cs.LG cs.SD eess.AS
Enemy Spotted: in-game gun sound dataset for gunshot classification and localization
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
最近，基于深度学习的方法由于其在声音分类和定位任务中没有领域知识的简单而高的性能而引起了巨大的关注。然而，现有数据集中缺乏枪声一直是实现支持系统的主要障碍，该系统通过利用深度学习模型从枪声中发现罪犯。由于枪声的发生是罕见和不可预测的，在现实世界中收集枪声是不切实际的。作为替代方案，枪声可以从旨在模拟真实世界战争的FPS游戏中获得。最近的FPS游戏提供了一个逼真的环境，我们可以安全地收集枪击数据，同时模拟甚至危险的情况。通过利用游戏环境的优势，我们构建了一个枪击数据集，即BGG，用于枪支分类和枪击定位任务。BGG数据集包括37种不同类型的枪支，声源和接收器之间的距离和方向。我们通过在BGG数据集上训练几个声音分类和定位基线，仔细验证了游戏中的枪声数据有足够的信息来识别枪声的位置和类型。之后，我们证明了利用BGG数据集可以提高真实世界枪支分类和定位任务的准确性。
2023-02-17 cs.AI cs.SD eess.AS
A Signal Subspace Rotation Method for Localization of Multiple Wideband Sound Sources
Huawei German Research Center（华为德国研究中心）；Starkey Hearing Technologies（斯达克听力技术公司）
本文研究了将窄带多通道声源定位算法推广到宽带情况下的问题。窄带算法的DOA估计是基于声源麦克风之间的通道间相位差（IPD）的估计。提出了一种基于信号子空间旋转的宽带声源DOA估计新方法。该算法通过将估计的信号子空间旋转到特征向量域中的宽带对应子空间来归一化窄带信号统计。然后，宽带DOA估计可以通过估计归一化IPD从这些宽带信号的统计。除了与针对宽带信号的所有相关频率重复窄带算法相比需要更少的计算复杂度之外，所提出的方法也不需要任何额外的先验知识。实验结果证明了该方法的有效性和鲁棒性。
2019-06-20 cs.SD eess.AS
Exploiting Attention-based Sequence-to-Sequence Architectures for Sound Event Localization
Ruhr University Bochum（波鸿鲁尔大学）；NTT Corporation（日本电报电话公司）
与经典参数方法相比，基于深度神经网络的声音事件定位框架已经显示出关于混响和噪声的增加的鲁棒性。特别是，经常性的架构，将时间背景的估计过程似乎是非常适合这项任务。本文提出了一种新的方法，利用注意力为基础的序列到序列模型的声音事件定位。这些类型的模型已成功地应用于自然语言处理和自动语音识别中的问题。在这项工作中，多声道音频信号被编码到一个潜在的表示，这是随后解码到一个序列的估计方向的到来。这里，注意力允许通过聚焦于与估计当前时间步处的声音事件的活动和到达方向相关的特定帧来捕获音频信号中的时间依赖性。该框架进行评估的声音事件本地化的三个公开可用的数据集。它产生优越的定位性能相比，国家的最先进的方法在消声和混响条件。
2021-02-28 cs.LG cs.SD eess.AS
Assessing the Potential Impact of Direction-Dependent HRTF Selection on Sound Localization Accuracy
School of Electrical and Computer Engineering, Ben Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）；Reality Labs Research, Meta（Meta现实实验室研究部）
本文研究方向相关HRTF选择对声音定位精度的影响，通过VR头显实验证明该方法能显著降低仰角定位误差，而方位角误差无显著差异，为无需个性化HRTF即可提升定位精度提供了依据。
2024-08-08 cs.SD eess.AS
FlowGrad: Using Motion for Visual Sound Source Localization
Universitat Pompeu Fabra（庞培法布拉大学）；New York University（纽约大学）
本文提出FlowGrad，通过光流引入时间运动信息，改进城市交通等复杂场景下的视觉声源定位性能，并分析了该方法的优势与不足。
2023-04-14 cs.CV cs.MM cs.SD
Multi-scale Multi-instance Visual Sound Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Xiaohongshu（小红书）
本文提出多尺度多实例视觉声源定位框架M2VSL，通过可学习多尺度视觉特征与多尺度多实例Transformer聚合跨模态表示，在多个基准上实现发声物体定位与分割的最先进性能。
2024-08-31 cs.CV cs.LG cs.MM
ACCDOA: Activity-Coupled Cartesian Direction of Arrival Representation for Sound Event Localization and Detection
Sony Corporation（索尼公司）
基于神经网络（NN）的方法在声音事件定位和检测（SELD）中表现出很高的性能。传统的基于神经网络的方法使用两个分支的声音事件检测（SED）目标和到达方向（DOA）目标。单网络的双分支表示法在优化过程中必须决定如何平衡两个目标。使用两个专用于每个任务的网络会增加系统复杂性和网络规模。为了解决这些问题，我们提出了一个活动耦合的笛卡尔DOA（ACCDOA）表示，它分配一个声音事件活动的长度相应的笛卡尔DOA向量。ACCDOA表示使我们能够解决SELD任务与一个单一的目标，并有两个优点：避免平衡的目标和模型大小的增加的必要性。在DCASE 2020任务3数据集的实验评估中，ACCDOA表示在SELD指标中的表现优于两个分支表示，网络大小较小。基于ACCDOA的SELD系统在定位和位置相关检测方面也比最先进的SELD系统表现得更好。
2021-02-15 cs.SD eess.AS
Sound Source Localization in a Multipath Environment Using Convolutional Neural Networks
Australian Centre for Field Robotics（澳大利亚野外机器人中心）；Computing and Audio Research Laboratory（计算与音频研究实验室）；The University of Sydney（悉尼大学）
声在浅水环境中的传播的特征在于来自海面和海底的边界反射。这些反射导致多个（间接）声音传播路径，这会降低被动声源定位方法的性能。本文提出了使用卷积神经网络（CNN）的宽带声辐射噪声源（如机动船）在浅水多径环境中的定位。结果表明，CNN倒谱图和广义交叉相关图输入操作能够更可靠地估计瞬时范围和轴承的过境机动船舶时，传统的被动测距方法的源定位性能下降。随后的改进，在源定位性能证明使用在海上实验中收集的真实数据。
2017-10-27 cs.CV cs.SD eess.AS
Single-Microphone-Based Sound Source Localization for Mobile Robots in Reverberant Environments
针对现有声源定位依赖多麦克风阵列的问题，提出一种基于移动机器人单麦克风的在线定位方法，利用43k参数轻量网络估计距离并经扩展卡尔曼滤波实现定位，实验验证有效并开源。
2025-06-19 cs.RO cs.SD eess.AS
Improved feature extraction for CRNN-based multiple sound source localization
Orange Labs（Orange实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；GIPSA-lab（GIPSA实验室）
在这项工作中，我们建议扩展一个国家的最先进的多源定位系统的基础上的卷积递归神经网络和高保真度立体声信号。我们通过改变卷积层和池化层之间的布局，显著提高了基线网络的性能。我们提出了几种配置，其中包含更多的卷积层和更小的池大小，以便在层之间丢失更少的信息，从而获得更好的特征提取。同时，我们测试了系统定位多达3个源的能力，在这种情况下，改进的特征提取提供了最显着的提高准确性。我们评估和比较这些改进的配置合成和真实世界的数据。所得结果显示，与基线网络相比，多声源定位性能有了相当大的改善。
2021-05-05 cs.SD eess.AS
CoLoC: Conditioned Localizer and Classifier for Sound Event Localization and Detection
Samsung R\&D Institute Poland Warsaw, Poland
在这篇文章中，我们描述了条件定位器和分类器（CoLoC），这是一种新的解决方案的声音事件定位和检测（SELD）。该解决方案由两个阶段组成：首先进行定位，然后根据定位器的输出进行分类。为了解决未知源数目的问题，我们采用了借用顺序集生成（SSG）的思想。这两个阶段的模型都是SELDnet类CRNN，但具有单一输出。推理表明，这两个单输出模型都适用于SELD任务。我们证明了我们的解决方案在STARSS22数据集的大多数指标上都比基线系统有所改进。
2022-10-25 cs.LG cs.SD eess.AS
A Two-Step Learning Framework for Enhancing Sound Event Localization and Detection
Hyundai Motor Company（现代汽车公司）
针对现有声音事件定位与检测方法单分支优化冲突、双分支信息交互受限的问题，提出含轨迹重排序、分任务训练、特征融合的两步学习框架，经DCASE 2023任务3数据集验证可提升分类与定位性能。
2025-07-30 cs.SD eess.AS
Wearable SELD dataset: Dataset for sound event localization and detection using wearable devices around head
Waseda University（早稻田大学）；NTT Corporation（日本电信电话公司）
声音事件定位与检测（SELD）是识别声音事件及其方向的组合任务。利用深度神经网络（DNN）将它们与麦克风阵列观察到的声音信号相关联。虽然立体声麦克风在SELD的文献中很受欢迎，但由于其预定的几何形状，它们可能会限制应用范围。某些应用（包括在步行时执行SELD的行人）需要可穿戴麦克风阵列，其几何形状可以设计为适合任务。在本文中，这样一个可穿戴SELD的发展，我们提出了一个名为可穿戴SELD数据集的数据集。它由放置在头部和躯干模拟器（HATS）上的24个麦克风记录的数据组成，其中一些配件模仿可穿戴设备（眼镜，耳机和耳机）。我们还提供了SELD的实验结果，使用建议的数据集和SELDNet调查麦克风配置的效果。
2022-02-17 cs.SD eess.AS
Sound Localization by Self-Supervised Time Delay Estimation
University of Michigan（密歇根大学）
声音到达立体声对中的一个麦克风比另一个更快，导致两耳间的时间延迟，从而传达它们的方向。估计声音的时间延迟需要找到每个麦克风记录的信号之间的对应关系。我们建议通过自我监督来学习这些对应关系，借鉴视觉跟踪的最新技术。我们采用Jabri等人的对比随机游走，从未标记的立体声中学习周期一致的表示，从而产生一个模型，该模型与“野外”互联网录音的监督方法不相上下。我们还提出了一个多模态对比学习模型，解决了视觉引导的定位任务：估计时间延迟为一个特定的人在多扬声器混合，给定的视觉表示他们的脸。项目网址：https://ificl.github.io/stereocrw/
2023-01-28 cs.CV cs.SD eess.AS
Connectionist Temporal Localization for Sound Event Detection with Sequential Labeling
Carnegie Mellon University（卡内基梅隆大学）
弱标记声音事件检测（SED）的研究主要集中在存在/不存在标记上，该标记完全不提供事件发生的时间信息。在本文中，我们认为SED与顺序标签，它指定的时间顺序的事件边界。传统的联结主义时态分类（CTC）框架在应用于具有顺序标记的SED时，由于“峰值聚集”问题而无法很好地定位长事件。我们适应CTC框架，并提出了连接主义的时间定位（CTL），成功地解决了这个问题。对音频集子集的评估表明，CTL关闭了存在/不存在标记和强标记之间的差距的三分之一，证明了额外的时间信息在顺序标记中的有用性。CTL还使得将顺序标记与存在/不存在标记和强标记容易地结合。
2019-02-19 cs.SD eess.AS
The Neural-SRP method for positional sound source localization
Imperial College（帝国理工学院）
针对高混响环境下SRP定位性能下降及现有DNN对麦克风拓扑适应性差的问题，提出结合SRP灵活性与DNN性能的Neural-SRP方法，通过模拟数据和迁移学习训练，显著提升定位性能。
2024-03-14 cs.SD eess.AS
Sound Localization from Motion: Jointly Learning Sound Direction and Camera Rotation
University of Michigan（密歇根大学）
该研究提出“运动声音定位（SLfM）”任务，通过自监督联合训练视觉与音频模型，结合跨视图双耳化学习视听表征，实现独立部署的相机旋转估计与声源定位，性能达到自监督领域先进水平。
2023-08-21 cs.CV cs.SD eess.AS
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University（隆德大学）；Arm（安谋科技）；Sony（索尼）；Tenstorrent
提出将3D声源定位建模为集合到集合回归，用多模态掩码自编码器处理音频和麦克风坐标，重建掩码坐标实现定位，支持任意麦克风数量及缺失数据，在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
Sound Localization and Separation in Three-dimensional Space Using a Single Microphone with a Metamaterial Enclosure
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
传统的声音定位和分离方法是基于人工系统中的麦克风阵列。受人类听觉系统选择性感知的启发，我们设计了一个多源听音系统，它可以分离同时重叠的声音，并定位在三维空间中的声源，只有一个麦克风与超材料外壳。外壳通过向每个方向提供签名，以方向相关的方式修改麦克风的频率响应。因此，关于声源的位置和音频内容的信息可以使用压缩感知算法从调制的混合信号中实验性地重建。由于所提出的重建算法的低计算复杂性，所设计的系统也可以应用于源识别和跟踪。通过多次随机收听测试，证明了该系统在多种真实场景下的有效性。基于超材料的单传感器听觉系统为声音定位和分离开辟了一条新的途径，可应用于智能场景监控和机器人听觉。
2019-11-07 cs.SD eess.AS physics.app-ph
