CoLoC: Conditioned Localizer and Classifier for Sound Event Localization and Detection
Samsung R\&D Institute Poland Warsaw, Poland
在这篇文章中，我们描述了条件定位器和分类器（CoLoC），这是一种新的解决方案的声音事件定位和检测（SELD）。该解决方案由两个阶段组成：首先进行定位，然后根据定位器的输出进行分类。为了解决未知源数目的问题，我们采用了借用顺序集生成（SSG）的思想。这两个阶段的模型都是SELDnet类CRNN，但具有单一输出。推理表明，这两个单输出模型都适用于SELD任务。我们证明了我们的解决方案在STARSS22数据集的大多数指标上都比基线系统有所改进。
2022-10-25 cs.LG cs.SD eess.AS
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University（隆德大学）；Arm（安谋科技）；Sony（索尼）；Tenstorrent
提出将3D声源定位建模为集合到集合回归，用多模态掩码自编码器处理音频和麦克风坐标，重建掩码坐标实现定位，支持任意麦克风数量及缺失数据，在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
Localization, Detection and Tracking of Multiple Moving Sound Sources with a Convolutional Recurrent Neural Network
Tampere University（坦佩雷大学）
本文研究了联合定位，检测和跟踪的声音事件使用卷积循环神经网络（CRNN）。我们使用CRNN先前提出的固定源的定位和检测，并表明，经常性的层，使运动源的空间跟踪时，训练与动态场景。CRNN的跟踪性能进行了比较，一个独立的跟踪方法，结合了多源（DOA）估计和粒子滤波。他们各自的性能进行评估，在各种声学条件下，如消声和混响的情况下，固定和移动源在几个角速度，并与不同数量的重叠源。结果表明，CRNN设法跟踪多个源更一致的声学场景比参数的方法，但在较高的定位误差的成本。
2019-04-29 cs.LG cs.SD eess.AS
A two-step system for sound event localization and detection
Singtel（新加坡电信）
声音事件检测和声音事件定位需要与音频输入信号不同的特征。虽然声音事件检测主要依赖于时间-频率模式来区分不同的事件类别，但声音事件定位使用麦克风之间的幅度或相位差来估计源方向。因此，我们提出了一个两步系统来做声音事件定位和检测。在第一步中，我们分别检测声音事件和估计到达方向。在第二步中，我们将事件检测器和到达方向估计器的结果结合在一起。所获得的结果显示，与DCASE 2019任务3挑战中的声音事件定位和检测的基线解决方案相比，有了显着的改进。使用评估数据集，所提出的系统实现了93.4%的F1分数的声音事件检测和5.4度的到达方向估计的误差，而获胜的解决方案分别实现了94.7%的F1分数和3.7度的角度误差。
2019-11-26 cs.SD eess.AS
Acoustic-Net: A Novel Neural Network for Sound Localization and Quantification
Xiamen University（厦门大学）；University of Engineering and Technology (UET) Lahore（拉合尔工程技术大学）
声源定位在航空、海洋等领域有着广泛的应用，通常利用多个传声器阵列数据来重建声源位置。然而，基于模型的波束形成方法无法实现传统波束形成图的高分辨率。深度神经网络也适用于声源定位，但一般来说，这些具有复杂网络结构的方法很难被硬件识别。在本文中，一种新的神经网络，称为声学网络，提出了简单地使用原始信号的声源定位和量化。实验结果表明，该方法显著提高了声源预测的准确性和计算速度，具有较好的泛化能力。代码和训练模型可在https://github.com/JoaquinChou/Acoustic-Net上获得。
2022-03-31 cs.LG cs.SD eess.AS
Quaternion Convolutional Neural Networks for Detection and Localization of 3D Sound Events
Sapienza University of Rome（罗马第一大学）
从四元数域中的数据学习使我们能够利用4D信号的内部依赖性，并将它们视为单个实体。其中一个非常适合四元数数据处理的模型是用三维声信号的球谐分解来表示的。在本文中，我们解决的问题，定位和检测的声音事件在空间声场中使用四元数值数据处理。特别是，我们认为一阶立体混响麦克风捕获的信号的球谐分量，并通过使用四元数卷积神经网络处理它们。实验结果表明，该方法利用了立体混响信号的相关性，从而提高了3D声音事件检测和定位的准确性。
2018-12-17 cs.LG cs.SD eess.AS
Deep Residual Network for Sound Source Localization in the Time Domain
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Tsinghua University（清华大学）
本研究提出一种使用深度残差神经网络的时域声源定位系统。来自具有3cm间距的线性8通道麦克风阵列的数据由网络用于方向估计。我们建议使用深度残差网络进行声源定位，将定位任务视为分类任务。本研究描述了收集的数据集和神经网络的开发架构。本研究将展示训练过程及其结果。开发的系统进行了测试，验证部分的数据集和新的数据捕获在实时的。对30 m s的声音帧的分类准确率为99.2%。声源定位的标准差为4°。所提出的声源定位方法在语音识别流水线内部进行了测试。与使用GCC-PHAT声源定位的类似语音识别管道相比，其使用降低了1.14%的单词出错率。
2018-08-20 cs.SD eess.AS
A hybrid parametric-deep learning approach for sound event localization and detection
这项工作描述并讨论了提交给DCASE 2019挑战赛的声音事件定位和检测任务的算法。所提出的方法依赖于用于源定位和检测的参数空间音频分析，结合基于深度学习的单声道事件分类器。所提出的算法的评估产生的总体结果相比，基线系统。主要亮点是与基线性能相比，评估数据集上的定位误差减少了2.6倍。
2019-08-27 cs.LG cs.SD eess.AS
Ensemble of Discriminators for Domain Adaptation in Multiple Sound Source 2D Localization
IBM Research（IBM研究院）；MINES ParisTech - PSL Research University（巴黎高等矿业学院 - PSL研究大学）
本文介绍了一种集成的鉴别器，提高了多声源定位的域自适应技术的准确性。最近，深度神经网络已经为这项任务带来了有希望的结果，但它们需要大量的标记数据进行训练。记录和标记这样的数据集是非常昂贵的，特别是因为数据需要足够多样化以覆盖不同的声学条件。在本文中，我们利用声学模拟器来廉价地生成标记的训练样本。然而，由于域不匹配，在合成数据上训练的模型往往在真实世界的记录中表现不佳。为此，我们探索了两种使用对抗学习进行声源定位的域自适应方法，这些方法使用标记的合成数据和未标记的真实数据。我们提出了一种新的集成方法，结合应用于不同特征层次的本地化模型的鉴别器。实验表明，我们的集成判别方法显着提高了定位性能，而不需要任何标签的真实数据。
2021-03-16 cs.LG cs.SD eess.AS
Indoor Sound Source Localization with Probabilistic Neural Network
Northwestern Polytechnical University（西北工业大学）；STMIK Raharja（拉哈尔雅信息与计算机管理学院）
高混响、低信噪比等恶劣环境对室内声源定位提出了很大的挑战。针对这一问题，本文提出了一种基于概率神经网络的声源定位算法，即广义互相关分类算法（GCA）。在混响时间T60高达600 ms、信噪比为-10dB的恶劣环境下的实验结果表明，GCA算法的平均方位角误差和俯仰角误差分别仅为4.6 °和3.1 °。与最近发表的三种算法相比，GCA显著提高了波达方向估计的成功率，并且对环境变化具有良好的鲁棒性。这些结果表明，所提出的GCA可以定位准确和鲁棒性的不同的室内应用，现场声学特征可以研究之前的定位阶段。
2017-12-21 cs.LG cs.SD eess.AS
Adjoint-Based Identification of Sound Sources for Sound Reinforcement and Source Localization
声源识别是声学中的一个常见问题。寻求不同的参数，其中包括源的信号和位置。我们提出了一种基于伴随的声源识别方法，采用计算航空声学技术。两个不同的应用程序作为一个概念验证：优化的扩声设置和（移动）声源的本地化。
2023-01-20 cs.SD eess.AS physics.flu-dyn
Sound Event Detection and Localization with Distance Estimation
Faculty of Information Technology and Communication Sciences（信息科学与技术学院）；Tampere University（坦佩雷大学）
本文提出3D SELD任务，通过多任务输出或扩展multi-ACCDOA的单任务方式加入距离估计，并在STARSS23上验证其不会损害事件检测与DOA性能。
2024-06-12 cs.LG cs.SD eess.AS
Spatial Scaper: A Library to Simulate and Augment Soundscapes for Sound Event Localization and Detection in Realistic Rooms
Music and Audio Research Laboratory, New York University（纽约大学音乐与音频研究实验室）；Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院）
本文提出SpatialScaper库，通过参数化虚拟房间与增强流程生成SELD数据，并在DCASE数据上验证声学多样性可提升模型鲁棒性。
2024-01-19 cs.LG cs.SD eess.AS
Sound event localization and classification using WASN in Outdoor Environment
Joint Laboratory of Environmental Sound Sensing, School of Marine Science and Technology, Northwestern Polytechnical University（环境声音感知联合实验室、海洋科学与技术学院、西北工业大学）；School of Electrical and Electronic Engineering, Nanyang Technological University（电子与电气工程学院、南洋理工大学）；Institute of Acoustics, Chinese Academy of Sciences（声学研究所、中国科学院）；Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano（电子、信息与生物工程系（DEIB）、米兰理工大学）；School of Marine Science and Technology, Northwestern Polytechnical University（海洋科学与技术学院、西北工业大学）；Department of Signal Theory and Communications, Universidad Carlos III de Madrid（信号理论与通信系、卡洛斯三世大学）
本文提出一种基于深度学习的声学方法，利用多特征和注意力机制提升户外环境中声音事件定位与分类的准确性。
2026-01-24 cs.LG cs.SD eess.AS
Do We Need Sound for Sound Source Localization?
Waseda University（早稻田大学）
在使用视觉和听觉信息进行声源定位的过程中，目前仍不清楚图像或声音模态对结果的贡献有多大，即我们是否需要图像和声音来进行声源定位？为了解决这个问题，我们开发了一个无监督学习系统，该系统通过将该任务分解为两个步骤来解决声源定位：（i）“潜在声源定位”，一个仅使用视觉信息定位可能声源的步骤（ii）“对象选择”，一个使用听觉信息识别哪些对象实际发声的步骤。我们的整个系统在声源定位方面实现了最先进的性能，更重要的是，我们发现，尽管对可用信息有约束，但（i）的结果实现了类似的性能。从这个观察和进一步的实验，我们表明，视觉信息是占主导地位的“声音”源定位时，目前采用的基准数据集进行评估。此外，我们表明，在这个数据集中的样本内的大多数声音产生的对象可以固有地识别仅使用视觉信息，因此，该数据集是不足以评估系统的能力，利用听觉信息。作为一种替代方案，我们提出了一个评估协议，强制执行视觉和听觉信息被利用，并通过几个实验验证此属性。
2020-07-11 cs.CV cs.SD eess.AS
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
Feature Aggregation in Joint Sound Classification and Localization Neural Networks
San Diego State University（圣地亚哥州立大学）
针对现有声源定位网络缺乏特征聚合的问题，将计算机视觉的特征聚合技术适配到声音检测网络，提出更紧凑的SEN聚合器，实验证明其在分类和定位任务上均优于SELDnet基准模型。
2024-01-27 cs.LG cs.SD eess.AS
Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）
在鸡尾酒会中有区别地定位发声对象，即，混合声音场景，对于人类来说是司空见惯的，但对于机器来说仍然具有挑战性。在本文中，我们提出了一个两阶段的学习框架来执行自我监督类感知的发声对象定位。首先，我们建议通过聚合单个源场景中的候选声音定位结果来学习鲁棒的对象表示。然后，类感知的对象定位地图生成鸡尾酒会的情况下，通过参考预先学习的对象知识，并相应地选择发声对象通过匹配音频和视觉对象类别分布，其中视听一致性被视为自监督信号。在现实和合成的鸡尾酒会视频的实验结果表明，我们的模型是优越的，在过滤出沉默的对象，并指出不同类别的发声对象的位置。代码可在https://github.com/DTaoo/Discriminative-Sounding-Objects-Localization上获得。
2020-10-12 cs.CV cs.LG cs.MM
Performance Comparison of UCA and UCCA based Real-time Sound Source Localization Systems using Circular Harmonics SRP Method
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于圆形麦克风阵列（CMA）的声源定位（SSL）算法，包括均匀圆形阵列（UCA）和均匀同心圆阵列（UCCA），已经得到了很好的发展，并通过计算机仿真和离线处理得到了验证。另一方面，谐波域中的波束形成已被证明是一个非常有效的工具，宽带声源定位，由于其频率不变的属性。本文讨论了一个实时声源定位系统的设计、实现和性能。具体而言，我们分析了参数设置的效果，并通过在真实房间中的实时实验比较UCA和UCCA之间的性能。通过使用UCCA代替UCA，该方法显示出显着的改进。
2019-11-28 cs.SD eess.AS
BAST: Binaural Audio Spectrogram Transformer for Binaural Sound Localization
Maastricht University（马斯特里赫特大学）；Utrecht University（乌得勒支大学）；Radboud University（拉德堡德大学）；Donders Institute for Brain Cognition and Behavior（唐德斯脑认知与行为研究所）
本文提出端到端双耳音频频谱Transformer模型BAST，通过差分双耳积分与混合损失在消声和混响环境中实现高精度声源方位预测，显著超越CNN方法并验证了双耳Transformer的可行性。
2024-08-07 cs.LG cs.SD eess.AS
Multi-scale Multi-instance Visual Sound Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Xiaohongshu（小红书）
本文提出多尺度多实例视觉声源定位框架M2VSL，通过可学习多尺度视觉特征与多尺度多实例Transformer聚合跨模态表示，在多个基准上实现发声物体定位与分割的最先进性能。
2024-08-31 cs.CV cs.LG cs.MM
Data-Efficient Framework for Real-world Multiple Sound Source 2D Localization
IBM Research Tokyo（IBM东京研究院）
深度神经网络最近在多声源定位任务中取得了令人鼓舞的成果。然而，它们需要大量的训练数据来覆盖各种声学条件和麦克风阵列布局。人们可以利用声学模拟器来廉价地生成标记的训练数据。然而，由于域不匹配，在合成数据上训练的模型往往在真实世界的记录中表现不佳。此外，学习不同的麦克风阵列布局使任务更加复杂，因为可能的布局数量是无限的。我们建议使用对抗性学习方法来缩小合成域和真实域之间的差距。我们的新的合奏歧视方法显着提高了本地化性能，而不需要任何标签的真实数据。此外，我们提出了一种新的显式转换层嵌入本地化架构。它使模型能够使用来自特定麦克风阵列布局的数据进行训练，同时在推理过程中很好地推广到看不见的布局。
2021-03-17 cs.LG cs.SD eess.AS
Phased Microphone Array for Sound Source Localization with Deep Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai KeyGo Technology Company Limited（上海开构科技有限公司）
对于相控麦克风阵列声源定位来说，兼顾高计算效率和高精度的算法是一个执着的追求。本文将卷积神经网络（CNN）作为一种新的深度学习算法进行了初步应用。在高频下，CNN可以在与传统波束形成一样短的非常短的时间内以与DAMAS一样好的优异空间分辨率重建声音定位。这一令人兴奋的结果意味着CNN可以在不预先给定传播函数的情况下直接从互谱矩阵中完美地找到源分布，因此CNN值得作为一种新的算法进一步探索。
2018-02-13 cs.SD eess.AS
An Experimental Study on Joint Modeling for Sound Event Localization and Detection with Source Distance Estimation
University of Science and Technology of China (USTC)（中国科学技术大学）
针对传统SELD缺乏距离信息的问题，提出三种联合建模方法（独立训练联合预测、双分支笛卡尔坐标、三分支统一框架），在DCASE 2024任务3中获第一，验证了3D SELD中联合建模的有效性。
2025-01-18 cs.LG cs.SD eess.AS
A multi-room reverberant dataset for sound event localization and detection
Tampere University（坦佩雷大学）
本文介绍了DCASE 2019挑战赛的声音事件定位和检测（SELD）任务设置。SELD任务的目标是检测一组已知的声音事件类的时间活动，并在活动时进一步将它们定位在空间中。作为挑战的一部分，提供了具有与使用方位角和仰角表示的空间坐标相关联的每个声音事件的合成数据集。这些声音事件使用在具有不同尺寸和材料属性的五个不同房间中的多个空间坐标处收集的真实脉冲响应进行空间化。采用卷积递归神经网络的基线SELD方法用于为该混响数据集生成基准分数。基准分数是使用推荐的交叉验证设置获得的。
2019-05-24 cs.SD eess.AS
Sound Event Localization and Detection Using CRNN on Pairs of Microphones
Massachusetts Institute of Technology（麻省理工学院）；University of Surrey（萨里大学）
本文提出了多通道录音中声音事件的定位和检测方法。该系统是基于两个卷积递归神经网络（CRNN）执行声音事件检测（SED）和到达时间差（TDOA）估计的麦克风阵列中的每对麦克风。在本文中，该系统进行了评估与四麦克风阵列，从而结合从六对麦克风的结果，提供一个最终的分类和3-D的到达波达方向（DOA）估计。结果表明，所提出的方法优于DCASE 2019基线系统。
2019-10-22 cs.SD eess.AS
Location-Oriented Sound Event Localization and Detection with Spatial Mapping and Regression Localization
School of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）；Wuhan University of Technology（武汉理工大学）；Sanya Science and Education Innovation Park（三亚科技教育创新园）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出SMRL-SELD方法，通过空间映射和回归定位提升多音环境下的声学事件定位与检测性能。
2026-01-30 cs.SD eess.AS
Dual input neural networks for positional sound source localization
Imperial College London（帝国理工学院）
本文提出双输入神经网络（DI-NN），融合多通道音频信号与麦克风坐标等场景元数据进行声源定位，在真实录音测试中定位误差比最小二乘法低五倍、比卷积循环神经网络低两倍。
2023-08-08 cs.LG cs.SD eess.AS
Efficient and Microphone-Fault-Tolerant 3D Sound Source Localization
Department of Computer Science（计算机科学系）；University of Oxford（牛津大学）
本文提出一种基于稀疏交叉注意力、预训练和自适应信号相干性度量的3D声源定位框架，实现低计算成本、少麦克风及抗故障定位，并支持多声源场景。
2026-09-09 cs.AI cs.LG cs.SD
Sound Event Localization and Detection Using Activity-Coupled Cartesian DOA Vector and RD3net
Sony Corporation（索尼公司）
本报告描述了我们提交给DCASE 2020任务3：声音事件定位和检测（SELD）的系统。我们考虑两个系统：一个是同时解决声音事件定位（SEL）和声音事件检测（SED）的单级系统，另一个是首先单独处理SED和SEL任务，然后将这些结果组合起来的两级系统。作为单阶段系统，我们提出了一个统一的训练框架，使用一个活动耦合的笛卡尔DOA向量~（ACCDOA）表示作为一个单一的目标，为SED和SEL任务。为了有效地估计声音事件的位置和活动，我们进一步提出了RD 3 Net，它结合了具有密集跳跃连接和膨胀的递归和卷积层。为了推广模型，我们应用了三种数据增强技术：均衡混合数据增强（EMDA），一阶Ambisonic~（FOA）信号的旋转和SpecAugment的多通道扩展。我们的系统比基线系统有了显著的改进。
2020-10-08 cs.SD eess.AS
Polyphonic Sound Event Detection and Localization using a Two-Stage Strategy
University of Surrey（萨里大学）；Qingdao University of Technology（青岛理工大学）
声音事件检测（SED）和定位是指识别声音事件并估计其空间和时间位置。使用神经网络已经成为SED的主流方法。在通常通过估计到达方向（DOA）来执行的声音定位领域中，最近已经开发了基于学习的方法。在本文中，它是实验表明，训练的SED模型是能够有助于波达方向估计（DOAE）。然而，SED和DOAE的联合训练降低了两者的性能。在此基础上，提出了一种两阶段的复音声音事件检测和定位方法。该方法首先学习SED，然后将学习到的特征层转移到DOAE。然后使用SED地面实况作为掩码来训练DOAE。该方法在DCASE 2019任务3数据集上进行了评估，该数据集包含不同环境中的不同重叠声音事件。实验结果表明，该方法能够提高SED和DOAE的性能，并且性能明显优于基线方法。
2019-11-05 cs.SD eess.AS
SLoClas: A Database for Joint Sound Localization and Classification
National University of Singapore（新加坡国立大学）
在这项工作中，我们提出了一个新的数据库，即声音定位和分类（SLoClas）语料库，研究和分析声音定位和分类的发展。该语料库包含使用4通道麦克风阵列记录的总计23.27小时的数据。通过以5度的间隔将到达方向（DoA）从1度改变到360度，在距阵列1.5米的距离处的扬声器上播放10类声音。为了便于研究噪声鲁棒性，使用相同的设备在4个DoA处记录了6种类型的室外噪声。此外，我们提出了一个基线方法，即声音定位和分类网络（SLCnet），并提出了实验结果和分析上收集的SLoClas数据库进行。我们实现了95.21%和80.01%的准确性，分别为声音定位和分类。我们公开发布此数据库和源代码用于研究目的。
2021-08-05 cs.DB cs.SD eess.AS
Search Disaster Victims using Sound Source Localization
Institute of Engineering, Pulchowk Campus（普尔乔克校区工程学院）；Sanothimi Campus, Tribhuvan University（特里布万大学萨诺蒂米校区）
声源定位（SSL）用于估计声源的位置。已经使用各种方法来检测声音及其定位。本文介绍了一种安装在三轮全方位驱动装置上的立体声声源定位系统，该系统由八个麦克风组成，分别放置在四个垂直相邻的面上，用于灾区灾民的检查和监测。所提出的方法通过使用广义互相关相位变换（GCC-PHAT）的网格搜索方法在3D空间上定位声源，该方法在缺乏可见性的现实生活场景中操作时是鲁棒的。计算出的方位角和仰角的受害人的声音被馈送到嵌入式全向驱动系统，该系统自动导航车辆朝向固定声源。
2021-03-10 cs.RO cs.SD eess.AS
Sound Source Localization is All about Cross-Modal Alignment
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Harvard University（哈佛大学）；POSTECH（浦项科技大学）；Yonsei University（延世大学）
本文提出将跨模态对齐与声源定位联合训练，以增强音视频语义理解能力，在声源定位和跨模态检索任务上均超越现有最先进方法。
2023-09-19 cs.AI cs.CV cs.MM
Joining Sound Event Detection and Localization Through Spatial Segregation
Technische Universität Berlin（柏林工业大学）；Ruhr-Universität Bochum（波鸿鲁尔大学）
声音的识别和定位都是计算听觉景物分析的重要组成部分。虽然每一个都可以单独解决，但形成连贯的听觉对象和实现全面的空间场景理解的目标建议追求这两个问题的联合解决方案。这项工作提出了一种方法，鲁棒绑定定位与双耳机器人系统中的声音事件的检测。这两个任务通过使用空间流分离来结合，该空间流分离产生可归因于单独位置的各个源的概率性时间-频率掩模，使得能够在这些流上操作分离的声音事件检测。我们使用模拟的一套全面的测试场景与多个共同出现的声源，并提出了性能措施，系统调查的影响场景复杂性，这种隔离检测的声音类型。分析空间场景布置的效果，我们展示了机器人如何通过最佳头部旋转来提高性能。此外，我们研究了隔离检测的性能，可能的定位误差以及错误的估计活动源的数量。我们的分析表明，所提出的方法是一种有效的方法来获得联合声音事件的位置和类型的信息在广泛的条件下。
2019-12-21 cs.SD eess.AS
Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Electrical Engineering, POSTECH（浦项工科大学电气工程系）；School of Engineering and Applied Sciences at Harvard University（哈佛大学工程与应用科学学院）
针对声源定位中跨模态交互被忽视的问题，提出新合成基准、新评估指标及跨模态对齐学习框架，显著提升定位性能并全面评估交互能力。
2024-07-18 cs.CV cs.MM cs.SD
Lightweight and Optimized Sound Source Localization and Tracking Methods for Open and Closed Microphone Array Configurations
Université de Sherbrooke（舍布鲁克大学）；Interdisciplinary Institute for Technological Innovation (3IT)（跨学科技术创新研究所（3IT））
自然环境中的人机交互需要过滤掉环境中的不同声音源。这种能力通常涉及使用麦克风阵列在线定位、跟踪和分离声源。多麦克风信号处理技术可以提高对噪声的鲁棒性，但是处理成本随着所使用的麦克风的数量而增加，限制了响应时间并且在不同类型的移动机器人上广泛使用。由于声源定位方法在计算资源方面是最昂贵的，因为它们涉及扫描大的3D空间，因此最小化所需的计算量将有助于它们在机器人上的实现和使用。机器人的形状也对麦克风阵列的几何形状和配置带来了约束。此外，声源定位方法通常返回噪声特征，这些噪声特征需要通过跟踪声源来进行平滑和滤波。本文提出了一种新的声源定位方法，称为SRP-PHAT-HDA，扫描空间与粗和细分辨率网格，以减少内存查找的数量。麦克风方向性模型用于减少要扫描的方向的数量并且忽略不重要的麦克风对。还介绍了一种配置方法来自动设置通常根据麦克风阵列的形状经验调谐的参数。对于声源跟踪，本文提出了一种改进的三维卡尔曼（M3 K）方法，能够同时跟踪三维声源的方向。使用16个麦克风阵列和低成本硬件，结果表明，SRP-PHAT-HSA和M3 K执行至少与其他声源定位和跟踪方法一样好，同时分别使用高达4倍和30倍的计算资源。
2018-12-01 cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Sound Event Localization based on Sound Intensity Vector Refined By DNN-Based Denoising and Source Separation
NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Ritsumeikan University（立命馆大学）
提出了一种用于声事件定位与检测的波达方向估计方法。使用深度神经网络（DNN）的DOA的直接估计，即完全数据驱动的方法，实现了高精度。然而，有一个单一的和重叠的源DOA估计的准确性之间的差距，因为他们不能把物理知识。同时，虽然基于物理的方法的准确性不如基于DNN的方法，但它对重叠源具有鲁棒性。在这项研究中，我们考虑了基于物理和基于DNN的方法的组合;基于DNN的去噪和源分离的基础上，改进了基于物理的DOA估计的声强向量（IV）。该方法能够实现球形麦克风阵列对单个声源和重叠声源的准确DOA估计。实验结果表明，所提出的方法达到了国家的最先进的DOA估计精度上的SELD的开放数据集。
2020-02-14 cs.SD eess.AS
A Dataset of Reverberant Spatial Sound Scenes with Moving Sources for Sound Event Localization and Detection
Tampere University（坦佩雷大学）
本报告介绍了DCASE 2020挑战赛的声音事件定位和检测（SELD）任务的数据集和评估设置。SELD任务是指试图同时对一组已知的声音事件类别进行分类，检测它们的时间激活，并在它们活跃时估计它们的空间方向或位置的问题。为了训练和测试SELD系统，需要在真实声学条件下发生的不同声音事件的数据集。与之前的挑战相比，DCASE 2020创建了一个更加复杂的数据集。两个关键的区别是更多样化的声学条件和动态条件，即移动源。空间声音场景是使用以连续方式捕获的真实房间脉冲响应与缓慢移动的激励源创建的。静态和运动的声音事件都是从它们合成的。现场记录的环境噪声被添加以完成场景记录的生成。基线SELD方法基于卷积递归神经网络伴随数据集，为任务提供基准分数。基线是上一个挑战中使用的基线的更新版本，具有输入功能和训练修改以提高其性能。
2020-06-27 cs.SD eess.AS
Multi-Sound-Source Localization Using Machine Learning for Small Autonomous Unmanned Vehicles with a Self-Rotating Bi-Microphone Array
New Mexico State University（新墨西哥州立大学）
摘要虽然基于视觉的定位技术已被广泛研究的小型自主无人驾驶车辆（SAUV），声源定位能力还没有完全启用SAUV。本文提出了两种新的方法SAUV执行三维（3D）多声源定位（MSSL）仅使用通道间的时间差（ICTD）信号产生的自旋转双麦克风阵列。所提出的两种方法基于两种机器学习技术，基于密度的空间聚类算法（DBSCAN）和随机采样一致性（RANSAC）算法，分别，其性能进行了测试和比较，在模拟和实验。结果表明，这两种方法都能够正确地识别声源的数量以及它们在混响环境中的3D方向。
2020-06-28 cs.RO cs.SD eess.AS
Reflection-Aware Sound Source Localization
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；KAIST（韩国科学技术院）
我们提出了一种新的，反射感知的方法在室内环境中的三维声音定位。与以前的方法，这主要是基于连续的声音信号从一个固定的源，我们的配方是为了本地化的位置瞬间从信号在一个单一的帧。我们考虑直接声音和间接声音信号，这些信号在天花板或墙壁等表面反射后到达麦克风。然后，我们使用逆声光线追踪生成并追踪直接和反射的声路径，并利用这些路径与蒙特卡洛定位来估计3D声源位置。我们已经实现了我们的方法与立方体形状的麦克风阵列的机器人和测试它对不同的设置与连续和间歇的声音信号与固定或移动源。在不同的设置中，我们的方法可以定位声音，在一个7米乘7米的房间中测试的平均距离误差为0.8米，高度为3米，包括移动和非视线声源。我们还发现，间接射线的建模增加了40%的定位精度相比，只使用直接声射线。
2017-11-21 cs.RO cs.SD eess.AS
How to Listen? Rethinking Visual Sound Localization
New York University（纽约大学）；Descript, Inc.（Descript公司）
定位视觉声音包括定位图像中发出声音的对象的位置。它是一个不断发展的研究领域，在监测自然和城市环境，如野生动物迁徙和城市交通方面具有潜在的应用。以前的工作通常使用主要具有单个主导可见对象的数据集进行评估，并且所提出的模型通常需要在训练或专用采样策略期间引入本地化模块，但目前尚不清楚这些设计选择如何在更具挑战性的场景中对这些方法的适应性发挥作用。在这项工作中，我们分析了各种模型的选择视觉声音定位和讨论他们的不同组件如何影响模型的性能，即编码器的架构，损失函数和定位策略。此外，我们通过挖掘跨越不同困难和特征的不同评估数据集，研究这些决策，模型性能和数据之间的相互作用，并讨论这些决策在实际应用中的影响。我们的代码和模型权重是开源的，可用于进一步的应用。
2022-04-11 cs.SD eess.AS
Fast and Robust 3-D Sound Source Localization with DSVD-PHAT
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了一种变形的奇异值分解与相位变换（SVD-PHAT），命名为差分SVD-PHAT（DSVD-PHAT），实现强大的声源定位（SSL）在嘈杂的条件下。实验是在Baxter机器人上进行的，机器人头部安装了四个麦克风平面阵列。结果表明，该方法提供了类似的鲁棒性的国家的最先进的多信号分类的基础上广义奇异值分解（GSVD-MUSIC）方法，噪声，并大大减少了计算量的一个因素250。因此，这种性能增益使得DSVD-PHAT在具有有限机载计算能力的机器人上的实时应用具有吸引力。
2019-07-29 cs.SD eess.AS
Sound source detection, localization and classification using consecutive ensemble of CRNN models
Samsung R&D Institute Poland（三星波兰研发研究院）
在本文中，我们描述了DCASE 2019任务3：声音事件定位和检测（SELD）的方法。我们使用四个CRNN SELDnet类似的单输出模型，以连续的方式运行，以恢复发生事件的所有可能的信息。我们将SELD任务分解为估计活动源的数量，估计单个源的到达波达方向，估计第二个源的到达波达方向，其中第一个源的方向是已知的，以及多标签分类任务。我们使用定制的连续集成来预测事件的开始，偏移，到达波达方向和类。在TAU Spatial Sound Events 2019 - Ambisonic上对所提出的方法进行了评估，并与其他参与者的提交进行了比较。
2019-09-05 cs.LG cs.SD eess.AS
SVD-PHAT: A Fast Sound Source Localization Method
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了一种新的定位方法SVD-PHAT。SVD-PHAT方法依赖于SRP-PHAT投影矩阵的奇异值分解。还提出了一种k-d树，以加快搜索最可能的声音到达波达方向。我们表明，这种方法的准确执行SRP-PHAT，同时显着减少所需的计算量。
2019-02-11 cs.SD eess.AS eess.SP
DCASE 2021 Task 3: Spectrotemporally-aligned Features for Polyphonic Sound Event Localization and Detection
Nanyang Technological University（南洋理工大学）
声事件定位与检测包括声事件检测和到达方向估计两个子任务。虽然声音事件检测主要依赖于时间-频率模式来区分不同的声音类别，但到达方向估计使用麦克风之间的幅度或相位差来估计源方向。因此，通常难以同时联合训练这两个子任务。我们提出了一种新的功能称为空间线索增强对数谱图（SALSA）与信号功率和源到达方向之间的精确时频映射。该特征包括与估计的直达混响比和频谱图上的每个时频点处的空间协方差矩阵的主特征向量的归一化版本一起堆叠的多通道对数频谱图。在DCASE 2021数据集上进行的声音事件定位和定向干扰检测的实验结果表明，在此新功能上训练的基于深度学习的模型的性能大大优于DCASE挑战基线。我们结合了几个架构略有不同的模型，这些模型在新功能上进行了训练，以进一步提高DCASE声音事件定位和检测挑战的系统性能。
2021-06-29 cs.AI cs.LG cs.SD
Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation（索尼集团公司）
虽然一些研究工作已经报道了在无约束视频中的视听声源定位，没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的，因为产生声音的位置不限于源对象的范围，而是振动通过周围对象传播和扩散。因此，我们提出了一个新的概念，发声对象，以减少声音的视觉位置的模糊性，使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标，我们制定的问题，视听探测对象定位（AVSOL）。我们还通过手动注释著名的视听事件（AVE）数据集的测试集来创建评估数据集（AVSOL-E数据集）。为了解决这个新的AVSOL问题，我们提出了一种新的多任务训练策略和架构，称为双归一化多任务（DNM），它将视听对应（AVC）任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督，我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS
Stereo sound event localization and detection based on PSELDnet pretraining and BiMamba sequence modeling
针对声音事件定位与检测任务中Transformer类模型计算复杂度高的问题，提出结合预训练PSELDnet与BiMamba序列建模的立体声检测系统，替换Conformer并引入非对称卷积，在DCASE2025 Task 3数据集上性能更优且复杂度更低。
2025-06-16 cs.SD eess.AS
Overview and Evaluation of Sound Event Localization and Detection in DCASE 2019
Tampere University（坦佩雷大学）
声音事件定位和检测是一个新的研究领域，出现了从感兴趣的声音的空间和时间活动方面分析声学场景的组合兴趣。本文概述了作为DCASE 2019挑战赛的一项任务，首次对声音事件定位和检测进行的国际评估。一个大规模的现实数据集的空间化的声音事件产生的挑战，用于训练的学习为基础的方法，并在未标记的子集的意见书的评估。概述详细介绍了如何对这些系统进行评估和排名，以及表现最佳的系统的特点。讨论了输入特征、模型架构、训练方法、先验知识利用和数据增强方面的常见策略。由于挑战赛的排名是基于对本地化和事件分类性能的单独评估，因此概述的一部分侧重于介绍用于联合测量两者的指标，以及使用这些新指标重新评估提交的内容。新的分析显示，在检测接近其原始位置的正确类型的事件的联合任务中，提交的表现优于在挑战中排名较高的一些提交。因此，排名的提交表现强劲时，分别进行检测或定位，但不联合在这两个，受到负面影响。
2021-01-11 cs.SD eess.AS
Binaural Sound Event Localization and Detection Neural Network based on HRTF Localization Cues for Humanoid Robots
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对仿人机器人双耳输入在仰角估计和前后混淆上的不足，提出BiSELDnet，利用八通道双耳时频特征和HRTF线索，实现声音事件的同时检测与定位，并在城市噪声下显著优于SOTA模型。
2025-08-06 cs.SD eess.AS
Event-Independent Network for Polyphonic Sound Event Localization and Detection
University of Surrey（萨里大学）；ByteDance（字节跳动）
复调声音事件定位与检测不仅仅是检测正在发生的声音事件，而是定位相应的声源。这一系列任务首次在DCASE 2019任务3中引入。在2020年，声音事件定位和检测任务在移动声源和重复事件情况下引入了额外的挑战，其中包括具有两个不同到达方向（DoA）角度的两个相同类型的事件。本文提出了一种新的事件无关网络用于多音事件定位和检测。与我们在DCASE 2019任务3中提出的两阶段方法不同，这个新网络是完全端到端的。网络的输入是一阶Ambisonics（FOA）时域信号，然后将其馈送到1-D卷积层以提取声学特征。然后，网络被分成两个并行的分支。第一分支用于声音事件检测（SED），并且第二分支用于DoA估计。网络中有三种类型的预测：SED预测、DoA预测和事件活动检测（EAD）预测，它们用于组合SED和DoA特征以进行开始和结束估计。所有这些预测都具有两个轨迹的格式，表明最多有两个重叠的事件。在每一个轨迹中，最多只能有一个事件发生。这种架构引入了轨道排列的问题。为了解决这个问题，使用帧级置换不变训练方法。实验结果表明，该方法可以检测出复调声音事件及其对应的DOA。在Task 3数据集上的性能与基线方法相比有了很大的提高。
2020-09-30 cs.SD eess.AS
Leveraging Sound Source Trajectories for Universal Sound Separation
National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（国家级通用人工智能重点实验室，智能科学与技术学院，北京大学）
提出一种利用声源定位与分离相互促进机制的方法，通过迭代跟踪和波束形成实现移动声源的精确分离。
2026-06-15 cs.SD eess.AS
Graph neural networks for sound source localization on distributed microphone networks
Department of Electrical and Electronic Engineering, Imperial College London（伦敦帝国理工学院电气与电子工程系）
针对分布式麦克风阵列需处理可变输入通道的挑战，提出基于Relation Network GNN的声源定位方法，实验证明其显著优于经典基线。
2023-06-28 cs.SD eess.AS
