PILOT: Introducing Transformers for Probabilistic Sound Event Localization
Ruhr University Bochum（波鸿鲁尔大学）；NTT Communications Science Laboratories, NTT Corporation（日本电信电话株式会社通信科学实验室）
声音事件定位旨在估计环境中声源相对于声学接收器（例如麦克风阵列）的位置。该领域的最新进展主要集中在利用深度递归神经网络。受Transformer架构作为经典递归神经网络的合适替代方案的成功启发，本文介绍了一种新的基于transformer的声音事件定位框架，其中通过自我注意力机制捕获接收到的多声道音频信号中的时间依赖性。另外，所估计的声音事件位置被表示为多变量高斯变量，从而产生不确定性的附加概念，这是许多先前提出的为该应用设计的基于深度学习的系统没有提供的。该框架进行了评估，三个公开的多源声音事件定位数据集，并与最先进的方法在定位误差和事件检测精度方面进行比较。它在所有数据集上都优于所有竞争系统，在性能上具有统计学显著差异。
2021-06-07 cs.LG cs.SD eess.AS
A Survey of Sound Source Localization with Deep Learning Methods
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Orange Labs（奥兰治实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔理工学院）
本文综述了用于单个和多个声源定位的深度学习方法。我们特别感兴趣的声源定位在室内/家庭环境中，混响和扩散噪声存在。我们提供了一个详尽的地形的神经为基础的本地化文献在这种情况下，组织根据几个方面：神经网络架构，输入功能的类型，输出策略（分类或回归），用于模型训练和评估的数据类型，以及模型训练策略。通过这种方式，感兴趣的读者可以轻松地理解基于深度学习的声源定位方法的广阔全景。总结文献调查的表格提供了一个快速搜索的方法与一组给定的目标特性的文件的末尾。
2022-06-17 cs.LG cs.SD eess.AS
Audio Simulation for Sound Source Localization in Virtual Evironment
Home Team Science and Technology Agency（内政团队科技局）
提出结合物理声音传播仿真与机器学习的虚拟环境声源定位方法，利用音频 transformer 频谱图缓解数据不足问题，F1 分数达 0.786±0.0136。
2024-04-02 cs.LG cs.SD eess.AS
Learning Multiple Sound Source 2D Localization
IBM Research（IBM研究院）；MINES ParisTech - PSL Research University（巴黎高等矿业学院 - PSL研究大学）
在本文中，我们提出了新的基于深度学习的多声源定位算法。具体来说，我们的目标是找到多个声源在封闭的环境中，通过使用多个麦克风阵列的二维笛卡尔坐标。为此，我们使用了一个编码解码架构，并提出了两个改进，它来完成任务。此外，我们还提出了两个新的本地化表示，提高了准确性。最后，新的指标开发依赖于基于分辨率的多源关联，使我们能够评估和比较不同的定位方法。我们在合成和真实世界的数据上测试了我们的方法。结果表明，我们的方法改进了以前的基线方法对这个问题。
2020-12-10 cs.LG cs.SD eess.AS
SoundDet: Polyphonic Moving Sound Event Detection and Localization from Raw Waveform
University of Oxford（牛津大学）
我们提出了一个新的框架SoundDet，这是一个端到端的可训练和轻量级的框架，用于多音移动声音事件检测和定位。现有方法通常通过将原始波形预处理成时间-频率表示来解决这个问题，这更适合于用完善的图像处理流水线来处理。现有方法也以分段方式检测，导致不完全和部分检测。SoundDet采用一种新颖的方法，直接消耗原始的多通道波形，并将时空声音事件视为要检测的完整“声音对象”。具体来说，SoundDet由一个骨干神经网络和两个分别用于时间检测和空间定位的并行头组成。考虑到原始波形的大采样率，骨干网络首先学习一组相位敏感和频率选择性滤波器组，以显式地保留到达方向信息，同时比标准1D/2D卷积在计算和参数上更高效。然后构建密集的声音事件建议图来处理预测具有大的变化的持续时间的事件的挑战。伴随密集提议图的是时间平滑度图和运动平滑度图，其从时间检测准确性和运动一致性的角度测量提议作为事件的置信度。涉及这两个地图保证了SoundDet以时空统一的方式进行训练。在公共DCASE数据集上的实验结果显示了SoundDet在基于片段和我们新提出的基于事件的评估系统上的优势。
2021-08-21 cs.LG cs.SD eess.AS
Exploiting Attention-based Sequence-to-Sequence Architectures for Sound Event Localization
Ruhr University Bochum（波鸿鲁尔大学）；NTT Corporation（日本电报电话公司）
与经典参数方法相比，基于深度神经网络的声音事件定位框架已经显示出关于混响和噪声的增加的鲁棒性。特别是，经常性的架构，将时间背景的估计过程似乎是非常适合这项任务。本文提出了一种新的方法，利用注意力为基础的序列到序列模型的声音事件定位。这些类型的模型已成功地应用于自然语言处理和自动语音识别中的问题。在这项工作中，多声道音频信号被编码到一个潜在的表示，这是随后解码到一个序列的估计方向的到来。这里，注意力允许通过聚焦于与估计当前时间步处的声音事件的活动和到达方向相关的特定帧来捕获音频信号中的时间依赖性。该框架进行评估的声音事件本地化的三个公开可用的数据集。它产生优越的定位性能相比，国家的最先进的方法在消声和混响条件。
2021-02-28 cs.LG cs.SD eess.AS
CoLoC: Conditioned Localizer and Classifier for Sound Event Localization and Detection
Samsung R\&D Institute Poland Warsaw, Poland
在这篇文章中，我们描述了条件定位器和分类器（CoLoC），这是一种新的解决方案的声音事件定位和检测（SELD）。该解决方案由两个阶段组成：首先进行定位，然后根据定位器的输出进行分类。为了解决未知源数目的问题，我们采用了借用顺序集生成（SSG）的思想。这两个阶段的模型都是SELDnet类CRNN，但具有单一输出。推理表明，这两个单输出模型都适用于SELD任务。我们证明了我们的解决方案在STARSS22数据集的大多数指标上都比基线系统有所改进。
2022-10-25 cs.LG cs.SD eess.AS
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University（隆德大学）；Arm（安谋科技）；Sony（索尼）；Tenstorrent
提出将3D声源定位建模为集合到集合回归，用多模态掩码自编码器处理音频和麦克风坐标，重建掩码坐标实现定位，支持任意麦克风数量及缺失数据，在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
A hybrid parametric-deep learning approach for sound event localization and detection
这项工作描述并讨论了提交给DCASE 2019挑战赛的声音事件定位和检测任务的算法。所提出的方法依赖于用于源定位和检测的参数空间音频分析，结合基于深度学习的单声道事件分类器。所提出的算法的评估产生的总体结果相比，基线系统。主要亮点是与基线性能相比，评估数据集上的定位误差减少了2.6倍。
2019-08-27 cs.LG cs.SD eess.AS
Localization, Detection and Tracking of Multiple Moving Sound Sources with a Convolutional Recurrent Neural Network
Tampere University（坦佩雷大学）
本文研究了联合定位，检测和跟踪的声音事件使用卷积循环神经网络（CRNN）。我们使用CRNN先前提出的固定源的定位和检测，并表明，经常性的层，使运动源的空间跟踪时，训练与动态场景。CRNN的跟踪性能进行了比较，一个独立的跟踪方法，结合了多源（DOA）估计和粒子滤波。他们各自的性能进行评估，在各种声学条件下，如消声和混响的情况下，固定和移动源在几个角速度，并与不同数量的重叠源。结果表明，CRNN设法跟踪多个源更一致的声学场景比参数的方法，但在较高的定位误差的成本。
2019-04-29 cs.LG cs.SD eess.AS
Text-Queried Target Sound Event Localization
针对现有声音事件定位与检测系统仅能预测预设类别活动的局限，提出文本查询式目标声音事件定位新范式，支持用户以文本描述查询目标事件位置，并构建基准开展模拟与真实RIR数据集实验验证有效性。
2024-06-23 eess.AS
Acoustic-Net: A Novel Neural Network for Sound Localization and Quantification
Xiamen University（厦门大学）；University of Engineering and Technology (UET) Lahore（拉合尔工程技术大学）
声源定位在航空、海洋等领域有着广泛的应用，通常利用多个传声器阵列数据来重建声源位置。然而，基于模型的波束形成方法无法实现传统波束形成图的高分辨率。深度神经网络也适用于声源定位，但一般来说，这些具有复杂网络结构的方法很难被硬件识别。在本文中，一种新的神经网络，称为声学网络，提出了简单地使用原始信号的声源定位和量化。实验结果表明，该方法显著提高了声源预测的准确性和计算速度，具有较好的泛化能力。代码和训练模型可在https://github.com/JoaquinChou/Acoustic-Net上获得。
2022-03-31 cs.LG cs.SD eess.AS
Quaternion Convolutional Neural Networks for Detection and Localization of 3D Sound Events
Sapienza University of Rome（罗马第一大学）
从四元数域中的数据学习使我们能够利用4D信号的内部依赖性，并将它们视为单个实体。其中一个非常适合四元数数据处理的模型是用三维声信号的球谐分解来表示的。在本文中，我们解决的问题，定位和检测的声音事件在空间声场中使用四元数值数据处理。特别是，我们认为一阶立体混响麦克风捕获的信号的球谐分量，并通过使用四元数卷积神经网络处理它们。实验结果表明，该方法利用了立体混响信号的相关性，从而提高了3D声音事件检测和定位的准确性。
2018-12-17 cs.LG cs.SD eess.AS
Ensemble of Discriminators for Domain Adaptation in Multiple Sound Source 2D Localization
IBM Research（IBM研究院）；MINES ParisTech - PSL Research University（巴黎高等矿业学院 - PSL研究大学）
本文介绍了一种集成的鉴别器，提高了多声源定位的域自适应技术的准确性。最近，深度神经网络已经为这项任务带来了有希望的结果，但它们需要大量的标记数据进行训练。记录和标记这样的数据集是非常昂贵的，特别是因为数据需要足够多样化以覆盖不同的声学条件。在本文中，我们利用声学模拟器来廉价地生成标记的训练样本。然而，由于域不匹配，在合成数据上训练的模型往往在真实世界的记录中表现不佳。为此，我们探索了两种使用对抗学习进行声源定位的域自适应方法，这些方法使用标记的合成数据和未标记的真实数据。我们提出了一种新的集成方法，结合应用于不同特征层次的本地化模型的鉴别器。实验表明，我们的集成判别方法显着提高了定位性能，而不需要任何标签的真实数据。
2021-03-16 cs.LG cs.SD eess.AS
Indoor Sound Source Localization with Probabilistic Neural Network
Northwestern Polytechnical University（西北工业大学）；STMIK Raharja（拉哈尔雅信息与计算机管理学院）
高混响、低信噪比等恶劣环境对室内声源定位提出了很大的挑战。针对这一问题，本文提出了一种基于概率神经网络的声源定位算法，即广义互相关分类算法（GCA）。在混响时间T60高达600 ms、信噪比为-10dB的恶劣环境下的实验结果表明，GCA算法的平均方位角误差和俯仰角误差分别仅为4.6 °和3.1 °。与最近发表的三种算法相比，GCA显著提高了波达方向估计的成功率，并且对环境变化具有良好的鲁棒性。这些结果表明，所提出的GCA可以定位准确和鲁棒性的不同的室内应用，现场声学特征可以研究之前的定位阶段。
2017-12-21 cs.LG cs.SD eess.AS
Sound Event Detection and Localization with Distance Estimation
Faculty of Information Technology and Communication Sciences（信息科学与技术学院）；Tampere University（坦佩雷大学）
本文提出3D SELD任务，通过多任务输出或扩展multi-ACCDOA的单任务方式加入距离估计，并在STARSS23上验证其不会损害事件检测与DOA性能。
2024-06-12 cs.LG cs.SD eess.AS
Spatial Scaper: A Library to Simulate and Augment Soundscapes for Sound Event Localization and Detection in Realistic Rooms
Music and Audio Research Laboratory, New York University（纽约大学音乐与音频研究实验室）；Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院）
本文提出SpatialScaper库，通过参数化虚拟房间与增强流程生成SELD数据，并在DCASE数据上验证声学多样性可提升模型鲁棒性。
2024-01-19 cs.LG cs.SD eess.AS
Adjoint-Based Identification of Sound Sources for Sound Reinforcement and Source Localization
声源识别是声学中的一个常见问题。寻求不同的参数，其中包括源的信号和位置。我们提出了一种基于伴随的声源识别方法，采用计算航空声学技术。两个不同的应用程序作为一个概念验证：优化的扩声设置和（移动）声源的本地化。
2023-01-20 cs.SD eess.AS physics.flu-dyn
Discriminative Sounding Objects Localization via Self-supervised Audiovisual Matching
Renmin University of China（中国人民大学）；Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）
在鸡尾酒会中有区别地定位发声对象，即，混合声音场景，对于人类来说是司空见惯的，但对于机器来说仍然具有挑战性。在本文中，我们提出了一个两阶段的学习框架来执行自我监督类感知的发声对象定位。首先，我们建议通过聚合单个源场景中的候选声音定位结果来学习鲁棒的对象表示。然后，类感知的对象定位地图生成鸡尾酒会的情况下，通过参考预先学习的对象知识，并相应地选择发声对象通过匹配音频和视觉对象类别分布，其中视听一致性被视为自监督信号。在现实和合成的鸡尾酒会视频的实验结果表明，我们的模型是优越的，在过滤出沉默的对象，并指出不同类别的发声对象的位置。代码可在https://github.com/DTaoo/Discriminative-Sounding-Objects-Localization上获得。
2020-10-12 cs.CV cs.LG cs.MM
Multi-scale Multi-instance Visual Sound Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Xiaohongshu（小红书）
本文提出多尺度多实例视觉声源定位框架M2VSL，通过可学习多尺度视觉特征与多尺度多实例Transformer聚合跨模态表示，在多个基准上实现发声物体定位与分割的最先进性能。
2024-08-31 cs.CV cs.LG cs.MM
A two-step system for sound event localization and detection
Singtel（新加坡电信）
声音事件检测和声音事件定位需要与音频输入信号不同的特征。虽然声音事件检测主要依赖于时间-频率模式来区分不同的事件类别，但声音事件定位使用麦克风之间的幅度或相位差来估计源方向。因此，我们提出了一个两步系统来做声音事件定位和检测。在第一步中，我们分别检测声音事件和估计到达方向。在第二步中，我们将事件检测器和到达方向估计器的结果结合在一起。所获得的结果显示，与DCASE 2019任务3挑战中的声音事件定位和检测的基线解决方案相比，有了显着的改进。使用评估数据集，所提出的系统实现了93.4%的F1分数的声音事件检测和5.4度的到达方向估计的误差，而获胜的解决方案分别实现了94.7%的F1分数和3.7度的角度误差。
2019-11-26 cs.SD eess.AS
Deep Residual Network for Sound Source Localization in the Time Domain
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Tsinghua University（清华大学）
本研究提出一种使用深度残差神经网络的时域声源定位系统。来自具有3cm间距的线性8通道麦克风阵列的数据由网络用于方向估计。我们建议使用深度残差网络进行声源定位，将定位任务视为分类任务。本研究描述了收集的数据集和神经网络的开发架构。本研究将展示训练过程及其结果。开发的系统进行了测试，验证部分的数据集和新的数据捕获在实时的。对30 m s的声音帧的分类准确率为99.2%。声源定位的标准差为4°。所提出的声源定位方法在语音识别流水线内部进行了测试。与使用GCC-PHAT声源定位的类似语音识别管道相比，其使用降低了1.14%的单词出错率。
2018-08-20 cs.SD eess.AS
Do We Need Sound for Sound Source Localization?
Waseda University（早稻田大学）
在使用视觉和听觉信息进行声源定位的过程中，目前仍不清楚图像或声音模态对结果的贡献有多大，即我们是否需要图像和声音来进行声源定位？为了解决这个问题，我们开发了一个无监督学习系统，该系统通过将该任务分解为两个步骤来解决声源定位：（i）“潜在声源定位”，一个仅使用视觉信息定位可能声源的步骤（ii）“对象选择”，一个使用听觉信息识别哪些对象实际发声的步骤。我们的整个系统在声源定位方面实现了最先进的性能，更重要的是，我们发现，尽管对可用信息有约束，但（i）的结果实现了类似的性能。从这个观察和进一步的实验，我们表明，视觉信息是占主导地位的“声音”源定位时，目前采用的基准数据集进行评估。此外，我们表明，在这个数据集中的样本内的大多数声音产生的对象可以固有地识别仅使用视觉信息，因此，该数据集是不足以评估系统的能力，利用听觉信息。作为一种替代方案，我们提出了一个评估协议，强制执行视觉和听觉信息被利用，并通过几个实验验证此属性。
2020-07-11 cs.CV cs.SD eess.AS
FN-SSL: Full-Band and Narrow-Band Fusion for Sound Source Localization
本文提出FN-SSL全频带与窄带融合网络，通过交替学习全频带相关性和窄带DP-IPD提取，在模拟与真实数据上显著提升声源定位性能。
2023-05-31 eess.AS
Sky-Ear: An Unmanned Aerial Vehicle-Enabled Victim Sound Detection and Localization System
School of Science and Technology, Hong Kong Metropolitan University（香港都会大学理学院）
本文设计了Sky-Ear系统，通过双阶段音频处理实现高效声学传感，结合掩码自编码器提升检测精度，并通过多观测优化实现连续定位，验证了系统在救援任务中的可靠性和准确性。
2026-09-16 eess.AS
Multiple Sound Source Localization with SVD-PHAT
本文介绍了一种改进的奇异值分解相位变换（SVD-PHAT）定位多声源。这项工作的目的是提高定位精度，并保持算法的复杂度低的实时应用。该方法依赖于搜索空间的多次扫描，将每个低维观测投影到正交子空间上。我们表明，这种方法定位多个声源比离散SRP-PHAT更准确，减少均方根误差高达0.0395弧度。
2019-06-27 eess.AS eess.SP
Efficient and Microphone-Fault-Tolerant 3D Sound Source Localization
Department of Computer Science（计算机科学系）；University of Oxford（牛津大学）
本文提出一种基于稀疏交叉注意力、预训练和自适应信号相干性度量的3D声源定位框架，实现低计算成本、少麦克风及抗故障定位，并支持多声源场景。
2026-09-09 cs.AI cs.LG cs.SD
Generating Diverse Audio-Visual 360 Soundscapes for Sound Event Localization and Detection
University of Southern California（南加州大学）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Universidad Autónoma de Tamaulipas（塔毛利帕斯自治大学）；Queen Mary University of London（伦敦大学玛丽皇后学院）
提出SELDVisualSynth工具，结合真实背景图像生成视听空间对齐的360度合成视频，用于声事件定位与检测，显著提升模型定位召回率与误差表现。
2025-04-03 cs.SD eess.AS
Class-Incremental Learning for Sound Event Localization and Detection
本文提出一种基于均方误差蒸馏损失的类增量学习方法，用于声音事件定位与检测，在 TAU-NIGENS 2021 数据集上分阶段学习 12 类声音，并验证其能保持基线性能。
2024-11-19 eess.AS
Performance Comparison of UCA and UCCA based Real-time Sound Source Localization Systems using Circular Harmonics SRP Method
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于圆形麦克风阵列（CMA）的声源定位（SSL）算法，包括均匀圆形阵列（UCA）和均匀同心圆阵列（UCCA），已经得到了很好的发展，并通过计算机仿真和离线处理得到了验证。另一方面，谐波域中的波束形成已被证明是一个非常有效的工具，宽带声源定位，由于其频率不变的属性。本文讨论了一个实时声源定位系统的设计、实现和性能。具体而言，我们分析了参数设置的效果，并通过在真实房间中的实时实验比较UCA和UCCA之间的性能。通过使用UCCA代替UCA，该方法显示出显着的改进。
2019-11-28 cs.SD eess.AS
Sound Source Localization is All about Cross-Modal Alignment
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Harvard University（哈佛大学）；POSTECH（浦项科技大学）；Yonsei University（延世大学）
本文提出将跨模态对齐与声源定位联合训练，以增强音视频语义理解能力，在声源定位和跨模态检索任务上均超越现有最先进方法。
2023-09-19 cs.AI cs.CV cs.MM
Phased Microphone Array for Sound Source Localization with Deep Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai KeyGo Technology Company Limited（上海开构科技有限公司）
对于相控麦克风阵列声源定位来说，兼顾高计算效率和高精度的算法是一个执着的追求。本文将卷积神经网络（CNN）作为一种新的深度学习算法进行了初步应用。在高频下，CNN可以在与传统波束形成一样短的非常短的时间内以与DAMAS一样好的优异空间分辨率重建声音定位。这一令人兴奋的结果意味着CNN可以在不预先给定传播函数的情况下直接从互谱矩阵中完美地找到源分布，因此CNN值得作为一种新的算法进一步探索。
2018-02-13 cs.SD eess.AS
Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）；Department of Electrical Engineering, POSTECH（浦项工科大学电气工程系）；School of Engineering and Applied Sciences at Harvard University（哈佛大学工程与应用科学学院）
针对声源定位中跨模态交互被忽视的问题，提出新合成基准、新评估指标及跨模态对齐学习框架，显著提升定位性能并全面评估交互能力。
2024-07-18 cs.CV cs.MM cs.SD
SLoClas: A Database for Joint Sound Localization and Classification
National University of Singapore（新加坡国立大学）
在这项工作中，我们提出了一个新的数据库，即声音定位和分类（SLoClas）语料库，研究和分析声音定位和分类的发展。该语料库包含使用4通道麦克风阵列记录的总计23.27小时的数据。通过以5度的间隔将到达方向（DoA）从1度改变到360度，在距阵列1.5米的距离处的扬声器上播放10类声音。为了便于研究噪声鲁棒性，使用相同的设备在4个DoA处记录了6种类型的室外噪声。此外，我们提出了一个基线方法，即声音定位和分类网络（SLCnet），并提出了实验结果和分析上收集的SLoClas数据库进行。我们实现了95.21%和80.01%的准确性，分别为声音定位和分类。我们公开发布此数据库和源代码用于研究目的。
2021-08-05 cs.DB cs.SD eess.AS
DCASE 2021 Task 3: Spectrotemporally-aligned Features for Polyphonic Sound Event Localization and Detection
Nanyang Technological University（南洋理工大学）
声事件定位与检测包括声事件检测和到达方向估计两个子任务。虽然声音事件检测主要依赖于时间-频率模式来区分不同的声音类别，但到达方向估计使用麦克风之间的幅度或相位差来估计源方向。因此，通常难以同时联合训练这两个子任务。我们提出了一种新的功能称为空间线索增强对数谱图（SALSA）与信号功率和源到达方向之间的精确时频映射。该特征包括与估计的直达混响比和频谱图上的每个时频点处的空间协方差矩阵的主特征向量的归一化版本一起堆叠的多通道对数频谱图。在DCASE 2021数据集上进行的声音事件定位和定向干扰检测的实验结果表明，在此新功能上训练的基于深度学习的模型的性能大大优于DCASE挑战基线。我们结合了几个架构略有不同的模型，这些模型在新功能上进行了训练，以进一步提高DCASE声音事件定位和检测挑战的系统性能。
2021-06-29 cs.AI cs.LG cs.SD
A multi-room reverberant dataset for sound event localization and detection
Tampere University（坦佩雷大学）
本文介绍了DCASE 2019挑战赛的声音事件定位和检测（SELD）任务设置。SELD任务的目标是检测一组已知的声音事件类的时间活动，并在活动时进一步将它们定位在空间中。作为挑战的一部分，提供了具有与使用方位角和仰角表示的空间坐标相关联的每个声音事件的合成数据集。这些声音事件使用在具有不同尺寸和材料属性的五个不同房间中的多个空间坐标处收集的真实脉冲响应进行空间化。采用卷积递归神经网络的基线SELD方法用于为该混响数据集生成基准分数。基准分数是使用推荐的交叉验证设置获得的。
2019-05-24 cs.SD eess.AS
Search Disaster Victims using Sound Source Localization
Institute of Engineering, Pulchowk Campus（普尔乔克校区工程学院）；Sanothimi Campus, Tribhuvan University（特里布万大学萨诺蒂米校区）
声源定位（SSL）用于估计声源的位置。已经使用各种方法来检测声音及其定位。本文介绍了一种安装在三轮全方位驱动装置上的立体声声源定位系统，该系统由八个麦克风组成，分别放置在四个垂直相邻的面上，用于灾区灾民的检查和监测。所提出的方法通过使用广义互相关相位变换（GCC-PHAT）的网格搜索方法在3D空间上定位声源，该方法在缺乏可见性的现实生活场景中操作时是鲁棒的。计算出的方位角和仰角的受害人的声音被馈送到嵌入式全向驱动系统，该系统自动导航车辆朝向固定声源。
2021-03-10 cs.RO cs.SD eess.AS
Location-Oriented Sound Event Localization and Detection with Spatial Mapping and Regression Localization
School of Computer Science and Artificial Intelligence（计算机科学与人工智能学院）；Wuhan University of Technology（武汉理工大学）；Sanya Science and Education Innovation Park（三亚科技教育创新园）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出SMRL-SELD方法，通过空间映射和回归定位提升多音环境下的声学事件定位与检测性能。
2026-01-30 cs.SD eess.AS
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Sound Event Localization and Detection Using Activity-Coupled Cartesian DOA Vector and RD3net
Sony Corporation（索尼公司）
本报告描述了我们提交给DCASE 2020任务3：声音事件定位和检测（SELD）的系统。我们考虑两个系统：一个是同时解决声音事件定位（SEL）和声音事件检测（SED）的单级系统，另一个是首先单独处理SED和SEL任务，然后将这些结果组合起来的两级系统。作为单阶段系统，我们提出了一个统一的训练框架，使用一个活动耦合的笛卡尔DOA向量~（ACCDOA）表示作为一个单一的目标，为SED和SEL任务。为了有效地估计声音事件的位置和活动，我们进一步提出了RD 3 Net，它结合了具有密集跳跃连接和膨胀的递归和卷积层。为了推广模型，我们应用了三种数据增强技术：均衡混合数据增强（EMDA），一阶Ambisonic~（FOA）信号的旋转和SpecAugment的多通道扩展。我们的系统比基线系统有了显著的改进。
2020-10-08 cs.SD eess.AS
Polyphonic Sound Event Detection and Localization using a Two-Stage Strategy
University of Surrey（萨里大学）；Qingdao University of Technology（青岛理工大学）
声音事件检测（SED）和定位是指识别声音事件并估计其空间和时间位置。使用神经网络已经成为SED的主流方法。在通常通过估计到达方向（DOA）来执行的声音定位领域中，最近已经开发了基于学习的方法。在本文中，它是实验表明，训练的SED模型是能够有助于波达方向估计（DOAE）。然而，SED和DOAE的联合训练降低了两者的性能。在此基础上，提出了一种两阶段的复音声音事件检测和定位方法。该方法首先学习SED，然后将学习到的特征层转移到DOAE。然后使用SED地面实况作为掩码来训练DOAE。该方法在DCASE 2019任务3数据集上进行了评估，该数据集包含不同环境中的不同重叠声音事件。实验结果表明，该方法能够提高SED和DOAE的性能，并且性能明显优于基线方法。
2019-11-05 cs.SD eess.AS
Multi-Sound-Source Localization Using Machine Learning for Small Autonomous Unmanned Vehicles with a Self-Rotating Bi-Microphone Array
New Mexico State University（新墨西哥州立大学）
摘要虽然基于视觉的定位技术已被广泛研究的小型自主无人驾驶车辆（SAUV），声源定位能力还没有完全启用SAUV。本文提出了两种新的方法SAUV执行三维（3D）多声源定位（MSSL）仅使用通道间的时间差（ICTD）信号产生的自旋转双麦克风阵列。所提出的两种方法基于两种机器学习技术，基于密度的空间聚类算法（DBSCAN）和随机采样一致性（RANSAC）算法，分别，其性能进行了测试和比较，在模拟和实验。结果表明，这两种方法都能够正确地识别声源的数量以及它们在混响环境中的3D方向。
2020-06-28 cs.RO cs.SD eess.AS
Reflection-Aware Sound Source Localization
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）；KAIST（韩国科学技术院）
我们提出了一种新的，反射感知的方法在室内环境中的三维声音定位。与以前的方法，这主要是基于连续的声音信号从一个固定的源，我们的配方是为了本地化的位置瞬间从信号在一个单一的帧。我们考虑直接声音和间接声音信号，这些信号在天花板或墙壁等表面反射后到达麦克风。然后，我们使用逆声光线追踪生成并追踪直接和反射的声路径，并利用这些路径与蒙特卡洛定位来估计3D声源位置。我们已经实现了我们的方法与立方体形状的麦克风阵列的机器人和测试它对不同的设置与连续和间歇的声音信号与固定或移动源。在不同的设置中，我们的方法可以定位声音，在一个7米乘7米的房间中测试的平均距离误差为0.8米，高度为3米，包括移动和非视线声源。我们还发现，间接射线的建模增加了40%的定位精度相比，只使用直接声射线。
2017-11-21 cs.RO cs.SD eess.AS
A Sequence Matching Network for Polyphonic Sound Event Localization and Detection
复调声音事件检测和到达方向估计需要来自音频信号的不同输入特征。虽然声音事件检测主要依赖于时间-频率模式，但到达方向估计依赖于麦克风之间的幅度或相位差。先前的方法使用相同的输入特征用于声音事件检测和到达方向估计，并且联合地或以两阶段转移学习方式训练这两个任务。我们提出了一个两步的方法，该方法包括学习的声音事件检测和到达方向估计系统。在第一步中，我们分别检测声音事件和估计到达方向，以优化每个系统的性能。在第二步中，我们训练深度神经网络来匹配事件检测器和到达方向估计器的两个输出序列。这种模块化和层次化的方法允许系统设计的灵活性，并提高了整个声音事件定位和检测系统的性能。使用DCASE 2019声音事件定位和检测数据集的实验结果显示，与之前最先进的解决方案相比，性能有所提高。
2020-02-14 eess.AS eess.SP
Joining Sound Event Detection and Localization Through Spatial Segregation
Technische Universität Berlin（柏林工业大学）；Ruhr-Universität Bochum（波鸿鲁尔大学）
声音的识别和定位都是计算听觉景物分析的重要组成部分。虽然每一个都可以单独解决，但形成连贯的听觉对象和实现全面的空间场景理解的目标建议追求这两个问题的联合解决方案。这项工作提出了一种方法，鲁棒绑定定位与双耳机器人系统中的声音事件的检测。这两个任务通过使用空间流分离来结合，该空间流分离产生可归因于单独位置的各个源的概率性时间-频率掩模，使得能够在这些流上操作分离的声音事件检测。我们使用模拟的一套全面的测试场景与多个共同出现的声源，并提出了性能措施，系统调查的影响场景复杂性，这种隔离检测的声音类型。分析空间场景布置的效果，我们展示了机器人如何通过最佳头部旋转来提高性能。此外，我们研究了隔离检测的性能，可能的定位误差以及错误的估计活动源的数量。我们的分析表明，所提出的方法是一种有效的方法来获得联合声音事件的位置和类型的信息在广泛的条件下。
2019-12-21 cs.SD eess.AS
SVD-PHAT: A Fast Sound Source Localization Method
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了一种新的定位方法SVD-PHAT。SVD-PHAT方法依赖于SRP-PHAT投影矩阵的奇异值分解。还提出了一种k-d树，以加快搜索最可能的声音到达波达方向。我们表明，这种方法的准确执行SRP-PHAT，同时显着减少所需的计算量。
2019-02-11 cs.SD eess.AS eess.SP
Lightweight and Optimized Sound Source Localization and Tracking Methods for Open and Closed Microphone Array Configurations
Université de Sherbrooke（舍布鲁克大学）；Interdisciplinary Institute for Technological Innovation (3IT)（跨学科技术创新研究所（3IT））
自然环境中的人机交互需要过滤掉环境中的不同声音源。这种能力通常涉及使用麦克风阵列在线定位、跟踪和分离声源。多麦克风信号处理技术可以提高对噪声的鲁棒性，但是处理成本随着所使用的麦克风的数量而增加，限制了响应时间并且在不同类型的移动机器人上广泛使用。由于声源定位方法在计算资源方面是最昂贵的，因为它们涉及扫描大的3D空间，因此最小化所需的计算量将有助于它们在机器人上的实现和使用。机器人的形状也对麦克风阵列的几何形状和配置带来了约束。此外，声源定位方法通常返回噪声特征，这些噪声特征需要通过跟踪声源来进行平滑和滤波。本文提出了一种新的声源定位方法，称为SRP-PHAT-HDA，扫描空间与粗和细分辨率网格，以减少内存查找的数量。麦克风方向性模型用于减少要扫描的方向的数量并且忽略不重要的麦克风对。还介绍了一种配置方法来自动设置通常根据麦克风阵列的形状经验调谐的参数。对于声源跟踪，本文提出了一种改进的三维卡尔曼（M3 K）方法，能够同时跟踪三维声源的方向。使用16个麦克风阵列和低成本硬件，结果表明，SRP-PHAT-HSA和M3 K执行至少与其他声源定位和跟踪方法一样好，同时分别使用高达4倍和30倍的计算资源。
2018-12-01 cs.SD eess.AS
Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation（索尼集团公司）
虽然一些研究工作已经报道了在无约束视频中的视听声源定位，没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的，因为产生声音的位置不限于源对象的范围，而是振动通过周围对象传播和扩散。因此，我们提出了一个新的概念，发声对象，以减少声音的视觉位置的模糊性，使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标，我们制定的问题，视听探测对象定位（AVSOL）。我们还通过手动注释著名的视听事件（AVE）数据集的测试集来创建评估数据集（AVSOL-E数据集）。为了解决这个新的AVSOL问题，我们提出了一种新的多任务训练策略和架构，称为双归一化多任务（DNM），它将视听对应（AVC）任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督，我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS
Sound Event Localization based on Sound Intensity Vector Refined By DNN-Based Denoising and Source Separation
NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Ritsumeikan University（立命馆大学）
提出了一种用于声事件定位与检测的波达方向估计方法。使用深度神经网络（DNN）的DOA的直接估计，即完全数据驱动的方法，实现了高精度。然而，有一个单一的和重叠的源DOA估计的准确性之间的差距，因为他们不能把物理知识。同时，虽然基于物理的方法的准确性不如基于DNN的方法，但它对重叠源具有鲁棒性。在这项研究中，我们考虑了基于物理和基于DNN的方法的组合;基于DNN的去噪和源分离的基础上，改进了基于物理的DOA估计的声强向量（IV）。该方法能够实现球形麦克风阵列对单个声源和重叠声源的准确DOA估计。实验结果表明，所提出的方法达到了国家的最先进的DOA估计精度上的SELD的开放数据集。
2020-02-14 cs.SD eess.AS
A Dataset of Reverberant Spatial Sound Scenes with Moving Sources for Sound Event Localization and Detection
Tampere University（坦佩雷大学）
本报告介绍了DCASE 2020挑战赛的声音事件定位和检测（SELD）任务的数据集和评估设置。SELD任务是指试图同时对一组已知的声音事件类别进行分类，检测它们的时间激活，并在它们活跃时估计它们的空间方向或位置的问题。为了训练和测试SELD系统，需要在真实声学条件下发生的不同声音事件的数据集。与之前的挑战相比，DCASE 2020创建了一个更加复杂的数据集。两个关键的区别是更多样化的声学条件和动态条件，即移动源。空间声音场景是使用以连续方式捕获的真实房间脉冲响应与缓慢移动的激励源创建的。静态和运动的声音事件都是从它们合成的。现场记录的环境噪声被添加以完成场景记录的生成。基线SELD方法基于卷积递归神经网络伴随数据集，为任务提供基准分数。基线是上一个挑战中使用的基线的更新版本，具有输入功能和训练修改以提高其性能。
2020-06-27 cs.SD eess.AS
SSLIDE: Sound Source Localization for Indoors based on Deep Learning
本文介绍了SSLIDE，使用深度学习的室内声源定位，它应用具有编码器-解码器结构的深度神经网络（DNN）来定位连续空间中随机位置的声源。每个麦克风接收到的声音信号的空间特征被提取并表示为每个点中声源位置的似然表面。我们的DNN由一个编码器网络和两个解码器组成。编码器获得输入似然的压缩表示。一个解码器解决混响引起的多径，和其他解码器估计源位置。实验结果表明，该方法在混响环境下不仅优于多信号分类（MUSIC）、相位变换引导响应功率（SRP-PHAT）、稀疏贝叶斯学习（SBL）和竞争卷积神经网络（CNN）方法，而且具有良好的泛化性能。
2021-02-15 eess.AS eess.SP
How to Listen? Rethinking Visual Sound Localization
New York University（纽约大学）；Descript, Inc.（Descript公司）
定位视觉声音包括定位图像中发出声音的对象的位置。它是一个不断发展的研究领域，在监测自然和城市环境，如野生动物迁徙和城市交通方面具有潜在的应用。以前的工作通常使用主要具有单个主导可见对象的数据集进行评估，并且所提出的模型通常需要在训练或专用采样策略期间引入本地化模块，但目前尚不清楚这些设计选择如何在更具挑战性的场景中对这些方法的适应性发挥作用。在这项工作中，我们分析了各种模型的选择视觉声音定位和讨论他们的不同组件如何影响模型的性能，即编码器的架构，损失函数和定位策略。此外，我们通过挖掘跨越不同困难和特征的不同评估数据集，研究这些决策，模型性能和数据之间的相互作用，并讨论这些决策在实际应用中的影响。我们的代码和模型权重是开源的，可用于进一步的应用。
2022-04-11 cs.SD eess.AS
FlowGrad: Using Motion for Visual Sound Source Localization
Universitat Pompeu Fabra（庞培法布拉大学）；New York University（纽约大学）
本文提出FlowGrad，通过光流引入时间运动信息，改进城市交通等复杂场景下的视觉声源定位性能，并分析了该方法的优势与不足。
2023-04-14 cs.CV cs.MM cs.SD
Fast and Robust 3-D Sound Source Localization with DSVD-PHAT
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了一种变形的奇异值分解与相位变换（SVD-PHAT），命名为差分SVD-PHAT（DSVD-PHAT），实现强大的声源定位（SSL）在嘈杂的条件下。实验是在Baxter机器人上进行的，机器人头部安装了四个麦克风平面阵列。结果表明，该方法提供了类似的鲁棒性的国家的最先进的多信号分类的基础上广义奇异值分解（GSVD-MUSIC）方法，噪声，并大大减少了计算量的一个因素250。因此，这种性能增益使得DSVD-PHAT在具有有限机载计算能力的机器人上的实时应用具有吸引力。
2019-07-29 cs.SD eess.AS
