Multiple Sound Source Localization with SVD-PHAT
本文介绍了一种改进的奇异值分解相位变换(SVD-PHAT)定位多声源。这项工作的目的是提高定位精度,并保持算法的复杂度低的实时应用。该方法依赖于搜索空间的多次扫描,将每个低维观测投影到正交子空间上。我们表明,这种方法定位多个声源比离散SRP-PHAT更准确,减少均方根误差高达0.0395弧度。
2019-06-27 eess.AS eess.SP
SMP-PHAT: Lightweight DoA Estimation by Merging Microphone Pairs
本文介绍了SMP-PHAT,它通过合并在空间上平行的麦克风对来执行声音到达方向(DoA)估计的麦克风阵列。这种方法减少了成对互相关计算的数量,并且在搜索DoA时降低了触发器和存储器查找的数量。低成本的硬件与常用的麦克风阵列上的实验表明,该方法提供了相同的准确性,以前的SRP-PHAT方法,同时减少了39%的计算量,在某些情况下。
2022-03-27 cs.SD eess.AS
Source Localization by Multidimensional Steered Response Power Mapping with Sparse Bayesian Learning
针对传统SRP方法在近距声源场景下映射模糊的问题,提出结合多字典稀疏贝叶斯学习的多维SRP声源定位方法,无需预知声源数量,在混响环境近距声源定位任务中性能优于传统及现有先进稀疏SRP方法。
2024-05-20 eess.AS
Signal-informed DNN-based DOA Estimation combining an External Microphone and GCC-PHAT Features
Jade University of Applied Sciences(雅德应用科学大学);University of Oldenburg(奥尔登堡大学)
针对麦克风阵列在多人环境中估计期望说话人的波达方向(DOA)问题,提出了一种基于麦克风阵列的信号通知方法。所提出的方法将二进制掩码应用于卷积神经网络的GCC-PHAT输入特征,其中二进制掩码基于外部麦克风信号的功率分布来计算。混响的情况下,多达四个干扰扬声器的实验结果表明,信号通知掩蔽提高定位精度,而不需要任何知识的干扰扬声器。
2022-06-11 cs.SD eess.AS
The Neural-SRP method for positional sound source localization
Imperial College(帝国理工学院)
针对高混响环境下SRP定位性能下降及现有DNN对麦克风拓扑适应性差的问题,提出结合SRP灵活性与DNN性能的Neural-SRP方法,通过模拟数据和迁移学习训练,显著提升定位性能。
2024-03-14 cs.SD eess.AS
Steered Response Power for Sound Source Localization: A Tutorial Review
Imperial College(帝国理工学院)
本文综述 200 余篇 SRP 声源定位方法及其变体研究,重点梳理 SRP-PHAT,并提出模块化的 X-SRP 框架及含精选扩展的 Python 实现。
2024-05-09 cs.SD eess.AS
Semi-supervised source localization with deep generative modeling
Marine Physical Laboratory, UCSD(加州大学圣地亚哥分校海洋物理实验室);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
我们提出了一种基于变分自编码器(VAE)的深度生成建模的半监督定位方法。混响环境中的本地化仍然是一个挑战,机器学习(ML)在解决这一问题方面表现出了希望。即使数据量很大,在混响环境中可用于监督学习的标签数量通常也很小。我们通过使用卷积VAE执行半监督学习(SSL)来解决这个问题。VAE被训练为在标记和未标记RTF样本上与DOA分类器并行地生成相对传递函数(RTF)的相位。VAE-SSL方法与SRP-PHAT和全监督CNN进行了比较。我们发现,VAE-SSL可以优于SRP-PHAT和CNN在标签限制的情况下。
2021-02-12 cs.LG cs.SD eess.AS
Single frequency filtering based multi-speaker direction of arrival estimation from stereo recordings
International Institute of Information Technology, Hyderabad(印度海得拉巴信息科学技术学院);University of Southern California(南加州大学);Ghent University - imec(根特大学-imec)
提出一种基于单频滤波的到达方向估计方法,利用PHAT加权互相关处理SFF输出包络,在混响、多说话人和噪声条件下优于或媲美最佳GCC方法。
2026-06-17 eess.AS
ASAP: An Azimuth-Priority Strip-Based Search Approach to Planar Microphone Array DOA Estimation in 3D
Southern University of Science(南方科技大学);Institute of Science Tokyo, Japan(东京科学研究院)
本文提出ASAP方法,通过优先处理方位角来提高三维平面麦克风阵列到达角估计的效率,通过带状搜索和区域收缩技术提升实时性能。
2026-04-28 cs.RO eess.AS
Semi-supervised source localization in reverberant environments with deep generative modeling
University of California San Diego(加利福尼亚大学圣迭戈分校);Bar-Ilan University(巴伊兰大学);Technical University Denmark(丹麦技术大学)
提出了一种基于深度生成模型的混响环境下声源定位的半监督方法。混响环境中的定位仍然是一个开放的挑战。即使数据量很大,在混响环境中可用于监督学习的标签数量通常也很小。我们通过使用卷积变分自编码器(VAE)对麦克风阵列记录的混响语音信号进行半监督学习(SSL)来解决这个问题。VAE被训练以生成麦克风之间的相对传递函数(RTF)的相位,与基于RTF相位的到达波达方向(DOA)分类器并行。这些模型使用标记和未标记的RTF相位序列进行训练。在学习执行这些任务时,VAE-SSL明确地学习分离RTF阶段的物理原因(即,源位置)不受诸如噪声和语音活动的干扰信号特性的影响。相对于声学中现有的半监督定位方法,VAE-SSL是一种有效的端到端处理方法,其依赖于对RTF相位特征的最小预处理。据我们所知,我们的论文提出了第一种方法来建模的物理声学传播使用深生成建模。VAE-SSL方法与两种基于信号处理的方法进行了比较,这两种方法是相位变换的转向响应功率(SRP-PHAT)和多信号分类(MUSIC),以及完全监督的CNN。我们发现,VAE-SSL可以优于传统的方法和CNN在标签有限的情况下。此外,经过训练的VAE-SSL系统可以生成新的RTF相位样本,这表明VAE-SSL方法学习了声学环境的物理特性。因此,VAE-SSL中的生成建模提供了一种解释学习表示的方法。
2021-04-01 cs.LG cs.SD eess.AS
Multiple Sound Source Localisation with Steered Response Power Density and Hierarchical Grid Refinement
Middle East Technical University(中东技术大学)
声源波达方向(DOA)估计是声场分析中的一个重要环节。刚性球形麦克风阵列允许计算声场的紧凑球谐表示。用于分析使用这种阵列记录的声场的基本方法是转向响应功率(SRP)图,其中源DOA可以被估计为使最大定向波束的输出功率最大化的转向方向。这种方法在计算上是昂贵的,因为它需要在所有可能的方向上操纵波束。本文提出了一种扩展SRP称为转向响应功率密度(SRPD)和相关的,信号自适应搜索方法称为分层网格细化(HiGRID),以减少DOA估计所需的转向方向的数量。所提出的方法可以定位相干以及非相干源,同时共同提供的场景中的突出的源的数量。它被证明是强大的混响和加性白噪声。评估所提出的方法,使用模拟和真实的录音高度混响条件下,以及与国家的最先进的方法进行比较。
2018-03-04 cs.MM cs.SD eess.AS
Speaker Diarization Based on Multi-channel Microphone Array in Small-scale Meeting
在演讲者日记化的任务中,小规模会议的数量占了很大的比重。麦克风阵列作为一种录音设备,其空间信息往往被大多数研究者所忽略。本文受d向量和麦克风阵列空间向量相结合的聚类方法的启发,提出了一种利用多通道麦克风阵列对不超过4个发言人的会议进行日志化的方法。我们利用语音增强预处理的麦克风阵列的音频。该算法采用了方向响应功率相位变换(SRP-PHAT)算法来获得更准确的说话人,并根据说话人数目对语音段进行重新聚类,以获得更好的性能。最后,我们用DOVER-SVM对我们的系统进行融合,以获得最佳的融合效果。我们评估了我们的系统上AMI语料库。与目前最好的实验结果相比,我们的系统在日志化出错率(DER)上有了很大的改善。
2022-10-26 cs.SD eess.AS
SSLIDE: Sound Source Localization for Indoors based on Deep Learning
本文介绍了SSLIDE,使用深度学习的室内声源定位,它应用具有编码器-解码器结构的深度神经网络(DNN)来定位连续空间中随机位置的声源。每个麦克风接收到的声音信号的空间特征被提取并表示为每个点中声源位置的似然表面。我们的DNN由一个编码器网络和两个解码器组成。编码器获得输入似然的压缩表示。一个解码器解决混响引起的多径,和其他解码器估计源位置。实验结果表明,该方法在混响环境下不仅优于多信号分类(MUSIC)、相位变换引导响应功率(SRP-PHAT)、稀疏贝叶斯学习(SBL)和竞争卷积神经网络(CNN)方法,而且具有良好的泛化性能。
2021-02-15 eess.AS eess.SP
Reverberation-Robust Localization of Speakers Using Distinct Speech Onsets and Multi-channel Cross-Correlations
本文提出两种算法,通过声学滤波器bank分解信号并结合多通道交叉相关系数,以提高在强回声环境下的语音定位性能。
2026-04-02 eess.AS
Multi-Source Position and Direction-of-Arrival Estimation Based on Euclidean Distance Matrices
Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
本文提出基于欧几里得距离矩阵的多源位置和方向到达估计方法,通过优化单个连续变量和Gram矩阵特征值,提高定位和方向估计的准确性和效率。
2026-08-11 eess.AS eess.SP
Towards End-to-End Acoustic Localization using Deep Learning: from Audio Signal to Source Position Coordinates
University of Alcalá(阿尔卡拉大学)
提出了一种基于卷积神经网络(CNN)的麦克风阵列室内声源定位方法。据我们所知,所提出的解决方案是第一个公开的工作,其中CNN被设计为直接估计声源的三维位置,使用原始音频信号作为输入信息,避免使用手工制作的音频特征。鉴于有限的本地化数据,本文提出了一种基于两个步骤的训练策略。我们首先使用从近距离谈话语音记录生成的半合成数据来训练我们的网络,并且在其中我们模拟从源传播到麦克风阵列的信号中所遭受的时间延迟和失真。然后,我们使用少量的实际数据来微调这个网络。我们的实验结果表明,这种策略是能够产生的网络,显着改善现有的定位方法的基础上\textit{SRP-PHAT}战略。此外,我们的实验表明,我们的CNN方法表现出更好的抵抗不同性别的发言人和不同的窗口大小相比,其他方法。
2018-07-29 cs.SD eess.AS
Exploiting spatial diversity for increasing the robustness of sound source localization systems against reverberation
Centro de Investigación en Tecnologías Software y Sistemas Multimedia para la Sostenibilidad (CITSEM)(可持续软件技术与多媒体系统研究中心);Universidad Politécnica de Madrid(马德里理工大学)
本文提出利用空间分集提高声源定位系统在混响环境中的鲁棒性,通过理论分析和仿真(混响时间达2秒)及实测验证,证明多个充分分离的小阵列组合效果最佳,并给出阵列尺寸、间距及SRP-PHAT融合建议。
2024-02-09 cs.SD eess.AS eess.SP
BeamLearning: an end-to-end Deep Learning approach for the angular localization of sound sources using raw multichannel acoustic pressure data
Cnam(法国国立工艺学院);LMSSC(机械系统与耦合结构实验室)
利用多通道信号处理进行声源定位已经是几十年来活跃的研究课题。近年来,深度学习在音频信号处理中的应用极大地提高了机器听觉的性能。这促使科学界也为源本地化应用开发机器学习策略。在本文中,我们介绍了BeamLearning,这是一种多分辨率深度学习方法,可以对麦克风阵列捕获的未处理时域声学信号中包含的相关信息进行编码。使用原始数据的目的是避免简化假设,最传统的基于模型的定位方法依赖于。其使用的好处是显示在混响和嘈杂的环境中的实时声源2D定位任务。由于监督式机器学习方法需要大尺寸、物理上真实、精确标记的数据集,因此我们还开发了一种基于GPU的快速计算房间脉冲响应的方法,该方法使用图像源模型的分数延迟。使用BeamLearning网络与合成和实验数据集进行了网络表示和广泛的性能测试的彻底分析。所获得的结果表明,波束学习方法显着优于宽带MUSIC和SRP-PHAT方法在定位精度和计算效率方面存在的重测量噪声和混响。
2021-04-27 cs.SD eess.AS
Direction of Arrival Estimation of Sound Sources Using Icosahedral CNNs
University of Zaragoza(萨拉戈萨大学)
在本文中,我们提出了一种新的模型的波达方向(DOA)估计的声源的基础上二十面体卷积神经网络(CNN)应用于SRP-PHAT功率图计算从麦克风阵列接收到的信号。该二十面体CNN与二十面体的60个旋转对称性等变,这表示球面旋转的连续空间的良好近似,并且可以使用标准2D卷积层来实现,具有比大多数球面CNN更低的计算成本。此外,我们提出了一个新的软argmax函数,而不是在二十面体卷积之后使用完全连接的层,该函数可以被视为argmax函数的可微版本,并允许我们将DOA估计作为回归问题来解决,将卷积层的输出解释为概率分布。我们证明,使用适合问题的等方差的模型,使我们能够优于其他国家的最先进的模型,具有较低的计算成本和更强的鲁棒性,即使在混响时间$T_{60}$为1.5 s的情况下,获得均方根定位误差低于10°。
2022-12-06 cs.LG cs.SD eess.AS