LOCATA challenge: speaker localization with a planar array
Centre for Intelligent Sensing（智能传感中心）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Queen Mary University of London（伦敦玛丽女王大学）
本文档介绍了我们提交的2018年本地化和跟踪（LOCATA）挑战（任务1，3，5）。我们估计的3D位置的扬声器使用的全球相干场（GCF）计算从多个麦克风对的DICIT平面阵列。将这种阵列与全向麦克风一起使用时的主要挑战之一是前后模糊性，这在任务5中特别明显。我们通过对GCF的峰值进行后处理并利用阵列框架引入的衰减来解决这一挑战。此外，语音的间歇性和说话者方向的变化使得定位困难。对于任务3和5，我们还采用了粒子滤波器（PF），有利于定位结果的时空连续性。
2019-01-25 cs.SD eess.AS
Localization and Tracking of an Acoustic Source using a Diagonal Unloading Beamforming and a Kalman Filter
University of Udine（乌迪内大学）
我们提出的信号处理框架和IEEE AASP挑战声源定位和跟踪（LOCATA）的一些结果。该系统是专为在单源场景的波达方向（DOA）估计。该框架由四个主要模块组成：预处理，语音活动检测（VAD），定位，跟踪。信号预处理包括对阵列采集的多通道信号进行短时傅里叶变换和互功率谱估计。VAD是用CPSD矩阵的基于迹线的阈值计算的。然后使用我们最近提出的对角卸载（DU）波束成形，它具有低复杂度和高分辨率的本地化计算。最后利用卡尔曼滤波器对DOA估计进行平滑处理。LOCATA开发数据集上的实验结果的根均方误差（RMSE）的7麦克风线性阵列，12麦克风伪球形阵列集成在一个原型头的人形机器人，和32麦克风球形阵列。
2018-12-04 cs.SD eess.AS
Robust DOA estimation using deep acoustic imaging
University of Southern California（南加州大学）；New York University（纽约大学）
本文针对波达方向估计任务，提出先对低分辨率麦克风阵列进行超分辨率上采样，再以球面强度图（SIM）作为输入构建DoAE模型，实验表明其性能优于基线模型和最先进模型，证明了声学成像在该任务中的价值。
2024-01-16 cs.SD eess.AS
Position tracking of a varying number of sound sources with sliding permutation invariant training
Tampere University（坦佩雷大学）；University of Zaragoza（萨拉戈萨大学）
针对声源不断出现和消失的多源跟踪问题，提出基于先前帧最优位置关联均方误差的滑动排列不变训练策略，可在不降低逐帧定位精度的情况下减少身份切换。
2023-06-05 cs.LG cs.SD eess.AS
Identity-Assisted Association of Unordered DOA Estimates for Neural Speech Source Tracking
Westlake University（西湖大学）；Tianjin University（天津大学）；Zhejiang University（浙江大学）；Westlake Institute for Advanced Study（西湖高等研究院）
针对语音源跟踪中数据关联模糊问题，提出身份辅助关联方法，将无序DOA估计映射到说话人一致轨迹，利用身份嵌入与自注意力机制，实验证明其有效缓解关联混淆。
2026-09-29 cs.SD eess.AS
Direction Estimation of Sound Sources Using Microphone Arrays and Signal Strength
Computer Science \& Engineering, Sabancı University, Faculty of Engineering；Robotics, University of Tehran, School of Electrical
本文提出一种基于三个驻极体麦克风的轻量级声音追踪方法，通过比较接收信号的平均功率推断声源方向，实现小于6度的定位误差和98%的精度，为安防、智能家居等领域提供低成本、易集成的定位解决方案。
2025-10-10 cs.SD cs.SY eess.AS
The effect of self-motion and room familiarity on sound source localization in virtual environments
Ludwig-Maximilians-Universität München（慕尼黑路德维希·马克西米利安大学）
本文利用视听虚拟现实技术研究自运动和房间熟悉度对声源定位的影响，发现横向自运动和声学适应能提升距离感知准确性，但对方位角感知无改善甚至有负面影响。
2024-08-25 cs.HC cs.SD eess.AS
Tracking Multiple Audio Sources with the von Mises Distribution and Variational EM
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心）；Imperial College London（帝国理工学院）
在本文中，我们解决的问题，同时跟踪几个移动的音频源，即从一系列观察到的功能估计源轨迹的问题。我们建议使用冯米塞斯分布模型音频源到达方向与圆形随机变量。这导致贝叶斯过滤公式，这是棘手的，因为随着时间的推移，相关联的观测变量与潜变量的组合爆炸。我们提出了一个变分近似的过滤分布。我们推断出一个变分的期望最大化算法，这是计算上易于处理和时间效率。我们提出了一个音频源出生的方法，有利于平滑的源轨迹，这是用来初始化的活动源的数量和检测新的来源。我们最近发布的LOCATA数据集，包括两个移动源和移动麦克风阵列安装到机器人上进行实验。
2019-04-10 cs.SD eess.AS
A cascaded multiple-speaker localization and tracking system
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像、语音、信号与自动化实验室）
本文提出了一种在线多说话人定位和跟踪方法，作为INRIA-Perception对LOCATA Challenge 2018的贡献。首先，使用递归最小二乘法自适应地估计直达路径相对传递函数作为通道间定位特征。该特征被假设为在每个时频区间处与单个扬声器相关联。其次，使用复高斯混合模型（CGMM）作为特征的生成模型。每个CGMM分量的权重表示该分量对应于活动说话人的概率，并使用在线优化算法自适应地估计。最后，以CGMM分量权值为观测值，采用基于变分期望最大化算法的贝叶斯多说话人跟踪方法。该跟踪器通过引入说话人出生和睡眠过程，考虑了说话人的变化和定位误差。报告了在挑战的开发数据集上进行的实验。
2018-12-11 cs.SD eess.AS
Robust Sound Source Tracking Using SRP-PHAT and 3D Convolutional Neural Networks
University of Zaragoza（萨拉戈萨大学）
在本文中，我们提出了一个新的单声源DOA估计和跟踪系统的基础上著名的SRP-PHAT算法和三维卷积神经网络。它使用SRP-PHAT功率图作为全卷积因果架构的输入特征，该架构使用3D卷积层来准确地执行声源跟踪，即使在大多数最先进技术都失败的高度混响场景中也是如此。与以前的方法不同，由于我们不使用双向递归层，并且我们所有的卷积层在时间维度上都是因果关系，因此我们的系统对于实时应用是可行的，并且它为每个新的SRP-PHAT映射提供了新的DOA估计。为了训练模型，我们引入了一个新的过程来模拟随机轨迹，因为它们在训练过程中需要，相当于一个无限大小的数据集具有高度的灵活性，以修改其声学条件，如混响时间。我们使用声学模拟在大范围的混响时间和LOCATA数据集的实际记录，以证明我们的系统的鲁棒性和良好的性能，即使使用低分辨率SRP-PHAT地图。
2020-12-16 cs.LG cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg（奥尔登堡大学）
本研究在虚拟声学环境中用非脚本自然语音探究视听增益，通过EEG和皮层语音追踪分析不同条件及说话者特征的影响，发现噪声下视听增强显著，唇部运动作用关键，验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Active Acoustic Source Tracking Exploiting Particle Filtering and Monte Carlo Tree Search
在本文中，我们解决了主动声源跟踪的机器人路径规划的一部分的任务。它表示规划机器人运动序列以增强声源的跟踪结果，例如，会说话的人类，通过融合来自多个位置的观察。从本质上讲，有两种策略是可能的：短期规划，这会导致贪婪的行为，长期规划，这会考虑机器人和源的一系列可能的未来运动。在这里，我们专注于第二种方法，因为它可能会提高跟踪性能相比，贪婪的行为，并提出了一个灵活的路径规划算法，利用蒙特卡洛树搜索（MCTS）和粒子滤波的基础上，奖励信息理论的考虑。
2019-09-09 eess.AS
Separation of Moving Sound Sources Using Multichannel NMF and Acoustic Tracking
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了一种方法分离的运动声源。该方法首先跟踪源，然后使用多通道非负矩阵分解（NMF）估计源谱图，并通过单通道维纳滤波从混合物中提取源。我们提出了一种新的多通道NMF模型与空间协方差矩阵（SCM）表示的源随时间变化的混合，并提供更新方程优化模型参数最小化平方Frobenius范数。该模型的SCM获得的基础上估计的到达方向的跟踪源在每个时间帧。评估是基于既定的客观分离标准，并使用两个和三个同时移动声源的真实录音。比较的方法包括传统的波束形成和理想比率掩模分离。所提出的方法被证明超过其他评估盲方法的分离质量根据所有测量的数量。此外，我们通过比较使用注释的地面真实源轨迹实现的分离质量来评估该方法对跟踪误差的敏感性。
2017-10-27 cs.SD eess.AS
AIM: Acoustic Inertial Measurement for Indoor Drone Localization and Tracking
Tsinghua University（清华大学）；Politecnico di Milano（米兰理工大学）；RI.SE Sweden（瑞典RI.SE公司）；University of Electronic Science and Technology of China（电子科技大学）
提出AIM技术，利用无人机声学特性结合Kalman滤波和IQR规则在NLoS室内环境中实现精准定位与跟踪，误差比UWB系统低46%。
2025-04-02 cs.RO cs.SD eess.AS
Articulatory Coordination for Speech Motor Tracking in Huntington Disease
University of Michigan（密歇根大学）；Northwestern University（西北大学）；Michigan Medicine（密歇根医学中心）
亨廷顿舞蹈病（HD）是一种进行性疾病，通常表现为运动障碍。运动严重程度（通过运动评分捕获）是评估总体HD严重程度的关键组成部分。然而，运动评分评估涉及由训练有素的医疗专业人员进行的诊所内访问，这是昂贵的，并且并不总是容易获得。语音分析为跟踪HD严重程度提供了一个有吸引力的途径，因为语音很容易远程收集，并提供了对运动变化的洞察。HD语音通常被表征为具有不规则的清晰度。考虑到这一点，声学特征，可以捕捉声道运动和发音协调是特别有前途的运动症状进展的特点在HD。在本文中，我们提出了一个实验，使用声道协调（VTC）的功能，从读取语音估计电机分数。当使用弹性网络回归模型时，我们发现VTC特征在不同长度的音频片段中显着优于其他声学特征，这突出了这些特征对短格式和长格式阅读任务的有效性。最后，我们分析VTC特征的F值分数，以可视化哪些通道与运动分数最相关。这项工作使未来的研究工作，考虑VTC功能的声学分析，目标HD运动神经病学跟踪。
2021-09-28 cs.SD eess.AS
Longitudinal Acoustic Speech Tracking Following Pediatric Traumatic Brain Injury
Stanford University（斯坦福大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Worcester Polytechnic Institute（伍斯特理工学院）；Mass General Hospital（麻省总医院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
对小儿创伤性脑损伤（TBI）后常见结果测量的建议支持将仪器测量与恢复和治疗计划中的感知评估相结合。因此，一套全面的敏感，稳健和非侵入性的测量是必不可少的，在评估随着时间的推移，儿童TBI后的语音特征的变化。在这篇文章中，我们研究了10名被诊断患有严重TBI的儿童队列的声学语音模式的变化。我们提取了一组不同的著名的和新颖的声学功能，从儿童语音记录在整个一年后，儿童产生的可理解的话。这些功能进行了单独分析，并通过语音子系统，在受试者和跨队列。作为一个群体，年龄较大的儿童表现出高度显着（p<0.01）的增加，音高变化和音素多样性，缩短停顿长度，和稳定的清晰度变化率。年龄较小的儿童表现出类似的频率变异性，同时增加共振峰为基础的清晰度的复杂性。特征集与年龄的相关性分析和与规范发育数据的比较证实，受伤时的年龄在确定恢复轨迹中起着重要作用。几乎所有的言语特征对于整个群组都显著变化（p<0.05），证实需要声学测量补充感知评估以识别TBI后言语治疗的有效治疗目标。
2022-09-09 cs.SD eess.AS q-bio.NC
Localization, Detection and Tracking of Multiple Moving Sound Sources with a Convolutional Recurrent Neural Network
Tampere University（坦佩雷大学）
本文研究了联合定位，检测和跟踪的声音事件使用卷积循环神经网络（CRNN）。我们使用CRNN先前提出的固定源的定位和检测，并表明，经常性的层，使运动源的空间跟踪时，训练与动态场景。CRNN的跟踪性能进行了比较，一个独立的跟踪方法，结合了多源（DOA）估计和粒子滤波。他们各自的性能进行评估，在各种声学条件下，如消声和混响的情况下，固定和移动源在几个角速度，并与不同数量的重叠源。结果表明，CRNN设法跟踪多个源更一致的声学场景比参数的方法，但在较高的定位误差的成本。
2019-04-29 cs.LG cs.SD eess.AS
Tracking of Intermittent and Moving Speakers : Dataset and Metrics
Orange Innovation
针对现有说话人追踪方法难以处理非活跃期位置变化导致的不连续轨迹身份分配问题，本文提出一阶Ambisonics格式的LibriJump数据集，并引入计算机视觉领域的关联指标，验证其与传统追踪指标的互补性。
2025-06-11 cs.SD eess.AS eess.SP
Audiovisual Speaker Tracking using Nonlinear Dynamical Systems with Dynamic Stream Weights
Ruhr University Bochum（波鸿鲁尔大学）
数据融合在许多需要高效处理多模态感知观测的技术应用中起着重要作用。一个突出的例子是视听信号处理，它在自动语音识别、说话人定位和相关任务中获得了越来越多的关注。如果与声学信息适当结合，额外的视觉提示可以帮助提高这些应用中的性能，特别是在不利的声学条件下。基于瞬时传感器可靠性测量的声和视频流的动态加权是在这种情况下进行数据融合的有效方法。本文提出了一个框架，扩展了完善的非线性动力系统的理论与动态流权重的概念为任意数量的感官观察。它包括一个递归状态估计器的基础上的高斯滤波范例，它将动态流权重到一个框架密切相关的扩展卡尔曼滤波器。此外，一个凸优化方法来估计预言动态流的权重在完全观测的动态系统利用Dirichlet先验。这作为动态流权重估计器的通用参数学习框架的基础。所提出的系统是独立的应用程序，可以很容易地适应特定的任务和要求。使用视听扬声器跟踪任务的研究被认为是在这项工作中的一个典型应用。在实验中证明了基于动态流权重的估计框架在最先进的方法上的改进的跟踪性能。
2019-03-14 cs.CV cs.SD eess.AS
6DoF SELD: Sound Event Localization and Detection Using Microphones and Motion Tracking Sensors on self-motioning human
NTT Corporation（NTT公司）
本文面向运动人体的可穿戴SELD任务，构建首个考虑麦克风6DoF自主运动的数据集，并提出融合音频与运动追踪信号的多模态系统，以条件化声学特征提升定位检测性能。
2024-03-04 cs.SD eess.AS
Frequency Tracking Features for Data-Efficient Deep Siren Identification
KU Leuven（鲁汶大学）；Research Foundation - Flanders (FWO)（弗拉芒研究基金会）
针对城市警笛声识别中训练数据有限的问题，提出基于单参数自适应陷波滤波器频率跟踪的低复杂度特征提取方法，搭配小规模卷积网络，在数据有限时性能优于传统语谱图模型，跨域泛化更好且模型更小。
2024-09-13 cs.SD eess.AS
Tracking of Spatially Dynamic Room Impulse Responses Along Locally Linearized Trajectories
本研究针对前期沿线性轨迹估计房间脉冲响应方法适用范围小、未用真实数据验证的问题，通过将长轨迹分割为局部线性区间逐段应用该方法，并用trajectoRIR数据库验证了其在更复杂房间环境中的有效性。
2025-06-13 eess.AS eess.SP
Multiple Mobile Target Detection and Tracking in Active Sonar Array Using a Track-Before-Detect Approach
University of Haifa（海法大学）；University of Zagreb（萨格勒布大学）；Ruder Bošković（鲁德·博什科维奇研究所）
提出一种基于航迹前检测的有源声呐多目标跟踪算法，通过CFAR滤波和NCV模型实现高精度跟踪，在模拟和海上实验中优于基准方案。
2024-04-16 cs.SD eess.AS eess.SP
Broadband Acoustic Intensity Direction Estimation with Tight-Frame Cardioid Arrays
Faculty of Design, Kyushu University（九州大学设计学院）
本研究采用紧框架心形阵列，通过6或24个麦克风的布置及不同间距实验，实现50Hz至20kHz的宽带声强方向估计，24个麦克风加短间距方案误差更小。
2026-09-04 eess.AS
Online Localization and Tracking of Multiple Moving Speakers in Reverberant Environments
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔国立高等物理、数学与信息学院）；GIPSA-lab（GIPSA实验室）
我们解决的问题，在线定位和跟踪多个移动扬声器在混响环境。本文有以下贡献。我们使用的直接路径相对传递函数（DP-RTF），一个通道间的功能，编码的声学信息对混响鲁棒性，我们提出了一个在线算法，非常适合估计DP-RTF与移动音频源。所提出的方法的另一个关键因素是它能够正确分配DP-RTF音频源方向。为了实现这一目标，我们采用了最大似然公式，我们建议使用指数梯度（EG），以有效地更新源方向的估计，从他们目前可用的值。多个扬声器跟踪的问题是计算上棘手的，因为观察到的源方向和物理扬声器之间的可能的关联的数量随时间呈指数增长。我们采用贝叶斯框架，我们提出了一个变分近似的后验滤波分布与多说话人跟踪，以及一个有效的变分期望最大化（VEM）求解器。建议的在线定位和跟踪方法进行了彻底评估，使用两个数据集，包含在真实环境中进行的记录。
2019-02-26 cs.SD eess.AS
Resonant Processing of Instrumental Sound Controlled by Spatial Position
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一种声学乐器，通过另一种声音的共振模型发挥。共振模型作为复合仪器的一部分被实时的控制。我们的实现使用的电小提琴，其空间位置修改的谐振模型的滤波器参数。单纯插值定义了从空间位置到滤波器参数的映射。通过一些努力，音调跟踪也可以控制滤波器参数。运动跟踪、音高跟踪、共振模型等单独的技术很容易适应其他乐器。
2020-10-04 cs.HC cs.SD eess.AS
Ultra2Speech -- A Deep Learning Framework for Formant Frequency Estimation and Tracking from Ultrasound Tongue Images
University of British Columbia（不列颠哥伦比亚大学）；Haskins Laboratories（哈斯金斯实验室）
每年有数千人因严重疾病需要手术切除喉咙，因此，在失去音箱后需要另一种交流形式来表达语音。这项工作解决了基于超声（US）舌头图像的发音声学映射问题，用于开发无声语音接口（SSI），可以为他们的日常互动提供帮助。我们的方法的目标自动提取舌头运动信息，选择一个最佳的功能集，从US图像和映射这些功能的声学空间。我们使用一种新的深度学习架构，将来自放置在受试者下巴下方的US探头的US舌头图像映射到我们称为Ultrasound 2Forces（U2 F）Net的共振峰。它使用混合时空3D卷积，然后进行特征混洗，用于从US图像中估计和跟踪元音共振峰。共振峰值，然后利用合成连续的时变元音轨迹，通过Klatt合成器。我们的最佳模型在回归任务中实现了99.96%的R平方（R^2）测量。我们的网络为SSI奠定了基础，因为它成功地自动跟踪舌头轮廓作为内部表示，无需任何显式注释。
2020-06-29 cs.LG cs.SD eess.AS
Ultra-broadband local active noise control with remote acoustic sensing
Centre for Audio, Acoustics and Vibration, University of Technology Sydney（悉尼科技大学音频、声学与振动中心）
在局部有源噪声控制（ANC）系统中控制高频声音的一个持久挑战是在待控制的特定位置处获得声学信号。在诸如ANC头枕系统的一些应用中，在人的耳朵中安装误差麦克风以向用户提供安静或最佳声学控制的环境是不实际的。已经提出了许多虚拟误差感测方法，以使用四个麦克风的阵列和头部跟踪系统的当前最先进的方法来远程估计声学信号，以针对单个声源产生高达1kHz的声音降低。在本文报道的工作中，一种新的方法，将远程声学传感使用激光多普勒测振仪到ANC头枕系统进行了研究。在这个“虚拟ANC耳机”系统中，头部和躯干模拟器的每个合成耳朵中安装了一个轻质的逆反射膜拾取器，以最小的侵入性实时确定耳朵中的声音。膜的设计和它的位置对系统性能的影响进行了探讨，噪声频谱的耳朵没有和ANC的各种相关的主要声场的报告，并证明了系统的性能在头部运动。测试结果表明，在复杂声场下，对于几种常见类型的合成环境噪声，即使在头部运动的情况下，在从500 Hz到6 kHz的扩展频率范围内，耳朵中也可以实现至少10 dB的声音衰减。
2020-11-27 cs.SD cs.SY eess.AS
A Distributed Acoustic Sensor System for Intelligent Transportation using Deep Learning
Queen Mary University of London（伦敦玛丽女王大学）；Fotech Group（Fotech集团）
智能交通系统（ITS）是可持续和绿色城市生活发展的关键。ITS是数据驱动的，由从气动管道到智能摄像头的大量传感器实现。这项工作探讨了一种新的数据源的基础上，基于光纤的分布式声学传感器（DAS）的交通分析。检测车辆类型和估计车辆的占用率是ITS中的主要关注点。第一个是出于跟踪、控制和预测交通流的需要。第二个目标是管制高占用率的车道，以减少排放和拥堵。这些任务通常由个人检查车辆或通过使用新兴的计算机视觉技术来执行。前者不可扩展，效率也不高，而后者则会侵犯乘客的隐私。为此，我们提出了一种深度学习技术来分析DAS信号，以通过连续感测来解决这一挑战，而不会暴露个人信息。我们提出了一种用于处理DAS信号的深度学习方法，并基于在受控条件下收集的DAS数据实现了92%的车辆分类准确率和92-97%的占用检测。
2022-09-13 cs.LG cs.SD eess.AS
Relating EEG recordings to speech using envelope tracking and the speech-FFR
在言语感知过程中，听者的脑电图（EEG）反映了听觉水平的处理以及更高层次的认知因素，如言语理解和注意。然而，由于EEG信号的低信噪比，从EEG记录解码语音是具有挑战性的。我们报告了ICASSP 2023“听觉EEG解码”信号处理大挑战的方法。一个简单的集成方法，大大提高了基线解码器的性能。甚至更高的分类率是通过联合解码的语音诱发的频率以下的响应和响应的时间包络的语音，以及通过微调的解码器个别科目。我们的研究结果可以应用于听力障碍的诊断或认知导向助听器。
2023-03-11 eess.AS
