End-to-end Two-dimensional Sound Source Localization With Ad-hoc Microphone Arrays
Northwestern Polytechnical University（西北工业大学）
传统的声源定位方法大多基于由多个麦克风组成的单个麦克风阵列。它们通常被公式化为到达波达方向的估计问题。在本文中，我们提出了一种基于深度学习的ad-hoc麦克风阵列端到端声源定位方法，其中ad-hoc麦克风阵列是一组相互协作的随机分布的麦克风阵列。它可以产生扬声器的二维位置，每个节点只有一个麦克风。具体来说，我们将目标室内空间划分为多个局部区域。我们用独热码对每个局部区域进行编码，因此，节点和说话人的位置都可以用独热码来表示。因此，声源定位问题被公式化为这样的分类任务，即在给定麦克风节点的独热码及其语音记录的情况下识别说话者的独热码。为分类问题设计了一个端到端的时空深度模型。它采用了一种时空注意力架构，在架构中间插入了一个融合层，能够在模型训练和测试期间处理任意不同数量的麦克风节点。实验结果表明，该方法在强混响和噪声环境中具有良好的性能。
2022-10-16 cs.SD eess.AS
SAMbA: Speech enhancement with Asynchronous ad-hoc Microphone Arrays
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）；LTCI（电信与信息处理实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
针对 ad-hoc 麦克风阵列的设备异步问题，提出基于 DNN 的分布式语音增强方案，利用注意力机制替代高成本信号重同步，使系统对异步性具有鲁棒性，并无监督推导出异步参数。
2023-07-31 cs.SD eess.AS
Enhanced Deep Speech Separation in Clustered Ad Hoc Distributed Microphone Environments
本文针对自组织分布式麦克风阵列配置不可预测的问题，将 TAC 层与双路径 transformer 结合，并在增强前围绕声源盲聚类麦克风，从而显著提升两名同时说话者的语音分离鲁棒性。
2024-06-14 eess.AS
Libri-adhoc40: A dataset collected from synchronized ad-hoc microphone arrays
近年来，有一个研究的趋势ad-hoc麦克风阵列。然而，大多数研究都是在模拟数据上进行的。虽然一些数据集是用少量的分布式设备采集的，但它们并不同步，这阻碍了对adhoc麦克风阵列的基础理论研究。为了解决这个问题，本文提出了一个同步的语音语料库，命名为Libri-administrative 40，它收集重放Librispeech数据从扬声器的ad-hoc麦克风阵列的40强同步分布式节点在一个真实的办公环境。此外，为了给语音前端处理和其他应用提供评价指标，我们还在消声室中记录了回放的语音。我们在Libri-administrator 40数据集和模拟数据集上训练了几个多设备语音识别系统。实验结果表明，该语料库可以作为一个基准，以反映不同的ad-hoc麦克风阵列的模型的趋势和差异的有效性。该数据集可在https://github.com/ISmallFish/Libri-adhoc40在线获得。
2021-04-07 eess.AS
LABNet: A Lightweight Attentive Beamforming Network for Ad-hoc Multichannel Microphone Invariant Real-Time Speech Enhancement
NERC-SLIP, University of Science and Technology of China (USTC)（NERC-SLIP，中国科学技术大学）
本文提出轻量级注意力波束形成网络LABNet，通过三阶段框架和跨通道注意力模块，在低复杂度实时语音增强中实现麦克风不变性，以超轻资源开销取得优异性能。
2025-08-27 cs.SD eess.AS
Deep Ad-hoc Beamforming
Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）；Northwestern Polytechnical University（西北工业大学）
远场语音处理是一个重要而富有挑战性的问题。在本文中，我们提出了\textit{deep ad-hoc beamforming}，一个基于深度学习的多通道语音增强框架，基于自组织麦克风阵列，以解决这个问题。它包含三个新的组成部分。首先，它将\textit{ad-hoc microphone arrays}与基于深度学习的多通道语音增强相结合，显著降低了远场声学环境的发生概率。其次，它通过基于深度神经网络的监督信道选择框架将语音源周围的麦克风分组为本地麦克风阵列。第三，提出了一个简单的时间同步框架来实现不同时延信道的同步。除了上述的新颖性和优点，所提出的模型也是在一个单通道的方式训练，使它可以很容易地采用新的语音处理技术的发展。它的测试阶段也很灵活，可以在不重新训练或修改框架的情况下合并任何数量的麦克风。我们已经开发了许多实现所提出的框架，并进行了广泛的实验中的情况下，语音源的位置是远场，随机的，和盲目的麦克风。语音增强任务的结果表明，我们的方法优于其对应的工作与线性麦克风阵列的一个相当大的保证金在扩散噪声混响环境和点源噪声混响环境。我们还测试了框架的不同手工制作的功能。结果表明，虽然设计好的功能，导致高性能，他们不影响的结论所提出的框架的有效性。
2021-02-09 cs.SD eess.AS
Deep Learning Based Stage-wise Two-dimensional Speaker Localization with Large Ad-hoc Microphone Arrays
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd（中国电信股份有限公司人工智能研究院（TeleAI））
本文提出基于深度学习的二维说话人定位方法，利用自组织麦克风阵列中各节点的卷积神经网络估计DOA，结合三角测量、聚类和节点选择算法，在模拟与真实数据上显著优于传统方法。
2024-04-01 cs.SD eess.AS
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
Continuous Speech Separation with Ad Hoc Microphone Arrays
Microsoft（微软）
语音分离对于多说话者语音识别是有效的。在阵列由空间分布的异步麦克风组成的自组织麦克风阵列设置下，必须克服额外的挑战，因为麦克风的几何形状和数量事先是未知的。已有的研究表明，神经网络具有时空交织结构，可以有效地利用自组织阵列的多通道信号。在本文中，我们进一步扩展这种方法，连续语音分离。介绍了几种技术，使真正的连续录音语音分离。首先，我们应用基于变换器的网络的时空建模的ad hoc阵列信号。此外，提出了两种方法，以减轻语音重复的问题，在单一的谈话者段，这似乎更严重的特设阵列的情况下。一种方法是用于减少模拟训练数据和真实记录之间的声学失配的设备失真模拟。另一种是说话人计数，检测单个说话人段并合并输出信号通道。AdHoc-LibiCSS是一个新的数据集，由多个不同设备获得的串联LibriSpeech话语的连续记录组成，实验结果表明，所提出的分离方法可以显着提高重叠语音的ASR准确性，并且对于单个说话者段的性能下降很少。
2021-03-03 cs.AI cs.LG cs.SD
Time-domain Ad-hoc Array Speech Enhancement Using a Triple-path Network
Reality Labs Research at Meta（Meta现实实验室研究院）
深度神经网络（DNN）对于具有固定阵列几何形状的多通道语音增强非常有效。然而，将DNN用于具有未知顺序和麦克风放置的ad-hoc阵列并不是微不足道的。我们提出了一种新的三路径网络的ad-hoc阵列处理在时域。网络设计的核心思想是将整体加工分为空间加工和时间加工，并利用自我注意进行空间加工。使用自我注意进行空间处理使得网络对麦克风的顺序和数量不敏感。使用最近提出的双路径注意经常性网络的所有通道的时间处理独立完成。所提出的网络是一个多输入多输出架构，可以同时增强所有麦克风的信号。实验结果表明，该方法具有良好的性能。此外，我们提出的分析，以证明所提出的网络在利用多通道信息，甚至从麦克风在遥远的位置的有效性。
2022-07-04 cs.SD eess.AS
Spatial-temporal Graph Based Multi-channel Speaker Verification With Ad-hoc Microphone Arrays
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）
本文提出一种基于时空图卷积网络的多通道说话人验证方法，通过图结构实现特征聚合与通道选择，在真实和模拟环境中相比最强参考方法分别将EER相对降低17.70%和15.39%，且对信噪比和混响变化具有稳健性。
2023-07-03 cs.SD eess.AS
Attention-based distributed speech enhancement for unconstrained microphone arrays with varying number of nodes
Universit \' e de Lorraine, CNRS, Inria, Loria F-54000 Nancy, France
语音增强承诺在ad-hoc麦克风阵列中比在受限麦克风阵列中更高的效率，这要归功于声学场景中设备的宽空间覆盖。然而，自组织麦克风阵列中的语音增强仍然提出了许多挑战。特别是，算法应该能够处理可变数量的麦克风，因为阵列中的一些设备可能会出现或消失。在本文中，我们提出了一种解决方案，可以有效地处理由麦克风阵列的不同设备捕获的空间信息，同时对链路故障具有鲁棒性。为此，我们使用注意力机制，以便将更多的权重放在整个阵列中发送的相关信号上，并忽略冗余或空通道。
2021-06-15 cs.SD eess.AS eess.SP
Audio scene monitoring using redundant ad-hoc microphone array networks
University of California San Diego（加州大学圣迭戈分校）；Université de Sherbrooke（舍布鲁克大学）
我们提出了一个系统，用于定位声源在一个房间里有几个特设麦克风阵列。每个圆形阵列使用商业软件独立地执行到达方向（DOA）估计。DOA被馈送到融合中心，级联，并用于执行基于两种方法的定位，这两种方法只需要很少的标记源位置（锚点）进行训练。第一种方法是基于主成分分析（PCA）的观测波达方向，不需要任何知识的锚点。然后，阵列集群可以在由级联的波达方向随时间的PCA定义的流形上执行定位。第二种方法使用DOA向量和房间流形之间的仿射变换进行定位。PCA对训练序列的要求更少，但对来自阵列之一的丢失DOA的鲁棒性较低。这些方法使用五个物联网8麦克风圆形阵列进行演示，这些阵列放置在办公室中未指定的固定位置。PCA和仿射方法都可以很容易地基于几个锚点以相似的精度绘制出矩形。所提出的方法提供了一个步骤，以监测活动的灵巧家庭，并要求很少的安装工作，因为不需要的阵列位置。
2021-08-23 cs.LG cs.SD eess.AS
Soft Label Coding for End-to-end Sound Source Localization With Ad-hoc Microphone Arrays
本文针对自组织麦克风阵列端到端二维声源定位中的独热码量化误差问题，提出静态软标签编码SSLC和动态软标签编码DSLC，通过融入类别间几何联系并学习优化软码，有效提升了定位精度。
2023-04-15 eess.AS
End-to-end Microphone Permutation and Number Invariant Multi-channel Speech Separation
Microsoft Research（微软研究院）
ad-hoc麦克风语音分离中的一个重要问题是如何保证系统对麦克风位置和数量的鲁棒性。前者要求系统对于具有相同位置的麦克风的不同索引是不变的，而后者要求系统能够处理具有不同维度的输入。传统的基于优化的波束成形技术通过定义满足这些要求，而对于基于深度学习的端到端系统，这些约束并没有完全解决。在本文中，我们提出了变换-平均-级联（TAC），一个简单的设计范例的通道置换和数量不变的多通道语音分离。基于滤波器和总和网络（FaSNet），最近提出的端到端时域波束形成系统，我们展示了TAC如何显着提高分离性能在不同数量的麦克风在嘈杂的混响分离任务与ad-hoc阵列。此外，我们还表明，TAC也显着提高了分离性能与固定的几何阵列配置，进一步证明了所提出的范例在多麦克风语音分离的一般问题的有效性。
2020-03-27 cs.LG cs.SD eess.AS
UniX-Encoder: A Universal $X$-Channel Speech Encoder for Ad-Hoc Microphone Array Speech Processing
提出 UniX-Encoder，一种适用于任意麦克风阵列配置的通用多通道语音编码器，通过自监督和端到端训练实现多任务处理，在语音识别等任务上优于传统前段组合。
2023-10-25 eess.AS
Multi-modal Blind Source Separation with Microphones and Blinkies
Tokyo Metropolitan University（东京都立大学）
我们提出了一个盲声源分离算法，联合利用测量由传统的麦克风阵列和一个特设的低速率声功率传感器阵列称为binkies。虽然比麦克风提供更少的信息，但Blinkies在制造，同步和部署方面规避了麦克风阵列的一些困难。该算法是来自联合概率模型的麦克风和声功率测量。我们假设分离源服从时变球面高斯分布，并且非负功率测量空时矩阵具有低秩结构。我们发现，类似于独立向量分析和Itakura-Saito非负矩阵分解的交替更新降低了联合分布的负对数似然。通过数值实验验证了该算法的有效性。它的中值分离性能被发现是高达8 dB以上的独立向量分析，具有显着降低的变异性。
2019-04-04 cs.SD eess.AS
Implicit Filter-and-sum Network for Multi-channel Speech Separation
Columbia University（哥伦比亚大学）
近年来，已经提出了各种神经网络结构用于多通道语音分离的任务。其中，滤波和求和网络（FaSNet）执行端到端时域滤波和求和波束成形，并已在ad-hoc和固定麦克风阵列几何结构中显示出有效性。在本文中，我们研究了多种方法来提高FaSNet的性能。从问题公式化的角度来看，我们改变了显式的时域滤波和求和操作，涉及到所有的麦克风到一个隐式的滤波和求和操作的潜在空间中的参考麦克风。滤波求和操作应用于要分离的帧周围的上下文。这允许问题公式化更好地匹配端到端分离的目标。从特征提取的角度来看，我们修改的样本级归一化互相关（NCC）功能的计算到特征级NCC（fNCC）功能。这使得模型更好地匹配隐式滤波求和公式。在ad-hoc和固定麦克风阵列几何形状上的实验结果表明，对FaSNet的拟议修改（我们称之为iFaSNet）能够在所有条件下显著优于基准FaSNet，且模型复杂度相当。
2020-11-17 cs.SD eess.AS
Head Orientation Estimation with Distributed Microphones Using Speech Radiation Patterns
2 Department of Electrical Engineering (ESAT), KU Leuven, Leuven, Belgium；Medical\；University\,of\；4 Department of Electronic Systems, Aalborg University, Aalborg, Denmark
本文提出了一种利用分布式麦克风和语音辐射图来估计头部方向的方法，通过余弦相似度度量提升语音增强和定位性能。
2023-12-04 cs.SD eess.AS
Distributed Asynchronous Device Speech Enhancement via Windowed Cross-Attention
针对现实会议中设备间时间不同步问题，本文提出窗口化交叉注意力模块动态对齐多麦克风特征，对麦克风排列和数量不变，并设计多说话人最优训练目标，在 iFaSNet 和 CRUSE 上均优于 TAC。
2025-07-21 eess.AS
Spatial Diarization for Meeting Transcription with Ad-Hoc Acoustic Sensor Networks
Paderborn University（帕德博恩大学）
提出基于ASN的会议转录前端diarization系统，通过盲同步和TDOA估计解决麦克风位置未知和信号未同步问题，利用TDOA指导空间混合模型和波束成形提取说话人信号，实验证明其优于不使用外部diarization信息的系统。
2023-11-27 cs.SD eess.AS
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University（隆德大学）；Arm（安谋科技）；Sony（索尼）；Tenstorrent
提出将3D声源定位建模为集合到集合回归，用多模态掩码自编码器处理音频和麦克风坐标，重建掩码坐标实现定位，支持任意麦克风数量及缺失数据，在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
Sound of Guns: Digital Forensics of Gun Audio Samples meets Artificial Intelligence
Hamad Bin Khalifa University（哈马德·本·哈利法大学）
根据武器的枪口冲击波对武器进行分类是一项具有挑战性的任务，在各种安全和军事领域都有重要的应用。大多数现有的工作依赖于空间上不同的麦克风传感器的ad-hoc部署，以捕获同一枪声的多个副本，这使得能够准确地检测和识别声源。然而，在诸如犯罪现场取证的场景中难以获得仔细控制的设置，使得上述技术不适用且不切实际。我们介绍了一种新的技术，需要零知识的录音设置，是完全不可知的麦克风和射手的相对位置。我们的解决方案可以识别枪支的类别，口径和型号，在从YouTube视频中提取的3655个样本组成的数据集上达到90%以上的准确率。我们的研究结果表明，应用卷积神经网络（CNN）在枪击分类的有效性和效率，消除了需要一个特设的设置，同时显着提高分类性能。
2021-03-01 cs.LG cs.SD eess.AS
LibriWASN: A Data Set for Meeting Separation, Diarization, and Recognition with Asynchronous Recording Devices
Paderborn University（帕德博恩大学）
本研究提出遵循LibriCSS设计、由异步多设备录制的LibriWASN会议数据集，含29个通道与多重叠度子集，可用于时钟同步及会议语音相关任务测试。
2023-08-21 cs.CL cs.SD eess.AS
Few-Shot Calibration for Sim-to-Real Single-Channel Speaker Distance Estimation
Tampere University（坦佩雷大学）
针对模拟训练说话人距离估计器在真实场景迁移差的问题，提出用少量真实标注数据通过事后校准映射调整输出，并基于排序能力选择合成检查点，实现有效校准。
2026-09-25 cs.SD eess.AS eess.SP
