Attention-based multi-channel speaker verification with ad-hoc microphone arrays
Northwestern Polytechnical University（西北工业大学）
近年来，ad-hoc麦克风阵列得到了广泛的研究。与传统的麦克风阵列设置不同，ad-hoc麦克风阵列的麦克风的空间布置和数量是事先不知道的，这阻碍了传统说话人确认技术对ad-hoc麦克风阵列的适应。为了克服这个缺点，在本文中，我们提出了基于注意力的多通道说话人确认与ad-hoc麦克风阵列。具体来说，我们在单通道说话人确认系统的池化层之后增加了通道间处理层和全局融合层。通道间处理层沿着通道维度应用所谓的残余自注意力，用于向不同麦克风分配权重。全局融合层以独立于输入通道数量的方式集成所有通道。我们进一步用sparsemax替换了剩余自注意中的softmax算子，这迫使非常嘈杂的信道的信道权重为零。对30多个通道的自组织麦克风阵列的实验结果表明了所提方法的有效性。例如，在具有匹配和不匹配的通道数的测试场景中，使用sparsemax的多通道说话人验证在半真实数据集上实现了比oracle最佳系统低20%以上的等出错率（EER），并且在仿真数据集上实现了比oracle最佳系统低30%以上的等错误率（EER）。
2021-07-01 cs.SD eess.AS
The Neural-SRP method for positional sound source localization
Imperial College（帝国理工学院）
针对高混响环境下SRP定位性能下降及现有DNN对麦克风拓扑适应性差的问题，提出结合SRP灵活性与DNN性能的Neural-SRP方法，通过模拟数据和迁移学习训练，显著提升定位性能。
2024-03-14 cs.SD eess.AS
Multi-Channel Far-Field Speaker Verification with Large-Scale Ad-hoc Microphone Arrays
Northwestern Polytechnical University（西北工业大学）
基于ad-hoc麦克风阵列的说话人确认在恶劣的声学环境中具有显著降低误差的潜力。然而，现有的方法提取话语级扬声器嵌入从每个通道的ad-hoc麦克风阵列，这并没有充分考虑跨设备的时空信息。在本文中，我们提出了聚合的ad-hoc麦克风阵列的多通道信号在帧级通过深入探索跨信道信息与两个注意力机制。第一种是自我注意力方法。它由跨帧自注意层和跨通道自注意层组成，均工作在帧级。第二个通过两个图注意层学习跨帧和跨通道信息。实验结果表明，所提出的方法达到了最先进的性能。此外，在大多数情况下，图形注意力方法优于自注意力方法。
2022-03-28 cs.SD eess.AS
SAMbA: Speech enhancement with Asynchronous ad-hoc Microphone Arrays
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）；LTCI（电信与信息处理实验室）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
针对 ad-hoc 麦克风阵列的设备异步问题，提出基于 DNN 的分布式语音增强方案，利用注意力机制替代高成本信号重同步，使系统对异步性具有鲁棒性，并无监督推导出异步参数。
2023-07-31 cs.SD eess.AS
Ad Hoc Microphone Array Calibration: Euclidean Distance Matrix Completion Algorithm and Theoretical Guarantees
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文讨论的问题，ad hoc麦克风阵列校准麦克风之间的距离只有部分信息。我们构造了一个矩阵组成的成对距离，并提出了一种新的欧氏距离矩阵完成算法的基础上估计丢失的条目交替低秩矩阵完成和投影到欧氏距离空间。这种方法限制恢复矩阵的EDM锥在矩阵完成算法的每次迭代。考虑到随机和局部结构的缺失条目以及已知距离上的测量噪声，获得了校准性能的理论保证。这项研究阐明了校准误差和麦克风的数量以及噪声水平和缺失距离的比率之间的联系。真实数据记录和模拟设置进行彻底的实验，以证明这些理论的见解。一个显着的改善是由建议的欧几里德距离矩阵完成算法超过国家的最先进的技术，为ad hoc麦克风阵列校准。
2014-08-31 cs.LG cs.SD
Continuous Speech Separation with Ad Hoc Microphone Arrays
Microsoft（微软）
语音分离对于多说话者语音识别是有效的。在阵列由空间分布的异步麦克风组成的自组织麦克风阵列设置下，必须克服额外的挑战，因为麦克风的几何形状和数量事先是未知的。已有的研究表明，神经网络具有时空交织结构，可以有效地利用自组织阵列的多通道信号。在本文中，我们进一步扩展这种方法，连续语音分离。介绍了几种技术，使真正的连续录音语音分离。首先，我们应用基于变换器的网络的时空建模的ad hoc阵列信号。此外，提出了两种方法，以减轻语音重复的问题，在单一的谈话者段，这似乎更严重的特设阵列的情况下。一种方法是用于减少模拟训练数据和真实记录之间的声学失配的设备失真模拟。另一种是说话人计数，检测单个说话人段并合并输出信号通道。AdHoc-LibiCSS是一个新的数据集，由多个不同设备获得的串联LibriSpeech话语的连续记录组成，实验结果表明，所提出的分离方法可以显着提高重叠语音的ASR准确性，并且对于单个说话者段的性能下降很少。
2021-03-03 cs.AI cs.LG cs.SD
LABNet: A Lightweight Attentive Beamforming Network for Ad-hoc Multichannel Microphone Invariant Real-Time Speech Enhancement
NERC-SLIP, University of Science and Technology of China (USTC)（NERC-SLIP，中国科学技术大学）
本文提出轻量级注意力波束形成网络LABNet，通过三阶段框架和跨通道注意力模块，在低复杂度实时语音增强中实现麦克风不变性，以超轻资源开销取得优异性能。
2025-08-27 cs.SD eess.AS
Deep Ad-hoc Beamforming
Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）；Northwestern Polytechnical University（西北工业大学）
远场语音处理是一个重要而富有挑战性的问题。在本文中，我们提出了\textit{deep ad-hoc beamforming}，一个基于深度学习的多通道语音增强框架，基于自组织麦克风阵列，以解决这个问题。它包含三个新的组成部分。首先，它将\textit{ad-hoc microphone arrays}与基于深度学习的多通道语音增强相结合，显著降低了远场声学环境的发生概率。其次，它通过基于深度神经网络的监督信道选择框架将语音源周围的麦克风分组为本地麦克风阵列。第三，提出了一个简单的时间同步框架来实现不同时延信道的同步。除了上述的新颖性和优点，所提出的模型也是在一个单通道的方式训练，使它可以很容易地采用新的语音处理技术的发展。它的测试阶段也很灵活，可以在不重新训练或修改框架的情况下合并任何数量的麦克风。我们已经开发了许多实现所提出的框架，并进行了广泛的实验中的情况下，语音源的位置是远场，随机的，和盲目的麦克风。语音增强任务的结果表明，我们的方法优于其对应的工作与线性麦克风阵列的一个相当大的保证金在扩散噪声混响环境和点源噪声混响环境。我们还测试了框架的不同手工制作的功能。结果表明，虽然设计好的功能，导致高性能，他们不影响的结论所提出的框架的有效性。
2021-02-09 cs.SD eess.AS
End-to-end Microphone Permutation and Number Invariant Multi-channel Speech Separation
Microsoft Research（微软研究院）
ad-hoc麦克风语音分离中的一个重要问题是如何保证系统对麦克风位置和数量的鲁棒性。前者要求系统对于具有相同位置的麦克风的不同索引是不变的，而后者要求系统能够处理具有不同维度的输入。传统的基于优化的波束成形技术通过定义满足这些要求，而对于基于深度学习的端到端系统，这些约束并没有完全解决。在本文中，我们提出了变换-平均-级联（TAC），一个简单的设计范例的通道置换和数量不变的多通道语音分离。基于滤波器和总和网络（FaSNet），最近提出的端到端时域波束形成系统，我们展示了TAC如何显着提高分离性能在不同数量的麦克风在嘈杂的混响分离任务与ad-hoc阵列。此外，我们还表明，TAC也显着提高了分离性能与固定的几何阵列配置，进一步证明了所提出的范例在多麦克风语音分离的一般问题的有效性。
2020-03-27 cs.LG cs.SD eess.AS
A Meeting Transcription System for an Ad-Hoc Acoustic Sensor Network
Paderborn University（帕德博恩大学）
我们提出了一个系统，转录一个典型的会议场景，是由一组最初不同步的麦克风阵列在未知的位置捕获的对话。该系统由采样率和采样时间偏移估计、基于说话人和麦克风阵列位置估计的语音同步、多通道语音增强和自动语音识别等子系统组成。利用估计的日志化信息，初始化空间混合模型，该空间混合模型用于估计用于源分离的波束形成器系数。仿真结果表明，与单个紧凑型麦克风阵列相比，通过同步和组合多个分布式麦克风阵列可以提高语音识别的准确性。此外，所提出的空间混合模型的知情初始化提供了一个明显的性能优势，随机初始化。
2022-05-02 cs.SD eess.AS
PickNet: Real-Time Channel Selection for Ad Hoc Microphone Arrays
Microsoft（微软）
本文提出了PickNet，一个神经网络模型的实时通道选择的ad hoc麦克风阵列组成的多个记录设备，如手机。假设在每个时间点最多有一个人是语音活跃的，PickNet通过使用仅数百毫秒的短频谱补丁来识别每个时间帧在空间上最接近活跃人员的设备。该模型应用于每个时间帧，并且来自所选麦克风的短时间帧信号跨帧级联以产生输出信号。由于个人设备通常靠近其所有者，因此输出信号预期平均具有比输入信号更高的信噪比和直达混响比。由于PickNet在每个时间帧仅利用有限的声学背景，因此使用所提出的模型的系统实时工作，并且对声学条件的变化具有鲁棒性。通过使用用各种智能手机获得的真实对话录音进行基于语音识别的评估。所提出的模型产生了显着的增益字错误率与有限的计算成本系统使用块在线波束形成器和一个单一的远程麦克风。
2022-01-24 cs.CL cs.SD eess.AS
Time-domain Ad-hoc Array Speech Enhancement Using a Triple-path Network
Reality Labs Research at Meta（Meta现实实验室研究院）
深度神经网络（DNN）对于具有固定阵列几何形状的多通道语音增强非常有效。然而，将DNN用于具有未知顺序和麦克风放置的ad-hoc阵列并不是微不足道的。我们提出了一种新的三路径网络的ad-hoc阵列处理在时域。网络设计的核心思想是将整体加工分为空间加工和时间加工，并利用自我注意进行空间加工。使用自我注意进行空间处理使得网络对麦克风的顺序和数量不敏感。使用最近提出的双路径注意经常性网络的所有通道的时间处理独立完成。所提出的网络是一个多输入多输出架构，可以同时增强所有麦克风的信号。实验结果表明，该方法具有良好的性能。此外，我们提出的分析，以证明所提出的网络在利用多通道信息，甚至从麦克风在遥远的位置的有效性。
2022-07-04 cs.SD eess.AS
Spatial-temporal Graph Based Multi-channel Speaker Verification With Ad-hoc Microphone Arrays
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）
本文提出一种基于时空图卷积网络的多通道说话人验证方法，通过图结构实现特征聚合与通道选择，在真实和模拟环境中相比最强参考方法分别将EER相对降低17.70%和15.39%，且对信噪比和混响变化具有稳健性。
2023-07-03 cs.SD eess.AS
Attention-based distributed speech enhancement for unconstrained microphone arrays with varying number of nodes
Universit \' e de Lorraine, CNRS, Inria, Loria F-54000 Nancy, France
语音增强承诺在ad-hoc麦克风阵列中比在受限麦克风阵列中更高的效率，这要归功于声学场景中设备的宽空间覆盖。然而，自组织麦克风阵列中的语音增强仍然提出了许多挑战。特别是，算法应该能够处理可变数量的麦克风，因为阵列中的一些设备可能会出现或消失。在本文中，我们提出了一种解决方案，可以有效地处理由麦克风阵列的不同设备捕获的空间信息，同时对链路故障具有鲁棒性。为此，我们使用注意力机制，以便将更多的权重放在整个阵列中发送的相关信号上，并忽略冗余或空通道。
2021-06-15 cs.SD eess.AS eess.SP
Deep Ad-hoc Beamforming Based on Speaker Extraction for Target-Dependent Speech Separation
Northwestern Polytechnical University（西北工业大学）
近年来，基于深度学习的自组织麦克风阵列的研究备受关注，特别是在语音增强和分离方面。由于ad-hoc麦克风阵列可能覆盖如此大的区域，以至于多个说话人可能相距很远并且独立地说话，所以目标相关语音分离（其目的是从混合语音中提取目标说话人）对于在ad-hoc阵列中提取和跟踪特定说话人是重要的。然而，这种技术尚未被探索。本文提出了一种基于说话人提取的深度自组织波束形成方法，这是我们所知的第一个基于自组织麦克风阵列和深度学习的目标相关语音分离的工作。该算法包含三个组件。首先，提出了一种基于说话人提取的有监督信道选择框架，该框架利用目标语音的话语级信噪比作为信道选择的依据。其次，我们将所选择的通道应用于基于深度学习的MVDR算法，其中，将单通道说话人提取算法应用于每个所选择的通道，以估计目标语音的掩码。我们在WSJ 0-adhoc语料库上进行了广泛的实验。通过仿真和实测数据处理验证了所提方法的有效性。
2020-12-01 cs.CL cs.SD eess.AS
Multi-modal Blind Source Separation with Microphones and Blinkies
Tokyo Metropolitan University（东京都立大学）
我们提出了一个盲声源分离算法，联合利用测量由传统的麦克风阵列和一个特设的低速率声功率传感器阵列称为binkies。虽然比麦克风提供更少的信息，但Blinkies在制造，同步和部署方面规避了麦克风阵列的一些困难。该算法是来自联合概率模型的麦克风和声功率测量。我们假设分离源服从时变球面高斯分布，并且非负功率测量空时矩阵具有低秩结构。我们发现，类似于独立向量分析和Itakura-Saito非负矩阵分解的交替更新降低了联合分布的负对数似然。通过数值实验验证了该算法的有效性。它的中值分离性能被发现是高达8 dB以上的独立向量分析，具有显着降低的变异性。
2019-04-04 cs.SD eess.AS
Implicit Filter-and-sum Network for Multi-channel Speech Separation
Columbia University（哥伦比亚大学）
近年来，已经提出了各种神经网络结构用于多通道语音分离的任务。其中，滤波和求和网络（FaSNet）执行端到端时域滤波和求和波束成形，并已在ad-hoc和固定麦克风阵列几何结构中显示出有效性。在本文中，我们研究了多种方法来提高FaSNet的性能。从问题公式化的角度来看，我们改变了显式的时域滤波和求和操作，涉及到所有的麦克风到一个隐式的滤波和求和操作的潜在空间中的参考麦克风。滤波求和操作应用于要分离的帧周围的上下文。这允许问题公式化更好地匹配端到端分离的目标。从特征提取的角度来看，我们修改的样本级归一化互相关（NCC）功能的计算到特征级NCC（fNCC）功能。这使得模型更好地匹配隐式滤波求和公式。在ad-hoc和固定麦克风阵列几何形状上的实验结果表明，对FaSNet的拟议修改（我们称之为iFaSNet）能够在所有条件下显著优于基准FaSNet，且模型复杂度相当。
2020-11-17 cs.SD eess.AS
Learning to Rank Microphones for Distant Speech Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
充分利用ad-hoc麦克风网络进行远程语音识别仍然是一个悬而未决的问题。经验证据表明，能够选择最好的麦克风导致识别的显着改善，而无需在前端处理上做任何额外的努力。当前的信道选择技术依赖于信号、解码器或基于后验的特征。基于信号的特征计算起来很便宜，但并不总是与识别性能相关。相反，解码器和基于后验的特征表现出更好的相关性，但需要大量的计算资源。在这项工作中，我们通过提出MicRank来解决通道选择问题，MicRank是一种学习排名框架，在该框架中，神经网络被训练为直接使用训练集上的识别性能对可用通道进行排名。所提出的方法是不可知的阵列的几何形状和类型的识别后端。我们研究了不同的学习排名策略使用的目的和CHiME-6数据开发的合成数据集。结果表明，所提出的方法是能够大大改善以前的选择技术，达到可比的，在某些情况下更好的性能比Oracle信号为基础的措施。
2021-04-13 cs.LG cs.SD eess.AS
Sound of Guns: Digital Forensics of Gun Audio Samples meets Artificial Intelligence
Hamad Bin Khalifa University（哈马德·本·哈利法大学）
根据武器的枪口冲击波对武器进行分类是一项具有挑战性的任务，在各种安全和军事领域都有重要的应用。大多数现有的工作依赖于空间上不同的麦克风传感器的ad-hoc部署，以捕获同一枪声的多个副本，这使得能够准确地检测和识别声源。然而，在诸如犯罪现场取证的场景中难以获得仔细控制的设置，使得上述技术不适用且不切实际。我们介绍了一种新的技术，需要零知识的录音设置，是完全不可知的麦克风和射手的相对位置。我们的解决方案可以识别枪支的类别，口径和型号，在从YouTube视频中提取的3655个样本组成的数据集上达到90%以上的准确率。我们的研究结果表明，应用卷积神经网络（CNN）在枪击分类的有效性和效率，消除了需要一个特设的设置，同时显着提高分类性能。
2021-03-01 cs.LG cs.SD eess.AS
Enhancement by postfiltering for speech and audio coding in ad-hoc sensor networks
Aalto University（阿尔托大学）；School of Electrical Engineering（电气工程学院）
针对传统无线声学传感器网络增强方法因量化噪声高斯近似在低比特率下性能受限的问题，提出一种显式建模样量化噪声的贝叶斯后置滤波方法，经多指标实验验证可有效提升自组织传感器网络的信号质量。
2020-11-07 cs.SD eess.AS
Semi-Supervised Source Localization on Multiple-Manifolds with Distributed Microphones
Bar-Ilan University（巴伊兰大学）；The Technion-Israel Institute of Technology（以色列理工学院）
本文研究了在噪声和混响环境中，利用预先记录的测量数据训练集，利用自组织麦克风网络进行声源定位的问题。假设训练集由有限数量的标记测量值（附有相应的位置）和大量来自未知位置的未标记测量值组成。然而，不需要麦克风校准。我们使用贝叶斯推理方法来估计一个函数，该函数将基于测量的特征向量映射到相应的位置。核心问题是如何将不同麦克风提供的信息结合在一个统一的统计框架中。为了解决这一挑战，我们使用具有协方差函数的高斯过程对该函数进行建模，该协方差函数封装了麦克风对之间的连接以及训练集中样本之间的关系。通过优化最大似然（ML）标准的过程中的参数估计。此外，一个递归的自适应机制推导出新的流测量被用来更新模型。性能表现为2-D本地化的模拟数据和现实生活中的各种混响和噪声水平的录音。
2016-10-15 cs.SD
Spatial Diarization for Meeting Transcription with Ad-Hoc Acoustic Sensor Networks
Paderborn University（帕德博恩大学）
提出基于ASN的会议转录前端diarization系统，通过盲同步和TDOA估计解决麦克风位置未知和信号未同步问题，利用TDOA指导空间混合模型和波束成形提取说话人信号，实验证明其优于不使用外部diarization信息的系统。
2023-11-27 cs.SD eess.AS
