Online neural fusion of distortionless differential beamformers for robust speech enhancement
针对固定波束形成器适配性差、传统自适应凸组合算法在非平稳场景失效的问题，提出基于神经网络估计权重的多无失真差分波束形成器帧级在线神经融合框架，提升动态环境下的干扰抑制能力。
2025-10-28 cs.AI cs.SD eess.AS
Mask-based Neural Beamforming for Moving Speakers with Self-Attention-based Tracking
NTT Corporation（日本电信电话株式会社）
波束形成是一种强大的工具，旨在增强来自目标源方向的语音信号。计算波束成形滤波器需要估计源信号和噪声信号的空间协方差矩阵（SCM）。时频掩模通常用于计算这些SCM。基于掩模的波束形成的大多数研究都假设源不移动。然而，在实际应用中，源经常移动，这会导致性能下降。在本文中，我们解决的问题，基于掩模的波束形成运动源。我们首先回顾经典的方法来跟踪一个移动的源，它执行在线或块计算的SCM。我们表明，这些方法可以被解释为计算注意权重加权的瞬时SCM的总和。这些权重指示在SCM计算中要考虑信号的哪些时间帧。在线或分块计算假设一种启发式和确定性的方式来计算这些注意力权重，虽然简单，但可能不会产生最佳性能。因此，我们引入了一个基于学习的框架，计算波束成形的最佳注意力权重。我们使用一个带有自我注意层的神经网络来实现这一点。我们的实验表明，我们提出的框架可以大大提高波束形成的性能在移动源的情况下，同时保持高性能在非移动的情况下，从而使基于掩模的波束形成器的发展源运动鲁棒。
2022-05-07 cs.SD eess.AS
Multichannel Long-Term Streaming Neural Speech Enhancement for Static and Moving Speakers
Zhejiang University（浙江大学）；Westlake University（西湖大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本研究扩展离线SpatialNet为在线长期流式多通道语音增强模型，基于三类线性复杂度架构设计变体，提出短训长调策略提升长度外推能力，在静态和移动说话人长音频场景下均取得优异性能且已开源。
2024-06-19 cs.SD eess.AS
MIMO Self-attentive RNN Beamformer for Multi-speaker Speech Separation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
最近，我们提出了基于递归神经网络（RNN）的全深度学习最小方差无失真响应（ADL-MVDR）波束形成器方法，通过用两个递归神经网络代替矩阵求逆和特征值分解，获得了优于传统MVDR的性能。在这项工作中，我们提出了一个自我关注的RNN波束形成器，通过利用自我关注的强大建模能力，进一步改进我们以前的基于RNN的波束形成器。提出了时空自注意模块，以更好地从语音和噪声的空间协方差矩阵学习波束形成权重。时间自注意模块可以帮助RNN学习协方差矩阵的全局统计。空间自关注模块被设计用于关注协方差矩阵中的通道间相关性。此外，多通道输入与多说话人的方向性特征和多说话人语音分离输出（MIMO）模型的发展，以提高推理效率。评估表明，我们提出的MIMO自关注RNN波束形成器提高了自动语音识别（ASR）的准确性和感知估计的语音质量（PESQ）对现有技术。
2021-04-26 cs.AI cs.SD eess.AS
Self-Steering Deep Non-Linear Spatially Selective Filters for Efficient Extraction of Moving Speakers under Weak Guidance
University of Hamburg, Germany（汉堡大学）
本文提出用低复杂度粒子滤波器结合时间反馈的自转向深度空间选择性滤波器，在弱引导下高效跟踪并增强移动说话人语音，实验证明其跟踪精度和增强性能均显著提升。
2025-07-05 cs.LG cs.SD eess.AS
Speaker Selective Beamformer with Keyword Mask Estimation
Yahoo Japan Corporation（雅虎日本公司）
研究背景语音中目标说话人的自动语音识别问题。我们方法的新颖之处在于，我们专注于唤醒关键字，该关键字通常用于激活智能扬声器等ASR系统。该方法首先利用基于DNN的掩码估计器将混合信号分离为目标说话人发出的关键字信号和剩余的背景语音。然后，分离的信号用于计算波束形成滤波器，以增强来自目标说话人的后续话语。实验结果表明，训练后的基于DNN的掩模可以选择性地从混合信号中分离出关键词和背景语音。日本ASR实验也验证了所提出的方法的有效性，我们证实，字符错误率显着改善所提出的方法的模拟和真实记录的测试集。
2018-11-07 cs.LG cs.SD eess.AS
Linearly Constrained Deep Beamformer for Multi-Speaker Scenarios
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
本文提出了一种深度束成形框架，用于在多说话人环境中增强目标说话人。通过一种受增广拉格朗日框架启发的自适应多项损失，深度神经网络直接从噪声多通道输入中训练以估计波束成形权重，同时满足线性空间约束。该模型还受到目标相对传输函数和估计的干扰子空间的引导，能够将波束指向目标说话人并抑制干扰源，从而在整体增强性能上优于传统LCMV波束成形器。此外，与LCMV波束成形器相比，该模型产生的旁瓣更可控且背景噪声抑制更有效。
2026-08-21 eess.AS
Online Segmented Beamforming via Dynamic Programming
Stony Brook University（石溪大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出在线分段波束成形算法，通过动态规划框架实现动态适应，解决非平稳环境中波束成形的挑战，展现其在复杂回声环境中的优越性能。
2026-05-08 cs.SD
Motion-Tolerant Beamforming with Deformable Microphone Arrays
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
麦克风阵列通常被假设为具有刚性几何形状：麦克风可以相对于声场移动，但相对于彼此保持固定。然而，许多有用的阵列（诸如可穿戴设备中的阵列）具有可以相对于彼此移动的传感器。我们比较了两种方法与变形麦克风阵列波束形成：第一，通过明确跟踪阵列的几何形状，因为它随时间的变化，第二，通过设计一个时不变的波束形成器的基础上的二阶统计的移动阵列。当阵列的运动相对于感兴趣的声波波长较小时，时不变的方法是适当的。所提出的波束形成系统的性能证明使用可穿戴麦克风阵列上移动的人类听众在鸡尾酒会的情况下。
2019-12-10 cs.SD eess.AS
3D Neural Beamforming for Multi-channel Speech Separation Against Location Uncertainty
Tencent AI Lab（腾讯人工智能实验室）
利用说话人的方向信息进行多通道语音分离，比盲语音分离有明显的优势。然而，它有两个局限性。首先，当两个声音的到来方向接近时，观察到实质性的性能下降。第二，结果高度依赖于说话人方向的精确估计。为了克服这些问题，本文提出了3D功能和相关的3D神经波束形成器的多通道语音分离。以前在这方面的工作是在两个重要的方向延伸。首先，将传统的1D定向波束方向图推广到3D。这使得模型能够从3D空间中的任何目标区域提取语音。因此，具有相似方向但不同高度或距离的扬声器变得可分离。其次，为了处理说话人位置的不确定性，以前提出的空间特征扩展到一个新的三维区域特征。提出的3D区域特征和3D神经波束形成器在车内场景下进行评估。实验结果表明，三维特征和三维波束形成器的组合可以实现与地面真实说话人位置作为输入的分离模型相当的性能。
2023-02-27 cs.SD eess.AS
ASoBO: Attentive Beamformer Selection for Distant Speaker Diarization in Meetings
LIUM（LIUM实验室）；Institut Claude Chappe（克劳德·沙普研究所）；Le Mans Université（勒芒大学）；LAUM（LAUM实验室）；IA-GS（IA-GS机构）；UMR CNRS 6613（法国国家科学研究中心联合单位6613号）
本文提出ASoBO算法，利用自注意力机制选择固定空间滤波器输出作为特征，联合进行VAD和OSD以推断说话人日志，在AISHELL-4上达到14.5%的DER且注意力权重具可解释性。
2024-06-05 cs.AI cs.SD eess.AS
A Robust Target Linearly Constrained Minimum Variance Beamformer With Spatial Cues Preservation for Binaural Hearing Aids
WS Audiology（西万拓听力技术公司）
本文介绍了一种用于助听器的双耳波束形成算法，该算法被设计为对目标说话人方向估计中的误差具有鲁棒性。该算法有两个主要组成部分：一个强大的目标线性约束最小方差（TLCMV）算法的基础上施加两个约束周围的目标信号的估计方向，和一个后处理器，以帮助保存双耳线索。鲁棒TLCMV提供了一个良好的降噪水平和低水平的目标失真在现实条件下。后处理器增强了波束形成器的能力，以保留针对扩散样背景噪声和定向干扰者（竞争扬声器）的双耳线索，同时保持良好的降噪水平。该算法不需要知道或估计定向干扰源的方向，也不需要噪声分量的二阶统计量。所介绍的算法需要估计的目标扬声器的方向，但它的目的是强大的一些偏离估计的方向。与最近提出的国家的最先进的方法相比，综合评估下，在消声和轻度混响环境中产生的复杂的现实的声学场景，考虑到估计和真实的源到达波达方向之间的失配。还考虑了用于波束形成器设计的消声传播模型与用于生成模拟定向信号的轻度混响传播模型之间的失配。结果表明，该算法的鲁棒性，这样的不匹配。
2019-11-20 cs.SD eess.AS
Deep Beamforming for Speech Enhancement and Speaker Localization with an Array Response-Aware Loss Function
提出基于CRN和ARROW损失函数的深度波束成形器，联合实现语音增强与说话人定位，性能优于基线方法。
2023-10-22 eess.AS
Robust Localization and Tracking of Simultaneous Moving Sound Sources Using Beamforming and Particle Filtering
CSIRO ICT Centre（澳大利亚联邦科学与工业研究组织信息与通信技术中心）；Université de Sherbrooke（舍布鲁克大学）
现实生活中的移动机器人将受益于能够定位和跟踪声源。这样的能力可以帮助定位环境中的人或感兴趣的事件，并且还为诸如语音识别的其他能力提供增强的处理。为了赋予机器人这种能力，挑战不仅是定位同步声源，而且要随着时间的推移跟踪它们。在本文中，我们提出了一个强大的声源定位和跟踪方法，使用八个麦克风阵列。该方法是基于一个频域实现的转向波束形成器以及基于粒子滤波器的跟踪算法。结果表明，移动机器人可以定位和跟踪实时多个不同类型的移动源在7米的范围内。这些新功能允许移动机器人使用更自然的方式与现实生活中的人进行交互。
2016-02-25 cs.RO cs.SD
Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement
Graz University of Technology（格拉茨技术大学）；Ruperts Karls University（海德堡大学）
虽然机器学习技术传统上是资源密集型的，但我们目前正在目睹对硬件和节能方法的兴趣越来越大。这种对资源高效机器学习的需求主要是由对嵌入式系统的需求及其在普适计算和物联网应用中的使用所驱动的。在这篇文章中，我们提供了一种基于深度神经网络（DNN）的多通道语音增强的资源高效方法。特别是，我们使用降低精度的DNN来从嘈杂的多通道麦克风观察中估计语音掩码。该语音掩模用于获得最小方差无失真响应（MVDR）或广义特征值（GEV）波束形成器。在二进制权重和精度降低的激活的极端情况下，可以显著减少执行时间和内存占用，同时仍然获得几乎与单精度DNN相当的音频质量，并且使用WSJ0语音语料库的单个说话者场景的字错误率（WER）略高。
2020-07-22 cs.LG cs.SD eess.AS
An End-to-end Architecture of Online Multi-channel Speech Separation
Microsoft STCA Beijing（微软亚太研发集团北京）
多说话人语音识别突破了现有语音识别系统中说话人为单个说话人的假设，成为会话转录的关键挑战之一。语音分离被认为是解决这个问题的一种方法。在此之前，我们介绍了一个系统，称为dunmixing，固定波束形成器和提取（UFE），这被证明是有效的，在解决会话转录的语音重叠问题。在UFE中，输入混合信号由固定波束形成器处理，然后进行神经网络后滤波。虽然取得了可喜的成果，该系统包含多个单独开发的模块，导致潜在的次优性能。在这项工作中，我们介绍了一个端到端的建模版本的UFE。为了使梯度传播的所有方式，提出了一个注意力选择模块，其中注意力权重是学习每个波束形成器和空间特征在空间上采样。实验结果表明，该系统在离线评估中与原始的基于单独处理的流水线实现了可比较的性能，同时在在线评估中产生了可扩展的改进。
2020-09-07 cs.SD eess.AS
Time Segmented Beamforming via Dynamic Programming: Theory and Implementation
Department of Electrical and Computer Engineering, Stony Brook University（石溪大学电气与计算机工程系）；Department of Electrical and Computer Engineering, University of Illinois（伊利诺伊大学电气与计算机工程系）；Department of Electrical and Computer Engineering, University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校电气与计算机工程系）；College of Applied Science and Engineering, Stony Brook University（石溪大学应用科学与工程学院）
针对时变干扰环境，提出一种基于动态规划的时间分段无失真响应波束形成器，通过数据驱动的自适应分段估计协方差矩阵以跟踪非平稳干扰。
2026-05-24 cs.SD cs.SY eess.AS
Robust 3D Localization and Tracking of Sound Sources Using Beamforming and Particle Filtering
CSIRO ICT Centre（澳大利亚联邦科学与工业研究组织信息与通信技术中心）；Université de Sherbrooke（谢布鲁克大学）
在本文中，我们提出了一种新的强大的声源定位和跟踪方法，使用一个阵列的八个麦克风（美国专利申请中）。该方法使用一个转向波束形成器的基础上的可靠性加权相位变换（RWPHAT），以及基于粒子滤波器的跟踪算法。所提出的系统是能够估计的方向和源的距离。在视频会议环境中，方向估计的精度优于一度，而距离的精度在10% RMS内。跟踪多达三个同时移动的扬声器证明在嘈杂的环境中。
2016-02-27 cs.RO cs.SD
Online Binaural Speech Separation of Moving Speakers With a Wavesplit Network
Columbia University（哥伦比亚大学）
真实世界场景中的双耳语音分离通常涉及移动扬声器。当前的语音分离方法大多使用话语级排列不变训练（u-PIT）进行训练。然而，在推理时间中，输出的顺序可能随着时间的推移而不一致，特别是在长形式语音分离中。当扬声器在空间中不断移动时，这种被称为扬声器交换问题的情况甚至更成问题，因此对输出声道中扬声器的一致放置提出了挑战。在这里，我们描述了一个实时双耳语音分离模型的基础上Wavesplit网络，以减轻扬声器交换问题的移动扬声器分离。我们的模型从混合音频中计算每个时间帧的每个扬声器的扬声器嵌入，使用在线聚类聚合嵌入，并使用聚类质心作为扬声器配置文件来跟踪每个扬声器。混响，长形式的移动多说话人语音分离的实验结果表明，该方法是不太容易说话人交换，并实现与基于u-PIT模型与地面真值跟踪在分离精度和保留耳间线索的性能相当。
2023-03-13 cs.SD eess.AS
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University（亚琛工业大学）
本文提出了，在多通道ASR的背景下，一种方法来适应基于掩模的，统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算，所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器，其中包括掩模估计网络，和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定，掩模估计网络因此可以通过再训练来微调。因此，感兴趣的说话者的话语可以在两遍方法中使用，以针对该特定说话者的语音特性优化波束成形。结果表明，这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外，估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
Block-Online Multi-Channel Speech Enhancement Using DNN-Supported Relative Transfer Function Estimates
Faculty of Mechatronics, Informatics, and Interdisciplinary Studies, Technical University of Liberec（机械电子与交叉学科学院，利贝雷茨技术大学）
本文提出了一种基于DNN的块在线多通道语音增强方法，通过估计相对传输函数来实现波束成形，并在动态环境中处理短语音，提升了语音增强的鲁棒性。
2019-12-11 cs.SD cs.SY eess.AS
All-neural beamformer for continuous speech separation
Microsoft（微软公司）
连续语音分离（CSS）旨在从包含未知数量的说话者说出的未知数量的话语的会话音频的连续流入中分离重叠的语音。一个常见的应用场景是转录麦克风阵列记录的会议对话。之前的研究探索了用于时频掩码估计的各种深度学习模型，然后是最小方差无失真响应（MVDR）滤波器，以提高自动语音识别（ASR）的准确性。这些方法的性能基本上是由MVDR的空间选择性上限。最近，全深度学习MVDR（ADL-MVDR）模型被提出用于神经波束成形，并在使用预分段输入的目标语音提取任务中表现出卓越的性能。在本文中，我们进一步调整ADL-MVDR以适应CSS任务，并进行了几项增强，以实现端到端神经波束成形。所提出的系统实现了显着的字错误率降低了基线频谱掩蔽系统上的LibriCSS数据集。此外，所提出的神经波束形成器被证明是一个国家的最先进的MVDR为基础的系统在真正的会议转录任务，包括AMI，同时显示出潜力，以进一步简化运行时实现和减少系统延迟与帧处理。
2021-10-13 cs.SD eess.AS
Mask-Weighted Spatial Likelihood Coding for Speaker-Independent Joint Localization and Mask Estimation
University of Hamburg（汉堡大学）
提出掩码加权空间似然编码，将时频掩码与声源位置统一编码到固定空间网格，实现说话人无关的联合定位与掩码估计，并可仅通过训练框架调整替代上游声源定位系统。
2025-01-08 cs.LG cs.SD eess.AS
Online Localization and Tracking of Multiple Moving Speakers in Reverberant Environments
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔国立高等物理、数学与信息学院）；GIPSA-lab（GIPSA实验室）
我们解决的问题，在线定位和跟踪多个移动扬声器在混响环境。本文有以下贡献。我们使用的直接路径相对传递函数（DP-RTF），一个通道间的功能，编码的声学信息对混响鲁棒性，我们提出了一个在线算法，非常适合估计DP-RTF与移动音频源。所提出的方法的另一个关键因素是它能够正确分配DP-RTF音频源方向。为了实现这一目标，我们采用了最大似然公式，我们建议使用指数梯度（EG），以有效地更新源方向的估计，从他们目前可用的值。多个扬声器跟踪的问题是计算上棘手的，因为观察到的源方向和物理扬声器之间的可能的关联的数量随时间呈指数增长。我们采用贝叶斯框架，我们提出了一个变分近似的后验滤波分布与多说话人跟踪，以及一个有效的变分期望最大化（VEM）求解器。建议的在线定位和跟踪方法进行了彻底评估，使用两个数据集，包含在真实环境中进行的记录。
2019-02-26 cs.SD eess.AS
RealMAN: A Real-Recorded and Annotated Microphone Array Dataset for Dynamic Speech Enhancement and Localization
School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究院）；Beijing AIShell Technology Co. Ltd（北京思必驰科技有限公司）
本文提出RealMAN数据集，包含32通道真实录制的83.7小时语音和144.5小时噪声，覆盖多种场景，并利用鱼眼相机自动标注声源位置和直达路径信号，以弥合语音增强与定位任务中仿真到真实的差距。
2024-10-01 cs.SD eess.AS
Investigating the Integration of Spatial Information in Foundation-Model-Based Speaker Diarization
Paderborn University（帕德博恩大学）
研究基于基础模型的说话人聚类中空间信息整合，比较波束形成器与基础模型级联、多通道基础模型、基于提取空间特征对下游网络条件设定三种方法，发现条件设定法性能最佳且能消除相关错误，是有竞争力的方法。
2026-07-15 eess.AS
Speaker Embeddings to Improve Tracking of Intermittent and Moving Speakers
Orange Innovation（Orange创新）；University de Lorraine（洛林大学）；CNRS（国家科学研究中心）；Inria（法国国家信息与自动化技术研究院）；Loria（Loria研究所）
提出基于说话人嵌入的追踪后身份重分配方法，利用波束成形增强信号以计算嵌入，有效解决了间歇性移动说话人的轨迹不连贯问题并提升了身份分配性能。
2025-06-23 cs.AI cs.SD eess.AS
Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios
Signal Processing (SP), University of Hamburg, Germany（信号处理系，汉堡大学）
本文提出一种自适应旋转定向联合自回归框架，通过引入处理后的录音作为指导，提高动态场景中紧密移动说话人跟踪和增强效果。
2026-01-21 cs.LG cs.SD eess.AS
Sequential Multi-Frame Neural Beamforming for Speech Separation and Enhancement
Google（谷歌）
这项工作介绍了顺序神经波束形成，它交替基于神经网络的频谱分离和波束形成的空间分离。我们用于分离的神经网络使用了一种先进的卷积架构，该架构使用了一种新的稳定的信噪比损失函数进行训练。对于波束形成，我们探索了多种计算时变协方差矩阵的方法，包括将空间协方差分解为时变幅度分量和时不变空间分量，以及使用基于块的技术。此外，我们介绍了一种多帧波束形成方法，通过将上下文帧添加到波束形成公式中来显着改善结果。我们广泛地评估和分析这些方法的窗口大小，块大小和多帧上下文大小的影响。我们最好的方法利用了一系列的三个神经分离和多帧时不变的空间波束形成阶段，并证明了一个平均改善2.75 dB的尺度不变的信噪比和14.2%的绝对减少比较语音识别度量跨越四个具有挑战性的混响语音增强和分离任务。我们还使用我们的三扬声器分离模型将LibriCSS评估集中的真实录音分离为非重叠的音轨，并实现了比基于基线掩模的波束形成器更好的单词出错率。
2020-11-03 cs.LG cs.SD eess.AS
Cracking the cocktail party problem by multi-beam deep attractor network
Microsoft AI and Research（微软人工智能与研究院）
虽然神经网络方法在单通道语音分离，或更一般的鸡尾酒会问题，取得了显着的改善，其性能复杂的混合物仍然不能令人满意。在这项工作中，我们提出了一种新的多通道框架多说话者分离。在该模型中，输入的多通道混合信号首先被转换成一组波束形成的信号使用固定的波束方向图。对于这种波束形成，我们建议使用差分波束形成器，因为它们更适合语音分离。然后将每个波束形成的信号馈送到单通道锚定深度吸引子网络以生成分离的信号。最后通过对各光束的分离输出进行后选，得到最终的分离结果。为了评估所提出的系统，我们创建了一个具有挑战性的数据集，包括2，3或4个扬声器的混合物。我们的研究结果表明，该系统大大提高了语音分离的最新技术水平，实现了11.5 dB，11.76 dB和11.02 dB的平均信号失真比改善4，3和2重叠扬声器混合，这是一个最小方差无失真响应波束形成器，使用预言机的位置，源和噪声信息的性能相媲美。我们还运行语音识别与一个干净的训练声学模型上分离的语音，实现相对字出错率（WER）减少45.76%，59.40%和62.80%的完全重叠的语音4，3和2扬声器，分别。利用远距离通话声学模型，WER被进一步降低。
2018-03-29 cs.SD eess.AS
Locate and Beamform: Two-dimensional Locating All-neural Beamformer for Multi-channel Speech Separation
针对多通道语音分离中相近方向声源难以区分的问题，提出仅由混合信号估计方向与二维位置线索并融合到位置感知神经波束形成器的端到端方法，提升整体性能并改善空间重叠场景。
2023-06-02 eess.AS
Steering Deep Non-Linear Spatially Selective Filters for Weakly Guided Extraction of Moving Speakers in Dynamic Scenarios
University of Hamburg（汉堡大学）
针对动态场景中移动说话人提取因空间特征时变、存在歧义且手动追踪不现实的问题，提出仅依赖目标初始位置的弱引导提取方法，结合自研深度追踪算法与合成数据集联合训练，性能优于不匹配场景的强引导方法。
2025-05-20 cs.LG cs.SD eess.AS
Lend me an Ear: Speech Enhancement Using a Robotic Arm with a Microphone Array
本文提出利用机械臂与麦克风阵列结合深度学习技术，通过动态调整麦克风位置提升语音增强性能，实验显示在不同信噪比条件下效果优于传统方法。
2026-09-24 cs.RO cs.SD
Auxiliary Function-Based Algorithm for Blind Extraction of a Moving Speaker
最近，常数分离向量（CSV）混合模型被提出用于运动源的盲源提取（BSE）。在本文中，我们通过实验验证了CSV在运动说话人盲提取中的适用性，并提出了一种新的BSE方法，该方法通过修改基于辅助函数的算法独立向量分析。此外，一个引导的变种，提出了部分可控的全局收敛的方法。使用{ \color{red}模拟以及真实世界的声学条件}在混响和噪声条件下验证了该方法。它们也在CHiME-4语音分离和识别挑战中得到了验证。实验结果证实了CSV的适用性以及所提出的算法的收敛性。
2021-02-05 eess.AS
Tracking of Intermittent and Moving Speakers : Dataset and Metrics
Orange Innovation
针对现有说话人追踪方法难以处理非活跃期位置变化导致的不连续轨迹身份分配问题，本文提出一阶Ambisonics格式的LibriJump数据集，并引入计算机视觉领域的关联指标，验证其与传统追踪指标的互补性。
2025-06-11 cs.SD eess.AS eess.SP
UNet-Based Fusion and Exponential Moving Average Adaptation for Noise-Robust Speaker Recognition
The Hong Kong Polytechnic University（香港理工大学）；Centre for Speech Technology Research, The University of Edinburgh（爱丁堡大学语音技术研究中心）；The University of Hong Kong（香港大学）
本文提出UF-EMA框架，通过多通道输入融合噪声和增强语音，结合指数移动平均策略提升说话人识别在噪声环境中的鲁棒性。
2026-04-28 eess.AS
Moving Speaker Separation via Parallel Spectral-Spatial Processing
Signal Processing Research Center, Tampere University（塔尔皮奥大学信号处理研究中心）；Nokia Technologies（诺基亚技术）
本文提出双分支并行频谱-空间处理架构，通过并行流分别建模频谱和空间特征，提升移动说话人分离性能。
2026-02-25 cs.SD eess.AS
Deep Neural Mel-Subband Beamformer for In-car Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
虽然目前基于深度学习（DL）的波束成形技术已被证明在语音分离中是有效的，但它们通常被设计为独立处理窄带（NB）频率，这导致更高的计算成本和推理时间，使它们不适合现实世界的使用。在本文中，我们提出了基于DL的梅尔子带时空波束形成器进行语音分离在汽车环境中，减少计算成本和推理时间。相对于传统的子带（SB）的方法，我们的框架使用了一个梅尔规模为基础的子带选择策略，确保了细粒度的处理较低的频率，其中大多数语音共振峰结构是存在的，和粗粒度的处理较高的频率。以递归的方式，从估计的子带语音和噪声协方差矩阵中为汽车中的每个扬声器位置/区域确定鲁棒的帧级波束成形权重。此外，所提出的框架还通过使用回声参考信号来估计和抑制来自扬声器的任何回声。我们比较了我们提出的框架的性能，几个NB，SB和全频带（FB）处理技术的语音质量和识别指标。基于模拟和真实世界的录音实验评估，我们发现，我们提出的框架实现了更好的分离性能在所有SB和FB方法，并实现性能接近NB处理技术，同时需要较低的计算成本。
2023-03-11 cs.LG cs.SD eess.AS
Autoregressive Guidance of Deep Spatially Selective Filters using Bayesian Tracking for Efficient Extraction of Moving Speakers
本文提出基于贝叶斯跟踪的自回归引导方法，用于高效提取移动说话人，通过轻量级跟踪算法和自回归引导深度空间滤波器，提升语音增强性能。
2026-09-10 cs.LG cs.SD eess.AS
Real-time Audio Video Enhancement \\with a Microphone Array and Headphones
本文提出了一个完整的硬件和软件流水线的实时语音增强在噪声和混响条件。该设备由一个麦克风阵列和一个安装在眼镜上的摄像头组成，连接到一个嵌入式系统，该系统可以增强语音并在耳机中播放音频，最大延迟为120毫秒。所提出的方法依赖于人脸检测，跟踪和验证，以提高使用波束形成器和后置滤波神经网络的目标扬声器的语音。实验结果证明了该方法的可行性，为探索和验证各种波束形成器和语音增强方法的实时语音增强方法打开了大门。
2023-03-02 eess.AS
MIMO-SPEECH: End-to-End Multi-Channel Multi-Speaker Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
最近，端到端的方法已经证明了其在单声道多说话人语音识别中的有效性。然而，高字错误率（WER）仍然阻止这些系统在实际应用中使用。另一方面，多通道信号中的空间信息已被证明有助于远场语音识别任务。在这项工作中，我们提出了一种新的神经序列到序列（seq 2seq）的架构，MIMO-Speech，它扩展了原来的seq 2seq处理多通道输入和多通道输出，使它可以完全模拟多通道多说话人语音分离和识别。MIMO-Speech是一个完全神经的端到端框架，仅通过ASR标准进行优化。它包括：1）单耳掩蔽网络，2）多源神经波束形成器，和3）多输出语音识别模型。通过这种处理，输入的重叠语音被直接映射到文本序列。我们进一步采用了课程学习策略，充分利用训练集来提高性能。在空间化wsj 1 - 2 mix语料库上的实验表明，与单通道系统相比，该模型可以实现60%以上的WER降低，并具有高质量的增强信号（SI-SDR = 23.1 dB）。
2019-10-16 cs.CL cs.SD eess.AS
End-to-End Multi-speaker Speech Recognition with Transformer
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
最近，基于全递归神经网络（RNN）的端到端模型已被证明是有效的多说话人语音识别在单通道和多通道的情况下。在这项工作中，我们探讨了使用Transformer模型，这些任务的重点是两个方面。首先，我们将语音识别模型中基于RNN的编码器-解码器替换为Transformer架构。其次，为了在多通道情况下在神经波束形成器的掩蔽网络中使用Transformer，我们将自注意分量修改为仅限于一段而不是整个序列，以减少计算。除了模型架构的改进，我们还结合了外部去混响预处理，加权预测误差（WPE），使我们的模型能够处理混响信号。在空间化wsj 1 - 2 mix语料库上的实验表明，在单通道和多通道任务中，基于transformer的模型分别实现了40.9%和25.6%的相对WER降低，分别下降到12.1%和6.4%;而在混响情况下，我们的方法实现了41.5%和13.8%的相对WER降低，分别为16.5%和15.2%。
2020-02-13 cs.CL cs.SD eess.AS
Cleanformer: A multichannel array configuration-invariant neural enhancement frontend for ASR in smart speakers
Google LLC（谷歌有限责任公司）
本研究提出适配不同麦克风阵列、无需重训的流式多通道ASR神经增强前端Cleanformer，基于conformer架构与自注意力生成时频掩码，在-6dB信噪比下相对WER降低约80%，性能优于理想导向波束形成方法。
2023-05-03 cs.SD eess.AS
MIMO-DBnet: Multi-channel Input and Multiple Outputs DOA-aware Beamforming Network for Speech Separation
Tianjin University（天津大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Beijing Xiaoju Technology Co., Ltd.（北京小桔科技有限公司）
最近，已经提出了许多基于深度学习的波束形成器用于多通道语音分离。然而，他们中的大多数依赖于预先已知的额外线索，如说话人特征，面部图像或方向信息。在本文中，我们提出了一个端到端的波束形成网络的方向引导的语音分离，仅给定的混合信号，即MIMO-DBnet。具体来说，我们设计了一个多通道输入和多个输出架构来预测每个源的基于到达方向的嵌入和波束成形权重。精确估计的方向嵌入为神经波束形成器提供了非常有效的空间鉴别指导，以抵消相位缠绕的影响，从而允许更准确地重建两个源的语音信号。实验表明，与基线系统相比，我们提出的MIMO-DBnet不仅实现了全面的可观改进，而且在发生相位包裹时仍能保持高频段的性能。
2022-12-07 cs.LG cs.SD eess.AS
Study of speaker localization under dynamic and reverberant environments
本文针对动态混响环境中的说话人定位问题，基于可穿戴阵列数据集 EasyCom 分析现有算法性能下降原因，并提出改进方法。
2023-11-28 eess.AS
Improving Neural Diarization through Speaker Attribute Attractors and Local Dependency Modeling
The Ohio State University（俄亥俄州立大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
本文扩展 EDA 吸引子范式，利用多阶段中间表征建模说话人属性，并以 conformer 替代 transformer 捕捉局部依赖，在 CALLHOME 数据集上提升了说话人日志性能。
2025-06-05 cs.AI cs.SD eess.AS
Towards achieving robust universal neural vocoding
本文探讨了神经声码器的潜在普遍性。我们训练一个基于WaveRNN的声码器，使用来自17种语言的74个扬声器。这种声码器被证明是能够产生的语音质量一贯良好（98%的相对平均MUSHRA相比，自然语音），无论输入的频谱图是否来自扬声器或在训练过程中看到的风格或从域外的情况下，录音条件是录音室质量。当录音显示出质量的显著变化时，或者当向非语音发声或唱歌移动时，声码器仍然显著优于说话者相关声码器，但是以75%的较低平均相对MUSHRA操作。这些结果在不同的语言中是一致的，无论它们在训练过程中被看到（例如英语或日语）还是看不见（例如沃洛夫语，斯瓦希里语，阿赫马尔语）。
2019-07-04 cs.SD eess.AS
A Spatial Sampling Approach to Wave Field Synthesis: PBAP and Huygens Arrays
Center for Computer Research in Music and Acoustics (CCRMA)（计算机音乐与声学研究中心（CCRMA））；Department of Music（音乐系）；Stanford（斯坦福大学）
一个简单的方法来麦克风和扬声器阵列中的麦克风阵列被视为一个采样网格的声场，和相应的扬声器阵列被视为一个“空间数模转换器”，重建声场从其空间样本。这种方法的优点包括易于理解和教学，易于部署，有效的实际部署指南，以及在特殊情况下显著的计算节省。特别地，在远场情况下（声源远离线性扬声器阵列许多波长），可以稍微改变源角度，使得每个扬声器不需要超过纯整数延迟的处理。使用公知的延迟线内插技术（诸如扬声器之间的线性（交叉衰落）和拉格朗日（多项式）内插）来获得平滑移动的源。我们称远场线阵列情况为基于平面波的角度平移（PBAP），参考众所周知的基于矢量的幅度平移（VBAP）技术家族，其中一些在这里作为特殊情况导出：当扬声器对声场欠采样时，结果可以被认为是VBAP的一种形式，并且VBAP也作为截断到多边形周长的多边形PBAP阵列的限制情况而获得。空间样本不需要在线性阵列上，这导致了我们称为惠更斯阵列（HA）的简单空间音频系统。HA对于位于扬声器阵列后面的源是相当通用的，扬声器阵列不再需要是线性的，并且源不再限于远场。讨论了采用VBAP（或立体声）和低音炮的多频带和混合阵列，使用采样理论来通知交叉频率的选择。
2019-11-18 cs.SD eess.AS
Reverberation-Robust Localization of Speakers Using Distinct Speech Onsets and Multi-channel Cross-Correlations
本文提出两种算法，通过声学滤波器bank分解信号并结合多通道交叉相关系数，以提高在强回声环境下的语音定位性能。
2026-04-02 eess.AS
Improvement of Noise-Robust Single-Channel Voice Activity Detection with Spatial Pre-processing
Aalborg University（奥尔堡大学）；RTX A/S（RTX公司）
语音活动检测（VAD）在嘈杂的环境中仍然是一个挑战。在接入多个麦克风的情况下，先前的研究已经尝试通过创建多通道VAD（MVAD）方法来提高VAD的噪声鲁棒性。然而，MVAD与过去已经彻底开发的单通道VAD（SVAD）相比是相对较新的。因此，通过预处理来改进SVAD方法以获得更好的VAD可能是有利的，这还没有得到充分的探索。本文通过波束形成和空间目标说话人检测两种预处理方法对SVAD进行改进。当在目标方向内不存在潜在说话者时，空间检测器将信号帧设置为零。检测器可以被实现为滤波器，这意味着根据检测器的输出对SVAD的输入信号进行滤波;或者它可以被实现为空间VAD以与SVAD输出组合。评价是在嘈杂的混响语音数据库上进行的，具有来自Aurora 2数据库的干净语音以及白噪声和多路重合噪声。结果表明，SVAD算法显着改善所提出的预处理方法，特别是空间检测器，在所有的信噪比。具有预处理的SVAD算法在具有挑战性的噪声条件下显著优于基线MVAD。
2021-04-12 cs.SD eess.AS eess.SP
Unfolded Recursive Expectation-Maximization Neural Network For Speaker Tracking
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
该研究提出深度展开式REM网络，引入含FiLM和PE的Step Size Network动态调整递归权重，在单说话人跟踪任务中，其性能优于经典CREM基线，可应用于动态声学场景。
2026-08-05 eess.AS eess.SP
Improved direction of arrival estimations with a wearable microphone array for dynamic environments by reliability weighting
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
本文针对动态混响环境中多说话人波达方向估计性能下降问题，基于EasyCom数据集改进LSDD算法，引入加权可靠性方法与新质量度量，显著提升了算法在挑战性环境下的鲁棒性与准确性。
2024-09-22 cs.SD eess.AS
Visual-Informed Speech Enhancement Using Attention-Based Beamforming
National Tsing Hua University（国立清华大学）；Academia Sinica（中央研究院）
本文提出一种结合视觉信息和注意力机制的神经束形成网络，用于提升语音增强在低信噪比和复杂环境下的性能。
2026-03-05 cs.AI eess.AS
Attention-Driven Multichannel Speech Enhancement in Moving Sound Source Scenarios
Tampere University（坦佩雷大学）
针对现有多通道语音增强算法假设声源静止、真实场景性能受限的问题，本文提出注意力驱动的空间滤波方法，通过注意力机制估计时变空间协方差矩阵或直接估计滤波器，在静态和动态声源场景下均优于传统方法。
2023-12-17 cs.LG eess.AS eess.SP
