Separation of Moving Sound Sources Using Multichannel NMF and Acoustic Tracking
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了一种方法分离的运动声源。该方法首先跟踪源，然后使用多通道非负矩阵分解（NMF）估计源谱图，并通过单通道维纳滤波从混合物中提取源。我们提出了一种新的多通道NMF模型与空间协方差矩阵（SCM）表示的源随时间变化的混合，并提供更新方程优化模型参数最小化平方Frobenius范数。该模型的SCM获得的基础上估计的到达方向的跟踪源在每个时间帧。评估是基于既定的客观分离标准，并使用两个和三个同时移动声源的真实录音。比较的方法包括传统的波束形成和理想比率掩模分离。所提出的方法被证明超过其他评估盲方法的分离质量根据所有测量的数量。此外，我们通过比较使用注释的地面真实源轨迹实现的分离质量来评估该方法对跟踪误差的敏感性。
2017-10-27 cs.SD eess.AS
LABNet: A Lightweight Attentive Beamforming Network for Ad-hoc Multichannel Microphone Invariant Real-Time Speech Enhancement
NERC-SLIP, University of Science and Technology of China (USTC)（NERC-SLIP，中国科学技术大学）
本文提出轻量级注意力波束形成网络LABNet，通过三阶段框架和跨通道注意力模块，在低复杂度实时语音增强中实现麦克风不变性，以超轻资源开销取得优异性能。
2025-08-27 cs.SD eess.AS
Blind Speech Separation and Dereverberation using Neural Beamforming
Graz University of Technology（格拉茨技术大学）
在本文中，我们提出了盲语音分离和去混响（BSSD）网络，它同时执行说话人分离，去混响和说话人辨识在一个单一的神经网络。说话人分离是由一组预定义的空间线索。利用神经波束形成进行混响消除，并通过嵌入向量和三元组挖掘辅助说话人辨识。我们介绍了一个频领域模型，它使用复值神经网络，和一个时域变量，执行波束形成的潜在空间。此外，我们提出了一个块在线模式来处理较长的音频记录，因为它们发生在会议场景中。我们评估我们的系统在尺度无关的信号失真比（SI-SDR），字出错率（WER）和相等的出错率（EER）。
2021-11-05 cs.LG cs.SD eess.AS
Narrow-band Deep Filtering for Multichannel Speech Enhancement
Westlake University（西湖大学）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
在本文中，我们解决的问题，多通道语音增强的短时傅立叶变换（STFT）域。长短时间记忆（LSTM）网络将与多通道噪声语音信号的频率仓相关联的STFT系数序列作为输入。网络的输出是相应的单通道净化语音序列。我们提出了几个干净的语音网络的目标，即幅度比掩模，复杂的STFT系数和（平滑）空间滤波器。所提出的模型的一个突出特点是，具有相同参数的相同LSTM架构在频率区间进行训练。所提出的方法被称为窄带深度滤波。这种选择与传统的宽带语音增强方法形成对比。所提出的深度滤波能够通过利用语音和噪声不同的时间和空间特征来区分语音和噪声：语音是非平稳的和空间相干的，而噪声是相对平稳的，并且在信道之间弱相关。这在精神上与无监督技术类似，例如谱减法和波束成形。我们描述了广泛的实验与混合信号（噪声被添加到干净的语音）和真实的信号（现场录音）。我们凭经验评估所提出的架构变体使用语音增强和语音识别指标，我们比较我们的结果与几个国家的最先进的方法得到的结果。根据这些实验，我们得出结论，窄带深度滤波具有非常好的语音增强和语音识别性能，以及在说话人可变性和噪声类型方面的出色泛化能力。
2020-09-23 cs.SD eess.AS
Nonlinear Spatial Filtering in Multichannel Speech Enhancement
Universität Hamburg（汉堡大学）
大多数多通道语音增强算法是两步过程，首先应用线性空间滤波器，所谓的波束形成器，并将其与单通道方法相结合进行后处理。然而，线性空间滤波器和后置滤波器的串行级联对于除高斯分布之外的噪声分布在最小均方误差（MMSE）意义上通常不是最优的。相反，MMSE最优滤波器是联合空间和频谱非线性函数。虽然用传统方法估计这种滤波器的参数是具有挑战性的，但现代神经网络可以提供一种直接从数据学习非线性函数的有效方法。为了看看在这个方向上的进一步研究是值得的，在这项工作中，我们研究了潜在的性能优势，取代共同的两步程序与联合空间和光谱非线性滤波器。我们分析了三种不同形式的非高斯性：首先，我们评估具有高峰度的超高斯噪声。第二，我们使用两个麦克风对五个干扰源产生的不均匀噪声场进行评估，第三，我们对CHiME3数据库中的真实录音进行评估。在所有情况下，都可以获得相当大的改进。最突出的是，我们的分析表明，非线性空间滤波器使用可用的空间信息更有效地比线性空间滤波器，因为它是能够抑制更多的$D-1$定向干扰源与$D$维麦克风阵列没有空间自适应。
2021-04-22 cs.SD eess.AS
Minimum-volume Multichannel Nonnegative matrix factorization for blind source separation
Georgia Institute of Technology（佐治亚理工学院）；Anonymous University（匿名大学）
多通道盲音频声源分离的目的是在没有监督信息的情况下从多通道混合信号中恢复出潜在的声源。一种最先进的盲音频声源分离方法，称为独立低秩矩阵分析（ILRMA），将独立向量分析（IVA）和非负矩阵分解（NMF）结合起来。然而，从NMF产生的谱矩阵可能找不到紧凑的谱基。它也可能无法保证每个来源的可识别性。为了解决这个问题，在这里，我们建议通过最小体积先验分布来增强源模型的可识别性。我们进一步正则化多通道NMF（MNMF）和ILRMA分别与最小体积正则化。所提出的方法最大化分离源的后验分布，这保证了收敛的稳定性。实验结果表明，与辅助独立向量分析，MNMF，ILRMA及其扩展相比，所提出的方法的有效性。
2021-03-30 cs.SD eess.AS
A Two-Stage U-Net for High-Fidelity Denoising of Historical Recordings
Aalto University（阿尔托大学）
提高历史音乐录音的音质是一个长期存在的问题。本文提出了一种基于全卷积深度神经网络的新型去噪方法。设计了一个两阶段的U-Net模型架构，以高保真度建模和抑制退化。该方法处理音频的时间-频率表示，并使用真实的噪声数据进行训练，以联合去除旧模拟光盘中的嘶嘶声、咔嗒声、重击声和其他常见的附加干扰。该模型在客观和主观指标上都优于以前的方法。一个正式的盲听测试的结果表明，真正的录音去噪与这种方法有显着更好的质量比基线方法。这项研究显示了真实训练数据的重要性和深度学习在音频恢复中的作用。
2022-02-19 cs.SD eess.AS
Pre-trained Spatial Priors on Multichannel NMF for Music Source Separation
Universidad de Malaga（马拉加大学）
针对音乐声源分离问题，提出将利用独奏片段预训练的空间混合滤波器整合至多通道非负矩阵分解（MNMF）框架的方法，适配典型管弦乐录音搭建方案，在复调合奏场景下分离性能优于传统MNMF方法。
2023-10-09 cs.LG cs.SD eess.AS
Pipeline for recording datasets and running neural networks on the Bela embedded hardware platform
Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（帝国理工学院）
本文提出一条在Bela嵌入式平台上部署神经网络的流水线，包含多通道数据集录制工具和容器化交叉编译环境，以降低非专家用户的入门门槛，支持实时嵌入式音乐应用的原型开发。
2023-06-20 cs.SD eess.AS
Multichannel blind speech source separation with a disjoint constraint source model
CIAIC, Northwestern Polytechnical University（西北工业大学）
针对多通道盲语音源分离中未充分利用语音信号稀疏性的问题，本研究利用Bingham和Laplace分布构建不相交约束正则化项，将其整合到MNMF和ILRMA中，推导出s-MNMF和s-ILRMA两种增强算法，实验证明其能有效提升分离性能。
2024-01-03 cs.SD eess.AS
Determined Multichannel Blind Source Separation with Clustered Source Model
Northwestern Polytechnical University（西北工业大学）
本文提出基于非负块项分解的聚类源模型，通过可解释潜在向量和正交性约束改进ILRMA，在无回声和模拟混响环境中均取得更优的盲源分离性能。
2024-05-06 cs.SD eess.AS
Generating Training Targets for Real-World Speech Enhancement via Close-to-Distant Microphone Projection
University of Tokyo（东京大学）
提出近远麦克风投影（C2D投影）方法，利用真实录音生成配对数据，通过参数化多通道维纳滤波器实现投影，训练神经网络在远场语音增强中优于现有GSS方法。
2026-06-12 cs.SD eess.AS
Improving Polyphonic Sound Event Detection on Multichannel Recordings with the Sørensen-Dice Coefficient Loss and Transfer Learning
Nanyang Technological University（南洋理工大学）
Sørensen-Dice Coefficient最近作为损失函数（也称为Dice loss）越来越受欢迎，因为它在负样本数量显著超过正样本数量的任务中具有鲁棒性，例如语义分割，自然语言处理和声音事件检测。具有二进制交叉熵损失的复调声音事件检测系统的常规训练通常导致次优检测性能，因为训练通常被来自负样本的更新淹没。在本文中，我们研究了Dice损失，模态内和模态间迁移学习，数据增强和记录格式对多通道输入的复调声音事件检测系统性能的影响。我们的分析表明，在F1得分和错误率方面，使用Dice损失训练的复音声音事件检测系统在不同的训练设置和记录格式中始终优于使用交叉熵损失训练的系统。我们通过使用迁移学习和不同数据增强技术的适当组合实现了进一步的性能提升。
2021-10-02 cs.AI cs.LG cs.SD
BLINC: Blind Calibration For Training-Free Speech Enhancement Adaptation
University of Stuttgart（斯图加特大学）
BLINC提出免训练的测试时自适应方法，通过直方图匹配将预测掩码重映射到盲特征参数化的双峰分布，提升语音增强模型在域偏移下的性能，无需反向传播且开销极小。
2026-09-21 cs.SD eess.AS
Dereverberation Filter by Deconvolution with Frequency Bin Specific Faded Impulse Response
ResearchGate
本文提出了一种基于频域特定衰减的单通道去混响滤波器，通过盲估计混响时间比来优化脉冲响应，以提升信号清晰度。
2026-01-10 cs.SD eess.AS
Switching divergences for spectral learning in blind speech dereverberation
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, sinc(i), UNL, CONICET, FICH（信号、系统与计算智能研究所（sinc(i)），国立滨海大学，国家科学技术研究委员会，水利科学学院）；Instituto de Matemática Aplicada del Litoral, IMAL, UNL, CONICET（滨海应用数学研究所（IMAL），国立滨海大学，国家科学技术研究委员会）；Universidad Nacional del Litoral（国立滨海大学）
当在一个封闭的房间里录制时，声音信号肯定会受到混响的影响。这不仅破坏了音频质量，还给许多使用语音作为输入的人机交互技术带来了问题。在这项工作中，提出了一种新的盲的，两阶段的去混响方法的基础上，广义β-散度作为一个保真度项在非负表示。第一阶段包括仅从观察到的频谱图学习信号的频谱结构，而第二阶段致力于模型混响。这两个步骤都是通过最小化成本函数来实现的，其中的目标是通过改变所涉及的分歧来构建字典或良好的表示。此外，还提出了一种为字典学习寻找最佳保真度参数的方法。一种算法，用于实现所提出的方法进行了描述和测试对国家的最先进的方法。结果表明，人工混响和真实录音的改善。
2018-09-19 cs.SD eess.AS
Binaural multichannel blind speaker separation with a causal low-latency and low-complexity approach
Carl von Ossietzky University（卡尔·冯·奥西茨基大学）
提出用于噪声混响环境的因果低延迟低复杂度双耳多通道盲说话人分离模型 GCBFSnet，通过 GC 显著降低模型规模与复杂度，并在多数指标上匹配 TasNet 基线。
2023-12-08 cs.SD eess.AS
MIRaGe: Multichannel Database Of Room Impulse Responses Measured On High-Resolution Cube-Shaped Grid In Multiple Acoustic Conditions
Technical University of Liberec（利贝雷茨技术大学）；Bar-Ilan University（巴伊兰大学）
我们介绍了一个数据库的多通道录音进行的声学实验室可调混响时间。这些记录提供了关于扬声器的各个位置的房间脉冲响应（RIR）的信息。特别地，主要位置对应于46 × 36 × 32 cm体积内的立方体形状的密集网格的4104个顶点。因此，该数据库提供了一种工具，用于详细分析空间处理方法的波束图，以及用于训练和测试声场的数学模型。
2019-07-29 cs.SD eess.AS
A Joint Diagonalization Based Efficient Approach to Underdetermined Blind Audio Source Separation Using the Multichannel Wiener Filter
NTT Corporation（日本电报电话公司）；Communication Science Laboratories（通信科学实验室）
本文提出了一种计算效率高的方法来盲声源分离（BSS）的音频信号，适用于即使有更多的来源比麦克风（即，的情况下）。当存在与麦克风一样多的源时（即，所确定的情况），BSS可以通过独立分量分析（ICA）在计算上高效地执行。然而，ICA基本上不适用于欠定情形。使用多通道维纳滤波器（MWF）的另一BSS方法甚至适用于这种情况，并且包括满秩空间协方差分析（FCA）和多通道非负矩阵分解（MNMF）。然而，这些方法需要大量的矩阵求逆来设计MWF，因此计算效率低。为了克服这一缺点，我们利用众所周知的对角矩阵的属性，矩阵求逆仅仅是对角元素的求逆，因此可以有效地进行计算。这使得可以基于联合对角化（JD）思想大幅降低上述矩阵求逆的计算成本，从而产生计算高效的BSS。具体来说，我们限制所有N个源的N个空间协方差矩阵（SCM）的一类（确切地）联合对角化矩阵。基于这种方法，我们提出了FastFCA，FCA的计算效率的扩展。我们还提出了一个统一的框架，欠定和确定的音频BSS，它突出了FastFCA和其他方法之间的理论联系。此外，我们发现FastFCA可以被视为近似联合对角化（AJD）的正则化版本。
2021-01-21 cs.SD eess.AS
Dilated U-net based approach for multichannel speech enhancement from First-Order Ambisonics recordings
Orange Labs（奥兰治实验室）
我们提出了一个CNN架构的语音增强从多通道一阶高保真度立体声复制混合。从基于掩码的方法推导出的数据相关的空间滤波器用于帮助自动语音识别引擎面对混响和竞争扬声器的不利条件。掩模预测由神经网络提供，在已知到达方向的假设下，馈入语音和噪声幅度谱的粗略估计。这项研究评估了在压力更大的条件下，用额外的第二个竞争性发言人替换先前由卷积U网研究的递归LSTM网络。我们发现，由于更准确的短期掩码预测，U-网络架构在字错误率方面带来了一些改善。此外，结果表明，在具有两个干扰扬声器的困难情况下，和/或在目标和干扰在角距离方面彼此接近的情况下，使用扩张卷积层是有益的。此外，这些结果的参数数量减少了两倍。
2020-06-02 cs.SD eess.AS eess.SP
MULAN: A Blind and Off-Grid Method for Multichannel Echo Retrieval
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）
本文讨论了盲回波恢复的一般问题，即，给定M个传感器在离散时间域中测量未知源信号的K个延迟和衰减副本的M个混合物，可以恢复回波位置和权重吗？这个问题在声纳、地震学、超声波或室内声学等领域有着广泛的应用。它属于更广泛的一类盲信道识别问题，这在信号处理中已经得到了深入的研究。现有的方法在文献中进行两个步骤：（i）稀疏离散时间滤波器的盲估计和（ii）回声信息检索通过峰值拾取滤波器。这些方法的精度从根本上受到信号采样速率的限制：估计的回波位置必须在网格上，并且由于真实位置永远不会与采样网格匹配，因此权重估计精度受到影响。这就是压缩感知中所谓的基失配问题。我们提出了一个根本不同的方法来解决这个问题，建立在有限创新率抽样的框架。该方法直接在回波位置和权重的参数空间中操作，并且能够从离散时间测量进行近精确的盲和离网回波检索。结果表明，它优于传统方法的精度几个数量级。
2018-10-31 cs.AI cs.SD eess.AS
RealMAN: A Real-Recorded and Annotated Microphone Array Dataset for Dynamic Speech Enhancement and Localization
School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究院）；Beijing AIShell Technology Co. Ltd（北京思必驰科技有限公司）
本文提出RealMAN数据集，包含32通道真实录制的83.7小时语音和144.5小时噪声，覆盖多种场景，并利用鱼眼相机自动标注声源位置和直达路径信号，以弥合语音增强与定位任务中仿真到真实的差距。
2024-10-01 cs.SD eess.AS
A cross-talk robust multichannel VAD model for multiparty agent interactions trained using synthetic re-recordings
Disney Research（迪士尼研究院）
针对多方互动节目中的多通道串扰问题，提出利用多通道信息的 VAD 模型，并通过合成重录音数据训练，显著优于基线方法并降低了下游 ASR 的插入错误。
2024-02-15 cs.HC cs.SD eess.AS
A Training Framework for Stereo-Aware Speech Enhancement using Deep Neural Networks
Microsoft（微软）
基于深度学习的语音增强近年来表现出前所未有的性能。最流行的单声道语音增强框架是端到端网络，其将噪声混合映射到干净语音的估计。随着计算能力的提高和多通道麦克风录音的可用性，先前的工作旨在将空间统计与频谱信息结合起来以提高性能。尽管单声道输出的增强性能有所改善，但空间图像保留和主观评价在文献中没有得到太多关注。本文提出了一种新的立体声感知的语音增强框架，用于基于深度学习的语音增强的训练损失，以在增强立体声混合的同时保留空间图像。所提出的框架是模型独立的，因此它可以应用于任何基于深度学习的架构。我们通过听力测试对训练模型进行广泛的客观和主观评估。我们表明，通过正则化的图像保存损失，整体性能得到改善，语音的立体声方面得到更好的保留。
2022-01-31 cs.LG cs.SD eess.AS
L3DAS21 Challenge: Machine Learning for 3D Audio Signal Processing
Sapienza University of Rome（罗马第一大学）
L3DAS 21挑战赛旨在鼓励和促进3D音频信号处理机器学习的合作研究，特别关注3D语音增强（SE）和3D声音定位和检测（SELD）。除了挑战之外，我们还发布了L3DAS 21数据集，这是一个65小时的3D音频语料库，附带了一个Python API，可以方便数据使用和结果提交阶段。通常，3D音频任务的机器学习方法基于单视角Ambisonics录音或单胶囊麦克风阵列。相反，我们提出了一种新的多通道音频配置为基础的多源和多角度高保真度立体声响复制录音，执行与两个一阶高保真度立体声响复制麦克风的阵列。据我们所知，这是第一次将双麦克风高保真立体声配置用于这些任务。我们为这两项任务提供了基线模型和结果，这些模型和结果是通过最先进的架构获得的：用于SE的FaSNet和用于SELD的SELDNet。本报告旨在提供参与L3DAS 21挑战所需的所有信息，说明L3DAS 21数据集、挑战任务和基线模型的详细信息。
2021-04-29 cs.LG cs.SD eess.AS
Blind Audio Bandwidth Extension: A Diffusion-Based Zero-Shot Approach
Aalto University（阿尔托大学）
针对低通退化未知的盲音频带宽扩展问题，提出基于预训练无条件扩散模型的零样本方法BABE，通过参数化迭代推断未知退化算子的广义扩散后验采样实现重建，在合成数据上优于现有盲方法且性能接近知情方法，对真实历史录音增强泛化性好、音质提升显著。
2024-01-30 cs.LG cs.SD eess.AS
Deep Ad-hoc Beamforming
Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）；Northwestern Polytechnical University（西北工业大学）
远场语音处理是一个重要而富有挑战性的问题。在本文中，我们提出了\textit{deep ad-hoc beamforming}，一个基于深度学习的多通道语音增强框架，基于自组织麦克风阵列，以解决这个问题。它包含三个新的组成部分。首先，它将\textit{ad-hoc microphone arrays}与基于深度学习的多通道语音增强相结合，显著降低了远场声学环境的发生概率。其次，它通过基于深度神经网络的监督信道选择框架将语音源周围的麦克风分组为本地麦克风阵列。第三，提出了一个简单的时间同步框架来实现不同时延信道的同步。除了上述的新颖性和优点，所提出的模型也是在一个单通道的方式训练，使它可以很容易地采用新的语音处理技术的发展。它的测试阶段也很灵活，可以在不重新训练或修改框架的情况下合并任何数量的麦克风。我们已经开发了许多实现所提出的框架，并进行了广泛的实验中的情况下，语音源的位置是远场，随机的，和盲目的麦克风。语音增强任务的结果表明，我们的方法优于其对应的工作与线性麦克风阵列的一个相当大的保证金在扩散噪声混响环境和点源噪声混响环境。我们还测试了框架的不同手工制作的功能。结果表明，虽然设计好的功能，导致高性能，他们不影响的结论所提出的框架的有效性。
2021-02-09 cs.SD eess.AS
Speech enhancement using ego-noise references with a microphone array embedded in an unmanned aerial vehicle
KU Leuven（鲁汶大学）；Siemens Digital Industries Software（西门子数字工业软件）
提出在嵌入式无人机麦克风阵列中利用螺旋桨附近麦克风采集的自噪声参考信号，通过PK-MWF估计语音相关矩阵，实验表明其在STOI和PESQ上优于标准MWF且SNR改善相当。
2023-08-16 cs.SD eess.AS
Multichannel Sound Event Detection Using 3D Convolutional Neural Networks for Learning Inter-channel Features
Tampere University of Technology（坦佩雷理工大学）；Aalto University（阿尔托大学）
在本文中，我们提出了一个堆叠的卷积和递归神经网络（CRNN）与三维卷积神经网络（CNN）在第一层的多通道声音事件检测（SED）任务。3D CNN使网络能够从输入的多声道音频中同时学习声道间和声道内特征。为了评估所提出的方法，多声道音频数据集与不同数量的重叠声源合成。每个数据集都有一个四声道一阶Ambisonic，双耳和单声道版本，使用所提出的方法比较SED的性能，以研究使用多声道音频的SED的潜力。还对真实录音TUT-SED 2017开发数据集的双耳和单通道版本进行了类似的研究。所提出的方法可以更快地从多通道特征中识别重叠的声音事件，并且使用更少的训练时期来执行更好的SED。结果表明，在使用多声道高保真音频代替单声道音频时，我们将总体F分数提高了7.5%，总体出错率提高了10%，并且在具有四个重叠声源的时间帧中识别出15.6%以上的声音事件。
2018-01-29 cs.LG cs.SD eess.AS
Sparse Pursuit and Dictionary Learning for Blind Source Separation in Polyphonic Music Recordings
University of Bremen（不来梅大学）；Colorado State University（科罗拉多州立大学）
提出了一种单声道音频信号盲分离算法。它基于一个参数模型，该模型描述了独立于音高的乐器声音的频谱特性。我们开发了一种新的稀疏追踪算法，可以匹配的离散频谱从记录的信号与连续的频谱提供的模型。我们首先使用该算法将来自记录的STFT谱图转换成一种新形式的对数频率谱图，其分辨率超过了梅尔谱图。然后，我们利用该表示的音高不变特性，以便通过相同的稀疏追踪方法来识别乐器的声音。由于表征乐器的模型参数事先不知道，我们训练包含它们的字典，使用修改后的亚当版本。将该算法应用于各种音频样本，我们发现，它能够产生高质量的分离结果时，模型假设得到满足，仪器是明确区分，但具有相似的频谱特性的仪器的组合构成了一个概念上的困难。虽然该模型的一个关键特征是它显式地对不和谐性进行建模，但它的存在仍然会阻碍稀疏追踪算法的性能。在一般情况下，由于其音高不变性，我们的方法是特别适合于处理从声学仪器的频谱，只需要一个最小数量的超参数被预设。此外，我们证明了为一个记录构建的字典可以应用于具有类似仪器的不同记录，而无需额外的训练。
2021-02-01 cs.LG cs.SD eess.AS
Acoustic Scene Classification Using Multichannel Observation with Partially Missing Channels
Doshisha University（同志社大学）
使用智能手机或物联网设备录制的声音通常会有部分不可靠的观测结果，这些观测结果是由削波、风噪声以及由于麦克风故障和网络数据传输中的数据包丢失而导致的完全缺失部分造成的。在本文中，我们调查的影响，部分缺失的通道上的声学场景分类的性能，使用多通道音频记录，特别是分布式麦克风阵列。观测数据缺失不仅会导致声源时频和空间信息的丢失，还会导致训练模型与评估数据之间的不匹配。因此，我们研究如何丢失的通道影响声学场景分类的性能详细。我们还提出了简单的数据增强方法，场景分类使用多通道观测与部分丢失的通道，并使用数据增强方法的场景分类性能进行评估。
2021-05-05 cs.SD eess.AS
Blind Source Separation in Polyphonic Music Recordings Using Deep Neural Networks Trained via Policy Gradients
Center for Industrial Mathematics, University of Bremen（不来梅大学工业数学中心）；Mathematics Department, Colorado State University（科罗拉多州立大学数学系）
提出了一种对音频信号中乐器声音进行盲分离的方法。我们通过一个参数模型来描述各个音调，训练一个字典来捕获谐波的相对幅度。模型参数通过U-Net进行预测，U-Net是一种深度神经网络。基于模型预测与短时傅里叶变换的各个时间帧之间的差异，在没有地面实况信息的情况下训练网络。由于一些模型参数不产生有用的反向传播梯度，我们随机建模，并采用策略梯度。为了提供相位信息并解释基于词典的表示中的不准确性，我们还让网络输出直接预测，然后我们使用它来重新合成各个乐器的音频信号。由于神经网络的灵活性，非谐波可以无缝地合并，不需要对输入光谱进行预处理。我们的算法产生高质量的分离结果，特别是低干扰的各种不同的音频样本，无论是声学和合成，提供的样本包含足够的数据的训练和乐器的频谱特性是足够稳定的字典近似。
2021-08-09 cs.LG cs.SD eess.AS
Blind Estimation of Sub-band Acoustic Parameters from Ambisonics Recordings using Spectro-Spatial Covariance Features
University of New South Wales（新南威尔士大学）；Dolby Laboratories（杜比实验室）
本研究提出含SSCV新特征与FOA-Conv3D后端的统一框架，基于一阶Ambisonics录音盲估计10频带的T60、DRR、C50，性能显著优于现有单通道方法及CNN、CRNN后端。
2025-01-13 cs.LG cs.SD eess.AS
Environment Classification via Blind Roomprints Estimation
Fraunhofer Institute for Digital Media Technology（弗劳恩霍夫数字媒体技术研究所）；Ilmenau University of Technology（伊尔梅瑙工业大学）
在本文中，我们提出了一种新的方法用于语音记录的环境分类，它不需要选择衰减混响尾巴。它基于盲信道估计的多频带RT60分析，并且在来自ACE语料库的测试记录上实现了高达93.6%的准确度。
2023-01-26 cs.SD eess.AS
Sound Event Detection in Multichannel Audio Using Spatial and Harmonic Features
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了使用空间和谐波特征结合长短期记忆（LSTM）递归神经网络（RNN）的自动声音事件检测（SED）任务。现实生活中的录音通常有许多重叠的声音事件，使得很难仅用单声道音频来识别。人类听众已经成功地使用音高线索识别重叠声音事件的混合，并利用在他们的耳朵处可用的立体声（多通道）音频信号来空间定位这些事件。传统上，SED系统仅使用单声道音频，出于人类听众的动机，我们建议将其扩展为使用多声道音频。在TUT声音事件检测2016数据库的开发子集上，将所提出的SED系统与最先进的单声道方法进行比较。空间和谐波特征的使用被证明可以提高SED的性能。
2017-06-07 cs.LG cs.SD
NoisyILRMA: Diffuse-Noise-Aware Independent Low-Rank Matrix Analysis for Fast Blind Source Extraction
The University of Tokyo（东京大学）；NTT Communication Science Laboratories, NTT Corporation（NTT集团NTT通信科学实验室）；National Institute of Technology, Kagawa College（香川高等专门学校）
本文提出NoisyILRMA，一种针对漫射噪声环境的快速盲源提取方法，通过改进ILRMA并结合独立向量提取算法实现加速，并引入源模型切换机制提升性能。
2023-06-22 cs.SD eess.AS
Cloning a Conversational Voice AI Agent from Call\,Recording Datasets for Telesales
Amity AI Research and Application Center（阿米蒂AI研究与应用中心）
本研究提出从通话录音克隆对话式语音AI智能体的通用方法，整合ASR、LLM对话管理器与TTS构建流式流水线，经电话销售场景测试，其常规表现接近人类但说服与异议处理能力不足，并给出优化方向与设计经验。
2025-09-05 cs.AI cs.LG
Multichannel CRNN for Speaker Counting: an Analysis of Performance
Orange Labs（奥兰奇实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔理工学院）；CNRS（法国国家科学研究中心）
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务，诸如扬声器日志化、分离、定位和跟踪，除了能够实现低延迟处理之外，知道每个时间步长处的扬声器的数量是先决条件，或者至少它可以是强优势。在以前的工作中，我们使用多通道卷积递归神经网络解决了说话人计数问题，该网络以短期帧分辨率产生估计。在这项工作中，我们表明，对于一个给定的帧，有一个最佳的位置，在输入序列的最佳预测精度。我们凭经验证明了最佳位置，输入序列的长度和卷积滤波器的大小之间的联系。
2021-01-06 cs.SD eess.AS
Determined blind source separation via modeling adjacent frequency band correlations in speech signals
Northwestern Polytechnical University（西北工业大学）；University of Toulouse（图卢兹大学）；INP-ENSEEIHT（国立高等电子与电工技术工程师学院）；CIAIC（中国航空工业集团公司第六三一研究所）；Shaanxi Provincial Key Laboratory of Artificial Intelligence（陕西省人工智能重点实验室）；IRIT（图卢兹计算机科学研究所）
本文针对语音信号中相邻频带相关性显著强于远距离频带的特点，提出加权Sinkhorn散度ILRMA（wsILRMA），通过引入频间相关性约束同时建模频间依赖和联合概率分布，在SDR和SIR指标上优于现有MBSS方法。
2025-04-05 cs.SD eess.AS
Multichannel audio signal source separation based on an Interchannel Loudness Vector Sum
Electronics and Telecommunications Research Institute（电子通信研究院）
提出了一种多通道音频内容的盲声源分离算法。与针对立体声音频内容或麦克风阵列信号的常见BSS算法不同，我们的技术针对多通道音频，例如5.1和7.1ch音频。由于大多数多声道音频对象源使用声道间响度差（ILD）进行平移，因此我们采用ILVS（声道间响度向量和）概念来对来自每个声道的公共信号（例如背景音乐）进行聚类。在从每个通道中分离出公共信号之后，我们采用具有von-Mises分布的期望最大化（EM）算法来成功地对声源对象的聚类进行分类，并将音频信号从原始混合物中分离出来。因此，我们所提出的方法可以从多个通道中分离出具有合理质量的普通音频信号和对象源信号。我们的多声道音频内容分离技术可以应用于需要多声道音频声源分离的上混系统或影院音频系统。
2015-12-26 cs.SD
STARSS23: An Audio-Visual Dataset of Spatial Recordings of Real Scenes with Spatiotemporal Annotations of Sound Events
Sony AI（索尼人工智能）；Tampere University（坦佩雷大学）；Sony Group Corporation（索尼集团公司）
本文提出视听声音事件定位与检测任务，并介绍STARSS23数据集，该数据集包含多通道音频、视频及时空标注，实验表明利用视觉对象位置可提升SELD性能。
2023-11-14 cs.CV cs.MM cs.SD
Empirical Bayesian Independent Deeply Learned Matrix Analysis For Multichannel Audio Source Separation
The University of Tokyo（东京大学）；National Institute of Technology, Kagawa College（日本国立高等专门学校机构香川高等专门学校）；Yamaha Corporation（雅马哈公司）
独立深度学习矩阵分析（IDLMA）是一种最先进的有监督多声道音频声源分离方法。它使用由深度神经网络（DNN）估计的源模型，在源独立性的基础上盲估计去混合滤波器。然而，由于源信号与干扰信号的比值在时频（TF）时隙之间变化很大，因此很难获得所有TF时隙处源信号的可靠估计功率谱。在本文中，我们提出了一个IDLMA扩展，经验贝叶斯IDLMA（EB-IDLMA），通过引入一个先验分布的源功率谱和治疗源功率谱作为潜在的随机变量。这种处理允许我们隐式地考虑估计的源功率谱图的可靠性，以通过DNN估计的先验分布的超参数来估计去混合滤波器。实验评估表明EB-IDLMA的有效性和引入的可靠性的估计源功率谱的重要性。
2021-06-07 cs.SD eess.AS
Soloist: A Generative Model for Blind Voice Separation in the Wild
Soloist是一种无需目标说话人查询或预定义语音数量的盲语音分离生成模型，通过两阶段训练结合强化学习，可在真实场景中有效分离重叠、带噪语音及音乐中的人声，还可集成到对话处理流水线中。
2026-10-15 cs.SD
Audio-Visual Talker Localization in Video for Spatial Sound Reproduction
本研究提出融合视觉与多通道音频的视听方法，用于视频中说话人定位与位置元数据提取，相比传统方法显著降低了检测误差并提升了空间精度。
2024-06-01 cs.CV cs.SD eess.AS
Partially Adaptive Multichannel Joint Reduction of Ego-noise and Environmental Noise
Universität Hamburg（汉堡大学）；exXxa GmbH（exXxa有限公司）
人机交互依赖于噪声鲁棒音频处理模块，该模块能够从受环境噪声以及自诱导噪声（所谓的自我噪声）影响的音频记录中估计目标语音。虽然外部环境噪声源因环境而异，但自我噪声主要由机器人的内部电机和关节引起。自我噪声和环境噪声降低通常是解耦的，即，在不考虑环境噪声的情况下执行自我噪声降低。最近，一个变分自动编码器（VAE）为基础的语音模型已与一个完全自适应的非负矩阵分解（NMF）噪声模型相结合，以恢复干净的语音在不同的环境噪声干扰。然而，其增强性能在涉及例如自我噪声的不利声学场景中是有限的。在本文中，我们提出了一种多通道部分自适应方案，利用VAE-NMF框架来联合建模自我噪声和环境噪声，其中我们通过预训练自我噪声模型来利用自我噪声的空间和频谱结构特征，同时保留适应未知环境噪声的能力。实验结果表明，我们提出的方法优于基于一个完全固定的计划和一个完全自适应计划的方法时，自我噪声和环境噪声同时存在。
2023-03-27 cs.LG cs.RO cs.SD
Realistic sources, receivers and walls improve the generalisability of virtually-supervised blind acoustic parameter estimators
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用实验室）
盲声学参数估计包括从未知声源的记录推断环境的声学特性。由于真实注释测量的可用性有限，该领域的最新工作利用了部分或完全基于模拟数据训练的深度神经网络。在本文中，我们研究了一个纯粹使用快速图像源房间脉冲响应模拟器训练的模型是否可以推广到真实数据。我们提出了一个消融研究精心制作的模拟训练集，占不同层次的现实主义的来源，接收器和墙壁的反应。现实主义的程度是由墙壁的吸收系数的采样，并通过应用测得的指向性模式的麦克风和源控制。在这些数据集上训练的最先进的模型在联合估计来自多个多通道语音记录的房间体积、总表面积和倍频程混响时间的任务上进行评估。结果表明，在训练时间的仿真现实的每一个增加的层显着提高对真实信号的所有量的估计。
2022-07-19 cs.SD eess.AS
Multichannel Audio Source Separation with Independent Deeply Learned Matrix Analysis Using Product of Source Models
The University of Tokyo（东京大学）；National Institute of Technology, Kagawa College（国立高等专门学校香川高等专门学校）；Yamaha Corporation（雅马哈株式会社）
独立深度学习矩阵分析（IDLMA）是使用基于深度神经网络（DNN）的源功率估计的最先进的多声道音频声源分离方法之一。基于DNN的功率估计对于具有类似于DNN训练数据的音色的声音工作良好。然而，应用IDLMA的声音并不总是具有这样的音色，并且音色失配导致IDLMA的性能下降。为了解决这个问题，我们专注于盲声源分离对应的IDLMA，独立的低秩矩阵分析。它采用非负矩阵分解（NMF）作为源模型，以源谱图的低秩结构为线索，捕获只出现在目标混合物中的源谱成分。因此，我们扩展了基于DNN的源模型，以包含基于NMF的源模型的基础上的产品的专家的概念，我们称之为产品的源模型（PoSM）。对于建议的PoSM为基础的IDLMA，我们推导出一个计算效率的参数估计算法的基础上的优化原则，称为优化最小化算法。实验结果表明了该方法的有效性。
2021-09-02 cs.SD eess.AS
Rank-1 Constrained Multichannel Wiener Filter for Speech Recognition in Noisy Environments
University of Chinese Academy of Sciences（中国科学院大学）；Inria（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）
多通道线性滤波器，如多通道维纳滤波器（MWF）和广义特征值（GEV）波束形成器是流行的信号处理技术，可以提高语音识别性能。在本文中，我们提出了一个实验研究，这些线性滤波器在一个特定的语音识别任务，即CHiME-4的挑战，其功能在多个嘈杂的环境中的真实录音。具体而言，秩-1 MWF用于降噪，并推导出一个新的恒定残余噪声功率约束，提高了识别性能。为了满足潜在的秩-1假设，语音协方差矩阵基于特征向量或广义特征向量重构。然后在相同的框架下，使用替代的多通道线性滤波器来评估秩1约束MWF，该框架涉及用于掩模估计的双向长短期记忆（BLSTM）网络。建议的过滤器优于替代的，导致40%的相对字出错率（WER）减少相比，基线加权延迟和总和（WDAS）波束形成器的真实测试集上，和15%的相对WER减少相比，GEV-BAN方法。研究结果还表明，语音识别准确率与梅尔频率倒谱系数（MFCC）特征方差的相关性更大，而不是与噪声降低或语音失真水平。
2017-11-15 cs.CL cs.SD
Cepstral Smoothing of Binary Masks for Convolutive Blind Separation of Speech Mixtures
National Engineering School of Tunis, ENIT（突尼斯国家工程学院，ENIT）；National Institute of Applied Science and Technology, INSAT（应用科学和技术国家研究所，INSAT）
本文提出了一种新的分离系统，通过结合盲源分离技术与二值时间频谱掩膜的频谱平滑，有效提取两个语音信号。实验表明该系统在模拟房间模型和真实录音中均表现出色。
2026-03-16 cs.SD
WearVox: An Egocentric Multichannel Voice Assistant Benchmark for Wearables
Meta；Carnegie Mellon University（卡内基梅隆大学）
WearVox是一个面向可穿戴设备的多通道语音助手基准测试平台，通过真实场景下的多通道音频数据评估语音助手性能，揭示了环境噪声对模型表现的影响。
2025-12-25 cs.CL cs.SD eess.AS
Utterance Clustering Using Stereo Audio Channels
Binghamton University, State University of New York（纽约州立大学宾汉姆顿大学）；Center for Collective Dynamics of Complex Systems（复杂系统集体动力学中心）；Department of Systems Science and Industrial Engineering（系统科学与工业工程系）；Bernard M. & Ruth R. Bass Center for Leadership Studies（伯纳德·M与露丝·R·巴斯领导力研究中心）
语音聚类是音频信号处理和机器学习领域的研究热点之一。本研究旨在通过处理多声道（立体声）音频信号来提高话语聚类的性能。通过以几种不同的方式组合左声道和右声道音频信号来生成经处理的音频信号，然后从这些经处理的音频信号中提取嵌入的特征（也称为d向量）。本研究将高斯混合模型应用于有监督的话语聚类。在训练阶段，对每个说话人进行参数共享高斯混合模型的训练。在测试阶段，选择具有最大似然的说话人作为检测到的说话人。多人讨论会话的真实音频记录的实验结果表明，所提出的方法，使用多声道音频信号取得了显着更好的性能比传统的方法与单声道音频信号在更复杂的条件。
2021-09-21 cs.LG cs.SD eess.AS
High-Resolution Speaker Counting In Reverberant Rooms Using CRNN With Ambisonics Features
Orange Labs（奥兰治实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；GIPSA-lab（格勒诺布尔图像语音信号与自动控制实验室）；Grenoble-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务，诸如扬声器日志化、分离、定位和跟踪，除了能够实现低延迟处理之外，知道每个时间步长处的扬声器的数量是先决条件，或者至少它可以是强优势。为此目的，我们解决了扬声器计数问题与多通道卷积递归神经网络，产生在短期帧分辨率的估计。我们训练网络来预测多通道混合中多达5个并发扬声器，模拟数据包括源和麦克风位置，混响和噪声方面的许多不同条件。该网络可以在帧分辨率下以良好的精度预测扬声器的数量。
2020-03-17 cs.SD eess.AS
Neural Multichannel Distant Speaker Diarization with Heavy-tailed Source Separation Model
LTCI, Telecom Paris, Institut Polytechnique Paris（巴黎综合理工学院电信巴黎分校LTCI）；SJTU Paris Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；LIUM, Le Mans University（勒芒大学LIUM）
本文提出一种结合重尾分布（尖峰广义高斯和学生t分布）的神经FCASA模型，用于远场多通道说话人日志，在DER和JER指标上较基线取得大幅改进。
2026-09-14 cs.AI cs.SD
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境，利用一定量的训练语音数据的混响环境，和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换，我们将房间诱导卷积转换为对数谱域中的加法。接下来，我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间，该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
