Accelerated Convolutive Transfer Function-Based Multichannel NMF Using Iterative Source Steering
Waseda University（早稻田大学）
针对基于卷积传递函数的多通道非负矩阵分离方法计算成本高的问题，提出融合无需矩阵求逆的迭代源导向更新规则的高效变体，在保持甚至提升分离性能的同时显著降低计算复杂度。
2025-09-30 cs.SD eess.AS
Multichannel Speech Separation and Enhancement Using the Convolutive Transfer Function
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部）；GIPSA-lab（格勒诺布尔阿尔卑斯大学信号与系统实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Bar Ilan University（巴伊兰大学）
本文研究了多通道卷积噪声混合语音信号的分离与增强问题，即\emph{assuming known mixing filters}。我们建议使用卷积传递函数（CTF）逼近在短时傅里叶变换域中执行语音分离和增强任务。与时域滤波器相比，CTF具有更少的抽头，因此它具有更少的通道之间的近公共零点和更低的计算复杂性。该工作提出了三种语音源恢复方法，即：i）在CTF域中利用多通道逆滤波方法，即多输入/输出逆定理（MINT），并且对于多源情况，ii）应用单源MINT并使用功率最小化的波束成形类多通道逆滤波方法，其适用于源CTF不是全部已知的任何时候，以及iii）受约束的Lasso方法，其中通过最小化$\ell_1$范数来恢复源，以施加它们的频谱稀疏性，约束条件是麦克风信号和涉及未知源信号的混合模型之间的$\ell_2$范数拟合成本小于容限。可以通过对噪声功率设置容差来降低噪声。在各种声学条件下进行实验，以评估所提出的三种方法。它们之间的比较，以及与基线方法。
2018-02-26 cs.SD eess.AS
Semi-blind source separation using convolutive transfer function for nonlinear acoustic echo cancellation
Key Laboratory of Modern Acoustics, Institute of Acoustics, Nanjing University（南京大学声学研究所现代声学重点实验室）；NJU-Horizon Intelligent Audio Lab, Horizon Robotics（南京大学-地平线智能音频实验室，地平线机器人）
最近提出的用于非线性声学回声消除（NAEC）的半盲源分离（SBSS）方法在衰减非线性声学回声方面优于自适应NAEC。然而，乘性传递函数（MTF）近似使其不适合实时应用，特别是在高混响环境中，自然梯度使其难以在快速收敛速度和稳定性之间取得平衡。在本文中，我们提出了两个更有效的SBSS方法的基础上，基于独立的函数的独立向量分析（MATIVA）和独立的低秩矩阵分析（ILRMA）。使用卷积传递函数（CTF）近似代替MTF，以便可以用短延迟来模拟长脉冲响应。根据NAEC的约束解混矩阵，对MARIVA和ILRMA中的优化方案进行了严格的正则化。实验结果验证了所提出的方法具有更好的回波消除性能。
2022-07-04 cs.SD eess.AS eess.SP
A RobustICA Based Algorithm for Blind Separation of Convolutive Mixtures
Michigan State University（密歇根州立大学）
提出了一种基于鲁棒独立分量分析（RICA）的频域方法，用于解决强混响环境下卷积混合语音的多通道盲声源分离（BSS）问题。我们施加正则化过程来解决协方差矩阵的病态问题，并减轻在频域中的性能下降。我们应用一种算法来分离源信号在不利的条件下，即高混响条件下，当短的观测信号是可用的。此外，我们研究了几个参数对分离性能的影响，如重叠率和频域方法的窗口类型。我们还比较了不同的技术来解决频域排列模糊。通过仿真和实际实验，验证了卷积算法相对于递归正则化ICA（RR ICA）、独立向量分析（IVA）等盲源分离算法的优越性。
2014-08-01 cs.LG cs.SD
Convolutive Prediction for Monaural Speech Dereverberation and Noisy-Reverberant Speaker Separation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
语音去混响的一种有前途的方法是基于监督学习，其中训练深度神经网络（DNN）以从有噪声混响的语音预测直达声。这种数据驱动的方法基于利用干净语音模式的先验知识，并且很少明确地利用混响中的线性滤波器结构，即，该混响由房间脉冲响应（RIR）和干源信号之间的线性卷积产生。在这项工作中，我们建议在基于深度学习的单声道语音去混响框架内利用这种线性滤波器结构。关键思想是首先使用DNN估计目标扬声器的直接路径信号，然后识别作为估计的直接路径信号的衰减和延迟副本的信号，因为这些信号可以可靠地被认为是混响。它们可以直接删除以进行去混响，也可以用作另一个DNN的额外功能以执行更好的去混响。为了识别副本，我们通过有效地解决时频域中每个频率的线性回归问题来估计底层滤波器（或RIR）。然后，我们修改所提出的算法，在混响和噪声混响条件下的扬声器分离。国家的最先进的语音去混响和扬声器分离的结果上获得的REVERB，SMS-WSJ，和WHAMR！数据集。
2021-11-10 cs.SD eess.AS
Cepstral Smoothing of Binary Masks for Convolutive Blind Separation of Speech Mixtures
National Engineering School of Tunis, ENIT（突尼斯国家工程学院，ENIT）；National Institute of Applied Science and Technology, INSAT（应用科学和技术国家研究所，INSAT）
本文提出了一种新的分离系统，通过结合盲源分离技术与二值时间频谱掩膜的频谱平滑，有效提取两个语音信号。实验表明该系统在模拟房间模型和真实录音中均表现出色。
2026-03-16 cs.SD
Semi-Supervised Convolutive NMF for Automatic Piano Transcription
INSA-Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；INSA Rennes（雷恩国立应用科学学院）；UJM-Saint Etienne（圣艾蒂安大学）；Inserm（法国国家健康与医学研究院）
自动音乐转录是将音乐表演的音频记录转换为符号格式，它仍然是一项困难的音乐信息检索任务。在这项工作中，重点是钢琴转录，我们提出了一个半监督的方法，使用低秩矩阵分解技术，特别是卷积非负矩阵分解。在半监督设置中，只需要对每个音符进行单次记录。我们在MAPS数据集上表明，所提出的半监督CNMF方法的性能优于最先进的低秩因子分解技术，略差于监督深度学习最先进的方法，但存在泛化问题。
2022-04-14 cs.LG cs.SD eess.AS
Frequency domain TRINICON-based blind source separation method with multi-source activity detection for sparsely mixed signals
Nanjing University（南京大学）
TRINICON（卷积混合的三N ICA）框架是一种有效的盲信号分离（BSS）方法，用于从卷积混合中分离声源。它充分利用了源信号的非白性、非平稳性和非高斯性，可以在时域或频域实现，避免了臭名昭著的内部置换问题。它通常具有最好的性能时，源连续混合。本文研究了稀疏混合信号的离线双通道频域TRINICON实现，提出了一种多源活动检测方法，用于定位每个源的活动周期，并在此基础上对滤波器更新策略进行正则化，以提高分离性能。利用BSSEVAL工具包提供的客观指标来评估所提出的方案的性能。
2018-02-25 cs.SD eess.AS
Mixed penalization in convolutive nonnegative matrix factorization for blind speech dereverberation
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, sinc(i), FICH-UNL/CONICET（信号、系统与计算智能研究所 (sinc(i)), FICH-UNL/CONICET）；Instituto de Matemática Aplicada del Litoral, IMAL, CONICET-UNL（滨海应用数学研究所 (IMAL), CONICET-UNL）；Universidad Nacional del Litoral（国立滨海大学）
当信号在封闭的房间中记录时，它通常会受到混响的影响。当处理音频信号时，特别是在诸如自动语音识别之类的语音信号处理领域中，这种退化代表了一个问题。虽然有一些方法来处理这个问题，在某些条件下是相当令人满意的，构建一个方法，在一般情况下工作得很好，仍然是一个重大的挑战。在这篇文章中，我们提出了一种基于卷积非负矩阵分解的方法，该方法混合了两个惩罚器，以便在恢复信号的时频分量和混响分量上施加某些特性。实现该方法的算法进行了描述和测试。与最先进的方法所获得的结果进行比较，显示出显着的改善。
2017-05-31 cs.SD
Deep Transform: Cocktail Party Source Separation via Probabilistic Re-Synthesis
Surrey University（萨里大学）
在鸡尾酒会听音乐的场景中，人脑能够分离相互竞争的语音信号。然而，大脑执行鸡尾酒会听力的信号处理还没有得到很好的理解。在这里，我们训练了两个单独的卷积自编码器深度神经网络（DNN）来分离两个并发语音流的单声道和双耳混合。然后，我们使用这些DNN作为卷积深度变换（CDT）设备来执行概率重新合成。CDT直接在时域中操作。我们的模拟表明，非常简单的神经网络能够利用单声道和双耳信息在鸡尾酒会听的情况。
2015-03-20 cs.LG cs.NE cs.SD
Non-intrusive speech quality assessment using neural networks
Microsoft Research Labs（微软研究院实验室）
估计音频信号的感知质量对于许多多媒体和音频处理系统是至关重要的。提供商努力提供最佳和可靠的服务，以提高用户体验质量（QoE）。在这项工作中，我们提出了一个非侵入性的音频质量评估的神经网络的适用性调查。我们提出了三种基于神经网络的平均意见得分（MOS）估计方法。我们将我们的结果与三种工具测量进行比较：语音质量的感知评估（PESQ），ITU-T建议P.563和语音混响能量比。我们的评估使用被卷积和加性噪声污染的语音数据集，使用基于人群的QoE评估进行标记，使用与MOS标签的Pearson相关性进行评估，以及估计MOS的均方误差。我们提出的方法优于上述仪器测量，使用Mel频率特征的全连接深度神经网络提供最佳相关性（0.87）和最低均方误差（0.15）
2019-03-16 cs.SD eess.AS
Reverberant Audio Source Separation via Sparse and Low-Rank Modeling
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
从欠定卷积混合假设已知的混合滤波器的音频声源分离的性能可以显着提高使用分析稀疏先验优化的重加权l1方案和宽带数据保真度项，如最近的文章所示。在这封信中，我们表明，性能可以得到更显着的改善，通过利用低秩先验的源spectrographs.We提出了一种新的算法来估计源的基础上i）分析稀疏先验，ii）重新加权计划，以增加稀疏性，iii）宽带数据保真度项的约束形式，和iv）低秩约束的源spectrographs。混响音乐混合的评价表明，所得到的算法提高了国家的最先进的方法超过2 dB的信号失真比。
2013-12-11 cs.SD
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Multi-Task Audio Source Separation
Kuai Shou Technology Co.（快手科技有限公司）；Harbin Institute of Technology（哈尔滨工业大学）
音频源分离任务，如语音增强、语音分离和音乐源分离，在最近的研究中取得了令人印象深刻的性能。深度神经网络强大的建模能力让我们对更具挑战性的任务充满希望。本文提出了一种新的多任务音频源分离（MTASS）的挑战，从单声道混合分离语音，音乐和噪声信号。首先，我们介绍这个任务的细节，并生成一个包含语音、音乐和背景噪声的混合数据集。然后，我们提出了一个MTASS模型，在复杂的域，以充分利用三个音频信号的频谱特性的差异。详细地说，该模型遵循两级流水线，其分离三种类型的音频信号，然后分别执行信号补偿。在比较不同的训练目标之后，选择复比率掩模作为MTASS的更合适的目标。实验结果也表明，残差信号补偿模块有助于进一步恢复信号。该模型在分离性能上优于几种已知的分离模型。
2021-07-14 cs.SD eess.AS
Phase recovery with Bregman divergences for audio source separation
IRIT（IRIT研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；ISAE-SUPAERO（法国高等航空航天学院）
时频音频声源分离通常通过估计每个源的短时傅里叶变换（STFT）幅度，然后应用相位恢复算法来恢复时域信号来实现。特别是，多输入频谱图反演（MISI）算法在最近的几项工作中表现出良好的性能。该算法最小化幅度谱图之间的二次重建误差。然而，这种损失并不能正确地解释音频的一些感知特性，并且在许多设置中，诸如β发散的替代差异测量是优选的。在本文中，我们建议重新制定相位恢复音频声源分离作为一个最小化问题，涉及布雷格曼分歧。为了优化得到的目标，我们推导出一个投影梯度下降算法。在语音增强任务上进行的实验表明，这种方法优于MISI的几个替代损失，这突出了它们的相关性音频声源分离应用。
2021-02-09 cs.SD eess.AS
UniSep: Universal Target Audio Separation with Language Models at Scale
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出 UniSep，一种基于 LLM 的通用目标音频分离方法，通过序列到序列建模和纯音频预训练策略，利用 36.5k 小时多源数据实现不限领域的音频分离，取得与单任务模型相当的评估结果。
2025-03-31 cs.SD eess.AS
Asteroid: the PyTorch-based audio source separation toolkit for researchers
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；RENATER（法国国家电信研究网络）；University de Lorraine（洛林大学）
本文介绍了Asteroid，一个面向研究人员的基于PyTorch的音频源分离工具包。受最成功的神经源分离系统的启发，它提供了构建这样一个系统所需的所有神经构建块。为了提高再现性，还提供了常见音频源分离数据集上的Kaldi风格的配方。本文介绍了小行星的软件体系结构和它的最重要的功能。通过显示小行星的配方获得的实验结果，我们表明，我们的实现至少与参考文献中报道的大多数结果不相上下。该工具包可在https://github.com/mpariente/asteroid上公开查阅。
2020-05-08 cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance（字节跳动）
音乐声源分离（MSS）是将音乐片段分离成单个源（例如人声和伴奏）的任务。最近，基于神经网络的方法已经被应用于解决MSS问题，并且可以被分类为基于频谱图和基于时域的方法。然而，利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中，我们提出了一个CatNet框架，该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统，将频谱图计算纳入CatNet。此外，我们提出了一种新的混合音频数据增强方法，随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比（SDR），优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架，融合SSL声学表示与CLAP语义嵌入，并引入对抗一致性训练，在多个指标上超越现有基线，树立新基准。
2025-06-20 cs.SD eess.AS
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey（萨里大学）
声源分离（SS）旨在从音频记录中分离各个源。声音事件检测（SED）旨在从音频记录中检测声音事件。我们提出了一个联合分离分类（JSC）模型，只训练弱标记的音频数据，也就是说，只有音频记录的标签是已知的，但事件的时间是未知的。首先，我们提出了一个分离映射的时间-频率（T-F）表示的音频的T-F分割掩模的音频事件。其次，从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段，可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率（EER），优于0.29的深度神经网络基线。通过使用全局加权秩池（GWRP）作为概率映射，获得了8.08 dB的声源分离SDR，优于基于全局最大池（GMP）的概率映射，给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Weakly Supervised Audio Source Separation via Spectrum Energy Preserved Wasserstein Learning
IBM Research – China（IBM中国研究院）；Shanghai Jiao Tong University（上海交通大学）
将音频混合分离成单独的乐器轨道一直是一项长期存在的挑战性任务。提出了一种基于深度对抗学习的弱监督音频声源分离方法。具体来说，我们的损失函数采用Wasserstein距离，直接测量分离的源和每个单独的源的真实源之间的分布距离。此外，增加了一个全局正则化项，以满足谱能量保持性质，而不管分离。与通常涉及故意设计的约束或仔细的模型选择的最新弱监督模型不同，我们的方法几乎不需要对数据进行先验模型规范，并且可以以端到端的方式直接学习。我们表明，所提出的方法在公共基准上对最先进的弱监督方法具有竞争力。
2018-05-17 cs.SD eess.AS
Blind Source Separation Using Mixtures of Alpha-Stable Distributions
Inria Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋分所）；Inria（法国国家信息与自动化研究所）；LIRMM（蒙彼利埃信息、机器人与微电子实验室）；University of Montpellier（蒙彼利埃大学）
提出了一种基于混合α-稳定分布的盲源分离算法。最近已经表明，由于其更大的动态范围，复对称α-稳定分布比经典高斯分布更好地在时间-频率域中对音频信号进行建模。然而，这些模型的推理是出了名的难以执行，因为它们的概率密度函数一般没有封闭形式的表达式。本文提出了一种基于特征函数匹配的α稳定分布混合估计方法.我们将其应用于从多通道卷积音频混合中的各个频带中的二进制掩码的盲估计。我们表明，该方法产生更好的分离性能比基于高斯的二进制掩蔽方法。
2018-02-12 cs.SD eess.AS stat.ML
Online Spectrogram Inversion for Low-Latency Audio Source Separation
IRIT, Université de Toulouse, CNRS（图卢兹大学IRIT研究所，法国国家科学研究中心）；Tampere University（坦佩雷大学）
音频声源分离通常通过估计每个源的短时傅里叶变换（STFT）幅度，然后应用频谱图反演算法来恢复时域信号来实现。特别是，多输入频谱图反演（MISI）算法已被成功地利用在最近的几项工作。然而，这种算法有两个缺点，我们在本文中解决。首先，它最初是以启发式的方式引入的：我们在这里提出了一个严格的优化框架，MISI是派生的，从而证明了该算法的收敛性。此外，虽然MISI离线运行，但我们在此提出了一种名为oMISI的MISI在线版本，它适用于低延迟声源分离，这是例如，助听器的应用oMISI还允许使用利用音频信号的时间结构的替代相位初始化方案。在语音分离任务上进行的实验表明，oMISI的表现以及其离线对应，从而证明了其实时声源分离的潜力。
2020-02-24 cs.SD eess.AS
Multichannel blind speech source separation with a disjoint constraint source model
CIAIC, Northwestern Polytechnical University（西北工业大学）
针对多通道盲语音源分离中未充分利用语音信号稀疏性的问题，本研究利用Bingham和Laplace分布构建不相交约束正则化项，将其整合到MNMF和ILRMA中，推导出s-MNMF和s-ILRMA两种增强算法，实验证明其能有效提升分离性能。
2024-01-03 cs.SD eess.AS
PromptSep: Generative Audio Separation via Multimodal Prompting
Adobe Research（Adobe研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT（麻省理工学院）
PromptSep 将语言查询音频源分离扩展为通用声音分离框架，通过条件扩散模型与数据模拟同时支持音频提取和声音移除，并引入人声模仿作为更直观的提示模态，在多个基准上取得领先性能。
2025-11-06 cs.SD eess.AS
MMDenseLSTM: An efficient combination of convolutional and recurrent neural networks for audio source separation
Sony Corporation（索尼公司）；Sony India Software Centre（索尼印度软件中心）
深度神经网络已成为音频声源分离（ASS）不可或缺的技术。最近有报道称，一种称为MMDenseNet的CNN架构的变体被成功地用于解决估计源幅度的ASS问题，并且针对DSD 100数据集获得了最先进的结果。为了进一步增强MMDenseNet，我们提出了一种新的架构，该架构将多尺度的长短期记忆（LSTM）与跳过连接集成在一起，以有效地对音频上下文中的长期结构进行建模。实验结果表明，该方法优于MMDenseNet，LSTM和两种网络的混合。所提出的模型的参数和处理时间的数量显着少于那些简单的混合。此外，所提出的方法产生更好的结果比那些使用理想的二进制面具的歌声分离任务。
2018-05-29 cs.SD eess.AS
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能，但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统，利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明，使用10个语音源和160个麦克风在一个大的，混响室。
2019-12-10 cs.SD eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey（萨里大学）
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别，例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中，我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记，而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后，学习从两个随机选择的片段的混合到目标片段的回归，该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net，在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
Independent Deeply Learned Matrix Analysis for Multichannel Audio Source Separation
The University of Tokyo（东京大学）；Tokyo Metropolitan University（东京都立大学）
在本文中，我们解决了多声道音频源分离任务，并提出了一种新的高效方法称为独立深度学习矩阵分析（IDLMA）。IDLMA以盲方式估计解混矩阵，并使用预训练的深度神经网络（DNN）更新每个源的时频结构。此外，我们引入了一个复杂的学生的t-分布作为一个广义的源生成模型，包括复杂的高斯分布和柯西分布。利用训练数据集对音乐信号进行了实验，实验结果表明了该方法在分离精度和计算量方面的有效性。
2018-06-27 cs.SD eess.AS
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent AI Lab（腾讯AI实验室）
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题，提出基于多任务音频源分离的联合识别模型JRSV，结合在线蒸馏提升鲁棒性，构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
A Reference-free Metric for Language-Queried Audio Source Separation using Contrastive Language-Audio Pretraining
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Sheffield（谢菲尔德大学）
针对LASS中SDR指标依赖参考信号且忽略文本语义的问题，本文提出基于CLAP的无参考指标CLAPScore，通过衡量分离音频与文本查询的语义相似度实现有效评估。
2025-01-06 cs.SD eess.AS
Unsupervised Single-Channel Audio Separation with Diffusion Source Priors
本文提出一种无监督单通道音频分离方法，利用扩散源先验和改进的反问题求解器，实现高质量的声源分离。
2025-12-23 cs.SD eess.AS
AVFSNet: Audio-Visual Speech Separation for Flexible Number of Speakers with Multi-Scale and Multi-Task Learning
School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学）；Industrial Technology Research Institte of Shandong Province（山东省工业技术研究院）
本文提出AVFSNet，通过多尺度编码、并行架构及音视频多任务学习，在未知说话人数量条件下实现鲁棒的语音分离与说话人计数。
2025-07-17 cs.SD eess.AS
Universal Source Separation with Weakly Labelled Data
ByteDance（字节跳动）；University of California San Diego（加州大学圣地亚哥分校）；University of Surrey（萨里大学）
提出利用弱标注数据的通用源分离框架，通过查询网络和条件分离模型，实现任意声源的层次化分离，并在多个数据集上取得显著性能提升。
2023-05-11 cs.SD eess.AS
Approximate Message Passing for Underdetermined Audio Source Separation
University of Surrey（萨里大学）
近似消息传递（AMP）算法在稀疏信号重建中表现出了很大的希望，由于其低的计算要求和快速收敛到精确解。此外，它们提供了一个概率框架，通常比凸优化等替代方案更直观。本文将AMP用于欠定瞬时混合信号的音频声源分离。在时频域中，通常假设源是稀疏的，因此我们使用AMP解决相应的稀疏线性逆问题。我们提出了一种基于块的方法，使用AMP同时处理多个时频点。特别评估了两种称为AMP和矢量AMP（VAMP）的算法。结果表明，他们是有前途的伪影抑制方面。
2018-02-01 cs.SD eess.AS
Audio Prompt Tuning for Universal Sound Separation
ByteDance Inc（字节跳动公司）；University of Surrey（萨里大学）；Tsinghua University（清华大学）
本文提出音频提示微调（APT），通过冻结通用声音分离模型参数并仅训练少量提示参数，在有限样本下提升特定声源分离性能，并在MUSDB18和ESC-50上验证了其有效性及少样本潜力。
2023-11-30 cs.SD eess.AS
Exploring Text-Queried Sound Event Detection with Audio Source Separation
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Alibaba Group（阿里巴巴集团）；Fortemedia Singapore（Fortemedia新加坡公司）
本文提出 TQ-SED 框架，通过预训练改进的 AudioSep-DP 语言查询音频源分离模型分离重叠事件，再由多分支检测目标声音，显著提升 SED 性能。
2025-01-10 cs.SD eess.AS
A computationally efficient semi-blind source separation based approach for nonlinear echo cancellation based on an element-wise iterative source steering
Waseda University（早稻田大学）；Northwestern Polytechnical University（西北工业大学）
针对基于迭代投影的半盲源分离非线性回声消除算法计算量大的问题，提出逐元素迭代源导向算法，在保持性能的同时大幅提升计算效率，更适配嵌入式系统。
2023-12-14 cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification
Electrical Engineering Korea Advanced Institute of Science（电气工程韩国科学技术院）
本文提出DeFT-Mamba框架，结合DeFTAN与Mamba实现多声道声音分离与复调分类，引入基于分类的声源计数和分离精调，在模拟真实环境的通用数据集上大幅超越现有方法。
2024-09-19 cs.SD eess.AS
FastFCA: A Joint Diagonalization Based Fast Algorithm for Audio Source Separation Using A Full-Rank Spatial Covariance Model
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
Duong等人已经提出了使用满秩空间协方差模型的声源分离方法[“Under-determined Reverberant Audio声源分离Using a Full-rank Spatial Covariance Model，”IEEE Trans. ASLP，vol.18，no.7，pp. 1830-1840，2010年9月]，本文将其称为满秩空间协方差分析（FCA）。本文提出了一种快速的FCA模型参数估计算法，称为Fast-FCA算法，适用于两个源的情况。传统的FCA算法虽然在声源分离中非常有效，但存在计算量大的缺点。实际上，用于估计FCA的模型参数的常规算法需要逐帧矩阵求逆和矩阵乘法。因此，传统的FCA在具有有限计算资源的应用中可能是不可行的。相比之下，建议FastFCA绕过矩阵求逆和矩阵乘法由于联合对角化的基础上的广义特征值问题。此外，FastFCA是严格等价于传统的算法。实验结果表明，与传统的声源分离算法相比，FastFCA算法的速度提高了250倍以上。
2018-05-17 cs.SD eess.AS
Independent Vector Analysis with Deep Neural Network Source Priors
GMEMS Technologies, Inc.（GMEMS技术有限公司）
本文研究了独立向量分析（IVA）的密度先验，并以卷积语音混合分离为例进行了应用。大多数现有的IVA源先验过于简化，无法捕捉语音的精细结构。在这里，我们第一次表明，通过优化某些代理分离相关的性能指标，可以有效地估计具有通用近似器（如深度神经网络（DNN））的语音密度的导数。实验结果表明，所得到的神经网络密度先验一致优于以前的在线实施和信号干扰比（SIR）的收敛速度批实施。
2020-10-06 cs.LG cs.SD eess.AS
Complex ISNMF: a Phase-Aware Model for Monaural Audio Source Separation
Tampere University of Technology（坦佩雷理工大学）
介绍了一种相位感知的音频声源分离概率模型。短期傅里叶变换域中的经典源模型使用圆对称高斯或泊松随机变量。这相当于假设每个源的相位是均匀分布的，这不适合于利用相位的底层结构。借鉴前期工作，我们在这里介绍了一个贝叶斯各向异性高斯源模型，其中的相位不再均匀。这样的模型允许我们通过马尔可夫链先验结构来支持源自信号模型的相位值。隐变量的方差采用非负矩阵分解（NMF）进行结构化。由此产生的模型被称为复杂Itakura-Saito NMF（ISNMF），因为它将ISNMF模型推广到非各向同性变量的情况。它结合了ISNMF和复NMF的优点，ISNMF使用适合于音频的失真测量并产生一组保持混合的总能量的估计，复NMF使人们能够考虑一些相位约束。我们推导出一个广义期望最大化算法来估计模型参数。在半信息环境下的音乐声源分离任务上进行的实验表明，所提出的方法优于最先进的相位感知分离技术。
2018-09-30 cs.SD eess.AS
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
MERL（三菱电机研究实验室）
鸡尾酒会问题旨在分离复杂声学场景中的任何感兴趣的源，并且长期以来一直激发音频源分离研究。最近的努力主要集中在从噪声中分离语音，从语音中分离语音，将乐器彼此分离，或将声音事件彼此分离。然而，分离音频混合（例如，电影原声带）分为语音、音乐和声音效果（理解为包括环境噪声和自然声音事件）这三大类，尽管有广泛的潜在应用，但在很大程度上还没有被探索。本文将此任务形式化为鸡尾酒叉子问题，并提出了Divide and Remaster（DnR）数据集以促进对该主题的研究。DnR是由三个成熟的音频数据集（LibriSpeech，FMA，FSD 50 k）构建的，在源重叠和相对响度方面，注意再现类似于专业制作内容的条件，并以CD质量提供。我们基准的标准源分离算法的DnR，并进一步引入一个新的多分辨率模型，以更好地解决各种声学特性的三种源类型。我们最好的模型产生的SI-SDR的改善超过11.0 dB的音乐，11.2 dB的语音和10.8 dB的声音效果的混合。
2022-03-24 cs.SD eess.AS
DnR-nonverbal: Cinematic Audio Source Separation Dataset Containing Non-Verbal Sounds
LY Corporation（LY公司）
针对电影音频源分离中笑声、尖叫等非语言人声被误分为音效的问题，本文构建 DnR-nonverbal 数据集，并验证其可提升合成与真实电影音频中的分离效果。
2025-06-09 cs.SD eess.AS
Neural Vocoder Feature Estimation for Dry Singing Voice Separation
Graduate School of Culture Technology, KAIST（韩国科学技术院文化技术研究生院）
歌唱声分离是将歌唱声从乐器声中分离出来的任务。以前的SVS研究主要采用了声谱图掩蔽方法，该方法在预测二进制掩码时需要很大的维数。此外，他们还专注于提取一个保留了混响效果的湿声的声干。这一结果可能会阻碍孤立的歌声的可重用性。本文通过预测混合音频中的干歌声的梅尔谱图作为神经声码器特征，并从神经声码器合成歌声波形来解决这个问题。我们尝试了两种分离方法。一种是在梅尔频谱图域中预测二进制掩码，另一种是直接预测梅尔频谱图。此外，我们增加了一个歌声检测器，以确定随着时间的推移更明确的歌声段。我们从音频、去混响、分离和整体质量方面测量了模型的性能。实验结果表明，该模型在客观和主观评价上均优于现有的歌唱声分离模型，但在音质评价上有较大的改进。
2022-11-29 cs.SD eess.AS
TransMask: A Compact and Fast Speech Separation Model Based on Transformer
PVoice Technology Singapore（新加坡PVoice科技公司）；National University of Singapore（新加坡国立大学）
语音分离是语音处理中的一个重要问题，其目标是从包含不同说话人语音的混合音频中分离并生成干净的语音。在序列到序列域的深度学习技术的支持下，最近的神经语音分离模型现在能够生成高度清晰的语音音频。为了使这些模型更实用，通过减少模型的大小和推理时间，同时保持高的分离质量，我们提出了一种新的基于变换的语音分离方法，称为TransMask。通过充分释放自我注意力对长期依赖异常的影响，我们证明了TransMask的大小比最先进的解决方案小60%以上，推理速度比最先进的解决方案快2倍以上。在合理的输入音频长度范围内，TransMask充分利用了推理过程中的并行性，实现了近似线性的推理时间。它在输出语音音频质量方面也优于现有解决方案，在Librimix基准测试中实现了16以上的SDR。
2021-02-19 cs.SD eess.AS
Sampling Frequency Independent Dialogue Separation
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；WS Audiology（WS听力集团）
在用于音频源分离的一些DNN中，相关模型参数与用于训练的音频的采样频率无关。考虑到对话分离的应用，这是针对两种DNN架构显示的：U-Net和全卷积模型。这些模型使用以8 kHz采样的音频进行训练。学习的参数被传输到模型中，用于处理48 kHz的音频。将分离的音频源与由相同训练数据的48 kHz版本训练的相同模型架构产生的音频源进行比较。听力测试和计算测量表明，用8 kHz或48 kHz训练的模型之间没有显着的感知差异。学习参数的这种可传递性允许更快和计算成本更低的训练。它还允许使用比应用程序所需的采样频率更低的训练数据集，或者使用具有多个采样频率的数据集合。
2022-06-05 cs.SD eess.AS
Hyperbolic Audio Source Separation
MERL（三菱电机研究实验室）
我们介绍了一个框架，音频源分离使用嵌入在双曲流形上，competitively表示声源和时频特征之间的层次关系。受最近成功地用双曲嵌入对文本和图像中的层次关系进行建模的启发，我们的算法为混合信号的每个时频点获得双曲嵌入，并使用双曲softmax层估计掩码。在一个包含多个人说话和乐器演奏的混合物的合成数据集上，我们的双曲模型在源失真比方面表现出与欧几里得基线相当的性能，在低嵌入维数下表现更好。此外，我们发现包含多个重叠源的时频区域被嵌入到中心（即，最不确定的区域），并且我们可以使用该确定性估计来在隔离各个声音时在伪像引入和干扰减少之间有效地进行权衡。
2022-12-09 cs.SD eess.AS
Better Together: Dialogue Separation and Voice Activity Detection for Audio Personalization in TV
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学（FAU））
在电视服务中，对话级别个性化是满足用户偏好和需求的关键。当对话和背景声音不能从制作阶段分离时，对话分离（DS）可以估计它们以实现个性化。DS被证明为最终用户提供了明显的益处。然而，估计的信号并不完美，并且可能引入一些泄漏。这是不希望的，尤其是在没有对话的段落中。我们建议结合DS和语音活动检测（VAD），最近提出的电视音频。当它们的组合表明对话不活动时，对话估计中泄漏的背景分量被重新分配给背景估计。无对话信号的音频质量得到了明显改善，而对话处于活动状态时性能没有下降。还生成具有改进的检测精度的后处理的VAD估计。结果表明，DS和VAD可以相互促进，更好地结合使用。
2023-03-23 cs.SD eess.AS
Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo（东京大学）；Waseda University（早稻田大学）；NTT Corporation（日本电信电话株式会社）
音频声源分离常被用作各种应用的预处理，其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的，因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而，基于深度神经网络（DNN）的传统模型仅以训练数据指定的采样频率进行训练，并且不能保证它们以不可见的采样频率工作。在本文中，我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验，我们表明，所提出的层的引入，使传统的音频声源分离模型，即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research（谷歌研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍AudioScopeV2，这是一个最先进的通用视听屏幕声音分离系统，它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制，包括时空注意力的粗分辨率，音频分离模型的收敛性差，训练和评估数据的种类有限，以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系，我们还提出了高效的可分离变体，这些变体能够扩展到更长的视频，而不会牺牲太多性能。我们还发现，仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估，我们从一个大型的野外视频数据库（YFCC 100M）中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后，我们提出了一个校准程序，允许精确调整屏幕上的重建与屏幕外的抑制，这大大简化了不同的操作点模型之间的性能比较。总的来说，我们的实验结果表明，在更一般的条件下，屏幕上的分离性能显着改善比以前的方法，以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation（NTT（日本电报电话公司）媒体情报研究所）
提出了一种视听语音分离学习方法，该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练，纯音频损失反映了源信号与分离信号之间的距离。然而，传统的损失不能反映语音信号的特征，包括说话者的特征和语音信息，这导致失真或残留噪声。为了解决这个问题，我们提出了跨模态对应（CMC）损失，这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响，并且包含说话人和语音信息，因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明，该方法在CMC损失的基础上学习同现，提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
