Independent Low-Rank Matrix Analysis Based on Complex Student's $t$-Distribution for Blind Audio Source Separation
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
在本文中,我们推广了一个源生成模型的国家的最先进的盲声源分离(BSS),独立低秩矩阵分析(ILRMA)。ILRMA是频域独立分量分析和非负矩阵分解的统一方法,可以为音频BSS任务提供更好的性能。为了进一步提高分离的性能和稳定性,我们引入了各向同性复学生的$t$ -分布作为源生成模型,其中包括在传统的ILRMA中使用的各向同性复高斯分布。通过音乐和语音盲源分离实验,验证了该方法的有效性。
2017-08-16 cs.SD
Complex NMF under phase constraints based on signal modeling: application to audio source separation
非负矩阵分解(NMF)是在时频域(TF)分解混合音频信号的有力工具。在声源分离框架中,对于每个提取的分量的相位恢复对于合成时域信号是必要的。复NMF(CNMF)模型的目标是联合估计谱图和源的相位,但需要限制相位,以产生令人满意的探测结果。我们建议将相位约束的基础上的CNMF框架内的信号模型:一个\textit{phase unwrapping}约束,强制执行一种形式的时间相干性,和一个约束的基础上的\textit{repetition}的音频事件,它模型的相位内的起始帧的源。我们还提供了一个算法来估计模型参数。实验结果突出了包括这样的约束在CNMF框架中分离重叠的成分在复杂的音频混合的兴趣。
2016-05-24 cs.SD
From Coarse to Fine: Recursive Audio-Visual Semantic Enhancement for Speech Separation
School of Cyberspace Science and Technology(网络空间科学与技术学院);Beijing Institute of Technology(北京理工大学);Sun Yat-sen University(中山大学);Qilu University of Technology(齐鲁工业大学);Shandong Computer Science Center(山东计算机科学中心);School of Information and Electronics(信息电子学院)
本文提出 CSFNet,一种用于语音分离的粗分离到细分离网络,通过递归语义增强范式结合视听信息,设计说话人感知融合块和多范围频谱-时间分离网络,在多个数据集上达到 SOTA 性能。
2025-10-10 cs.SD
Making Separation-First Multi-Stream Audio Watermarking Feasible via Joint Training
Digital Innovation Research Center, Duke Kunshan University, Kunshan, China(杜克昆山大学数字创新研究中心);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)人工智能学院);OfSpectrum, Inc., Los Angeles, USA(OfSpectrum公司,美国洛杉矶)
本文提出一种分离优先的多流水印框架,通过联合训练水印系统和分离器,提升分离后的水印恢复效果并保持感知质量。
2026-07-17 cs.SD
A Study on Improving Multi-class Audio Source Separation Via Decoupled CLAP Query Optimization and an Automated Data Engine
针对语言查询音频源分离适配难题,提出自动化数据引擎与两阶段CLAP控制信号优化框架,在七类声音上显著提升分离性能,主观评测优于基线与商业模型。
2026-10-08 cs.SD
Reverberant Audio Source Separation via Sparse and Low-Rank Modeling
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
从欠定卷积混合假设已知的混合滤波器的音频声源分离的性能可以显着提高使用分析稀疏先验优化的重加权l1方案和宽带数据保真度项,如最近的文章所示。在这封信中,我们表明,性能可以得到更显着的改善,通过利用低秩先验的源spectrographs.We提出了一种新的算法来估计源的基础上i)分析稀疏先验,ii)重新加权计划,以增加稀疏性,iii)宽带数据保真度项的约束形式,和iv)低秩约束的源spectrographs。混响音乐混合的评价表明,所得到的算法提高了国家的最先进的方法超过2 dB的信号失真比。
2013-12-11 cs.SD
Time Domain Audio Visual Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
视听多模态建模已被证明是有效的许多语音相关的任务,如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet(时域语音分离网络)进行了推广,实现了多模态学习,同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器,视频编码器,提取唇嵌入视频流,多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明,与纯音频的TasNet和频域视听网络相比,我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
MambaVoice: Lightweight Audiovisual Singing Voice Separation Via A Hybrid Mamba-Transformer Model
提出轻量级视听歌声分离模型MambaVoice,采用混合Mamba-Transformer架构融合音频与视觉特征,在Acappella和URSing数据集上以1620万参数达到与大型模型相当的性能。
2026-09-23 cs.SD
FlowSep 2: Self-Supervised Flow Matching for Language-Queried Audio Source Separation
School of Computer Science and Electronic Engineering, University of Surrey(萨里大学计算机科学与电子工程学院);Meta Superintelligence Labs(元宇宙超级智能实验室);Department of Informatics, King’s College London(伦敦国王学院信息学系)
本研究提出FlowSep2,一种结合Self-Flow与Diffusion Transformer的文本条件流匹配生成模型,用于语言查询音频源分离,在多个基准上达到SOTA性能,可有效分离重叠声源。
2026-08-26 cs.SD
Multi-Task Audio Source Separation
Kuai Shou Technology Co.(快手科技有限公司);Harbin Institute of Technology(哈尔滨工业大学)
音频源分离任务,如语音增强、语音分离和音乐源分离,在最近的研究中取得了令人印象深刻的性能。深度神经网络强大的建模能力让我们对更具挑战性的任务充满希望。本文提出了一种新的多任务音频源分离(MTASS)的挑战,从单声道混合分离语音,音乐和噪声信号。首先,我们介绍这个任务的细节,并生成一个包含语音、音乐和背景噪声的混合数据集。然后,我们提出了一个MTASS模型,在复杂的域,以充分利用三个音频信号的频谱特性的差异。详细地说,该模型遵循两级流水线,其分离三种类型的音频信号,然后分别执行信号补偿。在比较不同的训练目标之后,选择复比率掩模作为MTASS的更合适的目标。实验结果也表明,残差信号补偿模块有助于进一步恢复信号。该模型在分离性能上优于几种已知的分离模型。
2021-07-14 cs.SD eess.AS
Discriminative Enhancement for Single Channel Audio Source Separation using Deep Neural Networks
University of Surrey(萨里大学)
由大多数单声道音频声源分离技术分离的声源通常是失真的,并且每个分离的声源包含来自其他声源的残余信号。为了解决这个问题,我们建议使用深度神经网络(DNN)来增强分离的源,以减少分离的源之间的失真和干扰。在这项工作中使用了两种不同的DNN。第一DNN用于从混合信号中分离源。第二DNN用于增强分离的信号。为了考虑分离的源之间的相互作用,我们建议使用单个DNN来一起增强所有分离的源。为了减少来自其他分离源的一个源的残留信号(干扰),我们训练DNN以区别性地增强,以最大化预测源之间的差异。实验结果表明,采用区分性增强可以有效地减少分离源之间的失真和干扰。
2016-12-20 cs.SD
Phase recovery with Bregman divergences for audio source separation
IRIT(IRIT研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
时频音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用相位恢复算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法在最近的几项工作中表现出良好的性能。该算法最小化幅度谱图之间的二次重建误差。然而,这种损失并不能正确地解释音频的一些感知特性,并且在许多设置中,诸如β发散的替代差异测量是优选的。在本文中,我们建议重新制定相位恢复音频声源分离作为一个最小化问题,涉及布雷格曼分歧。为了优化得到的目标,我们推导出一个投影梯度下降算法。在语音增强任务上进行的实验表明,这种方法优于MISI的几个替代损失,这突出了它们的相关性音频声源分离应用。
2021-02-09 cs.SD eess.AS
Model-based STFT phase recovery for audio source separation
Tampere University of Technology(坦佩雷理工大学);Télécom ParisTech(巴黎高等电信学院);LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎萨克雷大学巴黎高等电信学院LTCI实验室)
对于音频声源分离应用,通常估计每个声源的短时傅立叶变换(STFT)的幅度。为了进一步合成时域信号,需要恢复相应复值STFT的相位。该领域的大多数作者选择Wiener滤波方法,其归结为使用原始混合物的相位。本文则采取了不同的观点。许多音乐事件部分地由缓慢变化的正弦波组成,并且这些频率分量随时间的STFT相位增量采用特定形式。一旦获得短期频率估计,这允许通过展开技术进行相位恢复。在此,提出了一种新的迭代声源分离过程,建立在这些结果。它是通过辅助函数法使混合误差最小化。这个过程是通过利用展开技术,以产生估计,受益于时间连续性属性初始化。对现实音乐作品进行的实验表明,在精确的幅度估计下,该过程优于最先进的一致性维纳滤波器。
2018-02-27 cs.SD
UniSep: Universal Target Audio Separation with Language Models at Scale
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
提出 UniSep,一种基于 LLM 的通用目标音频分离方法,通过序列到序列建模和纯音频预训练策略,利用 36.5k 小时多源数据实现不限领域的音频分离,取得与单任务模型相当的评估结果。
2025-03-31 cs.SD eess.AS
Asteroid: the PyTorch-based audio source separation toolkit for researchers
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);RENATER(法国国家电信研究网络);University de Lorraine(洛林大学)
本文介绍了Asteroid,一个面向研究人员的基于PyTorch的音频源分离工具包。受最成功的神经源分离系统的启发,它提供了构建这样一个系统所需的所有神经构建块。为了提高再现性,还提供了常见音频源分离数据集上的Kaldi风格的配方。本文介绍了小行星的软件体系结构和它的最重要的功能。通过显示小行星的配方获得的实验结果,我们表明,我们的实现至少与参考文献中报道的大多数结果不相上下。该工具包可在https://github.com/mpariente/asteroid上公开查阅。
2020-05-08 cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance(字节跳动)
音乐声源分离(MSS)是将音乐片段分离成单个源(例如人声和伴奏)的任务。最近,基于神经网络的方法已经被应用于解决MSS问题,并且可以被分类为基于频谱图和基于时域的方法。然而,利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中,我们提出了一个CatNet框架,该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统,将频谱图计算纳入CatNet。此外,我们提出了一种新的混合音频数据增强方法,随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比(SDR),优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Iterative Audio Separation with Mixture Consistency via MIMO Model Extension
本文提出一种通用框架,通过将源分离模型扩展为多输入多输出(MIMO)配置,实现稳定有效的迭代音频分离,同时保持混合一致性,并在最先进模型上取得显著性能提升。
2026-09-09 cs.LG cs.SD
Convolutive Audio Source Separation using Robust ICA and an intelligent evolving permutation ambiguity solution
Democritus University of Thrace(色雷斯德谟克利特大学)
音频声源分离的任务是隔离由一组麦克风捕获的房间中同时活动的声源。等数量声源和麦克风的卷积音频声源分离具有许多缺点,包括频域ICA的复杂性、排列模糊性以及随着传感器数量的增加问题的可扩展性。本文在Mitianoudis和Davies(2003)的工作基础上,提出了一种多麦克风音频声源分离算法。复杂的FastICA被Robust ICA取代,提高了鲁棒性和性能。排列歧义的解决使用两种方法。第一种是使用Likestival Ration Jump解决方案,该解决方案现在经过修改以降低多个麦克风情况下的计算复杂性。MuSIC算法的应用,作为前一个解决方案的预处理步骤,形成了第二种方法,具有良好的效果。
2017-08-14 cs.NE cs.SD
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架,融合SSL声学表示与CLAP语义嵌入,并引入对抗一致性训练,在多个指标上超越现有基线,树立新基准。
2025-06-20 cs.SD eess.AS
Audio-Visual Separation with Hierarchical Fusion and Representation Alignment
University of Birmingham(伯明翰大学)
提出层次融合与表示对齐方法,利用外部音频表示提升自监督音频-视觉分离性能,在多个数据集上达到最先进水平。
2025-09-24 cs.MM cs.SD
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统,这是能够学习分离的声音,并将它们与屏幕上的对象,通过在野外的视频。我们确定了以前的工作的限制,视听屏幕上的声音分离,包括简单性和粗分辨率的时空注意力,和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题,这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系,并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法,通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力,只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练,我们从一个大型的野外视频数据库(YFCC 100m)中收集了屏幕上音频的人类注释。我们的研究结果表明,在屏幕上的分离性能显着改善,在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo(东京大学);Waseda University(早稻田大学);NTT Corporation(日本电信电话株式会社)
音频声源分离常被用作各种应用的预处理,其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的,因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而,基于深度神经网络(DNN)的传统模型仅以训练数据指定的采样频率进行训练,并且不能保证它们以不可见的采样频率工作。在本文中,我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验,我们表明,所提出的层的引入,使传统的音频声源分离模型,即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey(萨里大学)
声源分离(SS)旨在从音频记录中分离各个源。声音事件检测(SED)旨在从音频记录中检测声音事件。我们提出了一个联合分离分类(JSC)模型,只训练弱标记的音频数据,也就是说,只有音频记录的标签是已知的,但事件的时间是未知的。首先,我们提出了一个分离映射的时间-频率(T-F)表示的音频的T-F分割掩模的音频事件。其次,从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段,可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率(EER),优于0.29的深度神经网络基线。通过使用全局加权秩池(GWRP)作为概率映射,获得了8.08 dB的声源分离SDR,优于基于全局最大池(GMP)的概率映射,给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍AudioScopeV2,这是一个最先进的通用视听屏幕声音分离系统,它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制,包括时空注意力的粗分辨率,音频分离模型的收敛性差,训练和评估数据的种类有限,以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系,我们还提出了高效的可分离变体,这些变体能够扩展到更长的视频,而不会牺牲太多性能。我们还发现,仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估,我们从一个大型的野外视频数据库(YFCC 100M)中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后,我们提出了一个校准程序,允许精确调整屏幕上的重建与屏幕外的抑制,这大大简化了不同的操作点模型之间的性能比较。总的来说,我们的实验结果表明,在更一般的条件下,屏幕上的分离性能显着改善比以前的方法,以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Online Single-Channel Audio-Based Sound Speed Estimation for Robust Multi-Channel Audio Control
本文提出一种在线声音速度估计方法,利用单个麦克风在多通道音频播放中估计声音速度,以提升空间音频控制的鲁棒性。
2026-05-12 cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报研究所)
提出了一种视听语音分离学习方法,该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练,纯音频损失反映了源信号与分离信号之间的距离。然而,传统的损失不能反映语音信号的特征,包括说话者的特征和语音信息,这导致失真或残留噪声。为了解决这个问题,我们提出了跨模态对应(CMC)损失,这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响,并且包含说话人和语音信息,因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明,该方法在CMC损失的基础上学习同现,提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Weakly Supervised Audio Source Separation via Spectrum Energy Preserved Wasserstein Learning
IBM Research – China(IBM中国研究院);Shanghai Jiao Tong University(上海交通大学)
将音频混合分离成单独的乐器轨道一直是一项长期存在的挑战性任务。提出了一种基于深度对抗学习的弱监督音频声源分离方法。具体来说,我们的损失函数采用Wasserstein距离,直接测量分离的源和每个单独的源的真实源之间的分布距离。此外,增加了一个全局正则化项,以满足谱能量保持性质,而不管分离。与通常涉及故意设计的约束或仔细的模型选择的最新弱监督模型不同,我们的方法几乎不需要对数据进行先验模型规范,并且可以以端到端的方式直接学习。我们表明,所提出的方法在公共基准上对最先进的弱监督方法具有竞争力。
2018-05-17 cs.SD eess.AS
Neural Network Alternatives to Convolutive Audio Models for Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe 研究院)
卷积非负矩阵分解模型使用具有时间维度的频率模板对给定的音频频谱图进行分解。在本文中,我们提出了一个卷积自动编码器模型,作为一个神经网络替代卷积NMF。利用神经网络赋予的建模灵活性,我们还探讨了在编码器中使用递归神经网络的想法。在TIMIT语音数据集上的实验结果表明,卷积结构在BSSeval指标上显著提高了分离性能。
2017-09-20 cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Online Spectrogram Inversion for Low-Latency Audio Source Separation
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);Tampere University(坦佩雷大学)
音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用频谱图反演算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法已被成功地利用在最近的几项工作。然而,这种算法有两个缺点,我们在本文中解决。首先,它最初是以启发式的方式引入的:我们在这里提出了一个严格的优化框架,MISI是派生的,从而证明了该算法的收敛性。此外,虽然MISI离线运行,但我们在此提出了一种名为oMISI的MISI在线版本,它适用于低延迟声源分离,这是例如,助听器的应用oMISI还允许使用利用音频信号的时间结构的替代相位初始化方案。在语音分离任务上进行的实验表明,oMISI的表现以及其离线对应,从而证明了其实时声源分离的潜力。
2020-02-24 cs.SD eess.AS
PromptSep: Generative Audio Separation via Multimodal Prompting
Adobe Research(Adobe研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
PromptSep 将语言查询音频源分离扩展为通用声音分离框架,通过条件扩散模型与数据模拟同时支持音频提取和声音移除,并引入人声模仿作为更直观的提示模态,在多个基准上取得领先性能。
2025-11-06 cs.SD eess.AS
Sep-Stereo: Visually Guided Stereophonic Audio Generation by Associating Source Separation
The Chinese University of Hong Kong(香港中文大学)
立体声音频是增强人类听觉体验不可或缺的组成部分。最近的研究已经探索了使用视觉信息作为指导来从具有立体声监督的单声道音频生成双耳或立体混响音频。然而,这种完全监督的范例具有固有的缺点:立体声音频的记录通常需要精密的设备,这些设备对于广泛的可访问性来说是昂贵的。为了克服这一挑战,我们建议利用大量可用的单声道数据来促进立体声音频的生成。我们的关键观察是,视觉指示音频分离的任务也将独立的音频映射到其相应的视觉位置,这与立体声音频生成具有类似的目标。我们将立体声生成和声源分离集成到一个统一的框架中,Sep-Stereo,通过将声源分离视为一种特定类型的音频空间化。具体而言,一种新的联想金字塔网络架构,精心设计的视听功能融合。大量的实验表明,我们的框架可以提高立体声音频生成的结果,同时执行准确的声音分离与共享骨干。
2020-07-20 cs.CV cs.MM cs.SD
Adversarial attacks on audio source separation
Sony Corporation(索尼公司);University of Tsukuba(筑波大学)
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景,但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中,我们重新制定了各种对抗攻击方法的音频声源分离问题,并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法,以获得不可感知的对抗性噪声,同时以低计算复杂性最大化对分离质量的影响。实验结果表明,当为目标模型制作噪声时,添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
Audiovisual Singing Voice Separation
University of Rochester(罗切斯特大学);ByteDance Inc.(字节跳动公司)
将歌曲分离为声乐和伴奏成分是一个活跃的研究课题,近年来,使用深度学习技术进行监督训练的性能有所提高。我们建议应用与歌唱者的发声活动相对应的视觉信息,以进一步提高分离的发声信号的质量。视频前端模型接受嘴部运动的输入,并将其融合到基于音频的分离框架的特征嵌入中。为了便于网络学习歌唱活动的视听相关性,我们在训练期间向音频混合物中添加与嘴部运动无关的额外声音信号。我们创建了两个视听歌唱表演数据集,分别用于训练和评估,一个来自互联网上的试听录音,另一个来自内部录音。在大多数测试录音的分离质量方面,所提出的方法优于基于音频的方法。当伴奏中有伴唱时,这种优势尤其明显,这对纯音频方法提出了很大的挑战。
2021-07-01 cs.LG cs.SD eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University(密歇根州立大学);University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题,提出AVSA-Sep框架,通过语义解析器和场景信息分离器,结合联合训练与跨模态对齐,成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
DGMO: Training-Free Audio Source Separation through Diffusion-Guided Mask Optimization
Department of Computer Science(计算机科学与工程系)
本文提出免训练框架DGMO,利用预训练扩散模型的生成先验,通过测试时优化频谱图掩码实现零样本语言查询音频源分离,在无需特定任务监督下取得有竞争力的性能。
2025-06-05 cs.AI cs.SD eess.AS
LAVSS: Location-Guided Audio-Visual Spatial Audio Separation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系)
本文提出位置引导的音视频空间音频分离器 LAVSS,利用双耳相位差、视觉位置表示、多级跨模态注意力和预训练单声道分离器迁移知识,在 FAIR-Play 数据集上超越现有基准。
2023-10-31 cs.CV cs.MM cs.SD
MMDenseLSTM: An efficient combination of convolutional and recurrent neural networks for audio source separation
Sony Corporation(索尼公司);Sony India Software Centre(索尼印度软件中心)
深度神经网络已成为音频声源分离(ASS)不可或缺的技术。最近有报道称,一种称为MMDenseNet的CNN架构的变体被成功地用于解决估计源幅度的ASS问题,并且针对DSD 100数据集获得了最先进的结果。为了进一步增强MMDenseNet,我们提出了一种新的架构,该架构将多尺度的长短期记忆(LSTM)与跳过连接集成在一起,以有效地对音频上下文中的长期结构进行建模。实验结果表明,该方法优于MMDenseNet,LSTM和两种网络的混合。所提出的模型的参数和处理时间的数量显着少于那些简单的混合。此外,所提出的方法产生更好的结果比那些使用理想的二进制面具的歌声分离任务。
2018-05-29 cs.SD eess.AS
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学)
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能,随后可用于贝叶斯推理。然而,我们发现,通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到,学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Multichannel Linear Prediction for Blind Reverberant Audio Source Separation
Istanbul Technical University(伊斯坦布尔理工大学);Qualcomm Atheros, Inc.(高通创锐讯公司)
当声源被麦克风阵列观测时,基于多通道线性预测(MCLP)的一类方法可以实现有效的声源盲去混响。我们提出了MCLP作为利用麦克风阵列的盲声源分离的预处理步骤的创造性使用。我们从理论上表明,在一定的假设下,这样的预处理减少了原来的盲混响声源分离问题的非混响,这反过来又可以有效地解决使用现有的方法。我们证明了我们的主张,使用真实的录音与八麦克风圆形阵列在混响环境中获得。
2017-02-24 cs.CE cs.SD
Unleashing the Power of Natural Audio Featuring Multiple Sound Sources
Zhejiang University(浙江大学)
针对自然混合音频中通用声音分离泛化不足的问题,提出ClearSep框架,利用数据引擎分解音频并采用重混评估指标迭代优化,实现多任务最先进性能。
2025-04-24 cs.LG cs.SD
AudioSlots: A slot-centric generative model for audio separation
University College London(伦敦大学学院);Google Research(谷歌研究院)
提出AudioSlots,一种基于槽的生成模型,利用置换等变编码器和解码器实现音频盲源分离,在Libri2Mix上验证了其有效性。
2023-05-09 cs.CV cs.SD eess.AS
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能,但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统,利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明,使用10个语音源和160个麦克风在一个大的,混响室。
2019-12-10 cs.SD eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey(萨里大学)
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别,例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中,我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记,而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后,学习从两个随机选择的片段的混合到目标片段的回归,该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net,在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
VoViT: Low Latency Graph-based Audio-Visual Voice Separation Transformer
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出了一种视听方法的语音分离,产生国家的最先进的结果,在低延迟在两个场景:语音和歌声。该模型基于两阶段网络。运动线索是用一个轻量级的图卷积网络来处理面部标志。然后,音频和运动特征都被馈送到视听Transformer,其产生对隔离的目标源的相当好的估计。在第二阶段中,用纯音频网络增强主要语音。我们介绍了不同的消融研究,并与最先进的方法进行了比较。最后,我们探讨了在歌唱声分离任务中训练的语音分离模型的可移植性。演示、代码和权重可在https://ipcv.github.io/VoViT/上获得
2022-07-19 cs.CV cs.LG cs.SD
DGFNet: End-to-End Audio-Visual Source Separation Based on Dynamic Gating Fusion
School of Computer Science and Technology(计算机科学与技术学院)
本文提出DGFNet,通过动态门控机制动态调整模态融合程度并引入音频注意力模块,解决了视听源分离中模态融合信息丢失和交互不足的问题,在两个基准数据集上取得显著性能提升。
2025-04-30 cs.AI cs.SD
Multi-scale Multi-band DenseNets for Audio Source Separation
Sony Corporation(索尼公司)
本文研究音频声源分离问题。为了处理音频声源分离问题的复杂和不适定性质,当前最先进的方法采用深度神经网络来从混合物获得仪器频谱。在这项研究中,我们提出了一种新的网络架构,扩展了最近开发的密集连接卷积网络(DenseNet),该网络在图像分类任务上表现出了出色的效果。为了处理音频声源分离的特定问题,在DenseNet之上集成了上采样层、块跳过连接和频带专用密集块。所提出的方法利用了长上下文信息,并在信号失真比方面大幅优于SiSEC 2016竞赛的最新结果。此外,与其他方法相比,所提出的架构需要显著更少的参数和显著更少的训练时间。
2017-06-29 cs.CL cs.MM cs.SD
Independent Deeply Learned Matrix Analysis for Multichannel Audio Source Separation
The University of Tokyo(东京大学);Tokyo Metropolitan University(东京都立大学)
在本文中,我们解决了多声道音频源分离任务,并提出了一种新的高效方法称为独立深度学习矩阵分析(IDLMA)。IDLMA以盲方式估计解混矩阵,并使用预训练的深度神经网络(DNN)更新每个源的时频结构。此外,我们引入了一个复杂的学生的t-分布作为一个广义的源生成模型,包括复杂的高斯分布和柯西分布。利用训练数据集对音乐信号进行了实验,实验结果表明了该方法在分离精度和计算量方面的有效性。
2018-06-27 cs.SD eess.AS
Cinematic Audio Source Separation Using Visual Cues
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);Graduate School of Artificial Intelligence, UNIST(蔚山科学技术院人工智能研究生院)
本文提出首个结合视觉信息的电影音频源分离框架AV-CASS,通过条件流匹配实现多模态音频分离,并设计专用视觉编码器提升分离质量。
2026-03-27 cs.MM cs.SD eess.AS
A cappella: Audio-visual Singing Voice Separation
在音乐视频中分离目标歌唱声音的任务具有有用的应用。在这项工作中,我们探讨了单通道歌唱声音分离问题,从多模态的角度来看,从音频和视觉形态共同学习。为此,我们提出了Acappella,这是一个来自YouTube的约46小时的无伴奏合唱独唱视频数据集。我们还提出了一个基于图的视听卷积网络,它在我们的数据集上实现了最先进的歌声分离结果,并将其与纯音频对应物U-Net和最先进的视听语音分离模型进行了比较。我们在以下具有挑战性的设置中评估模型:i)音频混合中存在重叠的声音,ii)混合中目标声音设置为较低的音量水平,iii)i)和ii)的组合。第三个是最具挑战性的评估设置。我们证明,我们的模型优于基线模型在歌唱的声音分离任务中最具挑战性的评估设置。代码、预训练模型和数据集可在www.example.com上公开获取,网址为https://ipcv.github.io/Acappella/
2021-10-18 cs.LG cs.SD eess.AS
OpenSep: Leveraging Large Language Models with Textual Inversion for Open World Audio Separation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
OpenSep 框架利用大语言模型与文本反转技术实现开放世界音频分离,通过自动解析声源并提取音频属性,解决了传统模型依赖预定义声源和人工干预的问题,在分离未见声源方面超越现有最优方法。
2024-09-28 cs.AI cs.SD eess.AS
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能,他们建立在一个战略,以处理预定义的条件,限制其应用在复杂的听觉场景。针对鸡尾酒会问题,提出了一种新的视听语音分离模型。在我们的模型中,我们使用人脸检测器来检测场景中说话者的数量,并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力,未知的扬声器,我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法,并使用此功能来协助语音分离。此外,采用时域方法,避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能,我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验,我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
Referenceless Performance Evaluation of Audio Source Separation using Deep Neural Networks
Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心);audEERING GmbH(audEERING有限公司)
当前用于音频声源分离的性能评估依赖于将处理或分离的信号与参考信号进行比较。因此,常见的性能评估工具包不适用于地面实况音频不可用的真实情况。在本文中,我们提出了一个性能评估技术,不需要参考信号,以评估分离质量。所提出的技术使用深度神经网络(DNN)来将经处理的音频映射到其质量分数。我们的实验结果表明,DNN是能够预测的来源,从盲声源分离评估工具包,而不需要参考信号的文物比。
2018-11-01 cs.LG cs.MM cs.SD