Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tencent AI Lab(腾讯AI实验室)
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题,提出基于多任务音频源分离的联合识别模型JRSV,结合在线蒸馏提升鲁棒性,构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
Universal Source Separation with Weakly Labelled Data
ByteDance(字节跳动);University of California San Diego(加州大学圣地亚哥分校);University of Surrey(萨里大学)
提出利用弱标注数据的通用源分离框架,通过查询网络和条件分离模型,实现任意声源的层次化分离,并在多个数据集上取得显著性能提升。
2023-05-11 cs.SD eess.AS
Bootstrapping deep music separation from primitive auditory grouping principles
Illinois Institute of Technology(伊利诺伊理工学院)
将音频场景(如鸡尾酒会)分离成组成的、有意义的分量是计算机试听中的核心任务。深度网络是最先进的方法。它们在由隔离的声源录音制成的音频合成混合物上进行训练,以便知道分离的基础事实。然而,绝大多数可用的音频并不是孤立的。大脑使用独立于任何特定声源的特性的原始线索来执行音频场景的初始分割。我们提出了一种通过使用多个原始线索来引导用于音乐声源分离的深度模型的方法,而无需地面实况。我们将我们的方法应用于训练来自YouTube的大量未标记音乐录音的网络,以将人声与伴奏分离,而不需要地面实况隔离源或人工训练混合物。
2019-10-23 cs.LG cs.SD eess.AS
Complex ISNMF: a Phase-Aware Model for Monaural Audio Source Separation
Tampere University of Technology(坦佩雷理工大学)
介绍了一种相位感知的音频声源分离概率模型。短期傅里叶变换域中的经典源模型使用圆对称高斯或泊松随机变量。这相当于假设每个源的相位是均匀分布的,这不适合于利用相位的底层结构。借鉴前期工作,我们在这里介绍了一个贝叶斯各向异性高斯源模型,其中的相位不再均匀。这样的模型允许我们通过马尔可夫链先验结构来支持源自信号模型的相位值。隐变量的方差采用非负矩阵分解(NMF)进行结构化。由此产生的模型被称为复杂Itakura-Saito NMF(ISNMF),因为它将ISNMF模型推广到非各向同性变量的情况。它结合了ISNMF和复NMF的优点,ISNMF使用适合于音频的失真测量并产生一组保持混合的总能量的估计,复NMF使人们能够考虑一些相位约束。我们推导出一个广义期望最大化算法来估计模型参数。在半信息环境下的音乐声源分离任务上进行的实验表明,所提出的方法优于最先进的相位感知分离技术。
2018-09-30 cs.SD eess.AS
audioLIME: Listenable Explanations Using Source Separation
Institute of Computational Perception, Johannes Kepler University(约翰内斯·开普勒大学计算感知研究所);Interactive Audio Lab, Northwestern University(西北大学交互音频实验室);LIT Artificial Intelligence Lab, Johannes Kepler University(约翰内斯·开普勒大学LIT人工智能实验室)
深度神经网络(DNN)已成功应用于各种音乐信息检索(MIR)任务,但它们的预测通常不可解释。我们提出了audioLIME,一种基于本地可解释模型不可知的解释(LIME)扩展的音乐定义的地方的方法。LIME中使用的扰动是通过切换由声源分离提取的开/关分量来创建的,这使得我们的解释是可解释的。我们验证audioLIME两个不同的音乐标记系统,并表明它产生合理的解释的情况下,竞争的方法不能。
2020-09-07 cs.IR cs.LG cs.SD
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)(格拉茨音乐与表演艺术大学,电子音乐与声学研究所)
本文提出基于MERT嵌入的侵入性评估指标,用于改进音乐源分离的评估方法,实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
Music source separation conditioned on 3D point clouds
mdw.ac.at(维也纳音乐与表演艺术大学)
最近,通过应用深度学习技术,在音频声源分离方面取得了重大进展。目前结合音频和视觉信息的方法使用2D表示(如图像)来指导分离过程。然而,为了从真实音乐合奏的记录(重新)创建用于3D虚拟/增强现实应用的声学上正确的场景,需要关于3D环境中的每个声源的详细信息。这一需求,以及LiDAR或rgb深度相机等3D视觉采集系统的激增,刺激了可以使用3D视觉信息指导音频分离的模型的创建。本文提出了一种多模态深度学习模型,以音乐表演记录的3D点云为条件执行音乐声源分离。该模型使用3D稀疏卷积提取视觉特征,而使用密集卷积提取音频特征。融合模块组合所提取的特征以最终执行音频声源分离。它示出,所提出的模型可以区分乐器从一个单一的三维点云帧,并执行声源分离定性类似的参考情况下,手动分配的仪器标签提供。
2021-02-03 cs.CV cs.SD eess.AS
Audio query-based music source separation
Seoul National University(首尔大学)
近年来,音乐声源分离已成为音乐信息检索领域研究的热点之一。深度学习的改进导致音乐声源分离性能取得重大进步。然而,以前的研究大多局限于分离几个有限数量的源,如人声,鼓,低音,和其他。在这项研究中,我们提出了一个网络的音频查询为基础的音乐声源分离,可以明确编码的源信息从查询信号,而不管目标信号的数量和/或种类。该方法由查询网和分离器组成:给定查询和混合物,查询网将查询编码到潜在空间中,分离器估计由潜在向量调节的掩码,然后将其应用于混合物进行分离。Separator还可以使用训练样本中的潜在向量生成掩码,允许在没有查询的情况下进行分离。我们在MUSDB 18数据集上对该方法进行了评估,实验结果表明,该方法可以用单个网络分离多个源。此外,通过进一步的调查的潜在空间,我们证明了我们的方法可以产生连续的输出,通过潜在向量插值。
2019-08-19 cs.SD eess.AS
Training-Free Multi-Step Audio Source Separation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Chinese University of Hong Kong(香港中文大学)
提出一种免训练的多步音频源分离推理方法,通过迭代混合输入与上一步结果并优化混合比例,显著提升分离性能,且无需额外训练。
2025-05-26 cs.AI cs.LG cs.SD
Raw Multi-Channel Audio Source Separation using Multi-Resolution Convolutional Auto-Encoders
University of Surrey(萨里大学)
有监督的多通道音频声源分离需要从混合信号中提取有用的频谱、时间和空间特征。因此,许多现有系统的成功在很大程度上取决于用于训练的特征的选择。在这项工作中,我们介绍了一种新的多通道,多分辨率卷积自动编码器神经网络,工作在原始的时域信号,以确定适当的多分辨率功能分离的歌声从立体声音乐。实验结果表明,该方法可以实现多声道音频声源分离,而不需要手工特征或任何预处理或后处理。
2018-03-02 cs.CV cs.LG cs.MM
Do Music Source Separation Models Preserve Spatial Information in Binaural Audio?
本文评估了现有音乐源分离模型在双耳音频上保留空间信息的能力,发现立体声模型无法有效保留沉浸式空间信息,且退化程度受模型架构和目标乐器影响,并指出了未来研究方向。
2025-06-30 cs.SD eess.AS eess.SP
MULTIMODAL ANALYSIS: Informed content estimation and audio source separation
Sorbonne Université(索邦大学);Grenoble-INP - Institut Polytechnique de Grenoble(格勒诺布尔理工学院);Télécom Paris - Institut Polytechnique de Paris(巴黎电信学院 - 巴黎理工学院);Spotify;Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);I3S(I3S实验室);ISIR(智能系统与机器人研究所);Universitat Pompeu Fabra(庞培法布拉大学);MTG(音乐技术组);Centre Inria Nancy - Grand Est(法国国家信息与自动化研究院南锡-大东部研究中心)
本文提出了音乐信号背景下的多模态学习研究。在整个过程中,我们专注于音频信号和文本信息之间的相互作用。在可以使用的与音乐相关的许多文本源(例如评论,元数据或社交网络反馈)中,我们专注于歌词。歌声以独特的方式直接连接音频信号和文本信息,结合旋律和歌词,语言维度补充了乐器的抽象。我们的研究重点是音频和歌词的相互作用,有针对性的声源分离和知情的内容估计。
2021-10-29 cs.DB cs.IR cs.LG
Facing the Music: Tackling Singing Voice Separation in Cinematic Audio Source Separation
Netflix Inc.(奈飞公司);Georgia Institute of Technology(佐治亚理工学院)
本研究针对电影音频源分离中歌声难以归类的问题,将Bandit和Banquet模型扩展为四音轨分离,发现基于查询的Banquet模型因FiLM层实现更好的特征对齐而表现更优。
2024-08-26 cs.AI cs.LG cs.SD
Complex and Quaternionic Principal Component Pursuit and Its Application to Audio Separation
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息科技创新研究中心)
近年来,主成分追踪在信号处理的研究中受到越来越多的关注,从信源分离到视频监控。到目前为止,所有现有的公式都是实值的,缺乏相位的概念,这是复杂的频谱图或彩色图像等输入所固有的。因此,在这封信中,我们将主成分追踪扩展到复杂和四元数的情况下,以考虑丢失的相位信息。具体来说,我们提出了复杂的和四元数的接近算子的$\ell_1$和跟踪规范正则化。这些算子可以与近似最小化方法结合使用,例如不精确增广拉格朗日乘子算法。然后将新算法应用于歌唱声分离问题,旨在将歌唱声从乐器伴奏中分离出来。iKala和MSD 100数据集上的结果证实了相位信息在主成分追踪中的有用性。
2018-01-09 cs.MM cs.SD eess.AS
Time-Domain Audio Source Separation Based on Wave-U-Net Combined with Discrete Wavelet Transform
The University of Tokyo(东京大学)
提出了一种基于离散小波变换的时域下采样和上采样音频声源分离方法。所提出的方法基于最先进的深度神经网络之一Wave-U-Net,其依次对特征图进行下采样和上采样。我们发现,这种架构类似于多分辨率分析,并揭示了DS层的Wave-U-Net造成混叠,并可能会丢弃有用的信息的分离。虽然这些问题的影响可以通过训练来减少,但是为了实现更可靠的声源分离方法,我们应该设计能够克服这些问题的DS层。基于这种信念,我们着重于小波变换具有抗混叠滤波器和完美的重构特性这一事实,设计了所提出的层。对音乐声源分离的实验表明了该方法的有效性以及同时考虑抗混叠滤波器和完美重构特性的重要性。
2020-01-28 cs.LG cs.MM cs.SD
MambaVoice: Lightweight Audiovisual Singing Voice Separation Via A Hybrid Mamba-Transformer Model
提出轻量级视听歌声分离模型MambaVoice,采用混合Mamba-Transformer架构融合音频与视觉特征,在Acappella和URSing数据集上以1620万参数达到与大型模型相当的性能。
2026-09-23 cs.SD
Adversarial Semi-Supervised Audio Source Separation applied to Singing Voice Extraction
Queen Mary University of London(伦敦玛丽女王大学)
音乐声源分离的现有技术采用在多音轨数据库上以监督方式训练的神经网络来估计来自给定混合的声源。由于只有很少的数据集可用,通常使用广泛的数据增强来对抗过拟合。然而,混合随机音轨甚至会降低分离性能,因为真实音乐中的乐器是强烈相关的。在我们的方法中的关键概念是,源估计的最佳分离器应该是从真正的源信号难以区分。基于这个想法,我们将分离器驱动到被训练为区分真实和分离器样本的神经网络认为是现实的输出。这样,我们也可以使用未配对的源和混合录音,而不会产生不切实际的音乐混合。我们的框架是广泛适用的,因为它不假设一个特定的网络架构或源的数量。据我们所知,这是第一次采用对抗训练的音乐声源分离。在一个歌唱声音分离的原型实验中,与纯监督训练相比,我们的方法提高了分离性能。
2018-04-06 cs.LG cs.SD
Time Domain Audio Visual Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
视听多模态建模已被证明是有效的许多语音相关的任务,如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet(时域语音分离网络)进行了推广,实现了多模态学习,同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器,视频编码器,提取唇嵌入视频流,多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明,与纯音频的TasNet和频域视听网络相比,我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Model selection for deep audio source separation via clustering analysis
Northwestern University(西北大学)
音频源分离是将混合(例如流行乐队录音)分离为来自各个源(例如仅主唱)的孤立声音的过程。深度学习模型是源分离领域的最新技术,因为要分离的混合与深度模型训练的混合相似。这要求最终用户充分了解每个模型的训练,以便为给定的音频混合选择正确的模型。在这项工作中,我们自动选择适当的模型的音频混合。我们提出了一种置信度度量,该度量不需要地面实况来估计分离质量,给定深度模型和音频混合。我们使用此置信度来自动选择具有最佳预测分离质量的模型输出。我们比较我们的信心为基础的合奏方法,使用单独的模型没有选择,一个神谕,总是选择最好的模型和随机模型选择器。结果表明,我们的信心为基础的合奏显着优于一般的混合物和方法的音乐混合物的甲骨文性能的随机合奏。
2020-07-26 cs.LG cs.SD eess.AS
Phase recovery with Bregman divergences for audio source separation
IRIT(IRIT研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
时频音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用相位恢复算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法在最近的几项工作中表现出良好的性能。该算法最小化幅度谱图之间的二次重建误差。然而,这种损失并不能正确地解释音频的一些感知特性,并且在许多设置中,诸如β发散的替代差异测量是优选的。在本文中,我们建议重新制定相位恢复音频声源分离作为一个最小化问题,涉及布雷格曼分歧。为了优化得到的目标,我们推导出一个投影梯度下降算法。在语音增强任务上进行的实验表明,这种方法优于MISI的几个替代损失,这突出了它们的相关性音频声源分离应用。
2021-02-09 cs.SD eess.AS
UniSep: Universal Target Audio Separation with Language Models at Scale
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
提出 UniSep,一种基于 LLM 的通用目标音频分离方法,通过序列到序列建模和纯音频预训练策略,利用 36.5k 小时多源数据实现不限领域的音频分离,取得与单任务模型相当的评估结果。
2025-03-31 cs.SD eess.AS
Asteroid: the PyTorch-based audio source separation toolkit for researchers
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);RENATER(法国国家电信研究网络);University de Lorraine(洛林大学)
本文介绍了Asteroid,一个面向研究人员的基于PyTorch的音频源分离工具包。受最成功的神经源分离系统的启发,它提供了构建这样一个系统所需的所有神经构建块。为了提高再现性,还提供了常见音频源分离数据集上的Kaldi风格的配方。本文介绍了小行星的软件体系结构和它的最重要的功能。通过显示小行星的配方获得的实验结果,我们表明,我们的实现至少与参考文献中报道的大多数结果不相上下。该工具包可在https://github.com/mpariente/asteroid上公开查阅。
2020-05-08 cs.SD eess.AS
WildMix Dataset and Spectro-Temporal Transformer Model for Monoaural Audio Source Separation
Carnegie Mellon University(卡内基梅隆大学);Singapore University of Technology and Design(新加坡科技设计大学)
单声道音频声源分离是机器学习中具有挑战性的研究领域。在这方面,一个混合包含多个音频源,并期望一个模型来解开的混合成孤立的原子源。在本文中,我们首先介绍了一个具有挑战性的新数据集的单声道声源分离称为WildMix。WildMix的设计目标是将声源分离的边界扩展到该领域以前的数据集所允许的范围之外。它包含来自25个不同声音类别的各种野外录音,使用任意合成策略相互组合。声源分离通常需要在时域和谱域中对长程相关性进行建模。为此,我们引入了一种新的transnformer为基础的模型称为频谱时间Transformer(STT)。STT使用一个专门的编码器,称为频谱时间编码器(STE)。STE突出时间和频谱成分的混合物内的来源,使用自我注意机制。它随后以等级的方式解开它们。在我们的实验中,STT在具有挑战性的WildMix数据集上迅速优于单耳声源分离的各种先前基线。
2019-11-21 cs.LG cs.SD eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架,融合SSL声学表示与CLAP语义嵌入,并引入对抗一致性训练,在多个指标上超越现有基线,树立新基准。
2025-06-20 cs.SD eess.AS
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey(萨里大学)
声源分离(SS)旨在从音频记录中分离各个源。声音事件检测(SED)旨在从音频记录中检测声音事件。我们提出了一个联合分离分类(JSC)模型,只训练弱标记的音频数据,也就是说,只有音频记录的标签是已知的,但事件的时间是未知的。首先,我们提出了一个分离映射的时间-频率(T-F)表示的音频的T-F分割掩模的音频事件。其次,从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段,可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率(EER),优于0.29的深度神经网络基线。通过使用全局加权秩池(GWRP)作为概率映射,获得了8.08 dB的声源分离SDR,优于基于全局最大池(GMP)的概率映射,给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Sparse Gaussian Process Audio Source Separation Using Spectrum Priors in the Time-Domain
Queen Mary University of London(伦敦玛丽女王大学);The University of Sheffield(谢菲尔德大学)
高斯过程(GP)音频源分离是一种时域方法,它避免了基于频谱图的方法固有的相位近似问题。此外,通过其内核,GP优雅地将有关源的先验知识纳入分离模型。尽管有这些令人信服的优点,GP推理的计算复杂度与音频样本的数量成立方比例。因此,源分离GP模型已被限制在短音频帧的分析。我们介绍了一个有效的应用GP时域音频源分离,而不影响性能。为此,我们使用GP回归,连同光谱混合内核,变分稀疏GP。我们比较了我们的方法与LD-PSDTF(半正定张量分解),KL-NMF(Kullback-Leibler非负矩阵分解),IS-NMF(Itakura-Saito NMF)。结果表明,该方法优于这些技术。
2018-11-21 cs.LG cs.SD eess.AS
Unsupervised Audio Source Separation using Generative Priors
Arizona State University(亚利桑那州立大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
现有技术的欠定音频源分离系统依赖于在时域或谱域中操作的精心定制的神经网络架构的受监督的端-端训练。然而,这些方法在需要访问昂贵的源级别标记数据以及特定于给定的源集合和混合过程方面受到严重挑战,这需要在这些假设改变时进行完全的重新训练。这强烈强调了对无监督方法的需求,这些方法可以利用数据驱动建模的最新进展,并通过有意义的先验来弥补标记数据的缺乏。为此,我们提出了一种新的方法,音频源分离的基础上生成先验训练的个别来源。通过使用投影梯度下降优化,我们的方法同时搜索特定于源的潜在空间,以有效地恢复组成源。虽然生成先验可以直接在时域中定义,例如WaveGAN,但我们发现使用谱域损失函数进行优化可以获得高质量的源估计。我们对标准口语数字和仪器数据集的实证研究清楚地表明了我们的方法在经典和最先进的无监督基线上的有效性。
2020-05-28 cs.SD eess.AS stat.ML
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍AudioScopeV2,这是一个最先进的通用视听屏幕声音分离系统,它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制,包括时空注意力的粗分辨率,音频分离模型的收敛性差,训练和评估数据的种类有限,以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系,我们还提出了高效的可分离变体,这些变体能够扩展到更长的视频,而不会牺牲太多性能。我们还发现,仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估,我们从一个大型的野外视频数据库(YFCC 100M)中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后,我们提出了一个校准程序,允许精确调整屏幕上的重建与屏幕外的抑制,这大大简化了不同的操作点模型之间的性能比较。总的来说,我们的实验结果表明,在更一般的条件下,屏幕上的分离性能显着改善比以前的方法,以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Sudo rm -rf: Efficient Networks for Universal Audio Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
在本文中,我们提出了一个有效的神经网络端到端的通用音频源分离。具体来说,这个卷积网络的骨干结构是多分辨率特征的连续下采样和恢复(SuDoRMRF)以及通过简单的一维卷积执行的聚合。通过这种方式,我们能够获得高质量的音频源分离,具有有限数量的浮点运算,内存要求,参数数量和延迟。我们在语音和环境声音分离数据集上的实验表明,SuDoRMRF的性能优于甚至超过了各种最先进的方法,但计算资源要求明显更高。
2020-07-14 cs.CL cs.LG cs.SD
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报研究所)
提出了一种视听语音分离学习方法,该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练,纯音频损失反映了源信号与分离信号之间的距离。然而,传统的损失不能反映语音信号的特征,包括说话者的特征和语音信息,这导致失真或残留噪声。为了解决这个问题,我们提出了跨模态对应(CMC)损失,这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响,并且包含说话人和语音信息,因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明,该方法在CMC损失的基础上学习同现,提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Weakly Supervised Audio Source Separation via Spectrum Energy Preserved Wasserstein Learning
IBM Research – China(IBM中国研究院);Shanghai Jiao Tong University(上海交通大学)
将音频混合分离成单独的乐器轨道一直是一项长期存在的挑战性任务。提出了一种基于深度对抗学习的弱监督音频声源分离方法。具体来说,我们的损失函数采用Wasserstein距离,直接测量分离的源和每个单独的源的真实源之间的分布距离。此外,增加了一个全局正则化项,以满足谱能量保持性质,而不管分离。与通常涉及故意设计的约束或仔细的模型选择的最新弱监督模型不同,我们的方法几乎不需要对数据进行先验模型规范,并且可以以端到端的方式直接学习。我们表明,所提出的方法在公共基准上对最先进的弱监督方法具有竞争力。
2018-05-17 cs.SD eess.AS
Neural Network Alternatives to Convolutive Audio Models for Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe 研究院)
卷积非负矩阵分解模型使用具有时间维度的频率模板对给定的音频频谱图进行分解。在本文中,我们提出了一个卷积自动编码器模型,作为一个神经网络替代卷积NMF。利用神经网络赋予的建模灵活性,我们还探讨了在编码器中使用递归神经网络的想法。在TIMIT语音数据集上的实验结果表明,卷积结构在BSSeval指标上显著提高了分离性能。
2017-09-20 cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Online Spectrogram Inversion for Low-Latency Audio Source Separation
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);Tampere University(坦佩雷大学)
音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用频谱图反演算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法已被成功地利用在最近的几项工作。然而,这种算法有两个缺点,我们在本文中解决。首先,它最初是以启发式的方式引入的:我们在这里提出了一个严格的优化框架,MISI是派生的,从而证明了该算法的收敛性。此外,虽然MISI离线运行,但我们在此提出了一种名为oMISI的MISI在线版本,它适用于低延迟声源分离,这是例如,助听器的应用oMISI还允许使用利用音频信号的时间结构的替代相位初始化方案。在语音分离任务上进行的实验表明,oMISI的表现以及其离线对应,从而证明了其实时声源分离的潜力。
2020-02-24 cs.SD eess.AS
PromptSep: Generative Audio Separation via Multimodal Prompting
Adobe Research(Adobe研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
PromptSep 将语言查询音频源分离扩展为通用声音分离框架,通过条件扩散模型与数据模拟同时支持音频提取和声音移除,并引入人声模仿作为更直观的提示模态,在多个基准上取得领先性能。
2025-11-06 cs.SD eess.AS
Deep Audio Prior
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
已知深度卷积神经网络专门用于从大量数据中提取紧凑且鲁棒的先验。我们有兴趣在没有训练数据集的情况下应用深度网络。在本文中,我们介绍了深度音频先验(DAP),它利用了网络的结构和单个音频文件中的时间信息。具体来说,我们证明了随机初始化的神经网络可以与精心设计的音频一起使用,然后再解决具有挑战性的音频问题,例如通用盲声源分离、交互式音频编辑、音频纹理合成和音频共分离。为了理解深度音频先验的鲁棒性,我们构建了一个基准数据集\emph{Universal-150},用于具有不同源集合的通用声音声源分离。我们表现出优越的音频结果比以前的工作在定性和定量评估。我们还进行了全面的消融研究,以验证我们的设计选择。
2019-12-21 cs.LG cs.SD eess.AS
Adversarial attacks on audio source separation
Sony Corporation(索尼公司);University of Tsukuba(筑波大学)
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景,但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中,我们重新制定了各种对抗攻击方法的音频声源分离问题,并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法,以获得不可感知的对抗性噪声,同时以低计算复杂性最大化对分离质量的影响。实验结果表明,当为目标模型制作噪声时,添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
Sep-Stereo: Visually Guided Stereophonic Audio Generation by Associating Source Separation
The Chinese University of Hong Kong(香港中文大学)
立体声音频是增强人类听觉体验不可或缺的组成部分。最近的研究已经探索了使用视觉信息作为指导来从具有立体声监督的单声道音频生成双耳或立体混响音频。然而,这种完全监督的范例具有固有的缺点:立体声音频的记录通常需要精密的设备,这些设备对于广泛的可访问性来说是昂贵的。为了克服这一挑战,我们建议利用大量可用的单声道数据来促进立体声音频的生成。我们的关键观察是,视觉指示音频分离的任务也将独立的音频映射到其相应的视觉位置,这与立体声音频生成具有类似的目标。我们将立体声生成和声源分离集成到一个统一的框架中,Sep-Stereo,通过将声源分离视为一种特定类型的音频空间化。具体而言,一种新的联想金字塔网络架构,精心设计的视听功能融合。大量的实验表明,我们的框架可以提高立体声音频生成的结果,同时执行准确的声音分离与共享骨干。
2020-07-20 cs.CV cs.MM cs.SD
Multichannel audio signal source separation based on an Interchannel Loudness Vector Sum
Electronics and Telecommunications Research Institute(电子通信研究院)
提出了一种多通道音频内容的盲声源分离算法。与针对立体声音频内容或麦克风阵列信号的常见BSS算法不同,我们的技术针对多通道音频,例如5.1和7.1ch音频。由于大多数多声道音频对象源使用声道间响度差(ILD)进行平移,因此我们采用ILVS(声道间响度向量和)概念来对来自每个声道的公共信号(例如背景音乐)进行聚类。在从每个通道中分离出公共信号之后,我们采用具有von-Mises分布的期望最大化(EM)算法来成功地对声源对象的聚类进行分类,并将音频信号从原始混合物中分离出来。因此,我们所提出的方法可以从多个通道中分离出具有合理质量的普通音频信号和对象源信号。我们的多声道音频内容分离技术可以应用于需要多声道音频声源分离的上混系统或影院音频系统。
2015-12-26 cs.SD
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University(密歇根州立大学);University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题,提出AVSA-Sep框架,通过语义解析器和场景信息分离器,结合联合训练与跨模态对齐,成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
DGMO: Training-Free Audio Source Separation through Diffusion-Guided Mask Optimization
Department of Computer Science(计算机科学与工程系)
本文提出免训练框架DGMO,利用预训练扩散模型的生成先验,通过测试时优化频谱图掩码实现零样本语言查询音频源分离,在无需特定任务监督下取得有竞争力的性能。
2025-06-05 cs.AI cs.SD eess.AS
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学)
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能,随后可用于贝叶斯推理。然而,我们发现,通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到,学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
AudioSlots: A slot-centric generative model for audio separation
University College London(伦敦大学学院);Google Research(谷歌研究院)
提出AudioSlots,一种基于槽的生成模型,利用置换等变编码器和解码器实现音频盲源分离,在Libri2Mix上验证了其有效性。
2023-05-09 cs.CV cs.SD eess.AS
LAVSS: Location-Guided Audio-Visual Spatial Audio Separation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系)
本文提出位置引导的音视频空间音频分离器 LAVSS,利用双耳相位差、视觉位置表示、多级跨模态注意力和预训练单声道分离器迁移知识,在 FAIR-Play 数据集上超越现有基准。
2023-10-31 cs.CV cs.MM cs.SD
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能,但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统,利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明,使用10个语音源和160个麦克风在一个大的,混响室。
2019-12-10 cs.SD eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey(萨里大学)
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别,例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中,我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记,而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后,学习从两个随机选择的片段的混合到目标片段的回归,该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net,在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Independent Deeply Learned Matrix Analysis for Multichannel Audio Source Separation
The University of Tokyo(东京大学);Tokyo Metropolitan University(东京都立大学)
在本文中,我们解决了多声道音频源分离任务,并提出了一种新的高效方法称为独立深度学习矩阵分析(IDLMA)。IDLMA以盲方式估计解混矩阵,并使用预训练的深度神经网络(DNN)更新每个源的时频结构。此外,我们引入了一个复杂的学生的t-分布作为一个广义的源生成模型,包括复杂的高斯分布和柯西分布。利用训练数据集对音乐信号进行了实验,实验结果表明了该方法在分离精度和计算量方面的有效性。
2018-06-27 cs.SD eess.AS
Cinematic Audio Source Separation Using Visual Cues
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);Graduate School of Artificial Intelligence, UNIST(蔚山科学技术院人工智能研究生院)
本文提出首个结合视觉信息的电影音频源分离框架AV-CASS,通过条件流匹配实现多模态音频分离,并设计专用视觉编码器提升分离质量。
2026-03-27 cs.MM cs.SD eess.AS
VoViT: Low Latency Graph-based Audio-Visual Voice Separation Transformer
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出了一种视听方法的语音分离,产生国家的最先进的结果,在低延迟在两个场景:语音和歌声。该模型基于两阶段网络。运动线索是用一个轻量级的图卷积网络来处理面部标志。然后,音频和运动特征都被馈送到视听Transformer,其产生对隔离的目标源的相当好的估计。在第二阶段中,用纯音频网络增强主要语音。我们介绍了不同的消融研究,并与最先进的方法进行了比较。最后,我们探讨了在歌唱声分离任务中训练的语音分离模型的可移植性。演示、代码和权重可在https://ipcv.github.io/VoViT/上获得
2022-07-19 cs.CV cs.LG cs.SD
OpenSep: Leveraging Large Language Models with Textual Inversion for Open World Audio Separation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
OpenSep 框架利用大语言模型与文本反转技术实现开放世界音频分离,通过自动解析声源并提取音频属性,解决了传统模型依赖预定义声源和人工干预的问题,在分离未见声源方面超越现有最优方法。
2024-09-28 cs.AI cs.SD eess.AS
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能,他们建立在一个战略,以处理预定义的条件,限制其应用在复杂的听觉场景。针对鸡尾酒会问题,提出了一种新的视听语音分离模型。在我们的模型中,我们使用人脸检测器来检测场景中说话者的数量,并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力,未知的扬声器,我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法,并使用此功能来协助语音分离。此外,采用时域方法,避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能,我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验,我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
Audio-Visual Speech Separation in Noisy Environments with a Lightweight Iterative Model
Tsinghua University(清华大学);Universität Hamburg(汉堡大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
本文提出轻量级音视频迭代模型AVLIT,采用渐进学习和共享权重的A-FRCNN块,在噪声环境下实现高效音视频语音分离,实验证明其性能优于多种基线且适用于低资源场景。
2023-05-31 cs.LG cs.SD eess.AS
Referenceless Performance Evaluation of Audio Source Separation using Deep Neural Networks
Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心);audEERING GmbH(audEERING有限公司)
当前用于音频声源分离的性能评估依赖于将处理或分离的信号与参考信号进行比较。因此,常见的性能评估工具包不适用于地面实况音频不可用的真实情况。在本文中,我们提出了一个性能评估技术,不需要参考信号,以评估分离质量。所提出的技术使用深度神经网络(DNN)来将经处理的音频映射到其质量分数。我们的实验结果表明,DNN是能够预测的来源,从盲声源分离评估工具包,而不需要参考信号的文物比。
2018-11-01 cs.LG cs.MM cs.SD