Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架,融合SSL声学表示与CLAP语义嵌入,并引入对抗一致性训练,在多个指标上超越现有基线,树立新基准。
2025-06-20 cs.SD eess.AS
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey(萨里大学)
声源分离(SS)旨在从音频记录中分离各个源。声音事件检测(SED)旨在从音频记录中检测声音事件。我们提出了一个联合分离分类(JSC)模型,只训练弱标记的音频数据,也就是说,只有音频记录的标签是已知的,但事件的时间是未知的。首先,我们提出了一个分离映射的时间-频率(T-F)表示的音频的T-F分割掩模的音频事件。其次,从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段,可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率(EER),优于0.29的深度神经网络基线。通过使用全局加权秩池(GWRP)作为概率映射,获得了8.08 dB的声源分离SDR,优于基于全局最大池(GMP)的概率映射,给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Weakly Supervised Audio Source Separation via Spectrum Energy Preserved Wasserstein Learning
IBM Research – China(IBM中国研究院);Shanghai Jiao Tong University(上海交通大学)
将音频混合分离成单独的乐器轨道一直是一项长期存在的挑战性任务。提出了一种基于深度对抗学习的弱监督音频声源分离方法。具体来说,我们的损失函数采用Wasserstein距离,直接测量分离的源和每个单独的源的真实源之间的分布距离。此外,增加了一个全局正则化项,以满足谱能量保持性质,而不管分离。与通常涉及故意设计的约束或仔细的模型选择的最新弱监督模型不同,我们的方法几乎不需要对数据进行先验模型规范,并且可以以端到端的方式直接学习。我们表明,所提出的方法在公共基准上对最先进的弱监督方法具有竞争力。
2018-05-17 cs.SD eess.AS
Neural Network Alternatives to Convolutive Audio Models for Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe 研究院)
卷积非负矩阵分解模型使用具有时间维度的频率模板对给定的音频频谱图进行分解。在本文中,我们提出了一个卷积自动编码器模型,作为一个神经网络替代卷积NMF。利用神经网络赋予的建模灵活性,我们还探讨了在编码器中使用递归神经网络的想法。在TIMIT语音数据集上的实验结果表明,卷积结构在BSSeval指标上显著提高了分离性能。
2017-09-20 cs.SD eess.AS
Online Spectrogram Inversion for Low-Latency Audio Source Separation
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);Tampere University(坦佩雷大学)
音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用频谱图反演算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法已被成功地利用在最近的几项工作。然而,这种算法有两个缺点,我们在本文中解决。首先,它最初是以启发式的方式引入的:我们在这里提出了一个严格的优化框架,MISI是派生的,从而证明了该算法的收敛性。此外,虽然MISI离线运行,但我们在此提出了一种名为oMISI的MISI在线版本,它适用于低延迟声源分离,这是例如,助听器的应用oMISI还允许使用利用音频信号的时间结构的替代相位初始化方案。在语音分离任务上进行的实验表明,oMISI的表现以及其离线对应,从而证明了其实时声源分离的潜力。
2020-02-24 cs.SD eess.AS
PromptSep: Generative Audio Separation via Multimodal Prompting
Adobe Research(Adobe研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
PromptSep 将语言查询音频源分离扩展为通用声音分离框架,通过条件扩散模型与数据模拟同时支持音频提取和声音移除,并引入人声模仿作为更直观的提示模态,在多个基准上取得领先性能。
2025-11-06 cs.SD eess.AS
MMDenseLSTM: An efficient combination of convolutional and recurrent neural networks for audio source separation
Sony Corporation(索尼公司);Sony India Software Centre(索尼印度软件中心)
深度神经网络已成为音频声源分离(ASS)不可或缺的技术。最近有报道称,一种称为MMDenseNet的CNN架构的变体被成功地用于解决估计源幅度的ASS问题,并且针对DSD 100数据集获得了最先进的结果。为了进一步增强MMDenseNet,我们提出了一种新的架构,该架构将多尺度的长短期记忆(LSTM)与跳过连接集成在一起,以有效地对音频上下文中的长期结构进行建模。实验结果表明,该方法优于MMDenseNet,LSTM和两种网络的混合。所提出的模型的参数和处理时间的数量显着少于那些简单的混合。此外,所提出的方法产生更好的结果比那些使用理想的二进制面具的歌声分离任务。
2018-05-29 cs.SD eess.AS
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能,但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统,利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明,使用10个语音源和160个麦克风在一个大的,混响室。
2019-12-10 cs.SD eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey(萨里大学)
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别,例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中,我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记,而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后,学习从两个随机选择的片段的混合到目标片段的回归,该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net,在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
Independent Deeply Learned Matrix Analysis for Multichannel Audio Source Separation
The University of Tokyo(东京大学);Tokyo Metropolitan University(东京都立大学)
在本文中,我们解决了多声道音频源分离任务,并提出了一种新的高效方法称为独立深度学习矩阵分析(IDLMA)。IDLMA以盲方式估计解混矩阵,并使用预训练的深度神经网络(DNN)更新每个源的时频结构。此外,我们引入了一个复杂的学生的t-分布作为一个广义的源生成模型,包括复杂的高斯分布和柯西分布。利用训练数据集对音乐信号进行了实验,实验结果表明了该方法在分离精度和计算量方面的有效性。
2018-06-27 cs.SD eess.AS
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tencent AI Lab(腾讯AI实验室)
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题,提出基于多任务音频源分离的联合识别模型JRSV,结合在线蒸馏提升鲁棒性,构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
A Reference-free Metric for Language-Queried Audio Source Separation using Contrastive Language-Audio Pretraining
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学);Harbin Institute of Technology(哈尔滨工业大学);University of Sheffield(谢菲尔德大学)
针对LASS中SDR指标依赖参考信号且忽略文本语义的问题,本文提出基于CLAP的无参考指标CLAPScore,通过衡量分离音频与文本查询的语义相似度实现有效评估。
2025-01-06 cs.SD eess.AS
Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo(东京大学);Waseda University(早稻田大学);NTT Corporation(日本电信电话株式会社)
音频声源分离常被用作各种应用的预处理,其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的,因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而,基于深度神经网络(DNN)的传统模型仅以训练数据指定的采样频率进行训练,并且不能保证它们以不可见的采样频率工作。在本文中,我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验,我们表明,所提出的层的引入,使传统的音频声源分离模型,即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍AudioScopeV2,这是一个最先进的通用视听屏幕声音分离系统,它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制,包括时空注意力的粗分辨率,音频分离模型的收敛性差,训练和评估数据的种类有限,以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系,我们还提出了高效的可分离变体,这些变体能够扩展到更长的视频,而不会牺牲太多性能。我们还发现,仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估,我们从一个大型的野外视频数据库(YFCC 100M)中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后,我们提出了一个校准程序,允许精确调整屏幕上的重建与屏幕外的抑制,这大大简化了不同的操作点模型之间的性能比较。总的来说,我们的实验结果表明,在更一般的条件下,屏幕上的分离性能显着改善比以前的方法,以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Unsupervised Single-Channel Audio Separation with Diffusion Source Priors
本文提出一种无监督单通道音频分离方法,利用扩散源先验和改进的反问题求解器,实现高质量的声源分离。
2025-12-23 cs.SD eess.AS
AVFSNet: Audio-Visual Speech Separation for Flexible Number of Speakers with Multi-Scale and Multi-Task Learning
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Industrial Technology Research Institte of Shandong Province(山东省工业技术研究院)
本文提出AVFSNet,通过多尺度编码、并行架构及音视频多任务学习,在未知说话人数量条件下实现鲁棒的语音分离与说话人计数。
2025-07-17 cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报研究所)
提出了一种视听语音分离学习方法,该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练,纯音频损失反映了源信号与分离信号之间的距离。然而,传统的损失不能反映语音信号的特征,包括说话者的特征和语音信息,这导致失真或残留噪声。为了解决这个问题,我们提出了跨模态对应(CMC)损失,这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响,并且包含说话人和语音信息,因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明,该方法在CMC损失的基础上学习同现,提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Universal Source Separation with Weakly Labelled Data
ByteDance(字节跳动);University of California San Diego(加州大学圣地亚哥分校);University of Surrey(萨里大学)
提出利用弱标注数据的通用源分离框架,通过查询网络和条件分离模型,实现任意声源的层次化分离,并在多个数据集上取得显著性能提升。
2023-05-11 cs.SD eess.AS
Approximate Message Passing for Underdetermined Audio Source Separation
University of Surrey(萨里大学)
近似消息传递(AMP)算法在稀疏信号重建中表现出了很大的希望,由于其低的计算要求和快速收敛到精确解。此外,它们提供了一个概率框架,通常比凸优化等替代方案更直观。本文将AMP用于欠定瞬时混合信号的音频声源分离。在时频域中,通常假设源是稀疏的,因此我们使用AMP解决相应的稀疏线性逆问题。我们提出了一种基于块的方法,使用AMP同时处理多个时频点。特别评估了两种称为AMP和矢量AMP(VAMP)的算法。结果表明,他们是有前途的伪影抑制方面。
2018-02-01 cs.SD eess.AS
Audio Prompt Tuning for Universal Sound Separation
ByteDance Inc(字节跳动公司);University of Surrey(萨里大学);Tsinghua University(清华大学)
本文提出音频提示微调(APT),通过冻结通用声音分离模型参数并仅训练少量提示参数,在有限样本下提升特定声源分离性能,并在MUSDB18和ESC-50上验证了其有效性及少样本潜力。
2023-11-30 cs.SD eess.AS
Exploring Text-Queried Sound Event Detection with Audio Source Separation
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);Alibaba Group(阿里巴巴集团);Fortemedia Singapore(Fortemedia新加坡公司)
本文提出 TQ-SED 框架,通过预训练改进的 AudioSep-DP 语言查询音频源分离模型分离重叠事件,再由多分支检测目标声音,显著提升 SED 性能。
2025-01-10 cs.SD eess.AS
Adversarial attacks on audio source separation
Sony Corporation(索尼公司);University of Tsukuba(筑波大学)
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景,但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中,我们重新制定了各种对抗攻击方法的音频声源分离问题,并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法,以获得不可感知的对抗性噪声,同时以低计算复杂性最大化对分离质量的影响。实验结果表明,当为目标模型制作噪声时,添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
Audiovisual Singing Voice Separation
University of Rochester(罗切斯特大学);ByteDance Inc.(字节跳动公司)
将歌曲分离为声乐和伴奏成分是一个活跃的研究课题,近年来,使用深度学习技术进行监督训练的性能有所提高。我们建议应用与歌唱者的发声活动相对应的视觉信息,以进一步提高分离的发声信号的质量。视频前端模型接受嘴部运动的输入,并将其融合到基于音频的分离框架的特征嵌入中。为了便于网络学习歌唱活动的视听相关性,我们在训练期间向音频混合物中添加与嘴部运动无关的额外声音信号。我们创建了两个视听歌唱表演数据集,分别用于训练和评估,一个来自互联网上的试听录音,另一个来自内部录音。在大多数测试录音的分离质量方面,所提出的方法优于基于音频的方法。当伴奏中有伴唱时,这种优势尤其明显,这对纯音频方法提出了很大的挑战。
2021-07-01 cs.LG cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Academia Sinica(中央研究院);Edinburgh Napier University(爱丁堡龙比亚大学)
本文提出在预训练AV-HuBERT后接入SE模块并配合微调,用于AVSE和AVSS,实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University(密歇根州立大学);University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题,提出AVSA-Sep框架,通过语义解析器和场景信息分离器,结合联合训练与跨模态对齐,成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
DGMO: Training-Free Audio Source Separation through Diffusion-Guided Mask Optimization
Department of Computer Science(计算机科学与工程系)
本文提出免训练框架DGMO,利用预训练扩散模型的生成先验,通过测试时优化频谱图掩码实现零样本语言查询音频源分离,在无需特定任务监督下取得有竞争力的性能。
2025-06-05 cs.AI cs.SD eess.AS
Hyperbolic Embeddings for Order-Aware Classification of Audio Effect Chains
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
针对现有音频效果研究忽略效果链顺序的问题,提出将湿信号嵌入双曲空间的神经网络方法,利用双曲空间适配AFX链的树状非交换特性,实验证明该方法在吉他音频效果链分类任务上优于欧氏空间方法。
2025-07-28 cs.SD eess.AS
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学)
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能,随后可用于贝叶斯推理。然而,我们发现,通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到,学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
AudioSlots: A slot-centric generative model for audio separation
University College London(伦敦大学学院);Google Research(谷歌研究院)
提出AudioSlots,一种基于槽的生成模型,利用置换等变编码器和解码器实现音频盲源分离,在Libri2Mix上验证了其有效性。
2023-05-09 cs.CV cs.SD eess.AS
DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification
Electrical Engineering Korea Advanced Institute of Science(电气工程韩国科学技术院)
本文提出DeFT-Mamba框架,结合DeFTAN与Mamba实现多声道声音分离与复调分类,引入基于分类的声源计数和分离精调,在模拟真实环境的通用数据集上大幅超越现有方法。
2024-09-19 cs.SD eess.AS
FastFCA: A Joint Diagonalization Based Fast Algorithm for Audio Source Separation Using A Full-Rank Spatial Covariance Model
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
Duong等人已经提出了使用满秩空间协方差模型的声源分离方法[“Under-determined Reverberant Audio声源分离Using a Full-rank Spatial Covariance Model,”IEEE Trans. ASLP,vol.18,no.7,pp. 1830-1840,2010年9月],本文将其称为满秩空间协方差分析(FCA)。本文提出了一种快速的FCA模型参数估计算法,称为Fast-FCA算法,适用于两个源的情况。传统的FCA算法虽然在声源分离中非常有效,但存在计算量大的缺点。实际上,用于估计FCA的模型参数的常规算法需要逐帧矩阵求逆和矩阵乘法。因此,传统的FCA在具有有限计算资源的应用中可能是不可行的。相比之下,建议FastFCA绕过矩阵求逆和矩阵乘法由于联合对角化的基础上的广义特征值问题。此外,FastFCA是严格等价于传统的算法。实验结果表明,与传统的声源分离算法相比,FastFCA算法的速度提高了250倍以上。
2018-05-17 cs.SD eess.AS
Complex ISNMF: a Phase-Aware Model for Monaural Audio Source Separation
Tampere University of Technology(坦佩雷理工大学)
介绍了一种相位感知的音频声源分离概率模型。短期傅里叶变换域中的经典源模型使用圆对称高斯或泊松随机变量。这相当于假设每个源的相位是均匀分布的,这不适合于利用相位的底层结构。借鉴前期工作,我们在这里介绍了一个贝叶斯各向异性高斯源模型,其中的相位不再均匀。这样的模型允许我们通过马尔可夫链先验结构来支持源自信号模型的相位值。隐变量的方差采用非负矩阵分解(NMF)进行结构化。由此产生的模型被称为复杂Itakura-Saito NMF(ISNMF),因为它将ISNMF模型推广到非各向同性变量的情况。它结合了ISNMF和复NMF的优点,ISNMF使用适合于音频的失真测量并产生一组保持混合的总能量的估计,复NMF使人们能够考虑一些相位约束。我们推导出一个广义期望最大化算法来估计模型参数。在半信息环境下的音乐声源分离任务上进行的实验表明,所提出的方法优于最先进的相位感知分离技术。
2018-09-30 cs.SD eess.AS
Cinematic Audio Source Separation Using Visual Cues
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);Graduate School of Artificial Intelligence, UNIST(蔚山科学技术院人工智能研究生院)
本文提出首个结合视觉信息的电影音频源分离框架AV-CASS,通过条件流匹配实现多模态音频分离,并设计专用视觉编码器提升分离质量。
2026-03-27 cs.MM cs.SD eess.AS
A cappella: Audio-visual Singing Voice Separation
在音乐视频中分离目标歌唱声音的任务具有有用的应用。在这项工作中,我们探讨了单通道歌唱声音分离问题,从多模态的角度来看,从音频和视觉形态共同学习。为此,我们提出了Acappella,这是一个来自YouTube的约46小时的无伴奏合唱独唱视频数据集。我们还提出了一个基于图的视听卷积网络,它在我们的数据集上实现了最先进的歌声分离结果,并将其与纯音频对应物U-Net和最先进的视听语音分离模型进行了比较。我们在以下具有挑战性的设置中评估模型:i)音频混合中存在重叠的声音,ii)混合中目标声音设置为较低的音量水平,iii)i)和ii)的组合。第三个是最具挑战性的评估设置。我们证明,我们的模型优于基线模型在歌唱的声音分离任务中最具挑战性的评估设置。代码、预训练模型和数据集可在www.example.com上公开获取,网址为https://ipcv.github.io/Acappella/
2021-10-18 cs.LG cs.SD eess.AS
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
MERL(三菱电机研究实验室)
鸡尾酒会问题旨在分离复杂声学场景中的任何感兴趣的源,并且长期以来一直激发音频源分离研究。最近的努力主要集中在从噪声中分离语音,从语音中分离语音,将乐器彼此分离,或将声音事件彼此分离。然而,分离音频混合(例如,电影原声带)分为语音、音乐和声音效果(理解为包括环境噪声和自然声音事件)这三大类,尽管有广泛的潜在应用,但在很大程度上还没有被探索。本文将此任务形式化为鸡尾酒叉子问题,并提出了Divide and Remaster(DnR)数据集以促进对该主题的研究。DnR是由三个成熟的音频数据集(LibriSpeech,FMA,FSD 50 k)构建的,在源重叠和相对响度方面,注意再现类似于专业制作内容的条件,并以CD质量提供。我们基准的标准源分离算法的DnR,并进一步引入一个新的多分辨率模型,以更好地解决各种声学特性的三种源类型。我们最好的模型产生的SI-SDR的改善超过11.0 dB的音乐,11.2 dB的语音和10.8 dB的声音效果的混合。
2022-03-24 cs.SD eess.AS
OpenSep: Leveraging Large Language Models with Textual Inversion for Open World Audio Separation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
OpenSep 框架利用大语言模型与文本反转技术实现开放世界音频分离,通过自动解析声源并提取音频属性,解决了传统模型依赖预定义声源和人工干预的问题,在分离未见声源方面超越现有最优方法。
2024-09-28 cs.AI cs.SD eess.AS
DnR-nonverbal: Cinematic Audio Source Separation Dataset Containing Non-Verbal Sounds
LY Corporation(LY公司)
针对电影音频源分离中笑声、尖叫等非语言人声被误分为音效的问题,本文构建 DnR-nonverbal 数据集,并验证其可提升合成与真实电影音频中的分离效果。
2025-06-09 cs.SD eess.AS
Neural Vocoder Feature Estimation for Dry Singing Voice Separation
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
歌唱声分离是将歌唱声从乐器声中分离出来的任务。以前的SVS研究主要采用了声谱图掩蔽方法,该方法在预测二进制掩码时需要很大的维数。此外,他们还专注于提取一个保留了混响效果的湿声的声干。这一结果可能会阻碍孤立的歌声的可重用性。本文通过预测混合音频中的干歌声的梅尔谱图作为神经声码器特征,并从神经声码器合成歌声波形来解决这个问题。我们尝试了两种分离方法。一种是在梅尔频谱图域中预测二进制掩码,另一种是直接预测梅尔频谱图。此外,我们增加了一个歌声检测器,以确定随着时间的推移更明确的歌声段。我们从音频、去混响、分离和整体质量方面测量了模型的性能。实验结果表明,该模型在客观和主观评价上均优于现有的歌唱声分离模型,但在音质评价上有较大的改进。
2022-11-29 cs.SD eess.AS
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能,他们建立在一个战略,以处理预定义的条件,限制其应用在复杂的听觉场景。针对鸡尾酒会问题,提出了一种新的视听语音分离模型。在我们的模型中,我们使用人脸检测器来检测场景中说话者的数量,并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力,未知的扬声器,我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法,并使用此功能来协助语音分离。此外,采用时域方法,避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能,我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验,我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
Sep-Stereo: Visually Guided Stereophonic Audio Generation by Associating Source Separation
The Chinese University of Hong Kong(香港中文大学)
立体声音频是增强人类听觉体验不可或缺的组成部分。最近的研究已经探索了使用视觉信息作为指导来从具有立体声监督的单声道音频生成双耳或立体混响音频。然而,这种完全监督的范例具有固有的缺点:立体声音频的记录通常需要精密的设备,这些设备对于广泛的可访问性来说是昂贵的。为了克服这一挑战,我们建议利用大量可用的单声道数据来促进立体声音频的生成。我们的关键观察是,视觉指示音频分离的任务也将独立的音频映射到其相应的视觉位置,这与立体声音频生成具有类似的目标。我们将立体声生成和声源分离集成到一个统一的框架中,Sep-Stereo,通过将声源分离视为一种特定类型的音频空间化。具体而言,一种新的联想金字塔网络架构,精心设计的视听功能融合。大量的实验表明,我们的框架可以提高立体声音频生成的结果,同时执行准确的声音分离与共享骨干。
2020-07-20 cs.CV cs.MM cs.SD
TransMask: A Compact and Fast Speech Separation Model Based on Transformer
PVoice Technology Singapore(新加坡PVoice科技公司);National University of Singapore(新加坡国立大学)
语音分离是语音处理中的一个重要问题,其目标是从包含不同说话人语音的混合音频中分离并生成干净的语音。在序列到序列域的深度学习技术的支持下,最近的神经语音分离模型现在能够生成高度清晰的语音音频。为了使这些模型更实用,通过减少模型的大小和推理时间,同时保持高的分离质量,我们提出了一种新的基于变换的语音分离方法,称为TransMask。通过充分释放自我注意力对长期依赖异常的影响,我们证明了TransMask的大小比最先进的解决方案小60%以上,推理速度比最先进的解决方案快2倍以上。在合理的输入音频长度范围内,TransMask充分利用了推理过程中的并行性,实现了近似线性的推理时间。它在输出语音音频质量方面也优于现有解决方案,在Librimix基准测试中实现了16以上的SDR。
2021-02-19 cs.SD eess.AS
Audio-Visual Speech Separation in Noisy Environments with a Lightweight Iterative Model
Tsinghua University(清华大学);Universität Hamburg(汉堡大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
本文提出轻量级音视频迭代模型AVLIT,采用渐进学习和共享权重的A-FRCNN块,在噪声环境下实现高效音视频语音分离,实验证明其性能优于多种基线且适用于低资源场景。
2023-05-31 cs.LG cs.SD eess.AS
Sampling Frequency Independent Dialogue Separation
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所IIS);International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);WS Audiology(WS听力集团)
在用于音频源分离的一些DNN中,相关模型参数与用于训练的音频的采样频率无关。考虑到对话分离的应用,这是针对两种DNN架构显示的:U-Net和全卷积模型。这些模型使用以8 kHz采样的音频进行训练。学习的参数被传输到模型中,用于处理48 kHz的音频。将分离的音频源与由相同训练数据的48 kHz版本训练的相同模型架构产生的音频源进行比较。听力测试和计算测量表明,用8 kHz或48 kHz训练的模型之间没有显着的感知差异。学习参数的这种可传递性允许更快和计算成本更低的训练。它还允许使用比应用程序所需的采样频率更低的训练数据集,或者使用具有多个采样频率的数据集合。
2022-06-05 cs.SD eess.AS
Better Together: Dialogue Separation and Voice Activity Detection for Audio Personalization in TV
Fraunhofer IIS(弗劳恩霍夫集成电路研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学(FAU))
在电视服务中,对话级别个性化是满足用户偏好和需求的关键。当对话和背景声音不能从制作阶段分离时,对话分离(DS)可以估计它们以实现个性化。DS被证明为最终用户提供了明显的益处。然而,估计的信号并不完美,并且可能引入一些泄漏。这是不希望的,尤其是在没有对话的段落中。我们建议结合DS和语音活动检测(VAD),最近提出的电视音频。当它们的组合表明对话不活动时,对话估计中泄漏的背景分量被重新分配给背景估计。无对话信号的音频质量得到了明显改善,而对话处于活动状态时性能没有下降。还生成具有改进的检测精度的后处理的VAD估计。结果表明,DS和VAD可以相互促进,更好地结合使用。
2023-03-23 cs.SD eess.AS
LAVSS: Location-Guided Audio-Visual Spatial Audio Separation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系)
本文提出位置引导的音视频空间音频分离器 LAVSS,利用双耳相位差、视觉位置表示、多级跨模态注意力和预训练单声道分离器迁移知识,在 FAIR-Play 数据集上超越现有基准。
2023-10-31 cs.CV cs.MM cs.SD
TDFNet: An Efficient Audio-Visual Speech Separation Model with Top-down Fusion
Tsinghua University(清华大学);Chinese Institute for Brain Research(北京脑科学与类脑研究所)
本文提出基于 TDANet 的音视语音分离模型 TDFNet,通过自顶向下融合视觉信息,在 LRS2-2Mix 上以更少参数和 28% MACs 超越 CTCNet,指标最高提升 10%。
2024-01-25 cs.AI cs.SD eess.AS
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)(格拉茨音乐与表演艺术大学,电子音乐与声学研究所)
本文提出基于MERT嵌入的侵入性评估指标,用于改进音乐源分离的评估方法,实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Audio query-based music source separation
Seoul National University(首尔大学)
近年来,音乐声源分离已成为音乐信息检索领域研究的热点之一。深度学习的改进导致音乐声源分离性能取得重大进步。然而,以前的研究大多局限于分离几个有限数量的源,如人声,鼓,低音,和其他。在这项研究中,我们提出了一个网络的音频查询为基础的音乐声源分离,可以明确编码的源信息从查询信号,而不管目标信号的数量和/或种类。该方法由查询网和分离器组成:给定查询和混合物,查询网将查询编码到潜在空间中,分离器估计由潜在向量调节的掩码,然后将其应用于混合物进行分离。Separator还可以使用训练样本中的潜在向量生成掩码,允许在没有查询的情况下进行分离。我们在MUSDB 18数据集上对该方法进行了评估,实验结果表明,该方法可以用单个网络分离多个源。此外,通过进一步的调查的潜在空间,我们证明了我们的方法可以产生连续的输出,通过潜在向量插值。
2019-08-19 cs.SD eess.AS
RTFS-Net: Recurrent Time-Frequency Modelling for Efficient Audio-Visual Speech Separation
Tsinghua University(清华大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究院)
本文提出RTFS-Net,一种在时频域进行音视频语音分离的新方法,通过多层RNN独立建模时频维度并引入注意力融合与频谱掩码分离技术,在减少90%参数和83%计算量的同时超越了时域SOTA方法。
2024-03-21 cs.CV cs.SD eess.AS
VoViT: Low Latency Graph-based Audio-Visual Voice Separation Transformer
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出了一种视听方法的语音分离,产生国家的最先进的结果,在低延迟在两个场景:语音和歌声。该模型基于两阶段网络。运动线索是用一个轻量级的图卷积网络来处理面部标志。然后,音频和运动特征都被馈送到视听Transformer,其产生对隔离的目标源的相当好的估计。在第二阶段中,用纯音频网络增强主要语音。我们介绍了不同的消融研究,并与最先进的方法进行了比较。最后,我们探讨了在歌唱声分离任务中训练的语音分离模型的可移植性。演示、代码和权重可在https://ipcv.github.io/VoViT/上获得
2022-07-19 cs.CV cs.LG cs.SD
UX-NET: Filter-and-Process-based Improved U-Net for Real-time Time-domain Audio Separation
University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究提出了UX-Net,一个时域音频分离网络(TasNet)的基础上修改的U-Net架构。所提出的UX网络实时工作,并处理单个或多个麦克风输入。受基于滤波和处理的人类听觉行为的启发,所提出的系统引入了新颖的混合器和分离模块,从而实现了语音源的成本和存储器有效建模。混合器模块在潜在特征空间中组合编码输入,并输出期望数量的输出流。然后,在分离模块中,应用修改的U-Net(UX)块。UX块首先以各种分辨率对编码输入进行滤波,然后聚合滤波后的信息并应用递归处理来估计分离源的掩码。UX-Net中的字母“X”是UX块中使用的递归层类型的名称占位符。WSJ 0 - 2 mix基准测试数据集的实证结果表明,其中一种UX-Net配置的性能优于最先进的Conv-TasNet系统0.85 dB SI-SNR,同时仅使用16%的模型参数,计算量减少58%,并保持低延迟。
2022-10-28 cs.SD eess.AS
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University(西北大学);Descript, Inc.(Descript公司)
我们展示了一种无监督的方法,该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离,而无需任何重新训练。音频生成模型以输入混合为条件,产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器,创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的(不变的)潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重,并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型,并将其与四种预训练的音乐标记器(两种架构和两种标记数据集)相结合。在两个声源分离数据集上的实验结果表明,该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务(如声源分离)中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS