LAVSS: Location-Guided Audio-Visual Spatial Audio Separation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系)
本文提出位置引导的音视频空间音频分离器 LAVSS,利用双耳相位差、视觉位置表示、多级跨模态注意力和预训练单声道分离器迁移知识,在 FAIR-Play 数据集上超越现有基准。
2023-10-31 cs.CV cs.MM cs.SD
Multichannel audio signal source separation based on an Interchannel Loudness Vector Sum
Electronics and Telecommunications Research Institute(电子通信研究院)
提出了一种多通道音频内容的盲声源分离算法。与针对立体声音频内容或麦克风阵列信号的常见BSS算法不同,我们的技术针对多通道音频,例如5.1和7.1ch音频。由于大多数多声道音频对象源使用声道间响度差(ILD)进行平移,因此我们采用ILVS(声道间响度向量和)概念来对来自每个声道的公共信号(例如背景音乐)进行聚类。在从每个通道中分离出公共信号之后,我们采用具有von-Mises分布的期望最大化(EM)算法来成功地对声源对象的聚类进行分类,并将音频信号从原始混合物中分离出来。因此,我们所提出的方法可以从多个通道中分离出具有合理质量的普通音频信号和对象源信号。我们的多声道音频内容分离技术可以应用于需要多声道音频声源分离的上混系统或影院音频系统。
2015-12-26 cs.SD
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Referenceless Performance Evaluation of Audio Source Separation using Deep Neural Networks
Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心);audEERING GmbH(audEERING有限公司)
当前用于音频声源分离的性能评估依赖于将处理或分离的信号与参考信号进行比较。因此,常见的性能评估工具包不适用于地面实况音频不可用的真实情况。在本文中,我们提出了一个性能评估技术,不需要参考信号,以评估分离质量。所提出的技术使用深度神经网络(DNN)来将经处理的音频映射到其质量分数。我们的实验结果表明,DNN是能够预测的来源,从盲声源分离评估工具包,而不需要参考信号的文物比。
2018-11-01 cs.LG cs.MM cs.SD
Raw Multi-Channel Audio Source Separation using Multi-Resolution Convolutional Auto-Encoders
University of Surrey(萨里大学)
有监督的多通道音频声源分离需要从混合信号中提取有用的频谱、时间和空间特征。因此,许多现有系统的成功在很大程度上取决于用于训练的特征的选择。在这项工作中,我们介绍了一种新的多通道,多分辨率卷积自动编码器神经网络,工作在原始的时域信号,以确定适当的多分辨率功能分离的歌声从立体声音乐。实验结果表明,该方法可以实现多声道音频声源分离,而不需要手工特征或任何预处理或后处理。
2018-03-02 cs.CV cs.LG cs.MM
Plug-and-Steer: Decoupling Separation and Selection in Audio-Visual Target Speaker Extraction
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出Plug-and-Steer方法,通过解耦分离与目标选择,利用冻结的纯音频骨干网络和潜引导矩阵实现高保真音视频目标说话人提取。
2026-06-17 cs.MM cs.SD eess.AS
Separate Anything You Describe
University of Surrey(萨里大学);ByteDance Inc.(字节跳动公司)
本文提出语言查询的开放域音频源分离基础模型AudioSep,经大规模多模态训练,在多任务上展现强零样本分离性能,并开源代码、基准与预训练模型。
2024-12-01 cs.AI cs.MM cs.SD
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab(腾讯人工智能实验室)
尽管自动语音识别(ASR)技术发展迅速,但到目前为止,以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励,已经开发了视听语音增强技术,尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法,该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势,仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明,所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统,其统计显著的字出错率(WER)绝对降低了2.06%(相对降低了8.77%)。
2022-04-08 cs.CV cs.MM cs.SD
RAVSS: Robust Audio-Visual Speech Separation in Multi-Speaker Scenarios with Missing Visual Cues
Nanjing University(南京大学)
本文提出RAVSS框架,通过单一过程实现多说话人并发分离并引入说话人间交互,在VoxCeleb2和LRS3数据集上取得最先进性能,且对视觉线索缺失表现出更强鲁棒性。
2024-07-30 cs.MM cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
视听多模态建模已被证明是有效的许多语音相关的任务,如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet(时域语音分离网络)进行了推广,实现了多模态学习,同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器,视频编码器,提取唇嵌入视频流,多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明,与纯音频的TasNet和频域视听网络相比,我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance(字节跳动)
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源,但它们难以推广到看不见的源。在本文中,我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的,但弱标记的数据集:AudioSet。首先,我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次,我们设计了一个基于查询的音频分离模型,利用这些数据进行模型训练。第三,我们设计了一个潜在的嵌入处理器来编码查询,指定音频目标分离,允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离,并且仅依赖于弱标记数据进行训练。此外,所提出的音频分离器可以在zero-shot设置中使用,学习分离在训练中从未见过的音频源类型。为了评估分离性能,我们在MUSDB 18上测试了我们的模型,同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型,是从培训。在这两种情况下,该模型都实现了与当前监督模型相当的源失真比(SDR)性能。
2022-02-12 cs.AI cs.LG cs.MM
Seeing Soundscapes: Audio-Visual Generation and Separation from Soundscapes Using Audio-Visual Separator
King’s College London(伦敦国王学院)
提出AV-GAS模型,利用音视频分离器从多类别混合音频(声景)生成图像,并引入新的分离任务与评估指标,在VGGSound数据集上超越现有方法,CRS提升7%,R@2*提升4%。
2025-04-25 cs.AI cs.CV cs.MM
A general framework for online audio source separation
INRIA(法国国家信息与自动化研究所)
我们考虑在线音频声源分离的问题。现有的算法采用滑动块方法或随机梯度方法,这是更快,但不准确。此外,它们依赖于空间线索或光谱线索,不能分离某些混合物。在本文中,我们设计了一个通用的在线音频声源分离框架,结合了这两种方法和两种类型的线索。模型参数估计的最大似然(ML)的意义上使用广义期望最大化(GEM)算法与乘法更新。的分离性能作为块大小和步长的函数进行评估,并比较离线算法。
2011-12-28 cs.SD
Remixing Music with Visual Conditioning
Center for Music Technology Georgia Institute of Technology(佐治亚理工学院音乐技术中心)
我们提出了一个视觉条件的音乐混音系统,结合深度视觉和音频模型。该方法基于现有技术的视听声源分离模型,该模型利用视频信息执行乐器声源分离。我们修改了模型,使其在推理过程中使用用户选择的图像而不是视频作为视觉输入,从而实现仅音频内容的分离。此外,我们提出了一个混音引擎,概括的声源分离到音乐混音的任务。所提出的方法是能够实现改进的音频质量相比,由分离和添加方法与国家的最先进的视听声源分离模型执行的混音。
2020-10-27 cs.MM cs.SD eess.AS
A Unified Audio-Visual Learning Framework for Localization, Separation, and Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出统一音视频学习框架 OneAVM,通过共享编码器和三个训练目标联合实现声源定位、分离与识别,并在多个数据集上验证了任务间的正向迁移效果。
2023-05-30 cs.CV cs.LG cs.MM
Single Channel Audio Source Separation using Convolutional Denoising Autoencoders
University of Surrey(萨里大学)
深度学习技术最近已被用于解决音频声源分离问题。在这项工作中,我们建议使用深度全卷积去噪自动编码器(CDAE)进行单声道音频声源分离。我们使用与要从混合信号中分离的源的数量一样多的CDAE。每个CDAE都被训练来分离一个源,并将其他源视为背景噪声。其主要思想是允许每个CDAE学习合适的频谱-时间滤波器和特征到其对应的源。我们的实验结果表明,CDAE执行声源分离略优于深度前馈神经网络(FNN),即使参数比FNN少。
2017-10-13 cs.SD
Sudo rm -rf: Efficient Networks for Universal Audio Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
在本文中,我们提出了一个有效的神经网络端到端的通用音频源分离。具体来说,这个卷积网络的骨干结构是多分辨率特征的连续下采样和恢复(SuDoRMRF)以及通过简单的一维卷积执行的聚合。通过这种方式,我们能够获得高质量的音频源分离,具有有限数量的浮点运算,内存要求,参数数量和延迟。我们在语音和环境声音分离数据集上的实验表明,SuDoRMRF的性能优于甚至超过了各种最先进的方法,但计算资源要求明显更高。
2020-07-14 cs.CL cs.LG cs.SD
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA;MIT(麻省理工学院)
本文提出Audio-SDS,将分数蒸馏采样推广到文本条件音频扩散模型,利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务,无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
Semantic Grouping Network for Audio Source Separation
Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出语义分组网络SGN,通过可学习类别token直接从混合音频中解耦并提取各声源语义特征,无需视觉信息即在多个声音分离基准上显著超越纯音频和音视频方法。
2024-07-04 cs.CV cs.LG cs.MM
Multi-Task Audio Source Separation
Kuai Shou Technology Co.(快手科技有限公司);Harbin Institute of Technology(哈尔滨工业大学)
音频源分离任务,如语音增强、语音分离和音乐源分离,在最近的研究中取得了令人印象深刻的性能。深度神经网络强大的建模能力让我们对更具挑战性的任务充满希望。本文提出了一种新的多任务音频源分离(MTASS)的挑战,从单声道混合分离语音,音乐和噪声信号。首先,我们介绍这个任务的细节,并生成一个包含语音、音乐和背景噪声的混合数据集。然后,我们提出了一个MTASS模型,在复杂的域,以充分利用三个音频信号的频谱特性的差异。详细地说,该模型遵循两级流水线,其分离三种类型的音频信号,然后分别执行信号补偿。在比较不同的训练目标之后,选择复比率掩模作为MTASS的更合适的目标。实验结果也表明,残差信号补偿模块有助于进一步恢复信号。该模型在分离性能上优于几种已知的分离模型。
2021-07-14 cs.SD eess.AS
FaceFilter: Audio-visual speech separation using still images
Yonsei University(延世大学);Naver Corp.(Naver公司)
本文的目标是使用深度视听语音分离网络从两个说话人的混合语音中分离出目标说话人的语音。不同于以往的作品,使用嘴唇运动的视频剪辑或预先注册的扬声器信息作为辅助条件功能,我们使用一个单一的人脸图像的目标扬声器。在该任务中,条件特征是从跨模态生物特征识别任务中的面部外观中获得的,其中音频和视觉身份表示在潜在空间中共享。从面部图像中学习的身份迫使网络隔离匹配的说话者并从混合语音中提取声音。它解决了语音分离任务中经常出现的通道输出交换引起的排列问题。由于用户简档图像在许多平台上都很容易获得,因此所提出的方法比基于视频的语音分离更实用。此外,与说话者感知分离方法不同,它适用于与以前从未登记过的未见过的说话者分离。我们在具有挑战性的现实世界的例子中表现出强大的定性和定量结果。
2020-05-14 cs.CV cs.MM cs.SD
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统,这是能够学习分离的声音,并将它们与屏幕上的对象,通过在野外的视频。我们确定了以前的工作的限制,视听屏幕上的声音分离,包括简单性和粗分辨率的时空注意力,和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题,这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系,并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法,通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力,只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练,我们从一个大型的野外视频数据库(YFCC 100m)中收集了屏幕上音频的人类注释。我们的研究结果表明,在屏幕上的分离性能显着改善,在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo(东京大学);Waseda University(早稻田大学);NTT Corporation(日本电信电话株式会社)
音频声源分离常被用作各种应用的预处理,其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的,因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而,基于深度神经网络(DNN)的传统模型仅以训练数据指定的采样频率进行训练,并且不能保证它们以不可见的采样频率工作。在本文中,我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验,我们表明,所提出的层的引入,使传统的音频声源分离模型,即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
Phase recovery with Bregman divergences for audio source separation
IRIT(IRIT研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
时频音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用相位恢复算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法在最近的几项工作中表现出良好的性能。该算法最小化幅度谱图之间的二次重建误差。然而,这种损失并不能正确地解释音频的一些感知特性,并且在许多设置中,诸如β发散的替代差异测量是优选的。在本文中,我们建议重新制定相位恢复音频声源分离作为一个最小化问题,涉及布雷格曼分歧。为了优化得到的目标,我们推导出一个投影梯度下降算法。在语音增强任务上进行的实验表明,这种方法优于MISI的几个替代损失,这突出了它们的相关性音频声源分离应用。
2021-02-09 cs.SD eess.AS
End-to-end training of time domain audio separation and recognition
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室);Paderborn University(帕德博恩大学)
对单通道多说话者语音分离的兴趣的增加引发了多说话者语音识别的端到端(E2 E)方法的发展。然而,到目前为止,最先进的基于神经网络的时域源分离尚未与E2 E语音识别相结合。我们在这里演示如何将基于卷积时域音频分离网络(Conv-TasNet)的分离模块与E2 E语音识别器相结合,以及如何通过将其分布在多个GPU上或通过近似卷积前端的截断反向传播来联合训练这样的模型。为了把这项工作的角度来看,并说明设计空间的复杂性,我们提供了一个紧凑的单通道多说话人识别系统的概述。我们的实验表明,WSJ 0 - 2 mix的字错误率为11.0%,并表明我们的联合时域模型可以产生实质性的改善级联DNN-HMM和单片E2 E频域系统提出了迄今为止。
2020-04-13 cs.CL cs.SD eess.AS
UniSep: Universal Target Audio Separation with Language Models at Scale
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
提出 UniSep,一种基于 LLM 的通用目标音频分离方法,通过序列到序列建模和纯音频预训练策略,利用 36.5k 小时多源数据实现不限领域的音频分离,取得与单任务模型相当的评估结果。
2025-03-31 cs.SD eess.AS
SepALM: Audio Language Models Are Error Correctors for Robust Speech Separation
Xi’an Jiaotong University(西安交通大学)
SepALM利用音频语言模型对初步分离的语音进行端到端误差校正,提升分离精度并增强对嘈杂、混响等新声学环境的适应性。
2025-05-26 cs.CL cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍AudioScopeV2,这是一个最先进的通用视听屏幕声音分离系统,它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制,包括时空注意力的粗分辨率,音频分离模型的收敛性差,训练和评估数据的种类有限,以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系,我们还提出了高效的可分离变体,这些变体能够扩展到更长的视频,而不会牺牲太多性能。我们还发现,仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估,我们从一个大型的野外视频数据库(YFCC 100M)中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后,我们提出了一个校准程序,允许精确调整屏幕上的重建与屏幕外的抑制,这大大简化了不同的操作点模型之间的性能比较。总的来说,我们的实验结果表明,在更一般的条件下,屏幕上的分离性能显着改善比以前的方法,以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Phase recovery in NMF for audio source separation: an insightful benchmark
非负矩阵分解(NMF)是在时频域(TF)分解混合音频信号的有力工具。在诸如声源分离的应用中,每个提取分量的相位恢复是一个主要问题,因为它经常导致可听伪像。在本文中,我们提出了一种方法来评估各种基于NMF的声源分离技术,涉及相位重建。对于每一个模型考虑,两种方法之间的比较(盲分离没有先验信息和有监督的模型学习的预言分离)进行,以询问改进的空间的估计方法。实验结果表明,高分辨率NMF(HRNMF)模型是特别有前途的,因为它能够考虑相位和相关性随着时间的推移,具有很大的表达能力。
2016-05-24 cs.SD
Time-Frequency Trade-offs for Audio Source Separation with Binary Masks
University of Surrey(萨里大学)
短时傅立叶变换(STFT)为基于二进制掩码的音频声源分离方法提供了基础。在计算频谱图时,STFT窗口大小参数化时间和频率分辨率之间的权衡。然而,目前还不知道这个参数如何影响二进制掩码的操作在分离质量方面的真实世界的信号,如语音或音乐。在这里,我们证明了在STFT的时间和频率之间的权衡,用于执行理想的二进制掩码分离,取决于要分离的源的类型。特别是,我们证明了不同的窗口大小是最佳的语音和音乐信号的不同组合分离。我们的研究结果对机器听觉和一般的机器学习具有广泛的意义。
2015-04-28 cs.SD
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报研究所)
提出了一种视听语音分离学习方法,该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练,纯音频损失反映了源信号与分离信号之间的距离。然而,传统的损失不能反映语音信号的特征,包括说话者的特征和语音信息,这导致失真或残留噪声。为了解决这个问题,我们提出了跨模态对应(CMC)损失,这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响,并且包含说话人和语音信息,因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明,该方法在CMC损失的基础上学习同现,提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Adversarial attacks on audio source separation
Sony Corporation(索尼公司);University of Tsukuba(筑波大学)
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景,但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中,我们重新制定了各种对抗攻击方法的音频声源分离问题,并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法,以获得不可感知的对抗性噪声,同时以低计算复杂性最大化对分离质量的影响。实验结果表明,当为目标模型制作噪声时,添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
VoViT: Low Latency Graph-based Audio-Visual Voice Separation Transformer
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出了一种视听方法的语音分离,产生国家的最先进的结果,在低延迟在两个场景:语音和歌声。该模型基于两阶段网络。运动线索是用一个轻量级的图卷积网络来处理面部标志。然后,音频和运动特征都被馈送到视听Transformer,其产生对隔离的目标源的相当好的估计。在第二阶段中,用纯音频网络增强主要语音。我们介绍了不同的消融研究,并与最先进的方法进行了比较。最后,我们探讨了在歌唱声分离任务中训练的语音分离模型的可移植性。演示、代码和权重可在https://ipcv.github.io/VoViT/上获得
2022-07-19 cs.CV cs.LG cs.SD
Asteroid: the PyTorch-based audio source separation toolkit for researchers
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);RENATER(法国国家电信研究网络);University de Lorraine(洛林大学)
本文介绍了Asteroid,一个面向研究人员的基于PyTorch的音频源分离工具包。受最成功的神经源分离系统的启发,它提供了构建这样一个系统所需的所有神经构建块。为了提高再现性,还提供了常见音频源分离数据集上的Kaldi风格的配方。本文介绍了小行星的软件体系结构和它的最重要的功能。通过显示小行星的配方获得的实验结果,我们表明,我们的实现至少与参考文献中报道的大多数结果不相上下。该工具包可在https://github.com/mpariente/asteroid上公开查阅。
2020-05-08 cs.SD eess.AS
Audiovisual Singing Voice Separation
University of Rochester(罗切斯特大学);ByteDance Inc.(字节跳动公司)
将歌曲分离为声乐和伴奏成分是一个活跃的研究课题,近年来,使用深度学习技术进行监督训练的性能有所提高。我们建议应用与歌唱者的发声活动相对应的视觉信息,以进一步提高分离的发声信号的质量。视频前端模型接受嘴部运动的输入,并将其融合到基于音频的分离框架的特征嵌入中。为了便于网络学习歌唱活动的视听相关性,我们在训练期间向音频混合物中添加与嘴部运动无关的额外声音信号。我们创建了两个视听歌唱表演数据集,分别用于训练和评估,一个来自互联网上的试听录音,另一个来自内部录音。在大多数测试录音的分离质量方面,所提出的方法优于基于音频的方法。当伴奏中有伴唱时,这种优势尤其明显,这对纯音频方法提出了很大的挑战。
2021-07-01 cs.LG cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance(字节跳动)
音乐声源分离(MSS)是将音乐片段分离成单个源(例如人声和伴奏)的任务。最近,基于神经网络的方法已经被应用于解决MSS问题,并且可以被分类为基于频谱图和基于时域的方法。然而,利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中,我们提出了一个CatNet框架,该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统,将频谱图计算纳入CatNet。此外,我们提出了一种新的混合音频数据增强方法,随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比(SDR),优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Iterative Audio Separation with Mixture Consistency via MIMO Model Extension
本文提出一种通用框架,通过将源分离模型扩展为多输入多输出(MIMO)配置,实现稳定有效的迭代音频分离,同时保持混合一致性,并在最先进模型上取得显著性能提升。
2026-09-09 cs.LG cs.SD
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University(密歇根州立大学);University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题,提出AVSA-Sep框架,通过语义解析器和场景信息分离器,结合联合训练与跨模态对齐,成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
DGMO: Training-Free Audio Source Separation through Diffusion-Guided Mask Optimization
Department of Computer Science(计算机科学与工程系)
本文提出免训练框架DGMO,利用预训练扩散模型的生成先验,通过测试时优化频谱图掩码实现零样本语言查询音频源分离,在无需特定任务监督下取得有竞争力的性能。
2025-06-05 cs.AI cs.SD eess.AS
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab(阿姆斯特丹机器学习实验室);University of Amsterdam(阿姆斯特丹大学)
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能,随后可用于贝叶斯推理。然而,我们发现,通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到,学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
Convolutive Audio Source Separation using Robust ICA and an intelligent evolving permutation ambiguity solution
Democritus University of Thrace(色雷斯德谟克利特大学)
音频声源分离的任务是隔离由一组麦克风捕获的房间中同时活动的声源。等数量声源和麦克风的卷积音频声源分离具有许多缺点,包括频域ICA的复杂性、排列模糊性以及随着传感器数量的增加问题的可扩展性。本文在Mitianoudis和Davies(2003)的工作基础上,提出了一种多麦克风音频声源分离算法。复杂的FastICA被Robust ICA取代,提高了鲁棒性和性能。排列歧义的解决使用两种方法。第一种是使用Likestival Ration Jump解决方案,该解决方案现在经过修改以降低多个麦克风情况下的计算复杂性。MuSIC算法的应用,作为前一个解决方案的预处理步骤,形成了第二种方法,具有良好的效果。
2017-08-14 cs.NE cs.SD
AudioSlots: A slot-centric generative model for audio separation
University College London(伦敦大学学院);Google Research(谷歌研究院)
提出AudioSlots,一种基于槽的生成模型,利用置换等变编码器和解码器实现音频盲源分离,在Libri2Mix上验证了其有效性。
2023-05-09 cs.CV cs.SD eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架,融合SSL声学表示与CLAP语义嵌入,并引入对抗一致性训练,在多个指标上超越现有基线,树立新基准。
2025-06-20 cs.SD eess.AS
Nonnegative tensor factorization with frequency modulation cues for blind audio source separation
Analog Devices Lyric Labs;CIRMMT, McGill University(CIRMMT, 麦吉尔大学)
我们提出了振动非负张量因子分解,单通道无监督音频声源分离的应用程序,从音乐录音中分离乐器或声乐源与非平稳音高的算法。我们的方法扩展了音频建模的非负矩阵分解,包括频率调制的本地估计作为分离中的线索。这允许对颤音或滑音音乐源进行建模和无监督分离,这在基本矩阵分解公式中是不可能的。该算法因式分解一个稀疏的非负张量,包括音频频谱图和本地频率斜率频率比,这是估计在每个时间频率箱使用分布式导数方法。使用局部频率调制作为分离线索的动机是来自听觉景物分析的共同命运部分分组的原理,该原理假设混合物中的每个潜在源的特征在于感知上由其分量分音共享的相干频率和幅度调制。我们通过Minorization-Maximization方法得到乘法因子更新,通过迭代保证收敛到局部最优。然后,我们将我们的方法与两个分离任务的基线进行比较:一个考虑合成颤音音符,而另一个考虑颤音弦乐器录音。
2016-05-31 cs.SD
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey(萨里大学)
声源分离(SS)旨在从音频记录中分离各个源。声音事件检测(SED)旨在从音频记录中检测声音事件。我们提出了一个联合分离分类(JSC)模型,只训练弱标记的音频数据,也就是说,只有音频记录的标签是已知的,但事件的时间是未知的。首先,我们提出了一个分离映射的时间-频率(T-F)表示的音频的T-F分割掩模的音频事件。其次,从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段,可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率(EER),优于0.29的深度神经网络基线。通过使用全局加权秩池(GWRP)作为概率映射,获得了8.08 dB的声源分离SDR,优于基于全局最大池(GMP)的概率映射,给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
RadarVox: Radar-Audio Multimodal Cocktail-Party Speech Separation with Speaker-Aware Cross-Modal Matching
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学);Dalian Maritime University(大连海事大学)
RadarVox提出雷达-音频多模态基准,利用FMCW雷达捕获喉部运动线索,通过门控融合和跨模态匹配实现身份感知的鸡尾酒会语音分离,显著提升分离质量和说话人分配准确率。
2026-09-29 cs.MM cs.SD eess.AS
TasNet: time-domain audio separation network for real-time, single-channel speech separation
Columbia University(哥伦比亚大学)
多人环境中的鲁棒语音处理需要有效的语音分离。最近的深度学习系统在解决这个问题方面取得了重大进展,但它仍然具有挑战性,特别是在实时的【形】、短延迟应用中。大多数方法试图在混合信号的时频表示中为每个源构建掩码,这不一定是语音分离的最佳表示。此外,时频分解导致固有的问题,如相位/幅度解耦和长时间窗口,这是需要达到足够的频率分辨率。我们提出了时域音频分离网络(TasNet)来克服这些限制。我们使用编码器-解码器框架直接在时域中对信号建模,并对非负编码器输出执行声源分离。该方法去除了频率分解步骤,并将分离问题简化为估计编码器输出上的源掩码,然后由解码器合成。我们的系统优于目前最先进的因果和非因果语音分离算法,降低了语音分离的计算成本,并显着降低了所需的最低延迟的输出。这使得TasNet适用于需要低功耗、实时的【形】实施的应用,例如听觉和电信设备。
2018-04-18 cs.LG cs.MM cs.NE
Separate What You Describe: Language-Queried Audio Source Separation
University of Surrey(萨里大学);ByteDance(字节跳动)
在本文中,我们介绍了语言查询音频源分离(LASS)的任务,其目的是基于目标源的自然语言查询(例如,“一个人讲了一个笑话,人们跟着笑”)。LASS中的一个独特挑战与自然语言描述的复杂性及其与音频源的关系有关。为了解决这个问题,我们提出了LASS-Net,这是一种端到端的神经网络,可以学习联合处理声学和语言信息,并从音频混合中分离出与语言查询一致的目标源。我们评估我们提出的系统与AudioCaps数据集创建的数据集的性能。实验结果表明,LASS-Net实现了相当大的改进基线方法。此外,我们观察到LASS-Net在使用不同的人类注释描述作为查询时取得了有希望的泛化结果,表明其在现实世界中的潜在用途。分离的音频样本和源代码可在https://liuxubo717.github.io/LASS-demopage上获得。
2022-03-28 cs.AI cs.CL cs.SD
Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究院)
我们探讨了动态声源的主动视听分离,其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流(例如,多个人交谈和乐队在嘈杂的聚会上演奏音乐)。在有限的时间预算下,它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存,学习运动策略来控制其摄像头和麦克风恢复动态目标音频,使用自我注意力,使高质量的估计当前的时间步长,并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟,我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目:https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
A cappella: Audio-visual Singing Voice Separation
在音乐视频中分离目标歌唱声音的任务具有有用的应用。在这项工作中,我们探讨了单通道歌唱声音分离问题,从多模态的角度来看,从音频和视觉形态共同学习。为此,我们提出了Acappella,这是一个来自YouTube的约46小时的无伴奏合唱独唱视频数据集。我们还提出了一个基于图的视听卷积网络,它在我们的数据集上实现了最先进的歌声分离结果,并将其与纯音频对应物U-Net和最先进的视听语音分离模型进行了比较。我们在以下具有挑战性的设置中评估模型:i)音频混合中存在重叠的声音,ii)混合中目标声音设置为较低的音量水平,iii)i)和ii)的组合。第三个是最具挑战性的评估设置。我们证明,我们的模型优于基线模型在歌唱的声音分离任务中最具挑战性的评估设置。代码、预训练模型和数据集可在www.example.com上公开获取,网址为https://ipcv.github.io/Acappella/
2021-10-18 cs.LG cs.SD eess.AS
OpenSep: Leveraging Large Language Models with Textual Inversion for Open World Audio Separation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
OpenSep 框架利用大语言模型与文本反转技术实现开放世界音频分离,通过自动解析声源并提取音频属性,解决了传统模型依赖预定义声源和人工干预的问题,在分离未见声源方面超越现有最优方法。
2024-09-28 cs.AI cs.SD eess.AS
Independent Low-Rank Matrix Analysis Based on Complex Student's $t$-Distribution for Blind Audio Source Separation
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
在本文中,我们推广了一个源生成模型的国家的最先进的盲声源分离(BSS),独立低秩矩阵分析(ILRMA)。ILRMA是频域独立分量分析和非负矩阵分解的统一方法,可以为音频BSS任务提供更好的性能。为了进一步提高分离的性能和稳定性,我们引入了各向同性复学生的$t$ -分布作为源生成模型,其中包括在传统的ILRMA中使用的各向同性复高斯分布。通过音乐和语音盲源分离实验,验证了该方法的有效性。
2017-08-16 cs.SD
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能,他们建立在一个战略,以处理预定义的条件,限制其应用在复杂的听觉场景。针对鸡尾酒会问题,提出了一种新的视听语音分离模型。在我们的模型中,我们使用人脸检测器来检测场景中说话者的数量,并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力,未知的扬声器,我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法,并使用此功能来协助语音分离。此外,采用时域方法,避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能,我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验,我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS