Multiple Sound Source Localisation with Steered Response Power Density and Hierarchical Grid Refinement
Middle East Technical University(中东技术大学)
声源波达方向(DOA)估计是声场分析中的一个重要环节。刚性球形麦克风阵列允许计算声场的紧凑球谐表示。用于分析使用这种阵列记录的声场的基本方法是转向响应功率(SRP)图,其中源DOA可以被估计为使最大定向波束的输出功率最大化的转向方向。这种方法在计算上是昂贵的,因为它需要在所有可能的方向上操纵波束。本文提出了一种扩展SRP称为转向响应功率密度(SRPD)和相关的,信号自适应搜索方法称为分层网格细化(HiGRID),以减少DOA估计所需的转向方向的数量。所提出的方法可以定位相干以及非相干源,同时共同提供的场景中的突出的源的数量。它被证明是强大的混响和加性白噪声。评估所提出的方法,使用模拟和真实的录音高度混响条件下,以及与国家的最先进的方法进行比较。
2018-03-04 cs.MM cs.SD eess.AS
Joint Dereverberation and Separation with Iterative Source Steering
LINE Corporation(LINE公司)
提出了一种新的联合去混响和盲源分离(DR-BSS)算法。我们的工作建立在IRLMA-T框架上,该框架应用了一个统一的滤波器,结合了去混响和分离。这种框架的一个缺点是,它需要几个矩阵求逆,操作本身就很昂贵,并具有潜在的稳定性问题。我们利用最近推出的迭代源转向(ISS)更新,提出两个算法缓解这个问题。虽然第一种算法是从第一性原理出发,但它是加权预测误差(WPE)去混响和基于ISS的盲源分离的自然结合,交替应用。在这种情况下,我们设法减少矩阵求逆的次数,每次迭代和源只有一次。第二种算法更新ILRMA-T矩阵只使用顺序ISS更新,根本不需要矩阵求逆。它的实现是简单的和内存效率。数值实验表明,这两种方法实现了相同的最终性能ILRMA-T在几个相关的客观指标。在两个源的重要情况下,所需的迭代次数也相似。
2021-05-31 cs.SD eess.AS eess.SP
Improving Sound Event Detection In Domestic Environments Using Sound Separation
French National Research Agency(法国国家研究署);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);RENATER(法国国家电信通信网络)
对真实世界录音执行声音事件检测通常意味着处理重叠的目标声音事件和非目标声音,也称为干扰或噪声。到目前为止,这些问题主要在分类器级别解决。我们建议使用声音分离作为声音事件检测的预处理。在本文中,我们从在Free Universal Sound Separation数据集和DCASE 2020任务4声音事件检测基线上训练的声音分离模型开始。我们探索不同的方法来结合分离的声源和原始的混合物内的声音事件检测。此外,我们调查的声音分离模型,以适应声音事件检测数据上的声音分离和声音事件检测的影响。
2020-07-08 cs.SD eess.AS eess.SP
Accelerated Convolutive Transfer Function-Based Multichannel NMF Using Iterative Source Steering
Waseda University(早稻田大学)
针对基于卷积传递函数的多通道非负矩阵分离方法计算成本高的问题,提出融合无需矩阵求逆的迭代源导向更新规则的高效变体,在保持甚至提升分离性能的同时显著降低计算复杂度。
2025-09-30 cs.SD eess.AS
Sound Event Detection and Separation: a Benchmark on Desed Synthetic Soundscapes
University de Lorraine(洛林大学)
我们提出了一个国家的最先进的声音事件检测系统(SED)的基准。我们设计的综合评估集专注于特定的声音事件检测挑战。我们根据与时间相关的修改(事件的时间位置和剪辑长度)来分析提交给DCASE 2021任务4的性能,并研究非目标声音事件和混响的影响。我们发现,本地化的声音事件的时间仍然是一个问题,SED系统。我们还表明,混响和非目标声音事件严重降低了SED系统的性能。在后一种情况下,声音分离似乎是一个有前途的解决方案。
2020-11-02 cs.SD eess.AS
Improving Bird Classification with Unsupervised Sound Separation
本文讨论了鸟类鸣唱记录中的物种分类问题。大量可用的鸟类现场记录为使用机器学习自动跟踪鸟类种群提供了机会。然而,它也带来了一个问题:这样的现场录音通常包含显著的环境噪声和重叠的发声干扰分类。用于物种识别的广泛可用的训练数据集通常也会使背景物种未标记。这导致分类器忽略具有低信噪比的发声。然而,在无监督声音分离方面的最新进展,例如\emph{mixture invariant training}(MixIT),使得能够从这种嘈杂的录音中学习到鸟鸣的高质量分离。在本文中,我们证明了在专门针对鸟鸣数据训练MixIT模型时提高的分离质量,在重构混合物的SI-SNR改善方面优于一般音频分离模型超过5 dB。我们还展示了在三个独立数据集上使用下游多物种鸟类分类器的精度提高。通过在分离的通道和原始音频上采取最大模型激活来实现最佳分类器性能。最后,我们记录了额外的分类器改进,包括分类分类,随机低通滤波器增强,以及额外的通道归一化。
2021-10-07 eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University(密歇根州立大学);University of Rochester(罗切斯特大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题,提出AVSA-Sep框架,通过语义解析器和场景信息分离器,结合联合训练与跨模态对齐,成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
Distance-Based Sound Separation
Google Research(谷歌研究院)
我们提出了基于距离的声音分离的新任务,其中声音仅根据它们与单个麦克风的距离分离。在辅助听音设备的上下文中,接近度为嘈杂环境中的声音选择提供了一个简单的标准,这将允许用户专注于与本地对话相关的声音。我们证明了这种方法的可行性,通过训练神经网络来分离近的声音从远的声音在单通道合成混响混合物,相对于一个阈值距离定义的边界附近和远。对于单个附近扬声器和四个远处扬声器,该模型将尺度不变的信噪比提高了4.4 dB(对于近处声音)和6.8 dB(对于远处声音)。
2022-07-01 cs.SD eess.AS
Unsupervised Source Separation By Steering Pretrained Music Models
Northwestern University(西北大学);Descript, Inc.(Descript公司)
我们展示了一种无监督的方法,该方法重新使用为音乐生成和音乐标记而训练的深度模型进行音频声源分离,而无需任何重新训练。音频生成模型以输入混合为条件,产生用于生成音频的音频的潜在编码。这个生成的音频被馈送到一个预先训练的音乐标签器,创建源标签。所生成的音频的标签分布与隔离源的预定义分布之间的交叉熵损失用于引导生成模型的(不变的)潜在空间中的梯度上升。该系统不更新生成模型或标记器的权重,并且仅依赖于移动通过生成模型的潜在空间来产生分离的源。我们使用OpenAI的Juan作为预训练的生成模型,并将其与四种预训练的音乐标记器(两种架构和两种标记数据集)相结合。在两个声源分离数据集上的实验结果表明,该方法可以产生比任何测试的监督或无监督系统更广泛的各种源的分离估计。这项工作指出了大型预训练音乐模型在音频到音频任务(如声源分离)中的巨大潜力。
2021-10-25 cs.LG cs.SD eess.AS
USE: A Unified Model for Universal Sound Separation and Extraction
Shanghai Jiao Tong University(上海交通大学);VUI Labs, China(中国语音与虚拟用户界面实验室);Nanjing University, Suzhou, China(南京大学苏州校区);Shenzhen Loop Area Institute, Shenzhen, China(深圳环带研究所)
本文提出USE模型,通过统一框架结合声音分离与目标声音提取,提升两者性能,实验显示在SS和TSE任务中分别取得1.4 dB SDR提升和86%准确率。
2025-12-24 eess.AS
Self-Guided Target Sound Extraction and Classification Through Universal Sound Separation Model and Multiple Clues
KAIST(韩国科学技术院);Meta Reality Labs(Meta现实实验室)
提出多阶段自引导框架,通过USS、SC和TSE模型循环优化,解决DCASE 2025声音分割任务,无需外部指导即实现SOTA性能。
2025-09-17 eess.AS
Inverse-free Online Independent Vector Analysis with Flexible Iterative Source Steering
本文提出了一种新的在线独立向量分析(IVA)算法用于实时盲源分离(BSS)。在许多盲源分离算法中,迭代投影(IP)被用来更新分离矩阵,这是盲源分离中需要估计的参数。然而,它需要矩阵求逆,这可能是昂贵的,特别是在在线处理中。为了改善这种情况,我们引入迭代源转向(ISS)在线IVA。ISS不需要任何矩阵求逆,因此其计算复杂度低于IP。此外,当只有部分源是移动的,ISS使我们能够灵活和有效地更新分离矩阵,只有移动源的导向矢量更新。动态条件下的数值实验证实了所提出的方法的有效性。
2022-09-02 eess.AS
High-Quality Visually-Guided Sound Separation from Diverse Categories
University of Rochester(罗切斯特大学);Meta Reality Labs Research(Meta现实实验室)
提出基于扩散的视听分离框架DAVIS,利用生成扩散模型和Separation U-Net从高斯噪声合成分离声音,在AVE和MUSIC数据集上分离质量优于现有判别式方法。
2024-10-10 cs.CV cs.SD eess.AS
Improving Universal Sound Separation Using Sound Classification
Google(谷歌)
深度学习方法最近在音频声源分离和声音分类方面都取得了令人印象深刻的性能。大多数音频声源分离方法仅关注于分离属于诸如语音和音乐的声源类别的受限域的声源。然而,最近的工作已经证明了“通用声音分离”的可能性,其目的是将声源从开放域中分离出来,而不管它们的类别。在本文中,我们利用在大量不同声音上训练的声音分类器网络学习的语义信息来改进通用声音分离。特别是,我们表明,从声音分类器中提取的语义嵌入可用于调节分离网络,为其提供有用的附加信息。这种方法在迭代设置中特别有用,其中来自初始分离阶段的源估计及其对应的分类器导出的嵌入被馈送到第二分离网络。通过执行由一千多个实验组成的彻底的超参数搜索,我们发现来自干净源的分类器嵌入提供了近1 dB的SNR增益,并且我们最好的迭代模型实现了这个预言性能的很大一部分,为通用声音分离建立了新的最先进的技术。
2019-11-18 cs.LG cs.SD eess.AS
Sound Separation and Classification with Object and Semantic Guidance
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出双路径分类器与语义线索编码器,融合分离特征和预训练语义表示以解决声音分离与分类中的错误传播问题,在DCASE 2025 task4上取得11.19 dB CA-SDRi的最优性能。
2025-09-19 eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey(萨里大学)
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别,例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中,我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记,而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后,学习从两个随机选择的片段的混合到目标片段的回归,该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net,在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
Recursive Visual Sound Separation Using Minus-Plus Net
The Chinese University of Hong Kong(香港中文大学)
声音为许多任务提供了丰富的语义,与视觉数据互补。然而,在实践中,来自多个来源的声音经常混合在一起。在本文中,我们提出了一种新的框架,称为MinusPlus网络(MP-Net),视觉声音分离的任务。MP-Net以平均能量的顺序递归地分离声音,在每次预测结束时从混合物中移除分离的声音,直到混合物变成空的或只包含噪声。通过这种方式,MP-Net可以应用于具有任意数量和类型的声音的声音混合。此外,当MP-Net不断从混合物中去除能量较大的声音时,能量较小的声音可能会出现并变得更清晰,从而使分离更准确。与以前的方法相比,MP-Net在两个大规模数据集上获得了最先进的结果,跨越了不同类型和数量的声音的混合。
2019-10-23 cs.CV cs.SD eess.AS
Real-time separation of non-stationary sound fields on spheres
The Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学)
声场分离方法可以将目标声场从噪声中分离出来,便于研究噪声环境中目标声源的声学特性。然而,大多数现有的声场分离方法都是在频域中导出的,因此最适合于分离平稳声场。本文提出了一种时域声场分离方法,可以实时分离目标声源在球体上产生的非平稳声场。球形阵列在目标源和干扰源之间建立边界,使得阵列上的出射场仅由目标源产生。该方法将阵列测量的压力和粒子径向速度分解为球谐系数,并根据分解系数与理论推导的空间滤波器响应之间的时域关系恢复目标出射场。仿真结果表明,该方法可以在较长的时间内分离出自由场和室内环境中的非平稳声场,且误差较小。所提出的方法可以作为发展未来的时域空间声场操纵算法的基础。
2019-01-16 cs.SD eess.AS
DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification
Electrical Engineering Korea Advanced Institute of Science(电气工程韩国科学技术院)
本文提出DeFT-Mamba框架,结合DeFTAN与Mamba实现多声道声音分离与复调分类,引入基于分类的声源计数和分离精调,在模拟真实环境的通用数据集上大幅超越现有方法。
2024-09-19 cs.SD eess.AS
Cognitive performance in open-plan office acoustic simulations: Effects of room acoustics and semantics but not spatial separation of sound sources
本文通过听觉-言语序列回忆任务研究开放式办公室声学模拟中的无关声音效应,发现语义性显著影响认知表现,而声源空间分离作用有限,且增加吸声可改善认知表现。
2023-08-08 eess.AS
Cyclic Co-Learning of Sounding Object Visual Grounding and Sound Separation
University of Rochester(罗切斯特大学);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室)
在我们的日常生活中,存在着丰富的同步视听事件。在事件内部,音频场景与相应的视觉对象相关联;同时,发声对象可以指示并帮助分离音轨中的各个声音。基于这一观察,在本文中,我们提出了一个循环的共同学习(CCoL)的范例,可以共同学习发声对象的视觉接地和视听声音分离在一个统一的框架。具体地说,我们可以利用扎根的物体-声音关系来改善声音分离的结果。同时,利用分离出的声音所提供的判别信息,改进了探测目标接地的训练样本采样方法,为两个任务建立了一个协同学习的循环,使它们相互受益。大量的实验表明,该框架在这两个任务上都优于最近的方法,并且它们可以通过我们的循环协同学习相互受益。
2021-04-05 cs.CV cs.MM cs.SD
Sound Event Localization based on Sound Intensity Vector Refined By DNN-Based Denoising and Source Separation
NTT Media Intelligence Laboratories(NTT媒体智能实验室);Ritsumeikan University(立命馆大学)
提出了一种用于声事件定位与检测的波达方向估计方法。使用深度神经网络(DNN)的DOA的直接估计,即完全数据驱动的方法,实现了高精度。然而,有一个单一的和重叠的源DOA估计的准确性之间的差距,因为他们不能把物理知识。同时,虽然基于物理的方法的准确性不如基于DNN的方法,但它对重叠源具有鲁棒性。在这项研究中,我们考虑了基于物理和基于DNN的方法的组合;基于DNN的去噪和源分离的基础上,改进了基于物理的DOA估计的声强向量(IV)。该方法能够实现球形麦克风阵列对单个声源和重叠声源的准确DOA估计。实验结果表明,所提出的方法达到了国家的最先进的DOA估计精度上的SELD的开放数据集。
2020-02-14 cs.SD eess.AS
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey(萨里大学)
声源分离(SS)旨在从音频记录中分离各个源。声音事件检测(SED)旨在从音频记录中检测声音事件。我们提出了一个联合分离分类(JSC)模型,只训练弱标记的音频数据,也就是说,只有音频记录的标签是已知的,但事件的时间是未知的。首先,我们提出了一个分离映射的时间-频率(T-F)表示的音频的T-F分割掩模的音频事件。其次,从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段,可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率(EER),优于0.29的深度神经网络基线。通过使用全局加权秩池(GWRP)作为概率映射,获得了8.08 dB的声源分离SDR,优于基于全局最大池(GMP)的概率映射,给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Separation of Moving Sound Sources Using Multichannel NMF and Acoustic Tracking
Tampere University of Technology(坦佩雷理工大学)
在本文中,我们提出了一种方法分离的运动声源。该方法首先跟踪源,然后使用多通道非负矩阵分解(NMF)估计源谱图,并通过单通道维纳滤波从混合物中提取源。我们提出了一种新的多通道NMF模型与空间协方差矩阵(SCM)表示的源随时间变化的混合,并提供更新方程优化模型参数最小化平方Frobenius范数。该模型的SCM获得的基础上估计的到达方向的跟踪源在每个时间帧。评估是基于既定的客观分离标准,并使用两个和三个同时移动声源的真实录音。比较的方法包括传统的波束形成和理想比率掩模分离。所提出的方法被证明超过其他评估盲方法的分离质量根据所有测量的数量。此外,我们通过比较使用注释的地面真实源轨迹实现的分离质量来评估该方法对跟踪误差的敏感性。
2017-10-27 cs.SD eess.AS
End-to-end Non-Negative Autoencoders for Sound Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(奥多比研究院)
声源分离的判别模型最近被证明能产生令人印象深刻的结果。然而,当在训练集之外的源上操作时,这些模型不能很好地执行并且更新起来很麻烦。经典的方法,如非负矩阵分解(NMF)提供了模块化的方法来声源分离,可以很容易地更新,以适应新的混合场景。在本文中,我们推广NMF开发端到端的非负自动编码器,并演示如何将它们用于声源分离。我们的实验表明,这些模型提供了相当的分离性能的歧视性的方法,同时保留了模块化的NMF和神经网络的建模灵活性。
2019-10-31 cs.SD eess.AS
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation(索尼集团公司);University of California San Diego(加州大学圣地亚哥分校)
近年来,已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而,有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外,现有数据集中提供的音频通常是在受控环境中记录的,这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中,我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁,学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练(CLIP)模型将输入查询编码成查询向量,然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的,但在测试时,我们可以在zero-shot设置中使用文本输入查询模型,这要归功于CLIP模型学习的联合语言-图像嵌入。此外,野外视频通常包含屏幕外声音和背景噪声,这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题,我们进一步提出了一种称为噪声不变训练的方法,用于在噪声数据上训练基于查询的声音分离模型。实验结果表明,所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频,甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Text-Driven Separation of Arbitrary Sounds
Google Research(谷歌研究院)
我们提出了一种方法,从一个单一的通道混合分离所需的声源,基于文本描述或目标源的短音频样本。这是通过结合两种不同的模式来实现的。第一个模型SoundWords被训练为将音频片段及其文本描述联合嵌入到共享表示中的相同嵌入中。第二个模型SoundFilter将混合源音频片段作为输入,并基于条件向量将其与SoundWords定义的共享文本音频表示分离,使模型与条件模态无关。在多个数据集上进行评估,我们表明,我们的方法可以实现9.1 dB的SI-SDR的两个任意的声音的混合物时,以文本为条件,10.1 dB时,以音频为条件。我们还表明,SoundWords在学习共嵌入方面是有效的,我们的多模态训练方法提高了SoundFilter的性能。
2022-04-12 cs.SD eess.AS
V-SlowFast Network for Efficient Visual Sound Separation
Tampere University(坦佩雷大学)
本文的目标是执行视觉声音分离:i)我们研究不同时间分辨率的声谱图上的视觉声音分离; ii)我们提出了一个新的轻量级但高效的三流框架V-SlowFast,它在Visual帧,Slow声谱图和Fast声谱图上运行。Slow spectrogram捕获粗略的时间分辨率,而Fast spectrogram包含细粒度的时间分辨率; iii)我们引入了两个对比目标,以鼓励网络学习用于分离声音的区分性视觉特征; iv)我们提出了用于音频和视觉特征融合的视听全局注意力模块; v)引入的V-SlowFast模型在小型和大型数据集上基于单帧的视觉声音分离方面优于先前的最新技术:MUSIC-21,AVE和VGG-Sound。我们还提出了一个小的V-SlowFast架构变体,与以前的多阶段模型相比,模型参数的数量减少了74.2%,GMAC减少了81.4%。项目页面:https://ly-zhu.github.io/V-SlowFast
2021-09-21 cs.CV cs.SD eess.AS
Weakly Supervised Source-Specific Sound Level Estimation in Noisy Soundscapes
New York University(纽约大学);New Jersey Institute of Technology(新泽西理工学院);Northwestern University(西北大学)
虽然对声源是什么、它们何时发生以及它们来自何处的估计已经得到了很好的研究,但对这些声源有多大的估计经常被忽视。目前的解决方案,我们称之为源特定的声级估计(SSSLE),遭受的挑战,由于不切实际的获取现实的数据和缺乏鲁棒性的现实记录条件。最近提出的弱监督源分离提供了一种利用剪辑级源注释来训练源分离模型的方法,我们用修改后的损失函数来弥补源分离和SSSLE之间的差距,并解决背景的存在。我们表明,我们的方法提高了SSSLE的性能相比,基线源分离模型,并提供消融分析,探索我们的方法的设计选择,显示SSSLE在实际的记录和注释的情况下是可能的。
2021-07-29 cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而,提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中,我们提出了AudioScope,一种新颖的视听声音分离框架,可以在没有监督的情况下进行训练,将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制(例如,语音或音乐),限制了源的数量,并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制,在开放的声音域上操作,具有可变数量的源,并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练(MixIT)将合成混合物(MoM)分离为单个源,其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签,以及视频和音频特征之间的注意力,AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性,使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别,使得以前的方法的应用不合适。对于评估和半监督实验,我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Consistent and Relevant: Rethink the Query Embedding in General Sound Separation
Tencent AI Lab(腾讯AI实验室)
针对查询嵌入与分离模型不匹配问题,提出CaRE-SEP,通过共享网络结构和特征信息统一查询编码与分离,显著提升通用声音分离性能。
2023-12-24 cs.SD eess.AS
What's All the FUSS About Free Universal Sound Separation Data?
Google Research(谷歌研究院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Universitat Pompeu Fabra(庞培法布拉大学);Adobe Research(奥多比研究院);Descript, Inc.(Descript公司)
我们介绍了自由通用声音分离(FUSS)数据集,一个新的语料库,用于从开放的声音类型域中分离未知数量的声音混合物的实验。该数据集由23小时的单源音频数据组成,这些数据来自357个类,用于创建一到四个源的混合。为了模拟混响,使用声学房间模拟器来生成具有频率依赖性反射壁的箱形房间的脉冲响应。还提供了额外的开放源数据扩充工具,以产生具有不同源和室内模拟组合的新混合物。最后,我们介绍了一个开源的基线分离模型,基于改进的时域卷积网络(TDCN++),可以分离混合物中的可变数量的源。该模型实现了9.8 dB的尺度不变的信噪比改善(SI-SNRi)的混合物与两个到四个源,而重建的单源输入与35.5 dB的绝对SI-SNR。我们希望这个数据集将降低新研究的障碍,并允许快速迭代和应用其他机器学习领域的新技术来解决声音分离的挑战。
2020-11-02 cs.SD eess.AS
TRUNet: Transformer-Recurrent-U Network for Multi-channel Reverberant Sound Source Separation
Sony Europe B.V.(索尼欧洲有限公司)
近年来,已经提出了许多用于单通道声源分离的深度学习技术,这些技术使用递归、卷积和Transformer网络。当多个麦克风可用时,除了频谱-时间分集之外,扬声器和背景噪声之间的空间分集还可以通过使用多通道滤波器来进行声源分离。针对端到端的多通道信号源分离问题,提出了一种基于变换递归U型网络(TRUNet)的多通道信号源分离算法。TRUNet由一个空间处理网络和一个频谱-时间处理网络组成,空间处理网络具有跨麦克风通道的注意机制,旨在捕获空间多样性,频谱-时间处理网络旨在捕获频谱和时间多样性。除了多通道滤波器,我们还考虑使用TRUNet从多通道输入光谱估计单通道滤波器。我们使用组合的压缩均方误差损失函数在大型混响数据集上训练网络,这进一步提高了声音分离性能。我们评估网络上的一个现实的和具有挑战性的混响数据集,从测量的房间脉冲响应的实际麦克风阵列。对实际混响声源分离的实验结果表明,TRUNet方法的分离效果优于现有的单通道和多通道声源分离方法。
2022-08-22 cs.SD eess.AS eess.SP
Adversarial Permutation Invariant Training for Universal Sound Separation
Dolby Laboratories(杜比实验室);Sapienza University of Rome(罗马第一大学)
通用声音分离包括分离与不同类型的任意声音的混合,并且使用排列不变训练(PIT)来训练这样做的源不可知模型。在这项工作中,我们补充PIT与对抗性损失,但发现它具有挑战性的语音声源分离中使用的标准配方。我们通过一种新的基于I替换上下文的对抗性损失,并通过使用多个鉴别器进行训练来克服这一挑战。我们的实验表明,通过简单地改善损失(保持相同的模型和数据集),我们在混响FUSS数据集中获得了不可忽略的1.4 dB SI-SNRi的改善。我们还发现对抗性PIT可以有效地减少光谱空洞,这在基于掩模的分离模型中无处不在,这突出了对抗性损失对声源分离的潜在相关性。
2023-03-06 cs.LG cs.SD eess.AS
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所)
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码,称为混合和分离框架。我们提出了一种视听联合分割,其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同,我们的架构可以以端到端的方式学习,并且不需要额外的监督或限界框建议。具体来说,我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地,结合使用对象分割的输出,一个设计,有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明,我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
Lightweight Online Separation of the Sound Source of Interest through BLSTM-Based Binary Masking
在线音频源分离是听觉场景分析和机器人听觉的重要组成部分。由于其在线能力,实现这一点的主要类型的技术是空间滤波(或波束成形),其中假设感兴趣的源(SOI)的位置(主要是到达波达方向; DOA)是已知的。然而,这些技术在最终结果中遭受相当大的干扰泄漏。在本文中,我们提出了一个两步的技术:1)一个基于相位的波束形成器,提供,除了估计的SOI,估计的累积环境干扰;和2)一个基于BLSTM的TF二进制掩蔽阶段,计算一个二进制掩模,旨在从累积的环境干扰分离SOI。在我们的测试中,这种技术提供了一个信号干扰比(SIR)超过20 dB的模拟数据。由于波束形成器输出的性质,从一开始就处理标签置换问题。这使得所提出的解决方案成为一种轻量级的替代方案,与当前基于深度学习的技术相比,它需要的计算资源要少得多(几乎是一个数量级),同时提供了相当的SIR性能。
2020-08-19 eess.AS
Foreground-Background Ambient Sound Scene Separation
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LITIS EA 4108(信息处理与系统实验室);Université & INSA Rouen Normandie(鲁昂-诺曼底大学与国立应用科学学院)
环境声音场景通常包括在稍微静止的背景之上发生的多个短事件。我们考虑将这些事件与背景分离的任务,我们称之为前景-背景环境声音场景分离。我们提出了一个基于深度学习的分离框架,该框架具有合适的特征归一化方案和捕获背景统计数据的可选辅助网络,我们研究了它处理环境声音场景中遇到的各种声音类别的能力,这些声音类别通常在训练中看不到。为此,我们使用DESED和Audioset数据集中的孤立声音创建单通道前景-背景混合物,并在各种信噪比下使用可见或不可见声音类别的混合物进行广泛的实验。我们的实验结果表明,所提出的方法的泛化能力。
2020-07-27 cs.LG cs.SD eess.AS
Tackling the Cocktail Fork Problem for Separation and Transcription of Real-World Soundtracks
Indiana University(印第安纳大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Microsoft Corporation(微软公司);Carnegie Mellon University(卡内基梅隆大学)
模仿人类解决鸡尾酒会问题的能力,即,在复杂的声学场景中聚焦感兴趣的声源,是声源分离研究的长期目标。这项研究的大部分是研究如何将语音与噪音、语音与语音、乐器与乐器、声音事件与声音事件分离。在本文中,我们专注于鸡尾酒叉问题,它采取了三管齐下的方法来分离音频混合,如电影配乐或播客到语音,音乐和音效(SFX -理解为包括环境噪声和自然声音事件)的三大类。我们对几种基于深度学习的源分离模型在此任务上的性能进行了基准测试,并根据简单的客观指标(如信号失真比(SDR))以及与人类感知更相关的客观指标对其进行了评估。此外,我们彻底评估源分离如何影响下游转录任务。首先,我们研究了三个源的活动检测任务,作为进一步改进源分离和执行转录的一种方式。我们将转录任务制定为针对语音的语音识别和针对音乐和SFX的音频标记。我们观察到,虽然使用的源分离估计提高转录性能相比,原声带,性能仍然是次优的,由于分离过程中引入的文物。因此,我们深入研究如何混音的三个分离的源干在各种相对水平可以减少文物,从而提高转录性能。我们发现,在17.5 dB的目标SNR的混音音乐和SFX干扰降低了语音识别字错误率,并观察到类似的影响,从混音标记音乐和SFX内容。
2022-12-14 cs.SD eess.AS
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
MERL(三菱电机研究实验室)
鸡尾酒会问题旨在分离复杂声学场景中的任何感兴趣的源,并且长期以来一直激发音频源分离研究。最近的努力主要集中在从噪声中分离语音,从语音中分离语音,将乐器彼此分离,或将声音事件彼此分离。然而,分离音频混合(例如,电影原声带)分为语音、音乐和声音效果(理解为包括环境噪声和自然声音事件)这三大类,尽管有广泛的潜在应用,但在很大程度上还没有被探索。本文将此任务形式化为鸡尾酒叉子问题,并提出了Divide and Remaster(DnR)数据集以促进对该主题的研究。DnR是由三个成熟的音频数据集(LibriSpeech,FMA,FSD 50 k)构建的,在源重叠和相对响度方面,注意再现类似于专业制作内容的条件,并以CD质量提供。我们基准的标准源分离算法的DnR,并进一步引入一个新的多分辨率模型,以更好地解决各种声学特性的三种源类型。我们最好的模型产生的SI-SDR的改善超过11.0 dB的音乐,11.2 dB的语音和10.8 dB的声音效果的混合。
2022-03-24 cs.SD eess.AS
Large Language Model-based Nonnegative Matrix Factorization For Cardiorespiratory Sound Separation
McMaster University(麦克马斯特大学)
本研究首次将大语言模型(LLMs)与非负矩阵分解(NMF)结合用于心肺音分离,通过两种独特方式应用LLM优化分离效果,在两个数据集上持续优于现有方法,为疾病诊断用医疗声音分析提供新方案。
2025-02-09 cs.SD eess.AS eess.SP
Universal Sound Separation with Self-Supervised Audio Masked Autoencoder
University of Surrey(萨里大学);The Chinese University of Hong Kong(香港中文大学)
本文提出将自监督音频掩码自编码器集成到通用声音分离系统中,通过冻结或更新其参数并结合STFT特征,在AudioSet上提升了ResUNet模型的分离性能。
2024-11-06 cs.AI cs.SD eess.AS
Noise-Robust Sound Event Detection and Counting via Language-Queried Sound Separation
针对声事件检测在嘈杂环境中性能下降的问题,提出基于事件外观检测的协同训练多任务学习框架,结合语言查询声音分离,显著提升了高噪声环境下的检测与计数性能。
2025-08-10 cs.SD eess.AS
Universal Sound Separation
Google(谷歌)
最近的深度学习方法在语音增强和分离任务上取得了令人印象深刻的性能。然而,这些方法还没有被研究用于分离不同类型的任意声音的混合物,我们称之为通用声音分离的任务,并且不知道语音任务的性能如何转移到非语音任务。为了研究这个问题,我们开发了一个包含任意声音的混合物数据集,并使用它来研究基于掩码的分离架构的空间,改变整体网络架构和信号转换的逐帧分析-合成基础。这些网络架构包括卷积长短期记忆网络和时间扩张卷积堆栈,其灵感来自最近成功的时域增强网络,如ConvTasNet。对于后者的架构,我们还提出了新的修改,进一步提高分离性能。在逐帧分析-合成基础方面,我们探索了短时傅立叶变换(STFT)和可学习的基础,如ConvTasNet中所使用的。对于这两个基地,我们还研究了窗口大小的影响。特别是,对于STFT,我们发现较长的窗口(25-50 ms)最适合语音/非语音分离,而较短的窗口(2.5 ms)最适合任意声音。对于可学习的基础,较短的窗口(2.5 ms)对所有任务都最有效。令人惊讶的是,对于通用的声音分离,STFT优于可学习的基础。我们最好的方法产生的改进,在尺度不变的信号失真比超过13 dB的语音/非语音分离和接近10 dB的通用声音分离。
2019-08-02 cs.LG cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍AudioScopeV2,这是一个最先进的通用视听屏幕声音分离系统,它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制,包括时空注意力的粗分辨率,音频分离模型的收敛性差,训练和评估数据的种类有限,以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系,我们还提出了高效的可分离变体,这些变体能够扩展到更长的视频,而不会牺牲太多性能。我们还发现,仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估,我们从一个大型的野外视频数据库(YFCC 100M)中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后,我们提出了一个校准程序,允许精确调整屏幕上的重建与屏幕外的抑制,这大大简化了不同的操作点模型之间的性能比较。总的来说,我们的实验结果表明,在更一般的条件下,屏幕上的分离性能显着改善比以前的方法,以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
End-to-End Sound Source Separation Conditioned On Instrument Labels
Pompeu Fabra University(庞培法布拉大学);University of Waterloo(滑铁卢大学);Joint Research Centre (EC)((欧盟委员会)联合研究中心)
我们是否可以使用深度学习模型对不同数量的源执行端到端音乐声源分离?我们提出了一个扩展的Wave-U-Net模型,它允许端到端的单声道声源分离与非固定数量的来源。此外,我们提出了乘法条件与仪器标签的Wave-U-Net的瓶颈,并显示其对分离结果的影响。这种方法导致其他类型的条件反射,如视听声源分离和分数通知声源分离。
2019-05-09 cs.LG cs.SD eess.AS
Guided multi-branch learning systems for sound event detection with sound separation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
在本文中,我们详细描述了我们的DCASE 2020任务4系统。该系统基于DCASE 2019任务4的第一名系统,该系统采用弱监督框架,具有基于注意力的嵌入水平池模块和称为引导学习的半监督学习方法。今年,我们将多分支学习(MBL)融入到原始系统中,以进一步提高其性能。MBL使用具有不同池化策略(包括实例级和嵌入级策略)和不同池化模块(包括注意力池化、全局最大池化或全局平均池化模块)的不同分支,这些分支共享模型的相同特征编码器。因此,追求不同目的并关注数据的不同特性的多个分支可以帮助特征编码器更好地对特征空间建模并避免过拟合。为了更好地利用强标记的合成数据,受多任务学习的启发,我们还采用了声音事件检测分支。为了将声音分离(SS)与声音事件检测(SED)相结合,我们将SED系统的结果与使用SS系统输出的分离声音训练的SS-SED系统相融合。实验结果表明,MBL可以提高模型性能,使用SS对提高SED集成系统性能有很大潜力。
2020-11-02 cs.SD eess.AS
Preserving background sound in noise-robust voice conversion via multi-task learning
Northwestern Polytechnical University(西北工业大学);iQIYI Inc(爱奇艺公司)
背景声音是一种信息丰富的艺术形式,有助于在实际应用程序语音转换(VC)场景中提供更身临其境的体验。然而,以往对VC的研究主要集中在干净的声音,很少关注有背景音的VC。VC中保留背景音的关键问题是神经元分离模型不可避免的语音失真以及源分离模型和VC模型之间的级联失配。在本文中,我们提出了一个端到端的框架,通过多任务学习,依次级联的源分离(SS)模块,瓶颈特征提取模块和VC模块。具体而言,源分离任务明确地考虑临界相位信息,并限制由不完美的分离过程引起的失真。源分离任务、典型VC任务和统一任务共享由联合训练约束的统一重建损失,以减少SS和VC模块之间的失配。实验结果表明,我们提出的框架显着优于基线系统,同时实现可比的质量和扬声器相似性的VC模型训练干净的数据。
2022-11-06 cs.SD eess.AS
Sound Localization and Separation in Three-dimensional Space Using a Single Microphone with a Metamaterial Enclosure
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
传统的声音定位和分离方法是基于人工系统中的麦克风阵列。受人类听觉系统选择性感知的启发,我们设计了一个多源听音系统,它可以分离同时重叠的声音,并定位在三维空间中的声源,只有一个麦克风与超材料外壳。外壳通过向每个方向提供签名,以方向相关的方式修改麦克风的频率响应。因此,关于声源的位置和音频内容的信息可以使用压缩感知算法从调制的混合信号中实验性地重建。由于所提出的重建算法的低计算复杂性,所设计的系统也可以应用于源识别和跟踪。通过多次随机收听测试,证明了该系统在多种真实场景下的有效性。基于超材料的单传感器听觉系统为声音定位和分离开辟了一条新的途径,可应用于智能场景监控和机器人听觉。
2019-11-07 cs.SD eess.AS physics.app-ph
DnR-nonverbal: Cinematic Audio Source Separation Dataset Containing Non-Verbal Sounds
LY Corporation(LY公司)
针对电影音频源分离中笑声、尖叫等非语言人声被误分为音效的问题,本文构建 DnR-nonverbal 数据集,并验证其可提升合成与真实电影音频中的分离效果。
2025-06-09 cs.SD eess.AS
CLAPSep: Leveraging Contrastive Pre-trained Model for Multi-Modal Query-Conditioned Target Sound Extraction
针对现有从零训练的语言查询式目标声音提取方法数据与算力需求高的问题,提出整合对比预训练CLAP模型的CLAPSep方法,支持多模态正负提示,在5个数据集上实现更优性能与泛化性。
2025-03-21 eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Noisy Neonatal Chest Sound Separation for High-Quality Heart and Lung Sounds
Monash University(莫纳什大学);Shiraz University(设拉子大学);Emory University(埃默里大学);Monash Children’s Hospital(莫纳什儿童医院);University British Columbia(不列颠哥伦比亚大学);BC Children’s Hospital Research Institute(不列颠哥伦比亚儿童医院研究所)
听诊器记录的胸部声音为新生儿的远程心肺健康监测提供了机会。然而,可靠的监测需要高质量的心肺音。本文提出了新的非负矩阵分解(NMF)和非负矩阵共分解(NMCF)的新生儿胸部声音分离的方法。为了评估这些方法并与现有的单源分离方法进行比较,生成了包括心脏,肺和噪声声音的人工混合数据集。然后计算这些人工混合物的信噪比。这些方法也在真实世界嘈杂的新生儿胸部声音上进行了测试,并根据我们以前的工作中开发的生命体征估计误差和1-5的信号质量评分进行了评估。此外,所有方法的计算成本进行了评估,以确定实时处理的适用性。总体而言,所提出的NMF和NMCF方法都优于下一个最佳现有方法,对于人工数据集为2.7dB至11.6dB,对于真实世界数据集为0.40至1.12的信号质量改善。10秒录音的声音分离的中位处理时间对于NMCF为28.3秒,对于NMF为342毫秒。由于稳定和强大的性能,我们相信,我们提出的方法是有用的去噪新生儿心脏和肺的声音在现实世界的环境。拟议和现有方法的代码可在https://github.com/egrooby-monash/Heart-and-Lung-Sound-Separation上找到。
2022-01-10 cs.LG cs.SD eess.AS
PromptSep: Generative Audio Separation via Multimodal Prompting
Adobe Research(Adobe研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
PromptSep 将语言查询音频源分离扩展为通用声音分离框架,通过条件扩散模型与数据模拟同时支持音频提取和声音移除,并引入人声模仿作为更直观的提示模态,在多个基准上取得领先性能。
2025-11-06 cs.SD eess.AS
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan(日本索尼集团公司);Sony AI, USA(美国索尼人工智能)
MMAudioSep基于预训练视频到音频模型,通过利用视频/文本与音频的关系实现更高效的声学分离,优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD