Leveraging Sound Source Trajectories for Universal Sound Separation
National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（国家级通用人工智能重点实验室，智能科学与技术学院，北京大学）
提出一种利用声源定位与分离相互促进机制的方法，通过迭代跟踪和波束形成实现移动声源的精确分离。
2026-06-15 cs.SD eess.AS
Sound Event Detection and Separation: a Benchmark on Desed Synthetic Soundscapes
University de Lorraine（洛林大学）
我们提出了一个国家的最先进的声音事件检测系统（SED）的基准。我们设计的综合评估集专注于特定的声音事件检测挑战。我们根据与时间相关的修改（事件的时间位置和剪辑长度）来分析提交给DCASE 2021任务4的性能，并研究非目标声音事件和混响的影响。我们发现，本地化的声音事件的时间仍然是一个问题，SED系统。我们还表明，混响和非目标声音事件严重降低了SED系统的性能。在后一种情况下，声音分离似乎是一个有前途的解决方案。
2020-11-02 cs.SD eess.AS
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey（萨里大学）
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别，例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中，我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记，而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后，学习从两个随机选择的片段的混合到目标片段的回归，该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net，在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
Sound event detection using weakly-labeled semi-supervised data with GCRNNS, VAT and Self-Adaptive Label Refinement
Graz University of Technology（格拉茨工业大学）
在本文中，我们提出了一种基于门控卷积递归神经网络的方法来解决DCASE 2018挑战的任务4，即国内环境中的大规模弱标记半监督声音事件检测。门控线性单元和时间注意层被用于预测10秒长的音频片段中的声音事件的开始和偏移。因此，对于训练，仅使用弱标记的数据。虚拟对抗训练用于正则化，利用标记和未标记的数据。此外，我们还引入了自适应标签细化，这种方法允许我们训练的系统进行无监督自适应，以提高帧级类预测的准确性。所提出的系统达到了整体宏观平均基于事件的F-分数为34.6%，导致在基线系统的20.5%的相对改善。
2018-10-16 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection spatial localization: DCASE 2019 baseline systems
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查在几个任务中的各种模型的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-04-14 cs.SD eess.AS
Sound Event Localization based on Sound Intensity Vector Refined By DNN-Based Denoising and Source Separation
NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Ritsumeikan University（立命馆大学）
提出了一种用于声事件定位与检测的波达方向估计方法。使用深度神经网络（DNN）的DOA的直接估计，即完全数据驱动的方法，实现了高精度。然而，有一个单一的和重叠的源DOA估计的准确性之间的差距，因为他们不能把物理知识。同时，虽然基于物理的方法的准确性不如基于DNN的方法，但它对重叠源具有鲁棒性。在这项研究中，我们考虑了基于物理和基于DNN的方法的组合;基于DNN的去噪和源分离的基础上，改进了基于物理的DOA估计的声强向量（IV）。该方法能够实现球形麦克风阵列对单个声源和重叠声源的准确DOA估计。实验结果表明，所提出的方法达到了国家的最先进的DOA估计精度上的SELD的开放数据集。
2020-02-14 cs.SD eess.AS
Cross-task learning for audio tagging, sound event detection and spatial localization: DCASE 2019 baseline systems
University of Surrey（萨里大学）；Tencent AI Lab（腾讯人工智能实验室）；Fictional University（虚构大学）；University of the Imagination（想象大学）
声学场景和事件的检测和分类（DCASE）2019挑战赛侧重于音频标记，声音事件检测和空间定位。DCASE 2019由五个任务组成：1）声学场景分类，2）带有噪声标签和最小监督的音频标记，3）声音事件定位和检测，4）家庭环境中的声音事件检测，以及5）城市声音标记。在本文中，我们提出了基于卷积神经网络（CNN）的通用跨任务基线系统。其动机是调查各种模型在几个音频识别任务中的性能，而不利用任务的具体特征。我们研究了5层、9层和13层的CNN，发现最佳架构是依赖于任务的。对于我们考虑的系统，我们发现在卷积层之后具有平均池化的9层CNN是大多数DCASE 2019任务的良好模型。
2019-06-09 cs.SD eess.AS
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey（萨里大学）
声源分离（SS）旨在从音频记录中分离各个源。声音事件检测（SED）旨在从音频记录中检测声音事件。我们提出了一个联合分离分类（JSC）模型，只训练弱标记的音频数据，也就是说，只有音频记录的标签是已知的，但事件的时间是未知的。首先，我们提出了一个分离映射的时间-频率（T-F）表示的音频的T-F分割掩模的音频事件。其次，从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段，可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率（EER），优于0.29的深度神经网络基线。通过使用全局加权秩池（GWRP）作为概率映射，获得了8.08 dB的声源分离SDR，优于基于全局最大池（GMP）的概率映射，给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Evaluating the Temporal Detection Capability of Integrated Gradients Applied on Sound Classifier
Department of Electronic Systems（电子系统系）；Vilnius Gediminas Technical University（维尔纽斯吉尔迈纳斯技术大学）；Signal Processing Research Centre（信号处理研究中心）；Tampere University（塔尔皮奥大学）
本文通过合成多声道音频和真实时间戳，评估集成梯度（IG）在无时间监督训练的分类器上检测声音事件时间边界的能力，并与弱监督和强监督帧级CNN对比，发现IG能捕捉有意义的时序活动模式，定位性能接近显式帧级预测模型。
2026-05-22 cs.SD eess.AS eess.SP
Noise-Robust Sound Event Detection and Counting via Language-Queried Sound Separation
针对声事件检测在嘈杂环境中性能下降的问题，提出基于事件外观检测的协同训练多任务学习框架，结合语言查询声音分离，显著提升了高噪声环境下的检测与计数性能。
2025-08-10 cs.SD eess.AS
Non-Negative Matrix Factorization-Convolutional Neural Network (NMF-CNN) For Sound Event Detection
Newcastle University（纽卡斯尔大学）；Visenti Pte Ltd (A Brand of Xylem)（维森蒂私人有限公司（赛莱默旗下品牌））
今年DCASE挑战的主要科学问题，任务4 -家庭环境中的声音事件检测，是调查实现最佳性能系统所需的数据类型（强标记合成数据，弱标记数据，未标记域数据）。在本文中，我们提出了一种深度学习模型，该模型集成了非负矩阵分解（NMF）和卷积神经网络（CNN）。这种集成的核心思想是使用NMF来为弱标记数据提供近似的强标记。与基线系统相比，这种整合能够实现更高的基于事件的F1评分（评价数据集：30.39% vs. 23.7%，验证数据集：31% vs. 25.8%）。通过将验证结果与其他参与者进行比较，在今年的任务4挑战中，拟议的系统在19个团队（包括基线系统）中排名第8。
2020-01-22 cs.SD eess.AS
Guided multi-branch learning systems for sound event detection with sound separation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们详细描述了我们的DCASE 2020任务4系统。该系统基于DCASE 2019任务4的第一名系统，该系统采用弱监督框架，具有基于注意力的嵌入水平池模块和称为引导学习的半监督学习方法。今年，我们将多分支学习（MBL）融入到原始系统中，以进一步提高其性能。MBL使用具有不同池化策略（包括实例级和嵌入级策略）和不同池化模块（包括注意力池化、全局最大池化或全局平均池化模块）的不同分支，这些分支共享模型的相同特征编码器。因此，追求不同目的并关注数据的不同特性的多个分支可以帮助特征编码器更好地对特征空间建模并避免过拟合。为了更好地利用强标记的合成数据，受多任务学习的启发，我们还采用了声音事件检测分支。为了将声音分离（SS）与声音事件检测（SED）相结合，我们将SED系统的结果与使用SS系统输出的分离声音训练的SS-SED系统相融合。实验结果表明，MBL可以提高模型性能，使用SS对提高SED集成系统性能有很大潜力。
2020-11-02 cs.SD eess.AS
A Survey of Sound Source Localization with Deep Learning Methods
Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Orange Labs（奥兰治实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble-INP（格勒诺布尔理工学院）
本文综述了用于单个和多个声源定位的深度学习方法。我们特别感兴趣的声源定位在室内/家庭环境中，混响和扩散噪声存在。我们提供了一个详尽的地形的神经为基础的本地化文献在这种情况下，组织根据几个方面：神经网络架构，输入功能的类型，输出策略（分类或回归），用于模型训练和评估的数据类型，以及模型训练策略。通过这种方式，感兴趣的读者可以轻松地理解基于深度学习的声源定位方法的广阔全景。总结文献调查的表格提供了一个快速搜索的方法与一组给定的目标特性的文件的末尾。
2022-06-17 cs.LG cs.SD eess.AS
Leveraging LLM and Text-Queried Separation for Noise-Robust Sound Event Detection
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Fortemedia Singapore（Fortemedia新加坡公司）
针对嘈杂环境下声音事件检测性能下降的问题，提出利用大语言模型识别噪声类型进行噪声增强微调，再将微调模型的预测结果作为文本查询输入语言查询音频源分离模型的方法，提升了噪声环境下的检测性能。
2025-01-12 cs.SD eess.AS
Selective Pseudo-labeling and Class-wise Discriminative Fusion for Sound Event Detection
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）
近年来，探索有效的声音分离技术来提高重叠声事件检测技术受到越来越多的关注。创建精确的分离信号以避免SED模型训练期间灾难性的误差积累是非常重要和具有挑战性的。在这项研究中，我们首先提出了一种新的选择性伪标记的方法，称为SPL，产生高置信度分离的目标事件从盲目的声音分离输出。然后，这些目标事件用于微调原始SED模型，该模型以多目标学习方式对声音混合进行预训练。然后，为了进一步利用SSep输出，提出了一种逐类判别融合，通过结合声音混合物及其分离信号的多个帧级事件预测来提高最终的SED性能。在公开的DCASE 2021 Task 4数据集上进行的实验表明，本文方法的性能明显优于官方基准，基于领的F1、PSDS1和PSDS2的性能分别从44.3%、37.3%和54.9%提高到46.5%、44.5%和75.4%。
2022-03-04 cs.SD eess.AS
CAPTDURE: Captioned Sound Dataset of Single Sources
Ritsumeikan University（立命馆大学）；Doshisha University（同志社大学）；Hitachi, Ltd.（株式会社日立制作所）
本文构建了单一来源声音带字幕数据集CAPTDURE（含1,044个声音和4,902条字幕），并通过实验证明单一来源声音字幕能有效从混合声中提取目标声音。
2023-05-28 cs.SD eess.AS
Exploring Text-Queried Sound Event Detection with Audio Source Separation
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Alibaba Group（阿里巴巴集团）；Fortemedia Singapore（Fortemedia新加坡公司）
本文提出 TQ-SED 框架，通过预训练改进的 AudioSep-DP 语言查询音频源分离模型分离重叠事件，再由多分支检测目标声音，显著提升 SED 性能。
2025-01-10 cs.SD eess.AS
HODGEPODGE: Sound event detection based on ensemble of semi-supervised learning methods
Fujitsu Research and Development Center（富士通研究开发中心）；Shuangfeng First（双峰第一）
在本文中，我们提出了一种名为HODGEPODGE \footnotemark [1]的方法，用于使用弱标记，合成和未标记的数据来大规模检测声音事件，该数据在声学场景和事件的检测和分类（DCASE）2019挑战任务4中提出：国内环境中的声音事件检测。为了执行这项任务，我们采用卷积递归神经网络（CRNN）作为我们的骨干网络。为了处理少量标记数据和大量未标记的域内数据，我们的目标主要集中在如何有效地应用半监督学习方法，以充分利用有限的数据。在我们的系统中使用了三个半监督学习原则，包括：1）一致性正则化应用数据增强; 2）MixUp正则化器要求两个输入的插值预测接近每个输入的预测插值; 3）MixUp正则化应用于数据增强之间的插值。我们还尝试了各种模型的集成，这些模型是通过使用不同的半监督学习原则进行训练的。我们提出的方法显着提高了基线的性能，实现了42.0%的基于事件的f-测量相比，25.8%的基于事件的f-测量的基线在提供的官方评估数据集。我们的参赛作品在任务4的18支队伍中排名第三。
2019-07-17 cs.SD eess.AS
Sound Representation and Classification Benchmark for Domestic Robots
INRIA Grenoble Rhone-Alpes（法国国立信息学与自动化研究院格勒诺布尔-罗讷-阿尔卑斯分院）；GIPSA-LAB（GIPSA实验室）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
我们解决问题的声音表示和分类，目前的国内机器人场景的背景下进行比较研究的结果。在现实条件下记录声音数据集（背景噪声、存在多个声源、混响等）。使用人形机器人NAO。一个扩展的基准进行测试的各种表示与几个分类器相结合。我们提供的注释数据集获得的结果，我们评估的方法定量的基础上，他们的分类分数，计算时间和内存要求。注释数据集可在https://team.inria.fr/perception/nard/上公开获得。
2014-02-15 cs.RO cs.SD
On Temporal Guidance and Iterative Refinement in Audio Source Separation
本文提出面向 S5 的时间引导与迭代细化方法，通过微调 Transformer 完成标注与 SED，并递归复用分离输出，显著提升音频标注和源分离性能，获 DCASE Challenge 2025 Task 4 第二名。
2025-07-23 cs.AI cs.LG cs.SD
DCASE 2024 Task 4: Sound Event Detection with Heterogeneous Data and Missing Labels
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Universite de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学与应用实验室）；Tampere University（坦佩雷大学）
该研究提出DCASE 2024任务4，面向家庭环境下跨领域、标注粒度不一且标签缺失的SED问题，并提供更新基线，验证利用异构缺失标签数据联合训练优于分领域训练。
2024-06-12 cs.SD eess.AS
Forward-Backward Convolutional Recurrent Neural Networks and Tag-Conditioned Convolutional Neural Networks for Weakly Labeled Semi-supervised Sound Event Detection
Paderborn University（帕德博恩大学）
在本文中，我们提出了我们的系统检测和分类的声学场景和事件（DCASE）2020年挑战任务4：声音事件检测和分离在国内环境。我们推出两种新模式：前向-后向卷积递归神经网络（FBCRNN）和标签条件卷积神经网络（CNN）。FBCRNN采用两个共享相同CNN的递归神经网络（RNN）分类器进行预处理。一个RNN在前向方向上处理记录，另一个在后向方向上处理记录，这两个网络被训练来联合预测音频标签，即，弱标签，在记录内的每个时间步，因为在每个时间步它们已经联合处理了整个记录。所提出的训练鼓励分类器尽快标记事件。因此，在训练之后，网络可以应用于较短的音频段，例如，200 ms，允许声音事件检测（SED）。此外，我们提出了一个标签条件CNN，以补充SED。它被训练为在使用（预测的）标签的同时预测强标签，即，弱标签，作为额外的输入。对于训练，使用来自FBCRNN系综的伪强标签。该系统在系统和团队排名中分别获得第四名和第三名。随后的改进使我们的系统甚至超过挑战基线和赢家系统的平均，分别为18.0%和2.2%的基于事件的F1分数的验证集。源代码可在https://github.com/fgnt/pb_sed上公开获取。
2021-03-11 cs.SD eess.AS
DASEE A Synthetic Database of Domestic Acoustic Scenes and Events in Dementia Patients Environment
University of Wollongong（伍伦贡大学）；University of Wollongong in Dubai（迪拜伍伦贡大学）；University of Oslo（奥斯陆大学）
访问信息数据库是显著的研究发展的一个关键部分。在国内音频分类领域，近年来有了重大进展。虽然存在若干音频数据库，但是这些数据库在它们提供的信息的信息量方面是有限的，例如声源的确切位置和相关联的噪声水平。在这项工作中，我们详细介绍了我们的方法，生成一个公正的合成国内音频数据库，包括声音场景和事件，在安静和嘈杂的环境中进行仿真。数据经过精心策划，以反映痴呆症患者环境中常见的问题，并重现现实世界中可能发生的场景。同样，生成的房间脉冲响应基于希伯来老年生活设施的典型一居室公寓。其结果是，我们提出了一个11类数据库，其中包含摘录的清洁和嘈杂的信号在5秒的持续时间，均匀采样在16 kHz。使用我们的基线模型，使用连续小波变换比例图和AlexNet，这产生了86.24%的加权F1分数。
2021-05-13 cs.AI cs.SD eess.AS
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance（字节跳动）
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源，但它们难以推广到看不见的源。在本文中，我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的，但弱标记的数据集：AudioSet。首先，我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次，我们设计了一个基于查询的音频分离模型，利用这些数据进行模型训练。第三，我们设计了一个潜在的嵌入处理器来编码查询，指定音频目标分离，允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离，并且仅依赖于弱标记数据进行训练。此外，所提出的音频分离器可以在zero-shot设置中使用，学习分离在训练中从未见过的音频源类型。为了评估分离性能，我们在MUSDB 18上测试了我们的模型，同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型，是从培训。在这两种情况下，该模型都实现了与当前监督模型相当的源失真比（SDR）性能。
2022-02-12 cs.AI cs.LG cs.MM
An Open-set Recognition and Few-Shot Learning Dataset for Audio Event Classification in Domestic Environments
Visualfy（Visualfy公司）；Universitat de Valencia（瓦伦西亚大学）；Universidad de Castilla-La Mancha（卡斯蒂利亚-拉曼恰大学）；Universitat Politècnica de València（瓦伦西亚理工大学）
用少量正样本进行训练的问题被称为少样本学习（FSL）。众所周知，传统的深度学习（DL）算法在使用大型数据集进行训练时通常表现出非常好的性能。然而，在许多应用中，不可能获得如此高数量的样本。在图像领域，典型的FSL应用包括与人脸识别相关的应用。在音频领域，音乐欺诈或说话人识别可以明显受益于FSL方法。本文论述了应用FSL检测特定的和故意的声音事件给出了不同类型的声音报警，如门铃或火警，使用有限数量的样本。这些声音通常发生在家庭环境中，其中发生了与各种各样的声音类别相对应的许多事件。因此，在实际场景中检测这样的警报可以被认为是开集识别（OSR）问题。为了解决音频FSL缺乏专用公共数据集的问题，研究人员通常会对其他可用数据集进行修改。本文旨在为音频识别社区提供OSR上下文中的FSL的仔细注释的数据集（https：//zenodo.org/record/3689288），该数据集由来自34个类别的1360个片段组成，分为模式声音和不需要的声音。为了方便和促进这方面的研究，结果与国家的最先进的基线系统的基础上迁移学习。
2022-04-11 cs.LG cs.SD eess.AS
TRUNet: Transformer-Recurrent-U Network for Multi-channel Reverberant Sound Source Separation
Sony Europe B.V.（索尼欧洲有限公司）
近年来，已经提出了许多用于单通道声源分离的深度学习技术，这些技术使用递归、卷积和Transformer网络。当多个麦克风可用时，除了频谱-时间分集之外，扬声器和背景噪声之间的空间分集还可以通过使用多通道滤波器来进行声源分离。针对端到端的多通道信号源分离问题，提出了一种基于变换递归U型网络（TRUNet）的多通道信号源分离算法。TRUNet由一个空间处理网络和一个频谱-时间处理网络组成，空间处理网络具有跨麦克风通道的注意机制，旨在捕获空间多样性，频谱-时间处理网络旨在捕获频谱和时间多样性。除了多通道滤波器，我们还考虑使用TRUNet从多通道输入光谱估计单通道滤波器。我们使用组合的压缩均方误差损失函数在大型混响数据集上训练网络，这进一步提高了声音分离性能。我们评估网络上的一个现实的和具有挑战性的混响数据集，从测量的房间脉冲响应的实际麦克风阵列。对实际混响声源分离的实验结果表明，TRUNet方法的分离效果优于现有的单通道和多通道声源分离方法。
2022-08-22 cs.SD eess.AS eess.SP
Anomalous Sound Detection Based on Sound Separation
Ritsumeikan University（立命馆大学）；Hitachi, Ltd.（日立制作所）
本文提出基于声音分离的无监督异常声音检测方法，通过预处理分离和基于分离的离群值暴露两种策略消除背景干扰，在实验中使所有机器ID的检测性能最高提升39%。
2023-05-25 cs.SD eess.AS
Large Language Model-based Nonnegative Matrix Factorization For Cardiorespiratory Sound Separation
McMaster University（麦克马斯特大学）
本研究首次将大语言模型（LLMs）与非负矩阵分解（NMF）结合用于心肺音分离，通过两种独特方式应用LLM优化分离效果，在两个数据集上持续优于现有方法，为疾病诊断用医疗声音分析提供新方案。
2025-02-09 cs.SD eess.AS eess.SP
RMS-AQA: A Two-Stage Spatial Audio Question Answering Benchmark for Real-World Domestic Environments
NVIDIA（英伟达）
针对家庭具身助手的空间音频理解需求，提出双阶段SAQA基准RMS-AQA，结合真实FOA录音与RIR合成数据，并引入轻量空间插件，实验揭示并发源、远距离及域差距为主要挑战。
2026-10-27 cs.SD eess.AS
GISE-51: A scalable isolated sound events dataset
University of Glasgow（格拉斯哥大学）
大多数现有的孤立的声音事件数据集包括少量的声音事件类别，通常为10至15个，限于一个小的领域，如家庭和城市的声音事件。在这项工作中，我们介绍了GISE-51，一个数据集跨越51个孤立的声音事件属于一个广泛的域的事件类型。我们还发布了GISE-51-Mixtures，这是一个5秒音景数据集，具有从GISE-51孤立声音事件合成的硬标记事件边界。我们在GISE-51-Mixtures数据集上进行了基线声音事件识别（SER）实验，对著名的卷积神经网络进行了基准测试，使用该数据集训练的模型在现有的音频识别基准测试中表现出强大的迁移学习性能。GISE-51和GISE-51-Mixtures一起试图解决最近声音事件数据集的一些缺点，为未来的研究提供一个开放的，可重复的基准，以及为特定领域的应用程序调整所包含的孤立声音事件的自由。
2021-10-07 cs.SD eess.AS
Foreground-Background Ambient Sound Scene Separation
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LITIS EA 4108（信息处理与系统实验室）；Université & INSA Rouen Normandie（鲁昂-诺曼底大学与国立应用科学学院）
环境声音场景通常包括在稍微静止的背景之上发生的多个短事件。我们考虑将这些事件与背景分离的任务，我们称之为前景-背景环境声音场景分离。我们提出了一个基于深度学习的分离框架，该框架具有合适的特征归一化方案和捕获背景统计数据的可选辅助网络，我们研究了它处理环境声音场景中遇到的各种声音类别的能力，这些声音类别通常在训练中看不到。为此，我们使用DESED和Audioset数据集中的孤立声音创建单通道前景-背景混合物，并在各种信噪比下使用可见或不可见声音类别的混合物进行广泛的实验。我们的实验结果表明，所提出的方法的泛化能力。
2020-07-27 cs.LG cs.SD eess.AS
Distance-Based Sound Separation
Google Research（谷歌研究院）
我们提出了基于距离的声音分离的新任务，其中声音仅根据它们与单个麦克风的距离分离。在辅助听音设备的上下文中，接近度为嘈杂环境中的声音选择提供了一个简单的标准，这将允许用户专注于与本地对话相关的声音。我们证明了这种方法的可行性，通过训练神经网络来分离近的声音从远的声音在单通道合成混响混合物，相对于一个阈值距离定义的边界附近和远。对于单个附近扬声器和四个远处扬声器，该模型将尺度不变的信噪比提高了4.4 dB（对于近处声音）和6.8 dB（对于远处声音）。
2022-07-01 cs.SD eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University（密歇根州立大学）；University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题，提出AVSA-Sep框架，通过语义解析器和场景信息分离器，结合联合训练与跨模态对齐，成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
Noisy Neonatal Chest Sound Separation for High-Quality Heart and Lung Sounds
Monash University（莫纳什大学）；Shiraz University（设拉子大学）；Emory University（埃默里大学）；Monash Children’s Hospital（莫纳什儿童医院）；University British Columbia（不列颠哥伦比亚大学）；BC Children’s Hospital Research Institute（不列颠哥伦比亚儿童医院研究所）
听诊器记录的胸部声音为新生儿的远程心肺健康监测提供了机会。然而，可靠的监测需要高质量的心肺音。本文提出了新的非负矩阵分解（NMF）和非负矩阵共分解（NMCF）的新生儿胸部声音分离的方法。为了评估这些方法并与现有的单源分离方法进行比较，生成了包括心脏，肺和噪声声音的人工混合数据集。然后计算这些人工混合物的信噪比。这些方法也在真实世界嘈杂的新生儿胸部声音上进行了测试，并根据我们以前的工作中开发的生命体征估计误差和1-5的信号质量评分进行了评估。此外，所有方法的计算成本进行了评估，以确定实时处理的适用性。总体而言，所提出的NMF和NMCF方法都优于下一个最佳现有方法，对于人工数据集为2.7dB至11.6dB，对于真实世界数据集为0.40至1.12的信号质量改善。10秒录音的声音分离的中位处理时间对于NMCF为28.3秒，对于NMF为342毫秒。由于稳定和强大的性能，我们相信，我们提出的方法是有用的去噪新生儿心脏和肺的声音在现实世界的环境。拟议和现有方法的代码可在https://github.com/egrooby-monash/Heart-and-Lung-Sound-Separation上找到。
2022-01-10 cs.LG cs.SD eess.AS
High-Quality Visually-Guided Sound Separation from Diverse Categories
University of Rochester（罗切斯特大学）；Meta Reality Labs Research（Meta现实实验室）
提出基于扩散的视听分离框架DAVIS，利用生成扩散模型和Separation U-Net从高斯噪声合成分离声音，在AVE和MUSIC数据集上分离质量优于现有判别式方法。
2024-10-10 cs.CV cs.SD eess.AS
Real-time separation of non-stationary sound fields on spheres
The Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
声场分离方法可以将目标声场从噪声中分离出来，便于研究噪声环境中目标声源的声学特性。然而，大多数现有的声场分离方法都是在频域中导出的，因此最适合于分离平稳声场。本文提出了一种时域声场分离方法，可以实时分离目标声源在球体上产生的非平稳声场。球形阵列在目标源和干扰源之间建立边界，使得阵列上的出射场仅由目标源产生。该方法将阵列测量的压力和粒子径向速度分解为球谐系数，并根据分解系数与理论推导的空间滤波器响应之间的时域关系恢复目标出射场。仿真结果表明，该方法可以在较长的时间内分离出自由场和室内环境中的非平稳声场，且误差较小。所提出的方法可以作为发展未来的时域空间声场操纵算法的基础。
2019-01-16 cs.SD eess.AS
DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification
Electrical Engineering Korea Advanced Institute of Science（电气工程韩国科学技术院）
本文提出DeFT-Mamba框架，结合DeFTAN与Mamba实现多声道声音分离与复调分类，引入基于分类的声源计数和分离精调，在模拟真实环境的通用数据集上大幅超越现有方法。
2024-09-19 cs.SD eess.AS
Improving Universal Sound Separation Using Sound Classification
Google（谷歌）
深度学习方法最近在音频声源分离和声音分类方面都取得了令人印象深刻的性能。大多数音频声源分离方法仅关注于分离属于诸如语音和音乐的声源类别的受限域的声源。然而，最近的工作已经证明了“通用声音分离”的可能性，其目的是将声源从开放域中分离出来，而不管它们的类别。在本文中，我们利用在大量不同声音上训练的声音分类器网络学习的语义信息来改进通用声音分离。特别是，我们表明，从声音分类器中提取的语义嵌入可用于调节分离网络，为其提供有用的附加信息。这种方法在迭代设置中特别有用，其中来自初始分离阶段的源估计及其对应的分类器导出的嵌入被馈送到第二分离网络。通过执行由一千多个实验组成的彻底的超参数搜索，我们发现来自干净源的分类器嵌入提供了近1 dB的SNR增益，并且我们最好的迭代模型实现了这个预言性能的很大一部分，为通用声音分离建立了新的最先进的技术。
2019-11-18 cs.LG cs.SD eess.AS
Recursive Visual Sound Separation Using Minus-Plus Net
The Chinese University of Hong Kong（香港中文大学）
声音为许多任务提供了丰富的语义，与视觉数据互补。然而，在实践中，来自多个来源的声音经常混合在一起。在本文中，我们提出了一种新的框架，称为MinusPlus网络（MP-Net），视觉声音分离的任务。MP-Net以平均能量的顺序递归地分离声音，在每次预测结束时从混合物中移除分离的声音，直到混合物变成空的或只包含噪声。通过这种方式，MP-Net可以应用于具有任意数量和类型的声音的声音混合。此外，当MP-Net不断从混合物中去除能量较大的声音时，能量较小的声音可能会出现并变得更清晰，从而使分离更准确。与以前的方法相比，MP-Net在两个大规模数据集上获得了最先进的结果，跨越了不同类型和数量的声音的混合。
2019-10-23 cs.CV cs.SD eess.AS
Separation of Moving Sound Sources Using Multichannel NMF and Acoustic Tracking
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了一种方法分离的运动声源。该方法首先跟踪源，然后使用多通道非负矩阵分解（NMF）估计源谱图，并通过单通道维纳滤波从混合物中提取源。我们提出了一种新的多通道NMF模型与空间协方差矩阵（SCM）表示的源随时间变化的混合，并提供更新方程优化模型参数最小化平方Frobenius范数。该模型的SCM获得的基础上估计的到达方向的跟踪源在每个时间帧。评估是基于既定的客观分离标准，并使用两个和三个同时移动声源的真实录音。比较的方法包括传统的波束形成和理想比率掩模分离。所提出的方法被证明超过其他评估盲方法的分离质量根据所有测量的数量。此外，我们通过比较使用注释的地面真实源轨迹实现的分离质量来评估该方法对跟踪误差的敏感性。
2017-10-27 cs.SD eess.AS
End-to-end Non-Negative Autoencoders for Sound Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
声源分离的判别模型最近被证明能产生令人印象深刻的结果。然而，当在训练集之外的源上操作时，这些模型不能很好地执行并且更新起来很麻烦。经典的方法，如非负矩阵分解（NMF）提供了模块化的方法来声源分离，可以很容易地更新，以适应新的混合场景。在本文中，我们推广NMF开发端到端的非负自动编码器，并演示如何将它们用于声源分离。我们的实验表明，这些模型提供了相当的分离性能的歧视性的方法，同时保留了模块化的NMF和神经网络的建模灵活性。
2019-10-31 cs.SD eess.AS
Text-Driven Separation of Arbitrary Sounds
Google Research（谷歌研究院）
我们提出了一种方法，从一个单一的通道混合分离所需的声源，基于文本描述或目标源的短音频样本。这是通过结合两种不同的模式来实现的。第一个模型SoundWords被训练为将音频片段及其文本描述联合嵌入到共享表示中的相同嵌入中。第二个模型SoundFilter将混合源音频片段作为输入，并基于条件向量将其与SoundWords定义的共享文本音频表示分离，使模型与条件模态无关。在多个数据集上进行评估，我们表明，我们的方法可以实现9.1 dB的SI-SDR的两个任意的声音的混合物时，以文本为条件，10.1 dB时，以音频为条件。我们还表明，SoundWords在学习共嵌入方面是有效的，我们的多模态训练方法提高了SoundFilter的性能。
2022-04-12 cs.SD eess.AS
Cyclic Co-Learning of Sounding Object Visual Grounding and Sound Separation
University of Rochester（罗切斯特大学）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
在我们的日常生活中，存在着丰富的同步视听事件。在事件内部，音频场景与相应的视觉对象相关联;同时，发声对象可以指示并帮助分离音轨中的各个声音。基于这一观察，在本文中，我们提出了一个循环的共同学习（CCoL）的范例，可以共同学习发声对象的视觉接地和视听声音分离在一个统一的框架。具体地说，我们可以利用扎根的物体-声音关系来改善声音分离的结果。同时，利用分离出的声音所提供的判别信息，改进了探测目标接地的训练样本采样方法，为两个任务建立了一个协同学习的循环，使它们相互受益。大量的实验表明，该框架在这两个任务上都优于最近的方法，并且它们可以通过我们的循环协同学习相互受益。
2021-04-05 cs.CV cs.MM cs.SD
Weakly Supervised Source-Specific Sound Level Estimation in Noisy Soundscapes
New York University（纽约大学）；New Jersey Institute of Technology（新泽西理工学院）；Northwestern University（西北大学）
虽然对声源是什么、它们何时发生以及它们来自何处的估计已经得到了很好的研究，但对这些声源有多大的估计经常被忽视。目前的解决方案，我们称之为源特定的声级估计（SSSLE），遭受的挑战，由于不切实际的获取现实的数据和缺乏鲁棒性的现实记录条件。最近提出的弱监督源分离提供了一种利用剪辑级源注释来训练源分离模型的方法，我们用修改后的损失函数来弥补源分离和SSSLE之间的差距，并解决背景的存在。我们表明，我们的方法提高了SSSLE的性能相比，基线源分离模型，并提供消融分析，探索我们的方法的设计选择，显示SSSLE在实际的记录和注释的情况下是可能的。
2021-07-29 cs.SD eess.AS
Consistent and Relevant: Rethink the Query Embedding in General Sound Separation
Tencent AI Lab（腾讯AI实验室）
针对查询嵌入与分离模型不匹配问题，提出CaRE-SEP，通过共享网络结构和特征信息统一查询编码与分离，显著提升通用声音分离性能。
2023-12-24 cs.SD eess.AS
What's All the FUSS About Free Universal Sound Separation Data?
Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；Adobe Research（奥多比研究院）；Descript, Inc.（Descript公司）
我们介绍了自由通用声音分离（FUSS）数据集，一个新的语料库，用于从开放的声音类型域中分离未知数量的声音混合物的实验。该数据集由23小时的单源音频数据组成，这些数据来自357个类，用于创建一到四个源的混合。为了模拟混响，使用声学房间模拟器来生成具有频率依赖性反射壁的箱形房间的脉冲响应。还提供了额外的开放源数据扩充工具，以产生具有不同源和室内模拟组合的新混合物。最后，我们介绍了一个开源的基线分离模型，基于改进的时域卷积网络（TDCN++），可以分离混合物中的可变数量的源。该模型实现了9.8 dB的尺度不变的信噪比改善（SI-SNRi）的混合物与两个到四个源，而重建的单源输入与35.5 dB的绝对SI-SNR。我们希望这个数据集将降低新研究的障碍，并允许快速迭代和应用其他机器学习领域的新技术来解决声音分离的挑战。
2020-11-02 cs.SD eess.AS
A New Non-Negative Matrix Co-Factorisation Approach for Noisy Neonatal Chest Sound Separation
Monash University（莫纳什大学）
获得高质量的心肺音使临床医生能够准确评估新生儿的心肺健康状况并提供及时的护理。然而，嘈杂的胸部声音记录是常见的，阻碍了及时和准确的评估。提出了一种新的基于非负矩阵协分解的方法，将嘈杂的胸部声音记录分离为心脏、肺和噪声分量，以解决这个问题。这种方法是通过使用20个高质量的心肺声音进行训练来实现的，同时分离嘈杂录音的声音。该方法进行了测试，68个10秒的嘈杂录音，包含心脏和肺的声音，并与目前最先进的非负矩阵分解方法。结果表明，显着改善的心脏和肺的声音质量分数分别，提高了3.6bpm和1.2bpm的心脏和呼吸率估计的准确性，分别与现有的方法相比。
2021-09-04 cs.LG cs.SD eess.AS
Tackling the Cocktail Fork Problem for Separation and Transcription of Real-World Soundtracks
Indiana University（印第安纳大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Microsoft Corporation（微软公司）；Carnegie Mellon University（卡内基梅隆大学）
模仿人类解决鸡尾酒会问题的能力，即，在复杂的声学场景中聚焦感兴趣的声源，是声源分离研究的长期目标。这项研究的大部分是研究如何将语音与噪音、语音与语音、乐器与乐器、声音事件与声音事件分离。在本文中，我们专注于鸡尾酒叉问题，它采取了三管齐下的方法来分离音频混合，如电影配乐或播客到语音，音乐和音效（SFX -理解为包括环境噪声和自然声音事件）的三大类。我们对几种基于深度学习的源分离模型在此任务上的性能进行了基准测试，并根据简单的客观指标（如信号失真比（SDR））以及与人类感知更相关的客观指标对其进行了评估。此外，我们彻底评估源分离如何影响下游转录任务。首先，我们研究了三个源的活动检测任务，作为进一步改进源分离和执行转录的一种方式。我们将转录任务制定为针对语音的语音识别和针对音乐和SFX的音频标记。我们观察到，虽然使用的源分离估计提高转录性能相比，原声带，性能仍然是次优的，由于分离过程中引入的文物。因此，我们深入研究如何混音的三个分离的源干在各种相对水平可以减少文物，从而提高转录性能。我们发现，在17.5 dB的目标SNR的混音音乐和SFX干扰降低了语音识别字错误率，并观察到类似的影响，从混音标记音乐和SFX内容。
2022-12-14 cs.SD eess.AS
V-SlowFast Network for Efficient Visual Sound Separation
Tampere University（坦佩雷大学）
本文的目标是执行视觉声音分离：i）我们研究不同时间分辨率的声谱图上的视觉声音分离; ii）我们提出了一个新的轻量级但高效的三流框架V-SlowFast，它在Visual帧，Slow声谱图和Fast声谱图上运行。Slow spectrogram捕获粗略的时间分辨率，而Fast spectrogram包含细粒度的时间分辨率; iii）我们引入了两个对比目标，以鼓励网络学习用于分离声音的区分性视觉特征; iv）我们提出了用于音频和视觉特征融合的视听全局注意力模块; v）引入的V-SlowFast模型在小型和大型数据集上基于单帧的视觉声音分离方面优于先前的最新技术：MUSIC-21，AVE和VGG-Sound。我们还提出了一个小的V-SlowFast架构变体，与以前的多阶段模型相比，模型参数的数量减少了74.2%，GMAC减少了81.4%。项目页面：https://ly-zhu.github.io/V-SlowFast
2021-09-21 cs.CV cs.SD eess.AS
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
MERL（三菱电机研究实验室）
鸡尾酒会问题旨在分离复杂声学场景中的任何感兴趣的源，并且长期以来一直激发音频源分离研究。最近的努力主要集中在从噪声中分离语音，从语音中分离语音，将乐器彼此分离，或将声音事件彼此分离。然而，分离音频混合（例如，电影原声带）分为语音、音乐和声音效果（理解为包括环境噪声和自然声音事件）这三大类，尽管有广泛的潜在应用，但在很大程度上还没有被探索。本文将此任务形式化为鸡尾酒叉子问题，并提出了Divide and Remaster（DnR）数据集以促进对该主题的研究。DnR是由三个成熟的音频数据集（LibriSpeech，FMA，FSD 50 k）构建的，在源重叠和相对响度方面，注意再现类似于专业制作内容的条件，并以CD质量提供。我们基准的标准源分离算法的DnR，并进一步引入一个新的多分辨率模型，以更好地解决各种声学特性的三种源类型。我们最好的模型产生的SI-SDR的改善超过11.0 dB的音乐，11.2 dB的语音和10.8 dB的声音效果的混合。
2022-03-24 cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Adversarial Permutation Invariant Training for Universal Sound Separation
Dolby Laboratories（杜比实验室）；Sapienza University of Rome（罗马第一大学）
通用声音分离包括分离与不同类型的任意声音的混合，并且使用排列不变训练（PIT）来训练这样做的源不可知模型。在这项工作中，我们补充PIT与对抗性损失，但发现它具有挑战性的语音声源分离中使用的标准配方。我们通过一种新的基于I替换上下文的对抗性损失，并通过使用多个鉴别器进行训练来克服这一挑战。我们的实验表明，通过简单地改善损失（保持相同的模型和数据集），我们在混响FUSS数据集中获得了不可忽略的1.4 dB SI-SNRi的改善。我们还发现对抗性PIT可以有效地减少光谱空洞，这在基于掩模的分离模型中无处不在，这突出了对抗性损失对声源分离的潜在相关性。
2023-03-06 cs.LG cs.SD eess.AS
Universal Sound Separation with Self-Supervised Audio Masked Autoencoder
University of Surrey（萨里大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出将自监督音频掩码自编码器集成到通用声音分离系统中，通过冻结或更新其参数并结合STFT特征，在AudioSet上提升了ResUNet模型的分离性能。
2024-11-06 cs.AI cs.SD eess.AS
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation（索尼集团公司）；University of California San Diego（加州大学圣地亚哥分校）
近年来，已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而，有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外，现有数据集中提供的音频通常是在受控环境中记录的，这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中，我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁，学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练（CLIP）模型将输入查询编码成查询向量，然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的，但在测试时，我们可以在zero-shot设置中使用文本输入查询模型，这要归功于CLIP模型学习的联合语言-图像嵌入。此外，野外视频通常包含屏幕外声音和背景噪声，这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题，我们进一步提出了一种称为噪声不变训练的方法，用于在噪声数据上训练基于查询的声音分离模型。实验结果表明，所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频，甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
