Focus on the Sound around You: Monaural Target Speaker Extraction via Distance and Speaker Information
Tsinghua University（清华大学）；Xiaomi Inc.（小米公司）
针对强混响噪声环境下目标说话人提取难获取辅助说话人信息的问题，提出结合距离信息、采用说话人嵌入自注册和全子带建模的近场声音提取器，跨数据集实验验证其有效性和优异性能。
2023-10-07 cs.SD eess.AS
Real-time binaural speech separation with preserved spatial cues
Columbia University（哥伦比亚大学）
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出，因此丢弃了空间声源定位所需的空间线索。然而，保留空间信息在许多旨在准确呈现声学场景的应用中是重要的，例如在助听器和增强现实（AR）中。在这里，我们提出了一种语音分离算法，保留分离的声源的耳间线索，可以实现低延迟和高保真度，因此能够实时修改的声学场景。基于时域音频分离网络（TasNet），一个单通道时域语音分离系统，可以在实时实现，我们提出了一个多输入多输出（MIMO）端到端的TasNet扩展，以双耳混合音频作为输入，同时分离目标扬声器在两个通道。实验结果表明，所提出的端到端MIMO系统能够显著提高分离性能，并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）；Facebook AI Research（Facebook AI研究院）
我们介绍了一种新的视听语音分离方法。给定视频，目标是提取与面部相关联的语音，而不管同时的背景声音和/或其他人类说话者。而现有的方法专注于学习扬声器的嘴唇运动和他们产生的声音之间的对齐，我们建议利用扬声器的面部外观作为额外的之前，隔离相应的声乐质量，他们可能会产生。我们的方法联合学习视听语音分离和跨模态扬声器嵌入未标记的视频。它在五个用于视听语音分离和增强的基准数据集上产生了最先进的结果，并很好地推广到具有挑战性的各种场景的真实世界视频。我们的视频结果和代码：http://vision.cs.utexas.edu/projects/VisualVoice/.
2021-04-06 cs.CV cs.SD eess.IV
Improving Universal Sound Separation Using Sound Classification
Google（谷歌）
深度学习方法最近在音频声源分离和声音分类方面都取得了令人印象深刻的性能。大多数音频声源分离方法仅关注于分离属于诸如语音和音乐的声源类别的受限域的声源。然而，最近的工作已经证明了“通用声音分离”的可能性，其目的是将声源从开放域中分离出来，而不管它们的类别。在本文中，我们利用在大量不同声音上训练的声音分类器网络学习的语义信息来改进通用声音分离。特别是，我们表明，从声音分类器中提取的语义嵌入可用于调节分离网络，为其提供有用的附加信息。这种方法在迭代设置中特别有用，其中来自初始分离阶段的源估计及其对应的分类器导出的嵌入被馈送到第二分离网络。通过执行由一千多个实验组成的彻底的超参数搜索，我们发现来自干净源的分类器嵌入提供了近1 dB的SNR增益，并且我们最好的迭代模型实现了这个预言性能的很大一部分，为通用声音分离建立了新的最先进的技术。
2019-11-18 cs.LG cs.SD eess.AS
Anomalous Sound Detection Based on Sound Separation
Ritsumeikan University（立命馆大学）；Hitachi, Ltd.（日立制作所）
本文提出基于声音分离的无监督异常声音检测方法，通过预处理分离和基于分离的离群值暴露两种策略消除背景干扰，在实验中使所有机器ID的检测性能最高提升39%。
2023-05-25 cs.SD eess.AS
Improving Sound Event Detection In Domestic Environments Using Sound Separation
French National Research Agency（法国国家研究署）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；RENATER（法国国家电信通信网络）
对真实世界录音执行声音事件检测通常意味着处理重叠的目标声音事件和非目标声音，也称为干扰或噪声。到目前为止，这些问题主要在分类器级别解决。我们建议使用声音分离作为声音事件检测的预处理。在本文中，我们从在Free Universal Sound Separation数据集和DCASE 2020任务4声音事件检测基线上训练的声音分离模型开始。我们探索不同的方法来结合分离的声源和原始的混合物内的声音事件检测。此外，我们调查的声音分离模型，以适应声音事件检测数据上的声音分离和声音事件检测的影响。
2020-07-08 cs.SD eess.AS eess.SP
Leveraging Sound Source Trajectories for Universal Sound Separation
National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（国家级通用人工智能重点实验室，智能科学与技术学院，北京大学）
提出一种利用声源定位与分离相互促进机制的方法，通过迭代跟踪和波束形成实现移动声源的精确分离。
2026-06-15 cs.SD eess.AS
Separating Invisible Sounds Toward Universal Audiovisual Scene-Aware Sound Separation
Michigan State University（密歇根州立大学）；University of Rochester（罗切斯特大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有视听声音分离方法无法处理相机视野外不可见声音的问题，提出AVSA-Sep框架，通过语义解析器和场景信息分离器，结合联合训练与跨模态对齐，成功实现可见与不可见声音的分离。
2023-10-18 cs.CV cs.SD eess.AS
End-to-End Sound Source Separation Conditioned On Instrument Labels
Pompeu Fabra University（庞培法布拉大学）；University of Waterloo（滑铁卢大学）；Joint Research Centre (EC)（（欧盟委员会）联合研究中心）
我们是否可以使用深度学习模型对不同数量的源执行端到端音乐声源分离？我们提出了一个扩展的Wave-U-Net模型，它允许端到端的单声道声源分离与非固定数量的来源。此外，我们提出了乘法条件与仪器标签的Wave-U-Net的瓶颈，并显示其对分离结果的影响。这种方法导致其他类型的条件反射，如视听声源分离和分数通知声源分离。
2019-05-09 cs.LG cs.SD eess.AS
Sound Event Detection and Separation: a Benchmark on Desed Synthetic Soundscapes
University de Lorraine（洛林大学）
我们提出了一个国家的最先进的声音事件检测系统（SED）的基准。我们设计的综合评估集专注于特定的声音事件检测挑战。我们根据与时间相关的修改（事件的时间位置和剪辑长度）来分析提交给DCASE 2021任务4的性能，并研究非目标声音事件和混响的影响。我们发现，本地化的声音事件的时间仍然是一个问题，SED系统。我们还表明，混响和非目标声音事件严重降低了SED系统的性能。在后一种情况下，声音分离似乎是一个有前途的解决方案。
2020-11-02 cs.SD eess.AS
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation（索尼集团公司）；University of California San Diego（加州大学圣地亚哥分校）
近年来，已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而，有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外，现有数据集中提供的音频通常是在受控环境中记录的，这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中，我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁，学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练（CLIP）模型将输入查询编码成查询向量，然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的，但在测试时，我们可以在zero-shot设置中使用文本输入查询模型，这要归功于CLIP模型学习的联合语言-图像嵌入。此外，野外视频通常包含屏幕外声音和背景噪声，这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题，我们进一步提出了一种称为噪声不变训练的方法，用于在噪声数据上训练基于查询的声音分离模型。实验结果表明，所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频，甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Foreground-Background Ambient Sound Scene Separation
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LITIS EA 4108（信息处理与系统实验室）；Université & INSA Rouen Normandie（鲁昂-诺曼底大学与国立应用科学学院）
环境声音场景通常包括在稍微静止的背景之上发生的多个短事件。我们考虑将这些事件与背景分离的任务，我们称之为前景-背景环境声音场景分离。我们提出了一个基于深度学习的分离框架，该框架具有合适的特征归一化方案和捕获背景统计数据的可选辅助网络，我们研究了它处理环境声音场景中遇到的各种声音类别的能力，这些声音类别通常在训练中看不到。为此，我们使用DESED和Audioset数据集中的孤立声音创建单通道前景-背景混合物，并在各种信噪比下使用可见或不可见声音类别的混合物进行广泛的实验。我们的实验结果表明，所提出的方法的泛化能力。
2020-07-27 cs.LG cs.SD eess.AS
High-Quality Visually-Guided Sound Separation from Diverse Categories
University of Rochester（罗切斯特大学）；Meta Reality Labs Research（Meta现实实验室）
提出基于扩散的视听分离框架DAVIS，利用生成扩散模型和Separation U-Net从高斯噪声合成分离声音，在AVE和MUSIC数据集上分离质量优于现有判别式方法。
2024-10-10 cs.CV cs.SD eess.AS
Distance-Based Sound Separation
Google Research（谷歌研究院）
我们提出了基于距离的声音分离的新任务，其中声音仅根据它们与单个麦克风的距离分离。在辅助听音设备的上下文中，接近度为嘈杂环境中的声音选择提供了一个简单的标准，这将允许用户专注于与本地对话相关的声音。我们证明了这种方法的可行性，通过训练神经网络来分离近的声音从远的声音在单通道合成混响混合物，相对于一个阈值距离定义的边界附近和远。对于单个附近扬声器和四个远处扬声器，该模型将尺度不变的信噪比提高了4.4 dB（对于近处声音）和6.8 dB（对于远处声音）。
2022-07-01 cs.SD eess.AS
Two-Step Sound Source Separation: Training on Learned Latent Targets
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mila--Quebec Artificial Intelligence Institute（Mila-魁北克人工智能研究所）；Adobe Research（Adobe研究院）
在本文中，我们提出了一个两步的训练过程，通过深度神经网络的声源分离。在第一步中，我们学习到潜在空间的变换（并且它是逆变换），其中使用oracle的基于掩蔽的分离性能是最佳的。对于第二步，我们训练一个分离模块，该模块在先前学习的空间上操作。为了做到这一点，我们还利用了一个尺度不变的信号失真比（SI-SDR）的损失函数，在潜在的空间，我们证明了它下界SI-SDR在时域。我们运行各种声音分离实验，展示了这种方法如何获得更好的性能相比，学习变换和分离模块联合系统。所提出的方法是通用的，足以适用于一个大类的神经网络端到端的分离系统。
2019-10-23 cs.CL cs.LG cs.SD
Recursive Visual Sound Separation Using Minus-Plus Net
The Chinese University of Hong Kong（香港中文大学）
声音为许多任务提供了丰富的语义，与视觉数据互补。然而，在实践中，来自多个来源的声音经常混合在一起。在本文中，我们提出了一种新的框架，称为MinusPlus网络（MP-Net），视觉声音分离的任务。MP-Net以平均能量的顺序递归地分离声音，在每次预测结束时从混合物中移除分离的声音，直到混合物变成空的或只包含噪声。通过这种方式，MP-Net可以应用于具有任意数量和类型的声音的声音混合。此外，当MP-Net不断从混合物中去除能量较大的声音时，能量较小的声音可能会出现并变得更清晰，从而使分离更准确。与以前的方法相比，MP-Net在两个大规模数据集上获得了最先进的结果，跨越了不同类型和数量的声音的混合。
2019-10-23 cs.CV cs.SD eess.AS
Noisy Neonatal Chest Sound Separation for High-Quality Heart and Lung Sounds
Monash University（莫纳什大学）；Shiraz University（设拉子大学）；Emory University（埃默里大学）；Monash Children’s Hospital（莫纳什儿童医院）；University British Columbia（不列颠哥伦比亚大学）；BC Children’s Hospital Research Institute（不列颠哥伦比亚儿童医院研究所）
听诊器记录的胸部声音为新生儿的远程心肺健康监测提供了机会。然而，可靠的监测需要高质量的心肺音。本文提出了新的非负矩阵分解（NMF）和非负矩阵共分解（NMCF）的新生儿胸部声音分离的方法。为了评估这些方法并与现有的单源分离方法进行比较，生成了包括心脏，肺和噪声声音的人工混合数据集。然后计算这些人工混合物的信噪比。这些方法也在真实世界嘈杂的新生儿胸部声音上进行了测试，并根据我们以前的工作中开发的生命体征估计误差和1-5的信号质量评分进行了评估。此外，所有方法的计算成本进行了评估，以确定实时处理的适用性。总体而言，所提出的NMF和NMCF方法都优于下一个最佳现有方法，对于人工数据集为2.7dB至11.6dB，对于真实世界数据集为0.40至1.12的信号质量改善。10秒录音的声音分离的中位处理时间对于NMCF为28.3秒，对于NMF为342毫秒。由于稳定和强大的性能，我们相信，我们提出的方法是有用的去噪新生儿心脏和肺的声音在现实世界的环境。拟议和现有方法的代码可在https://github.com/egrooby-monash/Heart-and-Lung-Sound-Separation上找到。
2022-01-10 cs.LG cs.SD eess.AS
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan（日本索尼集团公司）；Sony AI, USA（美国索尼人工智能）
MMAudioSep基于预训练视频到音频模型，通过利用视频/文本与音频的关系实现更高效的声学分离，优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD
Cyclic Co-Learning of Sounding Object Visual Grounding and Sound Separation
University of Rochester（罗切斯特大学）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
在我们的日常生活中，存在着丰富的同步视听事件。在事件内部，音频场景与相应的视觉对象相关联;同时，发声对象可以指示并帮助分离音轨中的各个声音。基于这一观察，在本文中，我们提出了一个循环的共同学习（CCoL）的范例，可以共同学习发声对象的视觉接地和视听声音分离在一个统一的框架。具体地说，我们可以利用扎根的物体-声音关系来改善声音分离的结果。同时，利用分离出的声音所提供的判别信息，改进了探测目标接地的训练样本采样方法，为两个任务建立了一个协同学习的循环，使它们相互受益。大量的实验表明，该框架在这两个任务上都优于最近的方法，并且它们可以通过我们的循环协同学习相互受益。
2021-04-05 cs.CV cs.MM cs.SD
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey（萨里大学）
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别，例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中，我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记，而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后，学习从两个随机选择的片段的混合到目标片段的回归，该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net，在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
Real-time separation of non-stationary sound fields on spheres
The Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）
声场分离方法可以将目标声场从噪声中分离出来，便于研究噪声环境中目标声源的声学特性。然而，大多数现有的声场分离方法都是在频域中导出的，因此最适合于分离平稳声场。本文提出了一种时域声场分离方法，可以实时分离目标声源在球体上产生的非平稳声场。球形阵列在目标源和干扰源之间建立边界，使得阵列上的出射场仅由目标源产生。该方法将阵列测量的压力和粒子径向速度分解为球谐系数，并根据分解系数与理论推导的空间滤波器响应之间的时域关系恢复目标出射场。仿真结果表明，该方法可以在较长的时间内分离出自由场和室内环境中的非平稳声场，且误差较小。所提出的方法可以作为发展未来的时域空间声场操纵算法的基础。
2019-01-16 cs.SD eess.AS
DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification
Electrical Engineering Korea Advanced Institute of Science（电气工程韩国科学技术院）
本文提出DeFT-Mamba框架，结合DeFTAN与Mamba实现多声道声音分离与复调分类，引入基于分类的声源计数和分离精调，在模拟真实环境的通用数据集上大幅超越现有方法。
2024-09-19 cs.SD eess.AS
Self-Supervised Learning from Automatically Separated Sound Scenes
Google Research（谷歌研究院）
真实世界的声音场景由随时间变化的声源集合组成，每个声源都生成在音频记录中混合在一起的特征声音事件。这些组成声音事件与它们的混合物和彼此的关联在语义上受到约束：声音场景包含源类的联合，而不是所有类自然地共同出现。有了这个动机，本文探讨了使用无监督的自动声音分离分解成多个语义链接的意见，用于自我监督的对比学习未标记的声音场景。我们发现，学习将输入混合物与其自动分离的输出相关联，比过去单独使用混合物的方法产生更强的表示。此外，我们发现，最佳的声源分离是不需要成功的对比学习，证明了一系列的分离系统的收敛状态都导致有用的，往往是互补的例子变换。我们最好的系统将这些无监督分离模型集成到一个单一的增强前端中，并联合优化视图中的相似性最大化和重合预测目标。其结果是一个无监督的音频表示，竞争对手的国家的最先进的替代品上建立浅AudioSet分类基准。
2021-09-15 cs.LG cs.SD eess.AS
Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（脸书人工智能研究院）
我们探讨了动态声源的主动视听分离，其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流（例如，多个人交谈和乐队在嘈杂的聚会上演奏音乐）。在有限的时间预算下，它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存，学习运动策略来控制其摄像头和麦克风恢复动态目标音频，使用自我注意力，使高质量的估计当前的时间步长，并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟，我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目：https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
Patient-Aware Feature Alignment for Robust Lung Sound Classification:Cohesion-Separation and Global Alignment Losses
Seoul National University of Science and Technology（首尔科学技术大学）
肺音分级对呼吸系统疾病的早期诊断至关重要。然而，生物医学信号往往表现出患者间的差异，甚至在具有相同症状的患者之间，需要考虑个体差异的学习方法。我们提出了一个患者感知特征对齐（PAFA）框架，其中包含两个新的损失，患者凝聚分离损失（PCSL）和全局患者对齐损失（GPAL）。PCSL将同一患者的特征聚类，同时将这些特征与其他患者分离，以捕获患者的变异性，而GPAL将每个患者的质心绘制到全局中心，防止特征空间碎片化。在ICBHI数据集上，该方法取得了较好的效果，四类分类的分类率为64.84%，两类分类的分类率为72.08%.这些发现突出了PAFA捕捉个性化模式的能力，并在不同的患者群中展示了性能增益，为以患者为中心的医疗保健提供了更广泛的应用。
2025-05-28 cs.LG cs.SD eess.AS
V-SlowFast Network for Efficient Visual Sound Separation
Tampere University（坦佩雷大学）
本文的目标是执行视觉声音分离：i）我们研究不同时间分辨率的声谱图上的视觉声音分离; ii）我们提出了一个新的轻量级但高效的三流框架V-SlowFast，它在Visual帧，Slow声谱图和Fast声谱图上运行。Slow spectrogram捕获粗略的时间分辨率，而Fast spectrogram包含细粒度的时间分辨率; iii）我们引入了两个对比目标，以鼓励网络学习用于分离声音的区分性视觉特征; iv）我们提出了用于音频和视觉特征融合的视听全局注意力模块; v）引入的V-SlowFast模型在小型和大型数据集上基于单帧的视觉声音分离方面优于先前的最新技术：MUSIC-21，AVE和VGG-Sound。我们还提出了一个小的V-SlowFast架构变体，与以前的多阶段模型相比，模型参数的数量减少了74.2%，GMAC减少了81.4%。项目页面：https://ly-zhu.github.io/V-SlowFast
2021-09-21 cs.CV cs.SD eess.AS
Sound Event Localization based on Sound Intensity Vector Refined By DNN-Based Denoising and Source Separation
NTT Media Intelligence Laboratories（NTT媒体智能实验室）；Ritsumeikan University（立命馆大学）
提出了一种用于声事件定位与检测的波达方向估计方法。使用深度神经网络（DNN）的DOA的直接估计，即完全数据驱动的方法，实现了高精度。然而，有一个单一的和重叠的源DOA估计的准确性之间的差距，因为他们不能把物理知识。同时，虽然基于物理的方法的准确性不如基于DNN的方法，但它对重叠源具有鲁棒性。在这项研究中，我们考虑了基于物理和基于DNN的方法的组合;基于DNN的去噪和源分离的基础上，改进了基于物理的DOA估计的声强向量（IV）。该方法能够实现球形麦克风阵列对单个声源和重叠声源的准确DOA估计。实验结果表明，所提出的方法达到了国家的最先进的DOA估计精度上的SELD的开放数据集。
2020-02-14 cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码，称为混合和分离框架。我们提出了一种视听联合分割，其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同，我们的架构可以以端到端的方式学习，并且不需要额外的监督或限界框建议。具体来说，我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地，结合使用对象分割的输出，一个设计，有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明，我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
TRUNet: Transformer-Recurrent-U Network for Multi-channel Reverberant Sound Source Separation
Sony Europe B.V.（索尼欧洲有限公司）
近年来，已经提出了许多用于单通道声源分离的深度学习技术，这些技术使用递归、卷积和Transformer网络。当多个麦克风可用时，除了频谱-时间分集之外，扬声器和背景噪声之间的空间分集还可以通过使用多通道滤波器来进行声源分离。针对端到端的多通道信号源分离问题，提出了一种基于变换递归U型网络（TRUNet）的多通道信号源分离算法。TRUNet由一个空间处理网络和一个频谱-时间处理网络组成，空间处理网络具有跨麦克风通道的注意机制，旨在捕获空间多样性，频谱-时间处理网络旨在捕获频谱和时间多样性。除了多通道滤波器，我们还考虑使用TRUNet从多通道输入光谱估计单通道滤波器。我们使用组合的压缩均方误差损失函数在大型混响数据集上训练网络，这进一步提高了声音分离性能。我们评估网络上的一个现实的和具有挑战性的混响数据集，从测量的房间脉冲响应的实际麦克风阵列。对实际混响声源分离的实验结果表明，TRUNet方法的分离效果优于现有的单通道和多通道声源分离方法。
2022-08-22 cs.SD eess.AS eess.SP
A joint separation-classification model for sound event detection of weakly labelled data
University of Surrey（萨里大学）
声源分离（SS）旨在从音频记录中分离各个源。声音事件检测（SED）旨在从音频记录中检测声音事件。我们提出了一个联合分离分类（JSC）模型，只训练弱标记的音频数据，也就是说，只有音频记录的标签是已知的，但事件的时间是未知的。首先，我们提出了一个分离映射的时间-频率（T-F）表示的音频的T-F分割掩模的音频事件。其次，从每个T-F分割掩码到每个音频事件的存在概率建立分类映射。在声源分离阶段，可以从T-F分割掩模获得音频事件的源和声音事件的时间。所提出的方法在SED中实现了0.14的等出错率（EER），优于0.29的深度神经网络基线。通过使用全局加权秩池（GWRP）作为概率映射，获得了8.08 dB的声源分离SDR，优于基于全局最大池（GMP）的概率映射，给出了0.03 dB的SDR。我们工作的源代码已经发布。
2018-02-07 cs.SD eess.AS
Separation of Moving Sound Sources Using Multichannel NMF and Acoustic Tracking
Tampere University of Technology（坦佩雷理工大学）
在本文中，我们提出了一种方法分离的运动声源。该方法首先跟踪源，然后使用多通道非负矩阵分解（NMF）估计源谱图，并通过单通道维纳滤波从混合物中提取源。我们提出了一种新的多通道NMF模型与空间协方差矩阵（SCM）表示的源随时间变化的混合，并提供更新方程优化模型参数最小化平方Frobenius范数。该模型的SCM获得的基础上估计的到达方向的跟踪源在每个时间帧。评估是基于既定的客观分离标准，并使用两个和三个同时移动声源的真实录音。比较的方法包括传统的波束形成和理想比率掩模分离。所提出的方法被证明超过其他评估盲方法的分离质量根据所有测量的数量。此外，我们通过比较使用注释的地面真实源轨迹实现的分离质量来评估该方法对跟踪误差的敏感性。
2017-10-27 cs.SD eess.AS
End-to-end Non-Negative Autoencoders for Sound Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
声源分离的判别模型最近被证明能产生令人印象深刻的结果。然而，当在训练集之外的源上操作时，这些模型不能很好地执行并且更新起来很麻烦。经典的方法，如非负矩阵分解（NMF）提供了模块化的方法来声源分离，可以很容易地更新，以适应新的混合场景。在本文中，我们推广NMF开发端到端的非负自动编码器，并演示如何将它们用于声源分离。我们的实验表明，这些模型提供了相当的分离性能的歧视性的方法，同时保留了模块化的NMF和神经网络的建模灵活性。
2019-10-31 cs.SD eess.AS
Continual Audio-Visual Sound Separation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出持续视听声音分离任务及ContAV-Sep方法，通过跨模态相似性蒸馏约束缓解灾难性遗忘，实现新类声源持续分离并保持旧类性能。
2024-11-05 cs.CV cs.LG cs.MM
Large Language Model-based Nonnegative Matrix Factorization For Cardiorespiratory Sound Separation
McMaster University（麦克马斯特大学）
本研究首次将大语言模型（LLMs）与非负矩阵分解（NMF）结合用于心肺音分离，通过两种独特方式应用LLM优化分离效果，在两个数据集上持续优于现有方法，为疾病诊断用医疗声音分析提供新方案。
2025-02-09 cs.SD eess.AS eess.SP
Universal Sound Separation with Self-Supervised Audio Masked Autoencoder
University of Surrey（萨里大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出将自监督音频掩码自编码器集成到通用声音分离系统中，通过冻结或更新其参数并结合STFT特征，在AudioSet上提升了ResUNet模型的分离性能。
2024-11-06 cs.AI cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research（谷歌研究院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们介绍AudioScopeV2，这是一个最先进的通用视听屏幕声音分离系统，它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制，包括时空注意力的粗分辨率，音频分离模型的收敛性差，训练和评估数据的种类有限，以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系，我们还提出了高效的可分离变体，这些变体能够扩展到更长的视频，而不会牺牲太多性能。我们还发现，仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估，我们从一个大型的野外视频数据库（YFCC 100M）中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后，我们提出了一个校准程序，允许精确调整屏幕上的重建与屏幕外的抑制，这大大简化了不同的操作点模型之间的性能比较。总的来说，我们的实验结果表明，在更一般的条件下，屏幕上的分离性能显着改善比以前的方法，以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Text-Driven Separation of Arbitrary Sounds
Google Research（谷歌研究院）
我们提出了一种方法，从一个单一的通道混合分离所需的声源，基于文本描述或目标源的短音频样本。这是通过结合两种不同的模式来实现的。第一个模型SoundWords被训练为将音频片段及其文本描述联合嵌入到共享表示中的相同嵌入中。第二个模型SoundFilter将混合源音频片段作为输入，并基于条件向量将其与SoundWords定义的共享文本音频表示分离，使模型与条件模态无关。在多个数据集上进行评估，我们表明，我们的方法可以实现9.1 dB的SI-SDR的两个任意的声音的混合物时，以文本为条件，10.1 dB时，以音频为条件。我们还表明，SoundWords在学习共嵌入方面是有效的，我们的多模态训练方法提高了SoundFilter的性能。
2022-04-12 cs.SD eess.AS
Weakly Supervised Source-Specific Sound Level Estimation in Noisy Soundscapes
New York University（纽约大学）；New Jersey Institute of Technology（新泽西理工学院）；Northwestern University（西北大学）
虽然对声源是什么、它们何时发生以及它们来自何处的估计已经得到了很好的研究，但对这些声源有多大的估计经常被忽视。目前的解决方案，我们称之为源特定的声级估计（SSSLE），遭受的挑战，由于不切实际的获取现实的数据和缺乏鲁棒性的现实记录条件。最近提出的弱监督源分离提供了一种利用剪辑级源注释来训练源分离模型的方法，我们用修改后的损失函数来弥补源分离和SSSLE之间的差距，并解决背景的存在。我们表明，我们的方法提高了SSSLE的性能相比，基线源分离模型，并提供消融分析，探索我们的方法的设计选择，显示SSSLE在实际的记录和注释的情况下是可能的。
2021-07-29 cs.SD eess.AS
Consistent and Relevant: Rethink the Query Embedding in General Sound Separation
Tencent AI Lab（腾讯AI实验室）
针对查询嵌入与分离模型不匹配问题，提出CaRE-SEP，通过共享网络结构和特征信息统一查询编码与分离，显著提升通用声音分离性能。
2023-12-24 cs.SD eess.AS
What's All the FUSS About Free Universal Sound Separation Data?
Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；Adobe Research（奥多比研究院）；Descript, Inc.（Descript公司）
我们介绍了自由通用声音分离（FUSS）数据集，一个新的语料库，用于从开放的声音类型域中分离未知数量的声音混合物的实验。该数据集由23小时的单源音频数据组成，这些数据来自357个类，用于创建一到四个源的混合。为了模拟混响，使用声学房间模拟器来生成具有频率依赖性反射壁的箱形房间的脉冲响应。还提供了额外的开放源数据扩充工具，以产生具有不同源和室内模拟组合的新混合物。最后，我们介绍了一个开源的基线分离模型，基于改进的时域卷积网络（TDCN++），可以分离混合物中的可变数量的源。该模型实现了9.8 dB的尺度不变的信噪比改善（SI-SNRi）的混合物与两个到四个源，而重建的单源输入与35.5 dB的绝对SI-SNR。我们希望这个数据集将降低新研究的障碍，并允许快速迭代和应用其他机器学习领域的新技术来解决声音分离的挑战。
2020-11-02 cs.SD eess.AS
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统，这是能够学习分离的声音，并将它们与屏幕上的对象，通过在野外的视频。我们确定了以前的工作的限制，视听屏幕上的声音分离，包括简单性和粗分辨率的时空注意力，和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题，这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系，并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法，通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力，只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练，我们从一个大型的野外视频数据库（YFCC 100m）中收集了屏幕上音频的人类注释。我们的研究结果表明，在屏幕上的分离性能显着改善，在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Semantic Grouping Network for Audio Source Separation
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出语义分组网络SGN，通过可学习类别token直接从混合音频中解耦并提取各声源语义特征，无需视觉信息即在多个声音分离基准上显著超越纯音频和音视频方法。
2024-07-04 cs.CV cs.LG cs.MM
A New Non-Negative Matrix Co-Factorisation Approach for Noisy Neonatal Chest Sound Separation
Monash University（莫纳什大学）
获得高质量的心肺音使临床医生能够准确评估新生儿的心肺健康状况并提供及时的护理。然而，嘈杂的胸部声音记录是常见的，阻碍了及时和准确的评估。提出了一种新的基于非负矩阵协分解的方法，将嘈杂的胸部声音记录分离为心脏、肺和噪声分量，以解决这个问题。这种方法是通过使用20个高质量的心肺声音进行训练来实现的，同时分离嘈杂录音的声音。该方法进行了测试，68个10秒的嘈杂录音，包含心脏和肺的声音，并与目前最先进的非负矩阵分解方法。结果表明，显着改善的心脏和肺的声音质量分数分别，提高了3.6bpm和1.2bpm的心脏和呼吸率估计的准确性，分别与现有的方法相比。
2021-09-04 cs.LG cs.SD eess.AS
Tackling the Cocktail Fork Problem for Separation and Transcription of Real-World Soundtracks
Indiana University（印第安纳大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Microsoft Corporation（微软公司）；Carnegie Mellon University（卡内基梅隆大学）
模仿人类解决鸡尾酒会问题的能力，即，在复杂的声学场景中聚焦感兴趣的声源，是声源分离研究的长期目标。这项研究的大部分是研究如何将语音与噪音、语音与语音、乐器与乐器、声音事件与声音事件分离。在本文中，我们专注于鸡尾酒叉问题，它采取了三管齐下的方法来分离音频混合，如电影配乐或播客到语音，音乐和音效（SFX -理解为包括环境噪声和自然声音事件）的三大类。我们对几种基于深度学习的源分离模型在此任务上的性能进行了基准测试，并根据简单的客观指标（如信号失真比（SDR））以及与人类感知更相关的客观指标对其进行了评估。此外，我们彻底评估源分离如何影响下游转录任务。首先，我们研究了三个源的活动检测任务，作为进一步改进源分离和执行转录的一种方式。我们将转录任务制定为针对语音的语音识别和针对音乐和SFX的音频标记。我们观察到，虽然使用的源分离估计提高转录性能相比，原声带，性能仍然是次优的，由于分离过程中引入的文物。因此，我们深入研究如何混音的三个分离的源干在各种相对水平可以减少文物，从而提高转录性能。我们发现，在17.5 dB的目标SNR的混音音乐和SFX干扰降低了语音识别字错误率，并观察到类似的影响，从混音标记音乐和SFX内容。
2022-12-14 cs.SD eess.AS
Sound Localization and Separation in Three-dimensional Space Using a Single Microphone with a Metamaterial Enclosure
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
传统的声音定位和分离方法是基于人工系统中的麦克风阵列。受人类听觉系统选择性感知的启发，我们设计了一个多源听音系统，它可以分离同时重叠的声音，并定位在三维空间中的声源，只有一个麦克风与超材料外壳。外壳通过向每个方向提供签名，以方向相关的方式修改麦克风的频率响应。因此，关于声源的位置和音频内容的信息可以使用压缩感知算法从调制的混合信号中实验性地重建。由于所提出的重建算法的低计算复杂性，所设计的系统也可以应用于源识别和跟踪。通过多次随机收听测试，证明了该系统在多种真实场景下的有效性。基于超材料的单传感器听觉系统为声音定位和分离开辟了一条新的途径，可应用于智能场景监控和机器人听觉。
2019-11-07 cs.SD eess.AS physics.app-ph
The Cocktail Fork Problem: Three-Stem Audio Separation for Real-World Soundtracks
MERL（三菱电机研究实验室）
鸡尾酒会问题旨在分离复杂声学场景中的任何感兴趣的源，并且长期以来一直激发音频源分离研究。最近的努力主要集中在从噪声中分离语音，从语音中分离语音，将乐器彼此分离，或将声音事件彼此分离。然而，分离音频混合（例如，电影原声带）分为语音、音乐和声音效果（理解为包括环境噪声和自然声音事件）这三大类，尽管有广泛的潜在应用，但在很大程度上还没有被探索。本文将此任务形式化为鸡尾酒叉子问题，并提出了Divide and Remaster（DnR）数据集以促进对该主题的研究。DnR是由三个成熟的音频数据集（LibriSpeech，FMA，FSD 50 k）构建的，在源重叠和相对响度方面，注意再现类似于专业制作内容的条件，并以CD质量提供。我们基准的标准源分离算法的DnR，并进一步引入一个新的多分辨率模型，以更好地解决各种声学特性的三种源类型。我们最好的模型产生的SI-SDR的改善超过11.0 dB的音乐，11.2 dB的语音和10.8 dB的声音效果的混合。
2022-03-24 cs.SD eess.AS
Noise-Robust Sound Event Detection and Counting via Language-Queried Sound Separation
针对声事件检测在嘈杂环境中性能下降的问题，提出基于事件外观检测的协同训练多任务学习框架，结合语言查询声音分离，显著提升了高噪声环境下的检测与计数性能。
2025-08-10 cs.SD eess.AS
Visual Scene Graphs for Audio Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
用于视觉引导的音频声源分离的现有技术方法通常假定具有特征声音的源，诸如乐器。这些方法通常忽略这些声源的视觉背景，或者避免对可能有助于更好地表征声源的对象交互进行建模，特别是当相同的对象类可能从不同的交互产生不同的声音时。为了解决这个具有挑战性的问题，我们提出了视听场景图分割器（AVSGS），这是一种新型的深度学习模型，它将场景的视觉结构嵌入为图，并将该图分割成子图，每个子图与通过共同分割音频频谱图获得的唯一声音相关联。在其核心，AVSGS使用递归神经网络，使用多头注意力发出视觉图的相互正交的子图嵌入。这些嵌入用于调节音频编码器-解码器朝向声源分离。我们的管道通过一个自我监督的任务进行端到端的训练，该任务包括使用视觉图将音频源与人工混合的声音分离。在本文中，我们还介绍了一个“在野外”的视频数据集的声音声源分离，其中包含多个非音乐源，我们称之为音频分离在野外（ASIW）。该数据集改编自AudioCaps数据集，为声源分离提供了一个具有挑战性的、自然的日常环境。在所提出的ASIW和标准MUSIC数据集上进行的彻底实验表明，我们的方法与最近的现有方法相比具有最先进的声音分离性能。
2021-09-24 cs.AI cs.CV cs.LG
Guided multi-branch learning systems for sound event detection with sound separation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们详细描述了我们的DCASE 2020任务4系统。该系统基于DCASE 2019任务4的第一名系统，该系统采用弱监督框架，具有基于注意力的嵌入水平池模块和称为引导学习的半监督学习方法。今年，我们将多分支学习（MBL）融入到原始系统中，以进一步提高其性能。MBL使用具有不同池化策略（包括实例级和嵌入级策略）和不同池化模块（包括注意力池化、全局最大池化或全局平均池化模块）的不同分支，这些分支共享模型的相同特征编码器。因此，追求不同目的并关注数据的不同特性的多个分支可以帮助特征编码器更好地对特征空间建模并避免过拟合。为了更好地利用强标记的合成数据，受多任务学习的启发，我们还采用了声音事件检测分支。为了将声音分离（SS）与声音事件检测（SED）相结合，我们将SED系统的结果与使用SS系统输出的分离声音训练的SS-SED系统相融合。实验结果表明，MBL可以提高模型性能，使用SS对提高SED集成系统性能有很大潜力。
2020-11-02 cs.SD eess.AS
Unleashing the Power of Natural Audio Featuring Multiple Sound Sources
Zhejiang University（浙江大学）
针对自然混合音频中通用声音分离泛化不足的问题，提出ClearSep框架，利用数据引擎分解音频并采用重混评估指标迭代优化，实现多任务最先进性能。
2025-04-24 cs.LG cs.SD
Preserving background sound in noise-robust voice conversion via multi-task learning
Northwestern Polytechnical University（西北工业大学）；iQIYI Inc（爱奇艺公司）
背景声音是一种信息丰富的艺术形式，有助于在实际应用程序语音转换（VC）场景中提供更身临其境的体验。然而，以往对VC的研究主要集中在干净的声音，很少关注有背景音的VC。VC中保留背景音的关键问题是神经元分离模型不可避免的语音失真以及源分离模型和VC模型之间的级联失配。在本文中，我们提出了一个端到端的框架，通过多任务学习，依次级联的源分离（SS）模块，瓶颈特征提取模块和VC模块。具体而言，源分离任务明确地考虑临界相位信息，并限制由不完美的分离过程引起的失真。源分离任务、典型VC任务和统一任务共享由联合训练约束的统一重建损失，以减少SS和VC模块之间的失配。实验结果表明，我们提出的框架显着优于基线系统，同时实现可比的质量和扬声器相似性的VC模型训练干净的数据。
2022-11-06 cs.SD eess.AS
OmniSep: Unified Omni-Modality Sound Separation with Query-Mixup
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
本文提出统一全模态声音分离框架 OmniSep，通过 Query-Mixup、正负向查询调控和 Query-Aug 支持文本、图像、音频查询及开放词汇分离，并在多个数据集达到最先进性能。
2024-10-28 cs.CV cs.MM cs.SD
