Spot, Separate, and Enhance: Fully Generative Approach for Audio Mixing
Dolby Laboratories(杜比实验室)
本文提出首个多模态用户引导的生成模型SSE,通过视频和文本引导实现音频重混与增强,并构建DegradedMix数据集,实验证明其在可控性和重混质量上优于现有基线。
2026-09-25 cs.AI cs.SD
Exploring Text-Queried Sound Event Detection with Audio Source Separation
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);Alibaba Group(阿里巴巴集团);Fortemedia Singapore(Fortemedia新加坡公司)
本文提出 TQ-SED 框架,通过预训练改进的 AudioSep-DP 语言查询音频源分离模型分离重叠事件,再由多分支检测目标声音,显著提升 SED 性能。
2025-01-10 cs.SD eess.AS
A Reference-free Metric for Language-Queried Audio Source Separation using Contrastive Language-Audio Pretraining
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学);Harbin Institute of Technology(哈尔滨工业大学);University of Sheffield(谢菲尔德大学)
针对LASS中SDR指标依赖参考信号且忽略文本语义的问题,本文提出基于CLAP的无参考指标CLAPScore,通过衡量分离音频与文本查询的语义相似度实现有效评估。
2025-01-06 cs.SD eess.AS
MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation
Sony Group Corporation, Japan(日本索尼集团公司);Sony AI, USA(美国索尼人工智能)
MMAudioSep基于预训练视频到音频模型,通过利用视频/文本与音频的关系实现更高效的声学分离,优于现有方法并保留原始视频到音频生成能力。
2026-04-17 cs.CV cs.LG cs.SD
Language-Queried Target Sound Extraction Without Parallel Training Data
School of Information Science and Engineering, Shandong University(山东大学信息科学与工程学院);North Carolina State University(北卡罗来纳州立大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Key Laboratory of System and Control, AMSS, Chinese Academy of Sciences(中国科学院数学与系统科学研究院系统与控制重点实验室);The Chinese University of Hong Kong(香港中文大学)
针对语言查询目标声音提取需大量并行标注数据的问题,提出基于CLAP的无并行数据训练方案,通过检索增强策略解决模态差距与过拟合问题,性能优于现有最优方法且泛化性更好。
2025-03-21 cs.SD eess.AS
Text-Queried Audio Source Separation via Hierarchical Modeling
University of Science and Technology of China(中国科学技术大学);School of Information and Communication Engineering, Communication University of China(中国通信大学信息与通信工程学院);Microsoft Research Asia(微软亚洲研究院)
本文提出HSM-TSS框架,通过分层建模实现文本查询的音频源分离,结合双阶段语义分离与结构保持重建,提升复杂场景下的分离性能与语义一致性。
2025-12-02 cs.AI cs.LG cs.SD
Learning Audio-Visual Dynamics Using Scene Graphs for Audio Source Separation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mitsubishi Electric Research Labs(三菱电机研究实验室)
静态声源产生的声音和移动声源产生的声音之间存在明确的区别,特别是当声源朝向或远离麦克风移动时。在本文中,我们建议使用音频和视觉动力学之间的这种联系,同时解决两个具有挑战性的任务,即:(i)使用视觉线索从混合物中分离音频源,以及(ii)使用分离的音频预测声源的3D视觉运动。为此,我们提出了音频分离器和运动预测器(ASMP)-一个深度学习框架,它利用场景的3D结构和声源的运动来实现更好的音频声源分离。ASMP的核心是一个2.5D场景图,捕捉视频中的各种对象及其伪3D空间邻近度。该图通过将来自2D视频帧的2.5D单眼深度预测配准在一起并将2.5D场景区域与应用于这些帧的对象检测器的输出相关联来构建。ASMP任务然后被数学建模为以下联合问题:(i)递归地将2.5D场景图分割成若干子图,每个子图与输入音频混合中的组成声音(其然后被分离)相关联,以及(ii)从分离的音频预测对应声源的3D运动。为了实证评估ASMP,我们提出了两个具有挑战性的视听数据集,即音频分离在野生(ASIW)和视听事件(AVE)的实验。我们的研究结果表明,ASMP实现了声源分离质量的明显改善,优于先前的作品在两个数据集上,同时也估计的声源的运动方向比其他方法更好。
2022-10-29 cs.CV cs.LG cs.SD
AudioGen: Textually Guided Audio Generation
Meta AI;The Hebrew University of Jerusalem(希伯来大学)
我们解决的问题,生成音频样本的条件下描述性的文本标题。在这项工作中,我们提出了AaudioGen,一个自回归生成模型,生成音频样本的文本输入的条件。AudioGen对学习的离散音频表示进行操作。文本到音频生成的任务提出了多个挑战。由于音频通过介质传播的方式,区分"对象“可能是一项困难的任务(例如,多人同时说话)。这由于真实世界的记录条件(例如,背景噪声、混响等)。稀少的文本注释施加了另一个约束,限制了缩放模型的能力。最后,对高保真音频进行建模需要以高采样率对音频进行编码,从而导致极长的序列。为了缓解上述挑战,我们提出了一种增强技术,可以混合不同的音频样本,驱动模型在内部学习分离多个源。我们策划了10个包含不同类型音频和文本注释的数据集,以处理文本音频数据点的稀缺性。为了更快的推理,我们探索使用多流建模,允许使用更短的序列,同时保持类似的比特率和感知质量。我们应用无分类器引导来提高对文本的遵守。与评估的基线相比,AudioGen在客观和主观指标上都优于其他指标。最后,我们探讨了所提出的方法产生音频连续条件和无条件的能力。样品:https://felixkreuk.github.io/audiogen
2023-03-05 cs.CL cs.LG cs.SD
Seeing Soundscapes: Audio-Visual Generation and Separation from Soundscapes Using Audio-Visual Separator
King’s College London(伦敦国王学院)
提出AV-GAS模型,利用音视频分离器从多类别混合音频(声景)生成图像,并引入新的分离任务与评估指标,在VGGSound数据集上超越现有方法,CRS提升7%,R@2*提升4%。
2025-04-25 cs.AI cs.CV cs.MM
Audiovisual Singing Voice Separation
University of Rochester(罗切斯特大学);ByteDance Inc.(字节跳动公司)
将歌曲分离为声乐和伴奏成分是一个活跃的研究课题,近年来,使用深度学习技术进行监督训练的性能有所提高。我们建议应用与歌唱者的发声活动相对应的视觉信息,以进一步提高分离的发声信号的质量。视频前端模型接受嘴部运动的输入,并将其融合到基于音频的分离框架的特征嵌入中。为了便于网络学习歌唱活动的视听相关性,我们在训练期间向音频混合物中添加与嘴部运动无关的额外声音信号。我们创建了两个视听歌唱表演数据集,分别用于训练和评估,一个来自互联网上的试听录音,另一个来自内部录音。在大多数测试录音的分离质量方面,所提出的方法优于基于音频的方法。当伴奏中有伴唱时,这种优势尤其明显,这对纯音频方法提出了很大的挑战。
2021-07-01 cs.LG cs.SD eess.AS
LuSeeL: Language-queried Binaural Universal Sound Event Extraction and Localization
Alibaba Group(阿里巴巴集团)
LuSeeL通过结合语言描述和双耳信号空间信息,实现对声音事件的高效提取与定位,提升了复杂听觉场景的理解能力。
2026-01-27 eess.AS
vst-bench-ml: Auditable Dataset Generation for Audio Plugins
St. Thomas University(圣托马斯大学)
vst-bench-ml是用于音频插件可审计数据集生成的Python包,可通过密封清单实现离线完整性检查,其预发布及后续版本在指定环境中验证了功能与可重复性,但未确立可移植性等属性。
2026-10-15 cs.SD eess.AS
Self-Supervised Generation of Spatial Audio for 360 Video
UC San Diego(加州大学圣地亚哥分校);Adobe Research(奥多比研究院)
我们介绍了一种方法来转换单声道音频记录的360视频摄像机到空间音频,在整个观看范围内的声音分布的表示。空间音频是沉浸式360视频观看的重要组成部分,但空间音频麦克风在当前360视频制作中仍然很少见。我们的系统由端到端可训练的神经网络组成,该网络将单个声源分离并将其定位在观看范围内,以音频和360视频帧的多模态分析为条件。我们介绍了几个数据集,其中一个是我们自己拍摄的,另一个是从YouTube上收集的,由360个上传有空间音频的视频组成。在训练过程中,地面实况空间音频作为自我监督,混合的单声道形成了我们网络的输入。使用我们的方法,我们表明,它是可以推断的声源的空间位置仅基于360视频和单声道音轨。
2018-09-07 cs.CV cs.LG cs.MM
FlowSep: Language-Queried Sound Separation with Rectified Flow Matching
University of Surrey(萨里大学)
本文提出基于 RFM 的生成式 LASS 模型 FlowSep,在 VAE 潜空间中学习噪声到目标声源的线性轨迹,并在 1,680 小时数据训练后于多个基准上取得优于现有及扩散模型的效果。
2025-01-09 cs.SD eess.AS
AMemOps: Evaluating Memory Updates in Long Audio Streams
University of Surrey(萨里大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
该研究针对长音频流的内存更新问题,提出AMemOps基准,通过配对控制变量考察影响,发现delta规则内存的更新优势可提升13.4个百分点,匹配历史与加法内存控制分别揭示相关益处。
2026-10-14 cs.AI cs.LG cs.SD
No Free Lunch from Audio Pretraining in Bioacoustics: A Benchmark Study of Embeddings
Department of Biomedical Engineering Johns Hopkins University(生物医学工程系约翰·霍普金斯大学)
本研究在生物声学任务中评估了11个深度学习模型的音频嵌入性能,发现音频预训练模型必须经过微调且需检查微调后的嵌入,否则表现不及微调后的AlexNet且难以分离背景声音。
2025-08-13 cs.AI cs.SD
PromptSep: Generative Audio Separation via Multimodal Prompting
Adobe Research(Adobe研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
PromptSep 将语言查询音频源分离扩展为通用声音分离框架,通过条件扩散模型与数据模拟同时支持音频提取和声音移除,并引入人声模仿作为更直观的提示模态,在多个基准上取得领先性能。
2025-11-06 cs.SD eess.AS
Noise-Robust Sound Event Detection and Counting via Language-Queried Sound Separation
针对声事件检测在嘈杂环境中性能下降的问题,提出基于事件外观检测的协同训练多任务学习框架,结合语言查询声音分离,显著提升了高噪声环境下的检测与计数性能。
2025-08-10 cs.SD eess.AS
DGMO: Training-Free Audio Source Separation through Diffusion-Guided Mask Optimization
Department of Computer Science(计算机科学与工程系)
本文提出免训练框架DGMO,利用预训练扩散模型的生成先验,通过测试时优化频谱图掩码实现零样本语言查询音频源分离,在无需特定任务监督下取得有竞争力的性能。
2025-06-05 cs.AI cs.SD eess.AS
Leveraging LLM and Text-Queried Separation for Noise-Robust Sound Event Detection
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);Fortemedia Singapore(Fortemedia新加坡公司)
针对嘈杂环境下声音事件检测性能下降的问题,提出利用大语言模型识别噪声类型进行噪声增强微调,再将微调模型的预测结果作为文本查询输入语言查询音频源分离模型的方法,提升了噪声环境下的检测性能。
2025-01-12 cs.SD eess.AS
Steering Where to Listen: Instruction-Based Activation Steering Redirects Temporal Attention in Large Audio-Language Models
National Taiwan University(国立台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心(NTU AI-CoRE))
提出基于指令的向量操控方法,通过对比不同指令下的激活来重定向音频令牌的时间注意力,实现无需训练的声音事件定位,显著优于直接提示和随机基线。
2026-06-11 cs.AI cs.SD eess.AS
Temporally Aligning Long Audio Interviews with Questions: A Case Study in Multimodal Data Integration
Indian Institute of Technology, Bombay(印度理工学院孟买分校);CARE India Solutions for Sustainable Development(印度援外社可持续发展解决方案组织)
本研究提出INDENT框架,利用交叉注意力模型和句子时序先验,在长音频健康调查中定位问题对应片段,在11种印度语言上验证了有效性,R-avg提升约3%。
2023-10-10 cs.CL cs.LG cs.SD
RefTAG: Reflection-aware Temporal Audio Grounding in Large Audio Language Models
研究针对时序音频定位需兼顾出现次数与区间边界的问题,提出RefTAG框架,通过Re-CoT协议及Re-CoT-SFT、RL训练,在多数据集上优于多款开源与商用模型,实现了更优的时序音频定位效果。
2026-10-14 eess.AS
SonicWorld: Source-Centric Latent Dynamics for Spatial Audio Reasoning
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);Imperial College London(伦敦帝国学院);Lyuliang University(吕梁大学);Southeast University(东南大学)
针对空间音频推理中重叠语音与声源运动的挑战,研究人员构建了Sonic-Bench基准并提出SonicWorld模型,其在Sonic-Bench测试集及Spatial LibriSpeech零样本迁移任务中均优于Spatial-Omni。
2026-10-16 cs.AI cs.SD eess.AS
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM Research(IBM研究院);Facebook AI Research(Facebook人工智能研究院)
最充分地感知一个场景需要所有的感官。然而,建模对象的外观和声音是具有挑战性的:大多数自然场景和事件包含多个对象,并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型,然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础,即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离,以获得更好的分离,对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源,每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果:http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Multi-Task Audio Source Separation
Kuai Shou Technology Co.(快手科技有限公司);Harbin Institute of Technology(哈尔滨工业大学)
音频源分离任务,如语音增强、语音分离和音乐源分离,在最近的研究中取得了令人印象深刻的性能。深度神经网络强大的建模能力让我们对更具挑战性的任务充满希望。本文提出了一种新的多任务音频源分离(MTASS)的挑战,从单声道混合分离语音,音乐和噪声信号。首先,我们介绍这个任务的细节,并生成一个包含语音、音乐和背景噪声的混合数据集。然后,我们提出了一个MTASS模型,在复杂的域,以充分利用三个音频信号的频谱特性的差异。详细地说,该模型遵循两级流水线,其分离三种类型的音频信号,然后分别执行信号补偿。在比较不同的训练目标之后,选择复比率掩模作为MTASS的更合适的目标。实验结果也表明,残差信号补偿模块有助于进一步恢复信号。该模型在分离性能上优于几种已知的分离模型。
2021-07-14 cs.SD eess.AS
ZeroSep: Separate Anything in Audio with Zero Training
University of Rochester(罗切斯特大学);Columbia University(哥伦比亚大学);Tencent America(腾讯美国)
提出ZeroSep方法,通过预训练文本引导音频扩散模型在零训练下实现音频声源分离,将混合音频反演至潜在空间并利用文本条件引导去噪恢复独立声源,性能超越监督方法并支持开放集场景。
2025-05-29 cs.CV cs.SD eess.AS
Separate First, Then Associate: A Two-Stage Approach for Real-World Audio-Visual Speech Enhancement
Southern University of Science and Technology(南方科技大学)
针对真实场景视听语音增强性能下降问题,提出“分离-然后关联”两阶段方法,经挑战赛数据集验证有效。
2026-11-17 eess.AS
Baseline Systems and Evaluation Metrics for Spatial Semantic Segmentation of Sound Scenes
NTT Corporation(日本NTT公司)
面向DCASE 2025 S5任务,提出融合AT与ResUNet型LSS的基线系统及类别感知评估指标,并在一阶Ambisonics音频上验证有效。
2025-06-09 cs.SD eess.AS
MACS: Multi-source Audio-to-image Generation with Contextual Significance and Semantic Alignment
MACS通过分离多源音频并利用语义对齐提升音频到图像生成的质量和表现。
2025-12-10 cs.CV cs.GR cs.SD
Learning Relationships Between Separate Audio Tracks for Creative Applications
STMS Lab Ircam - CNRS - Sorbonne Université(STMS实验室,声学/音乐研究与协作研究所 - 法国国家科学研究中心 - 索邦大学)
面向音乐智能体创意应用,提出融合 Transformers、Wav2Vec 2.0 与拼接合成的架构,从成对分离音轨中学习并复现现场输入与实时输出间的音乐关系。
2025-09-29 cs.AI cs.HC cs.LG
TAG-Bench: Benchmarking Temporal Audio Grounding in Large Audio Language Models
Alibaba Token Foundry(阿里巴巴Token铸造厂)
本文提出TAG-Bench基准测试评估大型音频语言模型的时序音频定位能力,发现现有模型定位精度、出现次数枚举及输出格式可靠性均存在不足,将发布相关数据与代码支持后续研究。
2026-09-03 eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University(西安交通大学)
本文提出AVSepChain,将音视频目标语音提取分为语音感知与生成两阶段,通过交换音视频模态主导地位并引入对比语义匹配损失,缓解模态不平衡,在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
Music Source Separation via Stem Discovery
Aalto University(阿尔托大学)
本文提出MuS3D,一种基于音频查询的迭代式音乐源分离框架,通过自动发现混合中的活动源,匹配手动查询基线并超越文本模型,证明音频查询是有效且可自动化的分离接口。
2026-09-28 cs.SD eess.AS
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance(字节跳动)
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源,但它们难以推广到看不见的源。在本文中,我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的,但弱标记的数据集:AudioSet。首先,我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次,我们设计了一个基于查询的音频分离模型,利用这些数据进行模型训练。第三,我们设计了一个潜在的嵌入处理器来编码查询,指定音频目标分离,允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离,并且仅依赖于弱标记数据进行训练。此外,所提出的音频分离器可以在zero-shot设置中使用,学习分离在训练中从未见过的音频源类型。为了评估分离性能,我们在MUSDB 18上测试了我们的模型,同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型,是从培训。在这两种情况下,该模型都实现了与当前监督模型相当的源失真比(SDR)性能。
2022-02-12 cs.AI cs.LG cs.MM
Universal Source Separation with Weakly Labelled Data
ByteDance(字节跳动);University of California San Diego(加州大学圣地亚哥分校);University of Surrey(萨里大学)
提出利用弱标注数据的通用源分离框架,通过查询网络和条件分离模型,实现任意声源的层次化分离,并在多个数据集上取得显著性能提升。
2023-05-11 cs.SD eess.AS
A Unified Audio-Visual Learning Framework for Localization, Separation, and Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出统一音视频学习框架 OneAVM,通过共享编码器和三个训练目标联合实现声源定位、分离与识别,并在多个数据集上验证了任务间的正向迁移效果。
2023-05-30 cs.CV cs.LG cs.MM
Transferable Models for Bioacoustics with Human Language Supervision
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of Queensland(昆士兰大学)
本文提出基于对比语言-音频预训练的生物声学模型 BioLingual,利用超百万音频-字幕对数据集 AnimalSpeak 实现跨千余物种的零样本识别与文本检索,并在九项基准任务上取得最优结果。
2023-08-09 cs.LG cs.SD eess.AS
Seeing Speech and Sound: Distinguishing and Locating Audios in Visual Scenes
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出带视听对齐目标的mix-and-separate统一框架,构建新数据集,实现视觉场景中混合语音与非语音的同时定位,在多项任务中性能优于或比肩现有方法。
2025-03-24 cs.CV cs.SD eess.AS
Source Mixing and Separation Robust Audio Steganography
Sony Group Corporation(索尼集团公司)
音频隐写是指通过对音频载体进行不可感知的修改,将秘密信息隐藏在音频载体中。尽管先前的工作解决了隐藏消息恢复对传输期间引入的失真的鲁棒性,但是它们没有解决对诸如其他音频源的混合和声源分离的攻击性编辑的鲁棒性。在这项工作中,我们首次提出了一种隐写方法,可以将信息嵌入到单个声源的混合物,如音乐中的乐器曲目。为此,我们提出了一个领域模型和课程学习必不可少的学习解码隐藏的消息从分离的来源。实验结果表明,该方法能够在不可感知的扰动下成功地隐藏信息,并且即使在其他信源混合和声源分离算法分离后,仍能正确地恢复信息。此外,我们表明,所提出的方法可以同时适用于多个源,而不会干扰其他源的解码器,即使在源混合和分离。
2022-02-18 cs.CR cs.SD eess.AS
Personalized Speech Enhancement Without a Separate Speaker Embedding Model
Microsoft Corporation(微软公司)
本文提出直接利用PSE模型内部表示作为说话人嵌入,无需独立嵌入模型,在噪声抑制与回声消除任务上达到或超过标准方法,并以0.15的MOS优势超越ICASSP 2023 DNS挑战赛获胜方案。
2024-06-14 cs.AI cs.LG cs.SD
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报研究所)
提出了一种视听语音分离学习方法,该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练,纯音频损失反映了源信号与分离信号之间的距离。然而,传统的损失不能反映语音信号的特征,包括说话者的特征和语音信息,这导致失真或残留噪声。为了解决这个问题,我们提出了跨模态对应(CMC)损失,这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响,并且包含说话人和语音信息,因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明,该方法在CMC损失的基础上学习同现,提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Weakly-supervised Audio-visual Sound Source Detection and Separation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所)
学习如何在视频的音频通道中定位和分离各个对象声音是一项艰巨的任务。目前最先进的方法从人工混合的频谱图预测音频掩码,称为混合和分离框架。我们提出了一种视听联合分割,其中网络从仅标记有对象标签的视频中学习单个对象的外观和声音。与其他最近的视觉引导音频声源分离框架不同,我们的架构可以以端到端的方式学习,并且不需要额外的监督或限界框建议。具体来说,我们在声音分离的背景下引入弱监督对象分割。我们还制定了声谱图掩模预测使用一组学习的掩模基地,结合使用对象分割的输出,一个设计,有利于分离的条件下的系数。在MUSIC数据集上的大量实验表明,我们提出的方法在视觉引导的声音声源分离和声音去噪方面优于最先进的方法。
2021-03-25 cs.CV cs.SD eess.AS
Disentangling speech from surroundings with neural embeddings
Google Research(谷歌研究院)
本文提出在神经音频编解码器嵌入空间中通过分区与混合重建训练,将语音与环境噪声、混响解耦,并支持音频特性定向调整。
2023-06-04 cs.LG cs.SD eess.AS
Audio-Visual Speech Separation and Dereverberation with a Two-Stage Multimodal Network
The Ohio State University(俄亥俄州立大学);Tencent AI Lab(腾讯AI实验室)
在真实的听音环境中,背景噪声、干扰语音和室内混响常常会使目标语音失真。在这项研究中,我们解决联合语音分离和去混响,其目的是从背景噪声,干扰语音和室内混响分离目标语音。为了解决这个根本性的难题,我们提出了一种新的多模态网络,利用音频和视觉信号。该网络结构采用两阶段策略,第一阶段采用分离模块衰减背景噪声和干扰语音,第二阶段采用去混响模块抑制室内混响。这两个模块首先单独训练,然后集成的联合训练,这是基于一个新的多目标损失函数。我们的实验结果表明,所提出的多模态网络产生一贯更好的客观可懂度和感知质量比几个一阶段和两阶段的基线。我们发现,我们的网络实现了21.10%的改善,在ESTOI和0.79改善PESQ比未经处理的混合物。此外,我们的网络架构不需要知道扬声器的数量。
2020-04-10 cs.SD eess.AS eess.SP
Source separation with weakly labelled data: An approach to computational auditory scene analysis
University of Surrey(萨里大学)
声源分离是将音频记录分离为各个声源的任务。声源分离是计算听觉景物分析的基础。先前关于声源分离的工作集中于分离特定的声音类别,例如语音和音乐。以前的许多工作需要混合和清洁源对进行训练。在这项工作中,我们提出了一个声源分离框架训练弱标记的数据。弱标记数据只包含音频片段的标记,而不包含声音事件的发生时间。我们首先用AudioSet训练一个声音事件检测系统。经训练的声音事件检测系统用于检测最像包含目标声音事件的片段。然后,学习从两个随机选择的片段的混合到目标片段的回归,该回归以目标片段的音频标记预测为条件。我们提出的系统可以分离527种声音类从AudioSet在一个单一的系统。分离系统采用了U-Net,在AudioSet中的527个声音类别中实现了5.67 dB的平均SDR。
2020-02-06 cs.SD eess.AS
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA;MIT(麻省理工学院)
本文提出Audio-SDS,将分数蒸馏采样推广到文本条件音频扩散模型,利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务,无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
Weakly-supervised Audio Separation via Bi-modal Semantic Similarity
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Microsoft Corporation(微软公司)
本文提出一种基于 CLAP 双模态语义相似性的弱监督音频分离框架,利用语言模态信号辅助音频单源分离,在无监督场景下 SDR 提升 71%,并可将监督学习性能进一步提升 17%。
2024-04-02 cs.AI cs.SD eess.AS
Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation
Google Research(谷歌研究院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出了一个联合视听模型,用于从混合的声音(如其他扬声器和背景噪声)中分离出单个语音信号。仅使用音频作为输入来解决该任务是极具挑战性的,并且不提供分离的语音信号与视频中的说话者的关联。在本文中,我们提出了一个基于深度网络的模型,该模型结合了视觉和听觉信号来解决这一任务。视觉特征用于将音频“聚焦”在场景中的期望扬声器上,并提高语音分离质量。为了训练我们的联合视听模型,我们引入了AVSpeech,这是一个由来自Web的数千小时视频片段组成的新数据集。我们证明了我们的方法的适用性,经典的语音分离任务,以及现实世界中的场景,涉及激烈的采访,嘈杂的酒吧,尖叫的孩子,只需要用户指定的人的脸在视频中的讲话,他们要隔离。在混合语音的情况下,我们的方法比最先进的仅音频语音分离具有明显的优势。此外,我们的模型是独立于说话者的(训练一次,适用于任何说话者),比最近的依赖于说话者的视听语音分离方法(需要为每个感兴趣的说话者训练一个单独的模型)产生更好的结果。
2018-08-09 cs.CV cs.SD eess.AS
Self-Supervised Learning from Automatically Separated Sound Scenes
Google Research(谷歌研究院)
真实世界的声音场景由随时间变化的声源集合组成,每个声源都生成在音频记录中混合在一起的特征声音事件。这些组成声音事件与它们的混合物和彼此的关联在语义上受到约束:声音场景包含源类的联合,而不是所有类自然地共同出现。有了这个动机,本文探讨了使用无监督的自动声音分离分解成多个语义链接的意见,用于自我监督的对比学习未标记的声音场景。我们发现,学习将输入混合物与其自动分离的输出相关联,比过去单独使用混合物的方法产生更强的表示。此外,我们发现,最佳的声源分离是不需要成功的对比学习,证明了一系列的分离系统的收敛状态都导致有用的,往往是互补的例子变换。我们最好的系统将这些无监督分离模型集成到一个单一的增强前端中,并联合优化视图中的相似性最大化和重合预测目标。其结果是一个无监督的音频表示,竞争对手的国家的最先进的替代品上建立浅AudioSet分类基准。
2021-09-15 cs.LG cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation(腾讯公司)
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统,通过联合训练编码器与解码器并利用预训练模型初始化,有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
Finding Strength in Weakness: Learning to Separate Sounds with Weak Supervision
Northwestern University(西北大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
虽然使用深度学习技术来分离语音和音乐音频信号已经取得了很大的最新进展,但这些系统通常需要在训练过程中收集大量的隔离源。当将音频声源分离算法扩展到诸如环境监测之类的更一般的领域时,可能无法获得用于训练的隔离信号。在这里,我们提出了目标函数和网络架构,使训练弱标签的声源分离系统。在这种情况下,弱标签是与强时频(TF)标签(诸如从隔离源获得的那些标签)相反地定义的,并且是指帧级弱标签,其中人们仅能够访问音频混合中不同源活跃的时间段,或者是指剪辑级弱标签,其仅指示整个音频剪辑中声音的存在或不存在。我们训练一个分离器,它为每种类型的声音事件估计TF掩码,使用声音事件分类器作为分离器性能的评估器,以弥合TF级分离与仅在帧或剪辑级可用的地面真实弱标签之间的差距。我们的目标函数要求分类器应用到一个单独的源分配高概率的类对应于该源和低概率的所有其他类。目标函数还强制分离的源相加为混合物。我们基准测试我们的算法的性能,使用从城市环境中记录的声音数据库中创建的重叠事件的合成混合物。与使用孤立源训练网络相比,我们的模型实现了略低但仍然显着的SI-SDR改进,即使在声音事件重叠的情况下也是如此。
2020-08-28 cs.LG cs.SD eess.AS
SALM: Spatial Audio Language Model with Structured Embeddings for Understanding and Editing
Institute of Acoustics, Chinese Academy of Sciences, China(中国科学院声学研究所);MiLM Plus, Xiaomi Inc., China(小米公司);Xi’an Jiaotong Liverpool University, China(西安交通大学利物浦大学);University of Chinese Academy of Sciences, China(中国科学院大学)
本文提出空间音频语言模型SALM,通过双分支编码器与结构化嵌入实现空间音频和文本的对齐,支持零样本方向分类与音频编辑。
2025-09-18 cs.SD eess.AS
Controlling the Remixing of Separated Dialogue with a Non-Intrusive Quality Estimate
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
重新混合分离的音频源权衡了音频衰减与可听恶化的量。本文提出了一种非侵入式的音频质量估计方法,用于以信号自适应的方式控制这种权衡。最近提出的2f模型被采用作为基本的质量度量,因为它已被证明与源分离中的基本音频质量密切相关。提出了一种替代的操作模式的措施,更合适的考虑材料与目标源的长期非活动期。2f模型需要参考目标源作为输入,但这在许多应用中不可用。深度神经网络(DNN)被训练为使用参考目标(iDNN2f)侵入性地估计2f模型,使用输入混合作为参考(nDNN2f)非侵入性地估计2f模型,以及仅使用分离的输出信号(rDNN2f)无参考地估计2f模型。结果表明,iDNN2f在测试数据上与原始测量实现了非常强的相关性(Pearson r=0.99),而nDNN2f(r>=0.91)和rDNN2f(r>=0.82)的性能下降。非侵入性估计nDNN2f被映射到选择依赖于项目的再混合增益,目的是在对再混合输出的最小质量的约束下最大化干扰衰减(例如,听得见但不恼人的恶化)。收听测试表明,即使选择的增益差异很大(差异高达23 dB),也能成功实现这一点。
2021-07-21 cs.SD eess.AS