Remastering Divide and Remaster: A Cinematic Audio Source Separation Dataset with Multilingual Support
Netflix, Inc.(网飞公司);Georgia Institute of Technology(佐治亚理工学院)
本文提出了DnR v3数据集,通过改进非对白人声、响度分布、母带制作并引入超30种语言支持,解决了影视音频源分离任务中现有数据集的局限性,实验证明多语言训练显著提升了模型的泛化能力。
2024-08-26 cs.CL cs.LG cs.SD
Scaling Conversational Hungarian ASR: The BEA-Dialogue+ Corpus
Department of Telecommunications and Artificial Intelligence(电信与人工智能系);Budapest University of Technology and Economics(布达佩斯技术与经济大学);Speechtex Ltd.(Speechtex公司);ELTE Research Centre for Linguistics(ELTE语言学研究中心)
针对匈牙利语对话语音识别训练数据不足的问题,本文通过放宽分割标准扩展BEA-Dialogue语料库至200小时,并评估基于Whisper和FastConformer的模型,证明基于序列化输出训练的微调能持续改善识别性能。
2026-05-29 cs.AI cs.CL cs.SD
A Generalized Bandsplit Neural Network for Cinematic Audio Source Separation
Netflix Inc.(网飞公司);Georgia Institute of Technology(佐治亚理工学院)
本文提出一种广义Bandsplit RNN模型用于电影音频分离,通过冗余频带划分、新损失函数和公共编码器结构提升分离性能并降低计算复杂度,在Divide and Remaster数据集上达到SOTA。
2023-12-01 cs.LG cs.SD eess.AS
Facing the Music: Tackling Singing Voice Separation in Cinematic Audio Source Separation
Netflix Inc.(奈飞公司);Georgia Institute of Technology(佐治亚理工学院)
本研究针对电影音频源分离中歌声难以归类的问题,将Bandit和Banquet模型扩展为四音轨分离,发现基于查询的Banquet模型因FiLM层实现更好的特征对齐而表现更优。
2024-08-26 cs.AI cs.LG cs.SD
Dialogue Enhancement and Listening Effort in Broadcast Audio: A Multimodal Evaluation
对话增强(DE)在广播中起着至关重要的作用,使前景语音和背景音乐之间的相对水平和效果的个性化。DE已被证明可以提高体验质量,可理解性和自我报告的听力努力(LE)。从听力学研究已知的LE的生理指标是瞳孔大小。瞳孔大小与LE之间的关系通常使用广播内容中未遇到的人工句子和背景噪声来研究。这项工作以多模式方式评估了DE对LE的影响,包括瞳孔大小(由VR耳机跟踪)和电视中的真实世界音频摘录。在理想的收听条件下,28名听力正常的参与者收听了30段以随机顺序呈现的音频片段,并通过改变前景和背景音频之间的相对水平的条件进行处理。这些条件之一,采用了最近提出的源分离系统,以衰减的原始混合物作为唯一的输入的背景。在听完每一段之后,受试者被要求重复听到的句子并自我报告LE。分析平均瞳孔扩张和峰值瞳孔扩张,并与自我报告和单词回忆率进行比较。多模态评价显示出随着背景水平降低LE降低的一致趋势。DE,也当通过源分离启用时,显著减小瞳孔大小以及自我报告的LE。这突出了个性化功能在用户端的好处。
2022-08-03 eess.AS
SSNAPS: Audio-Visual Separation of Speech and Background Noise with Diffusion Inverse Sampling
Bar-Ilan University(巴伊兰大学);OriginAI
提出一种无监督的视听语音分离方法,利用扩散先验和逆采样联合建模语音与噪声,在单麦克风场景下优于有监督基线,并支持离屏说话人分离。
2026-06-16 cs.LG cs.SD eess.AS
GSEP: A robust vocal and accompaniment separation system using gated CBHG module and loudness normalization
Gaudio Lab, Inc.(Gaudio Lab 公司)
在音频信号处理研究领域,声源分离长期以来一直是热门的研究课题,最近采用的深度神经网络在性能上显示出显著的改善。这一改进使行业能够生产基于音频深度学习的产品和服务,包括音乐流媒体应用程序中的Karaming和UHDTV中的对话增强。对于这些早期市场,我们从鲁棒性、质量和成本方面定义了一套人声和伴奏分离模型的设计原则。在本文中,我们介绍了GSEP(Gaudio声源分离系统),一个强大的人声和伴奏分离系统,采用了一个门控CBHG模块,掩模翘曲,响度归一化,它是通过实验验证,该系统满足所有的三个原则,并优于国家的最先进的系统在客观测量和主观评价。
2021-02-22 cs.MM cs.SD eess.AS
EDSep: An Effective Diffusion-Based Method for Speech Source Separation
Jiangsu University(江苏大学);Northwestern Polytechnical University(西北工业大学)
提出基于SDE得分匹配的单通道语音分离方法EDSep,通过新型去噪器函数和随机采样器优化训练与采样效率,在多个数据集上性能优于现有扩散和判别模型。
2025-01-27 cs.SD eess.AS
Improving Source Separation by Explicitly Modeling Dependencies Between Sources
Google(谷歌)
我们提出了一种新的方法来训练监督声源分离系统,其目的是学习混合物中所有源组合之间的相互依赖关系。我们不是从混合中独立地估计每个源,而是将声源分离问题重构为无顺序神经自回归密度估计(NADE),并从混合和其他源的随机子集中估计每个源。我们采用了一个标准的声源分离架构,Demucs,除了输入混合物外,还为每个单独的源提供了额外的输入。我们在训练过程中随机屏蔽这些输入源,以便网络学习源之间的条件依赖关系。通过将这种训练方法与推理时的块Gibbs采样过程配对,我们证明了网络可以通过将源估计条件化到其早期源估计来迭代地提高其分离性能。在两个声源分离数据集上的实验表明,使用无顺序NADE方法并在推理时使用Gibbs采样(多达512步)训练Demucs模型的性能明显优于使用标准回归损失和直接(一步)估计源的Demucs基线。
2022-03-28 cs.SD eess.AS
Controlling the Remixing of Separated Dialogue with a Non-Intrusive Quality Estimate
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
重新混合分离的音频源权衡了音频衰减与可听恶化的量。本文提出了一种非侵入式的音频质量估计方法,用于以信号自适应的方式控制这种权衡。最近提出的2f模型被采用作为基本的质量度量,因为它已被证明与源分离中的基本音频质量密切相关。提出了一种替代的操作模式的措施,更合适的考虑材料与目标源的长期非活动期。2f模型需要参考目标源作为输入,但这在许多应用中不可用。深度神经网络(DNN)被训练为使用参考目标(iDNN2f)侵入性地估计2f模型,使用输入混合作为参考(nDNN2f)非侵入性地估计2f模型,以及仅使用分离的输出信号(rDNN2f)无参考地估计2f模型。结果表明,iDNN2f在测试数据上与原始测量实现了非常强的相关性(Pearson r=0.99),而nDNN2f(r>=0.91)和rDNN2f(r>=0.82)的性能下降。非侵入性估计nDNN2f被映射到选择依赖于项目的再混合增益,目的是在对再混合输出的最小质量的约束下最大化干扰衰减(例如,听得见但不恼人的恶化)。收听测试表明,即使选择的增益差异很大(差异高达23 dB),也能成功实现这一点。
2021-07-21 cs.SD eess.AS
Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA;MIT(麻省理工学院)
本文提出Audio-SDS,将分数蒸馏采样推广到文本条件音频扩散模型,利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务,无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
Sampling-Frequency-Independent Universal Sound Separation
National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究院(AIST));Tokyo University of Agriculture and Technology (TUAT)(东京农工大学(TUAT))
本文提出采样频率无关的通用声音分离方法,通过扩展SuDoRM-RF并利用SFI卷积层处理未训练采样频率,实验证明其性能优于基于信号重采样的方法。
2023-09-22 cs.LG cs.SD eess.AS
On Data Sampling Strategies for Training Neural Network Speech Separation Models
The University of Sheffield(谢菲尔德大学)
本研究分析训练信号长度限制对SepFormer、Conv-TasNet两种语音分离模型的影响,发现特定长度限制可通过增加独特训练样本提升性能,4.42秒限制结合动态混合训练的SepFormer性能与无限制最优模型相当,且训练时间减少44%。
2023-06-16 cs.AI cs.LG cs.NE
VM-ARRAYDPS: Virtual Microphone Augmented Diffusion Posterior Sampling for Unsupervised Blind Speech Separation
Southern University of Science and Technology(南方科技大学)
针对麦克风数量限制ArrayDPS性能的问题,提出VM-ArrayDPS,通过添加高信噪比虚拟麦克风提供额外多通道一致性约束,显著提升2/3说话人盲语音分离性能。
2026-10-08 cs.LG cs.MM cs.SD
Algorithms of Sampling-Frequency-Independent Layers for Non-integer Strides
The University of Tokyo(东京大学);Tokyo University of Agriculture and Technology(东京农工大学);National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所)
针对SFI卷积层在非整数步幅下无法适配不同采样频率的问题,提出基于加窗sinc插值的连续时间重采样算法,并在音乐源分离中优于舍入与信号重采样方法。
2023-06-19 cs.SD eess.AS
Towards robust music source separation on loud commercial music
Seoul National University(首尔大学)
如今,商业音乐与过去相比具有极大的响度和严重压缩的动态范围。然而,在音乐声源分离中,这些特性没有被充分考虑,导致实验室和现实世界之间的域不匹配。在本文中,我们证实,这种域失配的音乐声源分离网络的性能产生负面影响。为此,我们首先通过模仿音乐母带制作过程创建了域外评估数据集musdb-L和XL。然后,我们定量地验证了最先进的算法的性能显着恶化,在我们的数据集。最后,我们提出了LimitAug数据增强方法来减少域失配,该方法在训练数据采样过程中使用在线限幅器。我们证实,它不仅消除了域外数据集的性能下降,而且还提高了域内数据的性能。
2022-08-30 cs.SD eess.AS
A Hands-on Comparison of DNNs for Dialog Separation Using Transfer Learning from Music Source Separation
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
本文描述了在用于将广播音频中的语音内容与非语音内容分离的任务特定微调之前和之后使用最先进的音乐源分离深度神经网络(DNN)的实际比较(即,对话分隔)。选择音乐分离模型,因为它们与所考虑的广播内容共享通道的数量(2)和采样率(44.1kHz或更高),并且音乐中的人声分离被认为是目标应用领域中的对话分离的并行。这些相似性被认为是为了实现任务之间的迁移学习。在实验中考虑了三个在音乐上预先训练的模型(Open-Unmix,Spleeter和Conv-TasNet),并使用真实的广播数据进行了微调。在使用计算评估度量(SI-SIRi、SI-SDRi、2f-模型)进行微调之前和之后,以及使用模拟非语音信号被部分衰减的应用的收听测试来评估模型的性能,以获得更好的语音清晰度。评估包括两个专门为对话分离开发的参考系统。结果表明,预先训练的音乐源分离模型可以在一定程度上用于对话分离,并且它们受益于微调,达到接近特定任务解决方案的性能。
2021-06-22 cs.SD eess.AS
Zero-Shot Duet Singing Voices Separation with Diffusion Models
Queen Mary University of London(伦敦玛丽女王大学);Sapienza University of Rome(罗马大学)
本文针对二重唱歌声分离中歌手身份不一致的问题,提出基于扩散模型的自回归重叠片段后验采样方法,在MedleyVox数据集上验证其优于朴素后验采样基线。
2024-10-20 cs.SD eess.AS
Local Equivariance Error-Based Metrics for Evaluating Sampling-Frequency-Independent Property of Neural Network
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院);The National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院);Department of Electrical Engineering and Computer Science, Tokyo University of Agriculture and Technology(东京农业大学工学与计算机科学系)
本文提出三种基于局部等变误差的度量方法,用于量化深度神经网络对采样频率变化的采样频率无关特性,并在音乐源分离实验中验证了这些度量与未经训练采样频率下性能下降之间的强相关性。
2025-06-04 cs.SD eess.AS
Time-Domain Audio Source Separation Based on Wave-U-Net Combined with Discrete Wavelet Transform
The University of Tokyo(东京大学)
提出了一种基于离散小波变换的时域下采样和上采样音频声源分离方法。所提出的方法基于最先进的深度神经网络之一Wave-U-Net,其依次对特征图进行下采样和上采样。我们发现,这种架构类似于多分辨率分析,并揭示了DS层的Wave-U-Net造成混叠,并可能会丢弃有用的信息的分离。虽然这些问题的影响可以通过训练来减少,但是为了实现更可靠的声源分离方法,我们应该设计能够克服这些问题的DS层。基于这种信念,我们着重于小波变换具有抗混叠滤波器和完美的重构特性这一事实,设计了所提出的层。对音乐声源分离的实验表明了该方法的有效性以及同时考虑抗混叠滤波器和完美重构特性的重要性。
2020-01-28 cs.LG cs.MM cs.SD
Distribution Preserving Source Separation With Time Frequency Predictive Models
Dolby Sweden AB(杜比瑞典公司)
针对现有源分离方法的感知缺陷,提出一种基于无条件生成模型与混合一致性采样的分布保持源分离方法,分离信号符合源分布,在听力测试中表现更优。
2023-03-10 cs.LG cs.SD eess.AS
Effects of Dataset Sampling Rate for Noise Cancellation through Deep Learning
University of Maryland(马里兰大学)
本研究探讨训练数据采样率对轻量级深度神经网络ConvTasNET在移动设备上实现主动噪声消除性能的影响,发现较高采样率(如48kHz)能显著提升音频质量评估指标,但会增加处理时间。
2024-05-30 cs.AI cs.SD eess.AS
Parallel and Flexible Sampling from Autoregressive Models via Langevin Dynamics
University of Washington(华盛顿大学)
本文介绍了一种从自回归模型中抽样的替代方法。自回归模型通常根据模型定义的转换动态顺序采样。相反,我们提出了一个采样过程,将一个序列与白噪声,并遵循一个马尔可夫链定义的朗之万动力学的全球对数似然序列。这种方法将采样过程并行化,并推广到条件采样。使用自回归模型作为贝叶斯先验,我们可以使用条件似然或约束来引导生成模型的输出。我们将这些技术应用于视觉和音频领域的自回归模型,在音频声源分离、超分辨率和图像修复方面具有竞争力。
2021-12-16 cs.LG cs.SD eess.AS
CNN-LSTM models for Multi-Speaker Source Separation using Bayesian Hyper Parameter Optimization
KU Leuven(鲁汶大学)
近年来,针对多说话者声源分离问题,出现了许多深度学习方法。大多数使用长短期记忆-递归神经网络(LSTM-RNN)或卷积神经网络(CNN)来建模语音的顺序行为。在本文中,我们提出了一种新的网络,用于并行使用编码器-解码器CNN和LSTM的声源分离。必须为网络的两个部分选择超参数,并且它们可能相互依赖。由于超参数网格搜索具有高计算负担,随机搜索通常是优选的。然而,当对超参数空间中的新点进行采样时,它可能非常接近先前评估的点,因此几乎没有提供额外的信息。此外,随机抽样很可能在有希望的区域进行抽样,就像在以性能差的模型为主的超空间区域进行抽样一样。因此,我们使用贝叶斯超参数优化技术,发现并行CNN-LSTM优于LSTM和CNN模型。
2019-12-19 cs.LG eess.AS stat.ML
ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion
AveraLabs(艾维拉实验室)
提出ConversationalVoice流水线,通过分离、重建和扩展将真实对话转化为全双工训练数据,保持高说话人相似度与语音质量,为后续模型训练提供基础。
2026-09-09 cs.CL cs.SD eess.AS
D3Net: Densely connected multidilated DenseNet for music source separation
Sony Corporation(索尼公司)
音乐源分离涉及大的输入场来对音频信号的长期依赖性进行建模。先前的基于卷积神经网络(CNN)的方法使用顺序下采样和上采样特征图或扩张卷积来解决大输入场建模。在本文中,我们声称的重要性的快速增长的感受野和多分辨率数据的同时建模在一个单一的卷积层,并提出了一种新的CNN架构称为密集连接扩张DenseNet(D3Net)。D3Net涉及一种新型的多重膨胀卷积,它在单层中具有不同的膨胀因子,可以同时对不同的分辨率进行建模。通过将多重扩张卷积与DenseNet架构相结合,D3Net避免了在DenseNet中天真地引入扩张卷积时存在的混叠问题。在MUSDB18数据集上的实验结果表明,D3Net实现了最先进的性能,平均信号失真比(SDR)为6.01 dB。
2021-03-27 cs.LG cs.SD eess.AS
Cyclic Co-Learning of Sounding Object Visual Grounding and Sound Separation
University of Rochester(罗切斯特大学);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京大数据管理与分析方法重点实验室)
在我们的日常生活中,存在着丰富的同步视听事件。在事件内部,音频场景与相应的视觉对象相关联;同时,发声对象可以指示并帮助分离音轨中的各个声音。基于这一观察,在本文中,我们提出了一个循环的共同学习(CCoL)的范例,可以共同学习发声对象的视觉接地和视听声音分离在一个统一的框架。具体地说,我们可以利用扎根的物体-声音关系来改善声音分离的结果。同时,利用分离出的声音所提供的判别信息,改进了探测目标接地的训练样本采样方法,为两个任务建立了一个协同学习的循环,使它们相互受益。大量的实验表明,该框架在这两个任务上都优于最近的方法,并且它们可以通过我们的循环协同学习相互受益。
2021-04-05 cs.CV cs.MM cs.SD
ArrayDPS: Unsupervised Blind Speech Separation with a Diffusion Prior
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学);Southern University of Science and Technology(南方科技大学)
针对麦克风阵列盲语音分离中阵列结构、RIR和源信号均未知的难题,提出基于扩散后验采样的无监督生成式方法ArrayDPS,通过优化近似似然与房间声学特性,仅需单说话人扩散先验即可实现优于现有无监督方法、媲美有监督方法的分离性能。
2025-06-17 cs.LG cs.MM cs.SD
Diffusion-Based Unsupervised Audio-Visual Speech Separation in Noisy Environments with Noise Prior
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);OriginAI
针对单麦克风含噪语音分离问题,提出一种基于扩散模型的无监督音视频分离方法,通过显式建模语音与噪声分布并利用逆向扩散过程采样,在嘈杂环境中实现了有效的纯净语音分离。
2025-09-17 cs.LG eess.AS