Improving Sound Event Detection In Domestic Environments Using Sound Separation
French National Research Agency(法国国家研究署);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);RENATER(法国国家电信通信网络)
对真实世界录音执行声音事件检测通常意味着处理重叠的目标声音事件和非目标声音,也称为干扰或噪声。到目前为止,这些问题主要在分类器级别解决。我们建议使用声音分离作为声音事件检测的预处理。在本文中,我们从在Free Universal Sound Separation数据集和DCASE 2020任务4声音事件检测基线上训练的声音分离模型开始。我们探索不同的方法来结合分离的声源和原始的混合物内的声音事件检测。此外,我们调查的声音分离模型,以适应声音事件检测数据上的声音分离和声音事件检测的影响。
2020-07-08 cs.SD eess.AS eess.SP
Omni-directional attention mechanism based on Mamba for speech separation
School of Cyberspace Science and Technology, Beijing Institute of Technology(空客空间科学与技术学院,北京理工大学);School of Computer Science, Beijing University of Posts and Telecommunications(计算机学院,北京邮电大学);School of Information and Electronics, Beijing Institute of Technology(信息电子学院,北京理工大学)
本文提出基于Mamba的全方位注意力机制,通过在频谱图上从十个方向建模全局依赖,提升语音分离性能。
2026-01-23 cs.SD eess.AS
Improving Voice Separation by Incorporating End-to-end Speech Recognition
Sony Corporation(索尼公司);University of Tsukuba(筑波大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学学院);Sony India Software Centre(索尼印度软件中心)
尽管最近在语音分离方法方面取得了进展,但在现实场景中仍然存在许多挑战,例如嘈杂的录音和可用数据的限制。在这项工作中,我们建议明确纳入语音和语言的性质,采取迁移学习的方法,使用端到端的自动语音识别(E2EASR)系统。语音分离的条件是从E2EASR中提取的深层特征,以覆盖语音方面的长期依赖性。在AVSpeech数据集上进行的语音分离和增强实验结果表明,该方法的信失真比优于基线模型,甚至优于利用嘴唇运动视觉信息的视听模型。
2020-05-04 cs.LG cs.SD eess.AS
Score-informed Music Source Separation: Improving Synthetic-to-real Generalization in Classical Music
Tampere University(塔尔皮奥大学)
本文针对古典音乐源分离任务,提出两种利用乐谱信息的方法:乐谱与幅度谱图拼接输入和仅用乐谱计算分离掩码,在合成数据上训练并在真实录音数据集上验证,发现仅用乐谱的模型显著提升了合成到真实的泛化能力。
2025-06-03 cs.LG cs.SD eess.AS
FastMVAE2: On improving and accelerating the fast variational autoencoder-based source separation algorithm for determined mixtures
NTT Communication Science Laboratories, NTT Corporation(NTT公司NTT通信科学实验室);Nagoya University(名古屋大学);Waseda University(早稻田大学);University of Tsukuba(筑波大学)
本文提出了一种新的信源模型和训练方案,以提高多通道变分自编码器(MVAE)方法的精度和速度。MVAE方法是最近提出的一种强有力的多通道声源分离方法。它包括预训练由条件VAE(CVAE)表示的源模型,然后估计分离矩阵以及其他未知参数,使得在给定观察到的混合信号的情况下,对数似然非递减。虽然MVAE方法已被证明提供高的声源分离性能,但一个缺点是分离矩阵估计算法中的反向传播步骤的计算成本。为了克服这个缺点,随后提出了一种称为“FastMVAE”的方法,该方法使用辅助分类器VAE(ACVAE)来训练源模型。通过使用以这种方式训练的分类器和编码器,可以在算法的每个步骤中有效地(尽管是近似地)推断源模型的最优参数。然而,训练的ACVAE源模型的泛化能力并不令人满意,这导致在具有未知数据的情况下性能较差。为了提高模型的泛化能力,本文提出了一种新的模型结构(称为“ChimeraACVAE”模型)和一种基于知识蒸馏的训练方案。实验结果表明,与FastMVAE算法相比,采用该损失函数训练的信源模型具有更好的声源分离性能和更少的计算时间。我们还证实,我们的方法能够以相当好的准确度分离18个来源。
2022-09-07 cs.SD eess.AS
Improving DNN-based Music Source Separation using Phase Features
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Sony European Technology Center (EuTEC)(索尼欧洲技术中心);Swiss Data Science Center(瑞士数据科学中心);ETH Zürich(苏黎世联邦理工学院);Sony Corporation(索尼公司)
使用深度神经网络的音乐声源分离通常仅依赖于幅度特征。在本文中,我们表明,额外的相位功能可以提高分离性能。使用STFT相位和幅度之间的理论关系,我们推测,相位的衍生物是一个很好的功能表示反对的原始相位。我们通过实验验证了这一猜想,并提出了一种新的DNN架构,它结合了幅度和相位。与仅使用幅度特征的网络相比,这种联合方法在所有仪器的DSD 100数据集上实现了更好的信号失真比。特别地,低音乐器受益于相位信息。
2018-07-16 cs.LG cs.SD eess.AS
Improving singing voice separation using Deep U-Net and Wave-U-Net with data augmentation
Sorbonne Université(索邦大学);IRCAM(声学/音乐研究和协作学院);CNRS(法国国家科学研究中心);Télécom ParisTech(巴黎高等电信学院);Université Paris-Saclay(巴黎萨克雷大学)
最先进的歌声分离是基于深度学习,利用具有跳跃连接的CNN结构(如U-net模型,Wave-U-Net模型或MSDENSELSTM)。这些模型成功的关键是大量训练数据的可用性。在接下来的研究中,我们对单声道信号的歌声分离感兴趣,并将研究比较结构相似但工作于不同输入表示的U-Net和Wave-U-Net。首先,我们报告了一些关于U-Net模型变化的结果。其次,我们将讨论现有数据集增强的最先进的语音和音乐变换算法的潜力,并证明这些增强的效果取决于模型使用的信号表示。结果表明,由于这两个模型的增强相当大的改善。但是音高变换是U-Net模型最有效的增强策略,而变换、时间拉伸和共振峰移位对Wave-U-Net模型的影响要平衡得多。最后,我们在同一数据集上比较了两个模型。
2019-03-04 cs.SD eess.AS
Mixup-breakdown: a consistency training method for improving generalization of speech separation models
Tencent AI Lab(腾讯AI Lab)
基于深度学习的语音分离模型面临着泛化能力差的问题,即使是最先进的模型在失配条件下进行评估时也可能突然失败。为了解决这个问题,我们提出了一种易于实现但有效的基于一致性的半监督学习(SSL)方法,即Mixup-Breakdown训练(MBT)。它学习教师模型来“分解”未标记的输入,并对估计的分离进行插值以产生更有用的伪“混合”输入-输出对,在此基础上,一致性正则化可以应用于学习学生模型。在我们的实验中,我们评估了各种条件下的MBT与不匹配程度的上升,包括看不见的干扰语音,噪声和音乐,并比较MBT的泛化能力与最先进的监督学习和SSL方法。结果表明,MBT显著优于几个强基线,相对SI-SNRi改善高达13.77%。此外,MBT仅向标准训练方案增加了可忽略的计算开销。
2020-03-03 cs.LG cs.SD eess.AS
Improving Real-Time Music Accompaniment Separation with MMDenseNet
Realtek Semiconductor Corp.(瑞昱半导体股份有限公司)
本文通过复数理想比值掩码、自注意力、频带合并-拆分和特征回看等策略改进轻量级模型 MMDenseNet,在保持可接受分离质量的同时实现低实时因子和最优延迟,满足实时音乐伴奏分离需求。
2024-06-30 cs.LG cs.SD eess.AS
Improving Universal Sound Separation Using Sound Classification
Google(谷歌)
深度学习方法最近在音频声源分离和声音分类方面都取得了令人印象深刻的性能。大多数音频声源分离方法仅关注于分离属于诸如语音和音乐的声源类别的受限域的声源。然而,最近的工作已经证明了“通用声音分离”的可能性,其目的是将声源从开放域中分离出来,而不管它们的类别。在本文中,我们利用在大量不同声音上训练的声音分类器网络学习的语义信息来改进通用声音分离。特别是,我们表明,从声音分类器中提取的语义嵌入可用于调节分离网络,为其提供有用的附加信息。这种方法在迭代设置中特别有用,其中来自初始分离阶段的源估计及其对应的分类器导出的嵌入被馈送到第二分离网络。通过执行由一千多个实验组成的彻底的超参数搜索,我们发现来自干净源的分类器嵌入提供了近1 dB的SNR增益,并且我们最好的迭代模型实现了这个预言性能的很大一部分,为通用声音分离建立了新的最先进的技术。
2019-11-18 cs.LG cs.SD eess.AS
Improving Choral Music Separation through Expressive Synthesized Data from Sampled Instruments
UC San Diego(加州大学圣地亚哥分校);Tencent AI Lab(腾讯人工智能实验室)
合唱音乐分离是指提取语音部分的音轨(例如,女高音、女低音、男高音和男低音)。数据集的缺乏阻碍了对这一主题的研究,因为由于版权问题和数据集收集困难,以前的工作只能在几分钟的合唱音乐数据上进行训练和评估模型。在本文中,我们研究了使用合成的训练数据的声源分离任务,真正的合唱音乐。我们做出三个贡献:首先,我们提供了一个自动化的流水线,用于从乐器表现力的可控选项内的采样乐器插件合成合唱音乐数据。这从JSB Chorales数据集产生了一个8.2小时长的合唱音乐数据集,人们可以很容易地合成其他数据。其次,我们进行了一个实验,以评估多个分离模型上现有的合唱音乐分离数据集从以前的工作。据我们所知,这是第一个全面评估合唱音乐分离的实验。第三,实验表明,合成的合唱数据是足够的质量,以提高模型的性能在真正的合唱音乐数据集。这为合唱音乐分离研究提供了额外的实验统计和数据支持。
2022-09-07 cs.MM cs.SD eess.AS
A Study on Improving Multi-class Audio Source Separation Via Decoupled CLAP Query Optimization and an Automated Data Engine
针对语言查询音频源分离适配难题,提出自动化数据引擎与两阶段CLAP控制信号优化框架,在七类声音上显著提升分离性能,主观评测优于基线与商业模型。
2026-10-08 cs.SD
Improving singing voice separation with the Wave-U-Net using Minimum Hyperspherical Energy
City, University of London(伦敦城市大学)
近年来,深度学习已经超越了传统方法来解决歌声分离问题。Wave-U-Net是一种直接在时域上运行的最新深度网络架构。标准Wave-U-Net通过数据增强和提前停止进行训练,以防止过度拟合。最小超球能量(MHE)正则化最近被证明可以通过鼓励多样化的滤波器配置来提高图像分类问题的泛化能力。在这项工作中,我们将MHE正则化应用于Wave-U-Net的1D滤波器。我们评估了这种方法在MUSDB 18数据集上从混合音乐音频记录中分离声乐部分。我们发现,添加MHE正则化的损失函数一致地提高歌声分离,在测试录音的信号失真比测量,导致目前最好的时域系统的歌声提取。
2019-10-22 cs.LG cs.SD eess.AS
Improving Source Separation via Multi-Speaker Representations
KU Leuven(鲁汶大学)
最近,深度学习在解决鸡尾酒会问题方面取得了新的进展。初步结果非常有希望,并允许在该领域进行更多的研究。在神经网络方法中尚未探索的一种技术是说话人自适应。直觉上,我们试图分离的说话者的信息似乎对说话者分离任务至关重要。然而,检索此扬声器信息是具有挑战性的,因为扬声器的身份是不知道的先验和多个扬声器同时活跃。这是一个鸡和蛋的问题。为了解决这个问题,源信号和i向量交替估计。我们发现,盲多说话人自适应提高了网络的结果,(在我们的情况下)网络是不能够充分检索这个有用的说话人信息本身。
2017-08-29 cs.SD
Improving Label Assignments Learning by Dynamic Sample Dropout Combined with Layer-wise Optimization in Speech Separation
Rutgers University(罗格斯大学);Amazon(亚马逊)
针对语音分离中PIT存在的标签分配频繁切换和层解耦问题,提出动态样本丢弃(DSD)与逐层优化(LO)相结合的训练策略,有效提升了模型性能且无需额外训练成本。
2023-11-20 cs.LG cs.SD eess.AS
Improving Generalization of Speech Separation in Real-World Scenarios: Strategies in Simulation, Optimization, and Evaluation
University of California San Diego(加利福尼亚大学圣迭戈分校);Adobe Research(奥多比研究院)
提出AC-SIM数据模拟流程并整合多训练目标至PIT中,通过客观与听觉实验验证了该方法显著提升了语音分离模型在真实场景与非同源测试集上的泛化能力。
2024-08-28 cs.AI cs.LG cs.SD
The Whole Is Greater than the Sum of Its Parts: Improving Music Source Separation by Bridging Network
Sony AI(索尼AI);Sony Europe B.V.(索尼欧洲公司);Sony Group Corporation(索尼集团公司)
提出由多域损失、桥接操作和组合损失构成的X-scheme,在几乎不增加推理成本和参数的前提下提升多种DNN音乐源分离模型性能,并验证其跨模型与大规模数据泛化能力。
2024-08-06 cs.SD eess.AS
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统,这是能够学习分离的声音,并将它们与屏幕上的对象,通过在野外的视频。我们确定了以前的工作的限制,视听屏幕上的声音分离,包括简单性和粗分辨率的时空注意力,和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题,这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系,并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法,通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力,只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练,我们从一个大型的野外视频数据库(YFCC 100m)中收集了屏幕上音频的人类注释。我们的研究结果表明,在屏幕上的分离性能显着改善,在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
Improving Deep Attractor Network by BGRU and GMM for Speech Separation
本文提出用BGRU替代BLSTM、用GMM替代k-means来简化并增强深度吸引子网络,在TIMIT两说话人混合语音分离任务上取得更高SDR和PESQ,同时减少参数和训练时间,并在阿拉伯语混合语音上表现更优。
2023-08-07 cs.AI cs.SD eess.AS
Determined Multichannel Blind Source Separation with Clustered Source Model
Northwestern Polytechnical University(西北工业大学)
本文提出基于非负块项分解的聚类源模型,通过可解释潜在向量和正交性约束改进ILRMA,在无回声和模拟混响环境中均取得更优的盲源分离性能。
2024-05-06 cs.SD eess.AS
Multi-Utterance Speech Separation and Association Trained on Short Segments
Signal Processing Research Center, Tampere University, Tampere, Finland(塔尔皮奥大学信号处理研究中心);Nokia Technologies, Espoo, Finland(诺基亚技术)
本文提出频率-时间循环神经网络FTRNN,以0.9M参数在10秒短片段上训练,无需分段即可处理21-121秒长音频,实现多话语语音分离并保持说话人关联。
2025-07-03 cs.SD eess.AS
Hybrid Y-Net Architecture for Singing Voice Separation
University of Peradeniya(佩拉德尼亚大学)
这篇研究论文提出了一种新的基于深度学习的神经网络架构,名为Y-Net,用于实现音乐声源分离。所提出的架构执行端到端的混合声源分离,从频谱图和波形域提取功能。受U-Net架构的启发,Y-Net预测了一个声谱图掩码,以从混合信号中分离声音源。我们的结果证明了所提出的音乐声源分离体系结构的有效性,并且参数较少。总体而言,我们的工作提出了一个有前途的方法,提高音乐声源分离的准确性和效率。
2023-03-05 cs.LG cs.SD eess.AS
Improving Self-Supervised Learning for Audio Representations by Feature Diversity and Decorrelation
Sony Europe B.V.(索尼欧洲有限公司)
自监督学习(SSL)最近在缩小监督学习和无监督学习之间的差距方面取得了显着的成果。其思想是学习对输入数据的失真不变的鲁棒特征。尽管它取得了成功,但这个想法可能会遇到一个崩溃的问题,即网络产生恒定的表示。为此,我们引入SELFIE,一种新的自监督学习方法,通过特征多样性和去相关性的音频表示。SELFIE通过确保表示(i)保持嵌入之间的高度多样性和(ii)解相关维度之间的依赖关系来避免崩溃问题。SELFIE在大规模AudioSet数据集上进行了预训练,其嵌入在九个音频下游任务上进行了验证,包括语音、音乐和声音事件识别。实验结果表明,SELFIE优于现有的SSL方法在几个任务。
2023-03-07 cs.SD eess.AS
Mamba2 Meets Silence: Robust Vocal Source Separation for Sparse Regions
Kwangwoon University(光云大学)
Mamba2模型通过双路径架构和带宽分割策略,在稀疏区域实现更精准的语音分离,取得11.03 dB的cSDR最佳成绩。
2025-12-31 cs.AI cs.SD eess.AS
Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室);Brno University of Technology(布尔诺理工大学)
目标语音提取是指在给定目标说话人信息的情况下,从混合语音中提取出一个目标语音源。我们最近提出了SpeakerBeam,它利用目标说话者的自适应话语来提取他/她的声音特征,然后用于引导神经网络提取该说话者的语音。SpeakerBeam为语音分离提供了一种实用的替代方案,因为它能够跨话语跟踪目标说话人的语音,并实现有希望的语音提取性能。然而,当说话人具有相似的语音特征时,例如在同性混合中,它有时会失败,因为很难区分目标说话人和干扰说话人。在本文中,我们调查的战略,提高扬声器的区分能力的SpeakerBeam。首先,我们提出了一个时域实现的SpeakerBeam类似于提出的时域音频分离网络(TasNet),它已经实现了最先进的语音分离性能。此外,我们还研究了(1)当麦克风阵列记录可用时,使用空间特征来更好地区分说话者,(2)添加辅助说话者识别损失,以帮助学习更多有区别的语音特征。我们的实验表明,这些策略大大提高了语音提取的性能,特别是对于同性混合,并优于TasNet的目标语音提取。
2020-01-23 cs.CL cs.SD eess.AS
Heterogeneous Separation Consistency Training for Adaptation of Unsupervised Speech Separation
Shanghai Normal University(上海师范大学)
近年来,有监督语音分离技术取得了很大的进展。然而,受监督训练性质的限制,大多数现有的分离方法都需要地面实况源,并且是在合成数据集上训练的。这种地面实况的依赖是有问题的,因为地面实况信号通常在真实条件下不可用。此外,在许多行业场景中,真实的声学特性与模拟数据集中的声学特性相差甚远。因此,当将有监督语音分离模型应用于实际应用时,其性能通常会显著下降。为了解决这些问题,在这项研究中,我们提出了一种新的分离一致性训练,称为SCT,利用现实世界的未标记的混合物,以迭代的方式改善跨域无监督语音分离,通过利用从异构(结构不同,但行为互补)模型获得的互补信息。SCT遵循一个框架,使用两个异构神经网络(HNN),以产生高置信度的伪标签的未标记的真实语音混合。然后更新这些标签,并用于改进HNN,以产生更可靠的一致分离结果,用于真实混合伪标记。为了最大限度地利用不同分离网络之间的大量互补信息,进一步提出了跨知识自适应。与模拟数据集一起,这些具有高置信度伪标签的真实混合物然后用于迭代地更新HNN分离模型。此外,我们发现通过简单的线性融合来组合异质分离输出可以进一步略微改善最终系统性能。
2022-08-06 cs.SD eess.AS
WildMix Dataset and Spectro-Temporal Transformer Model for Monoaural Audio Source Separation
Carnegie Mellon University(卡内基梅隆大学);Singapore University of Technology and Design(新加坡科技设计大学)
单声道音频声源分离是机器学习中具有挑战性的研究领域。在这方面,一个混合包含多个音频源,并期望一个模型来解开的混合成孤立的原子源。在本文中,我们首先介绍了一个具有挑战性的新数据集的单声道声源分离称为WildMix。WildMix的设计目标是将声源分离的边界扩展到该领域以前的数据集所允许的范围之外。它包含来自25个不同声音类别的各种野外录音,使用任意合成策略相互组合。声源分离通常需要在时域和谱域中对长程相关性进行建模。为此,我们引入了一种新的transnformer为基础的模型称为频谱时间Transformer(STT)。STT使用一个专门的编码器,称为频谱时间编码器(STE)。STE突出时间和频谱成分的混合物内的来源,使用自我注意机制。它随后以等级的方式解开它们。在我们的实验中,STT在具有挑战性的WildMix数据集上迅速优于单耳声源分离的各种先前基线。
2019-11-21 cs.LG cs.SD eess.AS
On the Design and Training Strategies for RNN-based Online Neural Speech Separation Systems
Tencent AI Lab(腾讯AI实验室)
虽然最近新型神经网络架构的发展极大地提高了离线神经语音分离系统的性能,但系统与其在线变体之间通常不可避免地存在性能差距。在本文中,我们研究了如何基于RNN的离线神经语音分离系统可以改变成他们的在线同行,同时减轻性能下降。我们在双向RNN层中分解或重组前向和后向RNN层,以形成在线路径和离线路径,这使得模型能够使用相同的模型参数集执行在线和离线处理。我们还介绍了两种训练策略,用于通过预训练的离线模型或多任务训练目标来改进在线模型。实验结果表明,与在线模型相比,所提出的分层重组方案和训练策略能够有效地缩小两种基于RNN的离线分离模型与其在线模型之间的性能差距.
2023-02-21 cs.SD eess.AS
Adversarial attacks on audio source separation
Sony Corporation(索尼公司);University of Tsukuba(筑波大学)
尽管基于神经网络的音频声源分离方法具有优异的性能和广泛的应用前景,但其对故意攻击的鲁棒性在很大程度上被忽视了。在这项工作中,我们重新制定了各种对抗攻击方法的音频声源分离问题,并深入研究他们在不同的攻击条件和目标模型。我们进一步提出了一种简单而有效的正则化方法,以获得不可感知的对抗性噪声,同时以低计算复杂性最大化对分离质量的影响。实验结果表明,当为目标模型制作噪声时,添加难以察觉的小噪声可能会大大降低分离质量。我们还展示了声源分离模型对黑盒攻击的鲁棒性。该研究为开发内容保护方法以防止分离信号的滥用以及提高分离性能和鲁棒性提供了潜在有用的见解。
2021-02-15 cs.LG cs.SD eess.AS
Real-time binaural speech separation with preserved spatial cues
Columbia University(哥伦比亚大学)
深度学习语音分离算法在提高混合音频中分离语音的质量和清晰度方面取得了巨大成功。大多数以前的方法集中在为每个目标扬声器生成单声道输出,因此丢弃了空间声源定位所需的空间线索。然而,保留空间信息在许多旨在准确呈现声学场景的应用中是重要的,例如在助听器和增强现实(AR)中。在这里,我们提出了一种语音分离算法,保留分离的声源的耳间线索,可以实现低延迟和高保真度,因此能够实时修改的声学场景。基于时域音频分离网络(TasNet),一个单通道时域语音分离系统,可以在实时实现,我们提出了一个多输入多输出(MIMO)端到端的TasNet扩展,以双耳混合音频作为输入,同时分离目标扬声器在两个通道。实验结果表明,所提出的端到端MIMO系统能够显著提高分离性能,并在各种声学场景中保持修改源的感知位置不变。
2020-02-16 cs.SD eess.AS
Adversarial Permutation Invariant Training for Universal Sound Separation
Dolby Laboratories(杜比实验室);Sapienza University of Rome(罗马第一大学)
通用声音分离包括分离与不同类型的任意声音的混合,并且使用排列不变训练(PIT)来训练这样做的源不可知模型。在这项工作中,我们补充PIT与对抗性损失,但发现它具有挑战性的语音声源分离中使用的标准配方。我们通过一种新的基于I替换上下文的对抗性损失,并通过使用多个鉴别器进行训练来克服这一挑战。我们的实验表明,通过简单地改善损失(保持相同的模型和数据集),我们在混响FUSS数据集中获得了不可忽略的1.4 dB SI-SNRi的改善。我们还发现对抗性PIT可以有效地减少光谱空洞,这在基于掩模的分离模型中无处不在,这突出了对抗性损失对声源分离的潜在相关性。
2023-03-06 cs.LG cs.SD eess.AS
AudioScopeV2: Audio-Visual Attention Architectures for Calibrated Open-Domain On-Screen Sound Separation
Google Research(谷歌研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们介绍AudioScopeV2,这是一个最先进的通用视听屏幕声音分离系统,它能够通过观看野外视频来学习分离声音并将它们与屏幕上的对象相关联。我们确定了以前的工作的视听屏幕上的声音分离的几个限制,包括时空注意力的粗分辨率,音频分离模型的收敛性差,训练和评估数据的种类有限,以及未能考虑到屏幕上的声音和抑制屏幕外的声音之间的权衡。我们为所有这些问题提供解决方案。我们提出的跨模态和自注意网络架构可以随着时间的推移以更高的分辨率捕获视听依赖关系,我们还提出了高效的可分离变体,这些变体能够扩展到更长的视频,而不会牺牲太多性能。我们还发现,仅在音频上预训练分离模型可以大大提高结果。为了进行训练和评估,我们从一个大型的野外视频数据库(YFCC 100M)中收集了新的人类对声音的注释。这个新的数据集更加多样化和具有挑战性。最后,我们提出了一个校准程序,允许精确调整屏幕上的重建与屏幕外的抑制,这大大简化了不同的操作点模型之间的性能比较。总的来说,我们的实验结果表明,在更一般的条件下,屏幕上的分离性能显着改善比以前的方法,以最小的额外的计算复杂性。
2022-07-20 cs.CV cs.SD eess.AS
Improving snore detection under limited dataset through harmonic/percussive source separation and convolutional neural networks
University of Jaen(哈恩大学)
针对有限数据集下鼾声检测性能受限的问题,提出结合HPSS提取谐波谱图特征输入神经网络的方法,在小样本场景下显著提升检测效果,为OSAS相关声学监测提供技术支持。
2024-10-31 cs.AI cs.ET cs.SD
Audio Source Separation with Discriminative Scattering Networks
NYU, Courant Institute of Mathematical Sciences(纽约大学库朗数学科学研究所);Facebook AI Research(Facebook人工智能研究院)
在这份报告中,我们描述了一个正在进行的研究线解决单通道声源分离的问题。文献中提出的许多单声道信号分解技术在由输入数据的时频表示组成的特征空间上操作。这些方法所面临的挑战是有效地利用信号在大于时间帧的持续时间的尺度上的时间依赖性。在这项工作中,我们建议解决这个问题,通过使用多个时间分辨率的时间-频率表示的信号建模。建议的表示由一个金字塔的小波散射算子,它概括了常数Q变换(CQT)与额外的卷积层和复数模。我们首先表明,学习标准模型与这种多分辨率设置提高了声源分离的结果比固定分辨率的方法。作为研究案例,我们使用了在许多音频应用中被广泛考虑的非负矩阵分解(NMF)。然后,我们调查列入拟议的多分辨率设置到一个歧视性的训练制度。我们讨论了使用不同的深度神经网络架构的几种替代方案。
2015-04-28 cs.LG cs.SD
AutoClip: Adaptive Gradient Clipping for Source Separation Networks
Northwestern University(西北大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
裁剪梯度是改进梯度下降的已知方法,但需要手动选择裁剪阈值超参数。我们提出了AutoClip,这是一种自动自适应选择梯度裁剪阈值的简单方法,基于训练过程中观察到的梯度范数的历史。实验结果表明,应用AutoClip的结果,提高了泛化性能的音频源分离网络。对使用和不使用AutoClip训练的分离网络的训练动态的观察表明,AutoClip将优化引导到损失景观的更平滑部分。AutoClip实现起来非常简单,可以很容易地集成到跨多个域的各种应用程序中。
2020-07-25 cs.LG cs.SD eess.AS