Neural separation of observed and unobserved distributions
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究院);Facebook AI Research(Facebook人工智能研究院)
分离混合分布是机器学习和信号处理的长期挑战。目前大多数方法要么依赖于对源分布做出强有力的假设,要么依赖于在混合物中具有每个源的训练样本。在这项工作中,我们介绍了一种新的方法-神经鸡蛋分离-来解决从未观察到的分布中提取信号与来自观察到的分布的信号相加混合的情况。我们的方法迭代地学习将已知分布与未知分布的逐渐精细的估计分开。在某些设置中,神经卵分离是初始化敏感的,因此我们引入了潜在混合掩蔽,以确保良好的初始化。对音频和图像分离任务的大量实验表明,我们的方法优于使用相同监督级别的当前方法,并且通常实现与完全监督相似的性能。
2019-05-16 cs.CL cs.LG eess.AS
Informed Source Separation: A Bayesian Tutorial
NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心)
源分离问题在物理科学中是普遍存在的;任何信号叠加的情况都需要源分离来估计原始信号。在本教程中,我将讨论贝叶斯方法的源分离问题。这种方法有一个特殊的优点,即它要求设计者明确地描述信号模型,以及问题描述中的任何其他信息或假设。这自然导致了知情源分离的想法,其中算法设计结合了有关特定问题的相关信息。这种方法有望使研究人员能够设计自己的高质量算法,专门针对手头的问题。
2013-11-13 cs.LG stat.ML
Separation of Chaotic Signals by Reservoir Computing
University of Maryland(马里兰大学);College Park(学院公园);Maryland 20742(马里兰州20742(注意:这是地址信息,根据规则不应提取,此处可能是示例中的错误,实际应仅提取“University of Maryland”))
我们展示了机器学习的效用,在叠加混沌信号的分离使用一种技术称为水库计算。我们假设没有知识的动态方程产生的信号,只需要训练数据组成的分量信号的有限时间样本。我们测试我们的方法形成的信号作为线性组合的信号从两个洛伦兹系统具有不同的参数。比较我们的非线性方法与分离问题的最佳线性解决方案,维纳滤波器,我们发现,我们的方法显着优于维纳滤波器在我们研究的所有情况下。此外,当分量信号具有相似的频谱时,这种差异特别显著。事实上,我们的方法工作得很好,当分量频谱是不可区分的-维纳滤波器执行基本上没有分离的情况下。
2019-10-25 cs.LG eess.SP
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报研究所)
提出了一种视听语音分离学习方法,该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练,纯音频损失反映了源信号与分离信号之间的距离。然而,传统的损失不能反映语音信号的特征,包括说话者的特征和语音信息,这导致失真或残留噪声。为了解决这个问题,我们提出了跨模态对应(CMC)损失,这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响,并且包含说话人和语音信息,因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明,该方法在CMC损失的基础上学习同现,提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Single-Channel Multi-Speaker Separation using Deep Clustering
MERL(三菱电机研究实验室)
深度聚类是最近引入的一种深度学习架构,它使用区分训练的嵌入作为聚类的基础。它最近被应用于声谱图分割,在说话人无关的多说话人分离方面取得了令人印象深刻的结果。在本文中,我们扩展了基线系统的端到端的信号近似的目标,大大提高了性能的一个具有挑战性的语音分离。我们首先通过结合更好的正则化、更大的时间上下文和更深的架构来显着改善基线系统性能,最终与两个扬声器分离的6.0 dB基线相比,信号失真比(SDR)整体改善了10.3 dB,三个扬声器分离的SDR改善了7.1 dB。然后,我们扩展模型,将增强层合并到信号估计中,并通过聚类和增强阶段进行端到端训练,以最大限度地提高信号保真度。我们使用自动语音识别评估结果。新的信号近似目标与端到端训练相结合,产生了前所未有的性能,将字出错率(WER)从89.1%降至30.8%。这是解决鸡尾酒会问题的一个重大进步。
2016-07-07 cs.LG cs.SD stat.ML
Towards Unsupervised Single-Channel Blind Source Separation using Adversarial Pair Unmix-and-Remix
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Facebook AI Research(脸书人工智能研究院)
盲单通道信号分离是信号处理领域的一个长期挑战。许多方法被提出来解决这个问题,利用多个信号先验,如低秩,稀疏性,时间连续性等,最近的进展生成对抗模型的信号回归任务提供了新的机会。然而,对抗训练的力量还没有实现盲源分离任务。在这项工作中,我们提出了一种新的方法,盲源分离(BSS)使用对抗的方法。我们依赖于源的独立性来对近似分离的源对创建对抗性约束,这确保了良好的分离。在图像源上进行的实验验证了我们的方法的良好性能,并提出了我们的方法作为一个有前途的方法来解决一般信号的盲分离。
2019-05-16 cs.LG cs.SD eess.AS
Signal-noise separation using unsupervised reservoir computing
Korea Institute for Advanced Study(韩国高等研究院);Ulsan National Institute of Science and Technology(蔚山国家科学技术研究院)
本文提出一种基于储备池计算的无监督信号噪声分离方法,无需先验知识即可提取信号中的可预测成分并估计噪声分布,在强噪声及负信噪比条件下表现优异。
2024-05-30 cs.LG eess.SP nlin.CD
Improving Universal Sound Separation Using Sound Classification
Google(谷歌)
深度学习方法最近在音频声源分离和声音分类方面都取得了令人印象深刻的性能。大多数音频声源分离方法仅关注于分离属于诸如语音和音乐的声源类别的受限域的声源。然而,最近的工作已经证明了“通用声音分离”的可能性,其目的是将声源从开放域中分离出来,而不管它们的类别。在本文中,我们利用在大量不同声音上训练的声音分类器网络学习的语义信息来改进通用声音分离。特别是,我们表明,从声音分类器中提取的语义嵌入可用于调节分离网络,为其提供有用的附加信息。这种方法在迭代设置中特别有用,其中来自初始分离阶段的源估计及其对应的分类器导出的嵌入被馈送到第二分离网络。通过执行由一千多个实验组成的彻底的超参数搜索,我们发现来自干净源的分类器嵌入提供了近1 dB的SNR增益,并且我们最好的迭代模型实现了这个预言性能的很大一部分,为通用声音分离建立了新的最先进的技术。
2019-11-18 cs.LG cs.SD eess.AS
On Neural Architectures for Deep Learning-based Source Separation of Co-Channel OFDM Signals
Massachusetts Institute of Technology(麻省理工学院)
研究单信道OFDM信号源分离问题,发现面向音频的神经架构在分离同信道OFDM波形时表现不佳,提出基于OFDM结构的领域知情网络参数化修改,使性能提升约30 dB。
2023-03-15 cs.LG eess.SP
Deep neural networks for single channel source separation
Faculty of Engineering
提出了一种基于深度神经网络(DNN)的单通道声源分离(SCSS)方法。与以前的研究不同,DNN和其他分类器用于对时频区间进行分类以获得每个源的硬掩模,我们使用DNN对估计的源谱进行分类,以检查它们在分离过程中的有效性。在训练阶段,源信号的训练数据用于训练DNN。在分离阶段,训练的DNN用于帮助估计混合信号中的每个源。单通道声源分离问题被公式化为能量最小化问题,其中鼓励每个源谱估计以拟合训练的DNN模型,并且鼓励混合信号谱被写为估计的源谱的加权和。所提出的方法的工作原理,无论在训练和分离阶段的源信号之间的能量尺度的差异。非负矩阵分解(NMF)用于初始化每个源的DNN估计。实验结果表明,与使用NMF进行声源分离相比,使用NMF初始化的DNN进行声源分离可以提高分离信号的质量。
2013-11-12 cs.LG cs.NE
Simultaneous source separation of unknown numbers of single-channel underwater acoustic signals based on deep neural networks with separator-decoder structure
Harbin Engineering University(哈尔滨工程大学);Beijing Institute of Technology, Zhuhai(北京理工大学珠海学院)
本文提出一种基于分隔器-解码器结构的深度学习模型,用于分离数量未知的单通道水声信号,通过固定输出通道数避免排列问题,并引入含静默通道的评估指标,实验证明性能与已知数量时相当且具可扩展性。
2024-05-28 cs.AI cs.LG cs.SD
Blind Signal Separation in the Presence of Gaussian Noise
Ohio State University(俄亥俄州立大学)
一个典型的盲信号分离问题是所谓的鸡尾酒会问题,在一个房间里有n个人同时说话,有n个不同的麦克风。目标是从麦克风输入中恢复每个语音信号。在数学上,这可以通过假设我们被给予来自n维随机变量X=AS的样本来建模,其中S是其坐标是对应于每个扬声器的独立随机变量的向量。目标是从X中恢复给定随机样本的矩阵A^{-1}。在信号处理和机器学习文献中,已经提出了一系列统称为独立分量分析(ICA)的技术来解决这个问题。这些技术中的许多技术是基于使用峰度或其他累积量来恢复分量。本文提出了一种新的算法来解决加性高斯噪声存在下的盲信号分离问题,当给定样本为X=AS+η时,其中η是从未知的,不一定是球形的n维高斯分布中提取的。我们的方法是基于一种方法去相关的加性高斯噪声的假设下,基本的分布是一个独立的组件分布的线性变换的样本。我们的去相关例程是基于累积量张量的属性,可以与任何标准的基于累积量的ICA方法相结合,得到一个算法,该算法在高斯噪声的存在下是可证明的鲁棒性。我们推导出我们的方法的样本复杂性和错误传播的多项式界。
2013-06-09 cs.DS cs.LG stat.ML
A Novel Approach to WaveNet Architecture for RF Signal Separation with Learnable Dilation and Data Augmentation
Technology Innovation Institute(技术创新研究所);Khalifa University(哈利法大学)
本文提出一种引入可学习膨胀参数的改进WaveNet架构,结合数据增强策略解决密集RF频谱中的信号分离问题,在OFDM-QPSK信号上SINR提升58.82%,并在datadrivenrf2024挑战赛中夺冠。
2024-02-08 cs.LG eess.SP
Single-Channel Signal Separation and Deconvolution with Generative Adversarial Networks
University of Surrey(萨里大学);Tencent AI lab(腾讯人工智能实验室)
单通道信号分离和反卷积的目的是从单通道混合信号中分离和反卷积单个信号源,这是一个具有挑战性的问题,其中没有混合滤波器的先验知识。单个源和混合滤波器都需要估计。此外,混合物可能包含在训练集中看不到的非平稳噪声。本文提出了一种合成-分解(S-D)方法来解决单通道分离和反卷积问题。在合成中,使用生成对抗网络(GAN)构建源的生成模型。在分解中,混合滤波器和源都被优化以最小化混合的重构误差。所提出的S-D方法在图像修复和完成中实现了18.9 dB和15.4 dB的峰值噪声比(PSNR),分别优于15.3 dB和12.2 dB的基线卷积神经网络PSNR,并且在源分离和反卷积中实现了13.2 dB的PSNR,优于10.1dB的卷积非负矩阵分解(NMF)基线。
2019-06-14 cs.LG cs.SD eess.AS
Active Learning Classification from a Signal Separation Perspective
Institute of Mathematical Sciences, Claremont Graduate University(克莱蒙特研究生大学数学科学研究所)
本文提出一种基于信号分离原理的聚类与分类框架,用于主动学习分类,在重叠分布下高效识别类别支撑集,并在高光谱数据集上以少量训练点达到与最先进算法相当的性能。
2025-02-23 cs.LG math.OC
VoiceFilter: Targeted Voice Separation by Speaker-Conditioned Spectrogram Masking
Google(谷歌)
在本文中,我们提出了一种新的系统,分离的目标说话人的声音从多说话人信号,通过使用一个参考信号从目标说话人。我们通过训练两个独立的神经网络来实现这一点:(1)说话人识别网络,它产生说话人区分嵌入;(2)声谱图掩蔽网络,它将噪声声谱图和说话人嵌入作为输入,并产生一个掩码。我们的系统显着降低了多扬声器信号的语音识别WER,单扬声器信号的WER退化最小。
2019-06-19 cs.LG eess.AS eess.SP
Electrocardiography Separation of Mother and Baby
提取母亲和婴儿的心电图(ECG或EKG)信号是一项具有挑战性的任务,因为使用一个单一的设备,它接收多个心跳的混合。在本文中,我们想设计一个滤波器来分离信号彼此。
2014-11-05 cs.CV cs.LG
Exploiting Temporal Structures of Cyclostationary Signals for Data-Driven Single-Channel Source Separation
Massachusetts Institute of Technology(麻省理工学院)
本文研究了单通道信号源分离问题,重点研究了循环平稳信号,这类信号特别适用于多种应用领域。与经典的SCSS方法不同,我们考虑的设置只有源的例子,而不是他们的模型,激发了数据驱动的方法。对于源模型与潜在的循环平稳高斯成分,我们建立了一个下限的可达到的均方误差(MSE)的任何分离方法,基于模型或数据驱动。我们的分析进一步揭示了最佳分离的操作和相关的实施挑战。作为一种在计算上有吸引力的替代方案,我们提出了一种使用U-Net架构的深度学习方法,该方法与最小MSE估计器具有竞争力。我们在模拟中证明,适当的域知情的架构选择,我们的U-Net方法可以接近最佳性能,大大降低了计算负担。
2022-08-22 cs.AI cs.LG eess.SP
Referenceless Performance Evaluation of Audio Source Separation using Deep Neural Networks
Centre for Vision, Speech and Signal Processing, University of Surrey(萨里大学视觉、语音与信号处理中心);audEERING GmbH(audEERING有限公司)
当前用于音频声源分离的性能评估依赖于将处理或分离的信号与参考信号进行比较。因此,常见的性能评估工具包不适用于地面实况音频不可用的真实情况。在本文中,我们提出了一个性能评估技术,不需要参考信号,以评估分离质量。所提出的技术使用深度神经网络(DNN)来将经处理的音频映射到其质量分数。我们的实验结果表明,DNN是能够预测的来源,从盲声源分离评估工具包,而不需要参考信号的文物比。
2018-11-01 cs.LG cs.MM cs.SD
Single-Channel Speech Separation with Auxiliary Speaker Embeddings
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
本文提出了一种新的声源分离模型,将单声道语音信号分解为两个不同说话人的语音段。所提出的模型是一个基于残差块的神经网络,并使用学习的扬声器嵌入创建从额外的干净的上下文记录的两个扬声器作为输入,以帮助归因于不同的时间频率箱的两个扬声器。在实验中,我们表明,该模型在声源分离任务中产生良好的性能,并优于最先进的基线。具体来说,从具有挑战性的VoxCeleb数据集分离语音,所提出的模型产生4.79dB的信号失真比,8.44dB的信号伪影比和7.11dB的信号干扰比。
2019-06-24 cs.LG cs.SD eess.AS
Separation of Water and Fat Magnetic Resonance Imaging Signals Using Deep Learning with Convolutional Neural Networks
Saint Francis Hospital(圣弗朗西斯医院)
目的:提出了一种使用卷积神经网络(ConvNet)和深度学习(DL)进行磁共振(MR)成像水脂分离的新方法。一系列的患者研究和预测的定量值的准确性证明了该方法的可行性与复杂的和幅度的图像。研究方法:使用传统的基于模型的方法,对来自90个成像会话(正常、急性和慢性心肌梗死)的1200个梯度回波采集进行水脂分离,该方法具有R2* 和非共振建模以及多峰脂肪谱。用900个梯度回波训练用于计算仅水、仅脂肪、R2* 和非共振图像的U-Net卷积神经网络。研究了多回波和单回波复值和幅度输入数据算法,并与传统的扩展回波建模进行了比较。结果:U-Net ConvNet很容易训练,提供的水脂分离结果在视觉上与传统方法相当。DL结果显示慢性心肌梗死的心肌脂肪沉积和急性心肌梗死的心肌内出血。R2*、非共振、水和脂肪信号强度的预测值与基于传统模型的水脂肪分离良好相关(R2>=0.97,p<0.001)。与传统方法相比,DL图像的信噪比高14%(p<0.001)。结论:利用ConvNets的深度学习是一种适用于复杂、幅度和单回波图像数据的MR水脂分离成像的可行方法。经过训练的U-Net可以有效地用于MR水脂分离,提供与传统的基于模型的方法相当的结果。
2017-10-27 cs.AI cs.CV cs.LG
FlowSep-RF: Rectified Flow Matching for Single-Channel Radio-Frequency Signal Separation
Virginia Commonwealth University(弗吉尼亚联邦大学)
FlowSep-RF是一种修正流匹配框架,结合时域IQ样本与频域特征,通过单步推理在含多种干扰的QPSK混合信号分离中,取得比经典、判别式及生成式基线更低的平均误码率和均方误差。
2026-10-15 cs.LG eess.SP
Deep Metric Learning with Locality Sensitive Angular Loss for Self-Correcting Source Separation of Neural Spiking Signals
Imperial College London(帝国理工学院)
神经生理学时间序列,如肌电信号和皮层内记录,通常由许多单独的尖峰源组成,其恢复可以提供对感兴趣的生物系统的基本见解或为人机接口提供神经信息。由于这个原因,声源分离算法已经成为神经科学和神经工程中越来越重要的工具。然而,在有噪声或高度多变量的记录中,这些分解技术通常产生大量的错误,这降低了人机接口应用,并且通常需要对尖峰时间戳的输出标签集进行昂贵的事后手动清理。为了解决自动化事后清理和鲁棒分离过滤器的需求,我们提出了一种基于深度度量学习的方法,使用一种新颖的损失函数来保持类内方差,从而创建适合标签清理和发现新激活的丰富嵌入空间。然后,我们验证了这种方法与人为损坏的标签集的基础上源分离的高密度表面肌电图记录,恢复原始的时间戳,即使在极端程度的功能和类相关的标签噪声。这种方法使神经网络能够学习使用任何不完美的标记信号的方法来准确地解码神经生理时间序列。
2021-10-13 cs.LG q-bio.NC
Stepwise-Refining Speech Separation Network via Fine-Grained Encoding in High-order Latent Domain
Harbin Institute of Technology at Shenzhen(深圳哈尔滨工业大学);The Chinese University of Hong Kong at Shenzhen(香港中文大学(深圳))
单通道语音分离的关键是如何将混合信号编码到一个隐嵌入空间中,以使来自不同说话人的信号能够被精确分离。现有的语音分离方法要么将语音信号变换到频域进行分离,要么通过构造基于卷积滤波器的潜在域来学习可分离的嵌入空间。虽然后一种学习嵌入空间的方法实现了语音分离的实质性改进,但我们认为,仅由一个潜在域定义的嵌入空间不足以为语音分离提供完全可分离的编码空间。在本文中,我们提出了逐步细化语音分离网络(SRSSN),它遵循一个由粗到细的分离框架。它首先学习1阶潜在域来定义编码空间,从而在粗阶段执行粗分离。然后,建议SRSSN学习一个新的潜在域沿每个基函数的现有的潜在域,以获得一个高阶的潜在域在细化阶段,这使得我们的模型进行细化分离,以实现更精确的语音分离。我们通过进行广泛的实验来证明我们的SRSSN的有效性,包括在WSJ 0 -2/3 mix数据集上的干净(无噪声)设置中的语音分离以及在WHAM!/哇!数据集。此外,我们也利用我们的模型对分离后的语音信号进行语音识别实验,以间接评估语音分离的效能。
2022-01-31 cs.LG cs.SD eess.AS
Performing Nonlinear Blind Source Separation with Signal Invariants
University of Chicago(芝加哥大学)
给定多分量测量值x(t)的时间序列,非线性盲声源分离(BSS)的通常目标是找到“源”时间序列s(t),该“源”时间序列由测量值的统计独立组合组成。本文要求源时间序列在(s,ds/dt)空间中的密度函数等于各分量密度函数的乘积。BSS问题的这种公式化具有唯一的解决方案,直到排列和分量变换。可分离性施加限制的某些局部不变(标量)的功能x,这是来自本地高阶相关的数据的速度dx/dt。数据是可分离的,当且仅当它们满足这些约束,并且如果满足这些约束,则可以从数据显式地构造源。该方法说明了使用它来分离两个语音类似的声音记录与一个麦克风。
2009-04-03 cs.AI cs.LG
Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo(东京大学);Waseda University(早稻田大学);NTT Corporation(日本电信电话株式会社)
音频声源分离常被用作各种应用的预处理,其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的,因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而,基于深度神经网络(DNN)的传统模型仅以训练数据指定的采样频率进行训练,并且不能保证它们以不可见的采样频率工作。在本文中,我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验,我们表明,所提出的层的引入,使传统的音频声源分离模型,即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
Continuous speech separation: dataset and analysis
Microsoft(微软)
本文介绍了一个数据集和协议,用于评估连续语音分离算法。语音分离的大多数现有研究使用人工混合语音话语的预分割信号,这些语音话语大多是\emph{fully}重叠的,并且基于信号失真比或类似的性能度量来评估算法。然而,在自然对话中,语音信号是连续的,包含重叠分量和无重叠分量。此外,基于信号的度量与自动语音识别(ASR)准确性具有非常弱的相关性。我们认为,这不仅使评估测试算法的实际相关性变得困难,而且还阻碍了研究人员开发可随时应用于实际场景的系统。在本文中,我们定义连续语音分离(CSS)作为一个任务,从一个\textit{continuous}音频流,其中包含多个话语是\emph{partially}重叠不同程度的生成一组非重叠的语音信号。一个新的真实记录的数据集,称为LibriCSS,是从LibriSpeech派生的,通过连接语料库的话语来模拟对话,并用远场麦克风捕获音频回放。一个基于Kaldi的ASR评估协议也建立了使用一个训练有素的多条件声学模型。通过使用这个数据集,最近提出的说话人无关的CSS算法的几个方面进行了研究。数据集和评估脚本可用于促进这一方向的研究。
2020-05-07 cs.LG cs.SD eess.AS
Distribution Preserving Source Separation With Time Frequency Predictive Models
Dolby Sweden AB(杜比瑞典公司)
针对现有源分离方法的感知缺陷,提出一种基于无条件生成模型与混合一致性采样的分布保持源分离方法,分离信号符合源分布,在听力测试中表现更优。
2023-03-10 cs.LG cs.SD eess.AS
Raw Multi-Channel Audio Source Separation using Multi-Resolution Convolutional Auto-Encoders
University of Surrey(萨里大学)
有监督的多通道音频声源分离需要从混合信号中提取有用的频谱、时间和空间特征。因此,许多现有系统的成功在很大程度上取决于用于训练的特征的选择。在这项工作中,我们介绍了一种新的多通道,多分辨率卷积自动编码器神经网络,工作在原始的时域信号,以确定适当的多分辨率功能分离的歌声从立体声音乐。实验结果表明,该方法可以实现多声道音频声源分离,而不需要手工特征或任何预处理或后处理。
2018-03-02 cs.CV cs.LG cs.MM