Probabilistic Binary-Mask Cocktail-Party Source Separation in a Convolutional Deep Neural Network
University of Surrey（萨里大学）
竞争语音的分离是信号处理中的一个关键挑战，也是人类听觉大脑经常执行的一项壮举。声源分离的频谱图方法的一个长期存在的基准被称为理想二进制掩模。在这里，我们训练一个卷积深度神经网络，在两个扬声器的鸡尾酒会问题上，对二进制掩码进行概率预测。我们的结果接近理想的二进制掩码性能，说明相对简单的深度神经网络能够进行鲁棒的二进制掩码预测。我们还说明了预测统计和分离质量之间的权衡。
2015-03-24 cs.LG cs.NE cs.SD
Supervised Speech Separation Based on Deep Learning: An Overview
The Ohio State University（俄亥俄州立大学）；Northwestern Polytechnical University（西北工业大学）；Baidu Research（百度研究院）
语音分离是将目标语音从背景干扰中分离出来的任务。传统上，语音分离是作为信号处理问题来研究的。最近的方法将语音分离公式化为监督学习问题，其中从训练数据学习语音、说话者和背景噪声的判别模式。在过去的十年中，许多监督分离算法被提出。特别是，最近将深度学习引入到监督语音分离中，大大加快了进展并提高了分离性能。本文综述了近几年来基于深度学习的有监督语音分离的研究进展。首先介绍了语音分离的背景和监督分离的概念。然后，我们讨论了监督分离的三个主要组成部分：学习机，训练目标和声学特征。大部分概述是关于分离算法的，我们回顾了单声道方法，包括语音增强（语音-非语音分离），扬声器分离（多说话者分离）和语音去混响，以及多麦克风技术。推广的重要问题，独特的监督学习，进行了讨论。这一概述提供了一个历史的角度来看，如何取得进展。此外，我们还讨论了一些概念问题，包括什么构成目标源。
2018-06-15 cs.CL cs.LG cs.NE
A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（欧洲微电子研究中心）；Weizmann Institute of Science（魏茨曼科学研究所）
深度展开神经网络通过展开优化算法的迭代来设计。它们可以实现更快的收敛速度和更高的精度比他们的优化同行。针对鲁棒主成分分析（RPCA）问题，提出了一种新的基于深度展开的网络设计方法，并将其应用于视频前景-背景分离。与现有的设计不同，我们的方法侧重于建模连续视频帧的稀疏表示之间的时间相关性。为此，我们执行迭代算法的展开，用于求解重新加权的$\ell_1$ - $\ell_1$最小化;这种展开导致不同的邻近算子（a.k.a.不同的激活函数）。使用移动MNIST数据集的实验表明，该网络优于最近提出的最先进的RPCA网络在视频前景-背景分离的任务。
2020-10-02 cs.CV cs.LG eess.IV
Blessing of dimensionality: mathematical foundations of the statistical physics of data
University of Leicester（莱斯特大学）；Saint-Petersburg State Electrotechnical University（圣彼得堡国立电子技术大学）
测量现象的浓度在十九世纪末至二十世纪初被发现作为统计力学的数学背景，然后在二十世纪至二十一世纪的数学中进行了探索。在21世纪初，很明显，在机器学习中适当利用这些现象可能会将维度的诅咒转化为维度的祝福。本文总结了最近发现的测量集中现象，大大简化了一些机器学习问题在高维，并允许我们纠正遗留的人工智能系统。经典的测度集中定理指出，i.i.d.随机点集中在表面（球体或球体的赤道、能量的平均或中值水平集或另一Lipschitz函数等）附近的薄层中。新的随机分离定理描述了这些薄层的薄结构：随机点不仅集中在薄层中，而且与集合的其余部分都是线性可分的，即使是指数大的随机集。用于分离点的线性泛函可以以线性Fisher判别式的形式选择。所有的人工智能系统都会出错。非破坏性校正需要通过简单且鲁棒的分类器将具有错误的情况（样本）与对应于正确行为的样本分离。随机分离定理为我们提供了这样的分类器和一个非迭代（一次性）学习过程。
2018-01-10 cs.LG
Deep S$^3$PR: Simultaneous Source Separation and Phase Retrieval Using Deep Generative Models
Stanford University（斯坦福大学）
本文提出并解决了同时声源分离和相位恢复（S $^3$ PR）问题。S $^3$ PR是一个重要的，但在很大程度上未解决的问题，在一些应用领域，包括显微镜，无线通信，并通过散射介质成像，其中一个有多个独立的相干源，其相位是难以测量。一般来说，S $^3$ PR是高度欠定的、非凸的并且难以求解。在这项工作中，我们证明，通过限制的解决方案，躺在一个深生成模型的范围内，我们可以充分约束搜索空间，以解决S $^3$ PR。
2020-10-14 cs.LG eess.IV stat.ML
Practical applicability of deep neural networks for overlapping speaker separation
KU Leuven（鲁汶大学）
本文研究了两种基于深度学习的解决方案在实际场景中对重叠说话人分离问题的适用性。首先，我们提出的实验表明，这些方法适用于广泛的语言。进一步的实验表明，当未训练的语言与训练的语言具有共同特征时，未训练的语言的性能损失有限。其次，它研究了如何处理现实的背景噪声的方法，并提出了一些修改，以更好地应对这些干扰。我们将研究的深度学习方法是深度聚类和深度吸引子网络。
2019-12-19 cs.LG cs.SD eess.AS
Unsupervised Deep Clustering for Source Separation: Direct Learning from Mixtures using Spatial Information
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）
我们提出了一个单声道声源分离系统，该系统只通过观察没有地面真值分离信息的混合物来训练。我们使用一种深度聚类方法，该方法在多通道混合物上进行训练，并学会将频谱图箱投影到与各种空间特征相关的源集群。我们表明，使用这样的训练过程中，我们可以获得的分离性能是一样好，利用地面真分离信息。一旦经过训练，这个系统就能够对单声道输入进行声音分离，尽管已经学会了如何使用多声道录音来这样做。
2018-11-09 cs.LG cs.SD eess.AS
Divide and Conquer: A Deep CASA Approach to Talker-independent Monaural Speaker Separation
The Ohio State University（俄亥俄州立大学）
我们从深度学习和计算听觉景物分析（CASA）的角度解决与说话者无关的单耳说话者分离。具体来说，我们将多说话人分离任务分解为同时分组和顺序分组两个阶段。同时分组首先在每个时间帧中进行分离的频谱不同的发言人与排列不变的训练神经网络。在第二阶段中，帧级分离的频谱通过聚类网络顺序地分组到不同的扬声器。所提出的深度CASA方法依次优化了帧级分离和说话人跟踪，并为这两个目标产生了良好的效果。在WSJ 0 - 2 mix基准数据库上的实验结果表明，该方法在模型规模较小的情况下取得了较好的效果.
2019-04-25 cs.LG cs.SD eess.AS
Deep Clustering and Conventional Networks for Music Separation: Stronger Together
Columbia University（哥伦比亚大学）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））
深度聚类是处理具有相同类型的多个源和任意数量的源的一般音频分离场景的第一种方法，在与说话者无关的语音分离任务中表现出色。然而，很少有人知道它在其他具有挑战性的情况下，如音乐源分离的有效性。与直接估计源信号的传统网络相反，深度聚类为每个时频bin生成嵌入，并通过对嵌入空间中的bin进行聚类来分离源。我们发现，在匹配和不匹配的条件下，深度聚类在歌声分离任务上的表现优于传统网络，尽管传统网络具有端到端训练的优势，可以获得最佳信号近似，这可能是因为其更灵活的目标可以产生更好的正则化。由于深度聚类和传统网络架构的优势似乎是互补的，因此我们探索将它们结合在一个通过类似于多任务学习的方法训练的混合网络中。值得注意的是，该组合的表现明显优于其任何一个组成部分。
2017-06-15 cs.LG cs.SD stat.ML
Permutation Invariant Training of Deep Models for Speaker-Independent Multi-talker Speech Separation
Microsoft Research（微软研究院）；Aalborg University（奥尔堡大学）
我们提出了一种新的深度学习模型，它支持排列不变训练（PIT），用于说话人无关的多说话人语音分离，通常称为鸡尾酒会问题。与将语音分离视为多类回归问题的大多数现有技术以及将其视为分割（或聚类）问题的深度聚类技术不同，我们的模型优化了分离回归误差，忽略了混合源的顺序。该策略巧妙地解决了长期存在的标签排列问题，该问题阻碍了基于深度学习的语音分离技术的进展。在丹麦语语料库上的等能量混合实验证实了PIT的有效性。我们相信，基于PIT的改进最终可以解决鸡尾酒会问题，并使现实世界能够采用，例如，自动会议转录和多方人机交互，其中重叠语音是常见的。
2017-01-03 cs.CL cs.LG cs.SD
Multi-scenario deep learning for multi-speaker source separation
KU Leuven（鲁汶大学）
用于多说话者声源分离的深度学习研究在过去几年中得到了推动。然而，大多数研究仅限于特定数量的发言者的混合，称为特定场景。虽然有些作品包括不同场景的实验，但将不同场景的数据结合起来或为多种场景创建单一模型的研究非常罕见。在这项工作中，它表明，一个特定的情况下的数据是相关的解决另一个方案。此外，它的结论是，一个单一的模型，在不同的情况下训练是能够匹配特定场景模型的性能。
2018-08-24 cs.LG stat.ML
The mixed deep energy method for resolving concentration features in finite strain hyperelasticity
Cornell University（康奈尔大学）
物理信息神经网络（PINN）的引入使得人们对深度神经网络作为固体力学界PDE的通用近似器的兴趣增加。最近，已经提出了深度能量方法（DEM）。DEM基于能量最小化原则，与基于偏微分方程残差的PINN相反。DEM的一个显著优点是，与基于强形式残差的公式相比，它需要低阶导数的近似。然而，DEM和经典的PINN公式都很难解决应力和位移场的精细特征，例如固体力学应用中的集中特征。我们提出了一个扩展的深层能量方法（DEM）解决这些功能的有限应变超弹性。开发的框架称为混合深层能量法（mDEM）引入应力措施作为额外的输出的NN最近推出的纯位移制剂。使用这种方法，诺依曼边界条件近似更准确，周围的空间特征，通常是负责高浓度的准确性增加。为了使所提出的方法更加通用，我们引入了一个基于Delaunay积分的数值积分方案，该方案使mDEM框架能够用于应力集中计算域通常需要的随机训练点位置集。我们突出了所提出的方法的优点，同时显示经典的PINN和DEM配方的缺点。该方法提供了可比的结果，以有限元法（FEM）的正演计算的挑战性计算实验涉及领域的精细几何特征和集中载荷。
2021-04-15 cs.CE cs.LG
A Layer Separation Optimization Framework for Cross-Entropy Training in Deep Learning
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）；Department of Mathematics, Hong Kong Baptist University（香港 Baptist 大学数学系）
本文提出分层分离策略以缓解深度网络训练中的强非凸性，通过引入辅助变量将原始优化问题分解为更易处理的子问题，并通过理论分析证明新损失函数为原交叉熵损失的上界。
2026-04-25 cs.LG math.OC
Problems using deep generative models for probabilistic audio source separation
Amsterdam Machine Learning Lab（阿姆斯特丹机器学习实验室）；University of Amsterdam（阿姆斯特丹大学）
深度生成建模的最新进展使得从复杂数据中学习先验分布成为可能，随后可用于贝叶斯推理。然而，我们发现，通过音频信号的深度生成模型学习的分布并没有表现出使用概率方法进行音频声源分离等任务所必需的正确属性。我们观察到，学习的先验分布要么是歧视性的和极端的峰值或平滑和非歧视性的。我们在两个音频数据集上量化了两种类型的深度生成模型的这种行为。
2020-11-03 cs.LG cs.SD eess.AS
Predicting Weekly Fishing Concentration Zones through Deep Learning Integration of Heterogeneous Environmental Spatial Datasets
Fr. Conceicao Rodrigues college of Engineering（弗·康塞伊欧·罗德里格斯工程学院）
本文提出一个AI辅助框架，通过深度学习融合海面温度、叶绿素浓度等异构环境空间数据，预测北印度洋每周潜在渔区，以减少渔民搜索时间、降低燃料消耗并提升资源利用效率。
2025-11-04 cs.AI cs.LG
Joint Optimization of Masks and Deep Recurrent Neural Networks for Monaural Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Clarifai（Clarifai公司）；Adobe Research（奥多比研究院）
单耳声源分离对于许多现实世界的应用是重要的。它具有挑战性，因为只有一个单一的信息渠道，没有任何限制，无限多的解决方案是可能的。在本文中，我们探索了掩蔽函数和深度递归神经网络的联合优化，用于单声道声源分离任务，包括单声道语音分离，单声道歌声分离和语音去噪。具有额外掩蔽层的深度递归神经网络的联合优化强制执行重构约束。此外，我们还探索了一种判别准则来训练神经网络，以进一步提高分离性能。我们评估所提出的系统的TSP，MIR-1K，和TIMIT数据集的语音分离，歌声分离，语音去噪任务，分别。在语音分离任务中，与NMF模型相比，我们的方法实现了2.30 - 4.98 dB SDR增益，在歌声分离任务中，与现有模型相比，我们的方法实现了2.30 - 2.48 dB GNSDR增益和4.32 - 5.42 dB GSIR增益，并且在语音去噪任务中优于NMF和DNN基线。
2015-10-01 cs.AI cs.LG cs.MM
Depth separation for reduced deep networks in nonlinear model reduction: Distilling shock waves in nonlinear hyperbolic problems
Courant Institute, New York University（纽约大学柯朗研究所）
经典的降阶模型是一种使用固定基的低秩近似，旨在实现大规模系统的降维。在这项工作中，我们引入了简化的深度网络，这是经典降阶模型的推广，被公式化为深度神经网络。我们证明深度分离的结果表明，减少深网络近似解的参数化双曲型偏微分方程的近似误差$ε$与$\mathcal{O}(|\log(ε)|)$自由度，即使在非线性设置的解决方案表现出冲击波。我们还表明，经典的降阶模型实现指数差的逼近率，通过建立相关的Kolmogorov $N$ -宽度的下界。
2020-07-28 cs.LG cs.NA math.NA
Posterior Concentration for Sparse Deep Learning
Booth School of Business, University of Chicago（芝加哥大学布斯商学院）；University of Chicago（芝加哥大学）
Spike-and-Slab Deep Learning（SS-DL）是Dropout的完全贝叶斯替代方案，用于提高深度ReLU网络的泛化能力。这种新型的正则化能够证明恢复具有未知平滑度的平滑输入-输出映射。事实上，我们发现后验分布集中在$α$ -Hölder光滑映射的极小极大率附近，表现得就像我们提前知道$α$的光滑度一样好。我们的结果揭示了深神经网络的架构设计，即深度，宽度和稀疏水平的选择。这些网络属性通常取决于未知的平滑度，以便达到最佳。我们将这个约束与完全贝叶斯建设。作为一个旁白，我们表明，SS-DL并没有过拟合的意义上说，后验集中在较小的网络与较少（最佳数量）的节点和链接。我们的研究结果从贝叶斯的角度为深度ReLU网络提供了新的理论依据。
2018-03-24 cs.LG stat.ML
Deep neural networks for single channel source separation
Faculty of Engineering
提出了一种基于深度神经网络（DNN）的单通道声源分离（SCSS）方法。与以前的研究不同，DNN和其他分类器用于对时频区间进行分类以获得每个源的硬掩模，我们使用DNN对估计的源谱进行分类，以检查它们在分离过程中的有效性。在训练阶段，源信号的训练数据用于训练DNN。在分离阶段，训练的DNN用于帮助估计混合信号中的每个源。单通道声源分离问题被公式化为能量最小化问题，其中鼓励每个源谱估计以拟合训练的DNN模型，并且鼓励混合信号谱被写为估计的源谱的加权和。所提出的方法的工作原理，无论在训练和分离阶段的源信号之间的能量尺度的差异。非负矩阵分解（NMF）用于初始化每个源的DNN估计。实验结果表明，与使用NMF进行声源分离相比，使用NMF初始化的DNN进行声源分离可以提高分离信号的质量。
2013-11-12 cs.LG cs.NE
Unsupervised training of a deep clustering model for multichannel blind source separation
Paderborn University（帕德博恩大学）
我们提出了一种训练方案，当并行干净数据不可用时，从头开始训练基于神经网络的声源分离算法。特别是，我们证明了无监督的空间聚类算法足以指导深度聚类系统的训练。我们认为，以前的工作需要强有力的监督，并详细说明为什么这是一个限制。我们证明了（a）根据所提出的方案单独训练的单通道深度聚类系统能够在单词出错率方面实现与多通道教师类似的性能，以及（b）使用深度聚类结果初始化空间聚类方法，与无监督教师相比，相对单词出错率降低了26%。
2019-04-02 cs.LG eess.SP stat.ML
Discriminative Learning for Monaural Speech Separation Using Deep Embedding Features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
深度聚类（DC）和话语级排列不变训练（uPIT）已被证明有希望用于说话者无关的语音分离。DC通常被表述为两步过程：嵌入学习和嵌入聚类，这导致复杂的分离管道和直接优化实际分离目标的巨大障碍。对于uPIT，它只最小化所选的具有最小均方误差的排列，而不将其与其他排列区分开。在本文中，我们提出了一种使用深度嵌入特征的非特定人语音分离的判别学习方法。首先，训练DC网络提取深嵌入特征，这些特征包含每个源的信息，并且在区分每个目标说话人方面具有优势。然后，这些特征被用作uPIT的输入以直接分离不同源。最后，联合训练uPIT和DC，直接优化实际分离目标。此外，为了最大化每个排列的距离，应用判别学习来微调整个模型。我们的实验是在WSJ 0 - 2 mix数据集上进行的。实验结果表明，本文提出的模型在非特定人语音分离中取得了比DC和uPIT更好的性能。
2019-07-23 cs.LG cs.SD eess.AS
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research（谷歌研究院）；Harvard University（哈佛大学）
该工作为深度贝叶斯神经网络（BNN）是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理，以表明正确配置的深度BNN（1）在高维中有效地学习变量重要性，其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的，在这个意义上，它对变量重要性的95%可信区间确实覆盖了95%的时间的真相（即，Bernstein-von Mises（BvM）现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果，并表明，该算法优于现有的经典和基于神经网络的变量选择方法，特别是在高维。
2019-12-03 cs.LG stat.ML
Predicting Global Variations in Outdoor PM2.5 Concentrations using Satellite Images and Deep Convolutional Neural Networks
McGill University（麦吉尔大学）；Element AI（Element AI公司）
在这里，我们提出了一种新的方法，估计全球变化的室外PM $_{2.5}$浓度使用卫星图像结合地面测量和深度卷积神经网络。具体而言，新的深度学习模型在全球PM $_{2.5}$浓度范围（$<$ 1-436 $μ$ g/m $^3$）上进行了训练，使用了与世界卫生组织提供的地面PM $_{2.5}$测量值配对的大型卫星图像数据库。最终的模型选择是基于对卷积基础的知名架构的系统评估，包括InceptionV 3，Xception和VGG 16。Xception架构表现最好，最终全局模型在不相交测试集中的均方根误差（RMSE）值为13.01 $μ$ g/m $^3$（R $^2$ =0.75）。我们新的全球模型（称为IMAGE-PM $_{2.5}$）的预测性能与全球疾病负担研究中使用的当前最先进的模型相似，但仅依赖于卫星图像作为输入。因此，IMAGE-PM $_{2.5}$模型为估算长期平均PM $_{2.5}$浓度的全球变化提供了一种快速、具有成本效益的方法，对于没有地面监测数据或详细排放清单的地区可能特别有用。IMAGE-PM $_{2.5}$模型可用作全球暴露估计的独立方法，或纳入更复杂的分层模型结构。
2019-06-01 cs.LG eess.IV
Spatial and spectral deep attention fusion for multi-channel speech separation using deep embedding features
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
多通道深度聚类（MDC）在语音分离中取得了良好的性能。然而，MDC仅将空间特征作为附加信息来应用。因此，很难了解空间和光谱特征之间的相互关系。此外，MDC的训练目标被定义为嵌入向量，而不是真正的分离源，这可能会损害分离性能。在这项工作中，我们提出了一种深度注意力融合方法来动态控制光谱和空间特征的权重，并将它们深度结合起来。另外，为了解决MDC的训练目标问题，采用真实分离源作为训练目标。具体来说，我们应用深度聚类网络来提取深度嵌入特征。代替使用无监督的K-means聚类来估计二进制掩码，使用另一个监督网络来从这些深度嵌入特征中学习软掩码。我们的实验是在WSJ 0 - 2 mix数据集的空间化混响版本上进行的。实验结果表明，该方法优于MDC基线，甚至优于Oracle理想二进制掩码（IBM）。
2020-02-05 cs.LG cs.SD eess.AS
Model selection for deep audio source separation via clustering analysis
Northwestern University（西北大学）
音频源分离是将混合（例如流行乐队录音）分离为来自各个源（例如仅主唱）的孤立声音的过程。深度学习模型是源分离领域的最新技术，因为要分离的混合与深度模型训练的混合相似。这要求最终用户充分了解每个模型的训练，以便为给定的音频混合选择正确的模型。在这项工作中，我们自动选择适当的模型的音频混合。我们提出了一种置信度度量，该度量不需要地面实况来估计分离质量，给定深度模型和音频混合。我们使用此置信度来自动选择具有最佳预测分离质量的模型输出。我们比较我们的信心为基础的合奏方法，使用单独的模型没有选择，一个神谕，总是选择最好的模型和随机模型选择器。结果表明，我们的信心为基础的合奏显着优于一般的混合物和方法的音乐混合物的甲骨文性能的随机合奏。
2020-07-26 cs.LG cs.SD eess.AS
Referenceless Performance Evaluation of Audio Source Separation using Deep Neural Networks
Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）；audEERING GmbH（audEERING有限公司）
当前用于音频声源分离的性能评估依赖于将处理或分离的信号与参考信号进行比较。因此，常见的性能评估工具包不适用于地面实况音频不可用的真实情况。在本文中，我们提出了一个性能评估技术，不需要参考信号，以评估分离质量。所提出的技术使用深度神经网络（DNN）来将经处理的音频映射到其质量分数。我们的实验结果表明，DNN是能够预测的来源，从盲声源分离评估工具包，而不需要参考信号的文物比。
2018-11-01 cs.LG cs.MM cs.SD
Single-Channel Multi-Speaker Separation using Deep Clustering
MERL（三菱电机研究实验室）
深度聚类是最近引入的一种深度学习架构，它使用区分训练的嵌入作为聚类的基础。它最近被应用于声谱图分割，在说话人无关的多说话人分离方面取得了令人印象深刻的结果。在本文中，我们扩展了基线系统的端到端的信号近似的目标，大大提高了性能的一个具有挑战性的语音分离。我们首先通过结合更好的正则化、更大的时间上下文和更深的架构来显着改善基线系统性能，最终与两个扬声器分离的6.0 dB基线相比，信号失真比（SDR）整体改善了10.3 dB，三个扬声器分离的SDR改善了7.1 dB。然后，我们扩展模型，将增强层合并到信号估计中，并通过聚类和增强阶段进行端到端训练，以最大限度地提高信号保真度。我们使用自动语音识别评估结果。新的信号近似目标与端到端训练相结合，产生了前所未有的性能，将字出错率（WER）从89.1%降至30.8%。这是解决鸡尾酒会问题的一个重大进步。
2016-07-07 cs.LG cs.SD stat.ML
A Law of Data Separation in Deep Learning
University of Rochester（罗切斯特大学）；Goergen Institute for Data Science（格奥尔根数据科学研究所）；University of Pennsylvania（宾夕法尼亚大学）
本文提出深度神经网络中的数据分离定律，揭示各层以恒定几何速率提升类别分离，并据此为架构设计、鲁棒性提升与预测解释提供指导。
2023-08-11 cs.AI cs.CV cs.IT
Deep Transform: Cocktail Party Source Separation via Probabilistic Re-Synthesis
Surrey University（萨里大学）
在鸡尾酒会听音乐的场景中，人脑能够分离相互竞争的语音信号。然而，大脑执行鸡尾酒会听力的信号处理还没有得到很好的理解。在这里，我们训练了两个单独的卷积自编码器深度神经网络（DNN）来分离两个并发语音流的单声道和双耳混合。然后，我们使用这些DNN作为卷积深度变换（CDT）设备来执行概率重新合成。CDT直接在时域中操作。我们的模拟表明，非常简单的神经网络能够利用单声道和双耳信息在鸡尾酒会听的情况。
2015-03-20 cs.LG cs.NE cs.SD
Spectrum concentration in deep residual learning: a free probability approach
Shanghai Jiaotong University（上海交通大学）；Tennessee Technological University（田纳西理工大学）
我们通过向深度学习社区引入一种新的自由概率分析工具来重新审视深度残差网络（ResNets）的初始化。这个工具处理非厄米特随机矩阵，而不是他们的传统厄米特对应文献。因此，这个新工具使我们能够评估线性和非线性情况下完全连接的深度ResNet的输入-输出雅可比矩阵的奇异值谱。利用自由概率这一强有力的工具，我们对单层情况下的谱进行了渐近分析，然后将这种分析推广到任意层数的多层情况。特别是，我们建议通过剩余单元的数量来重新调整经典的随机初始化，使得频谱具有$O(1)$的阶数，与网络的大宽度和深度相比。我们的经验表明，建议的初始化方案学习的速度比经典的数量级更快，从而证明了这项调查的强大的实际意义。
2019-02-24 cs.LG stat.ML
Bootstrapping deep music separation from primitive auditory grouping principles
Illinois Institute of Technology（伊利诺伊理工学院）
将音频场景（如鸡尾酒会）分离成组成的、有意义的分量是计算机试听中的核心任务。深度网络是最先进的方法。它们在由隔离的声源录音制成的音频合成混合物上进行训练，以便知道分离的基础事实。然而，绝大多数可用的音频并不是孤立的。大脑使用独立于任何特定声源的特性的原始线索来执行音频场景的初始分割。我们提出了一种通过使用多个原始线索来引导用于音乐声源分离的深度模型的方法，而无需地面实况。我们将我们的方法应用于训练来自YouTube的大量未标记音乐录音的网络，以将人声与伴奏分离，而不需要地面实况隔离源或人工训练混合物。
2019-10-23 cs.LG cs.SD eess.AS
Deep Inferential Spatial-Temporal Network for Forecasting Air Pollution Concentrations
University of Delaware（特拉华大学）；PingAn Technology（平安科技）；South China University of Technology（华南理工大学）
空气污染对人类健康和世界经济发展构成严重威胁。为了满足日益增长的对空气污染准确预测的需求，我们提出了一种深度推理时空网络来处理复杂的非线性时空相关性。我们预测三种空气污染物（即，PM2.5、PM10和O3）的混合深度学习模型，该模型由推理预测器（对没有空气污染读数的区域进行推理）、空间预测器（使用CNN捕获空间相关性）和时间预测器（使用具有简化注意力机制的序列到序列模型捕获时间关系）组成。我们提出的模型考虑了历史空气污染记录和历史气象数据。我们评估我们的模型上的一个大规模的数据集，包含空气污染记录的35个监测站和网格气象数据在北京，中国。我们的模型在SMAPE和RMSE方面优于其他最先进的方法。
2018-09-11 cs.LG stat.AP
Deep Recurrent NMF for Speech Separation by Unfolding Iterative Thresholding
University of Washington（华盛顿大学）；Applied Physics Laboratory, University of Washington（华盛顿大学应用物理实验室）
在本文中，我们提出了一种新的递归神经网络结构的语音分离。这种架构是通过展开的顺序迭代软阈值算法（ISTA），解决了稀疏非负矩阵分解（NMF）的频谱图的优化问题的迭代。我们将这种网络架构命名为深度递归NMF（DR-NMF）。所提出的DR-NMF网络具有三个明显的优点。首先，DR-NMF提供了比其他深度架构更好的可解释性，因为即使在训练之后，权重也对应于NMF模型参数。这种可解释性还提供了原则性的初始化，与传统的随机初始化相比，它能够更快地训练和收敛到更好的解决方案。其次，与许多深度网络一样，DR-NMF在测试时比NMF快一个数量级，因为网络输出的计算只需要在每个时间步评估几层。第三，当训练数据量有限时，与稀疏NMF和最先进的长短期记忆（LSTM）网络相比，DR-NMF表现出更强的泛化和分离性能。当有大量的训练数据可用时，DR-NMF与LSTM网络相比实现了较低但有竞争力的分离性能。
2017-09-21 cs.LG cs.SD stat.ML
An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and Separation
Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）；Oticon A/S（奥迪康公司）
语音增强和语音分离是两个相关的任务，其目的是分别从由几个源产生的声音的混合物中提取一个或多个目标语音信号。传统上，这些任务已经使用应用于可用声学信号的信号处理和机器学习技术来解决。由于语音的视觉方面基本上不受声学环境的影响，所以来自目标说话者的视觉信息，例如嘴唇运动和面部表情，也已经用于语音增强和语音分离系统。为了有效地融合声学和视觉信息，研究人员利用了数据驱动方法的灵活性，特别是深度学习，实现了强大的性能。大量用于提取特征和融合多模态信息的技术的不断提出突出了对全面描述和讨论基于深度学习的视听语音增强和分离的概述的需要。在本文中，我们对这一研究主题进行了系统的调查，重点关注文献中描述系统的主要元素：声学特征;视觉特征;深度学习方法;融合技术;训练目标和目标函数。此外，我们还回顾了基于深度学习的无声视频语音重建和非语音信号视听声源分离方法，因为这些方法或多或少可以直接应用于视听语音增强和分离。最后，我们调查了常用的视听语音数据集，因为它们在数据驱动方法和评估方法的开发中起着核心作用，因为它们通常用于比较不同的系统并确定其性能。
2021-03-12 cs.LG eess.AS eess.IV
Deep Bayesian Unsupervised Source Separation Based on a Complex Gaussian Mixture Model
National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究院）；RIKEN AIP（理化学研究所人工智能研究中心）；Kyoto University（京都大学）
提出了一种仅利用多通道混合信号训练神经声源分离的无监督方法。传统的神经元分离方法需要大量的监督数据才能获得良好的性能。虽然基于空间信息的多通道方法可以在没有这样的训练数据的情况下工作，但是它们通常对参数初始化敏感，并且随着源彼此靠近而退化。所提出的方法使用基于称为复高斯混合模型（cGMM）的空间模型的成本函数。该模型的时间-频率（TF）掩模和波达方向（DOA）的源作为潜在变量，并用于训练分离和定位网络，分别估计这些变量。这种联合训练在统一的深度贝叶斯框架中解决了空间模型的频率排列模糊性。此外，预先训练的网络不仅可以用于进行单声道分离，而且可以用于有效地初始化多声道分离算法。模拟语音混合的实验结果表明，我们的方法优于传统的初始化方法。
2019-08-29 cs.LG cs.SD eess.AS
Multi-talker Speech Separation with Utterance-level Permutation Invariant Training of Deep Recurrent Neural Networks
Aalborg University（奥尔堡大学）；Tencent AI Lab（腾讯人工智能实验室）；Microsoft Research（微软研究院）；Oticon A/S（奥迪康公司）
在本文中，我们提出了话语级排列不变训练（uPIT）技术。uPIT是一种实际适用的、端到端的、基于深度学习的解决方案，用于与说话者无关的多说话者语音分离。具体而言，uPIT扩展了最近提出的Permutation Invariant Training（PIT）技术与话语级成本函数，从而消除了在推理过程中解决额外的置换问题的需要，否则需要帧级PIT。我们使用循环神经网络（RNN）来实现这一点，该网络在训练期间最小化话语级分离误差，从而迫使属于同一说话者的分离帧与同一输出流对齐。在实践中，这允许使用uPIT训练的RNN在没有任何关于信号持续时间、说话者数量、说话者身份或性别的先验知识的情况下分离多说话者混合语音。我们在WSJ0和丹麦的两个和三个说话者的混合语音分离任务上评估了uPIT，发现uPIT优于基于非负矩阵分解（NMF）和计算听觉景物分析（CASA）的技术，并与深度聚类（DPCL）和深度吸引子网络（DANet）相媲美。此外，我们发现用uPIT训练的模型可以很好地推广到看不见的说话者和语言。最后，我们发现使用uPIT训练的单个模型可以处理两个扬声器和三个扬声器的语音混合。
2017-07-11 cs.LG cs.SD eess.AS
