Source Separation and Depthwise Separable Convolutions for Computer Audition
University of Minnesota（明尼苏达大学）
鉴于深度音乐声源分离的最新进展，我们提出了一种特征表示方法，该方法将声源分离与最先进的表示学习技术相结合，该技术适用于计算机试听（即机器收听）。我们训练一个具有挑战性的电子舞曲（EDM）数据集上的深度可分离的卷积神经网络，并比较其性能的卷积神经网络上的源分离和标准的频谱图。结果表明，声源分离提高了分类性能，在有限的数据设置相比，标准的单谱图的方法。
2020-12-06 cs.LG cs.SD eess.AS
In-Context Learning of Linear Dynamical Systems with Transformers: Approximation Bounds and Depth-Separation
School of Mathematics University of Minnesota, Twin Cities（数学系 明尼苏达大学 Twin Cities分校）
本文从近似理论角度分析 transformer 对含噪线性动力系统的上下文学习，证明对数深度多层模型可逼近最小二乘估计，而单层线性 transformer 存在非衰减误差下界并体现深度分离及 IID/非 IID 差异。
2025-10-21 cs.LG stat.ML
Optimal bump functions for shallow ReLU networks: Weight decay, depth separation and the curse of dimensionality
Texas A&M University（德克萨斯农工大学）
在本文中，我们研究了具有单个隐藏层和ReLU激活的神经网络如何插值从径向对称分布中提取的数据，其中目标标签1位于原点，0位于单位球外部，如果单位球内部没有标签。通过权值衰减正则化，在无限数据极限下，证明了存在唯一的径向对称极小元，其权值衰减正则化子和Lipschitz常数分别以$d$和$\sqrt{d}$的形式增长.我们还表明，重量衰减正则化增长指数$d$如果标签$1$施加在一个球的半径$\varepsilon$，而不仅仅是在原点。相比之下，具有两个隐藏层的神经网络可以近似目标函数而不会遇到维数灾难。
2022-09-02 cs.LG stat.ML
Consideration Circuits: Depth Separation and Universality Beyond a Single Softmax
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出考虑电路（CC），一种基于MNL单元有向无环图的多阶段选择模型，证明其深度3即可逼近任意选择表，且深度分离优于单一softmax，实验显示其参数少且性能更优。
2026-10-07 cs.LG stat.ML
Depth separation for reduced deep networks in nonlinear model reduction: Distilling shock waves in nonlinear hyperbolic problems
Courant Institute, New York University（纽约大学柯朗研究所）
经典的降阶模型是一种使用固定基的低秩近似，旨在实现大规模系统的降维。在这项工作中，我们引入了简化的深度网络，这是经典降阶模型的推广，被公式化为深度神经网络。我们证明深度分离的结果表明，减少深网络近似解的参数化双曲型偏微分方程的近似误差$ε$与$\mathcal{O}(|\log(ε)|)$自由度，即使在非线性设置的解决方案表现出冲击波。我们还表明，经典的降阶模型实现指数差的逼近率，通过建立相关的Kolmogorov $N$ -宽度的下界。
2020-07-28 cs.LG cs.NA math.NA
The Connection Between Approximation, Depth Separation and Learnability in Neural Networks
Hebrew University（希伯来大学）；Weizmann Institute of Science（魏茨曼科学研究所）
最近的几项工作已经显示了深度神经网络和具有较差近似能力的假设类（如浅网络或内核类）之间的分离结果。另一方面，深度网络可以有效地表达目标函数的事实并不意味着深度神经网络可以有效地学习该目标函数。在这项工作中，我们研究了可学习性和近似能力之间的复杂联系。我们表明，目标函数的深度网络的可学习性取决于更简单的类近似目标的能力。具体来说，我们证明了一个函数在深度神经网络上通过梯度下降可学习的必要条件是能够用浅神经网络近似函数，至少在弱意义上是这样。我们还表明，一类函数可以学习一个有效的统计查询算法，当且仅当它可以近似在一个弱意义上的一些内核类。我们给出了几个函数的例子，证明深度分离，并得出结论，他们不能有效地学习，即使是一个假设类，可以有效地近似它们。
2021-07-18 cs.LG cs.NE stat.ML
Depth Separation with Multilayer Mean-Field Networks
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）
本文研究了深度网络的算法层面的深度分离问题，通过将平均场极限扩展到多层网络并提出损失分解技术，证明了过参数化网络能高效学习特定函数，揭示了深层网络比浅层网络更强大的算法优势。
2023-04-03 cs.LG math.OC
Representational separation between unitary and channel quantum generative models via shared classical randomness at shallow depth
University of Innsbruck（因斯布鲁克大学）
该研究证明浅深度下通过共享经典随机性可实现量子生成模型中幺正与信道模型的严格可扩展表征分离，MBQC可自然实现所需随机性，数值实验验证了分析结果。
2026-08-06 cs.AI cs.LG quant-ph
Depthwise Separable Convolutions Versus Recurrent Neural Networks for Monaural Singing Voice Separation
Tampere University（坦佩雷大学）；Fraunhofer-IDMT（弗劳恩霍夫数字媒体技术研究所）
最近的音乐源分离方法几乎完全基于深度神经网络，主要采用递归神经网络（RNN）。尽管RNN在许多情况下优于其他类型的深度神经网络进行序列处理，但它们在训练和并行化方面存在特定的困难，特别是对于音乐源分离中遇到的通常较长的序列。在本文中，我们提出了一个用深度可分离（DWS）卷积替换RNN的用例，DWS卷积是典型卷积的一种轻量级和更快的变体。我们专注于歌声分离，采用RNN架构，我们用DWS卷积（DWS-CNN）代替RNN。我们进行了一项消融研究，并通过利用信号与伪影、信号与干扰和信号失真比的标准度量，研究了DWS-CNN的通道数量和层数对源分离性能的影响。我们的结果表明，通过用DWS-CNN代替RNN，分别获得了1.20，0.06，0.37 dB的改进，而仅使用RNN架构参数量的20.57%。
2020-07-06 cs.LG cs.SD eess.AS
Depth separation beyond radial functions
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Courant Institute of Mathematical Sciences and Center for Data Science（库朗数学科学研究所与数据科学中心）
神经网络的高维深度分离结果表明，在高维$d$中，某些函数可以用双隐层网络有效逼近，而用单隐层网络则不能。现有的这类结果主要集中在具有径向或一维结构的函数上，这在实践中通常不会遇到。本文的第一个贡献是通过建立在（Eldan和Shamir，2016）的证明策略上，将这些结果扩展到更一般的函数类，即具有分段振荡结构的函数。我们补充这些结果表明，如果域半径和目标函数的振荡率是恒定的，那么近似由一个隐藏层网络持有在$\mathrm{poly}(d)$率为任何固定的错误阈值。深度分离结果证明中的一个共同主题是，单隐藏层网络无法近似其傅立叶表示在域中扩展的高能函数。另一方面，通过单隐层神经网络的函数的现有近似结果依赖于具有稀疏傅立叶表示的函数。域的选择也代表了上下近似边界之间的差距的来源。专注于一个固定的近似域，即在维度$d$的球体$\mathbb{S}^{d-1}$，我们提供了一个表征的功能，这是有效的一个隐藏层网络和功能，这是可证明的，在他们的傅立叶展开。
2021-09-22 cs.LG cs.NE stat.ML
A spectral-based analysis of the separation between two-layer neural networks and linear methods
Peking University（北京大学）；Princeton University（普林斯顿大学）
我们提出了一种基于谱的方法来分析如何两层神经网络分离线性方法在逼近高维函数。我们表明，量化这种分离可以减少到估计两层神经网络的Kolmogorov宽度，后者可以进一步通过使用相关的内核的频谱。与以前的工作不同，我们的方法允许获得上界，下界，并确定明确的硬函数在一个统一的方式。我们提供了一个系统的研究如何激活功能的选择影响的分离，特别是对输入尺寸的依赖。具体来说，对于非光滑的激活函数，我们将已知的结果扩展到更多的激活函数与更尖锐的界限。作为具体的例子，我们证明了任何单个神经元可以实例化神经网络和随机特征模型之间的分离。对于光滑的激活函数，一个令人惊讶的发现是，除非内层权重的范数相对于输入维度是多项式大，否则分离是可以忽略的。相反，非光滑激活函数的分离与内层权的范数无关。
2022-02-23 cs.LG stat.ML
The effect of the choice of neural network depth and breadth on the size of its hypothesis space
University of Otago（奥塔哥大学）
我们证明了神经网络假设空间中唯一函数映射的数量与$\prod_lU_l!$成反比，其中$U_{l}$是隐藏层$l$中的神经元数量。
2018-06-06 cs.LG stat.ML
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University（哈佛大学）
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解，其中深度增加所提供的后验灵活性消失，后验预测崩溃为浅高斯过程。在这里，我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习，使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说，这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
Improved Depth Estimation of Bayesian Neural Networks
Lazy Dynamics（拉齐动力学）；Eindhoven University of Technology（埃因霍温理工大学）；GN Hearing（GN听力）
本文针对贝叶斯神经网络深度估计问题，提出基于离散截断正态分布独立学习网络深度均值与方差，并通过最小化变分自由能推断后验，有效提升了螺旋数据集测试精度并降低了深度估计方差。
2024-10-15 cs.LG stat.ML
Every Layer Counts: An Exponential $L_2$ Depth Hierarchy for ReLU Networks
该研究证明ReLU网络每增加一层可指数级减少神经元，得到相邻固定深度的首个指数层级，回答了相关学者的问题，还证明了更正则目标的深度精确分离。
2026-09-01 cs.LG
Commutative Width and Depth Scaling in Deep Neural Networks
National University of Singapore（新加坡国立大学）；Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）
该研究作为宽度与深度可交换缩放系列的第二篇，定义了神经网络极限可交换性框架，证明带跳跃连接的缩放网络的神经协方差核宽深极限可交换，且证明方法更易理解。
2023-10-02 cs.LG stat.ML
Depth Uncertainty in Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；The Alan Turing Institute（艾伦·图灵研究所）
用于估计深度学习中的不确定性的现有方法往往需要多次向前传递，使得它们不适合计算资源有限的应用。为了解决这个问题，我们在神经网络的深度上执行概率推理。不同的深度对应于共享权重的子网络，其预测通过边缘化进行组合，从而产生模型不确定性。通过利用前馈网络的顺序结构，我们能够评估我们的训练目标，并通过一次向前传递进行预测。我们验证了我们的方法在现实世界的回归和图像分类任务。我们的方法提供了不确定性校准，对数据集偏移的鲁棒性，以及与计算成本更高的基线相比具有竞争力的精度。
2020-12-07 cs.LG stat.ML
Sequential Multi-Frame Neural Beamforming for Speech Separation and Enhancement
Google（谷歌）
这项工作介绍了顺序神经波束形成，它交替基于神经网络的频谱分离和波束形成的空间分离。我们用于分离的神经网络使用了一种先进的卷积架构，该架构使用了一种新的稳定的信噪比损失函数进行训练。对于波束形成，我们探索了多种计算时变协方差矩阵的方法，包括将空间协方差分解为时变幅度分量和时不变空间分量，以及使用基于块的技术。此外，我们介绍了一种多帧波束形成方法，通过将上下文帧添加到波束形成公式中来显着改善结果。我们广泛地评估和分析这些方法的窗口大小，块大小和多帧上下文大小的影响。我们最好的方法利用了一系列的三个神经分离和多帧时不变的空间波束形成阶段，并证明了一个平均改善2.75 dB的尺度不变的信噪比和14.2%的绝对减少比较语音识别度量跨越四个具有挑战性的混响语音增强和分离任务。我们还使用我们的三扬声器分离模型将LibriCSS评估集中的真实录音分离为非重叠的音轨，并实现了比基于基线掩模的波束形成器更好的单词出错率。
2020-11-03 cs.LG cs.SD eess.AS
Depth-Width Tradeoffs in Approximating Natural Functions with Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们为前馈神经网络提供了几个新的基于深度的分离结果，证明了各种类型的简单和自然的函数可以更好地近似使用更深的网络比浅的网络，即使浅的网络要大得多。这包括球和椭圆的指示符;相对于$L_1$范数为径向的非线性函数;以及平滑非线性函数。我们还表明，这些差距可以通过实验观察到：当训练神经网络学习单位球的指示器时，增加深度确实比增加宽度更好地学习。
2020-05-13 cs.LG cs.NE stat.ML
What graph neural networks cannot learn: depth vs width
École Polytechnique Fédérale Lausanne（洛桑联邦理工学院）
本文研究了消息传递框架（GNNmp）下的图神经网络的表达能力。两个结果。首先，GNNmp被证明是图灵普遍的深度，宽度，节点属性和层的表现力的充分条件下。第二，发现GNNmp在其深度和宽度受到限制时可能会失去相当大一部分功率。提出的不可能性陈述源于一种新技术，该技术能够重新利用分布式计算的开创性结果，并导致涉及图形的一系列决策，优化和估计问题的下限。引人注目的是，这些问题中有几个被认为是不可能的，除非GNNmp的深度和宽度的乘积超过图大小的多项式;这种依赖性即使对于看起来简单的任务或考虑近似时仍然很重要。
2020-01-28 cs.LG stat.ML
Neural separation of observed and unobserved distributions
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）；Facebook AI Research（Facebook人工智能研究院）
分离混合分布是机器学习和信号处理的长期挑战。目前大多数方法要么依赖于对源分布做出强有力的假设，要么依赖于在混合物中具有每个源的训练样本。在这项工作中，我们介绍了一种新的方法-神经鸡蛋分离-来解决从未观察到的分布中提取信号与来自观察到的分布的信号相加混合的情况。我们的方法迭代地学习将已知分布与未知分布的逐渐精细的估计分开。在某些设置中，神经卵分离是初始化敏感的，因此我们引入了潜在混合掩蔽，以确保良好的初始化。对音频和图像分离任务的大量实验表明，我们的方法优于使用相同监督级别的当前方法，并且通常实现与完全监督相似的性能。
2019-05-16 cs.CL cs.LG eess.AS
Probabilistic Binary-Mask Cocktail-Party Source Separation in a Convolutional Deep Neural Network
University of Surrey（萨里大学）
竞争语音的分离是信号处理中的一个关键挑战，也是人类听觉大脑经常执行的一项壮举。声源分离的频谱图方法的一个长期存在的基准被称为理想二进制掩模。在这里，我们训练一个卷积深度神经网络，在两个扬声器的鸡尾酒会问题上，对二进制掩码进行概率预测。我们的结果接近理想的二进制掩码性能，说明相对简单的深度神经网络能够进行鲁棒的二进制掩码预测。我们还说明了预测统计和分离质量之间的权衡。
2015-03-24 cs.LG cs.NE cs.SD
Interplay between depth of neural networks and locality of target functions
RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学中心）；The University of Tokyo（东京大学）；University of Tokyo（东京大学）
人们已经认识到，严重过度参数化的深度神经网络（DNN）在各种机器学习任务中表现出令人惊讶的良好泛化性能。虽然已经从不同的角度研究了深度的好处，如近似理论和统计学习理论，但现有的理论并不能充分解释过度参数化DNN的经验成功。在这项工作中，我们报告了目标函数的深度和局部性之间显着的相互作用。我们引入了$k$ -局部和$k$ -全局函数，发现深度对局部函数的学习是有益的，但对全局函数的学习是有害的。这种相互作用没有被神经切线核恰当地捕捉到，它描述了懒惰学习机制中无限宽的神经网络。
2022-01-28 cond-mat.dis-nn cs.LG stat.ML
On the infinite-depth limit of finite-width neural networks
National University of Singapore（新加坡国立大学）
本文研究了具有随机高斯权值的有限宽度残差神经网络的无限深度极限。适当的缩放，我们表明，通过固定的宽度和深度为无穷大，预激活收敛分布的零漂移扩散过程。不像无限宽的限制，预激活弱收敛到一个高斯随机变量，我们表明，无限深的限制产生不同的分布取决于激活函数的选择。我们记录了两种情况下，这些分布具有封闭形式（不同）的表达式。我们进一步显示了一个有趣的变化机制的现象时，激活后规范的宽度从3增加到4。最后，我们研究了序列极限无限深然后无限宽，并将其与更常见的研究无限宽然后无限深极限进行了比较。
2023-01-13 cs.LG math.PR stat.ML
Exponential Separations in Symmetric Neural Networks
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
在这项工作中，我们证明了一种新的对称神经网络架构之间的分离。具体来说，我们认为关系网络~ \parencite{santoro2017simple}架构是DeepSets~ \parencite{zaheer2017deep}架构的自然推广，并研究它们的代表性差距。在解析激活函数的限制下，构造了一个作用于大小为$N$且元素维数为$D$的对称函数，前者可以有效地逼近，但后者可证明需要$N$和$D$的宽度指数.
2022-12-12 cs.LG
Blind Speech Separation and Dereverberation using Neural Beamforming
Graz University of Technology（格拉茨技术大学）
在本文中，我们提出了盲语音分离和去混响（BSSD）网络，它同时执行说话人分离，去混响和说话人辨识在一个单一的神经网络。说话人分离是由一组预定义的空间线索。利用神经波束形成进行混响消除，并通过嵌入向量和三元组挖掘辅助说话人辨识。我们介绍了一个频领域模型，它使用复值神经网络，和一个时域变量，执行波束形成的潜在空间。此外，我们提出了一个块在线模式来处理较长的音频记录，因为它们发生在会议场景中。我们评估我们的系统在尺度无关的信号失真比（SI-SDR），字出错率（WER）和相等的出错率（EER）。
2021-11-05 cs.LG cs.SD eess.AS
On the Implicit Bias Towards Minimal Depth of Deep Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Tel Aviv University（特拉维夫大学）；eBay Research（eBay研究院）
最近的文献结果表明，被训练用于分类的神经网络的倒数第二（倒数第二）层表示表现出称为神经崩溃（NC）的聚类特性。我们研究了随机梯度下降（SGD）在训练深度神经网络时有利于低深度解决方案的隐式偏差。我们描述了一个概念的有效深度，测量第一层的样本嵌入是可分离的使用最近的类中心分类器。此外，我们的假设和经验表明，SGD隐式地选择小的有效深度的神经网络。其次，虽然神经崩溃出现时，泛化应该是不可能的-我们认为，在中间层的\emph{degree of separability}与泛化。我们基于将网络的有效深度与拟合具有部分损坏标签的相同数据集所需的最小深度进行比较来推导泛化界。值得注意的是，这个界限提供了测试性能的非平凡估计。最后，我们经验表明，当数据中随机标签的数量增加时，训练好的神经网络的有效深度单调增加。
2022-09-28 cs.LG
Practical applicability of deep neural networks for overlapping speaker separation
KU Leuven（鲁汶大学）
本文研究了两种基于深度学习的解决方案在实际场景中对重叠说话人分离问题的适用性。首先，我们提出的实验表明，这些方法适用于广泛的语言。进一步的实验表明，当未训练的语言与训练的语言具有共同特征时，未训练的语言的性能损失有限。其次，它研究了如何处理现实的背景噪声的方法，并提出了一些修改，以更好地应对这些干扰。我们将研究的深度学习方法是深度聚类和深度吸引子网络。
2019-12-19 cs.LG cs.SD eess.AS
Finite Depth and Width Corrections to the Neural Tangent Kernel
Texas A&M University（得克萨斯农工大学）；University of Toronto（多伦多大学）
我们证明了在有限的深度和宽度上，随机初始化ReLU网络中神经切线核（NTK）的均值和方差的精确缩放。标准差是网络深度与宽度之比的指数。因此，即使在无限overparameterization的限制，NTK是不确定的，如果深度和宽度同时趋于无穷大。此外，我们证明，对于这样的深度和广度的网络，NTK在训练过程中有一个非平凡的演变，表明其第一次SGD更新的平均值也是网络深度与宽度之比的指数。这与深度固定且网络宽度非常大的情况形成鲜明对比。我们的研究结果表明，与相对较浅和较宽的网络不同，深度和较宽的ReLU网络即使在所谓的懒惰训练机制中也能够学习数据依赖的特征。
2019-09-13 cs.LG math.PR stat.ML
On Cokriging, Neural Networks, and Spatial Blind Source Separation for Multivariate Spatial Prediction
Vienna University of Technology（维也纳技术大学）；University of International Business and Economics（对外经济贸易大学）
本文研究空间盲源分离作为空间预测预处理工具的效果，通过模拟实验和地球化学数据集，将其与协同克里金法、神经网络的多变量空间预测性能进行对比。
2020-07-01 cs.LG eess.SP stat.ML
Joint Optimization of Masks and Deep Recurrent Neural Networks for Monaural Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Clarifai（Clarifai公司）；Adobe Research（奥多比研究院）
单耳声源分离对于许多现实世界的应用是重要的。它具有挑战性，因为只有一个单一的信息渠道，没有任何限制，无限多的解决方案是可能的。在本文中，我们探索了掩蔽函数和深度递归神经网络的联合优化，用于单声道声源分离任务，包括单声道语音分离，单声道歌声分离和语音去噪。具有额外掩蔽层的深度递归神经网络的联合优化强制执行重构约束。此外，我们还探索了一种判别准则来训练神经网络，以进一步提高分离性能。我们评估所提出的系统的TSP，MIR-1K，和TIMIT数据集的语音分离，歌声分离，语音去噪任务，分别。在语音分离任务中，与NMF模型相比，我们的方法实现了2.30 - 4.98 dB SDR增益，在歌声分离任务中，与现有模型相比，我们的方法实现了2.30 - 2.48 dB GNSDR增益和4.32 - 5.42 dB GSIR增益，并且在语音去噪任务中优于NMF和DNN基线。
2015-10-01 cs.AI cs.LG cs.MM
Better Depth-Width Trade-offs for Neural Networks through the lens of Dynamical Systems
Stanford University（斯坦福大学）；Singapore University of Technology and Design（新加坡科技设计大学）
神经网络的表达能力是其深度、宽度和激活单元类型的函数，一直是深度学习理论中的一个重要问题。最近，ReLU网络的深度分离结果是通过与动力系统的新连接获得的，使用了连续映射$f$的不动点的广义概念，称为周期点。在这项工作中，我们加强了与动力系统的联系，我们从几个方面改进了现有的宽度下界。我们的第一个主要结果是特定于周期的宽度下限，持有较强的概念下的$L^1$近似误差，而不是较弱的分类错误。我们的第二个贡献是，我们提供了更清晰的宽度下限，仍然产生有意义的指数深度-宽度分离，在以前的结果不适用的制度。我们的结果的一个副产品是，存在一个普适常数表征的深度-宽度的权衡，只要$f$有奇数周期。从技术上讲，我们的结果揭示了以下三个量之间的一个给定的函数：它的周期，它的Lipschitz常数和增长率的振荡下产生的组合物的功能$f$与本身的数量更紧密的连接。
2020-07-20 cs.LG math.DS stat.ML
Voice and accompaniment separation in music using self-attention convolutional neural network
Ohio State University（俄亥俄州立大学）；Amazon Music, Bangalore（亚马逊音乐（班加罗尔））；Amazon Lab126, CA（亚马逊Lab126（加利福尼亚））
音乐源分离是信号处理领域的一个热门课题，这不仅是因为它的技术难度，而且还因为它对自动卡拉OK和混音等许多商业应用的重要性。在这项工作中，我们提出了一种新的自我注意力网络分离的声音和伴奏音乐。首先，构建一个具有密集连接的CNN块的卷积神经网络（CNN）作为我们的基础网络。然后，我们在基础CNN的不同级别插入自注意力，以利用音乐的长期内部依赖性，即，重复在自我注意力模式中，相同音乐模式的重复通知其他重复的重建，以获得更好的源分离性能。实验结果表明，该方法在SDR方面的人声分离相对提高了19.5%。我们将我们的方法与最先进的系统（即MMDenseNet和MMDenseLSTM）进行比较。
2020-03-19 cs.LG cs.SD eess.AS
Nonlinear pile-up separation with LSTM neural networks for cryogenic particle detectors
Institute of High Energy Physics（高能物理研究所）；Austrian Academy of Sciences（奥地利科学院）
在使用低温粒子探测器的高本底或校准测量中，由于反冲事件的堆积而损失了相当大的一部分曝光。我们提出了一种使用LSTM神经网络分离堆积事件的方法，并在示例性数据集上评估其性能。尽管探测器的响应函数是非线性的，但我们可以相当好地重建严重失真的能谱的真实情况。
2021-12-13 cs.LG physics.ins-det
Continuous-Depth Neural Models for Dynamic Graph Prediction
KAIST（韩国科学技术院）；The University of Tokyo（东京大学）；Syntensor
我们介绍了连续深度图神经网络（GNNs）的框架。神经图微分方程（神经GDE）被形式化为GNN的对应物，其中输入-输出关系由GNN层的连续体确定，混合离散拓扑结构和微分方程。所提出的框架是兼容的静态GNN模型，并通过混合动力系统理论扩展到动态和随机设置。在这里，神经GDE通过利用底层动力学几何结构来提高性能，进一步引入适应不规则采样数据的能力。结果证明了所提出的模型在应用中的有效性，例如交通预测或遗传调控网络中的预测。
2021-06-22 cs.AI cs.LG stat.ML
Deep Transform: Cocktail Party Source Separation via Complex Convolution in a Deep Neural Network
University of Surrey（萨里大学）
卷积深度神经网络（DNN）在许多工程问题中是最先进的，但尚未解决如何处理复杂频谱图的问题。在这里，我们使用循环统计来提供复杂卷积DNN中频谱图相位的方便概率估计。在一个典型的鸡尾酒会声源分离场景中，我们训练了一个卷积DNN来重新合成两个源语音信号的复频谱图，给出了一个单声道混合的复频谱图-一个判别深度变换（DT）。然后，我们使用这个复杂的卷积DT来获得源频谱图的幅度和相位分量的概率估计。我们的分离结果与基于等效二进制掩码的非复杂分离方法相当。
2015-04-12 cs.LG cs.NE cs.SD
Separation of Memory and Processing in Dual Recurrent Neural Networks
Escuela Politécnica Superior, Universidad Autónoma de Madrid（马德里自治大学高等理工学院）
我们探索了一种神经网络架构，该架构堆叠了一个递归层和一个前馈层，该前馈层也连接到输入，并将其与标准Elman和LSTM架构在准确性和可解释性方面进行了比较。当噪声被引入到递归单元的激活函数中时，这些神经元被迫进入二进制激活状态，这使得网络表现得更像有限自动机。所得到的模型更简单，更易于解释，对不同的样本问题，包括正则语言的识别，不同基的加法计算和算术表达式的生成，都有更高的精度。
2020-05-17 cs.FL cs.LG cs.NE
Sams-Net: A Sliced Attention-based Neural Network for Music Source Separation
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）；Tiangong University（天津工业大学）；Tencent Inc.（腾讯公司）
卷积神经网络（CNN）或具有频谱图或波形输入的基于长短期记忆（LSTM）的模型通常用于基于深度学习的音频源分离。在本文中，我们提出了一个分层注意的神经网络（Sams-Net）在频谱域的音乐源分离任务。与LSTM和CNN相比，它使光谱特征与多头注意机制相互作用，实现更容易的并行计算，并具有更大的感受野。在MUSDB 18数据集上的实验结果表明，该方法具有更少的参数，优于大多数最先进的基于DNN的方法。
2020-05-19 cs.IR cs.LG cs.SD
Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes
Freie Universität Berlin（柏林自由大学）；London School of Economics and Political Science（伦敦政治经济学院）；University of Twente（特文特大学）
我们证明了具有整数权重的ReLU神经网络可表示的函数集严格随网络深度而增加，同时允许任意宽度。更确切地说，我们证明了$\lceil\log_2(n)\rceil$隐藏层确实是必要的计算最大的$n$号码，匹配已知的上限。我们的结果是基于已知的对偶之间的神经网络和牛顿多面体通过热带几何。完整性假设意味着这些牛顿多面体是格多面体。然后，我们的深度下限遵循奇偶校验参数的归一化体积的面，这样的多面体。
2023-02-24 cs.DM cs.LG cs.NE
On Neural Architectures for Deep Learning-based Source Separation of Co-Channel OFDM Signals
Massachusetts Institute of Technology（麻省理工学院）
研究单信道OFDM信号源分离问题，发现面向音频的神经架构在分离同信道OFDM波形时表现不佳，提出基于OFDM结构的领域知情网络参数化修改，使性能提升约30 dB。
2023-03-15 cs.LG eess.SP
Deep neural networks for single channel source separation
Faculty of Engineering
提出了一种基于深度神经网络（DNN）的单通道声源分离（SCSS）方法。与以前的研究不同，DNN和其他分类器用于对时频区间进行分类以获得每个源的硬掩模，我们使用DNN对估计的源谱进行分类，以检查它们在分离过程中的有效性。在训练阶段，源信号的训练数据用于训练DNN。在分离阶段，训练的DNN用于帮助估计混合信号中的每个源。单通道声源分离问题被公式化为能量最小化问题，其中鼓励每个源谱估计以拟合训练的DNN模型，并且鼓励混合信号谱被写为估计的源谱的加权和。所提出的方法的工作原理，无论在训练和分离阶段的源信号之间的能量尺度的差异。非负矩阵分解（NMF）用于初始化每个源的DNN估计。实验结果表明，与使用NMF进行声源分离相比，使用NMF初始化的DNN进行声源分离可以提高分离信号的质量。
2013-11-12 cs.LG cs.NE
Machines of finite depth: towards a formalization of neural networks
我们提供了一个统一的框架，人工神经网络和它们的架构可以正式描述为一个一般的数学结构的特定情况下-有限深度的机器。与神经网络不同的是，机器有一个精确的定义，从这个定义中可以自然地得出几个属性。有限深度的机器是模块化的（它们可以组合），有效地可计算和可微。一台机器的向后传递也是一台机器，可以使用与向前传递相同的过程进行计算而没有开销。我们从理论上和实践中证明了这一点，通过一个统一的实现，概括了几个经典的架构-密集，卷积和递归神经网络与丰富的捷径结构-和他们各自的反向传播规则。
2022-04-27 cs.LG math.OC
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University（哈佛大学）；Zhejiang University（浙江大学）
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中，我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统，它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地，具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外，如果神经网络是某个函数$f$的良好逼近，则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
Neural Network Gaussian Processes by Increasing Depth
Nanjing University（南京大学）；Weill Cornell Medicine（威尔康奈尔医学院）；Cornell University（康奈尔大学）
近年来，人们对无限宽网络和高斯过程之间的对应关系越来越感兴趣。尽管当前的神经网络高斯过程理论的有效性和优雅性，据我们所知，所有的神经网络高斯过程本质上是由增加宽度引起的。然而，在深度学习时代，我们更关心的是神经网络的深度以及深度如何影响网络的行为。受宽度-深度对称性考虑的启发，我们使用快捷网络来证明增加神经网络的深度也会产生高斯过程，这是对现有理论的一个有价值的补充，有助于揭示深度学习的真实情况。在提出的高斯过程的深度之外，我们从理论上刻画了它的一致紧性和高斯过程核的最小特征值。这些特征不仅可以增强我们对所提出的深度诱导高斯过程的理解，而且为未来的应用铺平了道路。最后，我们通过两个基准数据集上的回归实验来检验所提出的高斯过程的性能。
2022-07-04 cs.AI cs.LG
Referenceless Performance Evaluation of Audio Source Separation using Deep Neural Networks
Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）；audEERING GmbH（audEERING有限公司）
当前用于音频声源分离的性能评估依赖于将处理或分离的信号与参考信号进行比较。因此，常见的性能评估工具包不适用于地面实况音频不可用的真实情况。在本文中，我们提出了一个性能评估技术，不需要参考信号，以评估分离质量。所提出的技术使用深度神经网络（DNN）来将经处理的音频映射到其质量分数。我们的实验结果表明，DNN是能够预测的来源，从盲声源分离评估工具包，而不需要参考信号的文物比。
2018-11-01 cs.LG cs.MM cs.SD
Optimization-Based Separations for Neural Networks
Princeton University（普林斯顿大学）
深度分离结果为深度神经网络相对于较浅架构的优势提出了一种可能的理论解释，确立了前者具有优越的近似能力。然而，没有已知的结果，其中更深的架构利用这一优势，以证明优化保证。我们证明了当数据由满足一些温和假设的径向对称分布生成时，梯度下降可以使用具有两层S形激活的深度2神经网络有效地学习球指示函数，并且其中隐藏层在整个训练过程中保持固定。通过建立和完善现有的技术近似下界的神经网络与单层的非线性，我们表明，有$d$ -维径向分布的数据，使球指标不能有效地学习任何算法的准确性优于$Ω(d^{-4})$，也不是由一个标准的梯度下降实施的准确性优于一个常数。这些结果建立了什么是我们所知的最好的，第一个基于优化的分离，其中更强的架构的近似的好处证明在实践中体现。我们的证明技术引入了新的工具和想法，可能是独立的兴趣在理论研究的近似和优化的神经网络。
2023-02-02 cs.LG
Neural Fast Full-Rank Spatial Covariance Analysis for Blind Source Separation
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）；RIKEN（理化学研究所）；Tokyo Metropolitan University（东京都立大学）；Kyoto University（京都大学）
本文提出神经FastFCA，一种基于全秩但联合可对角化空间模型的高效无监督盲源分离方法，通过交替神经网络与迭代源转向实现快速分离，性能优于传统方法且计算时间大幅降低。
2023-06-17 cs.LG cs.SD eess.AS
Separation Power of Equivariant Neural Networks
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Oxford（牛津大学）；University of Venice（威尼斯大学）
本文研究了等变神经网络的分离能力，分析了架构和超参数对分离能力的影响，发现非多项式激活函数在表达能力上等价，深度在阈值后不再提升分离能力，而隐表示的块分解会影响分离能力。
2026-06-04 cs.AI cs.LG
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）
提出了一种新的残差卷积神经网络（CNN）结构，用于单幅图像的深度估计。与现有的基于深度CNN的方法相比，我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积，跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明，我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Depth-induced NTK: Bridging Over-parameterized Neural Networks and Deep Neural Kernels
State Key Laboratory of Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；School of Intelligent Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学，中国）；Department of Data Science, City University of Hong Kong, Hong Kong（数据科学系，香港城市大学，香港）
本文提出基于捷径架构的深度诱导NTK核，突破传统无限宽假设，在深度趋于无穷时收敛于高斯过程，并通过理论与实验证明其能稳定核动力学、缓解退化，深化了对深度学习和缩放定律的理解。
2025-11-05 cs.LG
Generalization Challenges for Neural Architectures in Audio Source Separation
Redwood Center for Theoretical Neuroscience（红木理论神经科学中心）；University of California Berkeley（加州大学伯克利分校）
最近的工作表明，可以训练递归神经网络，以高保真度在声音混合中分离单个扬声器。在这里，我们探索卷积神经网络模型作为一种替代方案，并表明它们实现了最先进的结果，参数少了一个数量级。我们还描述和比较了这些不同方法在三种不同测试条件下的鲁棒性和泛化能力：较长的时间序列，添加间歇性噪声，以及在训练过程中看不到的不同数据集。对于最后一个条件，我们创建了一个新的数据集RealTalkLibri，以在真实环境中测试声源分离。我们表明，环境的声学对波形的结构和神经网络模型的整体性能有显着的影响，卷积模型表现出优越的能力，推广到新的环境。我们研究的代码可在https://github.com/ShariqM/source_separation上获取。
2018-05-27 cs.LG cs.SD eess.SP
Can We Use Neural Regularization to Solve Depth Super-Resolution?
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Zhejiang University（浙江大学）；Instituto Nacional de Matemática Pura e Aplicada（巴西国家纯粹与应用数学研究所）
用商用传感器捕获的深度图通常需要超分辨率才能在应用中使用。在这项工作中，我们研究了一个超分辨率方法的基础上变分问题的陈述与Tikhonov正则化的正则化参数化与深神经网络。这种方法以前成功地应用于光声层析成像。实验结果表明，其应用于深度图超分辨率是困难的，并提供有关的原因的建议。
2021-12-21 cs.CV cs.LG
Training Flexible Depth Model by Multi-Task Learning for Neural Machine Translation
Northeastern University（东北大学）；Machine Intelligence Technology Lab, Alibaba DAMO Academy（阿里巴巴达摩院机器智能技术实验室）；NiuTrans Co., Ltd.（小牛翻译股份有限公司）
标准神经机器翻译模型只能使用与训练相同的深度配置进行解码。受此特性的限制，我们不得不部署各种大小的模型来维持相同的翻译延迟，因为不同终端设备上的硬件条件（例如，移动电话）可能变化很大。这种单独的训练会导致模型维护成本增加和模型迭代速度减慢，特别是对于行业而言。在这项工作中，我们建议使用多任务学习训练一个灵活的深度模型，可以适应不同的深度配置在推理。实验结果表明，该方法可以同时支持24种深度配置的解码，优于单独训练和另一种灵活的深度模型训练方法- LayerDrop。
2020-10-16 cs.CL cs.LG
Multi-Band Multi-Resolution Fully Convolutional Neural Networks for Singing Voice Separation
Helwan University（赫勒万大学）
具有卷积层的深度神经网络通常以相同的时频分辨率、滤波器数量和降维尺度来处理音频信号的整个频谱图。根据恒Q变换，如果低频带用高频率分辨率滤波器处理，高频带用高时间分辨率滤波器处理，则可以从音频信号中提取良好的特征。在歌声和音乐信号的混合的频谱图中，通常在低频带中比在高频带中有更多关于声音的信息。这就需要对声谱图的每个部分进行不同的处理。本文提出了一种多带多分辨率全卷积神经网络（MBR-FCN）的歌唱声分离方法。MBR-FCN利用比具有较少信息的频带更多的滤波器和更小的维数减少尺度来处理具有关于目标信号的更多信息的频带。此外，MBR-FCN用高频率分辨率滤波器处理低频带，用高时间分辨率滤波器处理高频带。我们的实验结果表明，所提出的MBR-FCN具有非常少的参数实现更好的歌声分离性能比其他深度神经网络。
2019-10-21 cs.LG cs.SD eess.AS
