Hypersolvers: Toward Fast Continuous-Depth Models
KAIST（韩国科学技术院）；The University of Tokyo（东京大学）
由神经ODE开创的无限深度范式在寻找新的动力系统启发的深度学习原语方面掀起了复兴;然而，由于计算可扩展性差，它们在非平凡大小的问题中的利用通常被证明是不可能的。这项工作为可扩展的神经ODE铺平了道路，其预测时间可与传统的离散网络相媲美。我们介绍超求解器，神经网络旨在解决常微分方程的低开销和理论保证的准确性。超求解器和神经ODE的协同组合允许廉价的推理，并为连续深度模型的实际应用开辟了新的前沿。标准基准的实验评估，如连续规范化流的采样，揭示了一致的帕累托效率超过经典的数值方法。
2020-12-29 cs.LG cs.NA math.NA
Depth-Width Tradeoffs in Approximating Natural Functions with Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们为前馈神经网络提供了几个新的基于深度的分离结果，证明了各种类型的简单和自然的函数可以更好地近似使用更深的网络比浅的网络，即使浅的网络要大得多。这包括球和椭圆的指示符;相对于$L_1$范数为径向的非线性函数;以及平滑非线性函数。我们还表明，这些差距可以通过实验观察到：当训练神经网络学习单位球的指示器时，增加深度确实比增加宽度更好地学习。
2020-05-13 cs.LG cs.NE stat.ML
Neural Networks with Small Weights and Depth-Separation Barriers
Weizmann Institute of Science（魏茨曼科学研究所）
在研究神经网络的表达能力时，一个重要的问题是是否存在只能由足够深的网络来近似的函数，假设它们的大小是有界的。然而，对于恒定深度，现有结果仅限于深度$2$和$3$，并且实现更高深度的结果一直是一个重要的开放问题。在本文中，我们专注于前馈ReLU网络，并通过简化为开放问题和电路复杂性中的自然证明障碍，证明了在深度$4$之外证明此类结果的基本障碍。为了证明这一点，我们研究了一个看似无关的问题的独立利益：即，是否有多项式有界的功能，需要超多项式的权重，以近似与恒定深度的神经网络。我们对这个问题提供了一个否定的和建设性的答案，通过表明如果一个函数可以用具有任意大权重的多项式大小、恒定深度的$k$网络来逼近，那么它也可以用多项式大小、深度的$3k+3$网络来逼近，其权重是多项式有界的。
2020-12-27 cs.CC cs.LG stat.ML
Depth Uncertainty in Neural Networks
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；The Alan Turing Institute（艾伦·图灵研究所）
用于估计深度学习中的不确定性的现有方法往往需要多次向前传递，使得它们不适合计算资源有限的应用。为了解决这个问题，我们在神经网络的深度上执行概率推理。不同的深度对应于共享权重的子网络，其预测通过边缘化进行组合，从而产生模型不确定性。通过利用前馈网络的顺序结构，我们能够评估我们的训练目标，并通过一次向前传递进行预测。我们验证了我们的方法在现实世界的回归和图像分类任务。我们的方法提供了不确定性校准，对数据集偏移的鲁棒性，以及与计算成本更高的基线相比具有竞争力的精度。
2020-12-07 cs.LG stat.ML
What graph neural networks cannot learn: depth vs width
École Polytechnique Fédérale Lausanne（洛桑联邦理工学院）
本文研究了消息传递框架（GNNmp）下的图神经网络的表达能力。两个结果。首先，GNNmp被证明是图灵普遍的深度，宽度，节点属性和层的表现力的充分条件下。第二，发现GNNmp在其深度和宽度受到限制时可能会失去相当大一部分功率。提出的不可能性陈述源于一种新技术，该技术能够重新利用分布式计算的开创性结果，并导致涉及图形的一系列决策，优化和估计问题的下限。引人注目的是，这些问题中有几个被认为是不可能的，除非GNNmp的深度和宽度的乘积超过图大小的多项式;这种依赖性即使对于看起来简单的任务或考虑近似时仍然很重要。
2020-01-28 cs.LG stat.ML
Sparse Flows: Pruning Continuous-depth Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
连续深度学习架构能够学习灵活的概率模型，用于神经常微分方程（ODE）的预测建模，以及用于连续归一化流的生成建模。在这项工作中，我们设计了一个框架，通过修剪它们的网络架构来破译这些连续深度模型的内部动态。我们的实证结果表明，修剪提高了生成建模中神经常微分方程的泛化能力。我们的经验表明，改进是因为修剪有助于避免模式崩溃和平坦的损失表面。此外，修剪可以找到有效的神经ODE表示，与原始网络相比，参数减少了98%，而不会损失准确性。我们希望我们的研究结果将激励进一步研究现代连续深度模型的性能-大小权衡。
2021-11-18 cs.AI cs.LG
Interplay between depth of neural networks and locality of target functions
RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学中心）；The University of Tokyo（东京大学）；University of Tokyo（东京大学）
人们已经认识到，严重过度参数化的深度神经网络（DNN）在各种机器学习任务中表现出令人惊讶的良好泛化性能。虽然已经从不同的角度研究了深度的好处，如近似理论和统计学习理论，但现有的理论并不能充分解释过度参数化DNN的经验成功。在这项工作中，我们报告了目标函数的深度和局部性之间显着的相互作用。我们引入了$k$ -局部和$k$ -全局函数，发现深度对局部函数的学习是有益的，但对全局函数的学习是有害的。这种相互作用没有被神经切线核恰当地捕捉到，它描述了懒惰学习机制中无限宽的神经网络。
2022-01-28 cond-mat.dis-nn cs.LG stat.ML
GoTube: Scalable Stochastic Verification of Continuous-Depth Models
TU Wien（维也纳工业大学）；IST Austria（奥地利科学技术研究所）；CSAIL MIT（麻省理工学院计算机科学与人工智能实验室）；Stony Brook University（石溪大学）
我们引入了一个新的随机验证算法，正式量化的行为鲁棒性的任何时间连续的过程制定为一个连续的深度模型。我们的算法解决了一组全局优化（Go）问题，在给定的时间范围内构建一个紧密的外壳（管）的所有进程执行的集合从球的初始状态。我们称之为GoTube算法。通过其结构，GoTube确保边界管在所需的概率和所需的紧密度上是保守的。GoTube在JAX中实现，并经过优化以扩展到复杂的连续深度神经网络模型。与时间连续神经网络的高级可达性分析工具相比，GoTube不会在时间步长之间积累过度近似误差，并避免了符号技术中固有的臭名昭著的包装效应。我们表明，GoTube大大优于国家的最先进的验证工具，在初始球的大小，速度，时间范围，任务完成和可扩展性方面的大量实验。GoTube是稳定的，并设置了最先进的能力，以扩展到时间范围远远超出了以前的可能。
2021-12-02 cs.AI cs.LG cs.NE
On the infinite-depth limit of finite-width neural networks
National University of Singapore（新加坡国立大学）
本文研究了具有随机高斯权值的有限宽度残差神经网络的无限深度极限。适当的缩放，我们表明，通过固定的宽度和深度为无穷大，预激活收敛分布的零漂移扩散过程。不像无限宽的限制，预激活弱收敛到一个高斯随机变量，我们表明，无限深的限制产生不同的分布取决于激活函数的选择。我们记录了两种情况下，这些分布具有封闭形式（不同）的表达式。我们进一步显示了一个有趣的变化机制的现象时，激活后规范的宽度从3增加到4。最后，我们研究了序列极限无限深然后无限宽，并将其与更常见的研究无限宽然后无限深极限进行了比较。
2023-01-13 cs.LG math.PR stat.ML
On the Implicit Bias Towards Minimal Depth of Deep Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Tel Aviv University（特拉维夫大学）；eBay Research（eBay研究院）
最近的文献结果表明，被训练用于分类的神经网络的倒数第二（倒数第二）层表示表现出称为神经崩溃（NC）的聚类特性。我们研究了随机梯度下降（SGD）在训练深度神经网络时有利于低深度解决方案的隐式偏差。我们描述了一个概念的有效深度，测量第一层的样本嵌入是可分离的使用最近的类中心分类器。此外，我们的假设和经验表明，SGD隐式地选择小的有效深度的神经网络。其次，虽然神经崩溃出现时，泛化应该是不可能的-我们认为，在中间层的\emph{degree of separability}与泛化。我们基于将网络的有效深度与拟合具有部分损坏标签的相同数据集所需的最小深度进行比较来推导泛化界。值得注意的是，这个界限提供了测试性能的非平凡估计。最后，我们经验表明，当数据中随机标签的数量增加时，训练好的神经网络的有效深度单调增加。
2022-09-28 cs.LG
Exact Convergence Rates of the Neural Tangent Kernel in the Large Depth Limit
National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
Jacot等人（2018）的最新工作表明，使用参数空间中的梯度下降训练神经网络与函数空间中关于神经切线核（NTK）的核梯度下降有关。Lee et al.（2019）建立在这一结果的基础上，建立了当网络宽度较大时，使用梯度下降训练的神经网络的输出可以通过线性模型来近似。事实上，在正则条件下，NTK在无限宽极限下收敛到与时间无关的核。这种制度通常被称为NTK制度。并行地，最近关于信号传播的工作（Poole等人，2016; Schoenholz等人，2017; Hayou等人，2019 a）研究了初始化和激活函数对深度神经网络中信号传播的影响。在本文中，我们将这两个理论连接起来，通过量化的初始化和激活函数的影响NTK当网络深度变得很大。特别是，我们提供了一个全面的分析的收敛速度的NTK制度的无限深度制度。
2022-05-25 cs.LG stat.ML
Continuous Depth Recurrent Neural Differential Equations
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
递归神经网络（RNN）在序列标记任务和序列数据方面带来了很多进步。然而，当序列中的观测是不规则采样的，其中观测以不规则的时间间隔到达时，它们的有效性是有限的。为了解决这个问题，基于神经常微分方程（NODE）引入了RNN的连续时间变量。它们使用隐藏状态随时间的连续变换来学习更好的数据表示，同时考虑到观察之间的时间间隔。然而，它们的能力仍然有限，因为它们使用离散变换和序列中输入的固定离散层数（深度）来产生输出观察。我们打算通过提出基于微分方程的RNN来解决这一限制，该微分方程对深度和时间上的连续变换进行建模，以预测序列中给定输入的输出。具体来说，我们提出了连续深度递归神经微分方程（CDR-NDE），它通过在时间和深度维度上不断进化隐藏状态来推广RNN模型。CDR-NDE在每个维度上考虑两个单独的微分方程，并交替地模拟时间和深度方向的演化。我们还提出了基于偏微分方程的CDR-NDE-热模型，该模型将隐态的计算视为求解随时间变化的热方程。我们通过与现实世界序列标记问题和数据的最新RNN模型进行比较，证明了所提出模型的有效性。
2022-12-28 cs.LG
Finite Depth and Width Corrections to the Neural Tangent Kernel
Texas A&M University（得克萨斯农工大学）；University of Toronto（多伦多大学）
我们证明了在有限的深度和宽度上，随机初始化ReLU网络中神经切线核（NTK）的均值和方差的精确缩放。标准差是网络深度与宽度之比的指数。因此，即使在无限overparameterization的限制，NTK是不确定的，如果深度和宽度同时趋于无穷大。此外，我们证明，对于这样的深度和广度的网络，NTK在训练过程中有一个非平凡的演变，表明其第一次SGD更新的平均值也是网络深度与宽度之比的指数。这与深度固定且网络宽度非常大的情况形成鲜明对比。我们的研究结果表明，与相对较浅和较宽的网络不同，深度和较宽的ReLU网络即使在所谓的懒惰训练机制中也能够学习数据依赖的特征。
2019-09-13 cs.LG math.PR stat.ML
Depth Separations in Neural Networks: Separating the Dimension from the Accuracy
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本研究证明深度2与深度3神经网络在逼近常数精度目标时存在指数级规模分离，且参数不随维度增长，解决了开放问题并揭示了维度灾难在深度2逼近中的表现。
2024-11-06 cs.LG stat.ML
Do Residual Neural Networks discretize Neural Ordinary Differential Equations?
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Dauphine（巴黎多芬大学）
神经常微分方程（Neural ODE）是残差神经网络（ResNets）的连续模拟。我们研究由ResNet定义的离散动力学是否接近神经ODE的连续动力学。我们首先量化ResNet的隐藏状态轨迹与其对应的神经ODE的解之间的距离。我们的边界是紧的，并且在负的一侧，如果残差函数随深度不平滑，则不会随深度N变为0。在积极的一面，我们表明，这种光滑性是保持梯度下降的ResNet与线性残差函数和足够小的初始损失。它确保隐式正则化以1/N的速率朝向极限神经ODE，均匀地随着深度和优化时间。作为我们分析的副产品，我们考虑使用无记忆离散伴随方法通过网络的反向传递恢复动态激活来训练ResNet，并表明如果残差函数是Lipschitz输入，则该方法理论上在大深度上成功。然后，我们表明，Heun的方法，二阶常微分方程的集成计划，允许更好的梯度估计与伴随方法时，残差函数是光滑的深度。我们的实验验证，我们的伴随方法成功在大深度，Heun方法需要更少的层成功。最后，我们成功地使用了伴随方法来微调非常深的ResNet，而不会在剩余层中消耗内存。
2022-09-15 cs.LG stat.ML
Continuous-Depth Neural Models for Dynamic Graph Prediction
KAIST（韩国科学技术院）；The University of Tokyo（东京大学）；Syntensor
我们介绍了连续深度图神经网络（GNNs）的框架。神经图微分方程（神经GDE）被形式化为GNN的对应物，其中输入-输出关系由GNN层的连续体确定，混合离散拓扑结构和微分方程。所提出的框架是兼容的静态GNN模型，并通过混合动力系统理论扩展到动态和随机设置。在这里，神经GDE通过利用底层动力学几何结构来提高性能，进一步引入适应不规则采样数据的能力。结果证明了所提出的模型在应用中的有效性，例如交通预测或遗传调控网络中的预测。
2021-06-22 cs.AI cs.LG stat.ML
Variational Inference for Infinitely Deep Neural Networks
Columbia University（哥伦比亚大学）
我们介绍了无限深度神经网络（UDN），一个无限深的概率模型，适应其复杂性的训练数据。UDN包含一个无限序列的隐藏层，并将一个无界先验放置在截断L上，该截断L是UDN从中产生数据的层。给定观测数据集，后验UDN提供无限神经网络的参数及其截断的条件分布。我们开发了一种新的变分推理算法来近似这个后验，优化了神经网络权重和截断深度L的分布，并且没有任何上限L。为此，变分族具有特殊的结构：它对任意深度的神经网络权重进行建模，并且随着其截断分布的优化，它动态地创建或移除自由变分参数。（与模型搜索的启发式方法不同，该算法仅通过基于梯度的优化来探索截断空间。我们研究了真实数据和合成数据上的UDN。我们发现，UDN适应其后验深度的数据集的复杂性，它优于类似的计算复杂性的标准神经网络，它优于其他方法的无限深度神经网络。
2022-09-21 cs.LG stat.ML
Depth Separation for Neural Networks
Google Brain（谷歌大脑）
令$f:\mathbb{S}^{d-1}\times \mathbb{S}^{d-1}\to\mathbb{S}$为$g:[-1,1]\to \mathbb{R}$的形式为$f(\mathbf{x},\mathbf{x}') = g(\langle\mathbf{x},\mathbf{x}'\rangle)$的函数。我们给出了一个简单的证明，表明多尺寸深度2神经网络（指数）有界的权重不能近似$f$时，$g$不能近似的低次多项式。而且，对于许多$g$，如$g(x)=\sin(πd^3x)$，神经元的数量必须是$2^{Ω\left(d\log(d)\right)}$。此外，该结果也适用于w.r.t.\ $\mathbb{S}^{d-1}\times \mathbb{S}^{d-1}$上的均匀分布。由于上述形式的许多函数可以很好地近似于具有多边形有界权重的多边形深度三网络，因此这在深度二和深度三网络之间建立了分离。$\mathbb{S}^{d-1}\times \mathbb{S}^{d-1}$上的均匀分布。
2017-02-27 cs.CC cs.LG stat.ML
Depth Separation in Norm-Bounded Infinite-Width Neural Networks
University of Chicago（芝加哥大学）；Marquette University（马凯特大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文研究无限宽度神经网络的深度分离，证明范数控制的 depth-3 ReLU 网络能以多项式样本复杂度学习某些函数，而 depth-2 网络无法以次指数样本复杂度学习，且反向结论不成立。
2024-02-13 cs.LG stat.ML
MINE: Towards Continuous Depth MPI with NeRF for Novel View Synthesis
ByteDance（字节跳动）；National University of Singapore（新加坡国立大学）
在本文中，我们提出了MINE执行新的视图合成和深度估计通过密集的三维重建从一个单一的图像。我们的方法是通过引入神经辐射场（NeRF）的多平面图像（MPI）的连续深度推广。给定单个图像作为输入，MINE预测任意深度值的4通道图像（RGB和体积密度），以联合重建相机截头体并填充遮挡内容。然后，可以使用可微分渲染将重建和修复的平截头体容易地渲染成新颖的RGB或深度视图。在RealEstate 10 K，KITTI和Flowers光场上的大量实验表明，我们的MINE在新颖的视图合成方面远远优于最先进的技术。在没有注释深度监督的情况下，我们还在iBims-1和NYU-v2上的深度估计中取得了有竞争力的结果。我们的源代码可以在https://github.com/vincentfung13/MINE上找到
2021-07-30 cs.CV cs.GR cs.LG
Universal Lipschitz Approximation in Bounded Depth Neural Networks
Perspecta Labs（Perspecta实验室）
对机器学习模型的对抗攻击是我们越来越依赖这些模型的一个相当大的障碍。因此，可证明的鲁棒（认证）机器学习模型是一个主要的兴趣话题。Lipschitz连续模型为解决这一问题提供了一种很有前途的方法。通过利用保持低Lipschitz常数的神经网络的变体的表达能力，我们证明了使用FullSort激活函数的三层神经网络是通用Lipschitz函数逼近器（ULA）。这既解释了实验结果，也为未来创建更好的认证模型铺平了道路。最后，我们提出的实验结果表明，ULAs不仅是一个新颖的，但有竞争力的方法来提供认证的分类器，使用这些结果来激励几个潜在的主题进一步研究。
2019-04-09 cs.LG stat.ML
Neural Network Architecture Beyond Width and Depth
National University of Singapore（新加坡国立大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出了一种新的神经网络结构，通过引入一个额外的维度称为高度超过宽度和深度。将高度、宽度和深度作为超参数的神经网络架构称为三维架构。结果表明，具有三维结构的神经网络比具有二维结构的神经网络（仅以宽度和深度作为超参数的神经网络）具有更强的表达力，例如，标准的全连接网络。新的网络架构是通过嵌套结构递归构造的，因此我们称具有新架构的网络为嵌套网络（NestNet）。构建高度为$s$的NestNet，其中每个隐藏神经元由高度为$\le s-1$的NestNet激活。当$s=1$时，NestNet退化为具有二维架构的标准网络。通过构造证明了具有$\mathcal{O}(n)$参数的高度- $s$ ReLU NestNets可以逼近$[0,1]^d$上的$1$ -Lipschitz连续函数，误差为$\mathcal{O}(n^{-(s+1)/d})$，而具有$\mathcal{O}(n)$参数的标准ReLU网络的最佳逼近误差为$\mathcal{O}(n^{-2/d})$。进一步地，将这一结果推广到$[0,1]^d$上的一般连续函数，其逼近误差由连续模表征。最后，我们使用数值实验来展示ReLU NestNets的超近似能力的优势。
2023-01-14 cs.LG stat.ML
Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations
University of Toronto（多伦多大学）；Stanford Unviersity（斯坦福大学）
我们在连续深度贝叶斯神经网络中进行可扩展的近似推理。在这个模型类中，每个层中单独权重的不确定性给出了遵循随机微分方程的隐藏单元。我们证明了基于梯度的随机变分推断在这个无限参数设置，产生任意灵活的近似后验。我们还得到了一个新的梯度估计，接近零方差的近似后验权重接近真正的后验。这种方法将连续深度贝叶斯神经网络与离散深度替代方案进行了竞争性比较，同时继承了神经ODE的内存高效训练和可调精度。
2022-01-30 cs.LG stat.ML
Limited depth bandit-based strategy for Monte Carlo planning in continuous action spaces
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；INESC-ID（葡萄牙系统与计算机工程研究所）
本文讨论了用搜索树求解最优控制问题。我们首先考虑多臂强盗问题与连续的行动空间，并提出LD-HOO，有限深度的分层乐观优化（HOO）算法的变种。我们提供了一个遗憾的分析LD-HOO，并表明，渐近，我们的算法表现出相同的累积遗憾，同时更快，更高效的内存。然后，我们提出了一个基于LD-HOO的最优控制问题的Monte Carlo树搜索算法，并举例说明所得到的方法在几个最优控制问题中的应用。
2021-06-29 cs.LG math.OC
Lower Bounds on the Depth of Integral ReLU Neural Networks via Lattice Polytopes
Freie Universität Berlin（柏林自由大学）；London School of Economics and Political Science（伦敦政治经济学院）；University of Twente（特文特大学）
我们证明了具有整数权重的ReLU神经网络可表示的函数集严格随网络深度而增加，同时允许任意宽度。更确切地说，我们证明了$\lceil\log_2(n)\rceil$隐藏层确实是必要的计算最大的$n$号码，匹配已知的上限。我们的结果是基于已知的对偶之间的神经网络和牛顿多面体通过热带几何。完整性假设意味着这些牛顿多面体是格多面体。然后，我们的深度下限遵循奇偶校验参数的归一化体积的面，这样的多面体。
2023-02-24 cs.DM cs.LG cs.NE
Quasi-Equivalence of Width and Depth of Neural Networks
Rensselaer Polytechnic Institute（伦斯勒理工学院）
虽然经典研究证明了宽网络允许通用近似，但最近的研究和深度学习的成功证明了深度网络的力量。基于对称的考虑，我们研究人工神经网络的设计是否应该有方向偏好，以及网络的宽度和深度之间的相互作用机制是什么。受德摩根定律的启发，我们通过在ReLU网络的宽度和深度之间建立两个方面的准等价性来解决这个基本问题。首先，我们制定了两个变换，分别将任意ReLU网络映射到宽网络和深网络，用于回归或分类，以便实现与原始网络基本相同的功能。然后，我们将主流的人工神经元类型替换为二次型，并利用同一多项式函数的因子分解和连分数表示分别构建宽网络和深网络。根据我们的发现，深度网络具有广泛的等效性，反之亦然，受到任意小的误差的影响。
2022-05-24 cs.LG stat.ML
Machines of finite depth: towards a formalization of neural networks
我们提供了一个统一的框架，人工神经网络和它们的架构可以正式描述为一个一般的数学结构的特定情况下-有限深度的机器。与神经网络不同的是，机器有一个精确的定义，从这个定义中可以自然地得出几个属性。有限深度的机器是模块化的（它们可以组合），有效地可计算和可微。一台机器的向后传递也是一台机器，可以使用与向前传递相同的过程进行计算而没有开销。我们从理论上和实践中证明了这一点，通过一个统一的实现，概括了几个经典的架构-密集，卷积和递归神经网络与丰富的捷径结构-和他们各自的反向传播规则。
2022-04-27 cs.LG math.OC
The Power of Depth for Feedforward Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们发现，有一个简单的（近似径向）$\reals^d$上的功能，表示由一个小的3层前馈神经网络，它不能近似任何2层网络，超过一定的恒定精度，除非它的宽度是指数的尺寸。结果适用于几乎所有已知的激活函数，包括整流线性单元，S形和阈值，并正式证明了深度-即使增加1 -可以比标准前馈神经网络的宽度指数更有价值。此外，与布尔函数背景下的相关结果相比，我们的结果需要更少的假设，并且证明技术和构造有很大的不同。
2016-05-09 cs.LG cs.NE stat.ML
Neural Network Gaussian Processes by Increasing Depth
Nanjing University（南京大学）；Weill Cornell Medicine（威尔康奈尔医学院）；Cornell University（康奈尔大学）
近年来，人们对无限宽网络和高斯过程之间的对应关系越来越感兴趣。尽管当前的神经网络高斯过程理论的有效性和优雅性，据我们所知，所有的神经网络高斯过程本质上是由增加宽度引起的。然而，在深度学习时代，我们更关心的是神经网络的深度以及深度如何影响网络的行为。受宽度-深度对称性考虑的启发，我们使用快捷网络来证明增加神经网络的深度也会产生高斯过程，这是对现有理论的一个有价值的补充，有助于揭示深度学习的真实情况。在提出的高斯过程的深度之外，我们从理论上刻画了它的一致紧性和高斯过程核的最小特征值。这些特征不仅可以增强我们对所提出的深度诱导高斯过程的理解，而且为未来的应用铺平了道路。最后，我们通过两个基准数据集上的回归实验来检验所提出的高斯过程的性能。
2022-07-04 cs.AI cs.LG
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University（哈佛大学）；Zhejiang University（浙江大学）
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中，我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统，它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地，具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外，如果神经网络是某个函数$f$的良好逼近，则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）
提出了一种新的残差卷积神经网络（CNN）结构，用于单幅图像的深度估计。与现有的基于深度CNN的方法相比，我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积，跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明，我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Size and depth of monotone neural networks: interpolation and approximation
Massachusetts Institute of Technology（麻省理工学院）；Worcester Polytechnic Institute（伍斯特理工学院）
本文研究了非负权重阈值门单调神经网络的表达能力，证明深度为4的网络能以任意小误差逼近单调函数，并揭示单调网络逼近特定函数需指数级规模。
2024-04-29 cs.LG math.OC stat.ML
Depth-induced NTK: Bridging Over-parameterized Neural Networks and Deep Neural Kernels
State Key Laboratory of Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；School of Intelligent Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学，中国）；Department of Data Science, City University of Hong Kong, Hong Kong（数据科学系，香港城市大学，香港）
本文提出基于捷径架构的深度诱导NTK核，突破传统无限宽假设，在深度趋于无穷时收敛于高斯过程，并通过理论与实验证明其能稳定核动力学、缓解退化，深化了对深度学习和缩放定律的理解。
2025-11-05 cs.LG
Can We Use Neural Regularization to Solve Depth Super-Resolution?
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Zhejiang University（浙江大学）；Instituto Nacional de Matemática Pura e Aplicada（巴西国家纯粹与应用数学研究所）
用商用传感器捕获的深度图通常需要超分辨率才能在应用中使用。在这项工作中，我们研究了一个超分辨率方法的基础上变分问题的陈述与Tikhonov正则化的正则化参数化与深神经网络。这种方法以前成功地应用于光声层析成像。实验结果表明，其应用于深度图超分辨率是困难的，并提供有关的原因的建议。
2021-12-21 cs.CV cs.LG
Benefits of depth in neural networks
University of Michigan（密歇根大学）
对于任何正整数$k$，存在具有$Θ(k^3)$层、每层$Θ(1)$节点和$Θ(1)$不同参数的神经网络，这些网络不能用具有$\mathcal{O}(k)$层的网络来近似，除非它们是指数大的--它们必须具有$Ω(2^k)$节点。在这里，针对称为"半代数门"的一类节点证明了这一结果，其中包括ReLU、最大值、指示符和分段多项式函数的常见选择，因此不仅针对具有ReLU门的标准网络，而且针对具有ReLU和最大化门的卷积网络、和积网络以及提升的决策树建立了深度优势（在具有更强分离的最后一种情况下：需要$Ω(2^{k^3})$全部树节点）。
2016-05-27 cs.LG cs.NE stat.ML
Continuous-Depth Transformers with Learned Control Dynamics
本文提出一种连续深度变换器，通过学习控制信号实现对语言生成属性的可控调整，展示了在稳定性、语义控制和效率方面的优势。
2026-01-15 cs.CL cs.LG
Training Flexible Depth Model by Multi-Task Learning for Neural Machine Translation
Northeastern University（东北大学）；Machine Intelligence Technology Lab, Alibaba DAMO Academy（阿里巴巴达摩院机器智能技术实验室）；NiuTrans Co., Ltd.（小牛翻译股份有限公司）
标准神经机器翻译模型只能使用与训练相同的深度配置进行解码。受此特性的限制，我们不得不部署各种大小的模型来维持相同的翻译延迟，因为不同终端设备上的硬件条件（例如，移动电话）可能变化很大。这种单独的训练会导致模型维护成本增加和模型迭代速度减慢，特别是对于行业而言。在这项工作中，我们建议使用多任务学习训练一个灵活的深度模型，可以适应不同的深度配置在推理。实验结果表明，该方法可以同时支持24种深度配置的解码，优于单独训练和另一种灵活的深度模型训练方法- LayerDrop。
2020-10-16 cs.CL cs.LG
Width is Less Important than Depth in ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们解决了Lu et al.（2017）的一个公开问题，通过证明任何具有$\mathbb{R}^d$输入的目标网络都可以近似为宽度$O(d)$网络（与目标网络的架构无关），其参数数量基本上只比它大一个线性因子。根据先前的深度分离定理，这意味着当宽度和深度的角色互换时，类似的结果不能成立，因此深度在神经网络的表达能力中起着比宽度更重要的作用。我们扩展我们的结果，以构建网络有界的权重，并构建网络的宽度最多$d+2$，这是接近最小可能的宽度，由于以前的下限。这两种构造都会导致目标网络上的参数数量增加额外的多项式因子。我们还展示了使用深网络和窄网络的宽网络和浅网络的精确表示，在某些情况下，不会增加目标网络的参数数量。
2022-06-01 cs.LG cs.NE stat.ML
EIGNN: Efficient Infinite-Depth Graph Neural Networks
National University of Singapore（新加坡国立大学）
图神经网络（GNN）被广泛用于在许多应用中对图结构数据进行建模。然而，由于其固有的有限聚合层，现有的GNN模型可能无法有效地捕获底层图中的长期依赖关系。受此限制的启发，我们提出了一个具有无限深度的GNN模型，我们称之为高效无限深度图神经网络（EIGNN），以有效地捕获非常长的依赖关系。我们从理论上推导出EIGNN的一个封闭形式的解决方案，这使得训练一个无限深度的GNN模型变得容易。然后，我们进一步表明，我们可以实现更有效的计算训练EIGNN使用特征分解。在合成数据集和真实数据集上进行的综合实验的实证结果表明，EIGNN具有比最近基线更好的捕获长期依赖关系的能力，并且始终达到最先进的性能。此外，我们还证明了我们的模型对节点特征上的噪声和对抗性扰动都更鲁棒。
2022-02-22 cs.LG
Proportional infinite-width infinite-depth limit for deep linear neural networks
Politecnico di Milano（米兰理工大学）；Università degli Studi di Parma（帕尔马大学）
本文研究深度线性神经网络在深度与宽度按固定比例同时趋于无穷时的极限分布，严格证明其收敛于非平凡的高斯混合，从而保留输出相关性，克服了传统无限宽高斯极限的描述能力不足问题。
2024-11-22 cond-mat.dis-nn cs.LG math.PR
On Minimal Depth in Neural Networks
本文通过几何框架分析ReLU网络的表达能力，推导出深度下界并揭示凸多面体的结构限制，证明ICNN无法用固定深度表示所有凸CPWL函数。
2026-09-22 cs.DM cs.LG math.CO
On the Depth of Deep Neural Networks: A Theoretical View
Nankai University（南开大学）；Microsoft Research（微软研究院）；Peking University（北京大学）
人们认为深度在深度神经网络（DNN）的成功中起着重要作用。然而，据我们所知，这种信念缺乏坚实的理论依据。我们从边际约束的角度研究了深度的作用。在裕度界中，期望误差由经验裕度误差加上基于Rademacher平均（RA）的容量项的上界。首先，我们推导出DNN的RA的上界，并表明它随着深度的增加而增加。这表明深度对测试性能有负面影响。其次，我们发现，在多类环境中，较深的网络往往比较浅的网络具有更大的表示能力（通过基于Betti数的复杂性来衡量），因此可以导致较小的经验边际误差。这意味着深度的积极影响。这两个结果的结合表明，对于隐藏单元数量有限的DNN，增加深度并不总是好的，因为在积极和消极影响之间存在权衡。这些结果激励我们寻求替代方法来实现深度的积极影响，例如，对交叉熵损失施加基于边缘的惩罚项，从而在不增加深度的情况下减小经验边缘误差。我们的实验表明，以这种方式，我们实现了显着更好的测试性能。
2015-11-28 cs.LG
Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks
Weill Cornell Medical College of Cornell University（康奈尔大学威尔康奈尔医学院）；Cornell Tech（康奈尔理工学院）
本文研究了宽度极限下稀疏神经活动对深度贝叶斯神经网络泛化性能的影响，推导出含ReLU和预定活跃神经元比例的NNGP核，发现浅层稀疏网络表现更优，并用核岭回归理论加以验证。
2023-05-17 cond-mat.dis-nn cs.LG q-bio.NC
Efficient Algorithms for Learning Depth-2 Neural Networks with General ReLU Activations
Google Research（谷歌研究院）；Northwestern University（西北大学）
我们提出了多项式时间和样本有效算法，用于在温和的非退化假设下学习具有一般ReLU激活的未知深度2前馈神经网络。特别地，我们考虑学习一个形式为$f(x) = {a}^{\mathsf{T}}σ({W}^\mathsf{T}x+b)$的未知网络，其中$x$是从高斯分布中提取的，而$σ(t) := \max(t,0)$是ReLU激活。先前针对具有ReLU激活的学习网络的工作假设偏差$b$为零。为了处理偏置项的存在，我们提出的算法包括鲁棒分解多个高阶张量所产生的Hermite展开的功能$f(x)$。利用这些思想，我们还建立了最小假设下的网络参数的可识别性。
2021-08-01 cs.DS cs.LG stat.ML
The Connection Between Approximation, Depth Separation and Learnability in Neural Networks
Hebrew University（希伯来大学）；Weizmann Institute of Science（魏茨曼科学研究所）
最近的几项工作已经显示了深度神经网络和具有较差近似能力的假设类（如浅网络或内核类）之间的分离结果。另一方面，深度网络可以有效地表达目标函数的事实并不意味着深度神经网络可以有效地学习该目标函数。在这项工作中，我们研究了可学习性和近似能力之间的复杂联系。我们表明，目标函数的深度网络的可学习性取决于更简单的类近似目标的能力。具体来说，我们证明了一个函数在深度神经网络上通过梯度下降可学习的必要条件是能够用浅神经网络近似函数，至少在弱意义上是这样。我们还表明，一类函数可以学习一个有效的统计查询算法，当且仅当它可以近似在一个弱意义上的一些内核类。我们给出了几个函数的例子，证明深度分离，并得出结论，他们不能有效地学习，即使是一个假设类，可以有效地近似它们。
2021-07-18 cs.LG cs.NE stat.ML
Do Wide and Deep Networks Learn the Same Things? Uncovering How Neural Network Representations Vary with Width and Depth
Google Research（谷歌研究院）
深度神经网络成功的一个关键因素是通过改变架构深度和宽度来缩放模型以提高性能的能力。神经网络设计的这一简单属性已经为各种任务带来了高效的架构。然而，深度和宽度对学习表征的影响的理解有限。在本文中，我们研究这个基本问题。我们首先研究不同的深度和宽度如何影响模型隐藏表示，在更大容量（更宽或更深）模型的隐藏表示中找到一个特征块结构。我们证明，这种块结构出现时，模型容量相对于训练集的大小是大的，是保持和传播其表示的主导主成分的底层指示。这一发现对不同模型学习的特征有重要的影响，即块结构之外的表示在不同宽度和深度的架构中通常是相似的，但块结构对每个模型都是唯一的。我们分析了不同模型架构的输出预测，发现即使整体准确度相似，广泛和深入的模型也会表现出不同的错误模式和跨类的变化。
2021-04-10 cs.LG
Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
算子神经网络（NN）的标准通用逼近定理对任意宽度和有界深度都成立。在这里，我们证明了有界宽度和任意深度的算子NN是连续非线性算子的通用逼近器。在我们的主要结果中，我们证明了，对于非多项式激活函数是连续可微的一个点与非零导数，可以构建一个运营商NN的宽度为5，其输入是实数与有限小数表示，这是任意接近任何给定的连续非线性算子。对于非仿射多项式激活函数，我们得到了类似的结果。我们还通过构造深度为$2k^3+8$和恒定宽度的算子ReLU NN来证明深度具有理论优势，这些深度和恒定宽度不能被深度为$k$的任何算子ReLU NN很好地近似，除非其宽度在$k$中是指数的。
2021-09-23 cs.LG cs.NA math.CA
Neural Network Assisted Depth Map Packing for Compression Using Standard Hardware Video Codecs
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
深度图是各种图形渲染和处理操作所需要的。当在分布式系统中执行这样的操作时，深度图流式传输通常是必要的，并且在大多数情况下，它需要快速执行压缩，这就是为什么经常使用视频编解码器。标准视频编解码器的硬件实现即使在资源受限的设备上也能够实现相对高的分辨率和帧速率组合，但不幸的是，这些实现目前不支持RGB+深度扩展。然而，它们可以通过首先将深度图打包到RGB或YUV帧中来用于深度压缩。我们调查深度图压缩使用深度图包装的组合，然后用标准的视频编解码器编码。我们表明，深度图被包装的精度有一个大的和不平凡的影响，所产生的错误所造成的组合的包装方案和有损压缩时，比特率受到约束。因此，我们提出了一个可变精度的包装方案的神经网络模型，预测每个深度图的最佳精度给定的比特率约束。我们证明，该模型产生接近最佳的预测，它可以集成到一个游戏引擎，使用现代硬件的开销非常低。
2022-06-30 cs.GR cs.LG cs.MM
Neural networks: deep, shallow, or in between?
本文证明，在Banach空间中，仅当神经网络深度趋于无穷时才能获得优于熵数速率的逼近误差下界，固定深度增加宽度无益。
2023-10-11 cs.LG cs.NA math.NA
Robustness Analysis of Continuous-Depth Models with Lagrangian Techniques
Technische Universität Wien (TU Wien)（维也纳技术大学）
本文提出统一的确定性与统计性拉格朗日验证技术，结合LRT-NG、SLR、GoTube算法量化连续深度模型的鲁棒性，实验证明其性能优于LRT等基线方法。
2023-08-23 cs.AI cs.LG math.DS
On the Depth of Monotone ReLU Neural Networks and ICNNs
Department of Computer Science, the University of Copenhagen（计算机科学系，哥本哈根大学）；University of Technology Nuremberg（纽伦堡技术大学）；Worcester Polytechnic Institute（沃思堡理工学院）；Department of Mathematics, Technion-IIT（数学系，技术学院-以色列理工学院）
本文研究单调ReLU网络和输入凸神经网络（ICNN）的表达能力，证明了单调网络无法计算或近似最大值函数，并给出了ICNN计算该函数的精确深度下界，同时证明了ReLU网络与ICNN之间的深度分离。
2025-05-09 cs.DM cs.LG cs.NE
Smoothness Adaptivity in Constant-Depth Neural Networks: Optimal Rates via Smooth Activations
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；AI for Science Institute, Beijing（北京人工智能科学研究院）
本研究证明，使用平滑激活函数的常深神经网络能够通过增加宽度实现最优的平滑适应性，而非平滑激活函数如ReLU则受限于深度增长。
2026-02-28 cs.LG cs.NA math.NA
DepthNet Nano: A Highly Compact Self-Normalizing Neural Network for Monocular Depth Estimation
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
深度估计是计算机视觉领域中的一个活跃的研究领域，并且由于其在从机器人和无人驾驶飞行器到自主车辆的大量应用中的不断增长的需求而引起了极大的兴趣。在该领域中特别具有挑战性的问题是单目深度估计，其中目标是从单个图像推断深度。近年来，一种有效的解决这一问题的策略是利用深度卷积神经网络。尽管取得了这些成功，但这种网络的内存和计算要求使得在嵌入式场景中的广泛部署非常具有挑战性。在这项研究中，我们介绍了深度网络纳米，一个高度紧凑的自归一化网络的单眼深度估计设计使用人机协同设计策略，其中原则性的网络设计原型的基础上编码器-解码器的设计原则，再加上机器驱动的设计探索。其结果是一个紧凑的深度神经网络，具有高度定制的宏架构和微架构设计，以及自归一化特性，这些特性是为嵌入式深度估计任务高度定制的。所提出的DepthNet Nano拥有高效的网络架构（例如，比Alhashim等人在KITTI上的MAC操作小24倍，少42倍），同时在NYU-Depth V2和KITTI数据集上仍然实现了与最先进网络相当的性能。此外，在Jetson AGX Xavier嵌入式模块上进行的推理速度和能效实验进一步说明了DepthNet Nano在不同分辨率和功率预算下的功效（例如，在KITTI上以30 W的功率预算在384 X 1280下约14 FPS和>0.46图像/秒/瓦）。
2020-04-17 cs.CV cs.LG eess.IV
Depth Estimators Are Implicit Neural Fields for 3D Scene Geometry Inpainting and Reconstruction
College of Artificial Intelligence, Zhejiang University（浙江大学人工智能学院）
针对现实世界场景数据3D几何不完整问题，提出神经深度场（NDF），将深度估计器视为场景级隐式场解决问题，通过单测试时优化实现，实验表明其在3D场景几何修复中性能优异。
2026-07-21 cs.AI cs.CV cs.LG
