Arbitrary-Depth Universal Approximation Theorems for Operator Neural Networks
Cornell University（康奈尔大学）；University of Connecticut（康涅狄格大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
算子神经网络（NN）的标准通用逼近定理对任意宽度和有界深度都成立。在这里，我们证明了有界宽度和任意深度的算子NN是连续非线性算子的通用逼近器。在我们的主要结果中，我们证明了，对于非多项式激活函数是连续可微的一个点与非零导数，可以构建一个运营商NN的宽度为5，其输入是实数与有限小数表示，这是任意接近任何给定的连续非线性算子。对于非仿射多项式激活函数，我们得到了类似的结果。我们还通过构造深度为$2k^3+8$和恒定宽度的算子ReLU NN来证明深度具有理论优势，这些深度和恒定宽度不能被深度为$k$的任何算子ReLU NN很好地近似，除非其宽度在$k$中是指数的。
2021-09-23 cs.LG cs.NA math.CA
The Expressive Power of Neural Networks: A View from the Width
Peking University（北京大学）；Key Laboratory of Machine Perception, MOE, School of EECS, Peking University（北京大学信息科学技术学院机器感知与智能教育部重点实验室）；Center for Data Science, Peking University（北京大学数据科学研究中心）；Beijing Institute of Big Data Research（北京大数据研究院）
神经网络的表达能力对于理解深度学习非常重要。现有的研究多从网络深度的角度来考虑这一问题。在本文中，我们研究了宽度如何影响神经网络的表达能力。经典的结果表明，深度有界（例如深度- $2$）网络与适当的激活函数是通用的逼近。我们展示了宽度有界ReLU网络的一个通用近似定理：宽度- $(n+4)$ ReLU网络，其中$n$是输入维度，是通用近似器。此外，除了测量零点集之外，所有函数都不能用宽度- $n$ ReLU网络近似，这表现出相变。最近的几项工作通过证明神经网络的深度效率来证明深度的好处。也就是说，有一类深度网络无法通过任何规模不超过指数界的浅网络实现。在这里，我们对ReLU网络的宽度效率提出了双重问题：是否存在无法通过尺寸不大的窄网络实现的宽网络？我们发现，存在类的宽网络，不能实现任何窄的网络，其深度不超过一个多项式的界限。另一方面，我们通过大量的实验证明，规模超过多项式以一个常数因子约束的窄网络可以以高精度逼近宽而浅的网络。我们的研究结果提供了更全面的证据，证明深度比宽度对ReLU网络的表现力更有效。
2017-11-01 cs.LG
Revisiting the Neural Tangent Kernel: the role of large width and depth
Université de Montréal, Mila（蒙特利尔大学，Mila）；McGill University, Mila（麦吉尔大学，Mila）
本文挑战了神经正切核在过参数化神经网络中导致隐藏层激活不变和深度增加时输出平凡化的结论，通过实验和理论证明激活变化范数非零，并展示适当缩放深度和停止时间可得到非平凡输出。
2026-06-23 cs.LG stat.ML
Which transformer architecture fits my data? A vocabulary bottleneck in self-attention
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
Transformer体系结构在自然语言处理领域取得成功后，现已成为许多领域的事实标准。它们在新模态上部署的障碍是架构配置：最佳深度与宽度比已被证明在数据类型之间变化很大（例如，$10$ x在图像上大于在语言上）。我们从理论上预测存在嵌入秩瓶颈，限制了自注意力宽度对Transformer表达的贡献。因此，我们直接将输入词汇的大小和等级与最佳的深宽比联系起来，因为小的词汇大小或等级决定了深度比宽度的额外优势。我们经验证明了这个瓶颈的存在及其对Transformer架构的深度到宽度相互作用的影响，将跨域的架构可变性与不同领域中不同词汇大小或嵌入等级的使用联系起来。作为一个额外的好处，我们的排名检查框架允许我们识别$25\%-50\%$在领先的NLP模型（如ALBERT和T5）中的大小冗余。
2021-06-09 cs.CL cs.LG
AdaPerceiver: Transformers with Adaptive Width, Depth, and Tokens
Purdue University West Lafayette, IN, USA（普渡大学西拉法叶分校）；Loyola University Chicago（洛约拉大学芝加哥分校）
AdaPerceiver是一种具有自适应宽度、深度和令牌的变换器架构，通过高效的联合训练制度实现了在不同配置下的性能保持，并在图像分类和密集预测任务中展示了更高的准确率和吞吐量。
2025-11-22 cs.CV cs.LG
Deep Network with Approximation Error Being Reciprocal of Width to Power of Square Root of Depth
National University of Singapore（新加坡国立大学）；Purdue University（普渡大学）
介绍了一种新的具有超逼近能力的网络。这个网络是在每个神经元中使用Floor（$\lfloor x\rfloor$）或ReLU（$\max\{0,x\}$）激活函数构建的，因此我们称这样的网络为Floor-ReLU网络。对于任何超参数$N\in\mathbb{N}^+$和$L\in\mathbb{N}^+$，具有宽度$\max\{d,\, 5N+13\}$和深度$64dL+3$的Floor-ReLU网络可以一致地近似$[0,1]^d$上的Hölder函数$f$，近似误差为$3λd^{α/2}N^{-α\sqrt{L}}$，其中$α\in(0,1]$和$λ$分别是Hölder阶和常数。更一般地，对于具有连续模$ω_f(\cdot)$的$[0,1]^d$上的任意连续函数$f$，构造性逼近率是$ω_f(\sqrt{d}\,N^{-\sqrt{L}})+2ω_f(\sqrt{d}){N^{-\sqrt{L}}}$。因此，当$ω_f(r)$作为$r\to 0$的变化是适度的（例如，$ω_f(r) \lesssim r^α$对于Hölder连续函数），因为在我们的近似率中要考虑的主要项本质上是$\sqrt{d}$乘以$N$和$L$的函数，在连续模内与$d$无关。
2020-10-27 cs.LG cs.NA math.NA
Neural signature kernels as infinite-width-depth-limits of controlled ResNets
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）
本文研究随机初始化受控 ResNet 的无限宽深极限，证明其收敛到由 PDE 刻画的 Gaussian 过程，并提出神经签名核，同时刻画有限宽度网络向随机向量场 Neural CDE 的收敛。
2023-06-04 cs.LG math.DS math.PR
The Power of Depth for Feedforward Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们发现，有一个简单的（近似径向）$\reals^d$上的功能，表示由一个小的3层前馈神经网络，它不能近似任何2层网络，超过一定的恒定精度，除非它的宽度是指数的尺寸。结果适用于几乎所有已知的激活函数，包括整流线性单元，S形和阈值，并正式证明了深度-即使增加1 -可以比标准前馈神经网络的宽度指数更有价值。此外，与布尔函数背景下的相关结果相比，我们的结果需要更少的假设，并且证明技术和构造有很大的不同。
2016-05-09 cs.LG cs.NE stat.ML
Differentiable Network Adaption with Elastic Search Space
SenseTime Research（商汤科技研究院）
在本文中，我们提出了一种新的网络自适应方法称为微分网络自适应（DNA），它可以适应现有的网络，以一种可微的方式调整的宽度和深度，以特定的计算预算。基于梯度的优化允许DNA实现宽度和深度的自动优化，而不是严重依赖于人类先验的先前的探试法。此外，我们提出了一个新的弹性搜索空间，可以灵活地压缩或扩大在优化过程中，允许网络的宽度和深度的双向优化方式。通过DNA，我们成功地实现了网络结构优化，在宽度和深度维度上进行压缩和扩展。在ImageNet上的大量实验表明，DNA可以适应现有的网络，以满足不同的目标计算要求，并且比以前的方法具有更好的性能。更重要的是，DNA可以进一步提高通过最先进的神经架构搜索方法（如EfficientNet和MobileNet-v3）获得的高精度网络的性能。
2021-03-30 cs.CV cs.LG
Universal Approximation with Deep Narrow Networks
University of Oxford（牛津大学）
经典的通用逼近定理适用于任意宽度和有界深度的神经网络。在这里，我们考虑自然的“双”的情况下，网络的宽度和任意深度。确切地说，令$n$为输入神经元的数目，$m$为输出神经元的数目，令$ρ$为任何非仿射连续函数，在某点具有连续非零导数。然后，我们证明了任意深度，宽度$n + m + 2$和激活函数$ρ$的神经网络类在$C(K; \mathbb{R}^m)$中是稠密的，对于$K \subseteq \mathbb{R}^n$，具有$K$紧。这涵盖了在实践中可能使用的每一个激活函数，并且还包括多项式激活函数，这与该定理的经典版本不同，并且提供了深窄网络和浅宽网络之间的质的差异。然后，我们考虑这个结果的几个扩展。特别是我们考虑无处可微的激活函数，密度在非紧域的$L^p$ -范数，以及如何宽度可能会减少到只是$n + m + 1$的“最”激活函数。
2020-06-08 cs.LG math.CA stat.ML
Neural networks: deep, shallow, or in between?
本文证明，在Banach空间中，仅当神经网络深度趋于无穷时才能获得优于熵数速率的逼近误差下界，固定深度增加宽度无益。
2023-10-11 cs.LG cs.NA math.NA
The Effect of Depth on the Expressivity of Deep Linear State-Space Models
Department of Mathematics（数学系）；National University of Singapore（新加坡国立大学）；Institute for Functional Intelligent Materials（功能智能材料研究所）
本文系统研究深度线性状态空间模型中深度与宽度对表达能力的影响，证明无约束时二者等价，有范数约束时深度更优，并给出最小深度上界，经数值实验验证。
2025-06-24 cs.LG
The Depth Delusion: Why Transformers Should Be Wider, Not Deeper
Data Science Research Lab, Department of Statistics, University of Rajshahi, Rajshahi-6205, Bangladesh.（数据科学研究实验室，统计学系，拉贾沙希大学，拉贾沙希-6205，孟加拉国）
该研究发现Transformer模型应更宽而非更深，通过分析不同架构的缩放定律，揭示了增加层数反而会增加损失的现象，展示了宽度增长对模型性能的积极影响。
2026-01-28 cs.AI cs.LG
On Bridging the Gap between Mean Field and Finite Width in Deep Random Neural Networks with Batch Normalization
ETH Zürich（苏黎世联邦理工学院）；MIT（麻省理工学院）；INRIA-ENS-PSL Paris（巴黎法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学）
平均场理论在神经网络的理论研究中有着广泛的应用。在本文中，我们分析了深度的平均场预测浓度的作用，特别是深层多层感知器（MLP）与批量归一化（BN）在初始化。通过将网络宽度缩放到无穷大，假设平均场预测会受到随深度放大的逐层误差的影响。我们证明，BN稳定的分布表示，避免了平均场预测的误差传播。这种稳定，其特征在于由几何混合属性，使我们能够建立浓度边界的平均场预测无限深神经网络具有有限的宽度。
2023-02-20 cs.AI cs.LG math.ST
Phase diagram of early training dynamics in deep neural networks: effect of the learning rate, depth, and width
University of Maryland（马里兰大学）；Joint Quantum Institute（联合量子研究所）
本文系统分析了深度神经网络中学习率、深度和宽度对SGD优化动力学的影响，通过Hessian矩阵最大特征值发现早期训练存在四种状态区域，并确定了区分不同早期动力学现象的临界值，揭示了随深度增加和宽度减小而开启的“锐度降低”相。
2023-10-24 cond-mat.dis-nn cs.LG
Universal approximation with complex-valued deep narrow neural networks
Mathematical Institute for Machine Learning and Data Science (MIDS), Catholic University of Eichstätt–Ingolstadt (KU)（艾希施泰特-英戈尔施塔特天主教大学 机器学习与数据科学数学研究所）
该研究探究了有界宽度任意深度复值神经网络的通用性，证明其激活函数需满足非全纯、非反全纯、非$\boldsymbol{\rm R}$-仿射条件，并给出了不同情况下的宽度需求及光滑非多调激活函数的定量逼近界。
2024-11-26 cs.LG math.FA stat.ML
Analysis of Dimensional Influence of Convolutional Neural Networks for Histopathological Cancer Classification
Fr. Conceicao Rodrigues Institute of Technology, Vashi（康塞桑·罗德里格斯理工学院，瓦希）
卷积神经网络可以根据手头的任务设计不同的复杂程度。本文分析了CNN架构的维度变化对其在组织学癌症分类任务上的性能的影响。研究从基线10层CNN模型开始，具有（3 X 3）卷积滤波器。此后，基线架构在多个维度上进行缩放，包括宽度、深度、分辨率以及所有这些的组合。宽度缩放涉及每CNN层灌输更多数量的神经元，而深度缩放涉及加深分层结构。分辨率缩放是通过增加输入图像的尺寸来执行的，而复合缩放涉及宽度、深度和分辨率缩放的混合组合。结果表明，组织病理学癌症扫描本质上非常复杂，因此需要将高分辨率图像馈送到卷积、最大池化、丢弃和批量归一化层的大层次结构中，以提取所有的复杂性并执行完美的分类。由于复合缩放基线模型可确保所有三个维度（宽度、深度和分辨率）都得到缩放，因此使用复合缩放可获得最佳性能。这项研究表明，CNN模型的更好的性能是通过对基线模型进行复合缩放来实现的。
2020-12-22 cs.CV cs.LG
Transforming Rank: How Architecture Navigates the Spectral Pathologies of Depth
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
研究Transformer前馈块架构设计组件在初始化时如何确定跨深度的秩保留，通过重新解释跳跃连接和归一化等，揭示架构各方面对秩的影响，将深度网络架构设计视为在秩崩溃、集成行为和参数数量间的权衡。
2026-07-16 cs.AI cs.LG
Interplay between depth of neural networks and locality of target functions
RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学中心）；The University of Tokyo（东京大学）；University of Tokyo（东京大学）
人们已经认识到，严重过度参数化的深度神经网络（DNN）在各种机器学习任务中表现出令人惊讶的良好泛化性能。虽然已经从不同的角度研究了深度的好处，如近似理论和统计学习理论，但现有的理论并不能充分解释过度参数化DNN的经验成功。在这项工作中，我们报告了目标函数的深度和局部性之间显着的相互作用。我们引入了$k$ -局部和$k$ -全局函数，发现深度对局部函数的学习是有益的，但对全局函数的学习是有害的。这种相互作用没有被神经切线核恰当地捕捉到，它描述了懒惰学习机制中无限宽的神经网络。
2022-01-28 cond-mat.dis-nn cs.LG stat.ML
Width and Depth Limits Commute in Residual Networks
National University of Singapore（新加坡国立大学）；Microsoft Research（微软研究院）
本文证明残差网络在分支按 $1/\sqrt{depth}$ 缩放时，宽度和深度趋于无穷的极限可交换且协方差结构唯一，并证明预激活服从高斯分布，为贝叶斯深度学习提供理论依据。
2023-08-10 cs.LG stat.ML
What graph neural networks cannot learn: depth vs width
École Polytechnique Fédérale Lausanne（洛桑联邦理工学院）
本文研究了消息传递框架（GNNmp）下的图神经网络的表达能力。两个结果。首先，GNNmp被证明是图灵普遍的深度，宽度，节点属性和层的表现力的充分条件下。第二，发现GNNmp在其深度和宽度受到限制时可能会失去相当大一部分功率。提出的不可能性陈述源于一种新技术，该技术能够重新利用分布式计算的开创性结果，并导致涉及图形的一系列决策，优化和估计问题的下限。引人注目的是，这些问题中有几个被认为是不可能的，除非GNNmp的深度和宽度的乘积超过图大小的多项式;这种依赖性即使对于看起来简单的任务或考虑近似时仍然很重要。
2020-01-28 cs.LG stat.ML
Finite Depth and Width Corrections to the Neural Tangent Kernel
Texas A&M University（得克萨斯农工大学）；University of Toronto（多伦多大学）
我们证明了在有限的深度和宽度上，随机初始化ReLU网络中神经切线核（NTK）的均值和方差的精确缩放。标准差是网络深度与宽度之比的指数。因此，即使在无限overparameterization的限制，NTK是不确定的，如果深度和宽度同时趋于无穷大。此外，我们证明，对于这样的深度和广度的网络，NTK在训练过程中有一个非平凡的演变，表明其第一次SGD更新的平均值也是网络深度与宽度之比的指数。这与深度固定且网络宽度非常大的情况形成鲜明对比。我们的研究结果表明，与相对较浅和较宽的网络不同，深度和较宽的ReLU网络即使在所谓的懒惰训练机制中也能够学习数据依赖的特征。
2019-09-13 cs.LG math.PR stat.ML
The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width Limit at Initialization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Guelph（圭尔夫大学）
理论结果表明，神经网络在无限宽极限下可以用高斯过程来逼近。然而，对于完全连接的网络，之前已经表明，对于任何固定的网络宽度$n$，随着网络深度$d$的增加，高斯近似变得更差。考虑到现代网络的深度，这就提出了一个问题，即像ResNet这样的现代架构在多大程度上被无限宽度的限制所捕获。为了提供更好的近似，我们研究了无限深度和宽度限制下的ReLU ResNet，其中深度和宽度都趋于无穷大，因为它们的比率$d/n$保持不变。与高斯无限宽极限相反，我们从理论上证明了网络在无限深宽极限的初始化时表现出对数高斯行为，参数取决于比率$d/n$。使用蒙特卡罗模拟，我们证明了即使是标准ResNet架构的基本属性也不能很好地被高斯极限捕获，但可以很好地被我们的对数高斯极限捕获。此外，我们的分析表明，ReLU ResNet在初始化时是低激活的：只有不到一半的ReLU被激活。此外，我们还计算了层间相关性，它具有指数增加网络输出方差的效果。基于我们的分析，我们引入了平衡ResNets，这是一种简单的架构修改，它消除了低激活和层间相关性，更适合理论分析。
2021-10-27 cs.LG stat.ML
Depth Separation in Norm-Bounded Infinite-Width Neural Networks
University of Chicago（芝加哥大学）；Marquette University（马凯特大学）；Weizmann Institute of Science（魏茨曼科学研究所）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文研究无限宽度神经网络的深度分离，证明范数控制的 depth-3 ReLU 网络能以多项式样本复杂度学习某些函数，而 depth-2 网络无法以次指数样本复杂度学习，且反向结论不成立。
2024-02-13 cs.LG stat.ML
Commutative Width and Depth Scaling in Deep Neural Networks
National University of Singapore（新加坡国立大学）；Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）
该研究作为宽度与深度可交换缩放系列的第二篇，定义了神经网络极限可交换性框架，证明带跳跃连接的缩放网络的神经协方差核宽深极限可交换，且证明方法更易理解。
2023-10-02 cs.LG stat.ML
DynaBERT: Dynamic BERT with Adaptive Width and Depth
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）
像BERT这样的预训练语言模型，虽然在许多自然语言处理任务中功能强大，但计算和内存都很昂贵。为了缓解这个问题，一种方法是在部署之前为特定任务压缩它们。然而，最近的BERT压缩的作品通常压缩大BERT模型到一个固定的较小的大小。它们不能完全满足具有各种硬件性能的不同边缘设备的要求。本文提出了一种新的动态BERT模型（简称DynaBERT），通过自适应地选择宽度和深度，可以灵活地调整大小和延迟。Dyna BERT的训练过程包括首先训练一个宽度自适应的BERT，然后通过从全尺寸模型中提取知识到小型子网络来允许自适应宽度和深度。网络重新布线也被用来保持更重要的注意力头部和神经元由更多的子网络共享。在各种效率约束下的综合实验表明，我们提出的动态BERT（或RoBERTa）在其最大尺寸具有与BERT-base（或RoBERTa-base）相当的性能，而在较小的宽度和深度始终优于现有的BERT压缩方法。代码可在https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/DynaBERT上获得。
2020-10-09 cs.CL cs.LG
Better Depth-Width Trade-offs for Neural Networks through the lens of Dynamical Systems
Stanford University（斯坦福大学）；Singapore University of Technology and Design（新加坡科技设计大学）
神经网络的表达能力是其深度、宽度和激活单元类型的函数，一直是深度学习理论中的一个重要问题。最近，ReLU网络的深度分离结果是通过与动力系统的新连接获得的，使用了连续映射$f$的不动点的广义概念，称为周期点。在这项工作中，我们加强了与动力系统的联系，我们从几个方面改进了现有的宽度下界。我们的第一个主要结果是特定于周期的宽度下限，持有较强的概念下的$L^1$近似误差，而不是较弱的分类错误。我们的第二个贡献是，我们提供了更清晰的宽度下限，仍然产生有意义的指数深度-宽度分离，在以前的结果不适用的制度。我们的结果的一个副产品是，存在一个普适常数表征的深度-宽度的权衡，只要$f$有奇数周期。从技术上讲，我们的结果揭示了以下三个量之间的一个给定的函数：它的周期，它的Lipschitz常数和增长率的振荡下产生的组合物的功能$f$与本身的数量更紧密的连接。
2020-07-20 cs.LG math.DS stat.ML
Depth-Width Tradeoffs in Approximating Natural Functions with Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们为前馈神经网络提供了几个新的基于深度的分离结果，证明了各种类型的简单和自然的函数可以更好地近似使用更深的网络比浅的网络，即使浅的网络要大得多。这包括球和椭圆的指示符;相对于$L_1$范数为径向的非线性函数;以及平滑非线性函数。我们还表明，这些差距可以通过实验观察到：当训练神经网络学习单位球的指示器时，增加深度确实比增加宽度更好地学习。
2020-05-13 cs.LG cs.NE stat.ML
Width is Less Important than Depth in ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究所）
我们解决了Lu et al.（2017）的一个公开问题，通过证明任何具有$\mathbb{R}^d$输入的目标网络都可以近似为宽度$O(d)$网络（与目标网络的架构无关），其参数数量基本上只比它大一个线性因子。根据先前的深度分离定理，这意味着当宽度和深度的角色互换时，类似的结果不能成立，因此深度在神经网络的表达能力中起着比宽度更重要的作用。我们扩展我们的结果，以构建网络有界的权重，并构建网络的宽度最多$d+2$，这是接近最小可能的宽度，由于以前的下限。这两种构造都会导致目标网络上的参数数量增加额外的多项式因子。我们还展示了使用深网络和窄网络的宽网络和浅网络的精确表示，在某些情况下，不会增加目标网络的参数数量。
2022-06-01 cs.LG cs.NE stat.ML
The Role of Depth, Width, and Tree Size in Expressiveness of Deep Forest
Hohai University（河海大学）；Nanjing University（南京大学）
本文首次给出了深度森林关于深度、宽度和树规模三个超参数的近似复杂度上下界，理论上证明了深度能指数级增强模型表达能力，并通过实验验证了该结论。
2024-07-06 cs.LG stat.ML
Spectral Condition for $μ$P under Width-Depth Scaling
Gaoling School of AI, Renmin University of China（中国人民大学东城区人工智能学院）
本文提出一种统一的谱框架，用于在宽度-深度扩展下实现μP，揭示了从k=1到k≥2的转变，统一了不同μP形式并验证了其在实际架构中的有效性。
2026-11-02 cs.LG stat.ML
Optimal Approximation Rate of ReLU Networks in terms of Width and Depth
National University of Singapore（新加坡国立大学）；Purdue University（普渡大学）
本文主要研究深度前馈神经网络在宽度和深度方面的逼近能力。通过构造证明了具有宽度$\mathcal{O}\big(\max\{d\lfloor N^{1/d}\rfloor,\, N+2\}\big)$和深度$\mathcal{O}(L)$的ReLU网络能够以逼近率$\mathcal{O}\big(λ\sqrt{d} (N^2L^2\ln N)^{-α/d}\big)$逼近$[0,1]^d$上的Hölder连续函数，其中$α\in (0,1]$和$λ>0$分别为Hölder阶和常数.这样的速度是最佳的，直到一个常数的宽度和深度分别，而现有的结果只是接近最佳的近似率没有对数因子。更一般地，对于$[0,1]^d$上的任意连续函数$f$，逼近率变为$\mathcal{O}\big(\,\sqrt{d}\,ω_f\big( (N^2L^2\ln N)^{-1/d}\big)\,\big)$，其中$ω_f(\cdot)$是连续模。我们还扩展我们的分析，任何连续函数$f$上的一个有界集。特别地，如果使用具有深度$31$和宽度$\mathcal{O}(N)$的ReLU网络来近似具有Lipschitz常数$λ>0$的$[0,1]$上的一维Lipschitz连续函数，则根据参数总数$W=\mathcal{O}(N^2)$的近似率变为$\mathcal{O}(\tfracλ{W\ln W})$，这在固定…
2021-07-24 cs.LG stat.ML
Quasi-Equivalence of Width and Depth of Neural Networks
Rensselaer Polytechnic Institute（伦斯勒理工学院）
虽然经典研究证明了宽网络允许通用近似，但最近的研究和深度学习的成功证明了深度网络的力量。基于对称的考虑，我们研究人工神经网络的设计是否应该有方向偏好，以及网络的宽度和深度之间的相互作用机制是什么。受德摩根定律的启发，我们通过在ReLU网络的宽度和深度之间建立两个方面的准等价性来解决这个基本问题。首先，我们制定了两个变换，分别将任意ReLU网络映射到宽网络和深网络，用于回归或分类，以便实现与原始网络基本相同的功能。然后，我们将主流的人工神经元类型替换为二次型，并利用同一多项式函数的因子分解和连分数表示分别构建宽网络和深网络。根据我们的发现，深度网络具有广泛的等效性，反之亦然，受到任意小的误差的影响。
2022-05-24 cs.LG stat.ML
Neural Network Architecture Beyond Width and Depth
National University of Singapore（新加坡国立大学）；University of Maryland, College Park（马里兰大学帕克分校）
本文提出了一种新的神经网络结构，通过引入一个额外的维度称为高度超过宽度和深度。将高度、宽度和深度作为超参数的神经网络架构称为三维架构。结果表明，具有三维结构的神经网络比具有二维结构的神经网络（仅以宽度和深度作为超参数的神经网络）具有更强的表达力，例如，标准的全连接网络。新的网络架构是通过嵌套结构递归构造的，因此我们称具有新架构的网络为嵌套网络（NestNet）。构建高度为$s$的NestNet，其中每个隐藏神经元由高度为$\le s-1$的NestNet激活。当$s=1$时，NestNet退化为具有二维架构的标准网络。通过构造证明了具有$\mathcal{O}(n)$参数的高度- $s$ ReLU NestNets可以逼近$[0,1]^d$上的$1$ -Lipschitz连续函数，误差为$\mathcal{O}(n^{-(s+1)/d})$，而具有$\mathcal{O}(n)$参数的标准ReLU网络的最佳逼近误差为$\mathcal{O}(n^{-2/d})$。进一步地，将这一结果推广到$[0,1]^d$上的一般连续函数，其逼近误差由连续模表征。最后，我们使用数值实验来展示ReLU NestNets的超近似能力的优势。
2023-01-14 cs.LG stat.ML
Depth-Width tradeoffs in Algorithmic Reasoning of Graph Tasks with Transformers
Courant Institute of Mathematical Sciences, New York University（纽约大学应用数学科学研究所）；Google Research（谷歌研究）；Meta AI；Bar-Ilan University（巴伊兰大学）；Department of Bio-Medical Engineering, Edmond J. Safra Center for Bioinformatics, Tel-Aviv University（生物医学工程系，埃德蒙·J·萨法中心，特拉维夫大学）；Tel Aviv University（特拉维夫大学）
研究Transformer在图算法任务中深度与宽度的权衡，发现线性宽度下常数深度足以解决许多图问题，而某些问题需要二次宽度，实验验证了宽模型在保持精度的同时训练和推理更快。
2026-06-18 cs.AI cs.CL cs.LG
Do Wide and Deep Networks Learn the Same Things? Uncovering How Neural Network Representations Vary with Width and Depth
Google Research（谷歌研究院）
深度神经网络成功的一个关键因素是通过改变架构深度和宽度来缩放模型以提高性能的能力。神经网络设计的这一简单属性已经为各种任务带来了高效的架构。然而，深度和宽度对学习表征的影响的理解有限。在本文中，我们研究这个基本问题。我们首先研究不同的深度和宽度如何影响模型隐藏表示，在更大容量（更宽或更深）模型的隐藏表示中找到一个特征块结构。我们证明，这种块结构出现时，模型容量相对于训练集的大小是大的，是保持和传播其表示的主导主成分的底层指示。这一发现对不同模型学习的特征有重要的影响，即块结构之外的表示在不同宽度和深度的架构中通常是相似的，但块结构对每个模型都是唯一的。我们分析了不同模型架构的输出预测，发现即使整体准确度相似，广泛和深入的模型也会表现出不同的错误模式和跨类的变化。
2021-04-10 cs.LG
Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization
Ludwig-Maximilians-Universität München（慕尼黑路德维希-马克西米利安大学）
神经切线核（NTK）被广泛用于分析过参数化的神经网络，这是由于Jacot等人（2018）的著名结果：在无限宽度限制下，NTK在训练过程中是确定性的和恒定的。然而，这个结果不能解释深度网络的行为，因为如果深度和宽度同时趋于无穷大，它通常不成立。在本文中，我们研究了深度与宽度相当的全连接ReLU网络的NTK。我们证明了NTK的性质依赖于显着的深宽比和初始化时的参数分布。事实上，我们的结果表明了Poole等人（2016）中确定的超参数空间中三个阶段的重要性：有序，混沌和混沌边缘（EOC）。我们推导出的NTK分散在无限的深度和宽度的限制，在所有三个阶段的精确表达式，并得出结论，NTK的可变性随深度呈指数增长的EOC和在混乱的阶段，但不是在有序的阶段。我们还表明，深度网络的NTK在训练过程中可能仅在有序阶段保持不变，并讨论了NTK矩阵的结构在训练过程中如何变化。
2022-07-21 cs.AI cs.LG
Shortened LLaMA: Depth Pruning for Large Language Models with Comparison of Retraining Methods
Nota Inc.（Nota公司）；Captions（Captions公司）
该研究针对大语言模型计算需求高的问题，提出深度剪枝方法，对比宽度剪枝验证其在内存受限场景下的推理效率优势，并发现大规模语料持续预训练的恢复效果优于LoRA微调，助力构建紧凑高性能的LLM。
2024-06-23 cs.CL cs.LG
Effect of Depth and Width on Local Minima in Deep Learning
MIT（麻省理工学院）；Harvard University（哈佛大学）
在本文中，我们分析了深度和宽度的局部极小值的质量的影响，没有强烈的过度参数化和简化的假设在文献中。在没有任何简化假设的情况下，对于具有平方损失的深度非线性神经网络，我们从理论上证明了随着深度和宽度的增加，局部极小值的质量趋于向全局极小值改善。此外，在深度非线性神经网络上具有局部诱导结构，神经网络的局部极小值的值在理论上被证明不劣于相应的经典机器学习模型的全局最优值。我们经验上支持我们的理论观察与合成数据集以及MNIST，CIFAR-10和SVHN数据集。当与以前的研究与强大的过参数化的假设相比，本文的结果不需要过参数化，而是显示了逐步的过参数化的一般结果的后果的影响。
2019-07-09 cs.LG cs.NE math.OC
Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem
Singapore University of Technology and Design（新加坡科技设计大学）；Stanford University（斯坦福大学）；SUTD（新加坡科技设计大学）
了解深度神经网络（DNN）的代表性能力以及它们的结构特性（例如，深度、宽度、激活单元的类型）影响它们可以计算的函数，一直是深度学习和近似理论中重要但具有挑战性的问题。在一篇开创性的论文中，Telgarsky通过提出一系列函数（基于简单的三角波）强调了深度的好处，DNN实现了零分类错误，而节点数量少于指数级的浅层网络会产生恒定的错误。尽管Telgarsky的工作揭示了浅层神经网络的局限性，但它并没有告诉我们为什么这些功能很难表示，事实上，他将其描述为一个诱人的开放问题，以描述那些不能很好地近似较小深度的功能。在这项工作中，我们指出了DNN表达性与动力系统中的Sharkovsky定理之间的新联系，这使我们能够基于不动点的广义概念（称为周期点（不动点是周期为1的点））来表征ReLU网络的深度-宽度权衡。出于我们的观察，三角波中使用的Telgarsky的工作包含点的周期3 -一个时期，这是特殊的，因为它意味着混沌行为的基础上著名的结果由李约克-我们继续给一般下限的宽度需要代表周期函数作为一个函数的深度。从技术上讲，我们的方法的关键是基于与这些功能相关联的动力系统的特征值分析。
2019-12-09 cs.LG math.DS stat.ML
Robustness in deep learning: The good (width), the bad (depth), and the ugly (initialization)
EPFL（洛桑联邦理工学院）
我们研究了深度神经网络在（选定的）宽和窄，深和浅，以及懒惰和非懒惰训练设置中的平均鲁棒性概念。我们证明，在欠参数化设置，宽度有负面影响，而它提高了鲁棒性在过参数化设置。深度的效果与初始化和训练模式密切相关。特别是，当使用LeCun初始化时，深度有助于懒惰训练机制的鲁棒性。相反，当使用神经切线核（NTK）和He初始化进行初始化时，深度损害鲁棒性。此外，在非懒惰训练机制下，我们展示了双层ReLU网络的宽度如何有利于鲁棒性。我们的理论发展改进了[Huang et al. NeurIPS 21; Wu et al. NeurIPS 21]的结果，并与[Bubeck and Sellke NeurIPS 21; Bubeck et al. COLT 21]一致。
2023-02-09 cs.AI cs.LG
Theory of Scaling Laws for In-Context Regression: Depth, Width, Context and Time
Center for Mathematical Sciences and Applications（数学科学与应用中心）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·保罗森工程与应用科学学院）；Kempner Institute for the Study of Natural and Artificial Intelligence（自然与人工智能研究学院）；Harvard University（哈佛大学）
该研究针对深度线性自注意力模型的线性回归上下文学习，分析三种设置下的缩放渐近行为，发现深度的作用依设置而异，提出同时依赖Transformer宽深的可解玩具模型，可预测最优形状与幂律关系。
2025-10-01 cond-mat.dis-nn cs.LG stat.ML
The Median is Easier than it Looks: Approximation with a Constant-Depth, Linear-Width ReLU Network
Purdue University（普渡大学）；Ben-Gurion University of the Negev（贝内-约尔大学）
该研究提出了一种常深度、线性宽度的ReLU网络，用于高效近似中位数，突破了之前最大值函数的精度限制。
2026-02-06 cs.AI cs.LG
On Random Kernels of Residual Architectures
Facebook AI Research (FAIR)（脸书人工智能研究实验室）
我们推导出ResNets和DenseNets的神经切线核（NTK）的有限宽度和深度校正。我们的分析表明，有限大小的残差架构的初始化更接近“内核制度”比他们的香草同行：而在不使用跳过连接的网络，收敛到NTK需要一个固定的深度，同时增加层的宽度。我们的研究结果表明，在ResNets中，如果有适当的初始化，当深度和宽度同时趋于无穷大时，可能会收敛到NTK。然而，在DenseNets中，当宽度趋于无穷大时，NTK收敛到其极限是有保证的，其收敛速度与权重的深度和规模无关。我们的实验验证了理论结果，并证明了深度ResNets和DenseNets在具有随机梯度特征的核回归中的优势。
2020-06-17 cs.LG stat.ML
Depth-Width Trade-offs for Neural Networks via Topological Entropy
Harvard University（哈佛大学）；Zhejiang University（浙江大学）
深度学习理论研究的核心问题之一是理解深度、宽度和节点数量等结构属性如何影响深度神经网络的表达能力。在这项工作中，我们展示了一个新的联系之间的表达能力的深度神经网络和拓扑熵的动力系统，它可以用来表征深度和宽度的权衡神经网络。利用结构参数给出了具有连续半代数单元的神经网络的拓扑熵的一个上界。具体地，具有$l$层和每层$m$节点的ReLU网络的拓扑熵由$O(l\log m)$上界。此外，如果神经网络是某个函数$f$的良好逼近，则神经网络的规模相对于$f$的拓扑熵具有指数下界.讨论了拓扑熵与振荡次数、周期和Lipschitz常数之间的关系。
2020-10-15 cs.LG
A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks
Institute of AI for Health, Helmholtz Munich（亥姆霍兹慕尼黑人工智能健康研究所）；Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Faculty of Mathematics, Informatics and Mechanics, University of Warsaw（华沙大学数学、信息与力学学院）；Faculty of Mathematics, Informatics and Statistics, LMU Munich（慕尼黑大学数学、信息与统计学院）；School of Computation, Information and Technology, Technical University of Munich（慕尼黑工业大学计算、信息与技术学院）
该研究针对深度线性网络，以神经坍塌为探针，推导得出类内变异性逐层演化的闭式深度-宽度定律，经数值实验验证，为神经网络表征级缩放提供理论依据。
2026-10-16 cs.LG
On the Infinite Width and Depth Limits of Predictive Coding Networks
Brain Network Dynamics Unit, University of Oxford, UK（牛津大学脑网络动力学单位）；UM6P College of Computing, Rabat, Morocco（拉巴特大学计算学院）
本文研究预测编码网络在无限宽度和深度极限下的参数化与梯度行为，证明其与反向传播等价的条件。
2026-08-11 cs.AI cs.LG cs.NE
Universal Function Approximation by Deep Neural Nets with Bounded Width and ReLU Activations
Department of Mathematics, Texas A\&M, College Station, United States
本文关注的是具有ReLU激活和有界宽度的神经网络中深度的表达能力。我们对以下问题特别感兴趣：最小宽度$w_{\text{min}}(d)$是多少，以便宽度为$w_{\text{min}}(d)$（和任意深度）的ReLU网可以任意地逼近单位立方体$[0,1]^d$上的任何连续函数？对于接近这个最小宽度的ReLU网，我们可以说近似给定函数所需的深度是多少？我们对本文的方法是基于这样的观察，即由于ReLU激活的凸性，ReLU网特别适合表示凸函数。特别地，我们证明了具有宽度$d+1$的ReLU网可以任意地逼近$d$变量的任何连续凸函数。然后，这些结果给出了宽度为$d+3.$的ReLU网对$d$维立方体$[0,1]^d$上任何连续标量函数的逼近速率的定量深度估计
2017-12-20 cs.CG cs.LG math.FA
A Numerical Investigation of the Minimum Width of a Neural Network
SkyView Academy（SkyView学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
神经网络的宽度和深度是网络拓扑的基本方面。通用逼近定理提供了随着宽度或深度的增加，存在一个神经网络，它可以任意地逼近一个函数。这些定理假设的要求，如无限的数据，必须在实践中离散化。通过数值实验，我们试图测试Hanin在2017年建立的下限。
2019-10-25 cs.LG
Approximating Continuous Functions by ReLU Nets of Minimal Width
Department of Mathematics, Texas A&M（德克萨斯农工大学数学系）；Trinity College, Cambridge（剑桥大学三一学院）
这篇文章关注的是带有ReLU激活的深度前馈神经网络的深度表达能力。具体来说，我们回答了以下问题：对于一个固定的$d_{in}\geq 1,$，最小宽度$w$是多少，以便具有ReLU激活、输入维度$d_{in}$、最大$w,$的隐藏层宽度和任意深度的神经网络可以任意地逼近$d_{in}$变量的任何连续实值函数？事实证明，这个最小宽度正好等于$d_{in}+1.$也就是说，如果所有的隐藏层宽度都以$d_{in}$为界，那么即使在无限深度限制下，ReLU网也只能表达非常有限的一类函数，另一方面，在$d_{in}$上的任何连续函数-维单位立方体可以通过ReLU网近似到任意精度，其中所有隐藏层的宽度都正好是$d_{in}+1.$我们的构造实际上表明，任何连续函数$f:[0,1]^{d_{in}}\to\mathbb R^{d_{out}}$可以近似为宽度为$d_{in}+d_{out}$的网。我们得到定量的深度估计这样一个近似的$f$的连续模。
2018-03-10 cs.CC cs.LG math.CO
Effects of Depth, Width, and Initialization: A Convergence Analysis of Layer-wise Training for Deep Linear Neural Networks
Brown University（布朗大学）
深度神经网络已被用于各种机器学习应用中，并取得了巨大的经验成功。然而，训练深度神经网络是一项具有挑战性的任务。已经提出了许多替代方案来代替端到端反向传播。分层训练就是其中之一，它一次训练一个层，而不是同时训练整个层。在本文中，我们研究了使用块坐标梯度下降（BCGD）对深度线性网络进行分层训练。我们建立了一个一般的收敛性分析BCGD，并找到了最佳的学习率，这导致在最快的损失减少。更重要的是，最优学习率可以直接应用于实践，因为它不需要任何先验知识。因此，根本不需要调整学习率。此外，我们还确定了训练过程中深度，宽度和初始化的影响。我们表明，当采用正交初始化时，中间层的宽度在基于梯度的训练中不起作用，只要宽度大于或等于输入和输出维度。我们证明了在一定条件下，网络越深，收敛速度越快。这意味着在极端情况下，在仅更新每个权重矩阵一次之后实现全局最优。此外，我们发现，与深度1网络相比，使用深度网络可以大大加快收敛速度，即使考虑到计算成本。数值例子证明了我们的理论研究结果，并证明了性能的逐层训练BCGD。
2020-09-07 cs.LG cs.NA math.NA
How Long Does Infinite Width Last? Signal Propagation in Long-Range Linear Recurrences
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute of Quantum Optics（马克斯·普朗克量子光学研究所）
本研究在有限宽度线性递归模型中推导信号能量的精确公式，划分亚临界、临界与超临界三种深度-宽度缩放机制，揭示无限宽度近似失效的深度尺度，并表明递归架构使有限宽度效应更早显现。
2026-09-28 cs.LG
Memorization capacity of deep ReLU neural networks characterized by width and depth
School of Mathematics (Zhuhai), Sun Yat-sen University, Zhuhai, China（中山大学数学学院（珠海）、中山大学珠海校区，中国）；School of Mathematics (Zhuhai) and Guangdong Province Key Laboratory of Computational Science, Sun Yat-sen University, Zhuhai, China（中山大学数学学院（珠海）和广东省计算科学重点实验室，中山大学珠海校区，中国）
本文通过分析深度ReLU神经网络的宽度和深度，确定了记忆容量的最优权衡关系。
2026-03-10 cs.LG cs.NA math.NA
Gradient Descent Optimizes Infinite-Depth ReLU Implicit Networks with Linear Widths
Iowa State University（爱荷华州立大学）
隐式深度学习最近在机器学习社区中变得流行，因为这些隐式模型可以在使用显著更少的内存和计算资源的同时，实现与最先进的深度网络竞争的性能。然而，我们对一阶方法（如梯度下降（GD））何时以及如何收敛于\textit{nonlinear}隐式网络的理论理解是有限的。虽然这类问题已经在标准前馈网络中进行了研究，但隐式模型的情况仍然很有趣，因为隐式网络有\textit{infinitely}许多层。相应的平衡方程在训练过程中可能不存在解或存在多个解。本文研究了非线性ReLU激活隐式网络的梯度流（GF）和梯度下降的收敛性。为了解决适定性问题，我们引入了一个固定的标量来缩放隐层的权重矩阵，并证明存在一个足够小的缩放常数，从而在整个训练过程中保持平衡方程的适定性。因此，我们证明了如果隐式网络的宽度$m$在样本大小$N$中是\textit{linear}，则GF和GD都以线性速率收敛到全局最小值，即，$m=Ω(N)$。
2022-05-16 cs.LG math.OC stat.ML
