Scale out for large minibatch SGD: Residual network training on ImageNet-1K with improved accuracy and reduced time to train
SURFsara B.V.（SURFsara公司）；Intel Corp.（英特尔公司）
在过去的5年里，ILSVRC竞赛和ImageNet数据集吸引了计算机视觉社区的极大兴趣，使得最先进的准确性大幅增长。这应该归功于深度人工神经网络设计的使用。随着这些变得越来越复杂，存储、带宽和计算需求也随之增加。这意味着，使用非分布式方法，即使使用最高密度的服务器，训练过程也可能需要数周时间，这使得它变得令人望而却步。此外，随着数据集的增长，通过使用更复杂的模型，深度网络的表示学习潜力也会增长。这种同步性触发了计算需求的急剧增加，并促使我们探索petaflop规模的超级计算机上的缩放行为。在本文中，我们将描述的挑战和新的解决方案，以便训练ResNet-50在这个大规模的环境中。我们展示了超过90%的扩展效率和28分钟的训练时间，使用高达104 K x86内核。这得到了英特尔生态系统软件工具的支持。此外，我们表明，与定期90 - 120 epoch的训练运行，我们可以实现高达77\%的未修改的ResNet-50拓扑的前1精度。我们还介绍了新的Collapsed Entrance（CE）技术，该技术使我们能够获得77.5%的top-1准确度，类似于ResNet-152，同时为相同的固定训练预算训练未修改的ResNet-50拓扑。所有ResNet-50模型以及复制它们所需的脚本将很快发布。
2017-11-15 cs.LG stat.ML
Accuracy and Architecture Studies of Residual Neural Network solving Ordinary Differential Equations
Iowa State University（爱荷华州立大学）
在本文中，我们考虑利用残差神经网络（ResNet）解决常微分方程。采用随机梯度下降法得到网络权值和偏差的最优参数集。采用前向Euler、Runge-Kutta 2和Runge-Kutta 4有限差分法生成三组训练ResNet的目标，并进行目标学习。训练好的ResNet的行为就像它对应的一步有限差分法。特别是，我们进行了（1）根据隐藏层和每层神经元的数量进行架构研究，以找到最佳的ResNet结构;（2）目标研究，以验证ResNet求解器的行为与其有限差分法对应物一样准确;（3）解决方案轨迹模拟。即使ResNet求解器看起来和实现方式类似于前向欧拉方案，其精度也可以与任何单步法一样高。一系列的数值例子来证明的ResNet求解器的性能。
2021-01-10 cs.LG cs.NA math.DS
Stronger Convergence Results for Deep Residual Networks: Network Width Scales Linearly with Training Data Size
ASELSAN Inc.（ASELSAN公司）
深度神经网络是具有高度表达力的机器学习模型，能够对任意数据集进行插值。深度网络通常通过一阶方法进行优化，优化过程主要取决于网络和数据集的特征。这项工作揭示了网络大小与数据集属性之间的关系，重点是深度残差网络（ResNets）。我们的贡献是，如果网络雅可比矩阵是满秩的，则二次损失和平滑激活的梯度下降收敛到全局最小值，即使ResNet的网络宽度$m$与样本量$n$成线性比例，并且与网络深度无关。据我们所知，这是第一个工作，它提供了一个理论保证神经网络的收敛在$m=Ω(n)$制度。
2019-11-11 cs.LG stat.ML
Towards Understanding the Importance of Shortcut Connections in Residual Networks
Georgia Tech（佐治亚理工学院）；Duke University（杜克大学）；Institute of Advanced Study（高等研究院）；Peking University（北京大学）；CMU（卡内基梅隆大学）
残差网络（ResNet）无疑是深度学习的一个里程碑。ResNet配备了层之间的快捷连接，并使用简单的一阶算法进行有效的训练。尽管取得了巨大的实证成功，但背后的原因还远未得到很好的理解。在本文中，我们研究了一个两层非重叠卷积ResNet。训练这样的网络需要解决具有伪局部最优值的非凸优化问题。然而，我们表明，梯度下降结合适当的规范化，避免被困在虚假的局部最优，并收敛到全局最优的多项式时间，当第一层的权重初始化为0，第二层的初始化任意球。数值实验支持我们的理论。
2019-11-02 cs.LG math.OC stat.ML
Convergence Analysis of Deep Residual Networks
Sun Yat-sen University（中山大学）
在过去的二十年里，各种强大的深度神经网络架构为深度学习取得令人兴奋的成功做出了巨大贡献。其中，深度残差网络（ResNets）尤为重要，因为它们在许多深度学习竞赛中获得第一名，证明了在计算机视觉中的巨大用处。此外，ResNet是深度学习发展史上第一类真正深度的神经网络。理解深ResNets的收敛性具有数学意义和实际意义。我们的目标是描述深度ResNets的收敛性，因为深度在网络参数方面趋于无穷大。为此，我们首先给出了一般深度神经网络的矩阵向量描述与快捷连接，并制定了一个明确的表达网络使用激活域和激活矩阵的概念。收敛性则归结为两个非方阵无穷乘积级数的收敛性。通过研究这两个级数，我们建立了ResNets逐点收敛的一个充分条件。我们的结果能够为ResNets的设计提供合理性。我们还对基准机器学习数据进行了实验，以验证我们的结果。
2022-05-13 cs.AI cs.LG math.FA
On the Global Convergence of Training Deep Linear ResNets
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google（谷歌）
研究了梯度下降（GD）和随机梯度下降（SGD）算法训练$L$ -隐层线性残差网络（ResNets）的收敛性.我们证明了，对于在输入和输出层具有一定线性变换的深度残差网络（在整个训练过程中是固定的），在所有隐藏权重上具有零初始化的GD和SGD都可以收敛到训练损失的全局最小值。此外，当专门针对适当的高斯随机线性变换时，GD和SGD可证明优化了足够宽的深度线性ResNet。与GD用于训练标准深度线性网络的全局收敛结果（Du & Hu 2019）相比，我们对神经网络宽度的条件更尖锐$O(κL)$，其中$κ$表示训练数据协方差矩阵的条件数。我们进一步提出了一种改进的恒等输入和输出变换，并证明了一个$(d+k)$ -wide神经网络足以保证GD/SGD的全局收敛性，其中$d,k$分别是输入和输出维.
2020-03-02 cs.LG math.OC stat.ML
On the Generalization Behavior of Deep Residual Networks From a Dynamical System Perspective
School of Mathematical Sciences, Nankai University（南开大学数学科学学院）
本文从动力系统视角研究深度残差网络的泛化行为，通过结合Rademacher复杂性、流映射和收敛行为，推导出离散和连续时间ResNets的泛化误差界，揭示了深度均匀和渐近的泛化特性。
2026-02-24 cs.LG
A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；Duke University（杜克大学）
使用随机梯度下降（SGD）训练深度神经网络通常可以在现实世界的任务中实现零训练损失，尽管已知优化景观是高度非凸的。为了理解SGD在训练深度神经网络方面的成功，这项工作提出了深度残差网络的平均场分析，基于一系列工作，这些工作将深度残差网络的连续极限解释为网络容量趋于无穷大时的常微分方程。具体来说，我们提出了一个新的深度残差网络的连续极限，它在每个局部极小点都是全局的意义上享有良好的景观。这一特征使我们能够推导出多层神经网络在平均场机制下的第一个全局收敛结果。此外，在不假设损失景观的凸性的情况下，我们的证明依赖于全局最小值处的零损失假设，当模型具有普适近似属性时，可以实现该假设。我们的结果的关键是观察到深残差网络类似于浅网络集成，即两层网络。我们通过伴随灵敏度方法限制了浅层网络和ResNet模型之间的差异，这使我们能够将现有的双层网络平均场分析应用于深层网络。此外，我们提出了几种新的训练方案的基础上，新的连续模型，包括一个训练过程，切换残差块的顺序，并在基准数据集上的强大的经验表现。
2020-06-11 cs.LG cs.NA math.NA
On Tighter Generalization Bound for Deep Neural Networks: CNNs, ResNets, and Beyond
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）；Georgia Institute of Technology（佐治亚理工学院）
我们建立了一个基于间隔的数据依赖泛化误差界的深度和宽度，以及网络的雅可比矩阵的一般家庭的深度神经网络。通过对神经网络族的Lipschitz性质引入一个新的刻画，得到了比已有结果更严格的推广界.此外，我们证明了推广界可以进一步提高有界损失。除了一般的前馈深度神经网络之外，我们的结果还可以用于推导流行架构的新边界，包括卷积神经网络（CNN）和残差网络（ResNets）。当达到与以前的技术相同的泛化误差时，我们的边界允许选择更大的权重矩阵参数空间，从而诱导神经网络潜在的更强的表达能力。数值计算也支持我们的理论。
2019-07-03 cs.LG stat.ML
Learning Deep ResNet Blocks Sequentially using Boosting Theory
University of Maryland（马里兰大学）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
众所周知，由于反向传播的不稳定性，深度神经网络很难训练。具有恒等循环的深度\emph{residual network}（ResNet）通过稳定梯度计算来解决这个问题。我们证明了ResNet架构的提升理论。我们构造$T$弱模块分类器，每个分类器包含两个$T$层，使得组合的强学习器是ResNet。因此，我们引入了一种替代的Deep ResNet训练算法\emph{BoostResNet}，它特别适用于不可微架构。我们提出的算法只需要一个顺序训练的$T$“浅ResNets”，这是廉价的。我们证明，如果我们训练的\emph{weak module classifiers}表现略好于一些弱基线，训练误差随深度$T$呈指数衰减。换句话说，我们提出了一个弱学习条件，并证明了弱学习条件下ResNet的提升理论。我们的结果适用于一般的多类ResNet。证明了基于边缘理论的泛化误差界，并指出ResNet在具有$l_1$范数有界权值的网络下具有抗过拟合能力。
2018-06-14 cs.LG
Demystifying ResNet
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
He et al.（2015）提出的残差网络（ResNet）利用快捷连接显著降低了训练难度，从而在训练和泛化误差方面都有很大的性能提升。He等人（2015）根据经验观察到，使用快捷方式2堆叠更多层的残差块会导致更小的训练误差，而对于长度为1或3的快捷方式则不成立。我们提供了一个理论解释的唯一性的捷径2。我们证明了，无论有无非线性，通过添加深度为2的快捷方式，损失函数在零初始点处的Hessian的条件数是深度不变的，这使得训练非常深的模型并不比浅的模型更困难。更高深度的捷径最初会导致非常平坦的（高阶）稳定点，优化算法很难逃脱。然而，快捷方式1基本上等同于没有快捷方式，其具有随着层数的增加而爆炸到无穷大的条件数。我们进一步认为，由于层数趋于无穷大，它足以只看在零初始点的损失函数。广泛的实验提供伴随我们的理论结果。我们表明，使用捷径2将网络初始化为小权重比随机高斯（Xavier）初始化，正交初始化和更深深度的捷径取得了更好的结果，从最终损失，学习动态和稳定性，到Hessian的行为等各个角度来看。
2017-05-20 cs.LG cs.NE stat.ML
Scaling Properties of Deep Residual Networks
InstaDeep；University of Oxford（牛津大学）
残差网络（ResNets）在模式识别中已经显示出令人印象深刻的结果，并且最近由于与神经常微分方程（neural odiomatic differential equations，neural ODE）的感知联系而引起了相当大的理论兴趣。该链接依赖于随着层数的增加，网络权重收敛到平滑函数。我们通过详细的数值实验研究了由随机梯度下降训练的权重的性质及其随网络深度的缩放。我们观察到存在的标度制度显着不同的神经ODE文献中假设的。取决于网络架构的某些特征，例如激活函数的平滑度，可以获得替代的ODE极限、随机微分方程或两者都不是。这些发现对神经ODE模型作为深度ResNets的适当渐近描述的有效性提出了质疑，并指出另一类微分方程可以更好地描述深度网络极限。
2021-06-10 cs.LG cs.NA cs.NE
Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization
Stony Brook University（石溪大学）
针对ResNets中跳跃连接导致的梯度重叠和高估问题，提出利用Z-score Normalization（ZNorm）调整梯度尺度并跨层标准化，有效改善了非凸优化场景下的训练效率与大规模数据处理的准确性。
2024-11-15 cs.AI cs.LG
ResIST: Layer-Wise Decomposition of ResNets for Distributed Training
Rice University（莱斯大学）
我们提出了ResIST，一个新的分布式训练协议的残差网络（ResNets）。ResIST将全局ResNet随机分解为几个浅层子ResNet，这些子ResNet以分布式方式独立训练几次局部迭代，然后将其更新同步并聚合到全局模型中。在下一轮中，随机生成新的子ResNet，并重复该过程直到收敛。通过构造，每次迭代，ResIST只向每台机器传递一小部分网络参数，并且在训练期间从不使用完整的模型。因此，ResIST将ResNet训练的每次迭代通信、内存和时间要求降低到全模型训练要求的一小部分。与常见协议（如数据并行训练和使用本地SGD的数据并行训练）相比，ResIST降低了通信和计算要求，同时在模型性能方面具有竞争力。
2022-03-14 cs.CV cs.DC cs.LG
Deep Residual Networks and Weight Initialization
RIKEN（理化学研究所）
残差网络（ResNet）是实现真正深度神经网络的成功训练的最先进的架构。还已知神经网络的良好权重初始化避免了梯度消失/爆炸的问题。本文分析了ResNets的简化模型。我们认为ResNet的优点与ResNet对初始权重的选择相对不敏感的事实相关。我们还演示了批量归一化如何在不调整权重初始值的情况下改进深度ResNet的反向传播。
2017-09-09 cs.LG stat.ML
Resnet in Resnet: Generalizing Residual Architectures
Enlitic（Enlitic公司）
残差网络（ResNets）最近在具有挑战性的计算机视觉任务上取得了最先进的成就。我们在Resnet（RiR）中引入Resnet：一种深度双流架构，它概括了ResNet和标准CNN，并且很容易实现，没有计算开销。RiR不断提高ResNets的性能，优于CIFAR-10上具有类似增强量的架构，并在CIFAR-100上建立了新的最先进技术。
2016-03-25 cs.CV cs.LG cs.NE
Kernel-Based Smoothness Analysis of Residual Networks
Tel Aviv University（特拉维夫大学）；New York University（纽约大学）
深度神经网络成功的一个主要因素是使用复杂的架构，而不是经典的多层感知器（MLP）。残差网络（ResNets）在这些强大的现代架构中脱颖而出。以前的工作集中在深度ResNets相对于深度MLP的优化优势上。在本文中，我们展示了这两种模型之间的另一个区别，即ResNets比MLP更倾向于促进更平滑的插值。我们通过神经切线核（NTK）的方法来分析这种现象。首先，我们计算所考虑的ResNet模型的NTK，并证明其在梯度下降训练期间的稳定性。然后，我们通过各种评估方法表明，对于ReLU激活，ResNet的NTK及其内核回归结果比MLP的更平滑。在我们的分析中观察到的更好的平滑度可以解释ResNets更好的泛化能力和适度衰减残差块的做法。
2021-05-23 cs.LG stat.ML
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University（北京大学）；Georgia Institute of Technology（佐治亚理工学院）
深度残差网络（ResNets）比深度前馈网络（FFNets）具有更好的泛化性能。然而，这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说，我们首先证明，在适当的条件下，随着宽度趋于无穷大，训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后，我们将深度ResNets的内核与深度FFNets的内核进行比较，发现由FFNets的内核诱导的函数类是渐进不可学习的，因为深度是无穷大的。相比之下，由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
Momentum Residual Neural Networks
Ecole Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Google Research（谷歌研究院）
使用反向传播训练深度残差神经网络（ResNets）具有相对于网络深度线性增加的存储器成本。规避这个问题的一种方法是使用可逆架构。在本文中，我们建议通过添加动量项来改变ResNet的前向规则。由此产生的网络，动量剩余神经网络（动量ResNets），是可逆的。与以前的可逆架构不同，它们可以用作任何现有ResNet块的直接替代品。我们表明，动量ResNets可以在无限小步长范围内解释为二阶常微分方程（ODE），并准确地描述了如何逐步增加动量ResNets的表示能力。我们的分析表明，Momentum ResNets可以学习任何线性映射到乘法因子，而ResNets不能。在学习优化设置，收敛到一个固定点是必需的，我们从理论上和经验表明，我们的方法成功，而现有的可逆架构失败。我们在CIFAR和ImageNet上展示了Momentum ResNets与ResNets具有相同的准确性，同时具有更小的内存占用，并表明预训练的Momentum ResNets有希望用于微调模型。
2021-07-22 cs.AI cs.LG stat.ML
Functional Gradient Boosting based on Residual Network Perception
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
残差网络（ResNet）已经成为深度学习中最先进的模型，一些理论研究致力于理解为什么ResNet如此有效。关于ResNet的一个有吸引力的观点是，它通过组合有效特征的集合来优化功能空间中的风险。在本文中，我们采用这种观点，构建一个新的梯度提升方法，这是已知的是非常强大的数据分析。为此，我们使用函数梯度的概念在数学上形式化了ResNet的梯度提升视角，并通过利用ResNet感知提出了一种名为ResFGB的分类任务的新方法。从优化的角度提供了两种类型的泛化保证：一种是边际界，另一种是样本分裂技术的预期风险界。实验结果表明，所提出的方法优于国家的最先进的方法，如LightGBM的性能。
2018-07-08 cs.LG stat.ML
Approximation Capabilities of Neural ODEs and Invertible Residual Networks
Virginia Commonwealth University（弗吉尼亚联邦大学）
神经ODE和i-ResNet是最近提出的用于增强残差神经模型可逆性的方法。拥有构建可逆模型的通用技术可以为学习系统的进步开辟新的途径，但到目前为止，神经ODE和i-ResNets是否可以对任何连续可逆函数建模的问题仍未得到解决。在这里，我们表明，这两个模型是有限的，在他们的近似能力。然后，我们证明了$p$维欧氏空间上的任何同胚都可以通过在$2p$维欧氏空间上操作的神经ODE来近似，并且对于i-ResNets也有类似的结果。我们的结论是，用单个线性层覆盖神经ODE或i-ResNet足以将模型变成不可逆连续函数的通用近似器。
2020-03-01 cs.LG stat.ML
Identity Connections in Residual Nets Improve Noise Stability
Duke University（杜克大学）
残差神经网络（ResNets）在许多计算机视觉问题中实现了最先进的性能。与没有剩余连接的普通网络（PlnNets）相比，ResNets训练更快，泛化更好，并且遭受所谓的退化问题更少。我们引入简化（但仍然是非线性的）版本的ResNets和PlnNets，这些差异仍然存在，尽管程度较低。我们建立了简化ResNet和简化PlnNet之间的1-1映射，并证明了它们在相同的计算复杂性下在表达能力上是完全等价的。我们推测ResNets的泛化能力更好，因为它们具有更好的噪声稳定性，并且在经验上支持简化和完全成熟的网络。
2019-05-27 cs.CV cs.LG stat.ML
On Random Kernels of Residual Architectures
Facebook AI Research (FAIR)（脸书人工智能研究实验室）
我们推导出ResNets和DenseNets的神经切线核（NTK）的有限宽度和深度校正。我们的分析表明，有限大小的残差架构的初始化更接近“内核制度”比他们的香草同行：而在不使用跳过连接的网络，收敛到NTK需要一个固定的深度，同时增加层的宽度。我们的研究结果表明，在ResNets中，如果有适当的初始化，当深度和宽度同时趋于无穷大时，可能会收敛到NTK。然而，在DenseNets中，当宽度趋于无穷大时，NTK收敛到其极限是有保证的，其收敛速度与权重的深度和规模无关。我们的实验验证了理论结果，并证明了深度ResNets和DenseNets在具有随机梯度特征的核回归中的优势。
2020-06-17 cs.LG stat.ML
Dynamical System Inspired Adaptive Time Stepping Controller for Residual Network Families
Peking University（北京大学）；Shandong University（山东大学）；Samsung Research China – Beijing (SRC-B)（三星中国研究院——北京（SRC-B））
剩余网络和动力系统之间的对应关系促使研究人员利用ODE系统的数值方法中成熟的工具来解开ResNets的物理学。Runge-Kutta-Fehlberg方法是一种自适应时间步长方法，在稳定性和效率之间取得了很好的平衡。我们是否也可以为ResNets提供自适应的时间步长，以确保稳定性和性能？在这项研究中，我们分析了时间步进对欧拉方法和ResNets的影响。我们建立了一个具有步长和权重参数的ResNets的稳定性条件，并指出了步长对稳定性和性能的影响。我们的分析的启发，我们开发了一个自适应时间步进控制器，是依赖于当前步骤的参数，并知道以前的步骤。控制器与网络训练联合优化，使变步长和进化时间可以自适应调整。我们在ImageNet和CIFAR上进行了实验，以证明其有效性。结果表明，我们所提出的方法是能够提高稳定性和准确性，而不引入额外的开销在推理阶段。
2019-11-23 cs.LG stat.ML
Interpolation between Residual and Non-Residual Networks
Tsinghua University（清华大学）
虽然常微分方程（ODE）为设计网络架构提供了见解，但它与非残差卷积神经网络（CNN）的关系仍然不清楚。本文通过引入阻尼项，提出了一种新的常微分方程模型。可以表明，所提出的模型可以通过调整插值系数来恢复ResNet和CNN。因此，阻尼常微分方程模型提供了一个解释剩余和非剩余网络的统一框架。李雅普诺夫分析表明，该模型具有更好的稳定性，从而提高了学习网络的鲁棒性。在一些图像分类基准上的实验表明，该模型大大提高了ResNet和ResNeXt在随机噪声和对抗性攻击方法的扰动输入上的准确性。此外，损失景观分析表明，改进的鲁棒性的方法沿攻击方向。
2020-08-16 cs.LG stat.ML
Multi-level Residual Networks from Dynamical Systems View
University of British Columbia（英属哥伦比亚大学）；Xtract Technologies Inc.（Xtract Technologies公司）；Simon Fraser University（西蒙菲莎大学）；Vancouver, Canada（加拿大温哥华（注：此为地址信息，非机构，按要求不应提取，但原文中“Vancouver, Canada”未被明确作为机构，此处按原文提取范围修正，实际应为仅保留机构名））
深度残差网络（ResNets）及其变体广泛用于许多计算机视觉应用和自然语言处理任务。然而，设计和训练ResNet的理论原则仍然没有完全理解。近年来，出现了几种试图从理论上解释ResNet的观点，如解开观点，展开迭代估计和动力系统观点。本文采用动力系统的观点，从理论和实验两方面分析了ResNet的损伤特性。基于这些分析，我们还提出了一种加速ResNet训练的新方法。我们将所提出的方法应用于训练ResNets和Wide ResNets的三个图像分类基准，减少了40%以上的训练时间，具有优异或同等的准确性。
2018-02-01 cs.CV stat.ML
Dynamical Isometry is Achieved in Residual Networks in a Universal Way for any Activation Function
Jagiellonian University（雅盖隆大学）
我们证明了在残差神经网络（ResNets）中，无论使用何种激活函数，动态等距都是可以实现的。我们这样做是通过推导，在自由概率和随机矩阵理论的帮助下，在大网络的宽度和深度限制下，初始化时的输入输出雅可比矩阵的谱密度的通用公式。由此产生的奇异值谱取决于一个单一的参数，我们计算各种流行的激活函数，通过分析在人工神经网络的信号传播。我们通过随机矩阵和ResNets应用于CIFAR-10分类问题的数值模拟证实了我们的结果。此外，我们研究的后果，这种普遍的行为的学习过程的初始阶段和后期阶段。我们的结论是提请注意一个简单的事实，即初始化作为激活函数的选择和学习速度之间的混杂因素。我们建议在ResNets中，这可以根据我们的结果解决，通过确保初始化时相同的动态等距水平。
2019-03-04 cs.LG stat.ML
On the space-time expressivity of ResNets
Max Planck Insitute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
残差网络（ResNets）是一种深度学习架构，它大大提高了某些监督学习任务的最新性能。从那时起，它们受到了越来越多的关注。ResNet具有递归结构$x_{k+1} = x_k + R_k(x_k)$，其中$R_k$是称为残差块的神经网络。这种结构可以看作是一个相关的常微分方程（ODE）的欧拉离散化，这被称为神经ODE。最近，ResNets被提出作为不属于这种神经类型的ODE的时空近似。为了详细说明这种联系，我们表明，通过增加残差块的数量及其表达能力，可以通过深度ReLU ResNets在空间和时间上同时近似任意ODE的解决方案。此外，我们得出估计的复杂性的残差块需要获得规定的精度在一定的规律性假设。
2020-02-27 cs.LG cs.NA cs.NE
On the Mathematical Understanding of ResNet with Feynman Path Integral
Tsinghua University（清华大学）；City University of Hong Kong（香港城市大学）
在本文中，我们的目标是通过提供ResNet和Feynman路径积分之间的桥梁，以科学合理的方式理解残差网络（ResNet）。特别地，我们证明了残差块效应等价于偏微分方程，并且ResNet变换过程可以等价地转化为Feynman路径积分。这些结论极大地帮助我们从数学上理解ResNet在解决梯度消失问题方面的优势。更重要的是，我们的分析提供了ResNet的路径积分视图，并证明了某些网络的输出可以通过添加所有路径的贡献来获得。此外，每条路径的贡献与e^{-S}成正比，其中S是拉格朗日L的时间积分给出的作用量。这为理解ResNet奠定了坚实的基础，并为未来卷积神经网络架构的设计提供了见解。在此基础上，利用偏微分算子设计了网络，进一步验证了理论分析的正确性。
2019-04-16 cs.LG hep-th stat.ML
Doubly infinite residual neural networks: a diffusion process approach
Cogent Labs（Cogent实验室）；University of Torino（都灵大学）；Collegio Carlo Alberto（阿尔贝托国王学院）
现代神经网络（NN）具有大量的层（深度）和每层单元（宽度），在许多领域都取得了显着的性能。虽然有大量的文献对无限宽的神经网络和高斯过程之间的相互作用，一点是知道类似的相互作用与无限深的神经网络。具有独立同分布（i.i.d.）随着层数的增加，初始化表现出不期望的前向和后向传播特性。为了克服这些缺点，Peluchetti和Favaro（2020）考虑了全连接剩余网络（ResNets），网络参数通过随着层数增加而缩小的分布进行初始化，从而建立了无限深ResNets和随机微分方程解之间的相互作用，即扩散过程，并表明无限深的ResNets不会受到不期望的前向传播特性的影响。在本文中，我们回顾了Peluchetti和Favaro（2020）的结果，将其扩展到卷积ResNets，并建立了类似的反向传播结果，这些结果与训练全连接深度ResNets的问题直接相关。然后，我们研究了双无限神经网络的更一般的设置，其中网络的宽度和网络的深度都无限增长。我们专注于双无限全连接ResNet，我们考虑i.i.d.。初始化。在这种设置下，我们表明，感兴趣的数量的动态收敛，在初始化，确定性的限制。这使我们能够在弱训练和完全训练的ResNet的情况下提供用于推理的分析表达式。我们的研究结果强调了当未缩放网络的参数为i.i.d.时，双无限ResNets的表达能力有限。并且残留块是浅的。
2021-09-19 cs.LG math.ST stat.ML
How to Initialize your Network? Robust Initialization for WeightNorm & ResNets
Salesforce Research（赛富时研究院）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
残差网络（ResNet）和权重归一化在各种深度学习应用中发挥着重要作用。然而，参数初始化策略还没有研究以前的权重归一化网络，在实践中，初始化方法设计的非归一化网络被用作代理。类似地，ResNets的初始化也被研究用于未规范化的网络，并且通常在简化的设置下忽略快捷连接。为了解决这些问题，我们提出了一种新的参数初始化策略，避免爆炸/消失的信息跨层的权重归一化网络有和没有残留连接。所提出的策略是基于平均场近似的理论分析。我们在图像数据集上运行了2,500多个实验并评估了我们的建议，结果表明，所提出的初始化在泛化性能、对超参数值的鲁棒性和种子之间的方差方面优于现有的初始化方法，特别是当网络变得更深时，现有方法甚至无法开始训练。最后，我们证明了将我们的初始化与学习率预热结合使用能够缩小权重归一化和批量归一化网络性能之间的差距。
2019-10-30 cs.LG stat.ML
Riemannian Residual Neural Networks
Yale University（耶鲁大学）；Cornell University（康奈尔大学）；Stanford University（斯坦福大学）；University of Central Florida（中佛罗里达大学）
本研究将残差网络推广至一般黎曼流形，提出黎曼残差网络，在双曲空间与对称正定矩阵流形上优于现有流形神经网络。
2023-10-16 cs.LG stat.ML
RES-SE-NET: Boosting Performance of Resnets by Enhancing Bridge-connections
Sri Sathya Sai Institute of Higher Learning（斯里萨蒂亚赛高等教育学院）；Department of Mathematics and Computer Science（数学与计算机科学系）；Prasanthi Nilayam, AP, India（普拉萨蒂尼莱亚姆，安得拉邦，印度）
有效训练深度神经网络的方法之一是使用剩余连接。剩余连接可以被分类为身份连接或具有整形卷积的桥接连接。使用基线Resnet模型对CIFAR-10和CIFAR-100数据集进行的经验观察（去除桥接）显示准确性显著降低。这种减少是由于缺乏贡献，以特征图的形式，由桥连接。因此，桥接对于Resnet至关重要。然而，桥连接中的所有特征图被认为是同等重要的。在这项工作中，提出了一个升级的架构“Res-SE-Net”，通过量化每个特征图的重要性并使用挤压和激励（SE）块对其进行相应的加权，进一步加强桥连接的贡献。在CIFAR-10和CIFAR-100基准数据集上，Res-SE-Net的泛化性能优于Resnet和SE-Resnet。
2019-02-16 cs.CV cs.LG stat.ML
Multilevel Minimization for Deep Residual Networks
Università della Svizzera italiana（瑞士意大利语区大学）
我们提出了一个新的多级最小化框架，用于训练深度残差网络（ResNets），它有可能显着减少训练时间和工作量。我们的框架是基于动力系统的观点，它制定了一个ResNet作为离散化的初始值问题。然后，将训练过程表示为时间相关的最优控制问题，使用不同的时间离散化参数对其进行离散化，最终生成具有不同分辨率的多级层次辅助网络。然后通过训练具有降低分辨率的辅助网络来增强原始ResNet的训练。通过设计，我们的框架是方便地独立于选择的训练策略上选择的多级层次结构的每一个级别。通过数值算例，分析了该方法的收敛性，并证明了其鲁棒性。对于我们的例子，我们采用了多级梯度为基础的方法。与标准的单水平方法的比较表明，在实现相同的验证精度的同时，加速了三个以上的因素。
2020-04-13 cs.LG math.OC stat.ML
Invertible Residual Networks
University of Bremen（不来梅大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）
我们证明了标准的ResNet架构是可逆的，允许相同的模型用于分类，密度估计和生成。通常，强制可逆性需要划分维度或限制网络架构。相比之下，我们的方法只需要在训练过程中添加一个简单的标准化步骤，这在标准框架中已经存在。可逆ResNets定义了一个生成模型，可以通过未标记数据的最大似然来训练。为了计算似然，我们引入了一个易于处理的近似的雅可比对数行列式的残留块。我们的经验评估表明，可逆ResNet与最先进的图像分类器和基于流的生成模型都具有竞争力，这是以前没有用单一架构实现的。
2019-05-18 cs.AI cs.CV cs.LG
Arithmetic-Mean $μ$P for Modern Architectures: A Unified Learning-Rate Scale for CNNs and ResNets
Fudan University（复旦大学）；New York University（纽约大学）
本文提出算术平均μP，通过统一学习率缩放方法，为CNN和ResNets提供稳健的深度定律，实现零样本学习率转移。
2025-11-27 cs.LG stat.ML
Residual Networks as Nonlinear Systems: Stability Analysis using Linearization
ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）
我们将预训练的残差网络（ResNets）视为非线性系统，并使用线性化（非线性系统定性分析中的常用方法）来理解网络在输入图像的小扰动下的行为。我们使用在CIFAR-10数据集上训练的ResNet-56和ResNet-110。我们线性化这些网络的水平上的剩余单元和网络阶段，奇异值分解是用于这些组件的稳定性分析。据发现，大多数的奇异值的线性化的残留单元是1，尽管事实上，线性化直接依赖于激活地图，奇异值略有不同，不同的输入图像。然而，调整跳跃连接的缩放或残差单元中的权重的值对奇异值分布具有显著影响。对输入图像的随机和对抗性扰动如何通过网络传播的检查表明，在网络的最后阶段结束时，对抗性扰动的幅度会出现戏剧性的跳跃，这在随机扰动的情况下是不存在的。我们试图通过将扰动投影到残差单元线性化的奇异向量上来更好地理解这种现象。
2019-05-31 cs.CV cs.LG stat.ML
Spectrum concentration in deep residual learning: a free probability approach
Shanghai Jiaotong University（上海交通大学）；Tennessee Technological University（田纳西理工大学）
我们通过向深度学习社区引入一种新的自由概率分析工具来重新审视深度残差网络（ResNets）的初始化。这个工具处理非厄米特随机矩阵，而不是他们的传统厄米特对应文献。因此，这个新工具使我们能够评估线性和非线性情况下完全连接的深度ResNet的输入-输出雅可比矩阵的奇异值谱。利用自由概率这一强有力的工具，我们对单层情况下的谱进行了渐近分析，然后将这种分析推广到任意层数的多层情况。特别是，我们建议通过剩余单元的数量来重新调整经典的随机初始化，使得频谱具有$O(1)$的阶数，与网络的大宽度和深度相比。我们的经验表明，建议的初始化方案学习的速度比经典的数量级更快，从而证明了这项调查的强大的实际意义。
2019-02-24 cs.LG stat.ML
Field theory for optimal signal propagation in ResNets
Institute for Advanced Simulation (IAS-6), Jülich Research Centre（先进模拟研究所（IAS-6）、尤利希研究中心）；RWTH Aachen University（亚琛工业大学）；Department of Physics, Faculty 1, RWTH Aachen University（物理系，亚琛工业大学）
本文为残差网络推导有限尺寸场论，解析得出响应函数与最优缩放参数，解释其跨超参数普适性，并表明经验最优值位于最大敏感度范围。
2025-10-23 cond-mat.dis-nn cs.LG stat.ML
A Practical Layer-Parallel Training Algorithm for Residual Networks
Peking University（北京大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
用于训练ResNet的基于递归的算法通常需要前向传递输入数据，然后反向传播目标梯度以更新参数，这对于深度ResNet来说是耗时的。为了打破模块之间的依赖关系，在向前和向后的模式，罚函数和增广拉格朗日（AL）的方法，最近引起了很大的兴趣，由于他们的能力，利用逐层并行。然而，我们观察到，大的通信开销和缺乏数据增强是这些方法的两个关键挑战，这可能导致低加速比和跨多个计算设备的准确性下降。受ResNets最优控制公式的启发，我们提出了一种新的串并行混合训练策略，以使用数据增强，以及下采样滤波器来降低通信成本。该策略首先通过并行求解一系列独立的子问题来训练网络参数，然后通过数据的全串行前向-后向传播来校正网络参数。这种策略可以应用于大多数现有的使用辅助变量的层并行训练方法。作为一个例子，我们在MNIST、CIFAR-10和CIFAR-100数据集上使用ResNet和WideResNet上的惩罚和AL方法验证了所提出的策略，与传统的层-序列训练方法相比，实现了显著的加速，同时保持了相当的准确性。
2021-02-18 cs.AI cs.LG stat.ML
Towards an Understanding of Residual Networks Using Neural Tangent Hierarchy (NTH)
Purdue University（普渡大学）
本文利用神经正切层级研究有限宽度残差网络的训练动力学，将层宽度对样本数的依赖从四次方降至三次方，并揭示跳跃连接是 ResNet 优于全连接网络的关键。
2020-07-07 cs.LG math.OC math.ST
Collective Kernel EFT for Pre-activation ResNets
CyberAgent, Inc.（CyberAgent公司）
本文提出基于核G的集体核有效场论，用于预激活ResNets，通过推导核G的随机递推关系，揭示了在有限宽度深度神经网络中核G的有限有效性窗口及局限性。
2026-10-30 cs.LG hep-th stat.ML
Network Implosion: Effective Model Compression for ResNets via Static Layer Pruning and Retraining
NTT Software Innovation Center（NTT软件创新中心）
具有卷积层的残差网络广泛应用于机器学习领域。由于它们通过堆叠多个层来有效地从输入数据中提取特征，因此它们在许多应用中可以实现高精度。然而，许多层的堆叠增加了它们的计算成本。为了解决这个问题，我们提出了网络内爆，它从残差网络中删除多个层，而不会降低准确性。我们的核心思想是引入一个优先级术语来识别层的重要性;我们可以根据优先级选择不重要的层，并在训练后删除它们。此外，我们重新训练网络，以避免层擦除后准确性的严重下降。理论评估表明，我们的擦除和再训练方案可以擦除层而不会降低精度，并且比从头开始训练的精度更高。我们的实验表明，对于Cifar-10/100和ImageNet上的分类，Network Implosion可以将层数减少24.00%到42.86%，而准确率没有任何下降。
2019-06-10 cs.CV cs.LG stat.ML
A semi-supervised deep residual network for mode detection in Wi-Fi signals
Laboratory of Innovations in Transportation (LiTrans)（交通创新实验室（LiTrans））；Ryerson University（瑞尔森大学）
由于其无处不在和无处不在的性质，Wi-Fi网络有可能收集大规模，低成本和分类的多式联运数据。在本研究中，我们开发了一个半监督深度残差网络（ResNet）框架，利用从智能手机获得的Wi-Fi通信来进行交通模式检测。该框架是由位于多伦多市中心拥挤的市区的Wi-Fi传感器收集的数据进行评估。为了解决与标记数据汇集相关的固有困难和成本，我们通过实现框架的半监督部分来利用大量容易收集的低成本未标记数据。通过将ResNet架构作为框架的核心，我们利用了传统机器学习框架中没有考虑的高级功能。所提出的框架显示出良好的性能，与步行，骑自行车和驾驶模式的预测准确率分别为81.8%，82.5%和86.0%。
2019-02-17 cs.CY cs.LG stat.ML
Skip Connections Matter: On the Transferability of Adversarial Examples Generated with ResNets
Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）；PCL Research Center of Networks and Communications, Peng Cheng Laboratory（鹏城实验室网络通信PCL研究中心）；The University of Melbourne（墨尔本大学）
跳跃连接是当前最先进的深度神经网络（DNN）的重要组成部分，如ResNet，WideResNet，DenseNet和ResNeXt。尽管他们在构建更深入，更强大的DNN方面取得了巨大的成功，但我们在本文中发现了跳过连接的一个令人惊讶的安全弱点。使用跳过连接可以更容易地生成高度可转移的对抗性示例。具体来说，在类ResNet（具有跳过连接）神经网络中，梯度可以通过跳过连接或剩余模块反向传播。我们发现，根据衰减因子，使用更多来自跳过连接的梯度，而不是剩余模块，可以制作具有高可移植性的对抗性示例。我们的方法被称为跳过梯度法（SGM）。我们对最先进的DNN进行全面的转移攻击，包括ResNets，DenseNets，Inceptions，Inception-ResNet，挤压和激励网络（SENet）和经过鲁棒训练的DNN。我们表明，在梯度流上使用SGM可以大大提高几乎所有情况下精心制作的攻击的可转移性。此外，SGM可以很容易地与现有的黑盒攻击技术相结合，并获得比最先进的可移植性方法的高度改善。我们的研究结果不仅激发了对DNN架构脆弱性的新研究，也为安全DNN架构的设计带来了进一步的挑战。
2020-02-14 cs.CR cs.CV cs.LG
ResNEsts and DenseNEsts: Block-based DNN Models with Improved Representation Guarantees
最近在文献中使用的证明残差网络（ResNet）优于线性预测器的模型实际上与计算机视觉中广泛使用的标准ResNet不同。除了标量值输出或单个残差块等假设之外，这些模型在馈送到最终仿射层的最终残差表示处没有非线性。为了编码这种非线性差异并揭示线性估计属性，我们定义ResNEsts，即，残差非线性估计器，通过简单地从标准ResNets中删除最后一个残差表示的非线性。我们表明，具有瓶颈块的宽ResNet始终可以保证标准ResNet旨在实现的非常理想的训练属性，即，在给定相同的基本元素集合的情况下，添加更多的块不会降低性能。为了证明这一点，我们首先认识到ResNEsts是基函数模型，它受到基学习和线性预测中耦合问题的限制。然后，为了将预测权重与基础学习解耦，我们构建了一种称为增强ResNEst（A-ResNEst）的特殊架构，该架构始终保证添加块不会降低性能。因此，这样的A-ResNEst使用相应的基础为ResNEst建立经验风险下限。我们的研究结果表明，ResNEsts确实存在减少特征重用的问题;但是，可以通过充分扩展或加宽输入空间来避免，从而获得上述理想的属性。受已被证明优于ResNets的DenseNets的启发，我们还提出了一个相应的新模型，称为Densely connected Nonlinear Estimation（DenseNEst）。我们表明，任何DenseNEst都可以表…
2022-01-15 cs.LG cs.NE eess.SP
Deep Residual-Dense Lattice Network for Speech Enhancement
Institute for Integrated and Intelligent Systems, Griffith University, Australia（格里菲斯大学综合智能系统研究所）；School of Artificial Intelligence, Xidian University, China（西安电子科技大学人工智能学院）
具有残差链接（ResNets）和因果扩张卷积单元的卷积神经网络（CNN）一直是深度学习方法用于语音增强的首选网络。虽然残差链接在训练期间改善了梯度流，但由于与较深层输出的重复求和，可能会发生浅层输出的特征减少。提高特征重用的一种策略是融合ResNets和密集连接的CNN（DenseNets）。然而，DenseNets为功能重用过度分配参数。受此启发，我们提出了残差密集格型网络（RDL-Net），这是一种新的CNN用于语音增强，它采用残差和密集聚合，而不会过度分配参数用于特征重用。这是通过RDL块的拓扑来管理的，RDL块限制了用于密集聚合的输出数量。我们广泛的实验研究表明，RDL-Net能够比采用残留和/或密集聚合的CNN实现更高的语音增强性能。RDL-Net使用的参数也少得多，计算要求也低。此外，我们证明RDL-Nets在语音增强方面优于许多最先进的深度学习方法。
2020-02-27 cs.LG cs.SD eess.AS
Towards Understanding Residual and Dilated Dense Neural Networks via Convolutional Sparse Coding
University of Chinese Academy of Sciences（中国科学院大学）
卷积神经网络（CNN）及其变体在各个领域已经导致了许多最先进的结果。然而，对它们的理论认识还很欠缺。最近，多层卷积稀疏编码（ML-CSC）已被提出，并证明等于这样的简单堆叠网络（平原网络）。在此，我们认为在每一层中的三个因素，包括初始化，字典设计和迭代次数极大地影响ML-CSC的性能。受这些考虑的启发，我们提出了两个新的多层模型--残差卷积稀疏编码模型（Res-CSC）和混合规模密集卷积稀疏编码模型（MSD-CSC），它们分别与残差神经网络（ResNet）和混合规模（扩张）密集神经网络（MSDNet）有密切的关系。在数学上，我们推导出ResNet中的捷径连接作为ML-CSC上新的前向传播规则的特殊情况。通过对MSD-CSC的分析，我们找到了MSDNet中膨胀卷积和稠密连接的理论解释，从而给出了对它们的清晰的数学理解。我们实现了迭代软阈值算法（ISTA）及其快速版本来解决Res-CSC和MSD-CSC，它可以使用展开操作进行进一步的改进。最后，利用三个典型数据集进行了大量的数值实验，并与竞争方法进行了比较，结果表明了本文方法的有效性。
2019-12-08 cs.CV cs.LG stat.ML
Depthwise Hyperparameter Transfer in Residual Networks: Dynamics and Scaling Limit
Harvard University（哈佛大学）；ETH Zürich（苏黎世联邦理工学院）；Princeton University（普林斯顿大学）
本文提出将残差分支尺度 1/√depth 与 μP 参数化结合，使 ResNet 和 ViT 的最优超参数可跨宽度与深度迁移，并以 DMFT 证明其联合无限宽、无限深极限。
2023-12-08 cond-mat.dis-nn cs.AI cs.LG
A Provable Defense for Deep Residual Networks
ETH Zurich（苏黎世联邦理工学院）
我们提出了一个训练系统，它可以证明比以前更大的神经网络，包括ResNet-34和DenseNet-100。我们的方法是基于可区分的抽象解释，并引入了两个新的概念：（i）抽象层微调的精度和可扩展性的抽象，（ii）一个灵活的域特定的语言（DSL）用于描述训练目标，结合抽象和具体的损失与任意规格。我们的训练方法在DiffAI系统中实现。
2020-01-07 cs.AI cs.CR cs.LG
Automated detection of corrosion in used nuclear fuel dry storage canisters using residual neural networks
Oak Ridge National Laboratory（橡树岭国家实验室）；North Carolina State University（北卡罗来纳州立大学）；University of California（加利福尼亚大学）；Arizona State University（亚利桑那州立大学）；Presbyterian College（长老会学院）；University of Tennessee（田纳西大学）；Electric Power Research Institute（电力研究院）
无损评估方法在确保许多行业的组件完整性和安全性方面发挥着重要作用。操作员疲劳可能在这种方法的可靠性中起关键作用。这对于检查高价值资产或具有高故障后果的资产（例如航空航天和核部件）非常重要。卷积神经网络的最新进展可以支持和自动化这些检查工作。本文提出了使用残差神经网络（ResNets）的实时检测的腐蚀，包括氧化铁变色，点蚀和应力腐蚀开裂，在干存储不锈钢罐住房用核燃料。所提出的方法将核罐图像裁剪成较小的瓦片，在这些瓦片上训练ResNet，并使用ResNet预测为腐蚀的瓦片的每图像计数将图像分类为腐蚀或完好。结果表明，这种深度学习方法可以通过较小的瓷砖检测腐蚀的位置，同时可以高精度地推断图像是否来自腐蚀的罐。因此，所提出的方法有望自动化和加速核燃料罐检查，以最大限度地减少检查成本，并部分取代人工进行的现场检查，从而减少人员的辐射剂量。
2020-07-13 cs.CV stat.AP stat.ML
