Muon as a Residual Connection
提出 Muon 优化器可视为训练中的隐式残差连接,通过正交化更新牺牲即时梯度保真度以改善下游层表示保留,并在线性优化中验证其平衡局部下降与下游可用性的机制。
2026-07-02 cs.AI cs.LG
Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校);Independent(独立);University of Oxford(牛津大学)
本文提出首个开源mHC语言模型,通过代表层面指标和因果干预分析多流架构,揭示并行流的信息编码与利用机制,引入系统性的流消除-救援框架进行因果比较。
2026-03-16 cs.AI cs.LG
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
使强化学习(RL)代理能够利用知识库,同时从经验中学习,有望在知识密集型领域推进RL。然而,事实证明,很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法,能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率,并推广到常识游戏中看不见的对象,但我们也研究了故障模式,如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections
Brain Corporation(Brain公司)
针对Transformer缺乏上下文相关特征和信息流调节的问题,本文提出评估器调节单元(EAU)与门控残差连接(GRC),通过动态调节注意力输出和选择性控制信息流,在NLP基准上展现出更强的适应性和效率。
2024-05-22 cs.AI cs.LG
Spectral-Sphere-Constrained Hyper-Connections
University of Maryland, College Park(马里兰大学 College Park 分校);University of Utah(犹他大学)
本文提出Spectral-Sphere-Constrained Hyper-Connections (sHC),通过将可行集从刚性多面体转换为谱范数球,允许负数条目,从而解锁选择性特征多样化,解决传统Birkhoff多面体约束的三个局限。
2026-09-28 cs.AI cs.LG
RRA: Recurrent Residual Attention for Sequence Learning
NEC Laboratories Europe(NEC欧洲实验室)
在本文中,我们提出了一个带有剩余注意力(RRA)的递归神经网络(RNN)来学习序列数据的长程依赖关系。我们建议在RNN中添加跨时间步的剩余连接,这显式地增强了当前状态和相隔几个时间步的隐藏状态之间的交互。这也允许训练误差通过残差连接直接反向传播,并有效地解决了梯度消失问题。我们进一步重构了剩余连接上的注意力机制。在计算当前状态时,定义了一个注意门来总结多个先前隐藏状态的个体贡献。我们在三个任务上评估RRA:添加问题,逐像素MNIST分类和IMDB数据集上的情感分析。我们的实验表明,与标准LSTM网络相比,RRA具有更好的性能,更快的收敛速度和更稳定的训练。此外,RRA显示出高度竞争力的性能,以国家的最先进的方法。
2017-09-12 cs.AI cs.LG
GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing
Indian Institute Of Technology, Bombay(印度理工学院孟买分校)
本文提出GGNNs,通过在消息传递机制中引入消息加权和残差连接来泛化GNNs,显著提升了图神经网络的学习能力与收敛速度。
2023-11-26 cs.AI cs.LG
Clenshaw Graph Neural Networks
Renmin University of China(中国人民大学)
图卷积网络(GCN)使用具有堆叠卷积层的消息传递范例,是用于学习图表示的基本方法。最近的GCN模型使用各种残差连接技术来减轻模型退化问题,如过度平滑和梯度消失。现有的剩余连接技术,然而,未能广泛使用的底层图的结构,在图的谱域,这是获得令人满意的结果heterophilic图的关键。在本文中,我们介绍ClenshawGCN,GNN模型,采用Clenshaw求和算法,以提高GCN模型的表达能力。ClenshawGCN为标准GCN模型配备了两个简单的残差模块:自适应初始残差连接和负二阶残差连接。我们表明,通过添加这两个残差模块,ClenshawGCN隐式地模拟了Chebyshev基下的多项式滤波器,使其至少具有与多项式谱GNNs一样的表达能力。此外,我们进行了全面的实验,以证明我们的模型优于空间和光谱GNN模型。
2022-11-03 cs.AI cs.LG
Analysis on Gradient Propagation in Batch Normalized Residual Networks
University of Southern California(南加州大学)
我们进行数学分析的效果批量归一化(BN)的梯度反向传播的残差网络的训练,这被认为是在解决梯度消失/爆炸问题中发挥了关键作用,在这项工作中。通过分别分析输入和梯度在通过BN和残差分支的前向和后向传递中的均值和方差行为,我们表明它们共同作用,将梯度方差限制在反向传播中残差块的一定范围内。因此,避免了梯度消失/爆炸问题。我们还显示了相对重要性的批量归一化w.r.t.剩余网络中的剩余分支。
2018-12-02 cs.LG stat.ML
Exploding and vanishing gradients in deep neural networks: the effect of residual connections
Department of Electrical Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校电子工程系)
利用乘法遍历理论分析深度神经网络中的梯度爆炸与消失现象,并解释残差连接对李雅普诺夫谱的影响。
2026-06-16 cs.LG math.OC
Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation
MIRAI;BRAIn Lab;Yandex Research;Innopolis University
本文通过细粒度诊断发现超连接中的多流残差连接存在流坍缩现象,即信号集中于主导流,并通过打破初始化对称性缓解该问题以提升性能。
2026-06-02 cs.AI cs.LG
ResiDual: Transformer with Dual Residual Connections
Microsoft Research(微软研究院);Microsoft Azure Translation(微软Azure翻译);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对Transformer中Post-LN梯度消失、Pre-LN表征坍缩的问题,提出融合二者残差连接的ResiDual架构,经理论和实验验证其性能更优,可作为AI模型基础架构。
2023-04-28 cs.AI cs.CL cs.LG
MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections
Beijing University of Posts and Telecommunications(北京邮电大学);ColorfulClouds Technology Co., Ltd.(彩云科技)
提出多路动态密集(MUDD)连接方法,根据序列位置和解耦输入流动态生成连接权重,以打破Transformer残差连接瓶颈,显著提升跨层信息流,在极低参数和计算开销下实现远超基线的性能。
2025-05-28 cs.AI cs.CL cs.LG
Support Vector Boosting Machine (SVBM): Enhancing Classification Performance with AdaBoost and Residual Connections
School of Mathematics and Computer Sciences, Zhejiang Agriculture and Forestry University(浙江农林大学数学与计算机科学学院)
针对AdaBoost框架中用SVM作弱学习器存在的适配与性能受限问题,提出融合新型子采样、SVM与残差连接的SVBM,通过结合当前与前序预测更新权重控制稀疏性,增强复杂决策边界形成能力以提升分类性能,并开源了MATLAB代码。
2024-10-09 cs.AI cs.LG
Hierarchical Residuals Exploit Brain-Inspired Compositionality
Frankfurt Institute for Advanced Studies(法兰克福高级研究所);Xidian-FIAS International Joint Research Center(西电-法兰克福高级研究所国际联合研究中心)
提出层次残差网络,通过模仿大脑皮层下到皮层的直接连接,在多种架构中提升准确率和学习速度,实现层次组合性。
2025-02-21 cs.AI cs.LG cs.NE
Residual Reservoir Memory Networks
Department of Computer Science(计算机科学系);University of Pisa(比萨大学)
提出一种新型无训练循环神经网络ResRMN,通过结合线性记忆储备与基于时间残差正交连接的非线性储备,增强长期输入传播,在时间序列和像素级一维分类任务中优于传统储备计算模型。
2026-05-29 cs.AI cs.LG
Investigating the Synergistic Effects of Dropout and Residual Connections on Language Model Training
Drexel University(德雷塞尔大学)
本文在 Tiny Shakespeare 上训练 decoder,系统分析分层 dropout、残差连接 dropout 及其交互,揭示正则化、收敛与泛化之间的关键权衡。
2024-10-01 cs.CL cs.LG
Adaptive Initial Residual Connections for GNNs with Theoretical Guarantees
本文提出一种自适应初始残差连接方法,为不同节点分配不同残差强度,首次在理论和实验上证明其能防止过度平滑,并在异配图上优于现有消息传递机制。
2025-11-10 cs.LG
RAR-U-Net: a Residual Encoder to Attention Decoder by Residual Connections Framework for Spine Segmentation under Noisy Labels
University of Oxford(牛津大学);Beihang University(北京航空航天大学)
医学图像的分割算法被广泛研究用于各种临床和研究目的。在本文中,我们提出了一种新的和有效的方法用于医学图像分割噪声标签。该方法在深度学习范式下运行,结合了四个新的贡献。首先,在不同尺度编码器中探索残差互连以有效地传递梯度信息。其次,四个复制和裁剪连接被替换为基于剩余块的级联,以减轻编码器和解码器之间的差异。第三,在所有尺度解码器上研究了用于特征细化的卷积注意力模块。最后,自适应去噪学习策略(ADL)被引入到训练过程中,以避免过多的噪声标签的影响。实验结果说明了一个公开的基准数据库的脊柱CT。我们提出的方法实现了竞争力的表现对其他国家的最先进的方法在各种不同的评估措施。
2021-06-16 cs.LG eess.IV
Geometry-Aware Hyperbolic Residual-Quantized Variational Autoencoders
Universiteit van Amsterdam(阿姆斯特丹大学)
针对残差量化在欧几里得空间忽视层次结构的问题,提出几何感知双曲残差量化,通过前向聚合与后向梯度路由提升稳定性,在层次任务中优于双曲基线,但纯压缩仍以欧氏方法为佳。
2026-09-28 cs.AI cs.LG
Robust Neural Pruning with Gradient Sampling Optimization for Residual Neural Networks
Stony Brook University(石溪大学)
本研究率先将梯度采样优化技术StochGradAdam整合到神经网络剪枝中,解决了资源受限场景下剪枝模型保持准确性的挑战,在CIFAR-10和残差架构上验证了其能有效保持性能。
2024-04-29 cs.LG
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University(普林斯顿大学)
通过提出一种新的初始化方法:零非对称(ZAS)初始化,分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下,对于任意目标矩阵,梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点,该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化(Xavier或近似恒等式)的$\exp(Ω(L))$收敛时间[Shamir,2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性,特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
Fading memory as inductive bias in residual recurrent networks
Ernst Strüngmann Institute(恩斯特·斯特伦格曼研究所);Frankfurt Institute for Advanced Studies(法兰克福高等研究院)
本文提出弱耦合残差循环网络(WCRNNs),通过引入残差连接研究其对网络动力学和衰减记忆特性的影响,发现特定残差连接能提升网络表达能力,并扩展至非线性残差与Elman RNNs初始化方案。
2024-01-03 cs.CV cs.LG
Residual Policy Gradient: A Reward View of KL-regularized Objective
University of California, Berkeley(加州大学伯克利分校)
本文提出残差策略梯度(RPG),将残差Q学习扩展到策略梯度方法,实现策略定制,并从奖励视角重新审视KL正则化目标,实验验证其有效性。
2025-05-23 cs.LG
Frac-Connections: Fractional Extension of Hyper-Connections
ByteDance Seed(字节跳动种子(字节跳动旗下机构))
针对 Hyper-Connections 扩展隐藏状态宽度导致内存访问成本升高的问题,本文提出划分隐藏状态的 Frac-Connections,并在最高 3T tokens 训练的 7B MoE 模型上验证其显著优于残差连接。
2025-03-18 cs.AI cs.CL cs.LG
KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices
University of Technology Sydney(悉尼科技大学)
针对超连接中的训练不稳定和参数爆炸问题,提出KromHC方法,利用Kronecker积分解小规模双随机矩阵来参数化残差矩阵,在保证精确双随机性的同时将参数复杂度降至O(n^2C)。
2026-06-01 cs.CL cs.LG
Accelerated Training through Iterative Gradient Propagation Along the Residual Path
Université Paris Dauphine-PSL(巴黎多芬大学-PSL大学);Foxstream(福克斯流公司);ESPCI PSL(巴黎高等物理与化学工业学校-PSL大学)
本文提出Highway反向传播算法,通过沿残差路径迭代累积梯度并并行传播,加速深度模型训练,在多种架构上实现显著提速且性能损失极小。
2025-03-29 cs.LG
A Kernel Perspective of Skip Connections in Convolutional Networks
Weizmann Institute of Science(魏茨曼科学研究所)
过参数化残差网络(ResNets)是用于图像处理的最成功的卷积神经架构之一。在这里,我们通过高斯过程和神经切线核来研究它们的性质。我们推导出这些内核的显式公式,分析其频谱,并提供其隐含的条件数的界限。我们的研究结果表明:(1)在ReLU激活的情况下,与不使用跳过连接时的相同内核相比,这些残留内核的特征值以类似的速率多项式衰减,从而保持类似的频率偏差;(2)然而,残留内核更具局部偏差。我们的分析进一步表明,通过这些残差核获得的矩阵在有限深度处产生比没有跳过连接获得的矩阵更有利的条件数,从而使梯度下降的训练能够更快地收敛。
2023-02-28 cs.LG
mHC: Manifold-Constrained Hyper-Connections
DeepSeek-AI(深Seek人工智能)
mHC通过流形约束恢复残差连接的身份映射属性,提升模型的可扩展性和效率。
2026-01-05 cs.AI cs.CL cs.LG
SplitLite: Low-Rank Residual Compression for Split Learning
The University of Hong Kong(香港大学);California Institute of Technology(加州理工学院)
本文针对设备端LLM联邦微调的高通信成本问题,提出SplitLite方法,利用残差的低秩结构压缩传输量,在保持性能的同时大幅降低了通信成本。
2026-11-11 cs.AI cs.LG
RMNet: Equivalently Removing Residual Connection from Networks
Tencent Youtu Lab(腾讯优图实验室);University of California, Santa Cruz(加州大学圣克鲁兹分校)
虽然剩余连接能够训练非常深的神经网络,但由于其多分支拓扑结构,它对于在线推理并不友好。这鼓励了许多研究人员致力于设计在推理时没有剩余连接的DNN。例如,RepVGG在部署时将多分支拓扑重新参数化为类似VGG的(单分支)模型,在网络相对较浅时显示出出色的性能。然而,RepVGG不能将ResNet等效地转换为VGG,因为重新参数化方法只能应用于线性块,并且非线性层(ReLU)必须放在剩余连接之外,这导致表示能力有限,特别是对于更深的网络。在本文中,我们的目标是解决这个问题,并提出通过ResBlock上的保留和合并(RM)操作来等效地删除vanilla ResNet中的剩余连接。具体地说,RM操作允许输入特征图通过块,同时保留它们的信息,并在每个块的末尾合并所有信息,这可以在不改变原始输出的情况下去除残留连接。RM操作作为一种插件式的方法,基本上有三个优点:1)它的实现使得它对高比率网络修剪自然友好。2)它有助于打破RepVGG的深度限制。3)与ResNet和RepVGG相比,它导致了更好的精度-速度权衡网络(RMNet)。我们相信RM运营的理念可以在未来为社区提供许多模型设计方面的启发。代码可从以下网址获得:https://github.com/fxmeng/RMNet。
2021-11-01 cs.CV cs.LG
Mechanisms of Width Scaling in Normalized Residual Networks: The Effective Alignment Dimension
研究神经网络宽度缩放问题,引入有效对齐维度,推导训练与测试梯度内积的均值和方差以获失准概率上界,集成到框架得测试风险改进条件,实验表明宽模型有效对齐维度大、失准低,对齐统计量可预测损失变化。
2026-07-29 cs.AI cs.LG
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks
University of Oxford(牛津大学);Instadeep Ltd(Instadeep有限公司);University of Southern California(南加州大学)
我们证明了梯度下降的线性收敛到一个全局最优的深度残差网络的训练与恒定的层宽度和光滑的激活函数。我们表明,如果训练的权重,作为一个函数的层索引,承认一个缩放限制的深度增加,那么限制有有限的$p-$变化与$p=2$。证明是基于非渐近估计的损失函数和范数的网络权重沿梯度下降path.We说明了我们的理论结果的相关性,实际设置使用详细的数值实验监督学习问题。
2023-01-25 cs.LG math.OC
Residual Networks Behave Like Ensembles of Relatively Shallow Networks
Cornell University(康奈尔大学)
在这项工作中,我们提出了一种新的解释剩余网络表明,它们可以被看作是一个集合的许多路径的不同长度。此外,残差网络似乎通过在训练期间仅利用短路径来实现非常深的网络。为了支持这一观察,我们将剩余网络重写为路径的显式集合。与传统模型不同,通过剩余网络的路径长度不同。此外,病变研究表明,这些路径表现出合奏般的行为,在这个意义上,他们并不强烈地依赖于对方。最后,也是最令人惊讶的是,大多数路径都比预期的要短,在训练过程中只需要短路径,因为较长的路径不会产生任何梯度。例如,在一个有110层的残差网络中,大部分梯度来自于只有10-34层深的路径。我们的研究结果揭示了一个似乎能够训练非常深的网络的关键特征:残差网络通过引入可以在非常深的网络范围内携带梯度的短路径来避免梯度消失问题。
2016-10-27 cs.AI cs.CV cs.LG
DeepCrossAttention: Supercharging Transformer Residual Connections
Department of Computer Science, University of California, Irvine, USA(加州大学尔湾分校计算机科学系);Marshall School of Business, University of Southern California, Los Angeles, USA(南加州大学马歇尔商学院);Google Research, New York, USA(谷歌研究)
本文提出 DeepCrossAttention(DCA),通过输入依赖的动态权重和深度交叉注意力改进 Transformer 残差连接,在几乎不增加参数的情况下提升语言建模效率,并给出理论权衡条件。
2025-07-23 cs.LG
Wasserstein Residuals: Learning Gradient Flows from Population Dynamics
Basis Research Institute(基础研究机构);Aalto University(艾尔沃斯大学);Brown University(布朗大学);University of Toronto(多伦多大学);MIT(麻省理工学院)
针对传统Wasserstein梯度流JKO方法离散不灵活、计算成本高的问题,提出基于残差的新目标与无仿真粒子方法stitching,在轨迹推断基准上取得SOTA性能。
2026-07-07 cs.AI cs.LG stat.ML
Quantifying Depth Sufficiency in Residual Neural Networks: A First-Order Criterion
该研究提出一阶准则量化残差神经网络的深度充分性,证明残差非退化是深度有一阶价值的充要条件,验证激活梯度幅度可作为深度剩余一阶价值的保守诊断指标。
2026-08-18 cs.LG
Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs
本文提出GraphNormv2,通过理论分析证明残差连接和归一化层能防止GNNs中的过平滑问题,并通过实验验证其有效性。
2025-05-26 cs.LG
Identity Connections in Residual Nets Improve Noise Stability
Duke University(杜克大学)
残差神经网络(ResNets)在许多计算机视觉问题中实现了最先进的性能。与没有剩余连接的普通网络(PlnNets)相比,ResNets训练更快,泛化更好,并且遭受所谓的退化问题更少。我们引入简化(但仍然是非线性的)版本的ResNets和PlnNets,这些差异仍然存在,尽管程度较低。我们建立了简化ResNet和简化PlnNet之间的1-1映射,并证明了它们在相同的计算复杂性下在表达能力上是完全等价的。我们推测ResNets的泛化能力更好,因为它们具有更好的噪声稳定性,并且在经验上支持简化和完全成熟的网络。
2019-05-27 cs.CV cs.LG stat.ML
Auxiliary Finite-Difference Residual-Gradient Regularization for PINNs
Computational Sciences Laboratory, Department of Mechanical Engineering, University of Cyprus(塞浦路斯大学机械工程系计算科学实验室)
本文提出一种混合PINN设计,通过有限差分在弱辅助项中正则化残差场,提升物理量精度与残差清洁度。实验显示,辅助壳正则化在三维热传导中有效降低边界条件误差和壁面热流误差。
2026-04-15 cs.AI cs.CE cs.LG
ReMAP: Lossless Residual Neural Lifting for Scalable MAP Inference in Arbitrary-Order Markov Random Fields
School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳));Shenzhen Research Institute of Big Data, China(大数据深圳研究院,中国)
ReMAP通过神经重参数化框架直接优化马尔可夫随机场的能量松弛,支持任意阶因子和异质标签基数,实现高效GPU执行,优于近似基线和Toulbar2在大规模实例中的表现。
2026-10-14 cs.AI cs.LG
Residual connections provably mitigate oversmoothing in graph neural networks
Massachusetts Institute of Technology(麻省理工学院)
本文基于乘性遍历定理推导归一化顶点相似性度量的收敛速率,证明残差连接能在多类参数分布下缓解或防止深层 GNN 的过平滑,并经数值实验验证。
2025-01-04 cs.LG math.DS math.PR
On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
Michigan Institute for Computational Discovery and Engineering, Department of Electrical Engineering and Computer Science, Department of Statistics, University of Michigan(密歇根大学计算发现与工程研究所、电气工程与计算机科学系、统计系);Department of Computer Science and Engineering, The Ohio State University(俄亥俄州立大学计算机科学与工程系)
本文研究了带有残差连接的单层Transformer模型中梯度下降的收敛性,证明了在适当初始化下具有线性收敛速度,并探讨了残差连接对优化稳定性的影响。
2026-04-13 cs.LG math.OC
XAttnRes: Cross-Stage Attention Residuals for Medical Image Segmentation
Imperial College London(伦敦帝国学院);University of Nottingham(诺丁汉大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出XAttnRes机制,通过轻量级伪查询注意力实现跨阶段特征聚合,提升医学图像分割性能。
2026-03-28 cs.AI cs.CV cs.LG
Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning
University of Amsterdam(阿姆斯特丹大学)
研究将流形约束超连接作为参数高效微调新方法,包裹冻结主干。发现其与预训练设置作用不同,固定残差混合矩阵有益。独立时不比LoRA优,但mHC+LoRA组合在特定规模下有优势,确定残差路由是有前景的新型PEFT轴。
2026-10-08 cs.LG
Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
School of Microelectronics University of Science and Technology of China(微电子学院 中国科学技术大学)
本文提出一种受大脑启发的反馈调节残差循环神经网络(FRE-RNN),通过减少谱半径加速收敛,显著降低计算成本,性能与反向传播相当,同时缓解深度RNN中梯度消失问题。
2026-05-07 cs.AI cs.LG cs.NE
Functional Gradient Boosting based on Residual Network Perception
The University of Tokyo(东京大学);RIKEN(理化学研究所)
残差网络(ResNet)已经成为深度学习中最先进的模型,一些理论研究致力于理解为什么ResNet如此有效。关于ResNet的一个有吸引力的观点是,它通过组合有效特征的集合来优化功能空间中的风险。在本文中,我们采用这种观点,构建一个新的梯度提升方法,这是已知的是非常强大的数据分析。为此,我们使用函数梯度的概念在数学上形式化了ResNet的梯度提升视角,并通过利用ResNet感知提出了一种名为ResFGB的分类任务的新方法。从优化的角度提供了两种类型的泛化保证:一种是边际界,另一种是样本分裂技术的预期风险界。实验结果表明,所提出的方法优于国家的最先进的方法,如LightGBM的性能。
2018-07-08 cs.LG stat.ML
Maximum and Leaky Maximum Propagation
University Tübingen(图宾根大学)
在这项工作中,我们提出了一种替代传统的剩余连接,这是由maxout网的启发。这意味着,我们的方法只传播最大值,而不是剩余连接中的加法,或者在泄漏公式中,传播两者的百分比。在我们的评估中,我们在不同的公共数据集上显示,所提出的方法与残差连接相当,并且具有其他有趣的特性,例如具有恒定批量归一化的更好的泛化,更快的学习,以及在没有额外的激活函数的情况下泛化的可能性。此外,所提出的方法工作得很好,如果合奏与剩余网络一起形成。https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/? p=%2F最大值&mode =list
2021-09-08 cs.LG
Why ResNet Works? Residuals Generalize
University of Sydney(悉尼大学)
剩余连接显著提高了深度神经网络的性能。然而,很少有理论结果解决残差对深度神经网络的假设复杂性和泛化能力的影响。本文从假设空间的覆盖数角度研究了剩余连接对神经网络假设复杂度的影响。证明了当权矩阵和非线性项的总数固定时,覆盖数的上界与链式神经网络相同,无论它们是否在残差中.这一结果表明,与链状网络相比,剩余连接可能不会增加神经网络的假设复杂性。基于覆盖数的上界,我们然后获得ResNet的基于$\mathcal O(1 / \sqrt{N})$边缘的多类泛化界,作为具有剩余连接的任何深度神经网络的示例情况。对于类似的最先进的神经网络架构(如DenseNet和ResNeXt)的泛化保证是直接的。从我们的泛化界中总结出一种实际的实现方法:为了获得良好的泛化能力,我们需要使用正则化项来控制权矩阵的范数的大小不增加太多,这证明了标准的权衰减技术是正确的。
2019-04-02 cs.LG stat.ML
ReGRA: Residual-Gradient Adaptation for Complementary Low-Rank Fine-Tuning
Communication University of China(中国传媒大学);National University of Singapore(新加坡国立大学);Xidian University(西安电子科技大学)
ReGRA是一种两阶段低秩微调方法,通过利用残差梯度和正交正则化提升固定秩预算的使用效率,在相同总秩下性能优于同类方法,可匹配两倍秩的LoRA适配器。
2026-10-14 cs.LG
Muon Under Gradient Noise and the Limits of Orthogonalization Near Optima
本文研究Muon在噪声主导优化下的行为,发现其正交化引入非线性残差,增加协方差并提高损失下限,理论建议在噪声主导时用响应匹配的动量SGD替代正交化。
2026-09-29 cs.LG
DepthBench: Measuring How Residual Connections Enable More Computational Depth
本文提出DepthBench基准,通过控制模型规模和预训练设置、变化宽深比,在10种架构上系统评估残差连接对计算深度的影响,发现残差连接设计是决定深度能否有效扩展的关键因素。
2026-09-29 cs.AI cs.CV cs.LG
Development of Skip Connection in Deep Neural Networks for Computer Vision and Medical Image Analysis: A Survey
School of Computer Science and Engineering, Hubei Key Laboratory of Intelligent Robot, Wuhan Institute of Technology(计算机科学与工程学院、智能机器人湖北省重点实验室、武汉理工大学);School of Computer Science, Wuhan University(计算机科学学院、武汉大学)
本综述系统梳理了深度神经网络中跳跃连接的发展历史、残差学习机制及其在训练和测试中的有效性,并总结了相关经典论文、代码、模型和数据集,展望了未来研究方向。
2024-05-02 cs.CV cs.LG eess.IV
Towards Understanding the Importance of Shortcut Connections in Residual Networks
Georgia Tech(佐治亚理工学院);Duke University(杜克大学);Institute of Advanced Study(高等研究院);Peking University(北京大学);CMU(卡内基梅隆大学)
残差网络(ResNet)无疑是深度学习的一个里程碑。ResNet配备了层之间的快捷连接,并使用简单的一阶算法进行有效的训练。尽管取得了巨大的实证成功,但背后的原因还远未得到很好的理解。在本文中,我们研究了一个两层非重叠卷积ResNet。训练这样的网络需要解决具有伪局部最优值的非凸优化问题。然而,我们表明,梯度下降结合适当的规范化,避免被困在虚假的局部最优,并收敛到全局最优的多项式时间,当第一层的权重初始化为0,第二层的初始化任意球。数值实验支持我们的理论。
2019-11-02 cs.LG math.OC stat.ML