ANCRe: Adaptive Neural Connection Reassignment for Efficient Depth Scaling
University of Minnesota(明尼苏达大学);ETH Zurich(苏黎世联邦理工学院)
ANCRe通过适应性神经连接重新分配,有效提升深度扩展效率,加速收敛并提高性能。
2026-11-13 cs.AI cs.LG
Ablate and Rescue: A Causal Analysis of Residual Stream Hyper-Connections
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加州大学伯克利分校);Independent(独立);University of Oxford(牛津大学)
本文提出首个开源mHC语言模型,通过代表层面指标和因果干预分析多流架构,揭示并行流的信息编码与利用机制,引入系统性的流消除-救援框架进行因果比较。
2026-03-16 cs.AI cs.LG
Dynamic Context Adaptation and Information Flow Control in Transformers: Introducing the Evaluator Adjuster Unit and Gated Residual Connections
Brain Corporation(Brain公司)
针对Transformer缺乏上下文相关特征和信息流调节的问题,本文提出评估器调节单元(EAU)与门控残差连接(GRC),通过动态调节注意力输出和选择性控制信息流,在NLP基准上展现出更强的适应性和效率。
2024-05-22 cs.AI cs.LG
Spectral-Sphere-Constrained Hyper-Connections
University of Maryland, College Park(马里兰大学 College Park 分校);University of Utah(犹他大学)
本文提出Spectral-Sphere-Constrained Hyper-Connections (sHC),通过将可行集从刚性多面体转换为谱范数球,允许负数条目,从而解锁选择性特征多样化,解决传统Birkhoff多面体约束的三个局限。
2026-09-28 cs.AI cs.LG
RRA: Recurrent Residual Attention for Sequence Learning
NEC Laboratories Europe(NEC欧洲实验室)
在本文中,我们提出了一个带有剩余注意力(RRA)的递归神经网络(RNN)来学习序列数据的长程依赖关系。我们建议在RNN中添加跨时间步的剩余连接,这显式地增强了当前状态和相隔几个时间步的隐藏状态之间的交互。这也允许训练误差通过残差连接直接反向传播,并有效地解决了梯度消失问题。我们进一步重构了剩余连接上的注意力机制。在计算当前状态时,定义了一个注意门来总结多个先前隐藏状态的个体贡献。我们在三个任务上评估RRA:添加问题,逐像素MNIST分类和IMDB数据集上的情感分析。我们的实验表明,与标准LSTM网络相比,RRA具有更好的性能,更快的收敛速度和更稳定的训练。此外,RRA显示出高度竞争力的性能,以国家的最先进的方法。
2017-09-12 cs.AI cs.LG
GGNNs : Generalizing GNNs using Residual Connections and Weighted Message Passing
Indian Institute Of Technology, Bombay(印度理工学院孟买分校)
本文提出GGNNs,通过在消息传递机制中引入消息加权和残差连接来泛化GNNs,显著提升了图神经网络的学习能力与收敛速度。
2023-11-26 cs.AI cs.LG
Clenshaw Graph Neural Networks
Renmin University of China(中国人民大学)
图卷积网络(GCN)使用具有堆叠卷积层的消息传递范例,是用于学习图表示的基本方法。最近的GCN模型使用各种残差连接技术来减轻模型退化问题,如过度平滑和梯度消失。现有的剩余连接技术,然而,未能广泛使用的底层图的结构,在图的谱域,这是获得令人满意的结果heterophilic图的关键。在本文中,我们介绍ClenshawGCN,GNN模型,采用Clenshaw求和算法,以提高GCN模型的表达能力。ClenshawGCN为标准GCN模型配备了两个简单的残差模块:自适应初始残差连接和负二阶残差连接。我们表明,通过添加这两个残差模块,ClenshawGCN隐式地模拟了Chebyshev基下的多项式滤波器,使其至少具有与多项式谱GNNs一样的表达能力。此外,我们进行了全面的实验,以证明我们的模型优于空间和光谱GNN模型。
2022-11-03 cs.AI cs.LG
Analyzing Stream Collapse in Hyper-Connections: From Diagnosis to Mitigation
MIRAI;BRAIn Lab;Yandex Research;Innopolis University
本文通过细粒度诊断发现超连接中的多流残差连接存在流坍缩现象,即信号集中于主导流,并通过打破初始化对称性缓解该问题以提升性能。
2026-06-02 cs.AI cs.LG
ResiDual: Transformer with Dual Residual Connections
Microsoft Research(微软研究院);Microsoft Azure Translation(微软Azure翻译);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对Transformer中Post-LN梯度消失、Pre-LN表征坍缩的问题,提出融合二者残差连接的ResiDual架构,经理论和实验验证其性能更优,可作为AI模型基础架构。
2023-04-28 cs.AI cs.CL cs.LG
Exploding and vanishing gradients in deep neural networks: the effect of residual connections
Department of Electrical Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校电子工程系)
利用乘法遍历理论分析深度神经网络中的梯度爆炸与消失现象,并解释残差连接对李雅普诺夫谱的影响。
2026-06-16 cs.LG math.OC
MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections
Beijing University of Posts and Telecommunications(北京邮电大学);ColorfulClouds Technology Co., Ltd.(彩云科技)
提出多路动态密集(MUDD)连接方法,根据序列位置和解耦输入流动态生成连接权重,以打破Transformer残差连接瓶颈,显著提升跨层信息流,在极低参数和计算开销下实现远超基线的性能。
2025-05-28 cs.AI cs.CL cs.LG
Support Vector Boosting Machine (SVBM): Enhancing Classification Performance with AdaBoost and Residual Connections
School of Mathematics and Computer Sciences, Zhejiang Agriculture and Forestry University(浙江农林大学数学与计算机科学学院)
针对AdaBoost框架中用SVM作弱学习器存在的适配与性能受限问题,提出融合新型子采样、SVM与残差连接的SVBM,通过结合当前与前序预测更新权重控制稀疏性,增强复杂决策边界形成能力以提升分类性能,并开源了MATLAB代码。
2024-10-09 cs.AI cs.LG
Residual Reservoir Memory Networks
Department of Computer Science(计算机科学系);University of Pisa(比萨大学)
提出一种新型无训练循环神经网络ResRMN,通过结合线性记忆储备与基于时间残差正交连接的非线性储备,增强长期输入传播,在时间序列和像素级一维分类任务中优于传统储备计算模型。
2026-05-29 cs.AI cs.LG
Hierarchical Residuals Exploit Brain-Inspired Compositionality
Frankfurt Institute for Advanced Studies(法兰克福高级研究所);Xidian-FIAS International Joint Research Center(西电-法兰克福高级研究所国际联合研究中心)
提出层次残差网络,通过模仿大脑皮层下到皮层的直接连接,在多种架构中提升准确率和学习速度,实现层次组合性。
2025-02-21 cs.AI cs.LG cs.NE
Adaptive Initial Residual Connections for GNNs with Theoretical Guarantees
本文提出一种自适应初始残差连接方法,为不同节点分配不同残差强度,首次在理论和实验上证明其能防止过度平滑,并在异配图上优于现有消息传递机制。
2025-11-10 cs.LG
Investigating the Synergistic Effects of Dropout and Residual Connections on Language Model Training
Drexel University(德雷塞尔大学)
本文在 Tiny Shakespeare 上训练 decoder,系统分析分层 dropout、残差连接 dropout 及其交互,揭示正则化、收敛与泛化之间的关键权衡。
2024-10-01 cs.CL cs.LG
RAR-U-Net: a Residual Encoder to Attention Decoder by Residual Connections Framework for Spine Segmentation under Noisy Labels
University of Oxford(牛津大学);Beihang University(北京航空航天大学)
医学图像的分割算法被广泛研究用于各种临床和研究目的。在本文中,我们提出了一种新的和有效的方法用于医学图像分割噪声标签。该方法在深度学习范式下运行,结合了四个新的贡献。首先,在不同尺度编码器中探索残差互连以有效地传递梯度信息。其次,四个复制和裁剪连接被替换为基于剩余块的级联,以减轻编码器和解码器之间的差异。第三,在所有尺度解码器上研究了用于特征细化的卷积注意力模块。最后,自适应去噪学习策略(ADL)被引入到训练过程中,以避免过多的噪声标签的影响。实验结果说明了一个公开的基准数据库的脊柱CT。我们提出的方法实现了竞争力的表现对其他国家的最先进的方法在各种不同的评估措施。
2021-06-16 cs.LG eess.IV
Frac-Connections: Fractional Extension of Hyper-Connections
ByteDance Seed(字节跳动种子(字节跳动旗下机构))
针对 Hyper-Connections 扩展隐藏状态宽度导致内存访问成本升高的问题,本文提出划分隐藏状态的 Frac-Connections,并在最高 3T tokens 训练的 7B MoE 模型上验证其显著优于残差连接。
2025-03-18 cs.AI cs.CL cs.LG
Fading memory as inductive bias in residual recurrent networks
Ernst Strüngmann Institute(恩斯特·斯特伦格曼研究所);Frankfurt Institute for Advanced Studies(法兰克福高等研究院)
本文提出弱耦合残差循环网络(WCRNNs),通过引入残差连接研究其对网络动力学和衰减记忆特性的影响,发现特定残差连接能提升网络表达能力,并扩展至非线性残差与Elman RNNs初始化方案。
2024-01-03 cs.CV cs.LG
mHC: Manifold-Constrained Hyper-Connections
DeepSeek-AI(深Seek人工智能)
mHC通过流形约束恢复残差连接的身份映射属性,提升模型的可扩展性和效率。
2026-01-05 cs.AI cs.CL cs.LG
A Kernel Perspective of Skip Connections in Convolutional Networks
Weizmann Institute of Science(魏茨曼科学研究所)
过参数化残差网络(ResNets)是用于图像处理的最成功的卷积神经架构之一。在这里,我们通过高斯过程和神经切线核来研究它们的性质。我们推导出这些内核的显式公式,分析其频谱,并提供其隐含的条件数的界限。我们的研究结果表明:(1)在ReLU激活的情况下,与不使用跳过连接时的相同内核相比,这些残留内核的特征值以类似的速率多项式衰减,从而保持类似的频率偏差;(2)然而,残留内核更具局部偏差。我们的分析进一步表明,通过这些残差核获得的矩阵在有限深度处产生比没有跳过连接获得的矩阵更有利的条件数,从而使梯度下降的训练能够更快地收敛。
2023-02-28 cs.LG
KromHC: Manifold-Constrained Hyper-Connections with Kronecker-Product Residual Matrices
University of Technology Sydney(悉尼科技大学)
针对超连接中的训练不稳定和参数爆炸问题,提出KromHC方法,利用Kronecker积分解小规模双随机矩阵来参数化残差矩阵,在保证精确双随机性的同时将参数复杂度降至O(n^2C)。
2026-06-01 cs.CL cs.LG
RMNet: Equivalently Removing Residual Connection from Networks
Tencent Youtu Lab(腾讯优图实验室);University of California, Santa Cruz(加州大学圣克鲁兹分校)
虽然剩余连接能够训练非常深的神经网络,但由于其多分支拓扑结构,它对于在线推理并不友好。这鼓励了许多研究人员致力于设计在推理时没有剩余连接的DNN。例如,RepVGG在部署时将多分支拓扑重新参数化为类似VGG的(单分支)模型,在网络相对较浅时显示出出色的性能。然而,RepVGG不能将ResNet等效地转换为VGG,因为重新参数化方法只能应用于线性块,并且非线性层(ReLU)必须放在剩余连接之外,这导致表示能力有限,特别是对于更深的网络。在本文中,我们的目标是解决这个问题,并提出通过ResBlock上的保留和合并(RM)操作来等效地删除vanilla ResNet中的剩余连接。具体地说,RM操作允许输入特征图通过块,同时保留它们的信息,并在每个块的末尾合并所有信息,这可以在不改变原始输出的情况下去除残留连接。RM操作作为一种插件式的方法,基本上有三个优点:1)它的实现使得它对高比率网络修剪自然友好。2)它有助于打破RepVGG的深度限制。3)与ResNet和RepVGG相比,它导致了更好的精度-速度权衡网络(RMNet)。我们相信RM运营的理念可以在未来为社区提供许多模型设计方面的启发。代码可从以下网址获得:https://github.com/fxmeng/RMNet。
2021-11-01 cs.CV cs.LG
DeepCrossAttention: Supercharging Transformer Residual Connections
Department of Computer Science, University of California, Irvine, USA(加州大学尔湾分校计算机科学系);Marshall School of Business, University of Southern California, Los Angeles, USA(南加州大学马歇尔商学院);Google Research, New York, USA(谷歌研究)
本文提出 DeepCrossAttention(DCA),通过输入依赖的动态权重和深度交叉注意力改进 Transformer 残差连接,在几乎不增加参数的情况下提升语言建模效率,并给出理论权衡条件。
2025-07-23 cs.LG
Residual Connections and Normalization Can Provably Prevent Oversmoothing in GNNs
本文提出GraphNormv2,通过理论分析证明残差连接和归一化层能防止GNNs中的过平滑问题,并通过实验验证其有效性。
2025-05-26 cs.LG
AdaResNet: Enhancing Residual Networks with Dynamic Weight Adjustment for Improved Feature Integration
School of Computer Science, Chengdu University of Information Technology(成都信息工程大学计算机学院)
针对深度残差网络跳跃连接中输入与变换数据权重固定、适配性差的问题,提出可动态调整二者比例的AdaResNet,准确率较传统ResNet最高提升超50%。
2024-08-19 cs.AI cs.LG
Identity Connections in Residual Nets Improve Noise Stability
Duke University(杜克大学)
残差神经网络(ResNets)在许多计算机视觉问题中实现了最先进的性能。与没有剩余连接的普通网络(PlnNets)相比,ResNets训练更快,泛化更好,并且遭受所谓的退化问题更少。我们引入简化(但仍然是非线性的)版本的ResNets和PlnNets,这些差异仍然存在,尽管程度较低。我们建立了简化ResNet和简化PlnNet之间的1-1映射,并证明了它们在相同的计算复杂性下在表达能力上是完全等价的。我们推测ResNets的泛化能力更好,因为它们具有更好的噪声稳定性,并且在经验上支持简化和完全成熟的网络。
2019-05-27 cs.CV cs.LG stat.ML
XAttnRes: Cross-Stage Attention Residuals for Medical Image Segmentation
Imperial College London(伦敦帝国学院);University of Nottingham(诺丁汉大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出XAttnRes机制,通过轻量级伪查询注意力实现跨阶段特征聚合,提升医学图像分割性能。
2026-03-28 cs.AI cs.CV cs.LG
Residual connections provably mitigate oversmoothing in graph neural networks
Massachusetts Institute of Technology(麻省理工学院)
本文基于乘性遍历定理推导归一化顶点相似性度量的收敛速率,证明残差连接能在多类参数分布下缓解或防止深层 GNN 的过平滑,并经数值实验验证。
2025-01-04 cs.LG math.DS math.PR
On the Convergence of Gradient Descent on Learning Transformers with Residual Connections
Michigan Institute for Computational Discovery and Engineering, Department of Electrical Engineering and Computer Science, Department of Statistics, University of Michigan(密歇根大学计算发现与工程研究所、电气工程与计算机科学系、统计系);Department of Computer Science and Engineering, The Ohio State University(俄亥俄州立大学计算机科学与工程系)
本文研究了带有残差连接的单层Transformer模型中梯度下降的收敛性,证明了在适当初始化下具有线性收敛速度,并探讨了残差连接对优化稳定性的影响。
2026-04-13 cs.LG math.OC
Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning
University of Amsterdam(阿姆斯特丹大学)
研究将流形约束超连接作为参数高效微调新方法,包裹冻结主干。发现其与预训练设置作用不同,固定残差混合矩阵有益。独立时不比LoRA优,但mHC+LoRA组合在特定规模下有优势,确定残差路由是有前景的新型PEFT轴。
2026-10-08 cs.LG
Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
School of Microelectronics University of Science and Technology of China(微电子学院 中国科学技术大学)
本文提出一种受大脑启发的反馈调节残差循环神经网络(FRE-RNN),通过减少谱半径加速收敛,显著降低计算成本,性能与反向传播相当,同时缓解深度RNN中梯度消失问题。
2026-05-07 cs.AI cs.LG cs.NE
JPmHC Dynamical Isometry via Orthogonal Hyper-Connections
JP Morgan Chase & Co.(摩根大通公司)
JPmHC通过正交超连接实现动力学等距,提升深度学习的稳定性与效率。
2026-11-10 cs.AI cs.LG
Maximum and Leaky Maximum Propagation
University Tübingen(图宾根大学)
在这项工作中,我们提出了一种替代传统的剩余连接,这是由maxout网的启发。这意味着,我们的方法只传播最大值,而不是剩余连接中的加法,或者在泄漏公式中,传播两者的百分比。在我们的评估中,我们在不同的公共数据集上显示,所提出的方法与残差连接相当,并且具有其他有趣的特性,例如具有恒定批量归一化的更好的泛化,更快的学习,以及在没有额外的激活函数的情况下泛化的可能性。此外,所提出的方法工作得很好,如果合奏与剩余网络一起形成。https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/? p=%2F最大值&mode =list
2021-09-08 cs.LG
Why ResNet Works? Residuals Generalize
University of Sydney(悉尼大学)
剩余连接显著提高了深度神经网络的性能。然而,很少有理论结果解决残差对深度神经网络的假设复杂性和泛化能力的影响。本文从假设空间的覆盖数角度研究了剩余连接对神经网络假设复杂度的影响。证明了当权矩阵和非线性项的总数固定时,覆盖数的上界与链式神经网络相同,无论它们是否在残差中.这一结果表明,与链状网络相比,剩余连接可能不会增加神经网络的假设复杂性。基于覆盖数的上界,我们然后获得ResNet的基于$\mathcal O(1 / \sqrt{N})$边缘的多类泛化界,作为具有剩余连接的任何深度神经网络的示例情况。对于类似的最先进的神经网络架构(如DenseNet和ResNeXt)的泛化保证是直接的。从我们的泛化界中总结出一种实际的实现方法:为了获得良好的泛化能力,我们需要使用正则化项来控制权矩阵的范数的大小不增加太多,这证明了标准的权衰减技术是正确的。
2019-04-02 cs.LG stat.ML
DepthBench: Measuring How Residual Connections Enable More Computational Depth
本文提出DepthBench基准,通过控制模型规模和预训练设置、变化宽深比,在10种架构上系统评估残差连接对计算深度的影响,发现残差连接设计是决定深度能否有效扩展的关键因素。
2026-09-29 cs.AI cs.CV cs.LG
LAuReL: Learned Augmented Residual Layer
Google Research, Mountain View, CA.(谷歌研究,山景城,加利福尼亚州);Google Research, New York, NY.(谷歌研究,纽约,纽约州)
本文提出学习增强残差层(LAuReL)作为规范残差连接的原位替代,以极少的额外参数显著提升了视觉与语言模型的性能。
2025-06-24 cs.AI cs.CV cs.LG
Development of Skip Connection in Deep Neural Networks for Computer Vision and Medical Image Analysis: A Survey
School of Computer Science and Engineering, Hubei Key Laboratory of Intelligent Robot, Wuhan Institute of Technology(计算机科学与工程学院、智能机器人湖北省重点实验室、武汉理工大学);School of Computer Science, Wuhan University(计算机科学学院、武汉大学)
本综述系统梳理了深度神经网络中跳跃连接的发展历史、残差学习机制及其在训练和测试中的有效性,并总结了相关经典论文、代码、模型和数据集,展望了未来研究方向。
2024-05-02 cs.CV cs.LG eess.IV
Towards Understanding the Importance of Shortcut Connections in Residual Networks
Georgia Tech(佐治亚理工学院);Duke University(杜克大学);Institute of Advanced Study(高等研究院);Peking University(北京大学);CMU(卡内基梅隆大学)
残差网络(ResNet)无疑是深度学习的一个里程碑。ResNet配备了层之间的快捷连接,并使用简单的一阶算法进行有效的训练。尽管取得了巨大的实证成功,但背后的原因还远未得到很好的理解。在本文中,我们研究了一个两层非重叠卷积ResNet。训练这样的网络需要解决具有伪局部最优值的非凸优化问题。然而,我们表明,梯度下降结合适当的规范化,避免被困在虚假的局部最优,并收敛到全局最优的多项式时间,当第一层的权重初始化为0,第二层的初始化任意球。数值实验支持我们的理论。
2019-11-02 cs.LG math.OC stat.ML
Entangled Residual Mappings
Massachusetts Institute of Technology(麻省理工学院);Institute of Science and Technology Austria(奥地利科学技术研究所);Technische Universität Wien(维也纳工业大学)
残差映射已被证明在第一层中执行表示学习,并在更高层中执行迭代特征细化。这种相互作用,加上它们对梯度范数的稳定作用,使它们能够训练非常深的网络。在本文中,我们更进一步,引入纠缠剩余映射来推广剩余连接的结构,并评估它们在迭代学习表示中的作用。纠缠残差映射用专门的纠缠映射(例如与恒等映射共享关键属性(特征值、结构和雅可比范数)的正交、稀疏和结构相关矩阵)替换恒等跳跃连接。我们表明,虽然纠缠映射可以在各种深度模型中保持特征的迭代细化,但它们对卷积网络中的表示学习过程的影响与基于注意力的模型和递归神经网络不同。一般来说,我们发现对于CNN和视觉Transformer,纠缠稀疏映射可以帮助泛化,而正交映射会损害性能。对于递归网络,正交残差映射形成了时变序列的归纳偏差,这降低了时不变任务的准确性。
2022-06-02 cs.AI cs.LG cs.NE
A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers
本文通过对10M和124M参数的预LN GPT风格Transformer开展部分残差消融可复现性研究,揭示注意力与前馈残差路径的不同作用,修正实验混淆并发布完整实验材料。
2026-11-10 cs.LG
oHC: Orthogonal Hyper-Connections on SO(4) via Quaternions
The Hong Kong University of Science and Technology(香港科技大学);Baidu Inc.(百度公司)
本文针对HC训练不稳定及残差流多样性耗尽问题,提出基于SO(4)与四元数的正交超连接oHC,在多下游任务上性能优于单流基线、mHC与iHC。
2026-09-03 cs.CL cs.LG
Hyper-Connections
Seed-Foundation-Model Team, ByteDance(字节跳动种子大模型团队)
本文提出可替代残差连接的 hyper-connections,通过自适应调节跨深度特征连接并动态重排层,缓解梯度消失与表示坍缩问题,在语言模型预训练和视觉任务中均显著提升性能。
2025-03-18 cs.CL cs.CV cs.LG
SABER: Uncovering Vulnerabilities in Safety Alignment via Cross-Layer Residual Connection
Indian Institute of Technology Delhi(印度理工学院德里)
本文发现LLM安全机制集中在中后层,提出白盒越狱方法SABER,通过残差连接中间层绕过安全对齐,在HarmBench上比最佳基线提升51%,且对困惑度影响微小。
2025-09-19 cs.CL cs.LG
Deep Residual Bidir-LSTM for Human Activity Recognition Using Wearable Sensors
Air Force Engineering University(空军工程大学);Laval University(拉瓦尔大学);Xidian University(西安电子科技大学)
人体活动识别因其广泛的应用而成为研究的热点。随着深度学习的发展,出现了解决HAR问题的新想法。在这里,提出了一种使用残余双向长短期记忆(LSTM)单元的深度网络架构。新网络的优点包括双向连接可以连接正时间方向(前向状态)和负时间方向(后向状态)。其次,堆叠单元之间的剩余连接充当梯度的高速公路,可以将底层信息直接传递到上层,有效避免梯度消失问题。一般来说,所提出的网络在时间(使用双向单元)和空间(深度堆叠的剩余连接)维度上都有所改进,旨在提高识别率。当使用机会数据集和公共领域UCI数据集进行测试时,与先前报道的结果相比,准确率分别提高了4.78%和3.68%。最后,对公共领域UCI数据集的混淆矩阵进行了分析。
2017-09-07 cs.CV cs.LG
Speech Emotion Recognition using Attention-based LSTM-Network with Residual Connection
Institute of Cybernetics and Machine Learning, Belarusian State University(白俄罗斯国立大学信息学与机器学习学院)
提出ResLSTM-SA轻量级架构,在LSTM中集成残差连接和软注意力,在RAVDESS数据集上以46.8k参数达到0.6517 UAR,优于传统基线且适合边缘部署。
2026-06-02 cs.CL cs.LG cs.SD
LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models
MMLA-org;Communication University of China (CUC)(中国传媒大学)
本文提出低秩自适应残差连接(LARC),为冻结模型添加紧凑可学习状态,通过反馈梯度步骤显著降低程序选择错误,并区分残差容量与适应效果。
2026-11-11 cs.CL cs.LG
HyperDFlash: Hyper-Connection-Aligned Block Speculative Decoding with Gated Residual Reduction
ByteDance(字节跳动)
针对DeepSeek-V4的多超连接架构,提出HyperDFlash框架,通过对齐残差流和轻量门控缩减器,解决推测解码中特征错位和误差累积问题,显著提升解码速度。
2026-06-26 cs.CL cs.LG
A Differential Game Theoretic Neural Optimizer for Training Residual Networks
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络(DNN)训练和最优控制理论之间的联系作为算法设计的原则性工具引起了相当大的关注。微分动态规划(DDP)神经优化器是最近提出的一种方法。尽管其经验上的成功,适用性已被限制到前馈网络和这样一个自动优化启发的框架是否可以扩展到现代架构仍然不清楚。在这项工作中,我们推导出一个通用的DDP优化器,接受剩余连接和卷积层。由此产生的最优控制表示承认一个游戏理论的角度来看,其中训练剩余网络可以被解释为合作轨迹优化的状态增强动态系统。这个博弈论DDP(GT-DDP)优化器在以前的工作中享有相同的理论联系,但生成了一个更复杂的更新规则,可以更好地利用网络传播过程中的可用信息。对图像分类数据集(例如MNIST和CIFAR 100)的评估显示,与现有方法相比,训练收敛性和方差减小方面有所改善。我们的方法突出了从架构感知优化中获得的好处。
2020-07-17 cs.LG math.OC stat.ML
Video Ladder Networks
Nokia Technologies(诺基亚科技);Tampere University of Technology(坦佩雷理工大学)
我们提出了视频梯形网络(VLN),有效地产生未来的视频帧。VLN是一种神经编码器-解码器模型,通过递归和前馈横向连接在所有层上增强。在每一层,这些连接形成横向递归残差块,其中前馈连接表示跳过连接,并且递归连接表示残差。由于循环连接,解码器可以利用从编码器的所有层生成的时间摘要。通过这种方式,顶层可以减轻对较低级别的空间和时间细节建模的压力。此外,我们扩展了VLN的基本版本,在编码器和解码器中加入ResNet风格的残差块,这有助于改善预测结果。VLN在Moving MNIST数据集上以自我监督的方式进行训练,实现了有竞争力的结果,同时具有非常简单的结构并提供快速推理。
2016-12-30 cs.CV cs.LG stat.ML
CrescendoNet: A Simple Deep Convolutional Neural Network with Ensemble Behavior
Clemson University(克莱姆森大学)
我们引入了一种新的深度卷积神经网络CrescendoNet,通过堆叠没有剩余连接的简单构建块。每个Crescendo块包含具有增加的深度的独立卷积路径。卷积层和参数的数量仅在Crescendo块中线性增加。在实验中,只有15层的CrescendoNet在基准数据集CIFAR 10、CIFAR 100和SVHN上的性能优于几乎所有没有剩余连接的网络。如果像SVHN数据集一样有足够的数据量,具有15层和4.1M参数的CrescendoNet可以与具有250层和15.3M参数的DenseNet-BC的性能相匹配。CrescendoNet提供了一种新的方法来构建无剩余连接的高性能深度卷积神经网络。此外,通过研究CrescendoNet中子网络的行为和性能,我们注意到CrescendoNet的高性能可能来自其隐式集成行为,这与FractalNet不同,FractalNet也是一个没有剩余连接的深度卷积神经网络。此外,CrescendoNet中路径之间的独立性允许我们引入一个新的路径训练过程,这可以减少训练所需的内存。
2018-01-04 cs.CV cs.LG stat.ML
Lorentzian Residual Neural Networks
Yale University(耶鲁大学)
针对现有双曲残差网络复杂度高、数值不稳定等问题,提出基于加权洛伦兹质心的LResNet,可高效整合残差连接并保留层级表征能力,在图和视觉任务上性能优于现有欧氏及双曲方法。
2025-01-12 cs.LG
ResDTA: Predicting Drug-Target Binding Affinity Using Residual Skip Connections
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
新的药物靶点(DT)相互作用的发现是药物开发过程中的重要一步。大多数用于预测DT相互作用的计算机技术都集中在二元分类上,其目标是确定DT对是否相互作用。另一方面,蛋白质配体相互作用假设结合强度值(也称为结合亲和力)的连续范围,并且预测该值仍然是困难的。随着DT知识库中亲和性数据量的增长,高级学习技术如深度学习架构可用于预测结合亲和性。在本文中,我们提出了一种基于深度学习的方法,仅使用来自靶标和药物的测序信息来预测DT结合亲和力。结果表明,所提出的基于深度学习的模型使用靶标和药物的1D表示是用于药物靶标结合亲和力预测的有效方法,并且它不需要额外的化学领域知识来工作。通过CNN构建药物和靶标的高级表示的模型使用剩余跳过连接,并且还使用额外的流来创建药物-靶标对的高级组合表示,在最大的基准数据集中实现了最佳的一致性指数(CI)性能,优于最近的最先进的方法AttentionDTA和许多其他机器学习和深度学习,用于DT结合亲和力预测的基于学习的基线方法,其使用靶标和药物的1D表示。
2023-03-20 cs.LG q-bio.QM
xHC: Expanded Hyper-Connections
School of AI, Shanghai Jiao Tong University(上海交通大学人工智能学院);Dots Studio, Xiaohongshu Inc.(小红书公司点点工作室);University of Science and Technology of China(中国科学技术大学);School of CS, Peking University(北京大学计算机科学学院);The Chinese University of Hong Kong(香港中文大学)
研究针对超连接(HC)扩展残差流时的性能瓶颈,提出xHC方法,结合时间特征增强与稀疏残差流架构,实现超越N = 4的有效扩展,在MoE模型上有下游改进,还介绍xHC - Flash减少内存流量,让大N残差流扩展用于语言模型预训练更有效实用。
2026-07-17 cs.CL cs.LG