Do Residual Neural Networks discretize Neural Ordinary Differential Equations?
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；Université Paris-Dauphine（巴黎多芬大学）
神经常微分方程（Neural ODE）是残差神经网络（ResNets）的连续模拟。我们研究由ResNet定义的离散动力学是否接近神经ODE的连续动力学。我们首先量化ResNet的隐藏状态轨迹与其对应的神经ODE的解之间的距离。我们的边界是紧的，并且在负的一侧，如果残差函数随深度不平滑，则不会随深度N变为0。在积极的一面，我们表明，这种光滑性是保持梯度下降的ResNet与线性残差函数和足够小的初始损失。它确保隐式正则化以1/N的速率朝向极限神经ODE，均匀地随着深度和优化时间。作为我们分析的副产品，我们考虑使用无记忆离散伴随方法通过网络的反向传递恢复动态激活来训练ResNet，并表明如果残差函数是Lipschitz输入，则该方法理论上在大深度上成功。然后，我们表明，Heun的方法，二阶常微分方程的集成计划，允许更好的梯度估计与伴随方法时，残差函数是光滑的深度。我们的实验验证，我们的伴随方法成功在大深度，Heun方法需要更少的层成功。最后，我们成功地使用了伴随方法来微调非常深的ResNet，而不会在剩余层中消耗内存。
2022-09-15 cs.LG stat.ML
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Laboratoire de Probabilités, Statistique et Modélisation（概率、统计与建模实验室）
本文针对连续时间参数的神经常微分方程及相应深度残差网络，基于Lipschitz论证推导泛化界，并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Quantifying Depth Sufficiency in Residual Neural Networks: A First-Order Criterion
该研究提出一阶准则量化残差神经网络的深度充分性，证明残差非退化是深度有一阶价值的充要条件，验证激活梯度幅度可作为深度剩余一阶价值的保守诊断指标。
2026-08-18 cs.LG
RINS: Residual-Image Neural Subspace Solvers for Large Sparse Linear Systems
Shanghai Innovation Institute（上海创新研究院）；Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Jiao Tong University（上海交通大学）；Renmin University of China（中国人民大学）
针对大型稀疏线性系统，提出Gate-RINS神经子空间求解器，利用残差图像生成校正基并门控调制，在多个PDE基准上比GMRES和图基线更快达到残差阈值，混合调度进一步提升性能。
2026-10-30 cs.CE cs.LG
Signal Simplification Is Not Predictive Simplification: Diagnosing Residual Neural Forecasting in Short-Horizon Volatility
University of Maryland, College Park（马里兰大学帕克分校）
该研究通过信号-预测-系统诊断框架，发现短期波动率预测中统计残差简化（方差降低约82%）并不改善残差LSTM的预测精度（MSE从0.3049升至0.3594），揭示了预测器-预处理器不对称性。
2026-10-05 cs.LG
Image Denoising using Attention-Residual Convolutional Neural Networks
São Paulo State University（圣保罗州立大学）；Federal University of São Carlos（圣卡洛斯联邦大学）
在图像采集过程中，噪声通常被添加到数据中，主要是由于采集传感器的物理限制，以及数据传输和操作过程中的不精确性。从这个意义上说，需要对生成的图像进行处理，以在不丢失细节的情况下衰减其噪声。基于滤波器和噪声先验建模等非学习策略被用来解决图像去噪问题。目前，基于学习的去噪技术被证明是一种更加有效和灵活的方法，如残差卷积神经网络。在这里，我们提出了一种新的基于学习的非盲去噪技术称为注意力残差卷积神经网络（ARCNN），其扩展到盲去噪称为灵活注意力残差卷积神经网络（FARCNN）。所提出的方法尝试使用注意残差机制来学习潜在的噪声期望。在不同水平的高斯和泊松噪声污染的公共数据集上的实验支持所提出的方法对一些最先进的图像去噪方法的有效性。ARCNN在高斯去噪和泊松去噪方面分别实现了约0.44dB和0.96dB的总体平均PSNR结果，FARCNN则呈现出非常一致的结果，尽管与ARCNN相比性能略有下降。
2021-01-19 cs.LG
Variability Aware Recursive Neural Network (VARNN): A Residual-Memory Model for Capturing Temporal Deviation in Sequence Regression Modeling
Department of Computer Science, Illinois Institute of Technology（伊利诺伊理工学院计算机科学系）；Department of Computer Science, Emory University（埃默里大学计算机科学系）
提出变体感知递归神经网络（VARNN），通过学习预测残差的误差记忆来重新校准后续预测，在时间序列回归任务中有效应对非平稳性和时变噪声，以最小计算开销实现更优性能。
2026-10-02 cs.LG
Residual-Concatenate Neural Network with Deep Regularization Layers for Binary Classification
University of Mumbai（孟买大学）；Vidyalankar Institute of Technology（维迪亚兰卡理工学院）
许多复杂的深度学习模型以不同的变体用于各种演示任务。较高的学习参数不一定确保高精度。这可以通过使用许多基于正则化的技术来考虑非常深的模型中的变化来解决。在本文中，我们训练了一个深度神经网络，该网络使用了许多具有残差和级联过程的正则化层，以最佳地拟合多囊卵巢综合征的诊断模型。该网络从每一步的失败中进行改进，以满足数据的需求，并无缝地实现了99.3%的准确性。
2022-05-25 cs.LG
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University（西北工业大学）；Australian National University（澳大利亚国立大学）
提出了一种新的残差卷积神经网络（CNN）结构，用于单幅图像的深度估计。与现有的基于深度CNN的方法相比，我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积，跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明，我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Why ResNet Works? Residuals Generalize
University of Sydney（悉尼大学）
剩余连接显著提高了深度神经网络的性能。然而，很少有理论结果解决残差对深度神经网络的假设复杂性和泛化能力的影响。本文从假设空间的覆盖数角度研究了剩余连接对神经网络假设复杂度的影响。证明了当权矩阵和非线性项的总数固定时，覆盖数的上界与链式神经网络相同，无论它们是否在残差中.这一结果表明，与链状网络相比，剩余连接可能不会增加神经网络的假设复杂性。基于覆盖数的上界，我们然后获得ResNet的基于$\mathcal O(1 / \sqrt{N})$边缘的多类泛化界，作为具有剩余连接的任何深度神经网络的示例情况。对于类似的最先进的神经网络架构（如DenseNet和ResNeXt）的泛化保证是直接的。从我们的泛化界中总结出一种实际的实现方法：为了获得良好的泛化能力，我们需要使用正则化项来控制权矩阵的范数的大小不增加太多，这证明了标准的权衰减技术是正确的。
2019-04-02 cs.LG stat.ML
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
University of Pisa（比萨大学）
本文提出深度残差回声网络，通过引入时间残差正交连接提升未训练RNN的长期记忆和时间建模能力。
2026-08-11 cs.AI cs.LG
Approximation Capabilities of Neural ODEs and Invertible Residual Networks
Virginia Commonwealth University（弗吉尼亚联邦大学）
神经ODE和i-ResNet是最近提出的用于增强残差神经模型可逆性的方法。拥有构建可逆模型的通用技术可以为学习系统的进步开辟新的途径，但到目前为止，神经ODE和i-ResNets是否可以对任何连续可逆函数建模的问题仍未得到解决。在这里，我们表明，这两个模型是有限的，在他们的近似能力。然后，我们证明了$p$维欧氏空间上的任何同胚都可以通过在$2p$维欧氏空间上操作的神经ODE来近似，并且对于i-ResNets也有类似的结果。我们的结论是，用单个线性层覆盖神经ODE或i-ResNet足以将模型变成不可逆连续函数的通用近似器。
2020-03-01 cs.LG stat.ML
Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs
Virginia Tech（弗吉尼亚理工大学）
我们提出了二次残差网络（QRes）作为一种新型的参数有效的神经网络结构，通过添加一个二次残差项的加权和输入之前，应用激活函数。具有足够高的功能能力（或表达能力），我们表明，它是特别强大的解决正逆物理问题，涉及偏微分方程（PDE）。使用代数几何的工具，我们从理论上证明，与普通神经网络相比，QRes在网络宽度和深度方面表现出更好的参数效率，这要归功于每个神经元中更高的非线性。最后，我们的经验表明，QRes在训练时期的数量方面表现出更快的收敛速度，特别是在学习复杂模式时。
2021-01-28 cs.CE cs.LG
Implicit regularization of deep residual networks towards neural ODEs
Sorbonne Université（索邦大学）；ENS（巴黎高等师范学院）；LPSM（数学与计算机科学实验室）；DMA（应用数学实验室）
本文建立了深度残差网络向神经常微分方程的隐式正则化理论，证明在梯度流训练下离散化关系全程保持，并在Polyak-Lojasiewicz条件下保证收敛到全局最小值。
2024-07-05 cs.LG stat.ML
Spectral Analysis of the Neural Tangent Kernel for Deep Residual Networks
Weizmann Institute of Science（魏茨曼科学研究所）
深度残差网络架构已被证明比经典前馈网络实现更高的精度，但它们的成功仍然没有完全理解。通过各自的神经切线核（ResNTK），关注大规模过度参数化的、完全连接的、具有ReLU激活的残差网络，我们在这里提供了这些核的谱分析。具体来说，我们表明，很像NTK的全连接网络（FC-NTK），输入均匀分布在超球$\mathbb{S}^{d-1}$，ResNTK的本征函数是球谐函数和本征值衰减多项式与频率$k$为$k^{-d}$。这些反过来又意味着在其再生核希尔伯特空间中的函数集与FC-NTK的函数集相同，因此也与拉普拉斯核的函数集相同。我们进一步表明，通过借鉴拉普拉斯内核的类比，取决于选择一个超参数，在跳跃和剩余连接之间进行平衡，ResNTK可以随着深度而变得尖锐，就像FC-NTK一样，或者保持稳定的形状。
2021-04-07 cs.LG
Densely Connected Recurrent Residual (Dense R2UNet) Convolutional Neural Network for Segmentation of Lung CT Images
Washington University School of Medicine（华盛顿大学医学院）
深度学习网络已经为语义分割提供了最先进的性能。这些技术被广泛应用于医学检测、分割和分类。基于U-Net的架构的出现对于该应用已经变得特别流行。本文提出了基于U-Net模型结构的递归残差卷积神经网络（Dense R2 U CNN），它是递归CNN、残差网络和稠密卷积网络的综合。残差单元有助于训练更深的网络，而密集的递归层增强了分割所需的特征传播。在基准肺部病变数据集上测试的所提出的模型在分割任务上表现出比其等效模型更好的性能。
2021-02-01 cs.CV cs.LG eess.IV
Predicting the spread of COVID-19 in Delhi, India using Deep Residual Recurrent Neural Networks
Louisiana Tech University（路易斯安那理工大学）
检测冠状病毒的传播将大大有助于减少人类和经济损失。不幸的是，用于COVID-19预测模型的现有流行病学模型太慢，无法详细捕捉COVID-19的发展。本研究使用偏微分方程来提高SEIRD模型方程所支配的COVID 19预测的处理速度和准确性。使用卷积神经网络和深度残差循环神经网络从使用偏微分方程模拟的数据中提取COVID 19的动态。DRRNN的准确性是使用均方误差来测量的。DRRNN COVID-19预测模型已被证明具有准确的COVID-19预测。此外，我们得出结论，DR-RNN可以显著提高实时的COVID-19预测中支持决策的能力。
2021-10-09 cs.LG
XGRVFL-MV: Residual-Coupled Graph-Embedded Multi-View Random Vector Functional Link Network with FleXi Guardian Loss
IITRPR（印度理工学院皮拉尼分校）
针对多视图分类，提出XGRVFL-MV模型，构建各视图RVFL表示，结合图嵌入与特定损失函数，引入残差耦合项，通过无逆一阶优化求解，在多基准数据集上实验，展现出有竞争力的分类性能。
2026-07-28 cs.LG
Rigorous Error Certification for Neural PDE Solvers: From Empirical Residuals to Solution Guarantees
Department of Applied Mathematics（应用数学系）；University of Waterloo（滑铁卢大学）
本文提出通过残差控制建立解空间误差的通用界限，证明神经近似在解空间紧子集时残差趋近于零可保证收敛到真实解，提供确定性和概率性收敛结果及认证的泛化界限。
2026-09-02 cs.LG math.AP math.FA
Adaptive Neural Networks Using Residual Fitting
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
目前用于估计给定问题类所需神经网络大小的方法集中在计算密集型方法上，例如神经结构搜索和修剪。相反，根据需要向神经网络增加容量的方法可以提供与架构搜索和修剪类似的结果，但是不需要那么多的计算来找到适当的网络大小。在这里，我们提出了一种网络增长方法，该方法在网络的残差中搜索可解释的错误，并在检测到足够的错误时增长网络。我们使用分类，模仿学习和强化学习的例子来演示这种方法。在这些任务中，不断增长的网络通常可以实现比不增长的小型网络更好的性能，并且与开始时大得多的网络的性能相似。
2023-01-13 cs.LG cs.NE
Random Sum-Product Forests with Residual Links
TU Darmstadt（达姆施塔特工业大学）
易处理但表达性强的密度估计器是概率机器学习的关键构建块。虽然和积网络（SPN）提供了有吸引力的推理能力，但获得足够大的结构以适应复杂的高维数据已被证明具有挑战性。在本文中，我们提出了随机和积森林（RSPFs），集成方法混合多个随机生成的SPN。我们还介绍了残留的链接，参考其他组件SPN的专门的子结构，以利用特定于上下文的知识编码在其中。我们的经验证据表明，RSPF提供更好的性能比他们的个别组成部分。添加剩余链接进一步改进了模型，使所得的ResSPN与常用的结构学习方法竞争。
2019-08-08 cs.AI cs.LG stat.ML
RRaPINNs: Residual Risk-Aware Physics Informed Neural Networks
University of KwaZulu Natal（科萨努拉纳大学）；AIMS Research and Innovation Centre（AIMS研究与创新中心）；AIMS Rwanda（AIMS卢旺达）
RRaPINNs通过引入残差风险意识和均值超额惩罚，提升物理信息神经网络在处理偏微分方程时的可靠性与精度。
2025-11-23 cs.LG
Layer-Parallel Training with GPU Concurrency of Deep Residual Neural Networks via Nonlinear Multigrid
Massachusetts Institute of Technology Lincoln Laboratory Supercomputing Center（麻省理工学院林肯实验室超级计算中心）
提出了一种求解深度残差网络的多网格全近似存储算法，实现了神经网络的并行分层训练和计算内核在GPU上的并行执行。这项工作证明了10.2倍的加速比传统的逐层模型并行技术使用相同数量的计算单元。
2020-08-30 cs.DC cs.LG cs.PF
An Experimental Comparison Between Temporal Difference and Residual Gradient with Neural Network Approximation
Shanghai Jiao Tong University（上海交通大学）；CMA-Shanghai（上海国家应用数学中心）
梯度下降或其变体在训练神经网络中很受欢迎。然而，在具有神经网络近似的深度Q学习中，一种类型的强化学习，梯度下降（也称为残差梯度（RG））几乎没有用于解决贝尔曼残差最小化问题。相反，时间差分（TD），不完全梯度下降方法占主导地位。在这项工作中，我们进行了大量的实验，以表明TD优于RG，即当训练导致一个小的贝尔曼残差时，TD找到的解决方案具有更好的政策，对神经网络参数的扰动更具鲁棒性。通过实验进一步揭示了强化学习和监督学习的一个关键区别，即在强化学习中，小的Bellman残差对应于一个坏的策略，而在监督学习中，测试损失函数是一个衡量性能的标准指标。我们还实证研究，TD中的缺失项是RG表现不佳的一个关键原因。我们的工作表明，深度Q学习解决方案的性能与训练动态密切相关，不完全梯度下降方法如何找到一个好的策略是未来研究的重点。
2022-11-14 cs.AI cs.LG
Physics-Informed Neural Networks: Minimizing Residual Loss with Wide Networks and Effective Activations
University of Western Ontario（西安大略大学）；National Research Council of Canada（加拿大国家研究委员会）；Vector Institute（向量研究所）
本文分析PINNs残差损失在临界点的特性，证明宽网络可全局最小化残差损失，并提出求解k阶PDE时激活函数的k阶导数应为双射，为激活函数设计提供理论依据。
2024-06-13 cs.LG
Residual-Quantile Adjustment for Adaptive Training of Physics-informed Neural Network
City University of Hong Kong（香港城市大学）
物理信息神经网络（PINN）的自适应训练方法需要专门构造每个训练样本的权重分布。有效地寻求这样的最优权重分布不是一个简单的任务，并且大多数现有方法基于近似全分布或残差的最大值来选择自适应权重。在本文中，我们表明，在训练效率的样本的自适应选择的瓶颈是数值残差的尾部分布的行为。因此，我们提出了残差分位数调整（RQA）方法，为每个训练样本提供更好的权重选择。在初始设置与残差的$p$次幂成比例的权重后，我们的RQA方法将高于$q$分位数的所有权重（例如$90\%$）重新分配给中值，以便权重遵循从残差导出的分位数调整分布。另一方面，这种迭代重新加权技术也非常容易实现。实验结果表明，该方法在求解各种偏微分方程（PDE）问题上的性能优于几种自适应方法。
2022-12-08 cs.LG physics.comp-ph
Neural Diffeomorphic-Neural Operator for Residual Stress-Induced Deformation Prediction
College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学机电学院）；School of Mechanical and Aerospace Engineering, Queen's University Belfast（贝尔法斯特女王大学机械与航空航天工程学院）
本文提出神经微分同胚-神经算子（NDNO）框架，通过微分同胚神经网络将复杂三维几何映射至参考域并训练神经算子，高效准确地预测了不同几何结构部件中由残余应力引起的多方向变形。
2025-09-09 cs.CV cs.LG eess.IV
On the performance of residual block design alternatives in convolutional neural networks for end-to-end audio classification
Visualfy；Universitat de València（瓦伦西亚大学）
残差学习是最近提出的一种学习框架，用于促进非常深的神经网络的训练。剩余块或单元由一组堆叠的层组成，其中输入被添加回其输出，目的是创建身份映射。在实践中，这种身份映射是通过所谓的跳过或剩余连接来完成的。然而，关于在构成残余块的堆叠层的集合内应用此类跳过连接的位置出现多个实现替代。虽然使用卷积神经网络（CNN）进行图像分类的ResNet架构在文献中已被广泛讨论，但到目前为止，很少有作品将ResNet架构用于1D音频分类任务。因此，用于原始音频分类的不同残差块设计的适用性是部分未知的。本文的目的是分析和讨论几个残留块实现的性能在一个国家的最先进的CNN为基础的架构端到端的音频分类使用原始音频波形。为了比较的目的，我们分析，以及在一个类似的2D架构下，使用传统的时间-频率音频表示作为输入的残留块的性能。结果表明，实现的精度是相当依赖的，不仅对特定的残留块的实现，而且对选定的输入归一化。
2019-09-26 cs.LG cs.SD eess.AS
Multi-wavelet residual dense convolutional neural network for image denoising
Beijing Institute of Technology（北京理工大学）
近年来，具有大感受野（RF）的网络显示出先进的拟合能力。在这项工作中，我们利用短期残差学习方法来提高图像去噪任务的网络的性能和鲁棒性。在这里，我们选择了一个多小波卷积神经网络（MWCNN），一个具有大RF的最先进的网络，作为骨干，并在其每一层插入剩余密集块（RDB）。我们称之为多小波残差密集卷积神经网络（MWRDCNN）。与其他基于关系数据库的网络相比，它可以从相邻层中提取更多的目标特征，保留较大的RF，提高计算效率。同时，这种方法也提供了一种可能性，吸收多种架构的优点，在一个单一的网络没有冲突。所提出的方法的性能已被证明在广泛的实验与现有技术的比较。
2020-02-19 cs.LG eess.IV stat.ML
StablePDENet: Enhancing Neural Operator Stability through Physics-Informed Residual-Sensitivity Regularization
Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）；Algorithms of Machine Learning and Autonomous Driving Research Lab（机器学习与自动驾驶算法研究实验室）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院）
StablePDENet通过对抗训练提升神经算子学习的稳定性，确保在正常和对抗条件下均能保持高精度求解微分方程。
2026-08-27 cs.LG
Residual Tree Aggregation of Layers for Neural Machine Translation
KingSoft AI Lab（金山人工智能实验室）；Massey University（梅西大学）
虽然基于注意力的神经机器翻译在最近几层取得了显著的进展，但它仍然存在未充分利用每层输出的问题。在Transformer中，它在后续的过程中只使用了编码器和解码器的顶层，这使得它无法利用其他层中的有用信息。为了解决这个问题，我们提出了一个残留的树聚合层的Transformer（RTAL），这有助于跨层融合信息。具体来说，我们试图通过构建后序二叉树来融合跨层的信息。除了最后一个节点之外，我们将剩余连接添加到生成子节点的过程中。我们的模型基于神经机器翻译模型Transformer，并在WMT 14英语到德语和WMT 17英语到法国的翻译任务上进行了实验。跨语言对的实验结果表明，该方法的性能明显优于强基线模型
2021-07-19 cs.CL cs.LG
On the Residual-based Neural Network for Unmodeled Distortions in Coordinate Transformation
Federal University of Uberlandia (UFU)（乌贝兰迪亚联邦大学）；Federal Institute of Education, Science and Technology of Santa Catarina (IFSC)（圣卡塔琳娜联邦教育、科学和技术学院）；Federal University of Paraná (UFPR)（巴拉那联邦大学）；Unisinos University（尤尼西诺斯大学）
本文提出基于残差的神经校正策略，仅对初始几何变换遗留的系统性畸变建模，在稀疏或结构化控制点及真实图像配准任务中取得更准确稳定的坐标变换结果。
2025-04-19 cs.CV cs.LG physics.geo-ph
Application of the Multi-label Residual Convolutional Neural Network text classifier using Content-Based Routing process
在这篇文章中，我们将提出一个自然语言处理的文本分类过程中使用基于内容的路由器。本文的最终目标是从广告的纯文本中预测合法广告所描述的事件。这个问题纯粹是一个监督问题，将涉及使用NLP技术和传统的建模方法，通过使用多标签残差卷积神经网络的文本分类。我们将解释到位的方法来解决分类广告的问题，遇到的困难和实验结果。
2022-09-30 cs.AI cs.CL cs.LG
Residual fourier neural operator for thermochemical curing of composites
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing Tech University（南京工业大学）
在复合材料固化过程中，温度历史在很大程度上决定了固化度场和残余应力场的演变，进而影响复合材料的力学性能，因此模拟真实的温度历史对优化复合材料的固化工艺具有重要意义。由于使用有限元（FE）模拟的热化学分析需要大量的计算负载，并且数据驱动的方法受到高维映射的复杂性的影响。本文提出了一种残差傅立叶神经算子（ResFNO），建立从任何给定的固化周期到相应的温度历史的直接高维映射。通过将领域知识集成到与时间分辨率无关的参数化神经网络中，可以使用有限数量的标记数据来学习固化周期与温度历史之间的映射。此外，基于模式分解设计了一种新的傅立叶残差映射，以加快训练速度，显著提高性能。最后通过算例对该方法的优越性和通用性进行了综合评价。
2021-11-15 cond-mat.mtrl-sci cs.LG
ResPerfNet: Deep Residual Learning for Regressional Performance Modeling of Deep Neural Networks
ADLINK New Taipei AI Lab（凌华科技新北人工智能实验室）；National Taiwan University（台湾大学）；National Cheng Kung University（国立成功大学）
计算技术的快速发展促进了各种深度学习应用的开发。不幸的是，并行计算基础设施的效率随着神经网络模型而变化很大，这阻碍了对设计空间的探索，以针对给定应用在特定计算平台上找到高性能神经网络架构。为了解决这样的挑战，我们提出了一种基于深度学习的方法ResPerfNet，该方法使用在目标平台上获得的代表性数据集训练残余神经网络，以预测深度神经网络的性能。我们的实验结果表明，ResPerfNet可以准确地预测各个神经网络层和各种平台上的完整网络模型的执行时间。特别是，ResPerfNet在NVIDIA GTX 1080 Ti上实现了LeNet，AlexNet和VGG 16的平均绝对百分比误差为8.4%，这大大低于之前发布的作品。
2020-12-03 cs.LG cs.PF
Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module
Westlake University（西湖大学）；Jilin University（吉林大学）；Tianjin University（天津大学）；Emory University（埃默里大学）
针对深度图神经网络的过平滑问题，从重叠邻域子图视角重审过平滑机制，提出基于后验采样的节点自适应残差模块PSNR，理论证明其可弥补现有残差方法缺陷，实验验证其在全观测节点分类和特征缺失场景下性能更优。
2024-10-31 cs.AI cs.LG
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络（RGNN），解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性，我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中，我们证明了我们的模型类在三个基准测试中获得了最先进的结果：Pubmed，Reddit和PPI网络数据集。我们的深入分析还表明，结合递归单元是一种简单而有效的方法来防止图中的噪声信息，从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Adaptive Randomized Neural Networks for PDEs: Structure-Aware Feature Redistribution and Residual-Driven Block Enrichment
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；School of Mathematics and Statistics & State Key Laboratory of Multiphase Flow in Power Engineering, Xi’an Jiaotong University（西安交通大学数学与统计学院）
该研究针对随机神经网络求解偏微分方程时无法捕捉解的空间与尺度结构的问题，提出SFRBE--RaNN两阶段自适应方法，经数值实验验证其有效性。
2026-10-16 cs.LG cs.NA math.NA
Minimum Block Width for Universal Approximation by Residual Neural Networks with Inner Width One
School of Mathematics and Statistics, Huazhong University of Science and Technology（华中科技大学数学与统计学院）；Hubei Key Laboratory of Engineering Modeling and Scientific Computing, Huazhong University of Science and Technology（湖北省工程建模与科学计算重点实验室）
研究残差神经网络通用逼近性质，针对特定激活函数建立块宽度上下界，证明内部宽度为1时在紧致域上实现\(L^p\)逼近的最小块宽度，还给出特定块宽度网络能实现一致逼近及宽度小于某值不能逼近所有目标函数的结论。
2026-08-11 cs.LG stat.ML
Neural Representations Reveal Distinct Modes of Class Fitting in Residual Convolutional Networks
AGH University of Science and Technology（AGH科技大学）
我们利用神经表示的概率模型来研究残差网络如何拟合类。为此，我们估计了深度ResNets学习的表示的类条件密度模型。然后，我们使用这些模型来表征学习类中的表示分布。令人惊讶的是，我们发现，在调查模型中的类不适合在一个统一的方式。相反，我们发现了两组具有明显不同的表征分布的类。这些不同的类拟合模式仅在所研究的模型的更深层中是明显的，这表明它们与低级图像特征无关。我们发现，神经表征中的未覆盖结构与训练样本的记忆和对抗鲁棒性相关。最后，我们比较记忆和典型的例子之间的神经表征的类条件分布。这使我们能够发现在网络结构中，记忆和标准输入的类标签出现在哪里。
2022-12-01 cs.CV cs.LG
Short-term Streamflow and Flood Forecasting based on Graph Convolutional Recurrent Neural Network and Residual Error Learning
Georgia Institute of Technology（佐治亚理工学院）；The University of Sydney（悉尼大学）
针对水位流量关系曲线数据误差影响预报精度的问题，本研究提出结合图卷积循环神经网络捕捉时空模式与残差学习修正误差的方法，提升1-6小时短期径流与洪水预报准确性，降低洪水风险。
2024-12-06 cs.AI cs.LG physics.geo-ph
Isolation and Localization of Unknown Faults Using Neural Network-Based Residuals
Linköping University（林雪平大学）
工业系统中未知故障的定位是数据驱动诊断方法的一个难题。许多机器学习方法的分类性能依赖于训练数据的质量。可以使用例如异常分类器来检测未知故障，例如未在训练数据中表示的故障。然而，将这些未知故障映射到真实系统中的实际位置是一个重要的问题。在基于模型的诊断中，基于物理的模型用于创建残差，通过将模型方程映射到故障系统组件来隔离故障。开发足够精确的物理模型可能是一个耗时的过程。结合基于物理的方法和机器学习的混合建模方法是设计用于故障隔离的数据驱动残差的一种解决方案。在这项工作中，一组基于神经网络的残差设计的残差模型结构中的系统行为的物理见解。残差仅使用无故障数据进行训练，仿真案例研究表明，它们可以用于执行系统中未知故障的故障隔离和定位。
2019-10-12 cs.LG eess.SP stat.ML
Enhanced physics-informed neural networks with domain scaling and residual correction methods for multi-frequency elliptic problems
Kyung Hee University（庆熙大学）
针对多频椭圆偏微分方程的神经网络逼近方法受高低频对比度影响精度的问题，提出结合域缩放与残差校正的增强物理信息神经网络，提升了求解效率与精度。
2023-11-07 cs.LG cs.NA math.NA
RHR-Net: A Residual Hourglass Recurrent Neural Network for Speech Enhancement
Rutgers, the State University of New Jersey（罗格斯新泽西州立大学）
目前大多数语音增强模型使用的是需要昂贵的变换并导致相位信息丢失的频谱图特征。以前的工作已经通过使用卷积网络来学习高分辨率波形之间的长距离时间相关性来克服这些问题。然而，这些模型受到内存密集型膨胀卷积和上采样产生的混叠伪影的限制。我们介绍了一个端到端的全递归沙漏形神经网络架构与剩余连接的波形为基础的单通道语音增强。我们的模型可以有效地捕获长距离的时间依赖性，通过降低特征分辨率，而不会丢失信息。实验结果表明，我们的模型优于国家的最先进的方法在六个评价指标。
2019-04-15 cs.LG cs.SD eess.AS
When Known Physics Helps Neural PDE Models: Residual Constraints Out-Regularize Generic Priors for Nonlinear Dynamics
Louisiana Tech University（路易斯安那理工大学）；Texas State University（得克萨斯州立大学）
本研究通过统一对比实验发现，已知方程残差约束在相同调参预算下优于通用正则化器，其优势特定于非线性PDE，且不依赖数据稀疏性，但在网格欠分辨率下强制执行会引入偏差。
2026-09-29 cs.AI cs.LG
Histogram-Equalized Quantization for logic-gated Residual Neural Networks
CEA-LETI
本文提出自适应线性对称量化框架HEQ，通过步长优化自动调整阈值，在CIFAR-10达到先进性能，并支持低硬件复杂度、高精度的逻辑门控残差网络训练。
2025-01-09 cs.AR cs.LG
Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex
Center for Brains, Minds, and Machines（脑、心智与机器中心）；McGovern Institute for Brain Research（麦戈文脑科学研究所）；Massachusetts Institute of Technology（麻省理工学院）
我们讨论了残差网络（ResNet），循环神经网络（RNNs）和灵长类动物视觉皮层之间的关系。我们首先观察到，一种特殊类型的浅RNN完全等同于一个非常深的ResNet，在层之间共享权重。这样的RNN的直接实现，虽然具有数量级更少的参数，但导致与相应的ResNet类似的性能。我们提出1）RNN和ResNet架构的推广，2）推测一类中等深度的RNN是视觉皮层中腹侧流的生物学上合理的模型。我们通过在CIFAR-10和ImageNet数据集上测试这些架构来证明它们的有效性。
2020-12-31 cs.LG cs.NE
Bilinear residual Neural Network for the identification and forecasting of dynamical systems
IMT Atlantique（IMT大西洋学院）；Lab-STICC（通信与计算机科学实验室）；INRIA Bretagne-Atlantique（法国国家信息与自动化研究所布列塔尼-大西洋中心）
由于大规模观测和仿真数据集的可用性越来越高，数据驱动表示作为动力系统的有效和相关的计算表示出现在广泛的应用中，其中基于常微分方程的模型驱动模型仍然是最先进的方法。在这项工作中，我们研究神经网络（NN）作为物理健全的数据驱动的表示这样的系统。重新解释龙格-库塔方法的图形模型，我们认为残留NN架构，并引入双线性层嵌入非线性动力系统的内在特征。从经典动力系统的数值实验，我们证明了建议的NN为基础的架构的预测性能和模型识别方面的相关性。
2017-12-19 cs.LG eess.SP physics.data-an
Peeking Behind the Curtains of Residual Learning
Duke University（杜克大学）；University of Houston（休斯顿大学）
本文揭示普通神经网络中导致收敛失败的“输入耗散”现象，提出“普通神经网络假设”（PNNH）以支持无残差连接的深度网络训练，在视觉基准上实现相当准确率、更高吞吐量和2倍参数效率。
2024-02-13 cs.CV cs.LG
Real-Time Cardiac Cine MRI with Residual Convolutional Recurrent Neural Network
United Imaging Intelligence（联影智能）；UIH America, Inc.（联影美国公司）
实时心脏电影MRI在数据采集中不需要心电门控，对于不能屏气或心律异常的患者更有用。然而，为了实现快速图像采集，实时电影通常采集高度欠采样的数据，这对MRI图像重建提出了重大挑战。我们提出了一种用于实时心脏电影重建的残差卷积RNN。据我们所知，这是第一个将深度学习方法应用于笛卡尔实时心脏电影重建的工作。根据放射科医生的评估，我们的深度学习模型显示出优于压缩感知的性能。
2020-08-20 cs.LG eess.IV
A Differential Game Theoretic Neural Optimizer for Training Residual Networks
Georgia Institute of Technology（佐治亚理工学院）
深度神经网络（DNN）训练和最优控制理论之间的联系作为算法设计的原则性工具引起了相当大的关注。微分动态规划（DDP）神经优化器是最近提出的一种方法。尽管其经验上的成功，适用性已被限制到前馈网络和这样一个自动优化启发的框架是否可以扩展到现代架构仍然不清楚。在这项工作中，我们推导出一个通用的DDP优化器，接受剩余连接和卷积层。由此产生的最优控制表示承认一个游戏理论的角度来看，其中训练剩余网络可以被解释为合作轨迹优化的状态增强动态系统。这个博弈论DDP（GT-DDP）优化器在以前的工作中享有相同的理论联系，但生成了一个更复杂的更新规则，可以更好地利用网络传播过程中的可用信息。对图像分类数据集（例如MNIST和CIFAR 100）的评估显示，与现有方法相比，训练收敛性和方差减小方面有所改善。我们的方法突出了从架构感知优化中获得的好处。
2020-07-17 cs.LG math.OC stat.ML
Residual connections provably mitigate oversmoothing in graph neural networks
Massachusetts Institute of Technology（麻省理工学院）
本文基于乘性遍历定理推导归一化顶点相似性度量的收敛速率，证明残差连接能在多类参数分布下缓解或防止深层 GNN 的过平滑，并经数值实验验证。
2025-01-04 cs.LG math.DS math.PR
Clustering Guided Residual Neural Networks for Multi-Tx Localization in Molecular Communications
NETLAB, Department of Computer Engineering, Bogazici University, Istanbul（NETLAB，计算机工程系，博雅大学，伊斯坦布尔）
针对扩散分子通信中多发射器定位因扩散随机性和分子分布重叠导致的挑战，提出聚类引导的残差神经网络（AngleNN和SizeNN）及质心校正方法，较K-means降低定位误差43%-69%。
2025-11-11 cs.ET cs.LG
Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks
University of Strathclyde（思克莱德大学）；Air Force Research Laboratory（美国空军研究实验室）
脉冲神经网络（SNN）由于其时间处理能力和在神经形态硬件中的能量高效实现，已经成为传统人工神经网络（ANN）的有趣替代方案。然而，训练SNN所涉及的挑战限制了它们在准确性方面的性能，从而限制了它们的应用。因此，改进学习算法和神经结构以获得更准确的特征提取是SNN研究的当前优先事项之一。在本文中，我们提出了现代扣球体系结构的关键组成部分的研究。我们设计了一个成功的剩余网络架构的尖峰版本，并提供了一个深入的研究尖峰剩余连接的可能实现。这项研究表明，根据用例，最佳剩余连接实现可能会有所不同。此外，我们经验比较不同的技术在图像分类数据集从最佳性能的网络。我们的研究结果提供了一个最先进的SNN设计指南，它允许在尝试构建最佳视觉特征提取器时做出明智的选择。最后，我们的网络在CIFAR-10（94.14%）和CIFAR-100（74.65%）数据集中优于以前的SNN架构，并与DVS-CIFAR 10（72.98%）中的最新技术水平相匹配，参数比以前的最新技术水平少，并且不需要ANN-SNN转换。代码可在https://github.com/VicenteAlex/Spiking_ResNet获得
2022-06-23 cs.CV cs.LG
