Batch Normalization Biases Residual Blocks Towards the Identity Function in Deep Networks
DeepMind(深度思维)
批量归一化极大地增加了残差网络的最大可训练深度,这一优势对于深度残差网络在广泛的基准测试中取得经验性成功至关重要。我们发现,这一关键的好处,因为在初始化,批量归一化缩小规模的剩余分支相对于跳过连接,通过一个归一化因子的网络深度的平方根的顺序。这确保了在训练的早期,由深度网络中的归一化残差块计算的函数接近于单位函数(平均而言)。我们利用这一洞察力开发了一个简单的初始化方案,可以训练深度残差网络,而无需归一化。我们还提供了对残差网络的详细实证研究,阐明了尽管批量归一化网络可以用更大的学习率进行训练,但这种效果仅在特定的计算机制中有益,并且当批量大小很小时,这种效果微乎其微。
2020-12-09 cs.CV cs.LG stat.ML
Graph Residual Flow for Molecular Graph Generation
The University of Tokyo(东京大学);Preferred Networks, Inc.(优选网络公司)
分子图的统计生成模型吸引了生物信息学和化学信息学领域许多研究者的关注。在这些模型中,可逆流为基础的方法还没有得到充分的探讨。在本文中,我们提出了一个强大的可逆流的分子图,称为图剩余流(GRF)。GRF是基于剩余流,这是已知的更灵活和复杂的非线性映射比传统的耦合流。我们从理论上推导出GRF可逆的非平凡条件,并提出了一种在整个训练和采样过程中保持整个流可逆的方法。实验结果表明,生成模型的基础上提出的GRF实现可比的生成性能,与现有的基于流的模型相比,具有更少的可训练参数。
2019-09-30 cs.LG stat.ML
Residual Flows for Invertible Generative Modeling
University of Toronto(多伦多大学);University of Bremen(不来梅大学);Vector Institute(向量研究所)
基于流的生成模型通过可逆变换对概率分布进行参数化,并且可以通过极大似然进行训练。可逆残差网络提供了一个灵活的变换族,其中只需要Lipschitz条件而不是严格的结构约束来实现可逆性。然而,以前的工作训练可逆残差网络的密度估计依赖于有偏的对数密度估计,其偏差增加与网络的表达。我们给出了一个易于处理的无偏估计的日志密度使用“俄罗斯轮盘赌”估计,并减少了训练过程中所需的内存使用一个替代的无限系列的梯度。此外,我们提出了使用激活函数,避免导数饱和和推广的Lipschitz条件诱导混合规范,以提高可逆的残留块。由此产生的方法,称为残差流,实现了最先进的性能之间的密度估计基于流的模型,并优于网络,使用耦合块在联合生成和判别建模。
2020-07-24 cs.LG stat.ML
Proximal Residual Flows for Bayesian Inverse Problems
TU Berlin(柏林工业大学);Institute of Mathematics(数学研究所)
本文提出一种名为近端残差流的归一化流新架构,利用近端神经网络作为平均算子的特性确保残差块可逆性,并将其扩展为条件近端残差流,用于贝叶斯逆问题中的后验重建。
2022-11-30 cs.LG
Iterative Residual Refinement for Joint Optical Flow and Occlusion Estimation
TU Darmstadt(达姆施塔特工业大学)
近年来,用于光流估计的深度学习方法取得了快速进展。许多网络的一个共同特点是,它们通过多个阶段或跨由粗到细的表示级别来细化初始流量估计。虽然导致更准确的结果,但其缺点是参数数量增加。从经典的能量最小化方法以及残差网络的启发,我们提出了一个迭代残差细化(IRR)计划的基础上的权重共享,可以结合几个骨干网络。它减少了参数的数量,提高了精度,甚至两者兼而有之。此外,我们表明,将遮挡预测和双向流量估计集成到我们的IRR方案中可以进一步提高准确性。我们的完整网络在多个标准数据集上实现了光流和遮挡估计的最新结果。
2019-04-10 cs.CV cs.LG
Graphical Residual Flows
Stellenbosch University(斯泰伦博斯大学);National Institute for Theoretical and Computational Sciences(国家理论与计算科学研究所)
图形流通过编码非平凡变量依赖性来为规范化流添加进一步的结构。以前的图形流模型主要集中在一个单一的流动方向:密度估计的归一化方向,或推理的生成方向。然而,要使用单个流在两个方向上执行任务,模型必须表现出稳定和有效的流反转。这项工作介绍了图形剩余流,一个基于可逆剩余网络的图形流。我们的方法,将依赖信息的流,意味着我们能够准确地计算这些流的雅可比行列式。我们的实验证实,图形化的剩余流提供稳定和准确的反演,也比具有类似任务性能的替代流更省时。此外,我们的模型提供了与其他图形流的密度估计和推理任务的性能竞争。
2022-04-23 cs.LG
Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
当前的场景流方法大多选择将场景流建模为逐点平移向量,而不区分3D运动的静态和动态分量。在这项工作中,我们提出了一种替代方法,用于端到端的场景流学习的非刚性残余流和自我运动流的动态3D场景的联合估计。我们建议从一对点云中学习相对刚性变换,然后进行迭代细化。然后,我们从转换后的输入中学习非刚性流,并扣除流的刚性部分。此外,我们扩展的监督框架与自我监督信号的时间一致性的点云序列的基础上。我们的解决方案允许在监督模式下进行训练,并辅以自我监督损失条款,以及在完全自我监督模式下进行训练。我们证明了场景流分解成非刚性流和自我运动流,并引入了自我监督信号,使我们能够优于当前最先进的监督方法。
2020-10-19 cs.CV cs.LG
Generalization of the Change of Variables Formula with Applications to Residual Flows
University of Bremen(不来梅大学);Leibniz Institute for Prevention Research and Epidemiology – BIPS(莱布尼茨预防研究与流行病学研究所——BIPS)
规范化流利用变量变化公式(CVF)定义灵活的密度模型。然而,CVF中的平滑变换(同构)的要求对这些模型的构建提出了重大挑战。为了扩大流的设计空间,我们引入了$\mathcal{L}$ -代数同态作为广义变换,这可能违反零勒贝格测度集上的这些要求。这种放松允许使用ReLU等非平滑激活功能。最后,我们将所得结果应用于平面,径向和收缩残余流。
2021-07-09 cs.LG math.DS stat.ML
ResGCN: Attention-based Deep Residual Modeling for Anomaly Detection on Attributed Networks
Eindhoven University of Technology(埃因霍温理工大学);Cooperatieve Rabobank U.A.(拉博银行)
有效地检测属性网络中的异常节点对于许多实际应用的成功至关重要,例如欺诈和入侵检测。现有的方法有三个主要问题的困难:稀疏性和非线性捕获,残差建模和网络平滑。我们提出了残差图卷积网络(ResGCN),这是一种基于注意力的深度残差建模方法,可以解决这些问题:使用GCN对属性网络进行建模可以捕获稀疏性和非线性;利用深度神经网络可以直接从输入中学习残差,基于残差的注意力机制可以减少异常节点的不利影响并防止过度平滑。在几个真实世界的属性网络上进行的大量实验证明了ResGCN在检测异常方面的有效性。
2020-09-30 cs.LG stat.ML
Periodic Residual Learning for Crowd Flow Forecasting
National University of Singapore(新加坡国立大学)
人群流量预测是智慧城市的一项基础性工作,其目的是预测进入或离开特定区域的人群。人群流量数据的关键属性之一是周期性:以固定时间间隔发生的模式,例如每周模式。为了捕捉这种周期性,现有的研究要么将周期性隐藏状态融合到网络学习的通道中,要么将额外的周期性策略应用到网络架构中。在本文中,我们设计了一种新的周期性残差学习网络(PRNet)的人群流量数据的周期性更好的建模。与现有方法不同,PRNet通过对输入(前一时间段)和输出(未来时间段)之间的变化进行建模,将人群流量预测框架化为周期性残差学习问题。与直接预测高度动态的人群流相比,学习更多的静态偏差要容易得多,从而便于模型训练。此外,学习的变化使网络能够在每个时间间隔产生未来条件及其相应的每周观测之间的残差,因此有助于更准确的多步预测。大量的实验表明,PRNet可以很容易地集成到现有的模型,以提高其预测性能。
2022-09-28 cs.AI cs.CV cs.LG
Deep Residual Reinforcement Learning
University of Oxford(牛津大学)
我们在无模型和基于模型的强化学习设置中重新审视残差算法。我们提出了双向目标网络技术来稳定残差算法,产生DDPG的残差版本,在DeepMind Control Suite基准测试中显著优于vanilla DDPG。此外,我们发现残差算法是一种有效的方法,分布失配问题的基于模型的规划。与现有的TD($k$)方法相比,我们的残差为基础的方法,使更弱的假设模型,并产生更大的性能提升。
2020-01-23 cs.AI cs.LG stat.ML
Deep Residual Networks and Weight Initialization
RIKEN(理化学研究所)
残差网络(ResNet)是实现真正深度神经网络的成功训练的最先进的架构。还已知神经网络的良好权重初始化避免了梯度消失/爆炸的问题。本文分析了ResNets的简化模型。我们认为ResNet的优点与ResNet对初始权重的选择相对不敏感的事实相关。我们还演示了批量归一化如何在不调整权重初始值的情况下改进深度ResNet的反向传播。
2017-09-09 cs.LG stat.ML
Deep Residual Mixture Models
Aalto University(阿尔托大学)
我们提出了深度残差混合模型(DRMOST),一种新的深度生成模型架构。与其他深度模型相比,DRNN允许更灵活的条件采样:模型可以用所有变量训练一次,然后用于条件变量、高斯先验和(非)等式约束的任意组合的采样。这为交互式和探索性机器学习提供了新的机会,其中应该最大限度地减少用户等待重新训练模型的时间。我们证明了DRDO在约束多肢体逆运动学和可控的动画生成。
2021-07-21 cs.LG stat.ML
Identity Mappings in Deep Residual Networks
Microsoft Research(微软研究院)
深度残差网络已经成为一系列非常深入的架构,显示出令人信服的准确性和良好的收敛行为。在本文中,我们分析了传播公式背后的残留积木,这表明,前向和后向信号可以直接从一个块传播到任何其他块,当使用身份映射作为跳过连接和后添加激活。一系列的烧蚀实验支持这些身份映射的重要性。这促使我们提出一个新的剩余单元,使训练变得更容易并提高泛化能力。我们报告了在CIFAR-10(4.62%误差)和CIFAR-100上使用1001层ResNet以及在ImageNet上使用200层ResNet的改进结果。代码可在:https://github.com/KaimingHe/resnet-1k-layers
2016-07-25 cs.CV cs.LG
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University(普林斯顿大学)
通过提出一种新的初始化方法:零非对称(ZAS)初始化,分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下,对于任意目标矩阵,梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点,该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化(Xavier或近似恒等式)的$\exp(Ω(L))$收敛时间[Shamir,2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性,特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
Residual Encoder-Decoder Network for Deep Subspace Clustering
Peking University(北京大学)
子空间聚类的目标是对位于低维线性子空间的并集中的未标记数据进行聚类。基于自动编码器的深度子空间聚类方法已经成为解决子空间聚类问题的一种非常流行的方法。然而,当前深度方法的训练收敛缓慢,这比传统方法效率低得多。我们提出了一种用于深度子空间聚类的残差编码器-解码器网络(RED-SC),它将卷积层和去卷积层与跳过层连接对称地连接起来,使用这种连接,训练收敛得更快。我们使用一个自我表达层,通过多个潜在空间的不同潜在表示来生成更准确的线性表示系数。实验结果表明,RED-SC算法在训练效率和聚类准确率上都具有一定的优势。此外,我们是第一个将残差编码器-解码器应用于无监督学习任务的人。
2019-10-12 cs.LG stat.ML
Residual Networks as Geodesic Flows of Diffeomorphisms
Institut Mines Télécom Atlantique(大西洋矿电信研究所);LaTIM U1101 INSERM, UBL(法国国家健康与医学研究院LaTIM U1101,UBL);LabSTIC UMR CNRS 6285, UBL(法国国家科学研究中心LabSTIC UMR 6285,UBL)
本文讨论了残差网络(ResNet)的理解和表征,这是针对各种监督学习问题的最先进的深度学习架构之一。我们专注于ResNets的映射组件,它将嵌入空间映射到一个新的未知空间,在这个未知空间中,预测或分类可以根据线性标准进行陈述。我们表明,这个映射组件可以被视为由常微分方程所支配的连续流的数值实现。特别地,具有共享权重的ResNets被充分地表征为指数纯算子的数值逼近。我们强调在理论上和数值上的相关性的强制执行的nomorphic属性和数值问题的重要性,使一致的连续制定和离散化ResNet实现。我们进一步讨论了ResNet架构的理论和计算见解。
2018-06-22 cs.CV cs.LG
Generalization bounds for neural ordinary differential equations and deep residual networks
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Laboratoire de Probabilités, Statistique et Modélisation(概率、统计与建模实验室)
本文针对连续时间参数的神经常微分方程及相应深度残差网络,基于Lipschitz论证推导泛化界,并数值验证权重差异对泛化能力的影响。
2023-10-11 cs.LG stat.ML
Discrete and Continuous Deep Residual Learning Over Graphs
Universidade Federal do Rio Grande do Sul(南里奥格兰德联邦大学);Università Degli Studi di Siena(锡耶纳大学)
在本文中,我们提出了使用连续的剩余模块的图形内核的图神经网络。我们展示了离散和连续残差层如何允许更强大的训练,因为连续残差层是通过常微分方程(ODE)求解器集成以产生输出的残差层。我们的实验表明,当使用多层时,这些残差比使用非残差模块的残差获得更好的结果,减轻了基于GCN的模型的低通滤波效果。最后,我们应用和分析这些技术的行为,并指出这种技术如何在其他领域是有用的,允许更多的可预测的行为下的动态时间的计算。
2019-11-26 cs.LG stat.ML
Single image depth estimation by dilated deep residual convolutional neural network and soft-weight-sum inference
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学)
提出了一种新的残差卷积神经网络(CNN)结构,用于单幅图像的深度估计。与现有的基于深度CNN的方法相比,我们的方法用更少的训练样本和模型参数取得了更好的结果。我们的方法的优点来自于使用扩张卷积,跳跃连接结构和软加权和推理。在NYU Depth V2数据集上进行的实验评估表明,我们的方法在一定程度上优于其他最先进的方法。
2017-04-27 cs.CV cs.LG
Why Do Deep Residual Networks Generalize Better than Deep Feedforward Networks? -- A Neural Tangent Kernel Perspective
Peking University(北京大学);Georgia Institute of Technology(佐治亚理工学院)
深度残差网络(ResNets)比深度前馈网络(FFNets)具有更好的泛化性能。然而,这种现象背后的理论在很大程度上仍然是未知的。本文从所谓的“神经切线核“的角度研究了深度学习中的这个基本问题。具体来说,我们首先证明,在适当的条件下,随着宽度趋于无穷大,训练深度ResNets可以被视为学习具有某些核函数的再生核函数。然后,我们将深度ResNets的内核与深度FFNets的内核进行比较,发现由FFNets的内核诱导的函数类是渐进不可学习的,因为深度是无穷大的。相比之下,由ResNets的内核诱导的函数类并没有表现出这种退化。我们的发现部分证明了深度ResNets在泛化能力方面优于深度FFNets。数值结果支持我们的主张。
2020-12-22 cs.LG stat.ML
How Do the Hearts of Deep Fakes Beat? Deep Fake Source Detection via Interpreting Residuals with Biological Signals
Binghamton University(宾汉姆顿大学);Intel Corporation(英特尔公司)
伪肖像视频生成技术已经对社会构成了新的威胁,具有逼真的深度伪造,用于政治宣传,名人模仿,伪造证据和其他与身份相关的操纵。在这些生成技术之后,一些检测方法也被证明是有用的,因为它们的高分类精度。尽管如此,几乎没有人花精力去追踪深度造假的源头。我们提出了一种方法,不仅可以从真实视频中分离出深度伪造,还可以发现深度伪造背后的特定生成模型。一些纯粹的基于深度学习的方法尝试使用CNN对深度伪造进行分类,在CNN中,它们实际上学习生成器的残差。我们相信这些残差包含更多的信息,我们可以通过将它们与生物信号分离来揭示这些操纵伪像。我们的主要观察结果是,生物信号中的时空模式可以被认为是残差的代表性投影。为了证明这一观察结果的合理性,我们从真实和虚假视频中提取PPG细胞,并将其馈送到最先进的分类网络,以检测每个视频的生成模型。我们的结果表明,我们的方法可以以97.29%的准确率检测虚假视频,并以93.39%的准确率检测源模型。
2020-08-26 cs.CV cs.LG
Algorithm-Dependent Generalization Bounds for Overparameterized Deep Residual Networks
University of California, Los Angeles(加州大学洛杉矶分校)
残差网络中使用的跳过连接已经成为深度学习中的标准架构选择,因为这种架构提高了训练稳定性和泛化性能,尽管对这种改进的理论理解有限。在这项工作中,我们分析了随机初始化后通过梯度下降训练的过参数化深度残差网络,并证明了(i)通过梯度下降学习的网络类构成了整个神经网络函数类的一个小子集,(ii)这个网络子类足够大,可以保证小的训练误差。通过展示(i),我们能够证明用梯度下降训练的深度残差网络在训练和测试误差之间有一个小的泛化差距,并且(ii)这保证了测试误差很小。我们的优化和泛化保证需要在网络深度上仅为对数的overparameterization,而所有已知的深度非残差网络的泛化边界都具有在深度上至少为多项式的overparameterization要求。这就解释了为什么残差网络比非残差网络更可取。
2019-10-07 cs.LG math.OC stat.ML
Wide Residual Networks
深度残差网络被证明能够扩展到数千层,并且仍然具有改进的性能。然而,每提高百分之零点几的精度,就要花费将近一倍的层数,因此训练非常深的残差网络存在减少特征重用的问题,这使得这些网络的训练非常缓慢。为了解决这些问题,本文对ResNet块的架构进行了详细的实验研究,在此基础上,我们提出了一种新的架构,在该架构中,我们减少了深度,增加了残差网络的宽度。我们称由此产生的网络结构宽残差网络(WRN),并表明,这些是远远优于他们常用的薄和非常深的同行。例如,我们证明,即使是一个简单的16层深度的宽残差网络,在准确性和效率上也优于所有以前的深度残差网络,包括千层深度的网络,在CIFAR,SVHN,COCO上实现了最新的最先进的结果,并在ImageNet上实现了显着的改进。我们的代码和模型可在https://github.com/szagoruyko/wide-residual-networks上获得
2017-06-14 cs.CV cs.LG cs.NE
Who invented deep residual learning?
IDSIA(Dalle Molle人工智能研究所)
该研究通过梳理深度残差学习的演进时间线,追溯残差连接及这一21世纪最高引神经网络论文背后的发明归属。
2025-09-29 cs.LG cs.NE
LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution
深度学习近年来变得流行,主要是由于GPU等强大的计算设备。然而,将这些深度模型部署到资源有限的终端用户设备、智能手机或嵌入式系统是一项挑战。为了减少计算和内存成本,我们提出了一种新的轻量级深度学习模块,称为LPRNet。本质上,LPR的目的是在逐点卷积中使用低秩近似以进一步减小模块大小,同时保留depressive卷积作为残差模块来校正LPR模块。当低秩破坏卷积过程时,这是至关重要的。我们通过替换MobileNet和ShuffleNetv2中相同输入输出维度的模块来体现我们的设计。视觉识别任务的实验,包括流行的基准测试的图像分类和人脸对齐表明,我们的LPRNet实现了有竞争力的性能,但与专注于模型压缩的最先进的深度模型相比,浮点数和内存成本显着减少。
2019-11-14 cs.CV cs.LG
Discrete Residual Flow for Probabilistic Pedestrian Behavior Prediction
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学);UC Berkeley(加州大学伯克利分校)
自动驾驶车辆围绕静态和动态对象进行规划,应用行为预测模型来估计对象在环境中的未来位置。然而,未来的行为本质上是不确定的,产生确定性输出的运动模型仅限于短时间尺度。特别困难的是对人类行为的预测。在这项工作中,我们提出了离散残差流网络(DRF-Net),一个用于人体运动预测的卷积神经网络,它捕获了长距离运动预测中固有的不确定性。特别是,我们的学习网络通过预测和更新空间位置上的离散化分布,有效地捕获了未来人体运动的多模态后验。我们将我们的模型与几个强大的竞争对手进行比较,并表明我们的模型优于所有基线。
2019-10-17 cs.CV cs.LG cs.RO
Deep Residual Bidir-LSTM for Human Activity Recognition Using Wearable Sensors
Air Force Engineering University(空军工程大学);Laval University(拉瓦尔大学);Xidian University(西安电子科技大学)
人体活动识别因其广泛的应用而成为研究的热点。随着深度学习的发展,出现了解决HAR问题的新想法。在这里,提出了一种使用残余双向长短期记忆(LSTM)单元的深度网络架构。新网络的优点包括双向连接可以连接正时间方向(前向状态)和负时间方向(后向状态)。其次,堆叠单元之间的剩余连接充当梯度的高速公路,可以将底层信息直接传递到上层,有效避免梯度消失问题。一般来说,所提出的网络在时间(使用双向单元)和空间(深度堆叠的剩余连接)维度上都有所改进,旨在提高识别率。当使用机会数据集和公共领域UCI数据集进行测试时,与先前报道的结果相比,准确率分别提高了4.78%和3.68%。最后,对公共领域UCI数据集的混淆矩阵进行了分析。
2017-09-07 cs.CV cs.LG
Deep Anomaly Detection by Residual Adaptation
University of Edinburgh(爱丁堡大学);Technische Universität Berlin(柏林工业大学)
深度异常检测是一项困难的任务,因为在高维中,当仅给出正态性的示例时,很难完全表征“差异性”的概念。在本文中,我们提出了一种新的深度异常检测方法,该方法基于使用残差校正来增强大型预训练网络,从而将其调整为异常检测任务。我们的方法产生了一个高度参数有效的学习机制,增强了预训练模型中表示的解纠缠,并优于所有现有的异常检测方法,包括使用预训练网络的其他基线。例如,在CIFAR-10单次与休息基准上,我们的技术将最先进的平均AUC从96.1提高到99.0。
2020-10-05 cs.LG stat.ML
Training of deep residual networks with stochastic MG/OPT
Euler Institute, Università della Svizzera Italiana(瑞士意大利语区大学欧拉研究所)
我们训练深残差网络的随机变量的非线性多重网格方法MG/OPT. To建立多级层次结构,我们使用动力系统的观点,具体到残差网络。我们报告了在深度残差网络上训练MNIST的显着速度提升和额外的鲁棒性。我们的数值实验还表明,多级训练可以用作修剪技术,因为许多辅助网络具有与原始网络相当的精度。
2021-08-09 cs.LG
Deep Residual Learning for Accelerated MRI using Magnitude and Phase Networks
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Korea Basic Science Institute(韩国基础科学研究所)
利用压缩感知(CS)和并行成像加速磁共振(MR)扫描采集是减少MR成像扫描时间的一种强大方法。然而,许多重建算法具有高计算成本。为了解决这个问题,我们研究了深度残差学习网络,以从伪影损坏的图像中去除混叠伪影。提出的深度残差学习网络由单独训练的幅度和相位网络组成。如果相位和幅度信息都是可用的,所提出的算法可以作为一个迭代的k空间插值算法,使用小框架表示。当只有幅度数据是可用的,所提出的方法作为一个图像域后处理算法。即使具有强相干混叠伪影,所提出的网络也成功地学习并去除了混叠伪影,而当前的并行和CS重建方法无法去除这些伪影。使用单线圈和多线圈的比较表明,所提出的残差网络提供了良好的重建结果与数量级更快的计算时间比现有的压缩传感方法。所提出的深度学习框架可以通过立即生成准确的结果而具有加速MR重建的巨大潜力。
2018-04-02 cs.AI cs.CV cs.LG
Autoencoder Based Residual Deep Networks for Robust Regression Prediction and Spatiotemporal Estimation
University of Chinese Academy of Sciences(中国科学院大学);Keck School of Medicine, University of Southern California(南加州大学凯克医学院)
为了具有更好的泛化能力,深度学习神经网络通常需要大量的训练样本。随着隐藏层的增加,以提高学习能力,神经网络有潜在的精度下降。这两者都可能严重限制深度学习在某些领域的适用性,特别是涉及小样本连续变量的预测。受计算机视觉中的残差卷积神经网络和神经科学中大脑中关键捷径的最新发现的启发,我们提出了一种基于自动编码器的残差深度网络,用于鲁棒预测。在一个嵌套的方式,我们利用快捷连接来实现残差映射与一个平衡的结构,有效地传播误差信号。通过多个数据集、高时空分辨率气溶胶光学厚度非随机缺失值的填补和<2.5 μm细颗粒物的时空估计,验证了该方法的准确性和高效性。我们的方法也是一个通用的回归学习器,适用于不同的领域。
2018-12-29 cs.LG stat.ML
Residual-augmented flow matching operators for probabilistic partial differential equations
University of Michigan(密歇根大学)
本文提出了一种基于流匹配的残差增强概率学习方法,用于在数据稀缺情况下学习偏微分方程的解算子,通过学习残差修正提高精度和稳定性。
2026-09-09 cs.LG stat.CO stat.ML
Implicit regularization of deep residual networks towards neural ODEs
Sorbonne Université(索邦大学);ENS(巴黎高等师范学院);LPSM(数学与计算机科学实验室);DMA(应用数学实验室)
本文建立了深度残差网络向神经常微分方程的隐式正则化理论,证明在梯度流训练下离散化关系全程保持,并在Polyak-Lojasiewicz条件下保证收敛到全局最小值。
2024-07-05 cs.LG stat.ML
Stronger Convergence Results for Deep Residual Networks: Network Width Scales Linearly with Training Data Size
ASELSAN Inc.(ASELSAN公司)
深度神经网络是具有高度表达力的机器学习模型,能够对任意数据集进行插值。深度网络通常通过一阶方法进行优化,优化过程主要取决于网络和数据集的特征。这项工作揭示了网络大小与数据集属性之间的关系,重点是深度残差网络(ResNets)。我们的贡献是,如果网络雅可比矩阵是满秩的,则二次损失和平滑激活的梯度下降收敛到全局最小值,即使ResNet的网络宽度$m$与样本量$n$成线性比例,并且与网络深度无关。据我们所知,这是第一个工作,它提供了一个理论保证神经网络的收敛在$m=Ω(n)$制度。
2019-11-11 cs.LG stat.ML
SIReN-VAE: Leveraging Flows and Amortized Inference for Bayesian Networks
Stellenbosch University(斯泰伦博斯大学);National Institute for Theoretical and Computational Sciences(国家理论与计算科学研究所)
变分自编码器的初始工作假设具有简单分布的独立潜变量。随后的工作探索了合并更复杂的分布和依赖结构:包括编码器网络中的规范化流允许潜变量非线性地纠缠,为近似后验创建更丰富的分布类别,并且堆叠潜变量层允许为生成模型指定更复杂的先验。这项工作探讨将任意依赖结构,指定的贝叶斯网络,到VAE。这是通过用图形残差流扩展先验和推理网络来实现的-残差流通过掩蔽流的残差块的权重矩阵来编码条件独立性。我们比较了我们的模型在几个合成数据集上的性能,并展示了它在数据稀疏环境中的潜力。
2022-04-23 cs.LG stat.ML
From Deep to Shallow: Transformations of Deep Rectifier Networks
The University of Western Australia(西澳大利亚大学);The University of New South Wales(新南威尔士大学)
在本文中,我们介绍了深整流网络的转换,使深整流网络转换成浅整流网络。我们随后证明,任何整流器网络的任何深度可以表示的最大数量的功能,可以实现一个浅网络与一个单一的隐藏层。通过对深度整流器网络和深度残差网络的变换,证明了残差网络相对于传统神经网络的优势和深度神经网络相对于浅神经网络的优势。总之,对于具有不同深度但具有相同的隐藏单元总数的两个整流器网络,较深网络的对应单个隐藏层表示比较浅网络的对应单个隐藏层表示复杂得多。类似地,对于除了剩余网络中的跳跃连接之外具有相同结构的剩余网络和常规整流器网络,剩余网络的对应的单隐层表示比常规网络的对应的单隐层表示复杂得多。
2017-03-30 cs.LG stat.ML
Deep Learning with Data Privacy via Residual Perturbation
University of Utah(犹他大学);Tsinghua University(清华大学)
针对现有隐私保护深度学习机制效用损失大、计算开销高的问题,提出基于随机微分方程的残差扰动方法,向ResNets残差映射注高斯噪声,理论证明可保差分隐私、缩小泛化间隙,实验显示其效率高且效用维持优于DPSGD。
2024-08-11 cs.CR cs.CV cs.LG
Spectrum concentration in deep residual learning: a free probability approach
Shanghai Jiaotong University(上海交通大学);Tennessee Technological University(田纳西理工大学)
我们通过向深度学习社区引入一种新的自由概率分析工具来重新审视深度残差网络(ResNets)的初始化。这个工具处理非厄米特随机矩阵,而不是他们的传统厄米特对应文献。因此,这个新工具使我们能够评估线性和非线性情况下完全连接的深度ResNet的输入-输出雅可比矩阵的奇异值谱。利用自由概率这一强有力的工具,我们对单层情况下的谱进行了渐近分析,然后将这种分析推广到任意层数的多层情况。特别是,我们建议通过剩余单元的数量来重新调整经典的随机初始化,使得频谱具有$O(1)$的阶数,与网络的大宽度和深度相比。我们的经验表明,建议的初始化方案学习的速度比经典的数量级更快,从而证明了这项调查的强大的实际意义。
2019-02-24 cs.LG stat.ML
Deep Residual Echo State Networks: exploring residual orthogonal connections in untrained Recurrent Neural Networks
University of Pisa(比萨大学)
本文提出深度残差回声网络,通过引入时间残差正交连接提升未训练RNN的长期记忆和时间建模能力。
2026-08-11 cs.AI cs.LG
Facial age estimation by deep residual decision making
残差表示学习简化了学习复杂函数的优化问题,已被传统的卷积神经网络广泛应用。然而,它还没有被应用于深度神经决策森林(NDF)。在本文中,我们将残差学习纳入NDF,由此产生的模型在三个公共年龄估计基准上达到了最先进的精度水平,同时需要更少的内存和计算。我们进一步采用基于梯度的技术来可视化NDF的决策过程,并了解它是如何受到面部图像输入的影响。代码和预训练模型将在https://github.com/Nicholasli1995/VisualizingNDF上提供。
2019-08-28 cs.CV cs.LG eess.IV
AREX: Affine-Residual Exponential Integrator for Few-Step Sampling in Flow Matching
KTH Royal Institute of Technology(瑞典皇家理工学院);Nordita(北欧理论物理研究所);Stockholm University(斯德哥尔摩大学);International Computer Science Institute(国际计算机科学研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
AREX是一种无训练采样器,通过利用目标均值和协方差分解采样动力学,仅积分残差项,在少步采样中提升流匹配模型的样本保真度。
2026-10-05 cs.AI cs.LG stat.ML
Wasserstein Residuals: Learning Gradient Flows from Population Dynamics
Basis Research Institute(基础研究机构);Aalto University(艾尔沃斯大学);Brown University(布朗大学);University of Toronto(多伦多大学);MIT(麻省理工学院)
针对传统Wasserstein梯度流JKO方法离散不灵活、计算成本高的问题,提出基于残差的新目标与无仿真粒子方法stitching,在轨迹推断基准上取得SOTA性能。
2026-07-07 cs.AI cs.LG stat.ML
ResVGAE: Going Deeper with Residual Modules for Link Prediction
Istanbul Technical University(伊斯坦布尔技术大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Istanbul Medeniyet University(伊斯坦布尔梅德尼耶特大学)
图自动编码器在嵌入基于图的数据集方面是有效的。大多数图形自动编码器架构具有浅的深度,这限制了它们捕获由多跳分离的节点之间的有意义的关系的能力。在本文中,我们提出了残差变分图自动编码器,ResVGAE,一个深度变分图自动编码器模型与多个残差模块。我们证明了我们的多个残差模块,一个带有残差连接的卷积层,提高了图自动编码器的平均精度。实验结果表明,我们提出的模型与残留模块优于模型没有残留模块,并取得类似的结果时,与其他国家的最先进的方法相比。
2022-08-04 cs.LG cs.SI
Layer-Parallel Training with GPU Concurrency of Deep Residual Neural Networks via Nonlinear Multigrid
Massachusetts Institute of Technology Lincoln Laboratory Supercomputing Center(麻省理工学院林肯实验室超级计算中心)
提出了一种求解深度残差网络的多网格全近似存储算法,实现了神经网络的并行分层训练和计算内核在GPU上的并行执行。这项工作证明了10.2倍的加速比传统的逐层模型并行技术使用相同数量的计算单元。
2020-08-30 cs.DC cs.LG cs.PF
Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction
Microsoft Research(微软研究院);Southwest Jiaotong University(西南交通大学);Xidian University(西安电子科技大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
人群流量预测对交通管理和公共安全具有重要意义,但同时也是一项非常具有挑战性的任务,受区域间交通、事件和天气等诸多复杂因素的影响。在本文中,我们提出了一种基于深度学习的方法,称为ST-ResNet,用于集体预测城市中每个区域的人群流入和流出。我们设计了一个端到端的ST-ResNet结构的时空数据的独特属性的基础上。更具体地说,我们采用的框架的剩余神经网络建模的时间接近,周期和趋势特性的人群流量,分别。对于每个属性,我们设计了一个残差卷积单元的分支,每个单元都对人群流量的空间属性进行建模。ST-ResNet学习根据数据动态聚合三个残差神经网络的输出,为不同的分支和区域分配不同的权重。聚合进一步与外部因素相结合,例如天气和星期几,以预测每个地区的最终人群流量。我们基于北京和纽约两种类型的人群流动对ST-ResNet进行了评估,发现其性能超过了六种众所周知的方法。
2017-01-10 cs.AI cs.LG
DRIFT: A Residual Flow Adapter for Decoding Continuous Outputs in Vision-Language Models
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);West Lafayette Jr./Sr. High School(韦斯特拉法叶高中)
提出DRIFT框架,通过结合基础预测器和基于流匹配的生成式精化模块,将预训练视觉-语言模型适配到连续解码任务,在视觉定位和机器人控制等任务上优于回归和生成方法。
2026-10-28 cs.AI cs.CV cs.LG
Short-term Load Forecasting with Deep Residual Networks
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学);ETH Zürich(苏黎世联邦理工学院);University of Southern California(南加州大学)
提出了一种基于深度残差网络的短期电力负荷预测模型。该模型能够通过不同的神经网络构建模块来整合领域知识和研究人员对任务的理解。具体而言,一个修改后的深度残差网络制定,以改善预测结果。此外,一个两阶段的集成策略被用来提高所提出的模型的泛化能力。我们还将该模型应用于概率负荷预测,使用蒙特卡罗辍学。三个公共数据集被用来证明所提出的模型的有效性。多个测试案例和与现有模型的比较表明,该模型能够提供准确的负荷预测结果,并具有较高的泛化能力。
2018-05-30 cs.LG stat.AP stat.ML
Residual Correction Models for AC Optimal Power Flow Using DC Optimal Power Flow Solutions
Sustainable Energy Institute University of Colorado Boulder(可持续能源研究所 美国科罗拉多大学博尔德分校)
提出以DC OPF解为基线、用拓扑感知GNN学习非线性残差校正的AC OPF方法,在多母线系统上显著降低误差并最高加速13倍。
2025-10-17 cs.AI cs.LG cs.SY
Exploding and vanishing gradients in deep neural networks: the effect of residual connections
Department of Electrical Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校电子工程系)
利用乘法遍历理论分析深度神经网络中的梯度爆炸与消失现象,并解释残差连接对李雅普诺夫谱的影响。
2026-06-16 cs.LG math.OC
Deep Residual-Dense Lattice Network for Speech Enhancement
Institute for Integrated and Intelligent Systems, Griffith University, Australia(格里菲斯大学综合智能系统研究所);School of Artificial Intelligence, Xidian University, China(西安电子科技大学人工智能学院)
具有残差链接(ResNets)和因果扩张卷积单元的卷积神经网络(CNN)一直是深度学习方法用于语音增强的首选网络。虽然残差链接在训练期间改善了梯度流,但由于与较深层输出的重复求和,可能会发生浅层输出的特征减少。提高特征重用的一种策略是融合ResNets和密集连接的CNN(DenseNets)。然而,DenseNets为功能重用过度分配参数。受此启发,我们提出了残差密集格型网络(RDL-Net),这是一种新的CNN用于语音增强,它采用残差和密集聚合,而不会过度分配参数用于特征重用。这是通过RDL块的拓扑来管理的,RDL块限制了用于密集聚合的输出数量。我们广泛的实验研究表明,RDL-Net能够比采用残留和/或密集聚合的CNN实现更高的语音增强性能。RDL-Net使用的参数也少得多,计算要求也低。此外,我们证明RDL-Nets在语音增强方面优于许多最先进的深度学习方法。
2020-02-27 cs.LG cs.SD eess.AS
Universal Deep GNNs: Rethinking Residual Connection in GNNs from a Path Decomposition Perspective for Preventing the Over-smoothing
Fudan University(复旦大学);The University of Sydney(悉尼大学)
由于过度平滑,GNN的性能随着深度的增加而降低。在所有防止过平滑的尝试中,残差连接由于其简单性而成为有前途的方法之一。然而,最近的研究表明,具有残余连接的GNN仅略微减缓了退化。GNN中剩余连接失败的原因仍然未知。在本文中,我们从一个新的路径分解的角度研究了具有剩余连接的GNN的前向和后向行为。我们发现,从二项分布的剩余连接路径的中位长度路径的递归聚合主导输出表示,导致过度平滑的GNN更深入。纠缠的传播和权重矩阵会导致梯度平滑,并阻止具有剩余连接的GNN优化到恒等映射。基于这些发现,我们提出了一个具有冷启动自适应残差连接(DRIVE)和前馈模块的通用深度GNN(UDGNN)框架。大量的实验证明了我们的方法的有效性,通过简单地堆叠标准GNN,在非光滑异质数据集上实现了最先进的结果。
2022-05-30 cs.AI cs.LG
DeepcomplexMRI: Exploiting deep residual network for fast parallel MR imaging with complex convolution
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心);Research Center for Medical AI, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院医学人工智能研究中心);Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术学院);The State University of New York, Buffalo(纽约州立大学布法罗分校)
本文提出了一种多通道图像重建方法,命名为Deepcomplex MRI,以加速并行MR成像与剩余复杂卷积神经网络。与大多数依赖于利用线圈灵敏度或预定义变换的先验信息的现有工作不同,DeepcomplexMRI利用大量现有多通道groundtruth图像的可用性,并将其用作标记数据来离线训练深度残差卷积神经网络。特别地,提出了一种复杂的卷积网络,以考虑MR图像的实部和虚部之间的相关性。此外,k空间数据一致性进一步在网络的层之间重复地实施。在活体数据集上的评价表明,该方法具有恢复所需的多通道图像的能力。与现有方法的比较也表明,该方法能够更准确地重建出所需的MR图像。
2019-07-29 cs.LG eess.IV stat.ML
Adaptive Regularization via Residual Smoothing in Deep Learning Optimization
Seoul National University(首尔国立大学);Chung-Ang University(中央大学)
我们提出了一种自适应正则化算法,可以有效地应用于深度学习框架中的优化问题。我们的正则化算法的目的是考虑到数据的适应性,以确定规则的模型的当前状态,以实现更好的推广。神经网络架构的目标空间中的每个元素处的正则化程度以自适应方式基于每个优化迭代处的残差来确定。我们的自适应正则化算法被设计成应用由热方程驱动的扩散过程,该热方程具有空间变化的扩散率,该扩散率取决于遵循一定分布的残差的概率密度函数。我们的数据驱动的规律性是通过自适应平滑简化的目标函数,其中显式正则化项被省略,在残差的评估和确定其规律性的程度之间的交替方式。在图像分类问题的应用中,通过数值实验验证了该算法的有效性,表明该算法在推广流行的深度学习模型和基准数据集方面优于其他常用的优化算法。
2019-08-30 cs.AI cs.LG stat.ML