On Robustness of Neural Ordinary Differential Equations
National University of Singapore（新加坡国立大学）
近年来，神经元常微分方程（ODE）在各个研究领域都引起了越来越多的关注。已有一些研究神经常微分方程的优化问题和逼近能力的工作，但它们的鲁棒性仍然不清楚。在这项工作中，我们填补了这一重要的空白，探索神经常微分方程的鲁棒性的经验和理论。首先，我们提出了一个基于ODE的神经网络（ODENets）的鲁棒性的实证研究，通过将它们暴露于各种类型的扰动输入，随后调查相应的输出的变化。与传统的卷积神经网络（CNN）相比，我们发现ODENets对随机高斯扰动和对抗攻击的例子都更鲁棒。然后，我们提供了一个有见地的理解这种现象，利用一定的连续时间常微分方程的流动，即积分曲线是不相交的理想属性。我们的工作表明，由于其内在的鲁棒性，使用神经ODE作为构建鲁棒深度网络模型的基本块是有希望的。为了进一步增强香草神经常微分方程的鲁棒性，我们提出了时不变稳态神经常微分方程（TisODE），它通过时不变特性和施加稳态约束来正则化扰动数据上的流。我们证明了TisODE方法优于普通神经ODE，并且还可以与其他最先进的架构方法结合使用，以构建更强大的深度网络。
2022-03-03 cs.LG stat.ML
Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction
Princeton University（普林斯顿大学）
归一化层（例如，批量归一化、层归一化）被引入来帮助解决非常深的网络中的优化困难，但它们显然也有助于泛化，即使在不那么深的网络中。出于长期以来的信念，平坦的最小值导致更好的泛化，本文给出了数学分析和支持实验表明，归一化（连同伴随的重量衰减）鼓励GD，以减少损失表面的尖锐性。这里的“锐度”是仔细定义的，因为损失是尺度不变的，这是归一化的一个已知结果。具体来说，对于一个相当广泛的类神经网络与规范化，我们的理论解释了如何GD与有限的学习率进入所谓的边缘稳定（EoS）制度，并通过一个连续的尖锐度降低流的GD在这个制度的轨迹特征。
2023-01-17 cs.AI cs.LG
AutoNorm: Understanding Adaptive Normalization in Transformers through Differentiable Gating
KIIT（卡林加工业技术学院）
研究Transformer中归一化策略选择问题，通过实验发现不同任务中静态与自适应归一化的表现差异，提出AutoNorm-S训练策略，通过门控冻结计划减轻优化不稳定性，在多基准测试中取得良好性能。
2026-07-14 cs.LG
Understanding the Acceleration Phenomenon via High-Resolution Differential Equations
Florida International University（佛罗里达国际大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
本文通过高分辨率微分方程研究优化算法的加速现象，提出了一种新的极限过程，能够区分Nesterov加速梯度法和Polyak重力球方法，并揭示了NAG-C在非强凸函数下的收敛特性。
2018-11-01 cs.LG cs.NA math.CA
Normalization Techniques in Training DNNs: Methodology, Analysis and Application
Inception Institute of Artificial Intelligence（人工智能 inception 研究所）
规范化技术对于加速深度神经网络（DNN）的训练和提高其泛化能力至关重要，并已成功用于各种应用。本文回顾和评论DNN训练背景下的规范化方法的过去，现在和未来。我们从优化的角度提供了不同方法背后的主要动机的统一图片，并提出了一个分类法来理解它们之间的相似性和差异。具体来说，我们将最具代表性的归一化激活方法的流水线分解为三个部分：归一化区域划分，归一化操作和归一化表示恢复。通过这样做，我们为设计新的归一化技术提供了见解。最后，我们讨论了目前的进展，在理解规范化方法，并提供了一个全面的审查的应用程序的特定任务，它可以有效地解决关键问题。
2020-09-27 cs.CV cs.LG stat.ML
An $O(s^r)$-Resolution ODE Framework for Understanding Discrete-Time Algorithms and Applications to the Linear Convergence of Minimax Problems
The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
使用常微分方程（ODE）来理解离散时间算法（DTA）的动态特性已经有很长的历史。令人惊讶的是，仍然有两个基本的和未回答的问题：（i）目前还不清楚如何获得一个\emph{suitable}常微分方程从一个给定的DTA，和（ii）这是不清楚的DTA和它的相应的常微分方程的收敛之间的联系。在本文中，我们提出了一个新的机器-一个$O(s^r)$分辨率ODE框架-分析的行为，一个通用的DTA，其中（部分）回答了上述两个问题。该框架包括三个步骤：1.为了从一个给定的DTA得到一个合适的常微分方程，我们定义了一个由度$r$参数化的DTA的$O(s^r)$ -分辨率常微分方程的层次结构，其中$s$是DTA的步长。我们提出了一个主要的方法来构造唯一的$O(s^r)$分辨率常微分方程的DTA; 2。为了分析所得到的常微分方程，我们提出了关于能量函数的DTA的$O(s^r)$ -线性收敛条件，在该条件下，$O(s^r)$ -分辨率常微分方程线性收敛到最优解; 3.为了将DTA及其相应的常微分方程的收敛性质联系起来，我们定义了能量函数的适当性，并证明了$O(s^r)$分解常微分方程关于适当的能量函数的线性收敛可以自动保证DTA的线性收敛.为了更好地说明这一机制，我们利用它来研究三个经典算法-梯度下降上升（GDA），邻近点方法（PPM）和额外梯度方法（EGM）-解决无约束极小极大问题$\min_{x\in\…
2021-07-09 cs.LG math.OC
Understanding Batch Normalization
Cornell University（康奈尔大学）
批量归一化（BN）是一种对深层神经网络的中间层中的激活进行归一化的技术。它提高准确性和加快训练速度的趋势使BN成为深度学习中最受欢迎的技术。然而，尽管取得了巨大的成功，但对于这些改进背后的确切原因和机制仍然没有达成共识。在本文中，我们采取了一个步骤，更好地了解BN，以下的实证方法。我们进行了几个实验，并表明BN主要使训练具有更大的学习率，这是更快的收敛和更好的泛化的原因。对于没有BN的网络，我们展示了大的梯度更新如何导致发散损失和激活随着网络深度不受控制地增长，这限制了可能的学习率。BN通过不断地将激活校正为零均值和单位标准差来避免这个问题，这使得能够实现更大的梯度步长，产生更快的收敛，并且可以帮助绕过尖锐的局部最小值。我们进一步展示了深度非规范化网络的梯度和激活行为不佳的各种方式。我们将我们的结果与随机矩阵理论中的最新发现进行对比，从而为经典初始化方案及其后果提供新的思路。
2018-11-30 cs.AI cs.LG stat.ML
Beyond Predictions in Neural ODEs: Identification and Interventions
Helmholtz Munich（亥姆霍兹慕尼黑）；Technical University of Munich（慕尼黑工业大学）
本研究针对由常微分方程系统生成的时间序列数据，提出结合简单正则化方案与灵活的 Neural ODEs，稳健地恢复系统动力学与因果结构，并能在对变量或系统进行干预时做出准确预测。
2025-01-30 cs.AI cs.LG
Beyond BatchNorm: Towards a Unified Understanding of Normalization in Deep Learning
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）；NTT Research, Inc.（NTT研究院）
受BatchNorm的启发，深度学习中的规范化层出现了爆炸式增长。最近的工作已经确定了BatchNorm中的许多有益特性来解释其成功。然而，考虑到对替代规范化层的追求，这些属性需要被泛化，以便可以准确地预测任何给定层的成功/失败。在这项工作中，我们通过将随机初始化的深度神经网络（DNN）中BatchNorm的已知属性扩展到最近提出的几个规范化层来朝着这个目标迈出第一步。我们的主要发现如下：（i）类似于BatchNorm，基于激活的规范化层可以防止ResNets中激活的指数增长，但参数化技术需要明确的补救措施;（ii）使用GroupNorm可以确保信息向前传播，不同的样本被分配不同的激活，但增加组大小会导致不同样本的激活越来越难以区分，这解释了LayerNorm模型中的缓慢收敛速度;以及（iii）小的组大小导致较早层中的大梯度范数，因此解释了实例归一化中的训练不稳定性问题，并说明了GroupNorm中的速度-稳定性权衡。总的来说，我们的分析揭示了一组统一的机制，这些机制支撑了深度学习中规范化方法的成功，为我们系统地探索DNN规范化层的巨大设计空间提供了指南针。
2021-10-26 cs.CV cs.LG
Revisit Batch Normalization: New Understanding from an Optimization View and a Refinement via Composition Optimization
University of Rochester（罗切斯特大学）
批量归一化（BN）已广泛用于深度学习，以实现更快的训练过程和更好的结果模型。然而，BN是否有效很大程度上取决于在训练期间如何构建批次，如果批次上的统计数据不接近整个数据集上的统计数据，则可能不会收敛到所需的解决方案。在本文中，我们试图从优化的角度来理解BN，制定的最优化问题，激励BN。通过对最优化问题的分析，我们证明了BN何时起作用，何时不起作用。然后，我们提出了一种改进的BN的基础上组成的优化技术，称为全归一化（FN），以减轻问题的BN时，批次没有构建理想的。我们提供了收敛分析FN和实证研究其有效性，以改善BN。
2018-10-15 cs.LG math.OC
Towards Understanding Regularization in Batch Normalization
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）
本文通过理论分析探讨了批量归一化在神经网络训练中的收敛性和泛化能力，揭示了批量归一化作为隐式正则化的作用，并通过实验验证了其在卷积神经网络中的正则化特性。
2019-04-24 cs.CV cs.LG cs.SY
A minimax optimal control approach for robust neural ODEs
Technical University Munich (TUM)（慕尼黑工业大学（TUM））；Munich Data Science Institute (MDSI)（慕尼黑数据科学研究所（MDSI））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文将神经常微分方程的对抗训练建模为极小极大最优控制问题，利用庞特里亚金最大值原理推导最优性条件，并提出一种加权鲁棒训练方法并在低维分类任务上验证。
2024-03-30 cs.LG cs.SY eess.SY
Towards Understanding Neural Collapse: The Effects of Batch Normalization and Weight Decay
Georgia Institute of Technology（佐治亚理工学院）
本文研究批归一化和权重衰减对神经坍缩出现的影响，建立了仅依赖权重衰减值、训练损失和最后一层批归一化的渐近下界，并通过实验验证了这些因素对神经坍缩强度的作用。
2024-09-04 cs.LG
Exponential convergence rates for Batch Normalization: The power of length-direction decoupling in non-convex optimization
ETH Zurich（苏黎世联邦理工学院）
规范化技术（如批量规范化）已成功应用于训练深度神经网络。然而，尽管它有明显的经验优势，批量标准化成功背后的原因大多是假设的。我们在这里的目的是从经典优化的角度提供一个更深入的理论理解。我们对这一目标的主要贡献是识别机器学习领域中的各种问题实例，其中% -在某些假设下-批量归一化可以证明加速优化。我们认为，这种加速是由于批量归一化将优化任务分解为分别优化参数的长度和方向。这使得基于梯度的方法能够利用损失景观中有利的全局结构，我们证明了这种结构存在于学习半空间问题和高斯输入的神经网络训练中。因此，我们将批量归一化从一个有效的实用启发式算法转化为这些设置的可证明收敛算法。此外，我们证实了我们的分析与经验证据表明，我们的理论结果在更广泛的背景下的有效性。
2018-10-06 cs.LG stat.ML
Why Spectral Normalization Stabilizes GANs: Analysis and Improvements
Carnegie Mellon University（卡内基梅隆大学）
频谱归一化（SN）是一种广泛使用的技术，用于提高生成对抗网络（GANs）的稳定性和样本质量。然而，目前对SN为什么有效的理解有限。在这项工作中，我们表明，SN控制两个重要的故障模式的GAN培训：爆炸和消失的梯度。我们的证明说明了与成功的LeCun初始化的（也许是无意的）联系。这种联系有助于解释为什么GANs最流行的SN实现不需要超参数调整，而更严格的SN实现具有开箱即用的经验性能差。与仅在训练开始时控制梯度消失的LeCun初始化不同，SN在整个训练过程中保留了此属性。基于这种理论理解，我们提出了一种新的光谱归一化技术：双向缩放光谱归一化（BSSN），它结合了后来对LeCun初始化的改进：Xavier初始化和Kaiming初始化。理论上，我们证明了BSSN比SN提供了更好的梯度控制。从经验上讲，我们证明了它在几个基准数据集上的样本质量和训练稳定性方面优于SN。
2021-04-08 cs.CV cs.LG stat.ML
No Equations Needed: Learning System Dynamics Without Relying on Closed-Form ODEs
University of Cambridge（剑桥大学）
本文提出直接语义建模方法，直接从数据预测低维动力系统的行为语义表示，替代先发现闭式ODE再分析的传统两步流程，从而简化建模并支持直观归纳偏置和行为直接编辑。
2025-04-11 cs.LG
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University（中山大学）；University of Oxford（牛津大学）
提出了一种权值相似性度量方法，可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性，我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值，该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法，研究了多层感知器（MLP）、卷积神经网络（CNN）和递归神经网络（RNN）的权值相似性度量，发现用随机梯度下降（SGD）算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
Quantitative Flow Approximation Properties of Narrow Neural ODEs
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文重新审视窄神经ODE的流逼近性质，提出仅用ODE和Grönwall引理的简单证明技巧，并估计了时变权重模拟单层宽NODE所需的切换次数。
2025-03-06 cs.LG cs.SY eess.SY
ControlSynth Neural ODEs: Modeling Dynamical Systems with Guaranteed Convergence
Southeast University（东南大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出ControlSynth神经常微分方程（CSODEs），通过引入控制项和线性不等式保证收敛性，在物理动力学建模中展现出优于代表性神经网络的预测能力。
2024-11-04 cs.AI cs.LG cs.SY
Expressivity of Quadratic Neural ODEs
University of Illinois, Urbana, IL 61801 USA（伊利诺伊大学厄巴纳-香槟分校）；Error Corp（Error公司）；Sandia National Laboratories（沙ia国家实验室）；Department of Electrical and Computer Engineering and the Coordinated Science Laboratory, University of Illinois, Urbana, IL 61801, USA（伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系和协调科学实验室）
本研究推导二次非线性神经常微分方程的定量近似误差界，发现其表达能力主要源于模型深度而非基础运算复杂度，深化了对深度学习架构中深度作用的理解。
2025-06-13 cs.LG cs.SY eess.SY
Training Deep Neural Networks Without Batch Normalization
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
训练神经网络是一个优化问题，通过梯度下降找到一组合适的参数可能是一项困难的任务。在培训之前和培训期间，已经开发了一系列技术来帮助这一过程。其中最重要和最广泛使用的一类方法是归一化。神经元接收零均值和单位方差分布的输入通常是有利的，因此我们在第一层之前使用关于数据集的统计数据对其进行归一化。然而，对于网络内部的中间激活，不能保证该属性。在网络内部实施此属性的一种广泛使用的方法是批量归一化。它被开发用于对抗网络内部的协变量偏移。从经验上讲，它是已知的工作，但缺乏理论上的理解，其有效性和潜在的缺点，它可能会在实践中使用。本文详细研究了批量归一化方法，并将其与权值归一化、梯度裁剪和丢弃等方法进行了比较。这项工作的主要目的是，以确定是否有可能有效地训练网络时，批量归一化是通过适应的训练过程中删除。
2020-08-18 cs.LG stat.ML
Understanding Dynamics of Adam in Zero-Sum Games: An ODE Approach
Aarhus University, Aarhus, Denmark.（奥胡斯大学）；MoE Key Laboratory of Interdisciplinary Research of Computation and Economics, Shanghai University of Finance and Economics, Shanghai, China（教育部交叉信息与经济学联合实验室，上海财经大学）；Shanghai University of Finance and Economics, Shanghai, China（上海财经大学）
本文通过微分方程方法研究Adam-DA在零和游戏中的动态，揭示了动量参数在零和游戏中的作用与最小化问题相反，通过GAN实验验证了这一发现。
2026-05-19 cs.LG
Understanding the Disharmony between Weight Normalization Family and Weight Decay: $ε-$shifted $L_2$ Regularizer
Nanjing University of Science and Technology（南京理工大学）；Momenta
近年来，权值归一化族的快速收敛和潜在的更好的性能的优点引起了越来越多的关注。这些方法使用将权重$\boldsymbol{W}$改变为$\boldsymbol{W}'$的标准化或归一化，这使得$\boldsymbol{W}'$独立于$\boldsymbol{W}$的幅度。令人惊讶的是，$\boldsymbol{W}$在梯度下降过程中必须衰减，否则我们将观察到严重的欠拟合问题，这是非常违反直觉的，因为众所周知，权重衰减可以防止深度网络过度拟合。本文通过\emph{theoretically}证明了权重衰减项$\frac{1}{2}λ||{\boldsymbol{W}}||^2$仅仅调节了用于提高目标优化的有效学习率，而在权值归一化族同时使用时对泛化性能没有影响。此外，我们还暴露了一些关键问题，引入权重衰减项的重量规范化家庭，包括丢失的全局最小值和训练不稳定性。为了解决这些问题，我们提出了一个$ε-$移位的$L_2$正则化，它通过一个正的常数$ε$来移位$L_2$目标。这样一个简单的操作可以在理论上保证全局最小值的存在，同时防止网络权值过小，从而避免梯度浮点溢出。它显着提高了训练的稳定性，并可以在我们的实践中取得稍好的成绩。$ε-$移位$L_2$正则化器的有效性在ImageNet、CIFAR-100和COCO数据集上得到了全面验证。我们的代码和预训练模型将在https://github.…
2019-11-14 cs.CV cs.LG
Understanding the Failure of Batch Normalization for Transformers in NLP
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
批量归一化（BN）是加速深度神经网络训练和提高计算机视觉（CV）任务泛化能力的核心和流行技术。然而，它未能捍卫自己的地位，在自然语言处理（NLP），这是占主导地位的层归一化（LN）。在本文中，我们试图回答为什么BN通常在Transformer模型的NLP任务中表现得比LN差。我们发现，BN的训练和推理之间的不一致性是导致BN在NLP中失败的主要原因。我们定义了训练推理离散度（TID）来定量测量这种不一致性，并揭示TID可以指示BN的性能，并得到广泛实验的支持，包括图像分类，神经机器翻译，语言建模，序列标记和文本分类任务。我们发现，BN可以获得更好的测试性能比LN时，TID通过训练保持小。为了抑制TID的爆炸，我们提出了正则化BN（RBN），它添加了一个简单的正则化项来缩小BN的批统计和总体统计之间的差距。RBN始终如一地提高了BN的性能，在20个设置中的17个设置上优于LN或与LN相当，涉及10个数据集和Transformer的两个常见变体。https://github.com/wjxts/RegularizedBN
2022-10-11 cs.CL cs.LG
Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry
University of Trento（特伦托大学）；Caltech（加州理工学院）；Jiangnan University（江南大学）；Cisco Systems（思科系统公司）
本文从黎曼几何视角统一解释了全局协方差池化中矩阵对数与矩阵幂归一化的作用机制，指出其有效性源于隐含的黎曼分类器，并通过细粒度与大规模视觉分类实验验证了该结论。
2025-02-07 cs.CV cs.LG
The Normalization Method for Alleviating Pathological Sharpness in Wide Neural Networks
AIST（产业技术综合研究所）；RIKEN CBS（理化学研究所脑科学中心）
规范化方法在提高深度学习性能方面发挥着重要作用，但其理论认识有限。为了从理论上阐明规范化的有效性，我们量化了由费舍尔信息矩阵（Fisher information matrix）确定的参数空间的几何形状，这也对应于在某些条件下损失景观的局部形状。我们分析了具有随机初始化的深度神经网络，当网络变得足够宽时，它会遭受病态的尖锐形状。我们发现，在最后一层的批量归一化有助于大幅降低这种病理锐度，如果宽度和样本数满足特定条件。相比之下，在许多设置中，中间隐藏层中的批量归一化难以减轻病理性锐度。我们还发现，层归一化也不能减轻病理性锐度。因此，我们可以得出结论，最后一层中的批量归一化显著有助于降低由噪声引起的锐度。
2019-10-28 cond-mat.dis-nn cs.LG stat.ML
Understanding Unconventional Preprocessors in Deep Convolutional Neural Networks for Face Identification
Baze University（巴泽大学）；The University of the West of England（西英格兰大学）
深度网络在物体和人脸识别等应用领域取得了巨大的成功。性能提升归因于网络架构的不同方面，例如：卷积层的深度、激活函数、池化、批量归一化、前向和反向传播等等。然而，很少强调预处理器。因此，在本文中，网络的预处理模块是不同的预处理方法，同时保持恒定的网络架构的其他方面，调查预处理对网络的贡献。常用的预处理器是数据增强和归一化，并被称为传统的预处理器。其他被称为非常规预处理器，它们是：颜色空间转换器; HSV，CIE L*a*b* 和YCBCR，灰度分辨率预处理器;基于全平面和基于平面的图像量化，照明归一化和不敏感特征预处理，使用：直方图均衡化（HE），局部对比度归一化（LN）和完整的面部结构模式（CFSP）。为了实现固定的网络参数，采用具有迁移学习的CNN。来自Inception-V3网络的高级特征向量的知识被转移到离线预处理的LFW目标数据;并使用SoftMax分类器进行人脸识别。实验表明，在将RGB数据馈送到CNN之前，可以通过使用HE、基于全平面和基于平面的量化、rgbGELog和YCBCR预处理器对RGB数据进行预处理来提高深度网络的辨别能力。然而，为了获得最佳性能，需要正确设置具有增强和/或归一化的预处理数据。基于平面的图像量化被发现增加了邻域像素的均匀性，并利用减少的位深度以获得更好的存储效率。
2019-05-02 cs.CV cs.LG stat.ML
Mean Spectral Normalization of Deep Neural Networks for Embedded Automation
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
深度神经网络（DNN）已经开始在自动化系统领域蓬勃发展，这是由于最近在标准化各个方面（如架构，优化技术和正则化）方面取得的进展。在本文中，我们采取了一种更好地理解谱归一化（SN）及其对更广泛的深度学习模型的标准化正则化的潜力的方法。我们进行了几个实验来研究它们的训练动态，与无处不在的批量归一化（BN）相比，SN增加了梯度稀疏性并控制了梯度方差。此外，我们表明，SN遭受的现象，我们称之为均值漂移效应，这减轻了它的性能。然后，我们提出了一种称为平均谱归一化（MSN）的权重重新参数化来解决平均漂移，从而显着提高网络的性能。我们的模型在实践中比BN快16%，并且可训练的参数更少。我们还展示了我们的MSN对于小型，中型和大型CNN的性能-分别为3层CNN，VGG 7和DenseNet-BC-以及使用生成对抗网络（GANs）的无监督图像生成任务，以评估其适用于广泛的嵌入式自动化任务。
2019-07-09 cs.LG stat.ML
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解，并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
On the Benefits of Weight Normalization for Overparameterized Matrix Sensing
ETH Zurich（苏黎世联邦理工学院）
本文证明在过参数化矩阵感知中，权重归一化结合黎曼优化可实现线性收敛，相比未使用归一化的方法获得指数级加速，且过参数化程度越高，迭代和样本复杂度多项式级降低。
2026-06-16 cs.LG eess.SP math.OC
SSTODE: Ocean-Atmosphere Physics-Informed Neural ODEs for Sea Surface Temperature Prediction
本文提出物理信息神经常微分方程框架SSTODE，通过推导平流-扩散ODE并引入能量交换积分器，实现可解释且物理一致的全球与区域海表温度预测，取得最先进性能。
2025-11-07 cs.AI cs.LG physics.ao-ph
Scientific machine learning in ecological systems: A study on the predator-prey dynamics
RCC Institute of Information Technology（RCC信息技术学院）；Vizuara AI Labs（Vizuara人工智能实验室）
本研究将Neural ODEs和UDEs应用于Lotka-Volterra捕食者-猎物模型，发现在数据量少或高噪声环境下UDEs表现更优，并引入预报崩溃点，为生态预报提供了新方法。
2024-11-11 cs.AI cs.LG stat.ML
More Edits, More Stable: Understanding the Lifelong Normalization in Sequential Model Editing
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）
本文研究了连续模型编辑中的终身规范化，提出理论分析揭示其自增强稳定性循环，并通过StableEdit提升长期稳定性。
2026-07-22 cs.CL cs.LG
Trainability, Expressivity and Interpretability in Gated Neural ODEs
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
本文提出门控神经 ODE（gnODE），通过门控交互引入自适应时间尺度，以学习连续吸引子、提升可解释性与表达能力，并在记忆任务和真实任务中验证其优势。
2023-07-12 cs.LG q-bio.NC
Unification of Symmetries Inside Neural Networks: Transformer, Feedforward and Neural ODE
Department of Physics, Kyoto University, Kyoto, Japan（京都大学物理系）
本文通过引入物理中的规范对称性原理，揭示神经网络中参数冗余的本质，统一了Transformer、前馈网络和神经ODE的对称性结构。
2024-02-04 cs.AI cs.LG hep-th
Understanding Malware Propagation Dynamics through Scientific Machine Learning
Dakota State University（达科他州立大学）；Vizuara AI Labs（Vizuara人工智能实验室）
本研究将科学机器学习应用于恶意软件传播建模，评估了ODE、UDE和Neural ODE三种方法，发现UDE在保持可解释性的同时将预测误差降低44%，并通过符号恢复揭示了网络饱和等抑制机制，为网络防御提供支持。
2025-07-09 cs.CR cs.LG
Mean Shift Rejection: Training Deep Neural Networks Without Minibatch Statistics or Normalization
AI Foundation（AI基金会）
已知深度卷积神经网络在高学习率的训练期间是不稳定的，除非采用归一化技术。归一化权重或激活允许使用更高的学习率，从而导致更快的收敛和更高的测试精度。批量归一化需要近似数据集统计的小批量统计，但这会导致额外的计算和内存成本，并导致分布式训练的通信瓶颈。权重标准化和仅初始化方案无法实现可比的测试精度。我们引入了对训练不稳定性原因的新理解，并提供了一种独立于归一化和小批量统计的技术。我们的方法将训练不稳定性视为空间共模信号，通过将模型放置在整个训练过程中保持的通道零均值等倾线上来抑制该信号。首先，我们应用具有整体单位核幅度的滤波器核的通道式零均值初始化。在每个训练步骤中，我们修改空间内核的梯度，以便减去它们的加权通道平均值，以保持共模抑制条件。这可以防止均值漂移的发生。这种新技术允许直接训练测试图，以便训练和测试模型是相同的。我们还证明了在训练过程中在整个网络中注入随机噪声可以提高泛化能力。这是基于这样的想法，即作为副作用，由于数据集近似的弱点，批量归一化通过注入小批量噪声来执行深度数据增强。与批量归一化相比，我们的技术实现了更高的准确性，并且首次表明小批量和归一化对于最先进的训练是不必要的。
2019-11-29 cs.CV cs.LG stat.ML
Interpretable Diagnostics and Adaptive Data Assimilation for Neural ODEs via Discrete Empirical Interpolation
School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；Mathematics and Computer Science Division, Argonne National Laboratory（阿贡国家实验室数学与计算机科学部）
本文提出利用DEIM方法对神经ODE进行可解释分析，通过诊断发现流体结构并改进数据同化策略，提升模型预测稳定性与准确性。
2026-04-02 cs.LG physics.flu-dyn
DevelopmentODE: Structured Neural ODEs for Early Brain Development Dynamics Across a Decade
DevelopmentODE提出结构化连续时间框架，在共享发育几何中组织群体与个体变异，通过年龄相关变形建模非平稳动态，在纵向fMRI预测中优于基线。
2026-09-29 cs.LG
A comparative study of NeuralODE and Universal ODE approaches to solving Chandrasekhar White Dwarf equation
National Autonomous University of Mexico（墨西哥国立自治大学）；Vizuara AI Labs（Vizuara AI实验室）；Massachusetts Institute of Technology（麻省理工学院）；Purdue University（普渡大学）
本文比较了 Neural ODE 与 Universal ODE 在钱德拉塞卡白矮星方程上的预测与预报能力，提出预报失效点概念，并通过超参数优化给出最佳网络配置。
2024-10-19 cs.AI cs.LG
Interplay between depth and width for interpolation in neural ODEs
Universidad Autónoma de Madrid（马德里自治大学）；ENS Paris Saclay（巴黎萨克雷高等师范学校）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fundación Deusto（德乌斯托基金会）
本研究探讨神经ODE中宽度与深度的权衡，发现插值有限数据集或概率测度时深度随宽度呈反比缩放，并针对自治情形提出近似可控性误差衰减率，高维下$p=O(N)$神经元可实现精确控制。
2024-02-06 cs.LG math.OC
Structured Kolmogorov-Arnold Neural ODEs for Interpretable Learning and Symbolic Discovery of Nonlinear Dynamics
Department of Industrial Systems Engineering and Management, National University of Singapore（工业系统工程与管理系，新加坡国立大学）；Department of Civil, Environmental and Geomatic Engineering, ETH Zürich（土木、环境与测绘工程系，苏黎世联邦理工学院）；Future Resilient Systems, Singapore-ETH Centre（未来韧性系统，新加坡-苏黎世中心）
SKANODE通过结合结构化状态空间建模与Kolmogorov-Arnold网络，实现对非线性动力学的可解释学习和符号发现。
2026-03-05 cs.AI cs.LG cs.SC
Feature Selection Using Batch-Wise Attenuation and Feature Mask Normalization
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
特征选择通常被用作机器学习中最重要的预处理技术之一，因为它有助于降低数据的维数并帮助研究人员和从业者理解数据。因此，通过利用特征选择，可以预期更好的性能和减少的计算消耗、存储器复杂度以及甚至数据量。尽管存在利用深度神经网络的能力来执行特征选择的方法，但其中许多方法通常受到敏感超参数的影响。提出了一种基于批量衰减和特征模板归一化的特征选择特征模板模块（FM-模块）。该方法几乎不需要超参数，可以作为一种嵌入式特征选择方法集成到普通神经网络中。在流行的图像、文本和语音数据集上的实验表明，我们的方法易于使用，与其他最先进的基于深度学习的特征选择方法相比，具有更优越的性能。
2021-04-23 cs.LG
Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units
Purdue University（普渡大学）
本文提出了一种基于范数的$L_{p,q}$权重归一化深度神经网络容量控制的一般框架。我们建立了这个家庭的Rademacher复杂性的上界。与$L_{p,q}$规范化，其中$q\le p^*$，和$1/p+1/p^{*}=1$，我们讨论的宽度无关的容量控制，它只依赖于深度的平方根项的属性。我们进一步分析了$L_{p,q}$权值归一化深度神经网络的逼近性质。特别地，对于$L_{1,\infty}$权重归一化网络，近似误差可以由输出层的$L_1$范数控制，并且相应的泛化误差仅取决于深度的平方根的架构。
2018-11-28 cs.LG stat.ML
Integrating GNN and Neural ODEs for Estimating Non-Reciprocal Two-Body Interactions in Mixed-Species Collective Motion
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）；Universal Biology Institute, The University of Tokyo（东京大学环球生物研究所）；Graduate School of Arts and Sciences, The University of Tokyo（东京大学文理研究生院）
提出结合图神经网络与神经微分方程的深度学习框架，从观测轨迹估计运动方程，准确预测非互易两体相互作用，精确复制个体与集体行为。
2024-11-18 cs.LG physics.bio-ph
Imbedding Deep Neural Networks
University of Exeter（埃克塞特大学）；Etcembly Ltd.（Etcembly有限公司）
连续深度的神经网络，如神经常微分方程，已经改变了对剩余神经网络在非线性向量值最优控制问题方面的理解。常见的解决方案是使用伴随灵敏度方法来复制前向-后向传递优化问题。我们提出了一种新的方法，明确了网络的“深度”作为一个基本变量，从而减少了问题的系统，面向初始值的问题。这种新方法是基于“不变嵌入”的原则，我们证明了一个通用的解决方案，适用于所有非线性，向量值最优控制问题的运行和终端损失。我们的新架构提供了一个有形的工具，用于检查网络深度的理论-在很大程度上无法解释-属性。它们还构成了神经常微分方程的离散实现资源，可与嵌入式残差神经网络类相媲美。通过一系列的实验，我们展示了所提出的架构的监督学习和时间序列预测的竞争力的表现。
2022-02-15 cs.LG math.OC
Application of Neural Ordinary Differential Equations for Tokamak Plasma Dynamics Analysis
Fusion Research Center（融合研究中心）；Georgia Institute of Technology（佐治亚理工学院）
本文提出基于 Neural ODEs 的多区域、多时间尺度托卡马克输运模型，利用 DIII-D 数据推断扩散率并建模电子—离子能量耦合，验证了其在多种加热条件下的有效性。
2024-03-03 cs.LG physics.plasm-ph
Towards Understanding Dual BN In Hybrid Adversarial Training
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Northwestern Polytechnical University（西北工业大学）
本文研究混合对抗训练中双批归一化（Dual BN）的作用机制，发现解耦仿射参数比解耦统计量更关键，并提出双任务假设作为统一改进框架。
2024-03-28 cs.AI cs.CR cs.CV
When do neural ordinary differential equations generalize on complex networks?
Network Science Institute, Northeastern University, Boston, Massachusetts, USA；Khoury College of Computer Sciences, Northeastern University, Boston, Massachusetts, USA；Santa Fe Institute, Santa Fe, New Mexico, USA；Institute for Experiential AI, Northeastern University, Boston, Massachusetts, USA；Department of Physics, Northeastern University, Boston, Massachusetts, USA
研究探讨了神经ODEs在复杂网络上的泛化能力，发现度异质性和动态系统类型是影响泛化的主要因素，同时指出平均聚类作用较弱。
2026-02-09 cs.LG cs.SI physics.soc-ph
ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Fudan University（复旦大学）；University of Michigan（密歇根大学）
针对图神经网络中长尾节点度分布导致节点分类性能下降的问题，提出ResNorm归一化方法，通过scale操作重塑节点标准差分布提升尾部节点精度，并设计shift操作缓解过平滑，实验验证其有效性。
2023-09-04 cs.LG
On the accuracy of self-normalized log-linear models
University of California, Berkeley（加州大学伯克利分校）
对数归一化子的计算是对数线性模型在大输出空间应用中的一个主要计算障碍。因此，快速归一化计算的问题在理论和应用机器学习文献中引起了极大的关注。在本文中，我们分析了最近提出的一种称为“自归一化”的技术，该技术在训练中引入了正则化项，以惩罚偏离零的对数归一化器。这使得可以使用非标准化模型分数作为近似概率。经验证据表明，自我正常化是非常有效的，但在理论上理解为什么它应该工作，以及如何普遍适用，在很大程度上缺乏。我们证明了泛化界的估计方差的归一化和上限损失的准确性，由于自我规范化，描述类的输入分布，自我规范化容易，并构建明确的例子高方差输入分布。我们的理论结果预测拟合自归一化模型的几类分布的困难，我们得出结论，这些预测的实证验证。
2015-06-18 cs.CL cs.LG stat.ME
Understanding Adversarial Robustness Through Loss Landscape Geometries
UnifyID；Stanford University（斯坦福大学）
在深度学习中对解释和改进泛化的追求引起了正则化技术以及损失表面几何的可视化技术的努力。后者与社区中流行的直觉有关，即平坦的局部最优值会导致较低的泛化误差。在本文中，我们利用最先进的“过滤器归一化”技术的损失表面可视化定性地了解使用对抗性训练数据增强作为显式正则化技术的选择的后果。令我们惊讶的是，我们发现这种经常部署的对抗增强技术实际上并没有导致“更平坦”的损失景观，这需要重新思考对抗训练泛化以及泛化和损失景观几何之间的关系。
2019-07-22 cs.CR cs.LG stat.ML
Understanding NTK Variance in Implicit Neural Representations
Fuzhou University（福州大学）
本文通过分析隐式神经表示中NTK方差的影响因素，揭示了不同架构如何通过改进NTK条件来缓解频谱偏置问题。
2025-12-17 cs.LG
