Multiview Hessian Regularization for Image Annotation
China University of Petroleum (East China)（中国石油大学（华东））
计算机硬件和互联网技术的快速发展使得大规模数据依赖模型在计算上易于处理，并为通过创新的机器学习算法注释图像开辟了一条光明的道路。半监督学习（Semi-supervised learning，SSL）近年来受到广泛关注，并成功应用于图像标注。SSL中的一个代表性工作是拉普拉斯正则化（LR），其沿着编码在图拉普拉斯中的流形平滑分类的条件分布，然而，已经观察到LR使分类函数偏向于常数函数，这可能导致较差的泛化。此外，LR被开发用于处理均匀分布的数据（或单视图数据），尽管实例或对象（例如图像和视频）通常由多视图特征（例如颜色，形状和纹理）表示。在本文中，我们提出了多视图海森正则化（mHR），以解决上述两个问题的LR为基础的图像标注。特别是，mHR最佳地组合了多个Hessian正则化，每个Hessian正则化都是从特定的实例视图中获得的，并且引导分类函数沿着数据流形线性变化。我们将mHR应用于核最小二乘和支持向量机作为图像标注的两个例子。在PASCAL VOC'07数据集上进行的大量实验通过与基线算法（包括LR和HR）进行比较来验证mHR的有效性。
2019-04-23 cs.CV cs.LG stat.ML
Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics
Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
神经网络（NN）的学习动力学和归纳偏差的理解受到NN参数和所表示的函数之间关系的不透明性的阻碍。我们建议将ReLU NN重新参数化为连续分段线性样条。使用这种样条透镜，我们研究了浅单变量ReLU NN的学习动态，为几个令人困惑的现象找到了意想不到的见解和解释。我们开发了一个令人惊讶的简单和透明的视图的损失表面的结构，包括其临界点和不动点，海森，和海森谱。我们还表明，标准的权重初始化产生非常平坦的函数，这种平坦性，加上overparametrization和初始权重规模，是负责隐式正则化的强度和类型，与最近的工作arXiv：1906.05827。我们的隐式正则化结果是对最近独立完成的工作arXiv：1906.07842的补充，该工作表明初始化规模通过基于内核的参数严格控制隐式正则化。我们基于样条的方法再现了他们的关键隐式正则化结果，但以更直观和透明的方式。展望未来，我们基于样条的方法很可能会自然地扩展到多元和深层环境，并将在理解神经网络的努力中发挥基础作用。使用基于样条的可视化学习动态的视频可在http://shorturl.at/tFWZ2上获得。
2020-08-04 cs.LG stat.ML
Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而，对抗性训练很容易出现过拟合，原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现，鲁棒的过拟合来自标准训练，特别是最小化干净的损失，并且可以通过损失梯度的正则化来减轻。此外，我们发现，鲁棒过拟合在对抗训练过程中变得更加复杂，部分原因是由于损失景观曲率的增加，对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力，我们提出了一种新的正则化器，通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合，并实现了最高的鲁棒性和效率相比，类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
A Deeper Look at the Hessian Eigenspectrum of Deep Neural Networks and its Applications to Regularization
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
损失景观分析对于深入理解深度神经网络模型的泛化能力非常有用。在这项工作中，我们提出了一个分层的损失景观分析，在每一层的损失表面是独立的研究，也对如何每个相关的整体损失表面。我们通过研究每层Hessian的本征谱来研究分层损失景观。特别是，我们的研究结果表明，分层海森几何在很大程度上是类似于整个海森。我们还报告了一个有趣的现象，观察到的深神经网络的中间层的海森本征谱最相似的整体海森本征谱。我们还表明，最大特征值和跟踪的Hessian（全网络和逐层）减少的网络训练的进展。我们利用这些意见，提出了一个新的正则化的基础上逐层Hessian的痕迹。在每一层惩罚Hessian的迹间接迫使随机梯度下降收敛到平坦的最小值，这被证明具有更好的泛化性能。特别是，我们表明，这样的逐层正则化可以被利用来单独惩罚中间层，这会产生有希望的结果。我们对跨数据集的知名深度网络的实证研究支持了这项工作的主张
2020-12-08 cs.LG
Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach
Northeastern University（东北大学）
本文提出一种基于 Hessian 惩罚的二点噪声注入估计方法，有效正则化神经网络损失表面的 Hessian 矩阵以寻找平坦极小值，显著提升了模型泛化能力并在多种任务上取得优异实验结果。
2024-09-23 cs.DS cs.LG math.OC
Stochastic Second-order Methods for Non-convex Optimization with Inexact Hessian and Gradient
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
置信域和三次正则化方法在小规模非凸优化中表现出良好的性能，显示出逃离鞍点的能力。这些方法的每次迭代都涉及梯度、Hessian和函数值的计算，以获得搜索方向并调整半径或三次正则化参数。然而，在训练深度网络等大规模问题中，精确计算这些量过于昂贵。本文研究了一类随机置信域和三次正则化方法在梯度、Hessian和函数值计算不精确的情况下，证明了实现$ε$ -近似二阶最优性的迭代复杂度与以前的工作在梯度和函数值计算精确的情况下是相同量级的.有限和极小化问题中不精确性的温和条件可以通过随机抽样得到。我们表明，与以前的二阶方法相比，该算法在训练卷积神经网络方面表现良好。
2018-09-26 cs.LG math.OC stat.ML
Sample Efficient Stochastic Variance-Reduced Cubic Regularization Method
University of California, Los Angeles（加州大学洛杉矶分校）
提出了一种有效的随机方差缩减三次正则化（Lite-SVRC）算法，用于求解非凸优化问题的局部极小值.与现有的基于三次正则化的方法相比，该算法实现了更低的黑塞矩阵计算的样本复杂度。在我们的分析的核心是选择一个恒定的批量大小的黑塞矩阵计算在每次迭代和随机方差减少技术。详细地，对于具有$n$分量函数的非凸函数，Lite-SVRC收敛到$\tilde{O}(n+n^{2/3}/ε^{3/2})$ Hessian样本复杂度内的局部极小值值，这比所有现有的基于立方正则化的方法更快。在真实数据集上对不同的非凸最优化问题进行了数值实验，验证了我们的理论结果。
2018-11-29 cs.LG math.OC stat.ML
Signed Input Regularization
Simon Fraser University（西蒙弗雷泽大学）
过度参数化的深度模型通常过度拟合给定的训练分布，这使得它们在推理时对小的变化和分布外的样本敏感，从而导致泛化性能低下。为此，应用了几种基于模型和随机化数据依赖的正则化方法，例如数据增强，其防止模型记忆训练分布。代替输入图像的随机变换，我们提出了SIGN，一种新的正则化方法，它通过估计每个变量对最终预测的贡献，使用线性变换来修改输入变量。我们提出的技术将输入数据映射到一个新的流形，其中不太重要的变量被去强调。为了测试所提出的想法的有效性，并将其与其他竞争方法进行比较，我们设计了几个测试场景，如分类性能，不确定性，分布外，和鲁棒性分析。我们使用三个不同的数据集和四个模型比较的方法。我们发现，SIGN鼓励更紧凑的类表示，这导致该模型对随机损坏和分布外样本的鲁棒性，同时与其他竞争方法相比，在正常数据上也实现了卓越的性能。我们的实验也证明了成功的可转移性的SIGN样本从一个模型到另一个。
2019-12-11 cs.CV cs.LG eess.IV
Neglected Hessian component explains mysteries in Sharpness regularization
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文通过 Hessian 分解识别被忽视的 NME 特征探索项，解释 SAM、梯度惩罚与权重噪声的效果差异，并据此设计性能改进干预。
2024-01-24 cs.LG
Delaunay-Triangulation-Based Learning with Hessian Total-Variation Regularization
École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
回归是监督学习中解决的核心问题之一。Rectified Linear Unit（ReLU）神经网络生成连续和分段线性（CPWL）映射，是解决回归问题的最先进方法。在本文中，我们提出了一种替代方法，利用CPWL函数的表达能力。与深度神经网络相比，我们的CPWL参数化保证了稳定性和可解释性。我们的方法依赖于分区的域的CPWL功能的Delaunay三角剖分。三角剖分顶点处的函数值是我们可学习的参数，并且唯一地标识CPWL函数。制定的学习计划作为一个变分问题，我们使用Hessian全变分（HTV）作为正则化有利于CPWL功能与少数仿射片。通过这种方式，我们通过一个超参数控制模型的复杂性。通过开发一个计算框架来计算由三角剖分参数化的任何CPWL函数的HTV，我们将学习问题离散为广义最小绝对收缩和选择算子（LASSO）。我们的实验验证了我们的方法在低维场景中的使用。
2022-08-16 cs.LG eess.SP
The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
本文从动力学稳定性视角分析 SGD 的隐式正则化，证明稳定最小值约束 Hessian 迹并等价于参数范数，从而解释大学习率 SGD 优于 GD 的泛化表现。
2023-06-01 cs.LG stat.ML
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization
MIT（麻省理工学院）；Stanford University（斯坦福大学）；Google（谷歌）
本研究证明在深度矩阵分解中，满足RIP条件下最小化Hessian迹近似等价于最小化端到端矩阵的Schatten 1-范数，从而解释了平坦性正则化提升泛化的原因。
2023-06-22 cs.LG
Helen: Optimizing CTR Prediction Models with Frequency-wise Hessian Eigenvalue Regularization
National University of Singapore（新加坡国立大学）
该研究从优化视角分析 CTR 预测，发现高频特征对应较大 Hessian 特征值并导致尖锐极小值，进而提出 Helen 优化器，通过基于归一化特征频率的自适应扰动进行正则化，在 BARS 多模型多数据集实验中取得更优效果。
2024-02-23 cs.IR cs.LG
Preconditioning for Accelerated Gradient Descent Optimization and Regularization
Department of Mathematics, University of Kentucky（数学系，肯塔基大学）
本文通过预条件化理论探讨了加速梯度下降优化与正则化方法，分析了AdaGrad、RMSProp、Adam等算法的加速机制，并推导了AdamW和L1正则化的通用形式。
2025-12-29 cs.LG cs.NA math.NA
Implicit Rugosity Regularization via Data Augmentation
Rice University（莱斯大学）
深度（神经）网络已经在广泛的监督和无监督学习任务中得到了有效的应用。与经典的机器学习算法不同，深度网络通常在\emph{overparameterized}机制中运行，其中参数的数量大于训练数据点的数量。因此，理解这些网络的泛化性质和正则化（显式或隐式）的作用是非常重要的。在这项工作中，我们探讨了如何经常使用的启发式\emph{data augmentation}施加一个新的措施的\emph{rugosity}或“粗糙度”的基础上的正切海森函数适合训练数据的{ \em隐式正则化}罚款。
2019-10-10 cs.LG stat.ML
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick（华威大学）
可扩展的算法来解决优化和回归任务，甚至近似，需要与大型数据集一起工作。在本文中，我们研究有效的技术，从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”（IHS），并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下，同时大大提高了时间成本。其结果是，我们获得了显着更快的算法约束回归，稀疏和密集的输入。我们的经验结果表明，对于稀疏数据，我们可以以大约100倍的速度汇总数据，而令人惊讶的是，对于密集数据，我们可以以10倍的速度汇总数据！因此，可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
Regularizing Deep Neural Networks with Stochastic Estimators of Hessian Trace
University of Chicago（芝加哥大学）；University of Texas Austin（德克萨斯大学奥斯汀分校）；Peking University（北京大学）
在本文中，我们开发了一种新的正则化方法的深度神经网络通过惩罚的海森的痕迹。这个正则化器的动机是最近的保证界的泛化误差。我们解释了它的好处，在寻找平坦的最小值，避免李雅普诺夫稳定的动力系统。我们采用Hutchinson方法作为一个经典的无偏估计的矩阵的痕迹，并进一步加快其计算使用dropout计划。实验表明，我们的方法优于现有的正则化和数据增强方法，如雅可比，置信惩罚，标签平滑，剪切，和混合。
2023-02-22 cs.LG
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University（京都大学工学部信息与数学科学学院）
过参数化神经网络在实践中推广得很好，无需任何显式正则化。尽管尚未得到证实，但经验证据表明，隐式正则化在深度学习中起着至关重要的作用，可以防止网络过度拟合。在这项工作中，我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量，以分析网络导数相对于输入参数的变化，并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明，每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降，以保持几乎直的样本之间的插值，这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
Exploring Weight Importance and Hessian Bias in Model Pruning
University of California, Riverside（加州大学河滨分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
模型修剪是构建紧凑且计算效率高的机器学习模型的必要步骤。好的剪枝算法的一个关键特征是它精确地量化了模型权重的相对重要性。虽然模型修剪有着丰富的历史，但即使对于涉及线性模型或浅层神经网络的相对简单的问题，我们仍然没有完全掌握修剪机制。在这项工作中，我们提供了一个原则性的探索修剪建立在一个自然的概念的重要性。对于线性模型，我们证明了这种重要性的概念是由协方差缩放捕获的，协方差缩放连接到著名的基于Hessian的修剪。然后，我们推导出渐近公式，使我们能够精确地比较不同的修剪方法的性能。对于神经网络，我们证明了重要性可以与较大的幅度和适当的初始化是至关重要的幅度为基础的修剪。具体来说，我们确定的设置中，权重变得更重要，尽管变得更小，这反过来又导致了灾难性的失败幅度为基础的修剪。我们的研究结果还阐明，隐式正则化的Hessian结构的形式有一个催化剂的作用，在确定重要的权重，这决定了修剪性能。
2020-06-19 cs.LG stat.ML
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced（加州大学默塞德分校）
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题，提出有限内存对称秩一拟牛顿法（允许不定海森近似）及改进自适应正则化三次方法，在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
FlatCAD: Fast Curvature Regularization of Neural SDFs for CAD Models
New Jersey Institute of Technology（新泽西理工学院）；Warsaw University of Technology（华沙技术大学）；IDEAS Research Institute（IDEAS研究机构）
针对神经SDF表示CAD模型时曲率正则化成本高的问题，提出非对角Weingarten损失，通过两种低成本变体实现主曲率差距正则化，在ABC基准上性能匹配或超过基线且资源消耗减半，支持可扩展工程级重建。
2025-08-24 cs.CV cs.GR cs.LG
Analytic Characterization of the Hessian in Shallow ReLU Models: A Tale of Symmetry
NYU（纽约大学）；UCSB（加州大学圣巴巴拉分校）
我们考虑与拟合双层ReLU网络相关的优化问题，其中标签由目标网络生成。我们利用丰富的对称性结构，分析表征的Hessian在各种家庭的虚假最小值的自然政权的输入$d$和隐藏的神经元$k$的数量是有限的。特别地，我们证明了对于$d\ge k$标准高斯输入：（a）的$dk$特征值的Hessian，$dk - O(d)$集中在零附近，（b）$Ω(d)$的特征值与$k$线性增长。虽然这种极其扭曲的光谱现象以前已经被观察过很多次，但据我们所知，这是第一次被严格地确立。我们的分析方法使用的技术，新的领域，从对称性破缺和表示理论，并进行重要的影响，我们的能力，通过局部曲率的统计推广。
2020-10-15 cs.LG math.OC stat.ML
On Training Implicit Meta-Learning With Applications to Inductive Weighing in Consistency Regularization
University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
本文系统分析了隐式元学习中 Hessian 近似方法的稳定性与效率，并提出一种基于置信网络的半监督学习算法，可归纳加权一致性正则化损失并优于 FixMatch。
2023-10-28 cs.AI cs.LG
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点，并找到近似的局部极小值一般光滑，非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果，找到当地的最小值，而不需要任何微妙的加速或方差减少技术。
2017-12-05 cs.LG math.OC stat.ML
Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint
DeepMind（深度思维）
神经网络在许多认知任务中取得了显著的成功。然而，当他们在不访问旧数据的情况下按顺序接受多个任务的训练时，他们在早期任务上的表现往往会显着下降。这个问题通常被称为灾难性遗忘，这是神经网络的持续学习中的一个关键挑战。基于正则化的方法是减轻灾难性遗忘的主要方法之一。在本文中，我们提供了一个新的观点，正则化为基础的持续学习，制定它作为一个二阶泰勒近似的损失函数的每个任务。这种观点导致了一个统一的框架，可以实例化，以获得许多现有的算法，如弹性权重合并和克罗内克因子拉普拉斯近似。基于这一观点，我们研究了优化方面（即，收敛）以及泛化特性（即，有限样本保证）的基于规则化的持续学习。我们的理论结果表明的重要性，准确逼近的海森矩阵。几个基准的实验结果提供了我们的理论研究结果的实证验证。
2021-02-08 cs.LG stat.ML
Sub-Sampled Newton Methods I: Globally Convergent Algorithms
International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
大规模最优化问题在机器学习和数据分析中普遍存在，并且存在大量用于解决此类问题的算法。这些算法中的许多采用子采样，作为加速计算和/或隐式实现统计正则化形式的一种方式。在本文中，我们考虑二阶迭代优化算法，我们提供的范围上的收敛的变种的牛顿法，将均匀子采样作为一种手段来估计梯度和/或海森。我们的界限是非渐近的和定量的。我们的算法是全球性的，并保证从任何初始收敛。使用随机矩阵浓度不等式，可以对Hessian进行子采样以保持曲率信息。我们的第一个算法结合了海森子采样，同时使用全梯度。我们还给出了额外的收敛结果时，通过修改其频谱或脊型正则化的子采样海森正则化。接下来，除了Hessian子采样之外，我们还考虑对梯度进行子采样，以进一步降低每次迭代的计算复杂性。我们使用随机数值线性代数的近似矩阵乘法结果来获得适当的采样策略。在所有这些算法中，计算更新归结为求解大规模线性系，这在计算上是昂贵的。作为一种补救措施，对于我们所有的算法，我们也给出了整体收敛结果的情况下，不精确的更新，这样的线性系只解决近似。本文有一个更先进的配套文件，[42]，其中我们证明，通过做更细粒度的分析，我们可以得到这些算法的局部收敛的问题无关的界限，并探索权衡，以改善本文的基本结果。
2016-02-26 cs.LG math.OC stat.ML
Neighborhood Region Smoothing Regularization for Finding Flat Minima In Deep Neural Networks
Tsinghua University（清华大学）
由于深度神经网络（DNN）具有严重的过度参数化，正则化技术对于在巨大的假设空间中找到最优解至关重要。在本文中，我们提出了一种有效的正则化技术，称为邻域平滑（NRS）。NRS利用模型将受益于收敛到平坦最小值的发现，并尝试在权重空间中正则化邻域区域以产生近似输出。具体而言，在邻域区域中的模型的输出之间的间隙是由基于Kullback-Leibler散度的定义的度量来衡量的。这个度量提供了类似的见解与最小描述长度原则解释平坦极小。通过最小化这种分歧和经验损失，NRS可以显式地驱动优化器收敛到平坦的最小值。我们通过在CIFAR和ImageNet等常用数据集上跨各种模型架构执行图像分类任务来确认NRS的有效性，其中泛化能力可以普遍提高。此外，我们的经验表明，由NRS发现的最小值将有相对较小的海森特征值相比，传统的方法，这被认为是平坦的最小值的证据。
2022-02-24 cs.LG stat.ML
Closed-Form Steepest Descent Direction toward Flat Minima: Reducing Upper Bounds on the Loss Hessian Eigenspectrum in Neural Networks
Nihon University（日本国立东京大学）；National Institute of Technology, Nagaoka College（日本技术研究所 Nagao 学校）；Tokyo City University（东京市立大学）
本文推导了交叉熵损失Hessian最大特征值Wolkowicz-Styan上界的梯度，提出Hessian谱范围正则化，沿闭式最速下降方向更新参数，促进收敛到平坦极小值。
2026-06-27 cs.AI cs.LG cs.NE
Implicit Regularization and Generalization in Overparameterized Neural Networks
研究探讨了优化动态和隐式正则化在参数过量神经网络中促进泛化的角色，通过实验发现小批量大小和网络架构影响泛化性能。
2026-04-08 cs.LG
Neural Pruning via Growing Regularization
Northeastern University（东北大学）
长期以来，正则化一直被用于在深度神经网络修剪中学习稀疏性。但其作用主要是在小刑度制度中探讨的。在这项工作中，我们将其应用扩展到一个新的场景，其中正则化逐渐变大，以解决修剪的两个核心问题：修剪时间表和权重重要性评分。(1)前一个主题是新提出的这项工作，我们发现关键的修剪性能，而很少受到研究的关注。具体来说，我们提出了一个L2正则化变体，其惩罚因子不断增加，并表明即使在删除相同权重的情况下，与单次正则化变体相比，它也可以带来显着的准确性增益。(2)增长惩罚方案还为我们提供了一种方法，可以利用Hessian信息进行更精确的修剪，而无需知道它们的具体值，因此不会受到常见的Hessian近似问题的困扰。从经验上讲，所提出的算法易于实现，并且在结构化和非结构化修剪中可扩展到大型数据集和网络。在CIFAR和ImageNet数据集上使用现代深度神经网络证明了它们的有效性，与许多最先进的算法相比，取得了有竞争力的结果。我们的代码和训练模型可在https://github.com/mingsuntse/regularization-pruning上公开获取。
2021-04-05 cs.AI cs.CV cs.LG
New insights and perspectives on the natural gradient method
DeepMind
自然梯度下降是传统上从信息几何的角度出发的优化方法，并且作为随机梯度下降的替代方案在许多应用中工作良好。在本文中，我们批判性地分析了这种方法及其性质，并显示它可以被视为一种类型的二阶优化方法，与Fisher信息矩阵作为一个替代的海森。在许多重要的情况下，费雪信息矩阵被证明是等价于广义高斯-牛顿矩阵，这两个近似的海森，但也有一定的属性，有利于它的使用超过海森。这种观点对设计一个实用和鲁棒的自然梯度优化器具有重要意义，因为它激发了信赖域和Tikhonov正则化等技术的使用。此外，我们对自然梯度和二阶方法的理解做出了一系列贡献，包括：对随机自然梯度下降算法收敛速度的深入分析（和更一般的随机二阶方法）应用于凸二次，经常使用的“经验”近似的Fisher矩阵的批判性检查，和分析的（近似）参数化不变性性质所拥有的自然梯度方法（我们也持有某些其他曲率，但值得注意的是不是海森）。
2020-09-19 cs.LG stat.ML
Regularization by Denoising Sub-sampled Newton Method for Spectral CT Multi-Material Decomposition
Technical University of Denmark（丹麦技术大学）
光谱计算机断层扫描（CT）是一种新兴的技术，能够通过利用不同的光子能量谱来估计被扫描对象内的基础材料的浓度。在这项工作中，我们的目标是有效地解决一个基于模型的最大后验问题，重建多材料的图像与应用光谱CT。特别是，我们建议解决一个正则化的最优化问题的基础上，使用随机二阶方法的插件图像去噪功能。通过使用似然函数的Hessian的草图来近似牛顿步骤，可以降低复杂度，同时保留由数据驱动正则化器给出的复杂先验结构。我们利用一个不均匀的块亚采样的Hessian不精确，但有效的共轭梯度更新，只需要雅可比向量产品的去噪项。最后，我们展示了光谱CT材料分解的数值和实验结果。
2021-03-25 cs.LG cs.NA math.NA
KronQ: LLM Quantization via Kronecker-Factored Hessian
研究提出KronQ框架，通过引入梯度协方差挑战现有二阶PTQ方法假设。利用克罗内克分解海森矩阵近似，在两个层面改进量化：双向非相干处理减少权重幅度方差，导出新敏感度度量用于层间混合精度分配，在特定量化任务中表现优于GPTQ等。
2026-08-11 cs.LG
Explicit Eigenvalue Regularization Improves Sharpness-Aware Minimization
Monash University（莫纳什大学）；VinAI Research（VinAI研究院）
本文分析SAM训练动态，提出Eigen-SAM算法，通过显式对齐扰动向量与主导特征向量以正则化Hessian最大特征值，提升泛化性能。
2025-01-22 cs.CV cs.LG
A Finite Difference Approximation of Second Order Regularization of Neural-SDFs
New Jersey Institute of Technology（新泽西理工学院）；Warsaw University of Technology（华沙技术大学）；IDEAS NCBR
针对神经符号距离场学习中曲率正则化的计算成本问题，提出基于有限差分模板的二阶导数近似方法，替代高阶微分操作，在保证重建精度的同时降低GPU内存使用和训练时间达两倍，且鲁棒通用。
2025-11-12 cs.CV cs.GR cs.LG
Gradient-Normalized Smoothness for Optimization with Approximate Hessians
EPFL（洛桑联邦理工学院）
本研究提出梯度归一化平滑性新概念，构建结合近似二阶信息与梯度正则化的优化算法，为近似二阶算法提供通用全局收敛保证，适用于多类函数及逻辑回归、非凸优化等场景。
2025-06-16 cs.LG math.OC
Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function
Beihang University（北京航空航天大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of Sydney（悉尼大学）
本文提出一族随机 TR 和 ARC 优化方法，通过同时不精确计算 Hessian 矩阵、梯度和函数值来降低每次迭代开销，并在保持与精确计算同阶迭代复杂度的同时实现了 $ε$-近似二阶最优性。
2023-10-18 cs.LG
Non-Convex Optimization with Spectral Radius Regularization
Engineering Sciences and Applied Mathematics, Northwestern University（西北大学工程科学与应用数学系）；Industrial Engineering and Management Sciences, Northwestern University（西北大学工业工程与管理科学系）；Preventive Medicine (Health and Biomedical Informatics), Northwestern University（西北大学预防医学（健康与生物医学信息学））
本文提出通过谱半径正则化降低损失函数 Hessian 的谱半径以寻找平坦极小值，推导了几乎必然收敛的高效优化算法，并在医疗健康等多个领域验证了模型优于基线的泛化性能。
2025-07-02 cs.LG
Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于一阶泰勒展开和余项界定的神经网络可达性分析方法，通过循环变换利用激活函数单调性，计算梯度和 Hessian 的解析界，并结合分支定界框架实现对大输入集合的精确分析。
2026-10-20 cs.LG cs.SY eess.SY
On the Importance of a Multi-Scale Calibration for Quantization
本文提出MaCa方法，通过多尺度校准提升大语言模型量化精度，改进Hessian估计并增强量化效果。
2026-02-07 cs.CL cs.LG
Communication Dynamics Neural Networks: FFT-Diagonalized Layers for Improved Hessian Conditioning at Reduced Parameter Count
University of California, Berkeley（加州大学伯克利分校）
提出CDLinear块循环线性层，通过FFT对角化Hessian矩阵，在参数减少3.8倍下保持高精度，并给出显式条件数分析。
2026-06-08 cs.AI cs.LG
Implicit Regularization of the Deep Inverse Prior Trained with Inertia
Greyc, Normandie Univ., UNICAEN, ENSICAEN, CNRS（Greyc、诺曼底大学、UNICAEN、ENSICAEN、CNRS）
本文为采用惯性训练的自监督神经网络求解逆问题建立了收敛与恢复保证，提出兼具粘性与几何Hessian驱动阻尼的惯性算法，并证明其可获得优于梯度流的加速收敛速率。
2025-06-03 cs.LG
Spectral Collapse Drives Loss of Plasticity in Deep Continual Learning
Department of Computer Science, Brown University（布朗大学计算机科学系）
研究深度神经网络在持续学习中塑性丧失的原因，发现新任务初始化时的Hessian谱坍缩是主要因素，并提出基于Kronecker分解的两种正则化方法以保持塑性。
2026-05-29 cs.AI cs.LG
Inter-Layer Hessian Analysis of Neural Networks with DAG Architectures
ITMO University（ITMO大学）
本文提出了一种分析框架，将神经网络的Hessian分解为DAG结构的块，区分Gauss-Newton和张量部分，针对ReLU激活函数推导出输入Hessian的张量部分为零，引入诊断指标揭示层间曲率交互。
2026-11-09 cs.LG
Activation-Descent Regularization for Input Optimization of ReLU Networks
University of California San Diego（加利福尼亚大学圣迭戈分校）
提出一种针对 ReLU 网络的输入优化方法，通过将离散激活模式转化为可微表示并引入正则化项以改善局部下降性质，有效提升了对抗学习、生成建模和强化学习等领域的现有技术水平。
2024-06-01 cs.AI cs.LG
Chaotic Regularization and Heavy-Tailed Limits for Deterministic Gradient Descent
Nordita（北欧理论物理研究所）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Stockholm University（斯德哥尔摩大学）；École Normale Supérieure, Université PSL（巴黎文理研究大学高等师范学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
最近的研究表明，梯度下降（GD）可以实现改进的泛化时，其动力学表现出混沌行为。然而，为了获得期望的效果，步长应该选择得足够大，这是一项依赖于问题的任务，并且在实践中可能是困难的。在这项研究中，我们将一个混沌组件GD在一个控制的方式，并引入多尺度扰动GD（MPGD），一种新的优化框架，GD递归增强混沌扰动，通过一个独立的动力系统。我们从三个不同的角度分析了MPGD：（i）通过建立在粗糙路径理论的最新进展，我们表明，在适当的假设下，随着步长的减小，MPGD递归弱收敛到一个随机微分方程（NND）驱动的重尾Lévy稳定过程。(ii)通过连接到最近开发的重尾过程的泛化界，我们得到了一个泛化界的限制，并与最坏情况下的泛化误差的过程的轨迹MPGD的参数。(iii)我们分析了隐式正则化带来的动力学正则化的效果，并表明，在弱扰动制度，MPGD引入惩罚的损失函数的海森的条款。实证结果证明了MPGD的优势。
2022-10-22 cs.LG math.DS math.PR
Policy Distillation with Selective Input Gradient Regularization for Efficient Interpretability
University of California, Irvine（加州大学欧文分校）
尽管深度强化学习（RL）在广泛的任务中已经证明是成功的，但它面临的一个挑战是应用于现实世界问题时的可解释性。显着图经常用于为深度神经网络提供可解释性。然而，在强化学习领域，现有的显着性图方法要么计算昂贵，因此不能满足现实世界的场景的实时要求，或者不能产生可解释的显着性图的强化学习策略。在这项工作中，我们提出了一种选择性输入梯度正则化（DIGR）的蒸馏方法，该方法使用策略蒸馏和输入梯度正则化来产生新的策略，从而在生成显着性图时实现高的可解释性和计算效率。我们的方法也被发现，以提高多个对抗攻击的RL政策的鲁棒性。我们在三个任务上进行实验，MiniGrid（获取对象），Atari（突破）和CARLA自动驾驶，以证明我们的方法的重要性和有效性。
2022-05-18 cs.AI cs.LG
DeStripe: A Self2Self Spatio-Spectral Graph Neural Network with Unfolded Hessian for Stripe Artifact Removal in Light-sheet Microscopy
Technical University of Munich（慕尼黑工业大学）；Georg-August-University Goettingen（哥廷根大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Institute of AI for Health, Helmholtz Munich - German Research Center for Environmental Health（亥姆霍兹慕尼黑中心-德国环境健康研究中心健康人工智能研究所）；Helmholtz AI, Helmholtz Munich - German Research Center for Environmental Health（亥姆霍兹慕尼黑中心-德国环境健康研究中心亥姆霍兹人工智能）
光片荧光显微镜（LSFM）是一种先进的体积成像技术，允许三维成像的介观样品与解耦照明和检测路径。虽然这样的显微镜的选择性激发方案提供了内在的光学切片，最大限度地减少了焦点外的荧光背景和样品光损伤，它是容易发生光吸收和散射效应，这会导致在不均匀的照明和条纹的图像中的文物不利。为了解决这个问题，在本文中，我们提出了一个盲条纹伪影去除算法在LSFM，称为DeStripe，它结合了一个自监督的空间谱图神经网络与展开的Hessian先验。具体而言，受傅里叶变换在将条带化信息浓缩成频域中的孤立值中的期望属性的启发，DeStripe首先通过利用单向条带伪影和更各向同性的前景图像之间的结构差异来定位潜在损坏的傅里叶系数。然后，受影响的傅立叶系数可以被馈送到图神经网络中进行恢复，并展开Hessian正则化，以进一步确保标准图像空间中的结构得到很好的保留。由于在现实中，标准图像采集协议几乎不存在无条纹LSFM，因此DeStripe配备了Self2Self去噪损失项，可以在不访问无条纹地面真实图像的情况下消除伪影。竞争性的实验结果证明了DeStripe在恢复LSFM中损坏的生物标志物与合成和真实条纹伪影的功效。
2022-06-27 cs.CV cs.LG eess.IV
Learning Stochastic Dynamical Systems as an Implicit Regularization with Graph Neural Networks
Huazhong University of Science and Technology（华中科技大学）；Great Bay University（大湾区大学）
提出随机 Gumbel 图网络 S-GGN，通过 Gumbel 矩阵嵌入学习随机微分方程的漂移与扩散项，理论分析噪声的隐式正则化，并在 Kuramoto 与真实数据上验证其更优的收敛、鲁棒和泛化性能。
2023-07-12 cs.LG math.DS
