Revisiting inverse Hessian vector products for calculating influence functions
ByteDance Research(字节跳动研究院);UC Santa Cruz(加州大学圣克鲁兹分校)
本文重新审视了计算影响函数的逆Hessian向量积,提出基于Hessian谱性质选择LiSSA算法的三个超参数,发现其收敛对批次大小要求温和,并通过与PBRF对比实证验证了方法有效性。
2024-09-25 cs.LG
$\texttt{dattri}$: A Library for Efficient Data Attribution
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
针对当前缺乏综合数据归因开发与基准测试库的问题,研究团队推出开源库$\texttt{dattri}$,其具备统一易用API、模块化底层函数、含生成式AI场景的综合基准框架三大特性,已集成多种前沿高效归因方法,可支撑大规模神经网络模型的归因研究与公平基准对比。
2024-10-06 cs.CY cs.LG
LoRIF: Pushing the Scalability Frontier of Training Data Attribution
EPFL(瑞士联邦理工学院);UNC Charlotte(北卡罗来纳大学夏洛特分校);Stony Brook University(史蒂文斯理工学院)
LoRIF通过利用梯度的低秩结构,解决了大规模训练数据归因中的存储和计算瓶颈,实现存储和查询速度的显著提升,同时保持归因质量。
2026-11-04 cs.LG
On the Condition Number Upper Bound of the L-BFGS Inverse Hessian Approximation Matrix with a Two-Sided Geometric Envelope Safeguarding Mechanism
Portland State University(波特兰州立大学)
研究在病态或非凸环境中L-BFGS算法逆海森近似条件数爆炸问题,提出双边L-BFGS方法,通过双边几何包络约束条件数,证明其能保持曲率信息等,数值实验验证该方法可提升鲁棒性和收敛行为。
2026-07-08 cs.LG cs.NA math.NA
Revisiting Data Attribution for Influence Functions
本文全面回顾了影响函数在深度学习中的数据归因能力,探讨了其理论基础、高效逆海森向量积估计算法进展,并评估了其在数据归因与误标签检测中的有效性及未来方向。
2025-08-10 cs.AI cs.LG
A Fully Single Loop Algorithm for Bilevel Optimization without Hessian Inverse
Electrical and Computer Engineering, University of Pittsburgh(匹兹堡大学电气与计算机工程系);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出了一种新的求解双层优化问题的无Hessian逆的完全单循环算法(FSLA)。经典的两层优化算法承认一个双循环结构,这是计算昂贵的。近年来,人们提出了几种交替优化内外变量的单循环算法。然而,这些算法尚未实现完全的单循环。因为它们忽略了为给定的内部和外部状态评估超梯度所需的循环。为了开发一个完整的单循环算法,我们首先研究了超梯度的结构,并确定了一个通用的近似公式的超梯度计算,其中包括几个以前的常见方法,例如通过时间的反向传播,共轭梯度,\emph{etc.}基于这个公式,我们引入了一个新的状态变量来保持历史的超梯度信息。结合我们的新配方与交替更新的内部和外部变量,我们提出了一个有效的完全单循环算法。我们从理论上证明了新状态产生的误差是有界的,并且我们的算法以$O(ε^{-2})$的速度收敛。最后,我们通过多个基于双层优化的机器学习任务验证了我们的算法的有效性。
2021-12-10 cs.LG
Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shanghai University of Finance and Economics(上海财经大学)
本文通过单步策略优化视角统一零阶Hessian估计,提出方差缩减的ZoVH框架,实现全Hessian矩阵、正则化逆及偏差校正逆Hessian-梯度积的高效估计。
2026-05-29 cs.LG
Scalable Data Attribution via Forward-Only Test-Time Inference
Stanford University(斯坦福大学)
本文提出一种通过单向测试时推断实现可扩展数据归因的方法,结合影响函数保真度与首阶可扩展性,降低推理成本并提升大规模应用效果。
2025-11-25 cs.LG
Series of Hessian-Vector Products for Tractable Saddle-Free Newton Optimisation of Neural Networks
University of Cambridge(剑桥大学)
本文提出一种基于海森-向量积级数截断的优化算法,无需显式计算海森矩阵即可渐近使用具有绝对值特征值的精确逆海森矩阵,在可扩展性和性能上媲美一阶与二阶方法。
2024-02-27 cs.LG stat.ML
Accelerating SGD for Distributed Deep-Learning Using Approximated Hessian Matrix
University of Southern California(南加州大学)
我们介绍了一种新的方法来计算一个秩$m$近似的海森矩阵的逆在分布式政权。通过利用多个Workers的梯度和参数的差异,我们能够有效地实现Newton-Raphson方法的分布式近似。我们还提出了初步的结果,强调大型随机优化问题的二阶方法的优势和挑战。特别是,我们的工作表明,结合梯度的新策略提供了损失表面的进一步信息。
2017-09-15 cs.LG
M-FAC: Efficient Matrix-Free Approximations of Second-Order Information
IST Austria(奥地利科学技术研究所);Neural Magic
有效逼近损失函数的局部曲率信息是深度神经网络优化和压缩的关键工具。然而,大多数近似二阶信息的现有方法具有较高的计算或存储成本,这可能限制其实用性。在这项工作中,我们调查矩阵的自由,线性时间的方法来估计逆海森向量积(IHVP)的情况下,海森可以近似为秩一矩阵的总和,在经典的近似海森的经验Fisher矩阵。我们提出了两个新的算法作为一个框架的一部分,称为M-FAC:第一个算法是针对网络压缩,可以计算IHVP的尺寸$d$,如果Hessian是作为一个总和的$m$秩一矩阵,使用$O(dm^2)$预计算,$O(dm)$成本计算IHVP,查询成本$O(m)$的任何单个元素的逆Hessian。第二种算法针对优化设置,其中我们希望计算在优化步骤的滑动窗口上估计的逆Hessian与给定梯度方向之间的乘积,如预处理SGD所需。我们给出了一个算法的成本$O(dm + m^2)$的计算IHVP和$O(dm + m^3)$的添加或删除任何梯度的滑动窗口。这两个算法产生的最先进的结果,网络修剪和优化与较低的计算开销相对于现有的二阶方法。实现可参见[9]和[17]。
2021-11-18 cs.LG
Influence Functions for Scalable Data Attribution in Diffusion Models
University of Cambridge(剑桥大学);Mila – Quebec AI Institute(魁北克AI研究所)
本文提出一个针对扩散模型的影响函数框架,通过K-FAC近似实现可扩展的数据归因,并在LDS等评估上优于现有方法,无需超参数调整。
2025-05-24 cs.AI cs.LG
WoodFisher: Efficient Second-Order Approximation for Neural Network Compression
ETH Zurich(苏黎世联邦理工学院);IST Austria(奥地利科学技术研究所);Neural Magic, Inc.(Neural Magic公司)
二阶信息,以海森或逆海森向量积的形式,是解决优化问题的基本工具。最近,人们对在深度神经网络的背景下利用这些信息产生了浓厚的兴趣;然而,在这种背景下,对现有近似的质量知之甚少。我们的工作研究这个问题,确定现有的方法的问题,并提出了一种方法称为WoodFisher计算一个忠实和有效的逆Hessian估计。我们的主要应用是神经网络压缩,我们建立在经典的最佳脑损伤/外科医生框架。我们证明,WoodFisher显着优于流行的国家的最先进的方法一杆修剪。此外,即使考虑迭代,逐步修剪,我们的方法也会在测试准确性方面获得最先进的方法,用于修剪在标准图像分类数据集(如ImageNet ILSVRC)上训练的流行神经网络(如ResNet-50,MobileNetV 1)。我们研究我们的方法如何可以扩展到考虑一阶信息,以及说明其自动设置逐层修剪阈值和执行压缩的能力,在有限的数据制度。该代码可在以下链接https://github.com/IST-DASLab/WoodFisher上获取。
2020-11-25 cs.LG stat.ML
Fast Approximation of Rotations and Hessians matrices
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
介绍了一种新的旋转矩阵的表示和近似方法。该方法表示具有线性复杂度的旋转矩阵$Q$的近似,即具有以类似FFT的方式布置的坐标对上的$\frac{1}{2}n\lg(n)$旋转。使用梯度下降“学习”近似。它允许将对称矩阵$H$表示为$QDQ^T$,其中$D$是对角矩阵。它可以用来近似高斯模型的协方差矩阵,以加快推理,或通过将参数的变化与优化过程之后的轨迹上的梯度变化相关联来估计和跟踪目标函数的逆Hessian。实验进行了近似合成矩阵,真实数据的协方差矩阵,和Hessian矩阵的目标函数涉及机器学习问题。
2014-04-29 cs.LG
A Gauss-Newton Method for Markov Decision Processes
University College London(伦敦大学学院)
近似牛顿方法是一种标准的优化工具,其目的是保持牛顿方法的优点,例如快速收敛,同时减轻其缺点,例如计算昂贵的计算或逆Hessian的估计。在这项工作中,我们研究近似牛顿方法的政策优化马尔可夫决策过程(MDP)。我们首先分析了MDP目标函数的Hessian结构。我们表明,像梯度,海森表现出有用的结构的背景下,MDPs和我们使用这种分析,以激励两个高斯-牛顿方法MDPs。与非线性最小二乘法的高斯-牛顿法一样,这些方法涉及通过忽略海森函数中难以估计的某些项来近似海森函数。近似Hessians具有理想的性能,如负定性,我们证明了几个重要的性能保证,包括保证上升方向,仿射变换的参数空间的不变性,收敛保证。最后,我们提供了一个统一的角度来看,关键的政策搜索算法,证明我们的第二个高斯-牛顿算法是密切相关的EM算法和自然梯度上升应用于MDP,但在实践中表现得更好的一系列具有挑战性的领域。
2015-08-06 cs.AI cs.LG stat.ML
An adaptive Hessian approximated stochastic gradient MCMC method
Purdue University(普渡大学)
贝叶斯方法已成功集成到训练深度神经网络中。一个流行的家族是随机梯度马尔可夫链蒙特卡罗方法(SG-MCMC),由于其处理大型数据集的可扩展性和避免过拟合的能力,其获得了越来越多的关注。虽然标准SG-MCMC方法在各种问题中表现出很好的性能,但当目标后验密度中的随机变量具有尺度差异或高度相关时,它们可能是低效的。在这项工作中,我们提出了一个自适应海森近似随机梯度MCMC方法,将局部几何信息,同时从后验采样。其思想是应用随机逼近在每次迭代中顺序地更新预处理矩阵。预条件子具有二阶信息,能有效地引导采样器的随机游动。在更新公式中,我们利用样本及其随机梯度的有限记忆来近似逆Hessian-vector乘法,而不是计算和保存对数后验的完整Hessian。此外,通过平滑优化预处理矩阵,我们提出的算法可以渐近收敛到目标分布在温和的条件下,可控的偏差。为了减少训练和测试的计算负担,我们采用了基于幅度的权重修剪方法来增强网络的稀疏性。我们的方法是用户友好的,是可扩展的标准SG-MCMC更新规则,通过实现一个额外的预条件。逆Hessian模型的稀疏近似降低了存储量和大维数模型的计算复杂性。由随机逼近引入的偏差是可控的,可以从理论上进行分析。对几个问题进行了数值试验。
2020-10-03 cs.LG cs.NA math.NA
SPAN: A Stochastic Projected Approximate Newton Method
Bytedance AI Lab(字节跳动人工智能实验室);University of Science and Technology China(中国科学技术大学);Tsinghua University(清华大学)
二阶最优化方法具有理想的收敛性质。然而,精确牛顿法需要昂贵的计算海森及其逆。在本文中,我们提出了一种新的近似和快速牛顿法SPAN。SPAN通过低秩近似和随机Hessian向量乘积计算黑塞矩阵的逆。我们在多个基准数据集上的实验表明,SPAN在收敛挂钟时间方面优于现有的一阶和二阶最优化方法。此外,我们提供了一个理论分析的每次迭代的复杂性,近似误差,和收敛速度。理论分析和实验结果都表明,该方法在收敛速度和迭代效率之间取得了较好的折衷。
2020-03-03 cs.LG math.OC
Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization
Financial Computing and Analytics Group, University College London(金融计算与分析组,伦敦大学学院);Robot Perception and Learning Lab, University College London(机器人感知与学习实验室,伦敦大学学院)
研究多层感知机训练中Hessian主导特征向量的演化,通过位移和局域化统计量揭示SGD与Adam优化器在曲率方向稳定性上的显著差异。
2026-06-29 cs.LG
Data Attribution in Large Language Models via Bidirectional Gradient Optimization
EPFL, Switzerland(瑞士联邦理工学院);ETH Zurich, Switzerland(瑞士苏黎世联邦理工学院)
提出一种基于双向梯度优化的训练数据归因方法,用于自动回归大型语言模型,以识别影响模型输出的关键训练数据,提升模型可解释性。
2026-06-03 cs.CL cs.LG
Learning to Optimize Quasi-Newton Methods
MIT(麻省理工学院);University of Oxford(牛津大学)
本文提出新型优化器LODO,结合L2O技术与拟牛顿方法,通过神经网络在线元学习预条件矩阵,无需元训练即可在测试任务上即时适应,理论证明其能近似Hessian逆矩阵,并在噪声环境中高效优化95k参数的神经网络。
2023-09-11 cs.LG
Multiscale Feature Attribution for Outliers
Princeton University(普林斯顿大学)
本文提出面向异常值的逆多尺度遮挡特征归因方法,解决异常检测中特征解释难题,并在暗能量光谱仪星系光谱数据上验证其可解释性优于现有方法。
2023-10-30 astro-ph.IM cs.AI cs.LG
Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods
我们提出了一种算法,用于最小化的功能,结合了计算效率的随机梯度下降(SGD)的二阶曲率信息利用拟牛顿方法的总和。我们统一这些不同的方法,保持一个独立的海森近似的每个贡献函数的总和。我们保持计算的易处理性和限制内存的要求,即使是高维的优化问题,通过存储和操纵这些二次近似在一个共享的,随时间变化的,低维的子空间。每个更新步骤只需要一个贡献函数或小批量评估(如SGD),每个步骤都使用近似逆Hessian进行缩放,并且几乎不需要调整超参数(如拟牛顿方法的典型)。该算法与早期的随机二阶技术相比,该技术将每个贡献函数的Hessian视为对完整Hessian的噪声近似,而不是作为直接估计的目标。我们的实验证明了七个不同的优化问题的收敛性。该算法作为开源Python和MATLAB软件包发布。
2014-11-30 cs.LG
Meta-Learning Fourier Neural Operators for Hessian Inversion and Enhanced Variational Data Assimilation
School of Computational Science and Engineering, McMaster University(计算科学与工程学院,麦斯特大学);Mathematics and Statistics, McMaster University(数学与统计学,麦斯特大学);Department of Chemistry and Chemical Biology, McMaster University(化学与生物化学系,麦斯特大学)
本文提出元学习 FNO 框架近似跨 DA 问题的逆 Hessian,以初始化 CG;线性平流实验显示 FNO-CG 显著降低误差与迭代数,尤其适用于病态场景。
2025-09-26 cs.LG
LancBiO: dynamic Lanczos-aided bilevel optimization via Krylov subspace
LSEC, AMSS Chinese Academy of Sciences(中国科学院数学与系统科学研究院LSEC);University of Chinese Academy of Sciences(中国科学院大学)
针对双层优化中 Hessian 逆计算瓶颈,提出基于 Lanczos 过程的动态 Krylov 子空间方法,以较低代价近似超梯度,实现 $\mathcal{O}(ε^{-1})$ 收敛并在合成与深度学习任务中验证高效性。
2025-02-26 cs.LG math.OC stat.ML
qNBO: quasi-Newton Meets Bilevel Optimization
Public Health School, Fujian Medical University(福建医科大学公共卫生学院);School of Mathematics and Statistics, Fuzhou University(福州大学数学与统计学院);Center for Applied Mathematics of Fujian Province(福建省应用数学中心);National Center for Applied Mathematics Shenzhen, SUSTech(南方科技大学深圳国家应用数学中心);Department of Mathematics, SUSTech(南方科技大学数学系);School of Science, BUPT(北京邮电大学理学院);The Smart City Research Institute of CETC(中国电子科技集团公司智慧城市研究院)
本文提出 qNBO 框架,利用拟牛顿法协同解决双层优化中下层问题求解与逆 Hessian-向量乘积的计算挑战,并证明了 BFGS 适应的非渐近收敛性,在超参数优化等任务中表现优异。
2025-02-03 cs.LG math.OC
Hessian-Free Second-Order Adversarial Examples for Adversarial Learning
Zhejiang University of Science and Technology(浙江科技大学);Hikvision Digital Technology Co., Ltd(海康威视数字技术股份有限公司);Guangzhou University(广州大学);CY Cergy Paris University(CY塞尔吉-巴黎大学)
最近的研究表明,深度神经网络(DNN)非常容易受到精心设计的对抗性示例的影响。使用这些对抗性示例的对抗性学习已被证明是防御此类攻击的最有效方法之一。目前,大多数对抗性样本生成方法都是基于一阶梯度的,这很难进一步提高模型的鲁棒性,尤其是在面对二阶对抗攻击时。与一阶梯度相比,二阶梯度提供了关于自然示例的损失景观的更准确的近似。受此启发,我们的工作制作了二阶对抗示例,并使用它们来训练DNN。然而,二阶优化涉及耗时的海森逆计算。我们提出了一种近似方法,通过将问题转化为Krylov子空间中的优化问题,显著降低了计算复杂性,加快了训练过程。在MINIST和CIFAR-10数据集上进行的大量实验表明,我们使用二阶对抗性示例进行的对抗性学习优于其他一阶方法,这可以提高模型对各种攻击的鲁棒性。
2022-07-04 cs.CR cs.CV cs.LG
Correlation-Guided Fast Machine Unlearning via Hessian Analysis
Indian Institute of Technology (Banaras Hindu University) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西校区);Halmstad University(哈尔姆斯塔德大学)
针对安全系统中机器遗忘计算开销大的问题,提出基于Hessian分析的相关性引导遗忘框架,利用闭式更新规则实现82倍加速,并在多个数据集上保持模型效用与遗忘效果。
2026-09-14 cs.AI cs.LG
BLADE: Scalable Bi-level Adaptive Data Selection for LLM Training
University of Oxford(牛津大学);Renmin University of China(中国人民大学);University of Chinese Academy of Sciences(中国科学院大学)
提出BLADE框架,通过拉格朗日乘子将双层优化转化为单层惩罚目标,避免逆Hessian计算,实现动态参考模型,理论保证一阶收敛,实验优于现有方法。
2026-06-18 cs.LG
Nystrom Method for Accurate and Scalable Implicit Differentiation
RIKEN(理化学研究所);Kyoto University(京都大学)
基于梯度的隐微分双层优化算法的难点在于估计关于神经网络参数的逆Hessian向量积。本文提出了解决这个问题的Nystrom方法和伍德伯里矩阵恒等式,利用低秩的海森。与共轭梯度法和Neumann级数逼近法等迭代逼近方法相比,该方法避免了数值不稳定性,无需迭代即可进行矩阵运算。因此,该方法在各种任务中工作稳定,并且比迭代近似更快。在整个实验中,包括大规模的超参数优化和元学习,我们证明了Nystrom方法始终实现可比的,甚至优于其他方法的性能。源代码可从https://github.com/moskomule/hypergrad获得。
2023-02-20 cs.LG
Mutual Information Preserving Back-propagation: Learn to Invert for Faithful Attribution
Sun Yat-Sen University(中山大学);Texas A&M University(德克萨斯A&M大学)
已经提出了基于反向传播的可视化来解释深度神经网络(DNN),其中一些产生具有良好视觉质量的解释。然而,这些直观的可视化是否与网络决策有关存在疑问。最近的研究证实了这一怀疑,通过验证几乎所有这些修改后的反向传播可视化都不忠实于模型的决策过程。此外,这些可视化产生模糊的“相对重要性分数”,其中低值不能保证独立于最终的预测。因此,开发一种新的反向传播框架,保证理论的忠实性,并产生一个清晰的理解定量归因得分是非常必要的。为了实现这一目标,我们借助互信息理论来生成解释,研究每个输入神经元中编码了多少输出信息。基本思想是通过反向传播来学习源信号,使得输入和输出之间的互信息应当尽可能多地保留在输入和源信号之间的互信息中。此外,我们提出了一个互信息保持逆网络,称为MIP-IN,其中每一层的参数递归训练学习如何反转。在反演过程中,采用正向Relu运算,使一般解释适应特定输入。然后,我们经验性地证明,反相源信号满足完整性和极小性属性,这是一个忠实的解释至关重要。此外,实证研究验证了MIP-IN产生的解释的有效性。
2021-04-14 cs.AI cs.LG