Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity
University of California, Davis(加州大学戴维斯分校);Rice University(莱斯大学)
针对去中心化随机双层优化,本文提出仅需一阶随机预言机及Hessian/Jacobian-向量积预言机的DSBO算法,在保持最优样本复杂度的同时避免计算完整矩阵,降低了每次迭代复杂度。
2023-05-31 cs.DC cs.LG math.OC
Penalty Method for Inversion-Free Deep Bilevel Optimization
Tulane University(杜兰大学)
解决双层优化问题是几个机器学习问题的核心,例如超参数调整,数据去噪,Meta和少样本学习以及训练数据中毒。与同时优化或多目标优化不同,在双层问题中,最小化上层成本的最速下降方向需要下层成本的Hessian的逆。在这项工作中,我们提出了一个新的算法来解决双层优化问题的基础上经典的惩罚函数方法。我们的方法避免了计算海森逆,可以很容易地处理约束二层问题。在较弱的条件下证明了该方法的收敛性,并证明了精确超梯度的渐近性。我们的方法的简单性和小的空间和时间复杂度,使我们能够有效地解决大规模的双层问题,涉及深神经网络。我们目前的结果数据去噪,少样本学习,并在大规模设置的训练数据中毒问题。我们的研究结果表明,我们的方法优于或相当于以前提出的方法的基础上自动微分和近似反演的精度,运行时间和收敛速度。
2021-10-05 cs.LG math.OC stat.ML
Hypergradient-based Bilevel Reinforcement Learning with Improved Sample Complexity
针对现有双层强化学习算法可扩展性差或样本复杂度高的问题,提出基于玻尔兹曼策略最优性的无Hessian超梯度双层RL算法,实现更优的迭代与样本复杂度,且无需外层目标的PL条件假设。
2026-08-03 cs.AI cs.LG
qNBO: quasi-Newton Meets Bilevel Optimization
Public Health School, Fujian Medical University(福建医科大学公共卫生学院);School of Mathematics and Statistics, Fuzhou University(福州大学数学与统计学院);Center for Applied Mathematics of Fujian Province(福建省应用数学中心);National Center for Applied Mathematics Shenzhen, SUSTech(南方科技大学深圳国家应用数学中心);Department of Mathematics, SUSTech(南方科技大学数学系);School of Science, BUPT(北京邮电大学理学院);The Smart City Research Institute of CETC(中国电子科技集团公司智慧城市研究院)
本文提出 qNBO 框架,利用拟牛顿法协同解决双层优化中下层问题求解与逆 Hessian-向量乘积的计算挑战,并证明了 BFGS 适应的非渐近收敛性,在超参数优化等任务中表现优异。
2025-02-03 cs.LG math.OC
Bayesian BiLO: Bilevel Local Operator Learning for Efficient Uncertainty Quantification of Bayesian PDE Inverse Problems with Low-Rank Adaptation
本研究提出B-BiLO框架,通过低秩适应和双层局部算子学习实现PDE反问题的高效不确定性量化。
2026-11-04 cs.LG math-ph math.MP
Efficient Bilevel Optimization with KFAC-Based Hypergradients
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文提出基于KFAC的双层优化方法,通过引入隐函数定理算法,提升了超梯度计算的效率与性能,优于CG和Neumann方法,在元学习和AI安全问题中表现优异。
2026-03-31 cs.LG
A Fully First-Order Layer for Differentiable Optimization
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
提出一种仅使用一阶信息计算梯度的算法,通过将可微优化重写为双层优化并引入活动集拉格朗日超梯度方法,避免Hessian计算,实现高效近似。
2026-06-16 cs.LG
LancBiO: dynamic Lanczos-aided bilevel optimization via Krylov subspace
LSEC, AMSS Chinese Academy of Sciences(中国科学院数学与系统科学研究院LSEC);University of Chinese Academy of Sciences(中国科学院大学)
针对双层优化中 Hessian 逆计算瓶颈,提出基于 Lanczos 过程的动态 Krylov 子空间方法,以较低代价近似超梯度,实现 $\mathcal{O}(ε^{-1})$ 收敛并在合成与深度学习任务中验证高效性。
2025-02-26 cs.LG math.OC stat.ML
The Hessian of tall-skinny networks is easy to invert
Ali Rahimi(独立研究者)
本文提出了一种高效算法,通过计算Hessian逆向量乘积来求解线性方程组,避免存储Hessian矩阵,时间与存储复杂度与网络层数成线性关系。
2026-01-14 cs.LG
Smoothed Gradient Method for Nonconvex Federated Stochastic Bilevel Optimization
Temple University(天普大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of Minnesota(明尼苏达大学)
针对非凸联邦随机双层优化,提出一种随机双重平滑梯度方法,解耦上下层学习率,无需强凸下层,收敛率与通信复杂度均优于现有方法。
2026-10-06 cs.LG
A Primal-Dual Approach to Bilevel Optimization with Multiple Inner Minima
The Ohio State University(俄亥俄州立大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
双层优化在超参数优化、神经结构搜索、元学习等现代机器学习问题中有着广泛的应用。其中内部函数是强凸的)是很好理解的,这样的具有多个内部极小点的问题仍然是具有挑战性的和开放的。现有的算法设计这样一个问题适用于限制的情况下,并没有一个完全保证收敛。本文将双层优化问题转化为约束优化问题,并采用原始-对偶双层优化(PDBO)算法进行求解。PDBO不仅解决了多个内部最小值的挑战,而且具有完全的一阶效率,而不涉及二阶Hessian和Jacobian计算,而不是大多数现有的基于梯度的双层算法。我们进一步刻画了PDBO的收敛速度,这是第一个已知的非渐近收敛保证多个内部极小值的双层优化。我们的实验表明所提出的方法的预期性能。
2022-06-08 cs.LG math.OC stat.ML
Revisiting inverse Hessian vector products for calculating influence functions
ByteDance Research(字节跳动研究院);UC Santa Cruz(加州大学圣克鲁兹分校)
本文重新审视了计算影响函数的逆Hessian向量积,提出基于Hessian谱性质选择LiSSA算法的三个超参数,发现其收敛对批次大小要求温和,并通过与PBRF对比实证验证了方法有效性。
2024-09-25 cs.LG
Revisiting Zeroth-Order Hessian Approximation: A Single-Step Policy Optimization Lens
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shanghai University of Finance and Economics(上海财经大学)
本文通过单步策略优化视角统一零阶Hessian估计,提出方差缩减的ZoVH框架,实现全Hessian矩阵、正则化逆及偏差校正逆Hessian-梯度积的高效估计。
2026-05-29 cs.LG
Blockwise Stochastic Variance-Reduced Methods with Parallel Speedup for Multi-Block Bilevel Optimization
Texas A&M University(德克萨斯农工大学);Nanjing University(南京大学)
针对非凸多块双层优化,论文提出两种分块方差缩减随机算法,在避免高维 Hessian 求逆的同时实现并行加速,并给出 ε-稳定点复杂度与实验验证。
2023-06-02 cs.AI cs.LG math.OC
Bilevel Optimization: Convergence Analysis and Enhanced Design
The Ohio State University(俄亥俄州立大学)
双层优化已经成为许多机器学习问题的强大工具,如元学习,超参数优化和强化学习。本文研究了非凸-强凸双层优化问题。对于确定性双层优化问题,我们分别给出了基于近似隐式微分(AID)和迭代微分(ITD)的两种常用算法的收敛速度分析.对于基于AID的方法,我们orderwisely改善以前的收敛速度分析,由于更实际的参数选择以及一个热启动策略,并为基于ITD的方法,我们建立了第一个理论收敛速度。我们的分析还提供了ITD和AID为基础的方法之间的定量比较。对于随机双层优化,我们提出了一种新的算法,名为stocBiO,它具有一个样本有效的超梯度估计,使用高效的雅可比和海森向量积计算。我们提供了收敛速度的保证stocBiO,并表明stocBiO优于最好的已知的计算复杂性度orderwise相对于条件数$κ$和目标精度$ε$。通过元学习和超参数优化的实验,进一步验证了本文的理论结果和双层优化算法的有效性。
2021-08-27 cs.LG math.OC stat.ML
A Fully First-Order Method for Stochastic Bilevel Optimization
Wisconsin Institute for Discovery(威斯康星发现研究所);UW-Madison(威斯康星大学麦迪逊分校)
考虑了只有一阶梯度解时的随机无约束双层最优化问题。虽然已经提出了许多最优化方法来解决双层问题,但现有方法要么倾向于需要关于较低级别目标的Hessians的可能昂贵的计算,要么缺乏严格的有限时间性能保证。本文提出了一种完全一阶随机逼近(F2 SA)方法,并研究了它的非渐近收敛性质。具体而言,我们表明,F2 SA收敛到一个$ε$ -固定解决方案的双层问题后,$ε^{-7/2}, ε^{-5/2}$,和$ε^{-3/2}$迭代(每次迭代使用$O(1)$样本)时,随机噪声是在两个级别的目标,只有在上层的目标,并不存在(确定性设置),分别。我们进一步表明,如果我们采用动量辅助梯度估计,迭代复杂度可以分别提高到$ε^{-5/2}, ε^{-4/2}$和$ε^{-3/2}$。我们证明了更优越的实际性能,所提出的方法比现有的二阶基于MNIST数据超清洗实验的方法。
2023-01-26 cs.AI cs.LG math.OC
Anchoring Adversarial Trajectories to Data Manifolds: A Bilevel Transfer Optimization Framework
The University of Hong Kong(香港大学);The Hong Kong Polytechnic University(香港理工大学)
针对对抗迁移中轨迹偏离数据流形的问题,提出MABT框架,通过流形锚定与双层优化提升10个基线攻击者在28种配置下的迁移性。
2026-10-01 cs.CR cs.CV cs.LG
Achieving Linear Speedup in Non-IID Federated Bilevel Learning
Meta;The Ohio State University(俄亥俄州立大学);University at Buffalo(布法罗大学)
联邦双层优化在各种新兴的机器学习和通信应用中受到越来越多的关注。近年来,一些基于Hessian向量的算法被提出来解决联邦双层优化问题。然而,联邦学习中的几个重要属性,如部分客户端参与和收敛的线性加速(即,收敛速度和复杂度相对于采样客户端的数量线性地提高)。数据库仍然开放。在本文中,我们填补了这些空白,提出了一个新的联邦双层算法命名为FedMBO与一个新的客户端抽样计划在联邦超梯度估计。我们证明了FedMBO在非独立同分布上达到了$\mathcal{O}\big(\frac{1}{\sqrt{nK}}+\frac{1}{K}+\frac{\sqrt{n}}{K^{3/2}}\big)$的收敛速度。数据集,其中$n$是每轮中参与客户端的数量,$K$是迭代的总数。这是第一个理论上的线性加速结果非i.i.d.联邦双层优化大量的实验验证了我们的理论结果,并证明了我们所提出的方法的有效性。
2023-02-10 cs.LG math.OC stat.ML
Natural Hypergradient Descent: Algorithm Design, Convergence Analysis, and Parallel Implementation
University of Minnesota(明尼苏达大学);Purdue University(普渡大学)
本文提出自然超梯度下降法,通过利用内部优化问题的统计结构,用经验 Fisher 信息矩阵替代 Hessian,实现并行优化与近似框架,减少计算开销并提升大规模机器学习效果。
2026-04-01 cs.LG math.OC stat.ML
BOME! Bilevel Optimization Made Easy: A Simple First-Order Approach
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
双层优化(BO)可用于解决各种重要的机器学习问题,包括但不限于超参数优化、元学习、持续学习和强化学习。传统的BO方法需要通过隐式微分的低级优化过程进行微分,这需要与Hessian矩阵相关的昂贵计算。最近一直在寻求BO的一阶方法,但迄今为止提出的方法对于大规模深度学习应用来说往往是复杂和不切实际的。在这项工作中,我们提出了一个简单的一阶BO算法,该算法仅依赖于一阶梯度信息,不需要隐式微分,对于深度学习中的大规模非凸函数是实用和高效的。我们提供了非渐近收敛分析所提出的方法的非凸目标的稳定点,并提出了实证结果,显示其优越的实际性能。
2022-09-19 cs.AI cs.LG math.OC
Inexact bilevel stochastic gradient methods for constrained and unconstrained lower-level problems
Lehigh University(理海大学)
针对大规模或带约束的随机双层优化难题,提出适配非线性非凸下层约束的双层随机梯度方法,构建覆盖多类不精确计算场景的收敛理论,并开发无需二阶导数的低秩实用方法以支撑大规模学习应用。
2023-11-06 cs.LG math.OC stat.ML
First-Order Methods for Linearly Constrained Bilevel Optimization
Weizmann Institute of Science(魏兹曼科学研究所);Massachusetts Institute of Technology(麻省理工学院);Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
针对线性约束双层优化,提出一阶方法,实现有限时间超梯度平稳性保证,分别对等式和不等式约束达到近最优及维度无关的复杂度,并辅以数值实验验证。
2025-04-20 cs.LG math.OC
Nystrom Method for Accurate and Scalable Implicit Differentiation
RIKEN(理化学研究所);Kyoto University(京都大学)
基于梯度的隐微分双层优化算法的难点在于估计关于神经网络参数的逆Hessian向量积。本文提出了解决这个问题的Nystrom方法和伍德伯里矩阵恒等式,利用低秩的海森。与共轭梯度法和Neumann级数逼近法等迭代逼近方法相比,该方法避免了数值不稳定性,无需迭代即可进行矩阵运算。因此,该方法在各种任务中工作稳定,并且比迭代近似更快。在整个实验中,包括大规模的超参数优化和元学习,我们证明了Nystrom方法始终实现可比的,甚至优于其他方法的性能。源代码可从https://github.com/moskomule/hypergrad获得。
2023-02-20 cs.LG
On the Convergence of Adam-Type Algorithm for Bilevel Optimization under Unbounded Smoothness
George Mason University(乔治梅森大学)
本文将Adam扩展至下层强凸、上层非凸且具无界平滑性的双层优化问题,提出单循环AdamBO算法,通过新颖的随机性解耦引理实现$\widetilde{O}(ε^{-4})$的oracle复杂度,并在RNNs和transformers等任务上验证了其有效性。
2025-03-05 cs.LG math.OC
Bilevel optimization for learning hyperparameters: Application to solving PDEs and inverse problems with Gaussian processes
Department of Mathematics, Cornell University(数学系,康奈尔大学);Department of Computing and Mathematical Sciences, California Institute of Technology(计算与数学科学系,加州理工学院)
本文提出一种基于高斯-牛顿线性化的双层优化策略,用于高效学习超参数,应用于高斯过程求解偏微分方程和反问题,显著提升准确性和鲁棒性。
2025-10-07 cs.LG physics.comp-ph stat.ML
On the Communication Complexity of Decentralized Stochastic Bilevel Optimization
Temple University(特拉华大学)
针对异构环境下现有去中心化随机双层优化算法收敛慢、通信成本高的问题,提出基于同步和交替更新策略的两种新算法,实现了更快的收敛速度和更低的通信成本,并首次在温和假设下揭示了异构设置中Hessian逆向量积的计算与通信对收敛率的影响。
2026-05-25 cs.DC cs.LG math.OC
Bilevel learning of l1-regularizers with closed-form gradients(BLORC)
Michigan State University(密歇根州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
我们提出了一种方法,监督学习稀疏促进正则化,在许多现代信号重建问题的关键成分。学习正则化器的参数以最小化在地面真实信号和测量对的训练集上重建的均方误差。训练涉及解决具有非光滑低层目标的具有挑战性的双层优化问题。我们推导出一个表达式的梯度的训练损失使用的隐式封闭形式的解决方案的较低级别的变分问题给出其对偶问题,并提供了一个配套的梯度下降算法(被称为BLORC),以尽量减少损失。我们对简单自然图像和一维信号去噪的实验表明,该方法可以学习有意义的算子,计算的分析梯度比标准的自动微分方法更快。虽然我们提出的方法适用于去噪,但我们相信它可以适用于各种线性测量模型的逆问题,从而使其适用于各种场景。
2021-11-21 cs.LG
BROS: Bias-Corrected Randomized Subspaces for Memory-Efficient Single-Loop Bilevel Optimization
Sichuan University(四川大学);Peking University(北京大学)
本文提出BROS,一种内存高效的单循环双层优化方法,具有与精确单循环方法相同的收敛率。通过随机子空间和Rademacher双探针校正,BROS在标准假设下保持样本复杂度,并在多个任务中减少内存峰值。
2026-05-12 cs.LG math.OC
BiLO: Bilevel Local Operator Learning for PDE Inverse Problems
Department of Mathematics, University of California, Irvine(加州大学伊文斯分校数学系);Department of Computer Science, University of California, Irvine(加州大学伊文斯分校计算机科学系);Department of Biomedical Engineering, University of California, Irvine(加州大学伊文斯分校生物医学工程系)
BiLO通过双层优化方法解决PDE反问题,利用神经网络局部近似解算子,有效处理强约束和噪声数据,无需平衡残差与数据损失。
2026-01-07 cs.LG cs.NA math.NA
Bilevel Optimization with Lower-Level Uniform Convexity: Theory and Algorithm
Department of Computer Science, George Mason University(计算机科学系,乔治·马歇尔大学)
本文提出了一种基于下层均匀凸性的双层优化算法UniBiO,通过理论分析和实验验证,实现了在寻找ε-stationary points时的高效收敛性保证。
2026-02-04 cs.LG math.OC
Stochastic Regret Guarantees for Online Zeroth- and First-Order Bilevel Optimization
Amirkabir University of Technology(阿姆斯泰尔大学);University of Pennsylvania(宾夕法尼亚大学);Samsung SDS Research America(三星SDS美国研究部);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种新的搜索方向,证明了利用该方向的零阶和一阶随机在线双层优化算法能够在不使用窗口平滑的情况下实现亚线性随机双层遗憾。此外,该框架通过减少超梯度估计中的oracle依赖、同时更新内层和外层变量以及使用基于零阶的Hessian、雅可比和梯度估计来提高效率。
2026-05-19 cs.LG cs.NA math.NA
Decentralized Bilevel Optimization: A Perspective from Transient Iteration Complexity
Center for Data Science, Peking University(北京大学数据科学中心);Center for Machine Learning Research, Peking University AI for Science Institute(北京大学人工智能科学研究院机器学习研究中心)
本文提出D-SOBA框架,通过分析瞬态迭代复杂度,首次理论探讨了网络拓扑、数据异质性及嵌套双层结构对去中心化随机双层优化的影响。
2025-11-26 cs.LG math.OC stat.ML
Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed Smoothness Conditions
UC Davis(加州大学戴维斯分校)
本文提出一种全单循环、免Hessian求逆的随机双层优化算法,在标准光滑性假设下达到最优复杂度,并扩展至多目标鲁棒情形,实验验证其性能优势。
2023-06-21 cs.LG math.OC stat.ML
A Single-Loop First-Order Algorithm for Linearly Constrained Bilevel Optimization
University of Virginia(弗吉尼亚大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Meta
本文提出了一种单循环一阶算法,用于解决具有线性约束的双层优化问题,通过改写问题并分析收敛率,提升了算法效率。
2026-02-04 cs.IT cs.LG math.IT
S$^3$LDBO: A Snapshot Single-Loop Algorithm for Decentralized Bilevel Optimization
School of Mathematics, Hohai University(河海大学数学学院);School of Mathematics, Nanjing University(南京大学数学学院);Department of Computational Applied Mathematics and Operations Research, Rice University(理海大学计算应用数学与运筹学系)
提出S$^3$LDBO算法,通过快照机制间歇跳过昂贵导数计算,实现去中心化双层优化的高效单循环求解,并理论证明其复杂度,实验验证计算效率与学习性能的平衡。
2026-05-29 cs.DC cs.LG math.OC
Distributed estimation of the inverse Hessian by determinantal averaging
University of California, Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
在分布式优化和分布式数值线性代数中,我们经常遇到逆偏置:如果我们想计算一个依赖于分布式矩阵之和的逆的量,那么逆的和不等于和的逆。这方面的一个例子发生在分布式牛顿方法中,其中我们希望计算(或隐式处理)逆Hessian乘以梯度。在这种情况下,局部计算的估计值是有偏差的,因此采用统一的平均值将无法恢复正确的解。为了解决这个问题,我们提出了行列式平均,一种新的方法来纠正反转偏差。这种方法涉及重新加权牛顿步的局部估计成比例的行列式的局部海森估计,然后平均它们在一起,以获得一个改进的全球估计。该方法提供了第一个已知的渐近一致的分布式牛顿步,即,当分布式分区的数量增长到无穷大时,它恢复极限中的精确步长。为了证明这一点,我们开发了新的期望身份和矩界的行列式和adjugate的随机矩阵。行列式平均不仅可以应用于牛顿法,而且可以应用于计算作为矩阵逆的线性变换的任何量,例如,跟踪用于数据不确定性量化的逆协方差矩阵。
2019-05-28 cs.LG stat.ML
Accelerating SGD for Distributed Deep-Learning Using Approximated Hessian Matrix
University of Southern California(南加州大学)
我们介绍了一种新的方法来计算一个秩$m$近似的海森矩阵的逆在分布式政权。通过利用多个Workers的梯度和参数的差异,我们能够有效地实现Newton-Raphson方法的分布式近似。我们还提出了初步的结果,强调大型随机优化问题的二阶方法的优势和挑战。特别是,我们的工作表明,结合梯度的新策略提供了损失表面的进一步信息。
2017-09-15 cs.LG
A Nearly Optimal Single Loop Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
George Mason University(乔治梅森大学)
本文针对上层函数可能具有无界光滑性的随机双层优化问题,提出单循环算法SLIP,避免了嵌套循环的调参困难,并证明其达到近最优复杂度,实验表现显著优于现有基线。
2024-12-28 cs.LG math.OC
M-FAC: Efficient Matrix-Free Approximations of Second-Order Information
IST Austria(奥地利科学技术研究所);Neural Magic
有效逼近损失函数的局部曲率信息是深度神经网络优化和压缩的关键工具。然而,大多数近似二阶信息的现有方法具有较高的计算或存储成本,这可能限制其实用性。在这项工作中,我们调查矩阵的自由,线性时间的方法来估计逆海森向量积(IHVP)的情况下,海森可以近似为秩一矩阵的总和,在经典的近似海森的经验Fisher矩阵。我们提出了两个新的算法作为一个框架的一部分,称为M-FAC:第一个算法是针对网络压缩,可以计算IHVP的尺寸$d$,如果Hessian是作为一个总和的$m$秩一矩阵,使用$O(dm^2)$预计算,$O(dm)$成本计算IHVP,查询成本$O(m)$的任何单个元素的逆Hessian。第二种算法针对优化设置,其中我们希望计算在优化步骤的滑动窗口上估计的逆Hessian与给定梯度方向之间的乘积,如预处理SGD所需。我们给出了一个算法的成本$O(dm + m^2)$的计算IHVP和$O(dm + m^3)$的添加或删除任何梯度的滑动窗口。这两个算法产生的最先进的结果,网络修剪和优化与较低的计算开销相对于现有的二阶方法。实现可参见[9]和[17]。
2021-11-18 cs.LG
Differentially Private Bilevel Optimization
Weizmann Institute of Science(魏茨曼科学研究院)
本文提出了一种在双层优化中实现差分隐私的算法,通过避免Hessian计算并提供超参数调整的隐私规则,提升了大规模机器学习应用中的隐私保护水平。
2026-01-14 cs.CR cs.LG math.OC
Scalable Principal-Agent Contract Design via Gradient-Based Optimization
Texas A&M University(德克萨斯A&M大学)
本文提出基于隐式微分与共轭梯度的双层优化框架,用于可扩展的委托-代理契约设计,无需闭式解,可处理非线性契约并恢复解析最优。
2025-10-24 cs.LG
Bilevel Optimization under Unbounded Smoothness: A New Algorithm and Convergence Analysis
George Mason University(乔治梅森大学)
针对 RNN/LSTM 等无界光滑场景,本文提出 BO-REP 双层优化算法,通过归一化动量、初始化精炼与周期性下层更新实现与有界光滑条件相当的随机复杂度。
2024-01-17 cs.LG math.OC
Will Bilevel Optimizers Benefit from Loops
University of Michigan(密歇根大学);George Mason University(乔治梅森大学);The Ohio State University(俄亥俄州立大学)
双层优化已经成为解决各种机器学习问题的有力工具。两个当前流行的双层优化器AID-BiO和ITD-BiO自然涉及解决一个或两个子问题,因此,我们是否使用循环(需要多次迭代)或不使用循环(只需要几次迭代)来解决这些问题可以显着影响整体计算效率。文献中现有的研究只涵盖了其中的一些实现选择,并且可用的复杂性界限还不够精细,无法在不同的实现之间进行严格的比较。在本文中,我们首先建立了统一的收敛性分析AID-BiO和ITD-BiO适用于所有的实现选择的循环。然后,我们专门我们的结果来表征所有实现的计算复杂性,这使得它们之间的显式比较。我们的结果表明,对于AID-BiO,用于估计内部函数的最优点的循环有利于整体效率,尽管它会导致每个更新步骤的复杂度更高,并且用于近似外层Hessian逆向量积的循环降低了梯度复杂度。对于ITD-BiO,这两个循环总是共存的,我们的收敛上界和下界表明,这样的循环是必要的,以保证消失的收敛误差,而无循环计划遭受不可避免的非零收敛误差。我们的数值实验进一步证实了我们的理论结果。
2022-06-01 cs.LG math.OC stat.ML
Computational Budget Should Be Considered in Data Selection
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);School of Data Science, Fudan University(复旦大学数据科学学院)
本文提出计算预算感知数据选择方法CADS,通过双层优化框架将计算预算约束纳入数据选择策略,解决Hessian矩阵估计和内层循环最优性计算负担两大挑战,在视觉和语言基准上比基线提升高达14.42%。
2025-11-02 cs.LG
Bilevel Optimization, Deep Learning and Fractional Laplacian Regularization with Applications in Tomography
George Mason University(乔治梅森大学);Argonne National Laboratory(阿贡国家实验室)
在这项工作中,我们考虑了一个广义的双层优化框架求解反问题。我们引入分数拉普拉斯算子作为正则化算子来提高重建质量,并将其与全变分正则化进行了比较。我们强调,使用分数拉普拉斯算子作为正则化算子的主要优点是,它导致一个线性算子,而不是总变分正则化,这导致一个非线性退化算子。受残差神经网络的启发,为了学习正则化的最优强度和分数拉普拉斯算子的指数,我们开发了一个专用的具有可变深度的双层优化神经网络来求解一般正则化反问题。我们还在神经网络中的激活函数和正则化之间绘制了一些相似之处。我们说明了如何将各种正则化选择纳入我们提出的网络。作为一个例子,我们认为层析重建作为一个模型问题,并显示重建质量的改善,特别是对于有限的数据,通过分数拉普拉斯正则化。我们成功地学习正则化强度和分数指数,通过我们提出的双层优化神经网络。我们观察到分数拉普拉斯正则化优于全变分正则化。在数据有限和嘈杂的情况下,这特别令人鼓舞,也很重要。
2019-07-22 cs.LG cs.NA eess.IV
A Communication and Computation Efficient Fully First-order Method for Decentralized Bilevel Optimization
Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学);Queen Mary, University of London(伦敦大学玛丽女王学院);Macquarie University(麦考瑞大学)
本文提出全一阶去中心化双层优化方法C²DFB,通过min-min-max问题和压缩残差通信协议实现计算与通信高效,并在超参数调优等任务中验证了其优越性。
2024-10-18 cs.AI cs.DC cs.LG
Fast Approximation of Rotations and Hessians matrices
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学)
介绍了一种新的旋转矩阵的表示和近似方法。该方法表示具有线性复杂度的旋转矩阵$Q$的近似,即具有以类似FFT的方式布置的坐标对上的$\frac{1}{2}n\lg(n)$旋转。使用梯度下降“学习”近似。它允许将对称矩阵$H$表示为$QDQ^T$,其中$D$是对角矩阵。它可以用来近似高斯模型的协方差矩阵,以加快推理,或通过将参数的变化与优化过程之后的轨迹上的梯度变化相关联来估计和跟踪目标函数的逆Hessian。实验进行了近似合成矩阵,真实数据的协方差矩阵,和Hessian矩阵的目标函数涉及机器学习问题。
2014-04-29 cs.LG
Better Training Data Attribution via Better Inverse Hessian-Vector Products
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(人工智能矢量研究所);Tübingen AI Center, University of Tübingen(图宾根大学人工智能中心);Schwartz Reisman Institute for Technology and Society(技术与社会施瓦茨-雷曼研究所)
本文提出 ASTRA 算法,通过 EKFAC 预条件器改进 Neumann 级数迭代,以更少迭代获得更精确的逆 Hessian-向量积近似,从而显著提升训练数据归因性能。
2025-07-19 cs.LG stat.ML
On the Condition Number Upper Bound of the L-BFGS Inverse Hessian Approximation Matrix with a Two-Sided Geometric Envelope Safeguarding Mechanism
Portland State University(波特兰州立大学)
研究在病态或非凸环境中L-BFGS算法逆海森近似条件数爆炸问题,提出双边L-BFGS方法,通过双边几何包络约束条件数,证明其能保持曲率信息等,数值实验验证该方法可提升鲁棒性和收敛行为。
2026-07-08 cs.LG cs.NA math.NA
An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
George Mason University(乔治梅森大学)
针对上层非凸、无界光滑且下层强凸的随机双层优化问题,提出带递归动量的归一化随机梯度下降与带平均的随机Nesterov加速梯度结合的AccBO算法,将$\u03b5$-平稳点预言机复杂度降至$\tilde{O}(1/\u03b5^3)$,实验验证其加速效果与性能优势。
2025-01-15 cs.LG math.OC
Bilevel Learning with Inexact Stochastic Gradients
Department of Mathematical Sciences, University of Bath(巴斯大学数学科学系);Department of Electronics & Electrical Communication Engineering, Indian Institute of Technology (IIT) Kharagpur(印度理工学院Kharagpur电子与电气通信工程系);School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学学院)
针对现有双层学习方法的局限,提出面向强凸下层与非凸上层的非精确随机双层优化方法,证明收敛性,在成像任务上实现速度与泛化性能提升。
2025-03-11 cs.LG math.OC
Near-Optimal Nonconvex-Strongly-Convex Bilevel Optimization with Fully First-Order Oracles
IIIS, Tsinghua University(清华大学人工智能院);Shanghai Qi Zhi Institute(上海启智研究院);Shanghai AI Lab(上海人工智能实验室)
针对下层问题强凸的双层优化,提出一种两时间尺度更新的一阶方法,在确定性设置下达到近最优的$\tilde{\mathcal{O}}(\varepsilon^{-2})$一阶Oracle复杂度,并扩展到随机和高阶光滑场景。
2026-05-25 cs.LG math.OC
Probabilistic Multi-Source Data Selection via Learnable Categorical Priors: Variance Reduction and Guaranteed Derandomization
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
针对多源双层数据选择问题,本文提出基于可学习分类先验的概率松弛方法,设计ReSGD算法并建立近似保证,通过实验验证其有效性。
2026-10-14 cs.AI cs.LG
Fully First-Order Algorithms for Online Bilevel Optimization
East China Normal University(东华大学)
本文提出一种完全一阶算法,用于解决非凸强凸在线双层优化问题,通过将原问题转化为单层问题并构造序列拉格朗日函数,消除了对Hessian-向量乘积的依赖,理论证明其在O(T log T)次迭代内达到O(1 + V_T + H_{2,T})的后悔界。
2026-05-09 cs.LG math.OC