Learning to Solve Constrained Bilevel Control Co-Design Problems
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Virginia（弗吉尼亚大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出了一种框架，利用现代微分技术学习解决带约束双层优化问题，展示神经网络在参数双层优化中的高效近似能力。
2025-12-03 cs.LG math.OC
Communication-Efficient Federated Hypergradient Computation via Aggregated Iterative Differentiation
University at Buffalo（布法罗大学）
针对联邦双层优化中超梯度计算通信成本高的问题，提出基于聚合迭代微分的高效估计器，在数据异构下以更少通信轮次达现有方法同等样本复杂度，验证了其有效性与通信效率优势。
2023-06-16 cs.LG math.OC stat.ML
IGT-OMD: Implicit Gradient Transport for Decision-Focused Learning under Delayed Feedback
Thayer School of Engineering, Dartmouth College（达特茅斯学院泰勒工程学院）
本文提出IGT-OMD算法，通过隐式梯度传输减少延迟反馈下的传输误差，实现子线性 regrets 绑定，并在多个任务中验证了其有效性。
2026-05-12 cs.LG
Learning Theory for Kernel Bilevel Optimization
Université Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LJK实验室）；Toulouse School of Economics, Université Toulouse Capitole（图卢兹经济学院、图卢兹大学）；CNRS & Université Côte d’Azur, Laboratoire J. A. Dieudonné（法国国家科学研究中心与尼斯大学、J. A. Dieudonné实验室）
针对非参数双层优化缺乏学习理论基础的问题，本文研究再生核希尔伯特空间上的核双层优化（KBO），推导其有限样本泛化界并评估梯度方法的统计准确性，为该领域提供理论基础。
2025-11-15 cs.LG
Implicit differentiation of Lasso-type models for hyperparameter optimization
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Institut Mathématique de Bourgogne（勃艮第数学研究所）；Université de Bourgogne（勃艮第大学）；Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；IMAG（蒙彼利埃亚历山大·格罗滕迪克研究所）；Université de Montpellier（蒙彼利埃大学）
为Lasso型估计量设置正则化参数是出了名的困难，尽管在实践中至关重要。最流行的超参数优化方法是使用保留的验证数据的网格搜索。然而，网格搜索需要为每个参数选择预定义的网格，其在参数数量上呈指数级变化。另一种方法是将超参数优化转换为双层优化问题，可以通过梯度下降来解决。这些方法的关键挑战是相对于超参数的梯度的估计。通过前向或后向自动微分计算该梯度是可能的，但通常遭受高存储器消耗。或者，隐式微分通常涉及求解线性系统，该线性系统在高维中可能是禁止的且数值上不稳定的。此外，隐式微分通常假设损失函数是光滑的，而Lasso型问题则不是这样。这项工作介绍了一个有效的隐式微分算法，没有矩阵求逆，适合拉索型问题。我们的方法通过利用解决方案的稀疏性来扩展到高维数据。实验表明，该方法优于大量的标准方法，以优化错误的保留数据，或斯坦无偏风险估计（SURE）。
2020-09-03 cs.LG stat.ML
One-step differentiation of iterative algorithms
Toulouse School of Economics, University of Toulouse Capitole（图卢兹第一大学图卢兹经济学院）；IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Institut Universitaire de France (IUF)（法国大学研究院）；Université Côte d’Azur（蔚蓝海岸大学）；Laboratoire J. A. Dieudonné（J. A. 迪厄多内实验室）
本文研究迭代算法的一步微分（无Jacobian反向传播）方法，其兼具自动微分的简便性与隐式微分的高效性，并提供了完整的理论近似分析及数值验证。
2023-05-23 cs.LG math.OC
On Penalty-based Bilevel Gradient Descent Method
Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对下层有约束且非强凸的双层优化难题，本文采用惩罚重构并提出 PBGD 算法，证明其可恢复原问题局部解且具有有限时间收敛性，实验验证了效率。
2025-01-06 cs.LG math.OC stat.ML
A Fully First-Order Layer for Differentiable Optimization
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）
提出一种仅使用一阶信息计算梯度的算法，通过将可微优化重写为双层优化并引入活动集拉格朗日超梯度方法，避免Hessian计算，实现高效近似。
2026-06-16 cs.LG
Efficient Curvature-Aware Hypergradient Approximation for Bilevel Optimization
School of Mathematics, Nanjing University（南京大学数学学院）
本文提出一种将曲率信息纳入超梯度近似的计算高效技术及相应算法框架，在确定性和随机场景下均给出收敛保证，并在确定性设置下实现优于主流梯度方法的计算复杂度，数值实验验证了其实际性能提升。
2025-05-04 cs.LG math.OC
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université de Bourgogne（勃艮第大学）；Institut Mathématique de Bourgogne（勃艮第数学研究所）；Università degli Studi di Genova（热那亚大学）；Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；Université de Montpellier（蒙彼利埃大学）
寻找模型的最优超参数可以被视为一个双层优化问题，通常使用零阶技术来解决。在这项工作中，我们研究的一阶方法时，内部优化问题是凸的，但不光滑。我们表明，前向模式分化的近端梯度下降和近端坐标下降产生序列的雅可比收敛到确切的雅可比。使用隐式微分，我们证明了利用内部问题的非光滑性来加速计算是可能的。最后，我们提供了一个边界上的误差时，内部优化问题近似解决的超梯度。回归和分类问题的结果揭示了超参数优化的计算优势，特别是当需要多个超参数时。
2022-08-08 cs.LG math.OC stat.ML
A Generalized Alternating Method for Bilevel Learning under the Polyak-Łojasiewicz Condition
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
针对下层非凸且满足PL条件的双层优化问题，提出广义交替方法GALET，证明其迭代复杂度与单层光滑非凸问题的梯度下降相当，拓展了双层优化交替算法的适用场景。
2023-10-05 cs.LG math.OC
Learning with Bilevel-Minimax Optimization for Efficient and Reliable Transfer Attacks
The University of Hong Kong（香港大学）；Dalian University of Technology（大连理工大学）；The Hong Kong Polytechnic University（香港理工大学）
该研究提出BMAT方法，通过双层极小极大优化实现初始化、代理适配与扰动的三元耦合，在30余种受害者模型上优于10余种基线，可高效可靠地生成迁移对抗样本。
2026-08-13 cs.CV cs.LG
Amortized Implicit Differentiation for Stochastic Bilevel Optimization
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
研究了一类内层目标为强凸的随机和确定两层最优化问题的求解算法。具体来说，我们考虑基于不精确隐式微分的算法，我们利用一个热启动策略来摊销精确梯度的估计。然后，我们引入了一个统一的理论框架的启发，奇异摄动系统（Habets，1974年）的研究，分析这样的摊销算法。通过使用这个框架，我们的分析表明，这些算法，以匹配的计算复杂性的Oracle方法，有机会获得一个无偏估计的梯度，从而优于许多现有的结果为双层优化。我们说明了这些研究结果的合成实验，并证明了这些算法的效率超参数最优化实验涉及数千个变量。
2022-07-11 cs.LG math.OC
Nonsmooth Implicit Differentiation: Deterministic and Stochastic Convergence Rates
Istituto Italiano di Tecnologia（意大利技术研究院）；UCL（伦敦大学学院）；Sapienza University of Rome（罗马大学）
研究参数化不可微压缩映射不动点导数的高效计算，分析了ITD和AID方法在确定性下的线性收敛速率，并提出新随机方法NSID，在随机环境下达到了与光滑场景最优相当的收敛速率。
2024-06-04 cs.LG math.OC stat.ML
Beyond backpropagation: bilevel optimization through implicit differentiation and equilibrium propagation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
本文综述了基于梯度的双层优化方法，重点介绍隐式微分与均衡传播两类方法的数学基础、梯度估计算法及其竞争优势。
2022-10-27 cs.LG math.OC
On Implicit Bias in Overparameterized Bilevel Optimization
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Brain（谷歌大脑）
机器学习中的许多问题涉及双层优化（BLO），包括超参数优化、元学习和数据集蒸馏。双层问题由两个嵌套的子问题组成，分别称为外部和内部问题。在实践中，通常这些子问题中至少有一个是过度参数化的。在这种情况下，有许多方法可以在实现等效目标值的最优值中进行选择。受近年来单层优化算法隐式偏差研究的启发，本文研究了基于梯度的双层优化算法的隐式偏差。我们描绘了两个标准的BLO方法-冷启动和热启动-并表明，收敛的解决方案或长期运行的行为在很大程度上取决于这些和其他算法的选择，如超梯度近似。我们还表明，通过热启动BLO获得的内部解决方案可以编码一个令人惊讶的信息量的外部目标，即使当外部参数是低维的。我们认为，隐式偏差值得作为中心的作用，在双层优化的研究，因为它已经达到了单级神经网络优化的研究。
2022-12-28 cs.LG
Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed Smoothness Conditions
UC Davis（加州大学戴维斯分校）
本文提出一种全单循环、免Hessian求逆的随机双层优化算法，在标准光滑性假设下达到最优复杂度，并扩展至多目标鲁棒情形，实验验证其性能优势。
2023-06-21 cs.LG math.OC stat.ML
Fully First-Order Algorithms for Online Bilevel Optimization
East China Normal University（东华大学）
本文提出一种完全一阶算法，用于解决非凸强凸在线双层优化问题，通过将原问题转化为单层问题并构造序列拉格朗日函数，消除了对Hessian-向量乘积的依赖，理论证明其在O(T log T)次迭代内达到O(1 + V_T + H_{2,T})的后悔界。
2026-05-09 cs.LG math.OC
Double Momentum Method for Lower-Level Constrained Bilevel Optimization
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
本文针对下层约束双层优化提出基于非光滑隐函数定理的新超梯度，并设计单循环单时间尺度的双动量自适应步长算法，证明其达到$(δ, ε)$-稳定点仅需$\tilde{\mathcal{O}}(d_2^2ε^{-4})$次迭代。
2024-06-25 cs.AI cs.LG math.OC
Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions
University of Tübingen（蒂宾根大学）；Saarland University（萨尔大学）
针对光滑与部分光滑函数之和的参数化优化问题，研究正反向分裂定点迭代的自动微分，提出FPAD以降低反向模式内存开销并加快收敛，且在Lasso、Group Lasso和图像去噪中验证。
2024-10-24 cs.LG math.OC
Alternating Differentiation for Optimization Layers
ShanghaiTech University（上海科技大学）；University of Technology Sydney（悉尼科技大学）；Princeton University（普林斯顿大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
针对优化层隐式微分中 Jacobian 计算昂贵的问题，本文提出 Alt-Diff，通过交替执行原始与对偶更新降低矩阵维度，并支持截断加速。
2023-04-24 cs.AI cs.LG math.OC
Efficient differentiable quadratic programming layers: an ADMM approach
University of Toronto（多伦多大学）
神经网络架构的最新进展允许将凸优化问题无缝集成为端到端可训练神经网络中的可微层。然而，将中型和大型二次规划集成到深度神经网络架构中是具有挑战性的，因为通过边界点方法精确求解二次规划在变量数量方面具有最坏情况的立方复杂度。在本文中，我们提出了一种替代的网络层架构的基础上的交替方向法的乘法器（ADMM），是能够扩展到一个适度大量的变量的问题。后向微分是通过隐式微分修正定点迭代的残差映射来实现的。仿真结果表明ADMM层的计算优势，这对于中等规模的问题是大约一个数量级的速度比OptNet二次规划层。此外，我们的新的向后通过例程是有效的，从内存和计算的角度来看，在比较的基础上展开的分化或隐式分化的KKT最优性条件的标准方法。最后，我们从投资组合优化的集成预测和优化范例的例子。
2021-12-14 cs.AI cs.LG math.OC
Implicit Bilevel Optimization: Differentiating through Bilevel Optimization Programming
NEC Laboratories Europe（NEC欧洲实验室）
Bilevel Optimization Programming用于对智能体之间复杂和冲突的交互进行建模，例如在Robust AI或Privacy-Preserving AI中。因此，在深度学习中集成双层数学规划是机器学习社区的一个重要目标。以前提出的方法只考虑单级规划。在本文中，我们扩展了现有的单级优化编程方法，从而提出了通过双层优化编程（BiGrad）进行区分，用于使用双层规划作为层的模型的端到端学习。BiGrad具有广泛的适用性，可以用于现代机器学习框架。BiGrad适用于连续和组合双层优化问题。我们描述了一类梯度估计的组合的情况下，降低了计算复杂性方面的要求;连续变量的情况下，梯度计算利用推回的方法（即向量雅可比积）的有效实现。实验结果表明，BiGrad成功地扩展了现有的单级方法的双层规划。
2023-02-28 cs.LG math.CO math.OC
Sharper Analysis of Single-Loop Methods for Bilevel Optimization
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；School of Data Science, Fudan University（复旦大学数据科学学院）；SGIT AI Lab, State Grid Corporation of China（国家电网公司SGIT人工智能实验室）；Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University（西安交通大学管理学院智能决策与机器学习中心）
研究双层优化中理论与实际单环实现的差距，利用解耦范数分析框架，改进单环近似隐式微分和迭代微分方法的收敛结果，提升收敛速率并精确匹配渐近误差下界，经实验验证理论发现。
2026-07-14 cs.LG
BOME! Bilevel Optimization Made Easy: A Simple First-Order Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
双层优化（BO）可用于解决各种重要的机器学习问题，包括但不限于超参数优化、元学习、持续学习和强化学习。传统的BO方法需要通过隐式微分的低级优化过程进行微分，这需要与Hessian矩阵相关的昂贵计算。最近一直在寻求BO的一阶方法，但迄今为止提出的方法对于大规模深度学习应用来说往往是复杂和不切实际的。在这项工作中，我们提出了一个简单的一阶BO算法，该算法仅依赖于一阶梯度信息，不需要隐式微分，对于深度学习中的大规模非凸函数是实用和高效的。我们提供了非渐近收敛分析所提出的方法的非凸目标的稳定点，并提出了实证结果，显示其优越的实际性能。
2022-09-19 cs.AI cs.LG math.OC
Probabilistic Bilevel Coreset Selection
The Hong Kong University of Science and Technology（香港科技大学）；Google Research（谷歌研究院）
在监督学习中，核心集选择的目标是产生一个加权的数据子集，这样只对子集进行训练就可以达到与对整个数据集进行训练相似的性能。现有的方法在资源受限的情况下，如持续学习和流式传输，取得了可喜的成果。然而，现有的算法大多局限于传统的机器学习模型。一些可以处理大型模型的算法采用贪婪搜索方法，因为难以解决离散子集选择问题，当coreset变得更大时，计算成本很高，并且经常产生次优结果。在这项工作中，我们第一次提出了一个连续的概率双层制定coreset选择通过学习每个训练样本的概率权重。该算法的总体目标是一个两层优化问题，其中1）内循环采样核心重置并训练模型收敛; 2）外循环根据模型的性能逐步更新采样概率。重要的是，我们开发了一个有效的解决方案，通过无偏的策略梯度的双层优化问题，没有隐式微分的麻烦。我们提供了我们的训练过程的收敛性，并证明了我们的算法在各种任务中对各种核心集选择方法的优越性，特别是在更具挑战性的标签噪声和类不平衡的情况下。
2023-01-24 cs.LG
Nystrom Method for Accurate and Scalable Implicit Differentiation
RIKEN（理化学研究所）；Kyoto University（京都大学）
基于梯度的隐微分双层优化算法的难点在于估计关于神经网络参数的逆Hessian向量积。本文提出了解决这个问题的Nystrom方法和伍德伯里矩阵恒等式，利用低秩的海森。与共轭梯度法和Neumann级数逼近法等迭代逼近方法相比，该方法避免了数值不稳定性，无需迭代即可进行矩阵运算。因此，该方法在各种任务中工作稳定，并且比迭代近似更快。在整个实验中，包括大规模的超参数优化和元学习，我们证明了Nystrom方法始终实现可比的，甚至优于其他方法的性能。源代码可从https://github.com/moskomule/hypergrad获得。
2023-02-20 cs.LG
Training Data Attribution via Approximate Unrolled Differentiation
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；NVIDIA（英伟达公司）；Anthropic（Anthropic公司）
该研究提出基于近似展开的训练数据归因方法Source，结合隐式微分与展开方法的优势，在保持计算效率的同时提升了未收敛模型、多阶段训练等场景下的反事实预测效果。
2024-05-21 cs.LG
Escaping the Variance Trap: Jacobian-Free Dynamics for Root-Finding Bilevel Optimization
University of Science and Technology of China（中国科学技术大学）；City University of Hong Kong（香港城市大学）；Laboratoire de Physique de l’École Normale Supérieure, Université PSL, CNRS, Sorbonne Université, Université de Paris（巴黎高等师范学院物理实验室，PSL大学，法国国家科学研究中心，索邦大学，巴黎大学）
提出求根双层优化（RF-BO）框架，采用无雅可比的两时间尺度随机逼近（TTSA）方法，避免方差放大，并提供非渐近收敛保证，在多个任务中显著优于基线。
2026-06-23 cs.LG
Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
神经网络的超参数优化问题可以很好地表述为一个双层优化问题。虽然对神经网络的双层优化的研究一直由隐式微分和展开主导，但是诸如自调整网络（STNs）的超网络最近由于其摊销内部目标的优化的能力而获得了牵引力。在本文中，我们诊断了STNs训练中的几个微妙的病理。基于这些观察结果，我们提出了$Δ$，一种改进的超网络架构，它比STNs更有效地稳定训练和优化超参数。关键思想是专注于准确地近似最佳响应雅可比矩阵，而不是完整的最佳响应函数;我们通过重新参数化超网络并围绕当前参数线性化网络来实现这一点。我们的经验表明，我们的$Δ$ -正则化超参数（例如，权重衰减，辍学，剪切孔的数量）可以调整更高的精度，更快的收敛速度，并提高稳定性相比，现有的方法。
2020-10-26 cs.LG stat.ML
Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee
University of Pittsburgh（匹兹堡大学）；Nanjing University of Information Science & Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）
由于许多机器学习问题的层次结构，二层规划近年来变得越来越重要，然而，其内部问题和外部问题之间的复杂关联使得其求解极具挑战性。虽然基于自动微分的几种直观算法已经被提出并在一些应用中取得了成功，但对于双层模型的最优求解却没有给予太多的关注。是否存在一个更好的提法仍然是一个悬而未决的问题。在本文中，我们提出了一种改进的双层模型，收敛速度更快，更好地相比，目前的配方。我们提供了两个任务的理论保证和评估结果：数据超清洗和超表示学习。实证结果表明，我们的模型优于目前的双层模型有很大的差距。\emph{This is a concurrent work with \citet{liu2020generic} and we submitted to ICML 2020. Now we put it on the arxiv for record.}
2020-09-01 cs.AI cs.LG stat.ML
Improved Marginal Unbiased Score Expansion (MUSE) via Implicit Differentiation
University of California, Berkeley（加州大学伯克利分校）；University of California, Davis（加州大学戴维斯分校）
我们应用隐式微分技术，以提高性能，减少数值误差，并删除所需的用户调整的边际无偏分数扩展（MUSE）算法分层贝叶斯推断。我们证明了这些改进的三个代表性的推理问题：1）一个扩展的尼尔漏斗2）贝叶斯神经网络，和3）概率主成分分析。在我们的特定测试用例中，具有隐式微分的MUSE比哈密顿蒙特卡罗分别快155、397和5倍，或者在没有隐式微分的情况下快65、278和1倍，并且产生良好的近似边缘后验。Julia和Python MUSE包已经更新为使用隐式微分，并且可以解决手动定义的问题，或者使用许多流行的概率编程语言和自动微分后端中的任何一种。
2022-09-21 cs.AI cs.LG stat.ML
Penalty Method for Inversion-Free Deep Bilevel Optimization
Tulane University（杜兰大学）
解决双层优化问题是几个机器学习问题的核心，例如超参数调整，数据去噪，Meta和少样本学习以及训练数据中毒。与同时优化或多目标优化不同，在双层问题中，最小化上层成本的最速下降方向需要下层成本的Hessian的逆。在这项工作中，我们提出了一个新的算法来解决双层优化问题的基础上经典的惩罚函数方法。我们的方法避免了计算海森逆，可以很容易地处理约束二层问题。在较弱的条件下证明了该方法的收敛性，并证明了精确超梯度的渐近性。我们的方法的简单性和小的空间和时间复杂度，使我们能够有效地解决大规模的双层问题，涉及深神经网络。我们目前的结果数据去噪，少样本学习，并在大规模设置的训练数据中毒问题。我们的研究结果表明，我们的方法优于或相当于以前提出的方法的基础上自动微分和近似反演的精度，运行时间和收敛速度。
2021-10-05 cs.LG math.OC stat.ML
Efficient Bilevel Optimization with KFAC-Based Hypergradients
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
本文提出基于KFAC的双层优化方法，通过引入隐函数定理算法，提升了超梯度计算的效率与性能，优于CG和Neumann方法，在元学习和AI安全问题中表现优异。
2026-03-31 cs.LG
Bilevel Optimization of Topology and Hyperparameters (BOTH)
Delft University of Technology（代尔夫特理工大学）；Brown University（布朗大学）
本文提出BOTH方法，通过自动微分对拓扑优化过程本身求超梯度，实现超参数与主优化同步调整，可扩展到数千超参数，开销仅相当于几次标准TO运行，并在应力约束和柔度问题上验证有效性。
2026-09-21 cs.LG
Implicit Differentiation for Hyperparameter Tuning the Weighted Graphical Lasso
Univ Lyon, Ens Lyon, UCBL, CNRS, Inria, LIP（里昂大学、里昂高等师范学院、里昂第一大学、法国国家科学研究中心、法国国家信息与自动化研究所、里昂并行计算实验室）
本文提出基于一阶方法求解双层优化的框架与算法，用于调优加权 Graphical Lasso 超参数，并推导其解对正则化超参数的 Jacobian。
2023-07-05 cs.LG math.OC stat.ML
Efficient and Modular Implicit Differentiation
Google Research（谷歌研究院）；Apple（苹果公司）；Owkin（Owkin公司）
自动微分（autodiff）彻底改变了机器学习。它允许通过以创造性的方式组合基本计算来表达复杂的计算，并消除了手工计算其导数的负担。最近，优化问题解决方案的微分已经引起了广泛的关注，例如优化层，以及超参数优化和元学习等双层问题。然而，到目前为止，隐式微分仍然难以为从业者所用，因为它通常需要逐个案例的繁琐数学推导和实现。在本文中，我们提出了自动隐式微分，隐式微分优化问题的一个有效的和模块化的方法。在我们的方法中，用户直接在Python中定义一个函数$F$，该函数捕获待区分问题的最优性条件。一旦这样做了，我们利用$F$的autodiff和隐函数定理来自动区分优化问题。因此，我们的方法结合了隐式差分和autodiff的优点。它是高效的，因为它可以添加到任何最先进的求解器和模块化的最优性条件规范是从隐式微分机制解耦。我们表明，看似简单的原则允许恢复许多现有的隐式微分方法，并很容易地创建新的。我们证明了使用我们的框架制定和解决双层优化问题的容易性。我们还展示了分子动力学的灵敏度分析的应用。
2022-10-12 cs.LG cs.NA math.NA
Multiset-Equivariant Set Prediction with Approximate Implicit Differentiation
Samsung - SAIT AI Lab（三星SAIT人工智能实验室）；Montreal University（蒙特利尔大学）；University of Amsterdam（阿姆斯特丹大学）；Mila（米拉人工智能研究所）；Université de Montreal（蒙特利尔大学）；TNO（荷兰应用科学研究院）
深度学习中的大多数集合预测模型都使用集合等变运算，但它们实际上是在多集合上运算的。我们证明了集等变函数不能表示多重集上的某些函数，因此我们引入了更恰当的多集等变概念。我们发现现有的深度集预测网络（DSPN）可以是多集等变的，而不受集等变的阻碍，并通过近似隐式微分对其进行改进，从而在更快和节省内存的同时实现更好的优化。在一系列的玩具实验中，我们表明，多集等方差的角度是有益的，我们的DSPN的变化在大多数情况下实现了更好的结果。在CLEVR对象属性预测上，我们在最严格的评估指标之一中将最先进的Slot Attention从8%大幅提高到77%，因为隐式微分带来了好处。
2022-02-03 cs.LG stat.ML
Learning Set Functions with Implicit Differentiation
Northeastern University（东北大学）
针对最优子集预言机数据学习集合函数时自动微分计算代价高的问题，提出基于隐式微分的方法，并验证其在多个子集选择任务上的效率。
2024-12-17 cs.AI cs.LG
Analyzing Inexact Hypergradients for Bilevel Learning
University of Bath（巴斯大学）；University of Sydney（悉尼大学）
本文提出统一框架计算超梯度，推广隐函数定理与自动微分方法，并推导误差界，数值表明超梯度算法选择对双层优化至关重要。
2023-11-15 cs.LG math.OC
Optimizing Millions of Hyperparameters by Implicit Differentiation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们提出了一个廉价的基于梯度的超参数优化算法，结合了隐函数定理（IFT）与高效的逆Hessian近似。我们目前的IFT和区分通过优化，激励我们的算法之间的关系的结果。我们使用所提出的方法来训练具有数百万权重和数百万超参数的现代网络架构。例如，我们学习一个数据增强网络-其中每个权重都是针对验证性能调整的超参数-输出增强的训练样本。使用我们的方法联合调整权重和超参数，在内存和计算方面的成本仅是标准训练的几倍。
2019-11-06 cs.LG stat.ML
Nonsmooth Implicit Differentiation for Machine Learning and Optimization
Univ. Toulouse（图卢兹大学）；IRIT, CNRS（法国国家科学研究中心信息与自动化研究所）
针对训练日益复杂的学习结构，我们用运算微积分建立了一个非光滑隐函数定理。我们的结果适用于大多数实际问题（即，可定义的问题），只要满足经典可逆性条件的非光滑形式。这种方法允许正式的次微分：例如，在通常的微分公式中，用克拉克雅可比矩阵取代导数对于广泛的一类非光滑问题是完全合理的。此外，该演算与算法微分（例如，反向传播）。我们提供了几个应用程序，例如训练深度平衡网络，训练具有圆锥优化层的神经网络，或非光滑Lasso型模型的超参数调整。为了显示我们的假设的尖锐性，我们提出了数值实验，展示了在没有任何假设的情况下应用隐式算法微分时可能遇到的极端病态梯度动力学。
2022-04-05 cs.AI cs.LG math.OC
Optimal Stochastic Bilevel Optimization with First-Order Oracles
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出单循环一阶算法MRT-FD，用于非凸-强凸随机双层优化，通过有限差分近似二阶导数，达到最优复杂度O(ε^{-4-2/p})并证明匹配下界。
2026-10-02 cs.LG math.OC
Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation
Lomonosov MSU（罗蒙诺索夫莫斯科国立大学）
使用庞大的训练数据集可能成本高昂且不方便。本文探讨了各种数据提取技术，这些技术可以减少成功训练深度网络所需的数据量。受最近想法的启发，我们提出了基于生成教学网络，梯度匹配和隐函数定理的新数据蒸馏技术。MNIST图像分类问题的实验表明，新方法比以前的方法在计算上更有效，并允许提高在蒸馏数据上训练的模型的性能。
2022-03-16 cs.AI cs.LG cs.NE
Control-Oriented Model-Based Reinforcement Learning with Implicit Differentiation
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）；Facebook（脸书）
基于基于模型的强化学习中的最大似然估计的缺点已经被越来越多的论文所强调。当模型类被错误指定或具有有限的表示能力时，具有高可能性的模型参数可能不一定导致代理在下游控制任务上的高性能。为了缓解这个问题，我们提出了一种端到端的模型学习方法，该方法使用隐式微分直接优化预期收益。我们把一个满足Bellman最优性算子的价值函数作为模型参数的隐函数，并说明如何区分该函数。我们提供了理论和实证证据，强调我们的方法的好处，在模型的误指定制度相比，基于可能性的方法。
2021-06-06 cs.AI cs.LG stat.ML
Bilevel Optimization with Lower-Level Uniform Convexity: Theory and Algorithm
Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学）
本文提出了一种基于下层均匀凸性的双层优化算法UniBiO，通过理论分析和实验验证，实现了在寻找ε-stationary points时的高效收敛性保证。
2026-02-04 cs.LG math.OC
Auxiliary Learning by Implicit Differentiation
Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达）
用辅助任务训练神经网络是用于提高感兴趣的主任务的性能的常见实践。在这种多任务学习环境中出现了两个主要挑战：（i）设计有用的辅助任务;以及（ii）将辅助任务组合成单个相干损失。在这里，我们提出了一个新的框架，AuxiLearn，目标是基于隐式分化的挑战。首先，当已知有用的辅助设备时，我们建议学习一个网络，将所有损失组合成一个单一的连贯目标函数。该网络可以学习任务之间的非线性交互。其次，当没有有用的辅助任务是已知的，我们描述了如何学习一个网络，产生一个有意义的，新颖的辅助任务。我们在一系列任务和领域中评估了AuxiLearn，包括图像分割和低数据状态下的属性学习，并发现它始终优于竞争方法。
2021-05-11 cs.CV cs.LG stat.ML
Implicit Diffusion: Efficient Optimization through Stochastic Sampling
Institute of Mathematics, EPFL（洛桑联邦理工学院数学研究所）；ENSAE CREST（法国国家统计与经济研究所CREST分部）；IP Paris（巴黎IP学院）；Google DeepMind（谷歌DeepMind）
提出一种基于隐式微分和双层优化的单循环一阶优化框架，通过联合执行优化与采样步骤来修改随机扩散的输出分布，并成功应用于训练能量模型和微调去噪扩散模型。
2025-03-05 cs.LG
Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
迭代细化--从随机猜测开始，然后迭代地改进猜测--是表示学习的一个有用范例，因为它提供了一种方法来打破数据的同样合理的解释之间的对称性。该属性使得能够应用这样的方法来推断实体集合的表示，诸如物理场景中的对象，在结构上类似于潜在空间中的聚类算法。然而，大多数先前的作品通过展开的细化过程来区分，这可能使优化具有挑战性。我们观察到，这种方法可以通过隐函数定理微分，并开发一种隐式微分方法，通过解耦向前和向后传递来提高训练的稳定性和易处理性。这种连接使我们能够应用优化隐式层的进步，不仅可以改善SLATE中槽注意模块的优化，这是一种用于学习实体表示的最先进方法，而且可以在反向传播中以恒定的空间和时间复杂度实现，并且只需增加一行代码。
2023-01-01 cs.AI cs.CV cs.LG
Scalable Bayesian Meta-Learning through Generalized Implicit Gradients
University of Minnesota（明尼苏达大学）
本文提出隐式贝叶斯元学习（iBaML）方法，通过广义隐式梯度解决元学习中的可扩展性问题，拓宽可学习先验并量化不确定性，同时控制计算复杂度。
2023-03-31 cs.LG
Scalable Meta-Learning via Mixed-Mode Differentiation
Google DeepMind（谷歌DeepMind）
针对基于梯度的双层元学习中高阶与混合导数计算开销大、自动微分库难以利用问题结构的问题，本文提出 MixFlow-MG 算法，通过混合模式微分构建高效可扩展计算图，实现超过10倍内存节省和最高25%加速。
2025-06-09 cs.AI cs.LG stat.ML
Differentiable Implicit Soft-Body Physics
University of Utah（犹他大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们提出了一个可微的软体物理模拟器，可以组成神经网络作为一个可微层。与其他使用显式前向模型来定义状态转换的可微物理方法相比，我们专注于通过函数最小化定义的隐式状态转换。隐式数值积分方法中出现隐式状态转换，其提供大时间步长和优异的数值稳定性的益处，但是由于没有显式可微前向传递而需要特殊处理以实现可微性。与其他需要力函数和力雅可比矩阵的显式公式的隐式微分方法相比，我们提出了一种基于能量的方法，该方法允许我们通过反向模式自动微分自动计算这些导数并以无矩阵的方式进行计算。这在定义物理模型时允许更大的灵活性和生产力，并且在神经网络训练的上下文中特别重要，神经网络训练通常依赖于反向模式自动微分（反向传播）。我们证明了我们的可微模拟器在运动任务的策略优化中的有效性，并表明它比无模型强化学习实现了更好的样本效率。
2021-09-09 cs.GR cs.LG
AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation
Panasonic AI Lab（松下人工智能实验室）；AIoli Labs（AIoli实验室）；Panasonic Technology Division（松下技术部门）
AutoAugment引发了人们对深度学习模型自动增强方法的兴趣。这些方法估计用于训练数据的图像变换策略，其改进了对测试数据的泛化。虽然最近的论文朝着降低策略搜索复杂性的方向发展，但我们发现这些方法在应用于有偏见和有噪声的数据时并不鲁棒。为了克服这些局限性，我们将AutoAugment重新定义为广义自动数据集优化（AutoDO）任务，该任务最大限度地减少了测试数据和扭曲的训练数据集之间的分布偏移。在我们的AutoDO模型中，我们显式地估计一组每点超参数，以灵活地改变训练数据的分布。特别是，我们包括用于增强，损失权重和软标签的超参数，这些超参数使用隐式微分联合估计。我们开发了一个理论概率解释这个框架，使用Fisher信息，并表明其复杂性与数据集大小呈线性关系。我们在SVHN、CIFAR-10/100和ImageNet分类上的实验显示，与之前的方法相比，带有标签噪声的有偏数据集的性能提高了9.3%，重要的是，对于代表性不足的SVHN类，性能提高了36.6%。
2021-03-11 cs.AI cs.CV cs.LG
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Center for Data Science, Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院数据科学研究中心）；Pazhou Lab（琶洲实验室）
脉冲神经网络（SNN）是一种大脑启发的模型，能够在神经形态硬件上实现节能。然而，由于尖峰神经元模型的不连续性，SNN的监督训练仍然是一个困难的问题。大多数现有的方法模仿人工神经网络的反向传播框架和前馈结构，并使用代理导数或计算相对于尖峰时间的梯度来处理问题。这些方法要么积累近似误差，要么只通过现有的尖峰信号有限地传播信息，并且通常需要沿着时间步长的信息传播，具有较大的存储成本和生物学上的不可信性。在这项工作中，我们考虑反馈脉冲神经网络，这是更像大脑，并提出了一种新的训练方法，不依赖于精确的反向正向计算。首先，我们证明了具有反馈连接的SNN的平均放电率将随着时间的推移逐渐演化到一个平衡状态，它遵循一个不动点方程。然后，通过将反馈SNN的前向计算视为该方程的黑盒求解器，并利用方程的隐式微分，我们可以计算参数的梯度，而无需考虑精确的前向过程。以这种方式，前向和后向过程被解耦，因此避免了不可微尖峰函数的问题。我们还简要地讨论了隐式微分的生物相容性，它只需要计算另一个平衡。在MNIST、Fashion-MNIST、N-MNIST、CIFAR-10和CIFAR-100上的大量实验证明了我们的方法在少量时间步长内具有更少神经元和参数的反馈模型的优越性能。我们的代码可以在https://github.com/pkuxmq/IDE-FSNN上找到。
2021-12-17 cs.LG cs.NE
