A Single-Loop Algorithm for Decentralized Bilevel Optimization
Nanjing University（南京大学）；Rice University（莱斯大学）
本文提出一种用于去中心化双层优化的单循环算法，通过每次迭代仅用两次矩阵-向量乘法近似超梯度且无需梯度异质性假设，实现了已知最佳收敛率，并在合成和MNIST数据集上验证了其有效性。
2024-04-23 cs.DC cs.LG math.OC
Unlocking Global Optimality in Bilevel Optimization: A Pilot Study
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文探讨了双层优化中获得全局最优解的挑战，提出了两个全局收敛的充分条件，并在表征学习和数据超清理场景中通过依赖算法的证明和实验验证了理论发现。
2024-12-24 cs.LG math.OC
On Finding Small Hyper-Gradients in Bilevel Optimization: Hardness Results and Improved Analysis
IIIS, Tsinghua University（清华大学人工智能研究院）；Shanghai Qizhi Institute（上海启智研究院）；Shanghai AI Lab（上海人工智能实验室）
本文研究了双层优化中寻找超目标 stationary 点的难度，证明在非凸-凸情况下零尊重算法不可行，并提出在满足PL条件的非凸-非凸问题中，通过简单一阶算法获得更优复杂度界。
2026-04-28 cs.AI cs.LG math.OC
Riemannian Bilevel Optimization
UC Davis（加利福尼亚大学戴维斯分校）；Massachusetts Institute of Technology（麻省理工学院）；TU Munich（慕尼黑工业大学）
本文提出单循环一阶算法RF²SA，用于黎曼双层优化，避免二阶信息，提供显式收敛速率，并通过拉格朗日乘子处理约束问题。
2024-05-22 cs.AI cs.LG math.OC
Effective Bilevel Optimization via Minimax Reformulation
HKUST（香港科技大学）
针对双层优化嵌套结构导致的计算成本高的问题，本研究将其重构为等价的极小极大问题以解耦内外层依赖，提出带收敛保证的多阶段GDA算法，在提升性能的同时大幅降低计算成本。
2024-11-04 cs.LG math.OC
Bilevel Optimization for Machine Learning: Algorithm Design and Convergence Analysis
The Ohio State University（俄亥俄州立大学）
双层优化已经成为各种机器学习应用中的强大框架，包括元学习、超参数优化和网络架构搜索。机器学习通常有两类双层优化公式：1）基于问题的双层优化，其内层问题被公式化为找到给定损失函数的最小值;以及2）基于算法的双层优化，其内层解是固定算法的输出。对于第一类，已经提出了两种流行类型的基于梯度的算法通过近似隐式微分（AID）和迭代微分（ITD）的超梯度估计。第二类算法包括流行的模型不可知元学习（MAML）和几乎没有内部循环（ANIL）。然而，二层优化算法的收敛速度和基本局限性还没有得到很好的探讨。本文对上述两类双层算法的收敛速度进行了全面的分析。我们进一步提出了原则性的算法设计的双层优化具有更高的效率和可扩展性。对于基于问题的配方，我们提供了一个收敛速度分析AID和ITD为基础的双层算法。然后，我们开发的加速双层算法，我们提供的成形器收敛分析与放松的假设。我们还提供了第一个下界的双层优化，并建立在一定的条件下，通过提供匹配的上界的最优性。最后，我们提出了新的随机双层优化算法，具有较低的复杂性和较高的效率，在实践中。对于基于算法的配方，我们开发了一般的多步MAML和ANIL的理论收敛性，并表征参数选择和损失几何形状对它们的复杂性的影响。
2021-07-31 cs.LG math.OC stat.ML
A Single-Timescale Method for Stochastic Bilevel Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
随机双层优化将经典的随机最优化从单个目标的最小化推广到依赖于另一个最优化问题的解的目标函数的最小化。最近，随机双层优化在新兴的机器学习应用中重新流行，例如超参数最优化和模型无关Meta学习。为了解决这类随机最优化问题，现有的方法需要双循环或两个时间尺度的更新，有时效率较低。本文对一类随机双层优化问题提出了一种新的最优化方法--单时间尺度随机双层优化方法（STABLE）。STABLE以单循环方式运行，并使用具有固定批大小的单时间刻度更新。为了实现$ε$ -二层问题的稳定点，STABLE需要${\cal O}(ε^{-2})$样本总数;并且为了在强凸情况下实现$ε$ -最优解，STABLE需要${\cal O}(ε^{-1})$样本。据我们所知，这是第一个双层优化算法实现相同的顺序的样本复杂性的随机梯度下降方法的单级随机最优化。
2022-03-31 cs.LG math.OC stat.ML
Fast Adaptive Federated Bilevel Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
双层优化是机器学习中一种流行的分层模型，已被广泛应用于元学习、超参数学习、策略优化等机器学习任务中。虽然近年来已有许多双层优化算法被提出，但针对分布式环境下双层优化问题的自适应算法却很少。众所周知，自适应梯度方法在分布式和非分布式优化上都表现出优越的性能。因此，在本文中，我们提出了一种新的自适应联邦双层优化算法（即，AdaFBiO）求解分布式两层优化问题，其中上层（UL）问题的目标函数可能是非凸的，而下层（LL）问题的目标函数是强凸的.具体来说，我们的AdaFBiO算法建立在基于动量的方差减少技术和本地SGD，以获得最佳已知的样本和通信复杂性同时。特别是，我们的AdaFBiO算法使用统一的自适应矩阵，灵活地将各种自适应学习率更新变量在UL和LL的问题。此外，我们提供了一个收敛性分析框架，我们的AdaFBiO算法，并证明它需要$\tilde{O}(ε^{-3})$的样本复杂度与$\tilde{O}(ε^{-2})$的通信复杂性度，以获得一个$ε$ -稳定点。联邦超表示学习和联邦数据超清洗任务的实验结果验证了算法的有效性。
2022-11-14 cs.LG math.OC
Decentralized Bilevel Optimization
双层优化已经成功地应用于许多重要的机器学习问题。求解双层优化问题的算法已经在不同的设置下进行了研究。本文研究了分散环境下的非凸-强凸双层优化问题。我们设计分散算法的确定性和随机双层最优化问题。此外，我们分析的收敛速度所提出的算法在不同的情况下，包括数据异构性的情况下，观察到跨代理。对模拟数据和实际数据的数值实验表明，所提出的方法是有效的。
2022-06-12 math.OC
Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction
University of Pittsburgh（匹兹堡大学）
近年来，双层优化算法取得了显著的进展，并被应用于数据清洗、少样本学习和神经结构搜索等机器学习任务中。然而，很少有人注意到分布式环境下的两层问题的解决。联邦学习（FL）是一种解决分布式数据上的机器学习任务的新兴范式。由于异构性和通信瓶颈，FL问题的解决具有挑战性。然而，目前还不清楚这些挑战将如何影响双层优化算法的收敛性。本文研究联邦双层优化问题。具体来说，我们首先提出了FedBiO，一个确定性的基于梯度的算法，我们表明它需要$O(ε^{-2})$的迭代次数达到$ε$ -平稳点。然后，我们提出了FedBiOAcc加速FedBiO的动量为基础的方差减少技术下的随机场景。我们发现FedBiOAcc具有$O(ε^{-1.5})$的复杂性。最后，我们通过重要的公平联邦学习任务验证我们提出的算法。更具体地说，我们定义了一个基于双水平的组公平FL目标。我们的算法表现出优越的性能相比，其他基线的数值实验。
2022-05-03 cs.LG math.OC
A Primal-Dual Approach to Bilevel Optimization with Multiple Inner Minima
The Ohio State University（俄亥俄州立大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
双层优化在超参数优化、神经结构搜索、元学习等现代机器学习问题中有着广泛的应用。其中内部函数是强凸的）是很好理解的，这样的具有多个内部极小点的问题仍然是具有挑战性的和开放的。现有的算法设计这样一个问题适用于限制的情况下，并没有一个完全保证收敛。本文将双层优化问题转化为约束优化问题，并采用原始-对偶双层优化（PDBO）算法进行求解。PDBO不仅解决了多个内部最小值的挑战，而且具有完全的一阶效率，而不涉及二阶Hessian和Jacobian计算，而不是大多数现有的基于梯度的双层算法。我们进一步刻画了PDBO的收敛速度，这是第一个已知的非渐近收敛保证多个内部极小值的双层优化。我们的实验表明所提出的方法的预期性能。
2022-06-08 cs.LG math.OC stat.ML
BiAdam: Fast Adaptive Bilevel Optimization Methods
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
近年来，由于超参数最优化和Meta学习等多种应用，双层优化在机器学习领域引起了越来越多的关注。虽然最近已经提出了许多双层方法，这些方法没有考虑使用自适应学习率。众所周知，自适应学习率可以加速优化算法。为了填补这一空白，本文提出了一种新的快速自适应双层框架来求解外部问题可能为非凸而内部问题为强凸的随机双层最优化问题.我们的框架使用统一的自适应矩阵，包括多种类型的自适应学习率，并可以灵活地使用动量和方差减少技术。特别是，我们提供了一个有用的收敛性分析框架的双层优化。具体来说，我们提出了一个快速的单循环自适应双层优化（BiAdam）算法，它实现了一个样本的复杂度为$\tilde{O}(ε^{-4})$找到一个$ε$ -固定的解决方案。同时，我们提出了一种加速的BiAdam算法（VR-BiAdam），它达到了$\tilde{O}(ε^{-3})$的最佳样本复杂度.据我们所知，我们首先研究了自适应学习率的自适应双层最优化方法。在数据超清洗和超表示学习任务上的实验结果证明了算法的有效性。
2023-02-18 cs.CV cs.LG math.OC
Learning to Solve Constrained Bilevel Control Co-Design Problems
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Virginia（弗吉尼亚大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出了一种框架，利用现代微分技术学习解决带约束双层优化问题，展示神经网络在参数双层优化中的高效近似能力。
2025-12-03 cs.LG math.OC
Amortized Implicit Differentiation for Stochastic Bilevel Optimization
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
研究了一类内层目标为强凸的随机和确定两层最优化问题的求解算法。具体来说，我们考虑基于不精确隐式微分的算法，我们利用一个热启动策略来摊销精确梯度的估计。然后，我们引入了一个统一的理论框架的启发，奇异摄动系统（Habets，1974年）的研究，分析这样的摊销算法。通过使用这个框架，我们的分析表明，这些算法，以匹配的计算复杂性的Oracle方法，有机会获得一个无偏估计的梯度，从而优于许多现有的结果为双层优化。我们说明了这些研究结果的合成实验，并证明了这些算法的效率超参数最优化实验涉及数千个变量。
2022-07-11 cs.LG math.OC
A Framework for Bilevel Optimization on Riemannian Manifolds
RIKEN AIP（理化学研究所人工智能项目）；Microsoft（微软公司）；University of Tokyo（东京大学）
本研究提出黎曼流形上的双层优化框架，设计流形超梯度估计策略并分析误差，给出超梯度下降算法的收敛与复杂度分析，拓展至随机场景并结合一般收缩，经多应用验证有效。
2024-11-02 cs.LG math.OC stat.ML
Bayesian Optimization of Bilevel Problems
Warwick Business School（华威商学院）；University of Warwick（华威大学）
针对黑盒且评估昂贵的双层优化问题，提出一种贝叶斯优化框架，将上下层函数建模为组合空间上的高斯过程以利用子问题间的知识转移，并设计了新颖的采集函数，实验证明该方法样本效率高且优于现有方法。
2024-12-24 cs.LG math.OC
Introduction to Bilevel Optimization: A perspective from Variational Analysis
本文是基于图卢兹经济学院2024年秋季课程的讲义，从变分分析视角对双层优化领域进行快速入门介绍。
2025-11-08 math.OC
Contextual Stochastic Bilevel Optimization
EPFL（洛桑联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）；Gatech（佐治亚理工学院）
本文提出上下文随机双层优化框架CSBO，并设计基于多层蒙特卡洛的高效双循环梯度方法，解决了经典单循环方法因上下文信息存在而无法收敛的问题，其复杂度在元学习等应用中不依赖任务数量。
2023-10-27 cs.LG math.OC
Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks
School of Computer Science, University College Dublin（都柏林大学计算机科学学院）；School of Mathematical Sciences, Dublin City University（都柏林城市大学数学科学学院）
本文提出基于双层优化的神经网络校准方法，通过玩具数据集和模拟数据集验证其在提升预测置信度和减少校准误差方面的有效性，优于等价回归方法。
2025-03-17 cs.LG math.OC
Online Bilevel Optimization: Regret Analysis of Online Alternating Gradient Methods
University of Pennsylvania（宾夕法尼亚大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Michigan（密歇根大学）
该研究提出在线双层优化问题，定义新的双层悔度概念，设计可利用平滑性的在线交替时间平均梯度方法，将单层在线算法悔度界拓展至双层场景，给出基于内外层最小化子序列路径长度的悔度界。
2024-07-08 cs.DS cs.LG math.OC
Bilevel Optimization: Convergence Analysis and Enhanced Design
The Ohio State University（俄亥俄州立大学）
双层优化已经成为许多机器学习问题的强大工具，如元学习，超参数优化和强化学习。本文研究了非凸-强凸双层优化问题。对于确定性双层优化问题，我们分别给出了基于近似隐式微分（AID）和迭代微分（ITD）的两种常用算法的收敛速度分析.对于基于AID的方法，我们orderwisely改善以前的收敛速度分析，由于更实际的参数选择以及一个热启动策略，并为基于ITD的方法，我们建立了第一个理论收敛速度。我们的分析还提供了ITD和AID为基础的方法之间的定量比较。对于随机双层优化，我们提出了一种新的算法，名为stocBiO，它具有一个样本有效的超梯度估计，使用高效的雅可比和海森向量积计算。我们提供了收敛速度的保证stocBiO，并表明stocBiO优于最好的已知的计算复杂性度orderwise相对于条件数$κ$和目标精度$ε$。通过元学习和超参数优化的实验，进一步验证了本文的理论结果和双层优化算法的有效性。
2021-08-27 cs.LG math.OC stat.ML
BOLIB: Bilevel Optimization LIBrary of test problems
本章介绍了测试问题的Bilevel Optimization LIBRARY（简称BOLIB），它包含一系列测试问题，具有连续变量，以帮助支持开发双层优化的数值求解器。该库包含173个例子，其中138个非线性，24个线性和11个简单的双层最优化问题。这个BOLIB集合可能是最大的测试问题的双层优化库。此外，由于该库支持所有示例的MATLAB m文件的计算，因此它为测试和比较算法提供了统一的基础。该库以及所有相关代码可在biopt.github.io/bolib上免费获取。
2020-11-28 math.OC
Beyond backpropagation: bilevel optimization through implicit differentiation and equilibrium propagation
ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）
本文综述了基于梯度的双层优化方法，重点介绍隐式微分与均衡传播两类方法的数学基础、梯度估计算法及其竞争优势。
2022-10-27 cs.LG math.OC
Bilevel Optimization and Variational Analysis
本章介绍了一个自包含的变分分析和广义微分的方法来推导必要的最优性问题的双层Lipschitz数据。我们主要集中在乐观的模型，虽然发达的机械也适用于悲观的版本。提出并讨论了一些尚待解决的问题。
2019-07-13 math.OC
Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks
HKUST（香港科技大学）；Princeton University（普林斯顿大学）
双层优化已经获得了越来越多的关注，在Meta学习，极大极小游戏，强化学习和嵌套组合优化中发现了许多应用。本文研究了网络上的分布式双层优化问题，其中智能体只能与邻居通信，包括多任务，多智能体学习和联邦学习的例子。在本文中，我们提出了一个基于流言的分布式双层学习算法，允许网络代理解决内部和外部优化问题在一个单一的时间尺度和共享信息通过网络传播。我们发现，我们的算法享有$\mathcal{O}(\frac{1}{K ε^2})$每个代理的样本复杂性一般非凸双层优化和$\mathcal{O}(\frac{1}{K ε})$强凸目标，实现了加速，规模与网络规模线性。样本复杂度在$ε$和$K$中都是最优的。我们在超参数调整和分散强化学习的例子上测试了我们的算法。仿真实验表明，该算法在训练效率和测试准确率上都达到了最高水平。
2022-06-22 cs.LG math.OC stat.ML
ScaleBiO: Scalable Bilevel Optimization for LLM Data Reweighting
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出ScaleBiO，首个可扩展的一阶双层优化算法，结合LISA技术实现大规模LLM数据重加权，在多种模型上验证了指令跟随和数学推理任务的有效性，并提供了理论收敛保证。
2025-05-25 cs.LG math.OC
Provably Faster Algorithms for Bilevel Optimization
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）
双层优化在机器学习领域有着广泛的应用，如超参数优化和元学习等。近年来，一些基于动量的算法被提出来快速求解双层优化问题。然而，这些基于动量的算法没有实现比基于SGD的算法的$\mathcal{\widetilde O}(ε^{-2})$更好的可证明的计算复杂性。本文提出了两种新的双层优化算法，第一种算法采用基于动量的递归迭代，第二种算法采用嵌套循环的递归梯度估计来减小方差。我们表明，这两种算法实现的复杂性的$\mathcal{\widetilde O}(ε^{-1.5})$，优于所有现有的算法的数量级。我们的实验验证了我们的理论结果，并证明了我们的算法在超参数应用中的优越经验性能。
2021-12-15 cs.LG math.OC stat.ML
FedNest: Federated Bilevel, Minimax, and Compositional Optimization
University of Michigan（密歇根大学）；University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
标准的联邦优化方法成功地应用于单级结构的随机问题。然而，许多当代机器学习问题-包括对抗鲁棒性，超参数调整和演员-评论家-都属于嵌套双层编程，其中包含极大极小和组合优化。在这项工作中，我们提出了\fedblo：一种用于解决一般嵌套问题的联邦交替随机梯度方法。我们建立了可证明的收敛速度\fedblo在异构数据的存在下，并介绍了双层，极大极小和组合优化的变化。\fedblo引入了多项创新，包括联合超梯度计算和方差减少，以解决内部层次的异构性。我们补充我们的理论与实验超参数\&超表示学习和极大极小优化，证明我们的方法在实践中的好处。代码可在https://github.com/ucr-optml/FedNest上获得。
2022-09-13 cs.LG math.OC
Bilevel Optimization for Differentially Private Optimization in Energy Systems
Georgia Institute of Technology（佐治亚理工学院）；Syracuse University（雪城大学）
本文研究如何将差分隐私算法应用于输入敏感的约束最优化问题。由于输入数据的随机扰动经常使约束最优化问题不可行或显著改变其最优解的性质，因此该任务提出了重大挑战。为了解决这个困难，本文提出了一个双层最优化模型，可用作后处理步骤：它重新分配的差异隐私机制引入的噪声最优，同时恢复可行性和接近最优。本文表明，在一个自然的假设下，这种双层模型可以有效地解决现实生活中的大规模非线性非凸最优化问题与敏感的客户数据。实验结果证明了隐私保护机制的准确性，并展示了显着的好处相比，标准的方法。
2021-01-05 cs.AI cs.CR math.OC
Alternating Implicit Projected SGD and Its Efficient Variants for Equality-constrained Bilevel Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；DAMO Academy, Alibaba US（阿里巴巴美国达摩院）
随机双层优化，它捕捉固有的嵌套结构的机器学习问题，是越来越受欢迎，在许多最近的应用。现有的两层优化研究大多考虑无约束问题或有约束上层问题。本文研究了上下两层都带有等式约束的随机双层优化问题。利用等式约束问题的特殊结构，本文首先提出了一种交替隐式投影SGD方法，并建立了与ALSET \citep{chen2021closing}最新复杂度相匹配的$\tilde{\cal O}(ε^{-2})$样本复杂度.为了进一步节省投影代价，提出了两种交替的隐式投影有效SGD算法，其中一种算法具有$\tilde{\cal O}(ε^{-2}/T)$上、$\tilde{\cal O}(ε^{-1.5}/T^{\frac{3}{4}})$下两级投影复杂度，${\cal O}(T)$下一级批大小;另一种算法具有$\tilde{\cal O}(ε^{-1.5})$上、下两级投影复杂度，${\cal O}(1)$下一级批大小.联邦双层优化的应用程序已经展示了我们的算法的经验性能。我们的研究结果表明，等式约束双层优化与强凸下层问题可以有效地解决随机单级优化问题。
2023-02-13 cs.LG math.OC stat.ML
A Review of Bilevel Optimization: Methods, Emerging Applications, and Recent Advancements
本文系统综述了双层优化的建模形式、经典与演化求解方法及其应用，并重点介绍了双层分解和神经架构搜索两个近期方向。
2026-09-29 math.OC
DIAMOND: Taming Sample and Communication Complexities in Decentralized Bilevel Optimization
The Ohio State University（俄亥俄州立大学）；Wayne State University（韦恩州立大学）；Air Force Research Laboratory（美国空军研究实验室）
分散式双层优化最近受到越来越多的关注，这是由于其在许多新兴的多智能体学习范例中的基础作用（例如，多代理元学习和多智能体强化学习）。然而，为了与边缘网络的有限计算和通信能力一起工作，开发分散式双层优化技术的主要挑战是降低采样和通信复杂性。这促使我们开发一种新的分散式双层优化，称为DIAMOND（分散式单时间尺度随机近似与动量和梯度跟踪）。本文的贡献在于：1）我们的DIAMOND算法采用单循环结构，而不是遵循自然的双层优化的双循环结构，这提供了较低的计算和实现复杂度：2）与现有的方法相比，DIAMOND算法不需要任何完整的梯度评估，这进一步降低了样本和计算复杂性; iii）通过动量信息和梯度跟踪技术的仔细整合，我们证明了DIAMOND算法在实现$ε$ -稳态解的样本和通信复杂性方面享有$\mathcal{O}(ε^{-3/2})$，这两者都与数据集大小无关，并且显著优于现有的工作。大量的实验也验证了我们的理论研究结果。
2023-01-19 cs.LG math.OC
Efficient Curvature-Aware Hypergradient Approximation for Bilevel Optimization
School of Mathematics, Nanjing University（南京大学数学学院）
本文提出一种将曲率信息纳入超梯度近似的计算高效技术及相应算法框架，在确定性和随机场景下均给出收敛保证，并在确定性设置下实现优于主流梯度方法的计算复杂度，数值实验验证了其实际性能提升。
2025-05-04 cs.LG math.OC
Penalty Method for Inversion-Free Deep Bilevel Optimization
Tulane University（杜兰大学）
解决双层优化问题是几个机器学习问题的核心，例如超参数调整，数据去噪，Meta和少样本学习以及训练数据中毒。与同时优化或多目标优化不同，在双层问题中，最小化上层成本的最速下降方向需要下层成本的Hessian的逆。在这项工作中，我们提出了一个新的算法来解决双层优化问题的基础上经典的惩罚函数方法。我们的方法避免了计算海森逆，可以很容易地处理约束二层问题。在较弱的条件下证明了该方法的收敛性，并证明了精确超梯度的渐近性。我们的方法的简单性和小的空间和时间复杂度，使我们能够有效地解决大规模的双层问题，涉及深神经网络。我们目前的结果数据去噪，少样本学习，并在大规模设置的训练数据中毒问题。我们的研究结果表明，我们的方法优于或相当于以前提出的方法的基础上自动微分和近似反演的精度，运行时间和收敛速度。
2021-10-05 cs.LG math.OC stat.ML
BilevelJuMP.jl: Modeling and Solving Bilevel Optimization in Julia
在本文中，我们提出了BilevelJuMP，一个新的Julia包，以支持双层优化的JuMP框架内。该软件包是一个Julia库，使用户能够使用JuMP代数语法描述上层和下层最优化问题。由于我们的库继承了JuMP语法的通用性和灵活性，我们的软件包允许用户在较低级别中使用圆锥约束，在较高级别中使用所有JuMP支持的约束（圆锥、二次、非线性、二次等）来建模双层最优化问题。此外，用户定义的问题，可以随后解决各种技术依赖于数学规划与平衡约束（MPEC）的重新制定。由于MathOptInterface.jl的结构和Dualization.jl特性，可以对原始问题数据进行操作。因此，建议的包允许快速建模，部署，从而实验的基础上，现成的混合整数线性规划和非线性求解器的双层模型。
2022-06-07 cs.MS math.OC
Tropical analogues of a Dempe-Franke bilevel optimization problem
我们考虑了Dempe和Franke研究的一类特殊的两层最优化问题的热带类似问题，并提出了解决这些新的热带两层最优化问题的一些方法。特别是，它被发现，由Dempe和Franke开发的算法可以制定和其有效性可以证明在一个更一般的设置，其中包括热带双层最优化问题的问题。我们还展示了如何的可行集可以分解成一个有限数量的热带多面体，热带线性规划求解器可以应用。
2019-02-26 math.OC
A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization
Institute of Operations Research and Information Engineering, Beijing University of Technology（北京理工大学运筹学与信息工程学院）；National Center for Applied Mathematics Shenzhen（深圳应用数学中心）；Department of Mathematics, Southern University of Science and Technology（南方科技大学数学系）；School of Science, Beijing University of Posts and Telecommunications（北京邮电大学理学院）；Department of Mathematics, and National Center for Applied Mathematics Shenzhen, Southern University of Science and Technology（南方科技大学数学系和深圳应用数学中心）
针对双层优化在机器学习中的应用，提出PnPBO框架，集成无偏和有偏随机估计器，经理论分析得出其适配多种估计器可实现最优样本复杂度，解决相关问题，并通过实验验证了框架有效性。
2026-07-14 cs.LG math.OC
Non-Convex Bilevel Optimization with Time-Varying Objective Functions
The Ohio State University（俄亥俄州立大学）；University of Houston（休斯顿大学）；University at Buffalo（纽约州立大学布法罗分校）
针对现有非凸双层优化难以适配时变流式数据的在线场景问题，提出带窗口平均的单循环在线双层优化器SOBOW，通过新分析技术解耦变量、控制估计误差，实现次线性双层局部悔值，经多领域实验验证有效。
2023-11-08 cs.LG math.OC
On the Complexity of Robust Bilevel Optimization With Uncertain Follower's Objective
我们研究了不确定性的两层组合优化的复杂性，在追随者的目标，在一个强大的优化方法。我们证明了区间不确定性下的两层问题的鲁棒对应可以是$Σ^{\text P}_2$ -硬的，即使当某些两层问题是NP-等价的和追随者的问题是易处理的。相反，在离散不确定性情况下，鲁棒双层问题最多比跟随者问题难一层。
2021-07-28 cs.DS math.OC
Bilevel Aggregator-Prosumers' Optimization Problem in Real-Time: A Convex Optimization Approach
本文提出了一个实时市场（RTM）平台，聚合器和它的对应的产消者参与电力批发市场。该平台被建模为一个两层最优化问题，其中聚合者和产消者被认为是自我利益代理。目前基于平衡约束数学规划（MPEC）和混合整数规划（MIP）的双层最优化问题的求解方法在实时应用中并不令人满意。这种方法的计算时间随着产消者和决策变量数量的增加而呈指数级增长。本文提出了一个凸优化问题，它能捕获双层问题全局最优解集的一个子集作为其最优解。
2021-08-13 math.OC
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
A Brief Introduction to Robust Bilevel Optimization
双层优化是建立递阶决策过程模型的有力工具。然而，由此产生的问题是具有挑战性的解决-无论是在理论和实践。幸运的是，该领域的算法取得了重大进展，因此与20年前相比，我们今天可以解决更大，更复杂的问题。这导致越来越多的具有挑战性的双层问题，研究人员试图解决今天。在这篇文章中，我们简要介绍了这些更具挑战性的两层问题之一：不确定性下的两层优化，使用鲁棒优化技术。为此，我们简要地说明不同版本的不确定的双层问题，导致从不同层次的合作的追随者，以及当不确定性被发现。我们强调这些概念，使用一个学术的例子，并讨论了最近的结果，从文献的复杂性以及解决方案的方法。最后，我们讨论了双层优化中的不确定性来源比单层优化更丰富，并为此引入了决策不确定性的概念。
2023-01-24 math.OC
On Penalty-based Bilevel Gradient Descent Method
Rensselaer Polytechnic Institute（伦斯勒理工学院）
针对下层有约束且非强凸的双层优化难题，本文采用惩罚重构并提出 PBGD 算法，证明其可恢复原问题局部解且具有有限时间收敛性，实验验证了效率。
2025-01-06 cs.LG math.OC stat.ML
Adaptive Mirror Descent Bilevel Optimization
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
本文针对非凸双层优化问题，基于镜像下降提出了自适应方法AdaPAG与AdaVSPAG，分别用于确定性和随机场景，并证明了其具有已知最佳的梯度复杂度和快速收敛速率。
2023-11-18 cs.LG math.OC
Efficient Hessian-Free Methods for Multi-Objective Bilevel Optimization with Nonconvex Lower Level
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
本文针对下层非凸的多目标双层优化问题，提出MOMEHA及MB-MOMEHA算法，通过Moreau包络转化问题并结合平滑加权Tchebycheff标量化，在少样本元学习等任务上优于现有方法。
2026-09-09 cs.LG math.OC
Min-Max Bilevel Multi-objective Optimization with Applications in Machine Learning
Massachusetts Institute of Technology（麻省理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of California San Diego（加州大学圣地亚哥分校）
我们考虑一个一般的最小-最大多目标双层优化问题，并将其应用于鲁棒机器学习，如表示学习和超参数优化。我们设计了一种新的单循环梯度下降-上升双层优化算法MORBiT来解决一般问题，并给出了一个新的分析，表明MORBiT收敛到一阶稳定点的速度为$\widetilde{\mathcal{O}}(n^{1/2} K^{-2/5})$的一类弱凸问题的$n$目标后，$K$迭代的算法。我们的分析利用新的结果来处理非光滑的最小-最大多目标设置，并获得一个次线性依赖的目标数$n$。鲁棒表示学习和鲁棒超参数优化的实验结果展示了（i）考虑最小-最大多目标设置的优点，以及（ii）所提出的MORBiT的收敛特性。我们的代码在https://github.com/minimario/MORBiT。
2023-03-07 cs.LG math.OC
Stability and Generalization of Bilevel Programming in Hyperparameter Optimization
Shandong University（山东大学）；Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Huawei（华为）
（基于梯度的）双层规划框架被广泛用于超参数优化，并取得了优异的性能经验。以往的理论工作主要集中在它的优化性能，而离开的分析，在很大程度上开放的推广。本文试图解决这个问题，提出了一个期望约束w.r.t.基于一致稳定性的验证集。我们的结果可以解释一些神秘的行为的双层规划在实践中，例如，过拟合的验证集。我们还提出了一个期望界的经典交叉验证算法。我们的研究结果表明，基于梯度的算法可以比交叉验证在一定条件下，在理论上的角度。此外，我们证明了在外部和内部水平的正则化项可以缓解基于梯度的算法中的过拟合问题。在对噪声标签的特征学习和数据重新加权的实验中，我们证实了我们的理论发现。
2021-10-23 cs.LG math.OC
Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
East China Normal University（华东师范大学）
本文提出优化在线非凸双层优化的局部遗憾界，设计了自适应迭代算法和单循环算法，分别在标准和窗口平均设置中取得最优遗憾界。
2026-05-09 cs.LG math.OC
A Lagrange Multiplier Expression Method for Bilevel Polynomial Optimization
本文研究二层多项式最优化问题。为了解决这些问题，我们给出了一种基于多项式优化松弛的方法。每个松弛是从Kurash-Kuhn-Tucker（KKT）条件下的下层优化和交换技术半无限规划。对于KKT条件，拉格朗日乘子表示为多项式或有理函数。Moment-SOS松弛法用于求解多项式优化松弛法。在一般假设下，证明了该算法解二层多项式最优化问题的收敛性。数值实验表明了该方法的有效性。
2021-06-09 math.OC
A Review on Bilevel Optimization: From Classical to Evolutionary Approaches and Applications
双层优化被定义为一个数学规划，其中一个最优化问题包含另一个最优化问题作为约束。这些问题受到了数学规划界的极大关注。只有有限的工作存在于双层问题，使用进化计算技术，然而，最近有越来越多的兴趣，由于扩散的实际应用和进化算法在解决这些问题的潜力。本文提供了一个全面的审查双层优化的基本原则，解决方案的战略，包括经典和进化。一些潜在的应用问题也进行了讨论。为了向读者提供关于双层优化领域的突出发展的见解，我们对迄今为止发表的关于双层优化的论文的扩展列表进行了自动文本分析。这篇论文应该激励进化计算的研究人员更加关注这一实用而又具有挑战性的领域。
2020-12-05 cs.NE math.OC
Constraint qualifications and optimality conditions in bilevel optimization
本文研究双层规划问题的约束规格和最优性条件。我们努力推导出可检查的约束规格的问题数据和适用的最优性条件。对于下层规划为凸规划的双层规划，讨论了用带互补约束的数学规划转化双层规划问题的缺点，并给出了用带广义方程约束的数学规划转化双层规划问题的一个新的尖锐的最优性必要最优性条件.对于具有非凸下层规划的双层规划，我们提出了一个松弛的常正线性相关（RCPLD）条件。
2019-10-09 math.OC
Bilevel Optimization based on Iterative Approximation of Multiple Mappings
大量的应用程序问题涉及两个层次的优化，其中一个优化任务嵌套在另一个优化任务中。这些问题被称为双层最优化问题，并已研究了经典优化社区和进化优化社区。到目前为止，大多数的解决方案提出的程序，要么计算非常昂贵，或适用于只有一小类的双层最优化问题坚持数学简化的假设。在本文中，我们提出了一种进化最优化方法，试图通过迭代逼近两个重要的映射，即下层的合理反应映射和下层的最优值函数映射，以减少计算费用。该算法已被测试了大量的测试问题，并与其他算法进行了比较。结果表明，性能增益是相当显着的。据作者所知，一个结合的理论为基础的和人口为基础的解决方案，利用映射的过程还没有建议的双层问题。
2017-05-05 math.OC
Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity
University of California, Davis（加州大学戴维斯分校）；Rice University（莱斯大学）
针对去中心化随机双层优化，本文提出仅需一阶随机预言机及Hessian/Jacobian-向量积预言机的DSBO算法，在保持最优样本复杂度的同时避免计算完整矩阵，降低了每次迭代复杂度。
2023-05-31 cs.DC cs.LG math.OC
Bilevel optimization with sustainability perspective: A survey on applications
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；ESSEC Business School（法国高等经济商业学院）
本文综述了将可持续性视角引入双层优化问题的应用，涵盖交通物流、生产规划、水资源管理等领域，并讨论了未来研究方向。
2026-04-04 math.OC
