An inertial extrapolation method for convex simple bilevel optimization
我们考虑一个标量目标极小化问题在另一个最优化问题的解集上。该问题被称为简单二层最优化问题，在过去几年中引起了人们的广泛关注。我们的内部问题是最小化光滑函数和非光滑函数之和，而外部问题是最小化光滑凸函数。我们提出并建立了一个不动点的惯性外推迭代法来解决这个问题的收敛性。我们的数值实验表明，本文提出的方法优于目前最知名的算法来解决这类问题的考虑。
2018-09-17 math.OC
$ε$-Subgradient Algorithms for Bilevel Convex Optimization
本文引入并研究了一类新的显式$ε$ -次梯度方法，用于极小化另一个凸极小化问题的极小元集上的一个凸函数.通用算法专门用于一些重要的情况，如一阶方法应用于一个变化的目标函数，具有计算成本低的迭代。我们提出的数值实验的理论框架，包括有效的算法技术的某些应用程序，使使用所得到的方法来解决非常大的实际问题，在断层图像重建。
2017-03-08 math.OC
Federated Incremental Subgradient Method for Convex Bilevel Optimization Problems
Department of Mathematics, Faculty of Science, Khon Kaen University（孔敬大学理学院数学系）
本文提出一种联邦增量子梯度法，用于解决强凸外层目标函数和有限凸函数和的内层问题的双层优化问题，并通过实验验证其有效性。
2026-01-21 math.OC
Value-Function Root-Finding Algorithms for Composite Convex Simple Bilevel Optimization
Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Nankai University（南开大学）
针对复合凸简单双层优化问题，提出基于拉格朗日对偶的一阶谕示值函数评估方法，结合二分法与带保护牛顿型方法求(ε,ε)-解，复杂度达$\tilde{\u2112}(ε^{-1/2})$，匹配现有近最优结果。
2026-08-28 math.OC
Benders Subproblem Decomposition for Bilevel Problems with Convex Follower
双层优化制定递阶决策过程，出现在许多现实世界的应用，如定价，网络设计，和基础设施防御规划。本文研究了一类上层问题为整数变量，下层问题具有强对偶的双层最优化问题。我们提出了一个专门的Benders分解方法来解决这类双层问题，它将Benders子问题分解为两个更容易处理的，顺序可解的问题，可以被解释为上层和下层的问题。我们表明，Benders子问题分解结转到一个有趣的扩展的双层问题，连接上层的解决方案与较低的水平对偶解，并讨论了一些特殊情况下的双层问题，允许序列独立的子问题分解。几个新的计划产生数值稳定的削减，找到一个好的现任解决方案，并加快搜索树进行了讨论。一个计算研究表明，所提出的方法的计算效益超过一个国家的最先进的双层定制的分支和切割方法，商业求解器，和标准的Benders方法的标准测试用例和激励应用程序在顺序的能源市场。
2021-04-19 math.OC
Convergence, Duality and Well-Posedness in Convex Bilevel Optimization
本文针对凸双层优化问题，指出强对偶性与算法收敛的挑战，证明强对偶性等价于内外层函数值的渐近收敛，并结合Levitin-Polyak适定性给出保证收敛到最优解集的条件。
2025-09-26 math.OC
Methodology and first-order algorithms for solving nonsmooth and non-strongly convex bilevel optimization problems
简单的双层问题是一种最优化问题，我们希望找到一个内部问题的最优解，使外部目标函数最小化。这些问题出现在许多机器学习和信号处理应用中，作为消除不期望的解决方案的一种方式。然而，由于这些问题不满足正则性条件，它们通常很难精确求解，通常通过迭代正则化来求解。在过去的几年中，提出了一些算法来解决这些双层问题直接和提供一个速度获得可行性，假设外函数是强凸的。在我们的工作中，我们提出了一种新的方法，设计了简单的外部功能，如$l_1$规范，这是不需要光滑或强凸的双层问题。在我们新的迭代近似和水平集扩展（ITALEX）方法中，我们在扩展外部函数的水平集和近似优化该水平集上的内部问题之间交替。我们表明，通过一阶方法，如近似梯度和广义条件梯度优化的内部函数的结果在可行的收敛速度$O(1/k)$，这是迄今为止，只有通过两层算法实现的速度光滑和强凸的外部功能。此外，我们证明了$O(1/\sqrt{k})$收敛速率的外部功能，相反，现有的方法，只提供渐近保证。我们通过数值实验证明了这种性能。
2022-12-19 math.OC
Approximation Methods for Bilevel Programming
研究了一类内目标函数为强凸的双层规划问题。在内外目标函数的偏导数都满足一定的mile假设条件下，给出了求解这类问题的一个近似算法，并在不同的外目标函数凸性假设条件下给出了算法的有限时间收敛性分析.我们还提出了一个加速变形的这种方法，提高了收敛速率下凸性假设。此外，我们推广了我们的结果在随机设置下，只有噪音信息的两个目标函数。据我们所知，这是第一次，这样的（随机）近似算法建立迭代复杂性（样本复杂性）提供了双层规划。
2018-02-06 math.OC
Optimality Conditions and Duality for Multiobjective Fractional Bilevel Optimization Problems
本文提出了一种多目标分数双层优化问题的最优性条件与对偶性研究方法，利用非光滑约束资格条件和广义凸性概念，建立了更精细的最优性条件并证明了对偶定理。
2025-11-22 math.OC
On the convergence of proximal gradient methods for convex simple bilevel optimization
针对上下层均由可微项与可近似项组成的凸简单双层优化问题，提出基于 Barzilai-Borwein 局部估计的近似点梯度收敛框架及自适应线搜索方法，并验证其收敛优势。
2024-03-02 math.OC
Improved KKT Complexity for First-Order Bilevel Optimization under Weak Lower-Level Convexity
RIKEN（理化学研究所）；University of Tokyo（东京大学）
本文针对弱下层凸性的双层优化，提出非精确变量平滑惩罚方法（IVSP），在ENNAMCQ下证明有限惩罚参数稳定及ε-KKT点的一阶复杂度为Õ(ε^{-3})，并给出可验证条件与数值验证。
2026-10-01 math.OC
A Bilevel Market Equilibrium Model for Natural Gas Pipeline Network Operations: Convex Relaxations and Single-level Reformulations
University of Arizona（亚利桑那大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对天然气管道网络运营，该研究提出集成双层市场均衡模型，引入凸松弛处理非凸方程，对比多种单层重构方案，经6节点网络验证了模型的有效性与准确性。
2026-10-14 math.OC
Overcoming Lower-Level Constraints in Bilevel Optimization: A Novel Approach with Regularized Gap Functions
本文提出一种单循环、无 Hessian 的约束双层优化新算法，通过双重正则化间隙函数将问题转化为等价单层优化，支持一般下层约束，并证明了非渐近收敛性，可扩展至极小极大下层问题。
2024-06-04 math.OC
A Discretization Approach for Bilevel Optimization with Low-Dimensional and Non-Convex Lower-Level
针对下层非凸带约束的挑战性双层优化问题，提出基于可行解采样构造凸化值函数与罚函数的离散化方法，分析了问题性质，给出带有限时间收敛保证的梯度下降算法，并通过数值实验验证理论性能。
2025-05-16 math.OC
A Bisection Method to Solve The Elvis Problem With Convex Bounded Velocity Sets
文[2]研究了Elvis问题，证明了其解的存在性。然而，在非光滑的情况下，他们的计算仍然没有解决。针对一般的凸有界速度集，提出了一种求解二维Elvis问题的对分法。证明了算法的收敛速度是线性的。最后，在光滑和非光滑速度集上进行了数值试验，证明了算法的鲁棒性。
2023-03-15 cs.NA math.NA math.OC
Optimality conditions for bilevel programs via Moreau envelope reformulation
针对下层广义凸的双层规划经典MPCC重构存在的等价性与约束规范失效问题，通过Moreau包络等价重构推导新的方向最优性条件，其非方向形式强于对应MPCC的强平稳性条件。
2024-03-11 math.OC
Perturbed Gradient Descent via Convex Quadratic Approximation for Nonconvex Bilevel Optimization
本文提出一种基于凸二次近似的扰动梯度下降方法，用于解决非凸-非凸双层优化问题，在KKT残差平方范数下实现O(1/ε^1.5)迭代复杂度，并通过实验验证其效率与可扩展性。
2025-04-24 math.OC
Value Function Based Difference-of-Convex Algorithm for Bilevel Hyperparameter Selection Problems
University of Waterloo（滑铁卢大学）；University of Victoria（维多利亚大学）；Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen（深圳国家应用数学中心）
当上层变量值固定，下层程序为强凸（LLSC）和光滑（LLS）时，超参数整定的基于约束的最优化方法保证理论收敛于稳态解.在许多机器学习算法中，由于调整超参数而产生的双层规划不满足这个条件。在这项工作中，我们开发了一个序列收敛的值函数为基础的不精确凸差分算法（VF-iDCA）。我们表明，该算法实现了平稳的解决方案，没有LLSC和LLS假设的二层程序从一个广泛的超参数调整应用。我们广泛的实验证实了我们的理论研究结果，并表明，所提出的VF-iDCA在应用于调整超参数时具有优异的性能。
2022-06-13 cs.LG math.OC
Decentralized Bilevel Optimization
双层优化已经成功地应用于许多重要的机器学习问题。求解双层优化问题的算法已经在不同的设置下进行了研究。本文研究了分散环境下的非凸-强凸双层优化问题。我们设计分散算法的确定性和随机双层最优化问题。此外，我们分析的收敛速度所提出的算法在不同的情况下，包括数据异构性的情况下，观察到跨代理。对模拟数据和实际数据的数值实验表明，所提出的方法是有效的。
2022-06-12 math.OC
Dynamic Congestion Pricing in Distribution Networks via a Convex-Analytic Bilevel Reformulation
Rotterdam School of Management, Erasmus University（伊拉斯姆斯大学鹿特丹管理学院）；Erasmus School of Economics, Erasmus University（伊拉斯姆斯大学伊拉斯姆斯经济学院）
研究配电网中动态拥堵定价问题，提出凸分析框架，系统运营商计算拥堵价格增量，能源枢纽调度多种资源，方法避免混合整数KKT重构问题，在增广电网模型上效果良好。
2026-07-07 math.OC
Convergent Semidefinite Programming Relaxations for Global Bilevel Polynomial Optimization Problems
本文考虑一个两层多项式最优化问题，其中上下层问题的目标函数和约束函数都是多项式。我们提出了使用一系列半定规划（SDP）松弛来寻找其全局极小值和全局极小值的方法，并给出了这些方法的收敛结果。我们的方案的问题与凸低级别的问题涉及到解决一个转换的等价单级问题的SDP松弛序列，而我们的方法一般问题，涉及一个非凸多项式低级别的问题，解决了一个序列的近似问题，通过另一个序列的SDP松弛。
2016-01-13 math.OC
Constraint qualifications and optimality conditions in bilevel optimization
本文研究双层规划问题的约束规格和最优性条件。我们努力推导出可检查的约束规格的问题数据和适用的最优性条件。对于下层规划为凸规划的双层规划，讨论了用带互补约束的数学规划转化双层规划问题的缺点，并给出了用带广义方程约束的数学规划转化双层规划问题的一个新的尖锐的最优性必要最优性条件.对于具有非凸下层规划的双层规划，我们提出了一个松弛的常正线性相关（RCPLD）条件。
2019-10-09 math.OC
Non-Convex Bilevel Games with Critical Point Selection Maps
双层最优化问题涉及两个嵌套的目标，其中上层目标依赖于下层问题的解。当后者是非凸的，多个临界点可能存在，导致一个模糊的问题的定义。在本文中，我们介绍了一个关键因素，通过选择地图的概念，它允许一个选择一个特解的低级别的问题来解决这种模糊性。使用这样的地图，我们定义了两个代理之间的层次游戏，解决了两级问题的模糊性。这类新的游戏需要在莫尔斯理论中引入新的分析工具来扩展隐式微分，隐式微分是一种用于由隐函数定理产生的两级优化的技术。特别是，我们建立了这样一个方法的有效性，即使后者的定理是不适用的，由于退化临界点。最后，我们表明，基于展开优化解决双层问题的算法解决这些游戏的近似误差，由于有限的计算能力。一个简单的纠正这些算法，然后提出了消除这些错误。
2022-10-15 math.DG math.OC
Achieving optimal complexity guarantees for a class of bilevel convex optimization problems
本文提出一种加速梯度算法，用于一类双层凸优化问题，将迭代复杂度改进至O(ε^{-0.5})，达到单层优化的最优复杂度，并通过稀疏线性回归实验验证其有效性。
2023-11-17 math.OC
An Iterative Regularized Incremental Projected Subgradient Method for a Class of Bilevel Optimization Problems
研究了一类双层凸优化问题，其目标是在下层最优化问题的所有最优解集合中寻找上层目标函数的最小值.凸优化中的许多问题都可以用这个类来表示。一个重要的例子是最优化问题是不适定的情况。在本文中，我们的兴趣在于解决的双层问题，其中的低层目标是作为一个有限的单独的不可微的凸分量函数的总和。这是分布式优化中的各种应用的情况，例如机器学习和神经网络中的大规模数据处理。据我们所知，这类两层问题，在较低的水平有限和，以前没有得到解决。出于这一差距，我们开发了一个迭代正则化增量次梯度方法，其中代理使用正则化次梯度以循环方式更新迭代。在适当选择正则化参数序列的情况下，我们证明了算法的收敛性，并对任意小的$ε>0$，得到了关于低层目标函数的$\mathcal{O} \left({1}/k^{0.5-ε}\right)$的速率.我们提出了一个二进制文本分类问题的算法的性能。
2018-09-26 math.OC
Bilevel Optimization with Lower-Level Uniform Convexity: Theory and Algorithm
Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学）
本文提出了一种基于下层均匀凸性的双层优化算法UniBiO，通过理论分析和实验验证，实现了在寻找ε-stationary points时的高效收敛性保证。
2026-02-04 cs.LG math.OC
On solving integer bilevel optimization problems with a non-convex quadratic follower objective function using disjunctive cuts
Koç University（博阿兹奇大学）；University of Augsburg（奥格斯堡大学）；University of Michigan（密歇根大学）；Vienna University of Economics and Business（维也纳经济与商业大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文针对整数双层优化中追随者目标为非凸二次的问题，提出基于改进方向的析取割方法，在分支-割算法中排除不可行解，并显著优于现有最先进方法。
2026-10-02 cs.DM math.OC
An Inexact Conditional Gradient Method for Constrained Bilevel Optimization
本文提出一种单循环无投影的不精确条件梯度方法，用于解决约束双层优化问题，在凸与非凸情形下均达到最优收敛率，且每次迭代复杂度更低，数值实验验证其优越性。
2024-03-13 math.OC
Regularized extragradient method for structured bilevel optimization in continuous and discrete time
University of Vienna（维也纳大学）
本文针对实希尔伯特空间中的结构化双层优化问题，提出正则化外梯度算法，在合适几何条件下证明了内外残差的最后迭代收敛速率及迭代序列的弱收敛性。
2026-09-28 math.OC
Penalty-based Methods for Simple Bilevel Optimization under Hölderian Error Bounds
针对现有简单双层优化方法收敛性差、速率慢或假设强的问题，提出适配不同光滑凸性假设的惩罚框架，在Hölderian误差界下得到多种场景的复杂度结果，实验验证了算法有效性。
2024-11-02 math.OC
A Randomized Block Coordinate Iterative Regularized Gradient Method for High-dimensional Ill-posed Convex Optimization
受高维非线性最优化问题以及图像处理中出现的不适定最优化问题的启发，我们考虑了一个双层最优化模型，在该模型中，我们在内层问题的最优解中寻找最小化二级度量的解。我们的目标是解决高维的双层问题，和不可微的目标函数。最小范数梯度，连续平均，迭代正则化是最近开发的解决双层问题的一些计划。但没有一个解决高维结构和不可微性。利用这一空白，我们提出了一个随机块坐标迭代正则化梯度下降格式（RB-IRG）。我们建立了由RB-IRG生成的序列的唯一的解决方案的双层问题的兴趣。此外，我们推导出收敛速率$\mathcal{O} \left(\frac{1}{{k}^{0.5-δ}}\right)$，相对于内部水平目标函数。我们证明了RB-IRG在解决图像处理中出现的不适定问题的性能。
2018-09-26 math.OC
Directional first order approach for a class of bilevel programs
School of Mathematics, Hunan University（湖南大学数学学院）；School of Artificial Intelligence, Southern University of Science and Technology（南方科技大学人工智能学院）；Department of Mathematics and Statistics, University of Victoria（维多利亚大学数学与统计系）；Department of Mathematics, Southern University of Science and Technology（南方科技大学数学系）
本文提出一种方向一阶方法，用于解决一类双层优化问题，无需下层程序的凸性，通过方向邻域内的第一阶条件等价刻画下层程序，并保持M-站条件作为必要最优条件。
2026-06-28 math.OC
A simple algorithm for the simple bilevel programming (SBP) problem
针对简单双层规划（SBP）问题，提出一种无需假设上层目标可微、也不要求下层目标具有Lipschitz梯度的简单可实现算法，通过收敛性分析与数值实验验证了其有效性。
2025-04-16 math.OC
Moreau Envelope Based Difference-of-weakly-Convex Reformulation and Algorithm for Bilevel Programs
University of British Columbia（不列颠哥伦比亚大学）；University of Victoria（维多利亚大学）；Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen（深圳国家应用数学中心）；Peng Cheng Laboratory（鹏城实验室）
针对双层规划，本文利用下层问题的Moreau包络将其重构为单层弱凸差问题，提出序列收敛的iP-DwCA，并在核支持向量机超参数调优实验中验证效果。
2024-01-20 cs.LG math.OC
Functionally Constrained Algorithm Solves Convex Simple Bilevel Problems
Tsinghua University（清华大学）；Shanghai Qizhi Institute（上海智慧研究院）；Shanghai AI Lab（上海人工智能实验室）
研究简单双层凸优化问题，指出近似最优值不可获得，提出将其转化为函数约束问题的新方法，在光滑与非光滑条件下均达到近最优率。
2025-01-27 cs.LG math.OC stat.ML
A Bilevel Approach for Parameter Learning in Inverse Problems
研究了多惩罚Tikhonov正则化中正则化参数的学习选择方法。它导致一个双层最优化问题，其中较低级别的问题是一个正则化参数中参数化的Tikhonov正则化问题。给出了双层最优化问题解的存在性条件，并通过两个实例验证了这些条件。所产生的困难可能缺乏凸性的低级别的问题进行了讨论。在合理的约束规格成立的条件下，给出了最优性条件。最后，数值实验结果用于测试所开发的理论。
2018-02-05 math.OC
On Second-Order Methods for Bilevel Optimization
University of Minnesota（明尼苏达大学）
本文针对双层优化问题，提出了一种单循环三次正则牛顿算法，在非凸上层和强凸下层设置下，实现了最优的O(ε^{-1.5})总预言复杂度，首次达到二阶驻点的最优收敛率。
2026-06-19 math.OC
Task-Oriented Convex Bilevel Optimization with Latent Feasibility
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）；The University of Hong Kong（香港大学）；University of Victoria（维多利亚大学）；Southern University of Science and Technology（南方科技大学）
本文首先提出了一种凸双层优化范式，以制定和优化现实世界中流行的学习和视觉问题。不同于传统的方法，直接设计其迭代方案的基础上给定的问题制定，我们引入了一个面向任务的能量作为我们的潜在约束，它集成了更丰富的任务信息。通过明确地重新表征可行性，我们建立了一个有效和灵活的算法框架来处理凸模型，同时具有收缩的解空间和强大的辅助（基于任务的领域知识和数据分布）。在理论上，我们提出了我们的潜在可行性重新表征的数值策略的收敛性分析。我们还分析了在计算误差扰动下理论收敛性的稳定性。进行了大量的数值实验，以验证我们的理论研究结果，并评估我们的方法在不同的应用程序的实际性能。
2021-12-28 cs.CV math.OC
An Improved Unconstrained Approach for Bilevel Optimization
本文主要研究非凸-强凸双层最优化问题。在这个BLO中，上层问题的目标函数是非凸的，可能是非光滑的，而下层问题是光滑的，相对于底层变量$y$是强凸的。我们证明了BLO的可行域是一个黎曼流形。然后将BLO问题转化为相应的无约束约束求解问题，其目标函数由BLO问题的目标函数显式表示。我们证明了BLO等价于无约束最优化问题CDB。因此，各种有效的无约束的方法，连同他们的理论结果，可以直接应用到BLO通过CDB。我们提出了一个统一的框架，开发基于子梯度的方法，为CDB。值得注意的是，我们表明，现有的几个有效的算法可以适合统一的框架，并被解释为下降算法CDB。这些例子进一步证明了我们提出的方法的巨大潜力。
2022-12-23 math.OC
Achieving Better Local Regret Bound for Online Non-Convex Bilevel Optimization
East China Normal University（华东师范大学）
本文提出优化在线非凸双层优化的局部遗憾界，设计了自适应迭代算法和单循环算法，分别在标准和窗口平均设置中取得最优遗憾界。
2026-05-09 cs.LG math.OC
Bilevel Optimization under Uncertainty
我们考虑双层线性问题，其中较低层次的问题的右手边是随机的。领导者必须以此时此地的方式做出决定，而追随者则拥有完整的信息。在这种情况下，领导者的结果可以用一个随机变量来建模，这就产生了一系列广泛的模型，包括一致或凸风险度量和随机优势约束。我们概述Lipschitz性质，存在和最优性的条件，以及稳定性结果。此外，对于有限离散分布，我们讨论了等价的确定性双层规划的特殊结构及其潜在的使用，以减轻灾难的维数。
2019-07-08 math.OC
Optimistic Bilevel Optimization with Composite Lower-Level Problem
本文提出了一种针对复合下层问题的乐观双层优化方法，通过双重正则化方案和梯度采样算法，实现对实际问题的收敛性保证。
2026-02-05 math.OC
Nesterov's Smoothing Technique and Minimizing Differences of Convex Functions for Hierarchical Clustering
在设计最优多播网络时，通常采用两层层次聚类模型。在本文中，我们考虑两种不同的配方的双层分层聚类问题，一个离散最优化问题，可以被证明是NP-难的。我们的方法是通过对离散性条件进行一些放松，将问题转化为一个连续的最优化问题。然后，Nesterov的光滑技术和一个数值算法，用于最小化的差异的凸函数称为DCA处理的非光滑性和非凸性的问题。数值例子来说明我们的方法。
2017-03-06 math.OC
Duality theory for optimistic bilevel optimization
本文利用二层最优化问题的价值函数重构，得到了该问题的对偶结果。我们的方法建立在Fenchel-Lagrange型对偶建立合适的结果的双层最优化问题。首先，我们概述了一些标准的对偶结果，以表明它们不适用于我们的问题。其次，通过部分平静的概念，我们建立了弱和强对偶结果。特别是，拉格朗日，Fenchel-Lagrange和Toland-Fenchel- Lagrange对偶概念的研究，这类问题在一些适当的条件下。第三，基于我们的双层规划的一些正则化的使用，我们建立了充分条件，确保强的对偶结果下的广义Slater型条件，没有凸性假设和部分平静条件。最后，在不考虑Slater条件的情况下，对带几何约束的双层最优化问题构造了一个强对偶结果。
2022-05-22 math.OC
Bilevel gradient methods and the Morse parametric qualification condition
Toulouse School of Economics, University of Toulouse Capitole（图卢兹第一大学）；CNRS & Université Côte d’Azur, Laboratoire J. A. Dieudonné（法国国家科学研究中心与蔚蓝海岸大学）
本文提出双层梯度方法与莫尔斯参数资格条件，探讨了双层优化问题的两种算法策略及其特性。
2026-03-04 math.OC
Non-Convex Bilevel Optimization with Time-Varying Objective Functions
The Ohio State University（俄亥俄州立大学）；University of Houston（休斯顿大学）；University at Buffalo（纽约州立大学布法罗分校）
针对现有非凸双层优化难以适配时变流式数据的在线场景问题，提出带窗口平均的单循环在线双层优化器SOBOW，通过新分析技术解耦变量、控制估计误差，实现次线性双层局部悔值，经多领域实验验证有效。
2023-11-08 cs.LG math.OC
Lower Complexity Bounds for Nonconvex-Strongly-Convex Bilevel Optimization with First-Order Oracles
Kaiyi Ji（机凯毅）
针对光滑非凸-强凸双层优化，在确定性和随机一阶Oracle模型下，分别证明了$\Omega(\kappa^{3/2}\epsilon^{-2})$和$\Omega(\kappa^{5/2}\epsilon^{-4})$的下界，改进了单层非凸优化和极小极大问题的已知最优下界。
2026-06-15 cs.LG math.OC stat.ML
A Bilevel Optimization Method for Inverse Mean-Field Games
本文提出一种双层优化框架解决逆平均场博弈问题，在前向问题中保持目标函数凸性与约束线性，首次建立未知障碍物下的可辨识性，并采用交替梯度算法实现收敛求解。
2024-01-10 math.OC
Proximity-based approximation algorithms for integer bilevel programs
研究下层为凸二次整数规划的双层规划，证明判定问题为$Σ_2^p$-难，并利用邻近性结果证明自然启发式算法可为领导者目标提供加性近似保证，计算表明实际效果优于最坏界限。
2024-12-20 math.OC
Bilevel reinforcement learning via the development of hyper-gradient without lower-level convexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种利用正则化RL的不动点方程计算超梯度的双层强化学习方法，无需下层凸性假设，设计了基于模型和无模型算法，收敛速率为O(ε⁻¹)，并验证超梯度整合了利用与探索。
2025-02-27 cs.AI cs.LG math.OC
An Optimal High-Order Tensor Method for Convex Optimization
本文讨论了一个最小化复合凸目标函数的优化算法。基本的设置是，目标是两个凸函数的和：第一个函数是光滑的，直到d阶导数信息可用，第二个函数可能是不光滑的，但它的邻近张量映射可以近似计算在一个有效的方式。问题是要找到--在这种情况下--凸优化的最佳可能（最优）迭代复杂性。沿着这条路线，对于光滑的情况（目标中没有第二个非光滑部分），Nesterov（1983）提出了一个迭代复杂度为O（1 / k^2）的一阶方法（d=1）的最优算法。Baes（2009）和Nesterov（2018）提出了一种迭代复杂度为O（1 / k^{d+1}）的高阶张量算法。在本文中，我们提出了一种新的高阶张量算法，用于一般复合情况，其迭代复杂度为O（1 / k^{（3d+1）/2}），与Nesterov（2018）和Shamir et al.（2018）建立的d阶方法的下界相匹配，因此是最优的。我们的方法基于Monteiro和Svaiter（2013）提出的加速混合近端外梯度（A-HPE）框架，其中为每个A-HPE迭代安装了二分程序。在每个二分法步骤的一个近端张量子问题近似解决，和二分法步骤的总数，每A-HPE迭代是有界的对数因子所需的精度。
2020-04-17 math.OC
Derivative-free stochastic bilevel optimization for inverse problems
针对逆问题需同时学习模型与正则化参数的需求，提出基于无导数方法的随机双层优化方案，下层为依赖观测样本的凸非光滑变分重建问题，上层为正则化参数学习任务，经复杂度分析及数值实验验证其计算效率与泛化性能。
2024-11-27 math.OC
Bilevel Distributed Optimization in Directed Networks
在无线传感器网络和大规模数据处理的新兴应用的动机，我们认为分布式优化有向网络中的代理本地通信他们的信息，他们的邻居合作最小化的全球费用函数。本文提出了一个新的统一的分布式约束最优化模型，它被描述为一个双层最优化问题。该模型涵盖了有向网络上广泛的现有问题，包括：（i）线性约束的分布式优化;（ii）有向网络上的分布式无约束非强凸优化。采用一种新的正则化松弛方法和梯度跟踪计划，我们开发了一个迭代正则化推挽梯度算法。我们建立了共识，并得出新的收敛速度报表的次优和不可行的生成的迭代求解双层模型。所提出的算法和在这项工作中获得的复杂性分析似乎是新的解决双层模型，也为两个子类的问题。所提出的算法的数值性能。
2021-03-19 math.OC
Alternating Gradient-Type Algorithm for Bilevel Optimization with Inexact Lower-Level Solutions via Moreau Envelope-based Reformulation
Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家研究中心）；City University of Hong Kong（香港城市大学）
本文提出一种交替梯度型算法，用于解决下层问题为凸复合优化模型的双层优化问题，通过Moreau集合重新表述，无需精确下层解，提高计算效率，并证明其收敛性。
2026-05-12 math.OC
