Bilevel hyperparameter optimization for support vector classification: theoretical analysis and a solution method
支持向量分类（SVC）是一种经典的、性能良好的分类学习方法。一个正则化参数，这显着影响分类性能，必须选择，这通常是通过交叉验证过程。在本文中，我们将支持向量分类的超参数选择问题转化为一个双层最优化问题，其中上层问题是最小化所有交叉验证折叠上的误分类数据点的平均数量，下层问题是l1损失SVC问题，每个问题对应于T折叠交叉验证中的每个折叠。然后将得到的双层最优化模型转化为带平衡约束的数学规划（MPEC）。为了解决这一问题，我们提出了一个全球松弛交叉验证算法（GR-CV）的基础上著名的肖尔茨型全球松弛法（GRM）。证明了它收敛于一个C-平稳点。此外，我们证明了MPEC定制版本的Mangasarian-Fromovitz约束规格（MFCQ），这是一个关键的属性，以保证收敛的GRM，自动持有在每个可行点的MPEC。大量的数值结果验证了所提出的方法的有效性。特别是，与其他方法相比，我们的算法享有优越的泛化性能，几乎所有的数据集在本文中使用。
2021-10-04 math.OC
A Fast Smoothing Newton Method for Bilevel Hyperparameter Optimization for SVC with Logistic Loss
本文将带 logistic 损失的 SVC 超参数选择建模为双层优化并转化为含互补约束的单层 NLP，提出光滑化 Newton 方法，证明其超线性收敛且能高效获得严格局部极小点。
2023-08-17 math.OC
A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization Method
Centre for Data Science and AI（数据科学与人工智能中心）；Indian Institute of Management Ahmedabad（印度艾哈迈达巴德管理学院）；QI-CAP（QI-CAP公司）
本文提出一种基于梯度的双层超参数优化方法，利用高斯过程回归近似下层最优值函数，将双层问题转化为单层约束优化，保证全局收敛，并在MNIST和CIFAR-10上验证了其高效性和更好的泛化性能。
2023-06-18 cs.LG math.OC
Alternating Gradient-Type Algorithm for Bilevel Optimization with Inexact Lower-Level Solutions via Moreau Envelope-based Reformulation
Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家研究中心）；City University of Hong Kong（香港城市大学）
本文提出一种交替梯度型算法，用于解决下层问题为凸复合优化模型的双层优化问题，通过Moreau集合重新表述，无需精确下层解，提高计算效率，并证明其收敛性。
2026-05-12 math.OC
Stability and Generalization of Bilevel Programming in Hyperparameter Optimization
Shandong University（山东大学）；Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Huawei（华为）
（基于梯度的）双层规划框架被广泛用于超参数优化，并取得了优异的性能经验。以往的理论工作主要集中在它的优化性能，而离开的分析，在很大程度上开放的推广。本文试图解决这个问题，提出了一个期望约束w.r.t.基于一致稳定性的验证集。我们的结果可以解释一些神秘的行为的双层规划在实践中，例如，过拟合的验证集。我们还提出了一个期望界的经典交叉验证算法。我们的研究结果表明，基于梯度的算法可以比交叉验证在一定条件下，在理论上的角度。此外，我们证明了在外部和内部水平的正则化项可以缓解基于梯度的算法中的过拟合问题。在对噪声标签的特征学习和数据重新加权的实验中，我们证实了我们的理论发现。
2021-10-23 cs.LG math.OC
Duality Approach to Bilevel Programs with a Convex Lower Level
双层规划是最优化问题，其中一些变量是最优化问题本身的解，并且它们出现在各种控制应用中，包括：车辆交通网络的控制，逆强化学习和逆优化，以及人类自动化系统的鲁棒控制。本文提出了一种基于对偶的方法来求解下层问题是凸的双层规划。我们的方法是使用部分对偶构造一个新的对偶函数，是可微的，不像拉格朗日对偶，只有方向可微。我们使用我们的对偶定义一个基于对偶的双层规划的重构，证明我们的重构与原双层规划的等价性，然后引入正则化以确保约束规格成立。我们的新的对偶和正则化的对偶为基础的重新制定这些技术成果是用来提供理论证明的算法，我们构造的解决双层规划与凸的较低的水平，我们的结论是证明我们的算法的有效性，通过解决两个实际的例子双层规划。
2017-09-25 math.OC
Bilevel Aggregator-Prosumers' Optimization Problem in Real-Time: A Convex Optimization Approach
本文提出了一个实时市场（RTM）平台，聚合器和它的对应的产消者参与电力批发市场。该平台被建模为一个两层最优化问题，其中聚合者和产消者被认为是自我利益代理。目前基于平衡约束数学规划（MPEC）和混合整数规划（MIP）的双层最优化问题的求解方法在实时应用中并不令人满意。这种方法的计算时间随着产消者和决策变量数量的增加而呈指数级增长。本文提出了一个凸优化问题，它能捕获双层问题全局最优解集的一个子集作为其最优解。
2021-08-13 math.OC
Chance constrained problems: a bilevel convex optimization perspective
机会约束是在不确定环境中设计安全决策的一个有价值的工具，它们被用来模拟目标概率满足约束。然而，由于可能的非凸性和非光滑性，优化的机会约束集是具有挑战性的。本文建立了机会约束问题的一个精确的转化形式，将其转化为具有凸下层的双层问题。然后，我们推导出一个易于处理的惩罚方法，惩罚的目标是一个不同的凸函数，我们用一个合适的聚束法最小化。我们发布了一个易于使用的开源python工具箱来实现该方法，特别强调快速计算子例程。
2021-03-19 math.OC
A Projection-Free Method for Solving Convex Bilevel Optimization Problems
针对内层极小值集不显式的凸双层优化问题，提出仅需基域线性优化预言机的无投影方法，证明其内外层收敛速率为O(t^{-1/2})，额外假设下可加速，且通过数值研究验证了性能。
2024-10-09 math.OC
A New Simple Stochastic Gradient Descent Type Algorithm With Lower Computational Complexity for Bilevel Optimization
本文提出一种新的简单SGD类型算法SSGD，通过基于SGD的估计和热启动策略估计超梯度，在双层优化中实现更低计算复杂度，并经实验验证其效率。
2023-06-20 math.OC
An inertial extrapolation method for convex simple bilevel optimization
我们考虑一个标量目标极小化问题在另一个最优化问题的解集上。该问题被称为简单二层最优化问题，在过去几年中引起了人们的广泛关注。我们的内部问题是最小化光滑函数和非光滑函数之和，而外部问题是最小化光滑凸函数。我们提出并建立了一个不动点的惯性外推迭代法来解决这个问题的收敛性。我们的数值实验表明，本文提出的方法优于目前最知名的算法来解决这类问题的考虑。
2018-09-17 math.OC
$ε$-Subgradient Algorithms for Bilevel Convex Optimization
本文引入并研究了一类新的显式$ε$ -次梯度方法，用于极小化另一个凸极小化问题的极小元集上的一个凸函数.通用算法专门用于一些重要的情况，如一阶方法应用于一个变化的目标函数，具有计算成本低的迭代。我们提出的数值实验的理论框架，包括有效的算法技术的某些应用程序，使使用所得到的方法来解决非常大的实际问题，在断层图像重建。
2017-03-08 math.OC
Federated Incremental Subgradient Method for Convex Bilevel Optimization Problems
Department of Mathematics, Faculty of Science, Khon Kaen University（孔敬大学理学院数学系）
本文提出一种联邦增量子梯度法，用于解决强凸外层目标函数和有限凸函数和的内层问题的双层优化问题，并通过实验验证其有效性。
2026-01-21 math.OC
Benders Subproblem Decomposition for Bilevel Problems with Convex Follower
双层优化制定递阶决策过程，出现在许多现实世界的应用，如定价，网络设计，和基础设施防御规划。本文研究了一类上层问题为整数变量，下层问题具有强对偶的双层最优化问题。我们提出了一个专门的Benders分解方法来解决这类双层问题，它将Benders子问题分解为两个更容易处理的，顺序可解的问题，可以被解释为上层和下层的问题。我们表明，Benders子问题分解结转到一个有趣的扩展的双层问题，连接上层的解决方案与较低的水平对偶解，并讨论了一些特殊情况下的双层问题，允许序列独立的子问题分解。几个新的计划产生数值稳定的削减，找到一个好的现任解决方案，并加快搜索树进行了讨论。一个计算研究表明，所提出的方法的计算效益超过一个国家的最先进的双层定制的分支和切割方法，商业求解器，和标准的Benders方法的标准测试用例和激励应用程序在顺序的能源市场。
2021-04-19 math.OC
Value-Function Root-Finding Algorithms for Composite Convex Simple Bilevel Optimization
Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Nankai University（南开大学）
针对复合凸简单双层优化问题，提出基于拉格朗日对偶的一阶谕示值函数评估方法，结合二分法与带保护牛顿型方法求(ε,ε)-解，复杂度达$\tilde{\u2112}(ε^{-1/2})$，匹配现有近最优结果。
2026-08-28 math.OC
Convergence, Duality and Well-Posedness in Convex Bilevel Optimization
本文针对凸双层优化问题，指出强对偶性与算法收敛的挑战，证明强对偶性等价于内外层函数值的渐近收敛，并结合Levitin-Polyak适定性给出保证收敛到最优解集的条件。
2025-09-26 math.OC
Methodology and first-order algorithms for solving nonsmooth and non-strongly convex bilevel optimization problems
简单的双层问题是一种最优化问题，我们希望找到一个内部问题的最优解，使外部目标函数最小化。这些问题出现在许多机器学习和信号处理应用中，作为消除不期望的解决方案的一种方式。然而，由于这些问题不满足正则性条件，它们通常很难精确求解，通常通过迭代正则化来求解。在过去的几年中，提出了一些算法来解决这些双层问题直接和提供一个速度获得可行性，假设外函数是强凸的。在我们的工作中，我们提出了一种新的方法，设计了简单的外部功能，如$l_1$规范，这是不需要光滑或强凸的双层问题。在我们新的迭代近似和水平集扩展（ITALEX）方法中，我们在扩展外部函数的水平集和近似优化该水平集上的内部问题之间交替。我们表明，通过一阶方法，如近似梯度和广义条件梯度优化的内部函数的结果在可行的收敛速度$O(1/k)$，这是迄今为止，只有通过两层算法实现的速度光滑和强凸的外部功能。此外，我们证明了$O(1/\sqrt{k})$收敛速率的外部功能，相反，现有的方法，只提供渐近保证。我们通过数值实验证明了这种性能。
2022-12-19 math.OC
Approximation Methods for Bilevel Programming
研究了一类内目标函数为强凸的双层规划问题。在内外目标函数的偏导数都满足一定的mile假设条件下，给出了求解这类问题的一个近似算法，并在不同的外目标函数凸性假设条件下给出了算法的有限时间收敛性分析.我们还提出了一个加速变形的这种方法，提高了收敛速率下凸性假设。此外，我们推广了我们的结果在随机设置下，只有噪音信息的两个目标函数。据我们所知，这是第一次，这样的（随机）近似算法建立迭代复杂性（样本复杂性）提供了双层规划。
2018-02-06 math.OC
An adaptively inexact first-order method for bilevel optimization with application to hyperparameter learning
EPSRC Centre for Doctoral Training in Statistical Applied Mathematics at Bath (SAMBa)（EPSRC统计应用数学博士培训中心（SAMBa））；Department of Mathematical Sciences, University of Bath（巴斯大学数学科学系）；Department of Electronics & Electrical Communication Engineering, Indian Institute of Technology (IIT), Kharagpur（印度理工学院（Kharagpur）电子与电气通信工程系）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学学院）
本文针对双层优化中无法获得精确函数值与超梯度的问题，提出一种带回溯线搜索的自适应非精确一阶算法，可动态确定所需精度并收敛到稳定点，在图像去噪和多项逻辑回归等超参数学习任务中验证了其高效性与鲁棒性。
2025-04-08 cs.LG math.OC
On the convergence of proximal gradient methods for convex simple bilevel optimization
针对上下层均由可微项与可近似项组成的凸简单双层优化问题，提出基于 Barzilai-Borwein 局部估计的近似点梯度收敛框架及自适应线搜索方法，并验证其收敛优势。
2024-03-02 math.OC
Improved KKT Complexity for First-Order Bilevel Optimization under Weak Lower-Level Convexity
RIKEN（理化学研究所）；University of Tokyo（东京大学）
本文针对弱下层凸性的双层优化，提出非精确变量平滑惩罚方法（IVSP），在ENNAMCQ下证明有限惩罚参数稳定及ε-KKT点的一阶复杂度为Õ(ε^{-3})，并给出可验证条件与数值验证。
2026-10-01 math.OC
FAB: A First-Order AB-based Gradient Algorithm for Distributed Bilevel Optimization over Time-Varying Directed Graphs
Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；School of Artificial Intelligence, Southern University of Science and Technology（南方科技大学人工智能学院）；National Center for Applied Mathematics Shenzhen（深圳应用数学国家研究中心）；Detection Institute for Advanced Technology Longhua-Shenzhen（深圳龙华先进技术检测研究院）
本文提出一种首次-order分布式梯度算法，结合Push-Pull通信策略和价值函数惩罚法，解决时间变化有向图上的分布式双层优化问题，并建立非渐近收敛性。
2026-05-07 math.OC
A Bilevel Market Equilibrium Model for Natural Gas Pipeline Network Operations: Convex Relaxations and Single-level Reformulations
University of Arizona（亚利桑那大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对天然气管道网络运营，该研究提出集成双层市场均衡模型，引入凸松弛处理非凸方程，对比多种单层重构方案，经6节点网络验证了模型的有效性与准确性。
2026-10-14 math.OC
Overcoming Lower-Level Constraints in Bilevel Optimization: A Novel Approach with Regularized Gap Functions
本文提出一种单循环、无 Hessian 的约束双层优化新算法，通过双重正则化间隙函数将问题转化为等价单层优化，支持一般下层约束，并证明了非渐近收敛性，可扩展至极小极大下层问题。
2024-06-04 math.OC
A Discretization Approach for Bilevel Optimization with Low-Dimensional and Non-Convex Lower-Level
针对下层非凸带约束的挑战性双层优化问题，提出基于可行解采样构造凸化值函数与罚函数的离散化方法，分析了问题性质，给出带有限时间收敛保证的梯度下降算法，并通过数值实验验证理论性能。
2025-05-16 math.OC
Optimality conditions for bilevel programs via Moreau envelope reformulation
针对下层广义凸的双层规划经典MPCC重构存在的等价性与约束规范失效问题，通过Moreau包络等价重构推导新的方向最优性条件，其非方向形式强于对应MPCC的强平稳性条件。
2024-03-11 math.OC
Provably Faster Algorithms for Bilevel Optimization
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）
双层优化在机器学习领域有着广泛的应用，如超参数优化和元学习等。近年来，一些基于动量的算法被提出来快速求解双层优化问题。然而，这些基于动量的算法没有实现比基于SGD的算法的$\mathcal{\widetilde O}(ε^{-2})$更好的可证明的计算复杂性。本文提出了两种新的双层优化算法，第一种算法采用基于动量的递归迭代，第二种算法采用嵌套循环的递归梯度估计来减小方差。我们表明，这两种算法实现的复杂性的$\mathcal{\widetilde O}(ε^{-1.5})$，优于所有现有的算法的数量级。我们的实验验证了我们的理论结果，并证明了我们的算法在超参数应用中的优越经验性能。
2021-12-15 cs.LG math.OC stat.ML
Online Nonconvex Bilevel Optimization with Bregman Divergences
Stony Brook University（石溪大学）；Bloomberg（彭博公司）；Institute for Advanced Computational Science（高级计算科学研究所）
该研究针对在线非凸-强凸双层优化问题，提出基于自适应Bregman散度的确定性OBBO和带窗口平均方差缩减的随机SOBBO算法，提升双层局部悔值速率，实验验证其在超参数优化、元学习任务上优于现有基准。
2024-09-16 cs.LG math.OC
Perturbed Gradient Descent via Convex Quadratic Approximation for Nonconvex Bilevel Optimization
本文提出一种基于凸二次近似的扰动梯度下降方法，用于解决非凸-非凸双层优化问题，在KKT残差平方范数下实现O(1/ε^1.5)迭代复杂度，并通过实验验证其效率与可扩展性。
2025-04-24 math.OC
FedNest: Federated Bilevel, Minimax, and Compositional Optimization
University of Michigan（密歇根大学）；University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
标准的联邦优化方法成功地应用于单级结构的随机问题。然而，许多当代机器学习问题-包括对抗鲁棒性，超参数调整和演员-评论家-都属于嵌套双层编程，其中包含极大极小和组合优化。在这项工作中，我们提出了\fedblo：一种用于解决一般嵌套问题的联邦交替随机梯度方法。我们建立了可证明的收敛速度\fedblo在异构数据的存在下，并介绍了双层，极大极小和组合优化的变化。\fedblo引入了多项创新，包括联合超梯度计算和方差减少，以解决内部层次的异构性。我们补充我们的理论与实验超参数\&超表示学习和极大极小优化，证明我们的方法在实践中的好处。代码可在https://github.com/ucr-optml/FedNest上获得。
2022-09-13 cs.LG math.OC
Decentralized Bilevel Optimization
双层优化已经成功地应用于许多重要的机器学习问题。求解双层优化问题的算法已经在不同的设置下进行了研究。本文研究了分散环境下的非凸-强凸双层优化问题。我们设计分散算法的确定性和随机双层最优化问题。此外，我们分析的收敛速度所提出的算法在不同的情况下，包括数据异构性的情况下，观察到跨代理。对模拟数据和实际数据的数值实验表明，所提出的方法是有效的。
2022-06-12 math.OC
Dynamic Congestion Pricing in Distribution Networks via a Convex-Analytic Bilevel Reformulation
Rotterdam School of Management, Erasmus University（伊拉斯姆斯大学鹿特丹管理学院）；Erasmus School of Economics, Erasmus University（伊拉斯姆斯大学伊拉斯姆斯经济学院）
研究配电网中动态拥堵定价问题，提出凸分析框架，系统运营商计算拥堵价格增量，能源枢纽调度多种资源，方法避免混合整数KKT重构问题，在增广电网模型上效果良好。
2026-07-07 math.OC
Convergent Semidefinite Programming Relaxations for Global Bilevel Polynomial Optimization Problems
本文考虑一个两层多项式最优化问题，其中上下层问题的目标函数和约束函数都是多项式。我们提出了使用一系列半定规划（SDP）松弛来寻找其全局极小值和全局极小值的方法，并给出了这些方法的收敛结果。我们的方案的问题与凸低级别的问题涉及到解决一个转换的等价单级问题的SDP松弛序列，而我们的方法一般问题，涉及一个非凸多项式低级别的问题，解决了一个序列的近似问题，通过另一个序列的SDP松弛。
2016-01-13 math.OC
Constraint qualifications and optimality conditions in bilevel optimization
本文研究双层规划问题的约束规格和最优性条件。我们努力推导出可检查的约束规格的问题数据和适用的最优性条件。对于下层规划为凸规划的双层规划，讨论了用带互补约束的数学规划转化双层规划问题的缺点，并给出了用带广义方程约束的数学规划转化双层规划问题的一个新的尖锐的最优性必要最优性条件.对于具有非凸下层规划的双层规划，我们提出了一个松弛的常正线性相关（RCPLD）条件。
2019-10-09 math.OC
Near-Optimal Convex Simple Bilevel Optimization with a Bisection Method
针对复合凸简单双层优化，本文提出通过检验不等式系统可行性进行区间收缩的二分算法，在上下层分别达到 $ε_f$、$ε_g$ 最优时获得近最优复杂度，并由数值实验验证有效性。
2024-03-05 math.OC
Achieving optimal complexity guarantees for a class of bilevel convex optimization problems
本文提出一种加速梯度算法，用于一类双层凸优化问题，将迭代复杂度改进至O(ε^{-0.5})，达到单层优化的最优复杂度，并通过稀疏线性回归实验验证其有效性。
2023-11-17 math.OC
An Iterative Regularized Incremental Projected Subgradient Method for a Class of Bilevel Optimization Problems
研究了一类双层凸优化问题，其目标是在下层最优化问题的所有最优解集合中寻找上层目标函数的最小值.凸优化中的许多问题都可以用这个类来表示。一个重要的例子是最优化问题是不适定的情况。在本文中，我们的兴趣在于解决的双层问题，其中的低层目标是作为一个有限的单独的不可微的凸分量函数的总和。这是分布式优化中的各种应用的情况，例如机器学习和神经网络中的大规模数据处理。据我们所知，这类两层问题，在较低的水平有限和，以前没有得到解决。出于这一差距，我们开发了一个迭代正则化增量次梯度方法，其中代理使用正则化次梯度以循环方式更新迭代。在适当选择正则化参数序列的情况下，我们证明了算法的收敛性，并对任意小的$ε>0$，得到了关于低层目标函数的$\mathcal{O} \left({1}/k^{0.5-ε}\right)$的速率.我们提出了一个二进制文本分类问题的算法的性能。
2018-09-26 math.OC
Bilevel Optimization: Convergence Analysis and Enhanced Design
The Ohio State University（俄亥俄州立大学）
双层优化已经成为许多机器学习问题的强大工具，如元学习，超参数优化和强化学习。本文研究了非凸-强凸双层优化问题。对于确定性双层优化问题，我们分别给出了基于近似隐式微分（AID）和迭代微分（ITD）的两种常用算法的收敛速度分析.对于基于AID的方法，我们orderwisely改善以前的收敛速度分析，由于更实际的参数选择以及一个热启动策略，并为基于ITD的方法，我们建立了第一个理论收敛速度。我们的分析还提供了ITD和AID为基础的方法之间的定量比较。对于随机双层优化，我们提出了一种新的算法，名为stocBiO，它具有一个样本有效的超梯度估计，使用高效的雅可比和海森向量积计算。我们提供了收敛速度的保证stocBiO，并表明stocBiO优于最好的已知的计算复杂性度orderwise相对于条件数$κ$和目标精度$ε$。通过元学习和超参数优化的实验，进一步验证了本文的理论结果和双层优化算法的有效性。
2021-08-27 cs.LG math.OC stat.ML
Non-Convex Bilevel Games with Critical Point Selection Maps
双层最优化问题涉及两个嵌套的目标，其中上层目标依赖于下层问题的解。当后者是非凸的，多个临界点可能存在，导致一个模糊的问题的定义。在本文中，我们介绍了一个关键因素，通过选择地图的概念，它允许一个选择一个特解的低级别的问题来解决这种模糊性。使用这样的地图，我们定义了两个代理之间的层次游戏，解决了两级问题的模糊性。这类新的游戏需要在莫尔斯理论中引入新的分析工具来扩展隐式微分，隐式微分是一种用于由隐函数定理产生的两级优化的技术。特别是，我们建立了这样一个方法的有效性，即使后者的定理是不适用的，由于退化临界点。最后，我们表明，基于展开优化解决双层问题的算法解决这些游戏的近似误差，由于有限的计算能力。一个简单的纠正这些算法，然后提出了消除这些错误。
2022-10-15 math.DG math.OC
Bilevel Optimization with Lower-Level Uniform Convexity: Theory and Algorithm
Department of Computer Science, George Mason University（计算机科学系，乔治·马歇尔大学）
本文提出了一种基于下层均匀凸性的双层优化算法UniBiO，通过理论分析和实验验证，实现了在寻找ε-stationary points时的高效收敛性保证。
2026-02-04 cs.LG math.OC
An Inexact Conditional Gradient Method for Constrained Bilevel Optimization
本文提出一种单循环无投影的不精确条件梯度方法，用于解决约束双层优化问题，在凸与非凸情形下均达到最优收敛率，且每次迭代复杂度更低，数值实验验证其优越性。
2024-03-13 math.OC
Regularized extragradient method for structured bilevel optimization in continuous and discrete time
University of Vienna（维也纳大学）
本文针对实希尔伯特空间中的结构化双层优化问题，提出正则化外梯度算法，在合适几何条件下证明了内外残差的最后迭代收敛速率及迭代序列的弱收敛性。
2026-09-28 math.OC
On solving integer bilevel optimization problems with a non-convex quadratic follower objective function using disjunctive cuts
Koç University（博阿兹奇大学）；University of Augsburg（奥格斯堡大学）；University of Michigan（密歇根大学）；Vienna University of Economics and Business（维也纳经济与商业大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文针对整数双层优化中追随者目标为非凸二次的问题，提出基于改进方向的析取割方法，在分支-割算法中排除不可行解，并显著优于现有最先进方法。
2026-10-02 cs.DM math.OC
Penalty-based Methods for Simple Bilevel Optimization under Hölderian Error Bounds
针对现有简单双层优化方法收敛性差、速率慢或假设强的问题，提出适配不同光滑凸性假设的惩罚框架，在Hölderian误差界下得到多种场景的复杂度结果，实验验证了算法有效性。
2024-11-02 math.OC
An Efficient Smoothing Damped Newton Method for Large-Scale Mathematical Programs with Equilibrium Constraints
针对大规模双层超参数优化导出的MPEC问题，提出一种无软件包的高效光滑阻尼牛顿法，收敛到C-稳定点且具二次收敛率，在LIBSVM数据集上优于现有算法。
2025-10-24 math.OC
A Randomized Block Coordinate Iterative Regularized Gradient Method for High-dimensional Ill-posed Convex Optimization
受高维非线性最优化问题以及图像处理中出现的不适定最优化问题的启发，我们考虑了一个双层最优化模型，在该模型中，我们在内层问题的最优解中寻找最小化二级度量的解。我们的目标是解决高维的双层问题，和不可微的目标函数。最小范数梯度，连续平均，迭代正则化是最近开发的解决双层问题的一些计划。但没有一个解决高维结构和不可微性。利用这一空白，我们提出了一个随机块坐标迭代正则化梯度下降格式（RB-IRG）。我们建立了由RB-IRG生成的序列的唯一的解决方案的双层问题的兴趣。此外，我们推导出收敛速率$\mathcal{O} \left(\frac{1}{{k}^{0.5-δ}}\right)$，相对于内部水平目标函数。我们证明了RB-IRG在解决图像处理中出现的不适定问题的性能。
2018-09-26 math.OC
Bilevel methods for image reconstruction
这篇综述讨论了学习参数的图像重建问题，使用双层配方的方法。图像重建通常涉及优化费用函数以恢复与收集的测量和先前假设一致的未知变量的向量。现有技术的图像重建方法使用各种机器学习技术（诸如双层方法）从训练数据学习这些先验假设。人们可以将双层问题视为形式化的超参数优化，桥接机器学习和基于费用函数的最优化方法，或者作为学习最适合特定任务的变量的方法。更正式地说，双层问题试图最小化上层损失函数，其中上层损失函数中的变量本身是下层费用函数的最小化者。这篇评论包含了一个运行的例子学习调整参数和稀疏滤波器中使用的正则化系数的问题。这种滤波器推广了流行的全变差正则化方法，并且学习滤波器与迅速流行的卷积神经网络方法密切相关。这里，较低级别的问题是使用具有学习稀疏化滤波器的正则化器重建图像;相应的较高级别的最优化问题涉及基于训练数据的重建图像质量的测量。这篇评论讨论了多个角度来激励使用双层方法，使他们更容易为不同的受众。然后，我们转向优化双层问题的方法，提供各种建议的方法的优点和缺点。最后，我们概述了图像重建中的两层应用。
2022-06-15 math.OC
A First-order Generative Bilevel Optimization Framework for Diffusion Models
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Princeton University（普林斯顿大学）；Cisco Research（思科研究）；Cornell University（康奈尔大学）
本文提出一阶生成式双层优化框架，解决扩散模型微调与噪声调度优化中的双层问题，通过推理求解器和高效梯度估计器实现理论可行且计算实用的方法，实验优于现有基线。
2025-08-05 cs.LG math.OC stat.ML
Directional first order approach for a class of bilevel programs
School of Mathematics, Hunan University（湖南大学数学学院）；School of Artificial Intelligence, Southern University of Science and Technology（南方科技大学人工智能学院）；Department of Mathematics and Statistics, University of Victoria（维多利亚大学数学与统计系）；Department of Mathematics, Southern University of Science and Technology（南方科技大学数学系）
本文提出一种方向一阶方法，用于解决一类双层优化问题，无需下层程序的凸性，通过方向邻域内的第一阶条件等价刻画下层程序，并保持M-站条件作为必要最优条件。
2026-06-28 math.OC
A simple algorithm for the simple bilevel programming (SBP) problem
针对简单双层规划（SBP）问题，提出一种无需假设上层目标可微、也不要求下层目标具有Lipschitz梯度的简单可实现算法，通过收敛性分析与数值实验验证了其有效性。
2025-04-16 math.OC
Analyzing Inexact Hypergradients for Bilevel Learning
University of Bath（巴斯大学）；University of Sydney（悉尼大学）
本文提出统一框架计算超梯度，推广隐函数定理与自动微分方法，并推导误差界，数值表明超梯度算法选择对双层优化至关重要。
2023-11-15 cs.LG math.OC
A Bilevel Approach for Parameter Learning in Inverse Problems
研究了多惩罚Tikhonov正则化中正则化参数的学习选择方法。它导致一个双层最优化问题，其中较低级别的问题是一个正则化参数中参数化的Tikhonov正则化问题。给出了双层最优化问题解的存在性条件，并通过两个实例验证了这些条件。所产生的困难可能缺乏凸性的低级别的问题进行了讨论。在合理的约束规格成立的条件下，给出了最优性条件。最后，数值实验结果用于测试所开发的理论。
2018-02-05 math.OC
On Second-Order Methods for Bilevel Optimization
University of Minnesota（明尼苏达大学）
本文针对双层优化问题，提出了一种单循环三次正则牛顿算法，在非凸上层和强凸下层设置下，实现了最优的O(ε^{-1.5})总预言复杂度，首次达到二阶驻点的最优收敛率。
2026-06-19 math.OC
An Improved Unconstrained Approach for Bilevel Optimization
本文主要研究非凸-强凸双层最优化问题。在这个BLO中，上层问题的目标函数是非凸的，可能是非光滑的，而下层问题是光滑的，相对于底层变量$y$是强凸的。我们证明了BLO的可行域是一个黎曼流形。然后将BLO问题转化为相应的无约束约束求解问题，其目标函数由BLO问题的目标函数显式表示。我们证明了BLO等价于无约束最优化问题CDB。因此，各种有效的无约束的方法，连同他们的理论结果，可以直接应用到BLO通过CDB。我们提出了一个统一的框架，开发基于子梯度的方法，为CDB。值得注意的是，我们表明，现有的几个有效的算法可以适合统一的框架，并被解释为下降算法CDB。这些例子进一步证明了我们提出的方法的巨大潜力。
2022-12-23 math.OC
