Stochastic Bilevel Optimization with Heavy-Tailed Noise
本文提出了一种针对具有重尾噪声的双层优化问题的N²SBA方法,实现了高效的SFO复杂度,并在非凸-强凹最小化最大优化中取得了良好的性能。
2026-09-28 cs.LG
Bilevel Optimization for Machine Learning: Algorithm Design and Convergence Analysis
The Ohio State University(俄亥俄州立大学)
双层优化已经成为各种机器学习应用中的强大框架,包括元学习、超参数优化和网络架构搜索。机器学习通常有两类双层优化公式:1)基于问题的双层优化,其内层问题被公式化为找到给定损失函数的最小值;以及2)基于算法的双层优化,其内层解是固定算法的输出。对于第一类,已经提出了两种流行类型的基于梯度的算法通过近似隐式微分(AID)和迭代微分(ITD)的超梯度估计。第二类算法包括流行的模型不可知元学习(MAML)和几乎没有内部循环(ANIL)。然而,二层优化算法的收敛速度和基本局限性还没有得到很好的探讨。本文对上述两类双层算法的收敛速度进行了全面的分析。我们进一步提出了原则性的算法设计的双层优化具有更高的效率和可扩展性。对于基于问题的配方,我们提供了一个收敛速度分析AID和ITD为基础的双层算法。然后,我们开发的加速双层算法,我们提供的成形器收敛分析与放松的假设。我们还提供了第一个下界的双层优化,并建立在一定的条件下,通过提供匹配的上界的最优性。最后,我们提出了新的随机双层优化算法,具有较低的复杂性和较高的效率,在实践中。对于基于算法的配方,我们开发了一般的多步MAML和ANIL的理论收敛性,并表征参数选择和损失几何形状对它们的复杂性的影响。
2021-07-31 cs.LG math.OC stat.ML
Functionally Constrained Algorithm Solves Convex Simple Bilevel Problems
Tsinghua University(清华大学);Shanghai Qizhi Institute(上海智慧研究院);Shanghai AI Lab(上海人工智能实验室)
研究简单双层凸优化问题,指出近似最优值不可获得,提出将其转化为函数约束问题的新方法,在光滑与非光滑条件下均达到近最优率。
2025-01-27 cs.LG math.OC stat.ML
Parametric Rates for Nonparametric Conditional-Moment Bilevel Optimization
Université Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔INP、LJK实验室);Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院(UCL)的Gatsby计算神经科学单位);Cornell University(康奈尔大学);Netflix Research(Netflix研究)
本文提出一种半参数去偏理论,用于消除双层梯度估计中的一阶偏差,通过交叉拟合的正交超梯度估计器实现了渐近正态性,并在二次损失下简化为基于条件均值 nuisances 的双重鲁棒分数。
2026-10-28 cs.LG stat.ML
A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning
Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校)
超参数整定是机器学习中的一个活跃研究领域,其目的是确定在验证集上提供最佳性能的最佳超参数。超参数调优通常使用简单的技术来实现,例如随机搜索和网格搜索。然而,这些方法中的大多数很少导致最佳的超参数集,并且通常非常昂贵。在本文中,我们提出了一个双层的解决方法来解决超参数优化问题,没有遭受的缺点,早期的研究。该方法具有通用性,可以方便地应用于任何类型的机器学习算法。该思想基于下层最优价值函数映射的近似,该映射是双层优化中的一个重要映射,有助于将双层优化问题简化为单层约束优化问题。采用增广拉格朗日方法求解单级约束优化问题。我们讨论了所提出的算法背后的理论,并在两个数据集上进行了广泛的计算研究,证实了所提出的方法的效率。我们对网格搜索,随机搜索和贝叶斯优化技术进行了比较研究,结果表明,所提出的算法在具有一个或两个超参数的问题上要快数倍。随着超参数数量的增加,计算增益预计会显著增加。对应于给定的超参数,文献中的大多数技术通常假设唯一的最优参数集,使训练集上的损失最小化。这样的假设经常被深度学习架构违反,并且所提出的方法不需要任何这样的假设。
2020-07-21 cs.LG stat.ML
On Penalty-based Bilevel Gradient Descent Method
Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对下层有约束且非强凸的双层优化难题,本文采用惩罚重构并提出 PBGD 算法,证明其可恢复原问题局部解且具有有限时间收敛性,实验验证了效率。
2025-01-06 cs.LG math.OC stat.ML
A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints
Rensselaer Polytechnic Institute(伦斯勒理工学院);King Juan Carlos University(胡安卡洛斯国王大学)
本文针对带耦合约束的双层优化问题提出了一种完全一阶算法 BLOCC,建立了严格的收敛理论,并在 SVM 超参数选择和交通网络规划中验证了其有效性。
2024-08-26 cs.LG math.OC stat.ML
A Primal-Dual Approach to Bilevel Optimization with Multiple Inner Minima
The Ohio State University(俄亥俄州立大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
双层优化在超参数优化、神经结构搜索、元学习等现代机器学习问题中有着广泛的应用。其中内部函数是强凸的)是很好理解的,这样的具有多个内部极小点的问题仍然是具有挑战性的和开放的。现有的算法设计这样一个问题适用于限制的情况下,并没有一个完全保证收敛。本文将双层优化问题转化为约束优化问题,并采用原始-对偶双层优化(PDBO)算法进行求解。PDBO不仅解决了多个内部最小值的挑战,而且具有完全的一阶效率,而不涉及二阶Hessian和Jacobian计算,而不是大多数现有的基于梯度的双层算法。我们进一步刻画了PDBO的收敛速度,这是第一个已知的非渐近收敛保证多个内部极小值的双层优化。我们的实验表明所提出的方法的预期性能。
2022-06-08 cs.LG math.OC stat.ML
Data Summarization via Bilevel Optimization
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
海量数据集的可用性不断提高,给机器学习带来了一系列挑战。其中最突出的是需要在硬件或人力资源限制下学习模型。在这种资源受限的环境中,一种简单而强大的方法是对数据的小子集进行操作。核心集是数据的加权子集,为优化目标提供近似保证。然而,现有的coreset构造是高度特定于模型的,并且限于简单的模型,例如线性回归、逻辑回归和$k$均值。在这项工作中,我们提出了一个通用的核心建设框架,制定核心选择基数约束的双层优化问题。与现有的方法相比,我们的框架不需要模型特定的适应,并适用于任何二次可微模型,包括神经网络。我们展示了我们的框架在各种环境下对各种模型的有效性,包括在线训练非凸模型和批量主动学习。
2021-09-26 cs.LG stat.ML
Provably Faster Algorithms for Bilevel Optimization
The Ohio State University(俄亥俄州立大学);University of Michigan(密歇根大学)
双层优化在机器学习领域有着广泛的应用,如超参数优化和元学习等。近年来,一些基于动量的算法被提出来快速求解双层优化问题。然而,这些基于动量的算法没有实现比基于SGD的算法的$\mathcal{\widetilde O}(ε^{-2})$更好的可证明的计算复杂性。本文提出了两种新的双层优化算法,第一种算法采用基于动量的递归迭代,第二种算法采用嵌套循环的递归梯度估计来减小方差。我们表明,这两种算法实现的复杂性的$\mathcal{\widetilde O}(ε^{-1.5})$,优于所有现有的算法的数量级。我们的实验验证了我们的理论结果,并证明了我们的算法在超参数应用中的优越经验性能。
2021-12-15 cs.LG math.OC stat.ML
On the Stability and Generalization of First-order Bilevel Minimax Optimization
College of Informatics(信息学院);School of Artificial Intelligence(人工智能学院)
本文研究了一阶双层极小极大优化算法的稳定性和泛化能力,通过算法稳定性分析,推导出三种代表性算法的细粒度泛化界,并通过实验证实理论结果。
2026-04-22 cs.AI cs.LG stat.ML
Penalty Method for Inversion-Free Deep Bilevel Optimization
Tulane University(杜兰大学)
解决双层优化问题是几个机器学习问题的核心,例如超参数调整,数据去噪,Meta和少样本学习以及训练数据中毒。与同时优化或多目标优化不同,在双层问题中,最小化上层成本的最速下降方向需要下层成本的Hessian的逆。在这项工作中,我们提出了一个新的算法来解决双层优化问题的基础上经典的惩罚函数方法。我们的方法避免了计算海森逆,可以很容易地处理约束二层问题。在较弱的条件下证明了该方法的收敛性,并证明了精确超梯度的渐近性。我们的方法的简单性和小的空间和时间复杂度,使我们能够有效地解决大规模的双层问题,涉及深神经网络。我们目前的结果数据去噪,少样本学习,并在大规模设置的训练数据中毒问题。我们的研究结果表明,我们的方法优于或相当于以前提出的方法的基础上自动微分和近似反演的精度,运行时间和收敛速度。
2021-10-05 cs.LG math.OC stat.ML
A Single-Timescale Method for Stochastic Bilevel Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
随机双层优化将经典的随机最优化从单个目标的最小化推广到依赖于另一个最优化问题的解的目标函数的最小化。最近,随机双层优化在新兴的机器学习应用中重新流行,例如超参数最优化和模型无关Meta学习。为了解决这类随机最优化问题,现有的方法需要双循环或两个时间尺度的更新,有时效率较低。本文对一类随机双层优化问题提出了一种新的最优化方法--单时间尺度随机双层优化方法(STABLE)。STABLE以单循环方式运行,并使用具有固定批大小的单时间刻度更新。为了实现$ε$ -二层问题的稳定点,STABLE需要${\cal O}(ε^{-2})$样本总数;并且为了在强凸情况下实现$ε$ -最优解,STABLE需要${\cal O}(ε^{-1})$样本。据我们所知,这是第一个双层优化算法实现相同的顺序的样本复杂性的随机梯度下降方法的单级随机最优化。
2022-03-31 cs.LG math.OC stat.ML
Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee
University of Pittsburgh(匹兹堡大学);Nanjing University of Information Science & Technology(南京信息工程大学);JD Finance America Corporation(京东金融美国公司)
由于许多机器学习问题的层次结构,二层规划近年来变得越来越重要,然而,其内部问题和外部问题之间的复杂关联使得其求解极具挑战性。虽然基于自动微分的几种直观算法已经被提出并在一些应用中取得了成功,但对于双层模型的最优求解却没有给予太多的关注。是否存在一个更好的提法仍然是一个悬而未决的问题。在本文中,我们提出了一种改进的双层模型,收敛速度更快,更好地相比,目前的配方。我们提供了两个任务的理论保证和评估结果:数据超清洗和超表示学习。实证结果表明,我们的模型优于目前的双层模型有很大的差距。\emph{This is a concurrent work with \citet{liu2020generic} and we submitted to ICML 2020. Now we put it on the arxiv for record.}
2020-09-01 cs.AI cs.LG stat.ML
Bilevel Optimization: Convergence Analysis and Enhanced Design
The Ohio State University(俄亥俄州立大学)
双层优化已经成为许多机器学习问题的强大工具,如元学习,超参数优化和强化学习。本文研究了非凸-强凸双层优化问题。对于确定性双层优化问题,我们分别给出了基于近似隐式微分(AID)和迭代微分(ITD)的两种常用算法的收敛速度分析.对于基于AID的方法,我们orderwisely改善以前的收敛速度分析,由于更实际的参数选择以及一个热启动策略,并为基于ITD的方法,我们建立了第一个理论收敛速度。我们的分析还提供了ITD和AID为基础的方法之间的定量比较。对于随机双层优化,我们提出了一种新的算法,名为stocBiO,它具有一个样本有效的超梯度估计,使用高效的雅可比和海森向量积计算。我们提供了收敛速度的保证stocBiO,并表明stocBiO优于最好的已知的计算复杂性度orderwise相对于条件数$κ$和目标精度$ε$。通过元学习和超参数优化的实验,进一步验证了本文的理论结果和双层优化算法的有效性。
2021-08-27 cs.LG math.OC stat.ML
On the Convergence Theory for Hessian-Free Bilevel Algorithms
The Ohio State University(俄亥俄州立大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
双层优化已经成为现代机器学习中的一个强有力的工具。然而,由于双层优化的嵌套结构,即使是基于梯度的方法也需要通过雅可比或/和海森向量计算进行二阶导数近似,这在实践中可能是昂贵的且不可扩展的。最近,Hessian-free双层格式被提出来解决这个问题,其总体思想是使用零阶或一阶方法来近似双层问题的全超梯度。然而,我们根据经验观察到,这种近似可能导致大方差和不稳定的训练,但仅估计响应雅可比矩阵作为超梯度的部分分量是非常有效的。为此,我们提出了一种新的Hessian-free方法,该方法采用零阶近似方法通过两条优化路径之间的差异来近似响应雅可比矩阵。从理论上讲,我们提供了所提出的算法的收敛速度分析,我们的主要挑战是表征的近似性和光滑性的依赖于概率的估计,这可以是独立的利益。这是第一个已知的收敛速度的结果,这种类型的Hessian自由双层算法。实验上,我们证明了所提出的算法优于基线双层优化各种双层问题。特别是,在我们使用ResNet-12网络在miniImageNet数据集上进行的Few-Shot元学习实验中,我们表明我们的算法优于基线元学习算法,而其他基线双层优化器在可比的时间范围内无法解决此类元学习问题。
2022-06-06 cs.LG math.OC stat.ML
A Lower Bound and a Near-Optimal Algorithm for Bilevel Empirical Risk Minimization
Université Paris-Saclay(巴黎-萨克雷大学);Inria(法国国家信息与自动化研究所);Université de Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);Apple(苹果公司)
针对具有求和结构的双层经验风险最小化,本文扩展 SARAH 算法并证明其 oracle 调用复杂度匹配所给下界,实现样本复杂度最优。
2024-11-30 cs.LG math.OC stat.ML
Alternating Implicit Projected SGD and Its Efficient Variants for Equality-constrained Bilevel Optimization
Rensselaer Polytechnic Institute(伦斯勒理工学院);DAMO Academy, Alibaba US(阿里巴巴美国达摩院)
随机双层优化,它捕捉固有的嵌套结构的机器学习问题,是越来越受欢迎,在许多最近的应用。现有的两层优化研究大多考虑无约束问题或有约束上层问题。本文研究了上下两层都带有等式约束的随机双层优化问题。利用等式约束问题的特殊结构,本文首先提出了一种交替隐式投影SGD方法,并建立了与ALSET \citep{chen2021closing}最新复杂度相匹配的$\tilde{\cal O}(ε^{-2})$样本复杂度.为了进一步节省投影代价,提出了两种交替的隐式投影有效SGD算法,其中一种算法具有$\tilde{\cal O}(ε^{-2}/T)$上、$\tilde{\cal O}(ε^{-1.5}/T^{\frac{3}{4}})$下两级投影复杂度,${\cal O}(T)$下一级批大小;另一种算法具有$\tilde{\cal O}(ε^{-1.5})$上、下两级投影复杂度,${\cal O}(1)$下一级批大小.联邦双层优化的应用程序已经展示了我们的算法的经验性能。我们的研究结果表明,等式约束双层优化与强凸下层问题可以有效地解决随机单级优化问题。
2023-02-13 cs.LG math.OC stat.ML
Achieving Linear Speedup in Non-IID Federated Bilevel Learning
Meta;The Ohio State University(俄亥俄州立大学);University at Buffalo(布法罗大学)
联邦双层优化在各种新兴的机器学习和通信应用中受到越来越多的关注。近年来,一些基于Hessian向量的算法被提出来解决联邦双层优化问题。然而,联邦学习中的几个重要属性,如部分客户端参与和收敛的线性加速(即,收敛速度和复杂度相对于采样客户端的数量线性地提高)。数据库仍然开放。在本文中,我们填补了这些空白,提出了一个新的联邦双层算法命名为FedMBO与一个新的客户端抽样计划在联邦超梯度估计。我们证明了FedMBO在非独立同分布上达到了$\mathcal{O}\big(\frac{1}{\sqrt{nK}}+\frac{1}{K}+\frac{\sqrt{n}}{K^{3/2}}\big)$的收敛速度。数据集,其中$n$是每轮中参与客户端的数量,$K$是迭代的总数。这是第一个理论上的线性加速结果非i.i.d.联邦双层优化大量的实验验证了我们的理论结果,并证明了我们所提出的方法的有效性。
2023-02-10 cs.LG math.OC stat.ML
Inexact bilevel stochastic gradient methods for constrained and unconstrained lower-level problems
Lehigh University(理海大学)
针对大规模或带约束的随机双层优化难题,提出适配非线性非凸下层约束的双层随机梯度方法,构建覆盖多类不精确计算场景的收敛理论,并开发无需二阶导数的低秩实用方法以支撑大规模学习应用。
2023-11-06 cs.LG math.OC stat.ML
Lower Bounds and Accelerated Algorithms for Bilevel Optimization
The Ohio State University(俄亥俄州立大学)
由于双层优化在现代机器学习问题中的广泛应用,近年来引起了人们越来越多的关注。尽管最近的研究已经描述了几种流行算法的收敛速度,但仍不清楚这些收敛速度可以进一步提高多少。在本文中,我们从两个角度来解决这个基本问题。首先,我们分别给出了强凸-强凸和凸-强凸双层优化问题的$\widetildeΩ(\frac{1}{\sqrt{μ_x}μ_y})$和$\widetilde Ω\big(\frac{1}{\sqrtε}\min\{\frac{1}{μ_y},\frac{1}{\sqrt{ε^{3}}}\}\big)$的第一个已知的复杂性下界。其次,我们提出了一个加速的双层优化命名为AccBiO,我们提供了第一个已知的复杂性界限,而没有梯度有界性假设(这是在现有的分析)在上述两个几何形状。当有界梯度假设成立时,我们还提供了比现有复杂度更严格的上限。我们表明AccBiO实现了最佳结果(即,上限和下限匹配到对数因子)。有趣的是,我们在这两种几何下的下界都大于极大极小优化的相应最优复杂度,证明了双层优化比极大极小优化更具挑战性。
2022-01-28 cs.LG math.OC stat.ML
Problem-Parameter-Free Decentralized Bilevel Optimization
The Chinese University of Hong Kong(香港中文大学)
针对现有去中心化双层优化方法需依赖问题参数手动调参的痛点,提出单环自适应算法AdaSDBO,基于累积梯度范数动态调整步长,无需问题参数,收敛率达$\widetilde{\mathcal{O}}\left(\frac{1}{T}\right)$,性能具竞争力且鲁棒性强。
2025-10-28 cs.LG math.OC stat.ML
LancBiO: dynamic Lanczos-aided bilevel optimization via Krylov subspace
LSEC, AMSS Chinese Academy of Sciences(中国科学院数学与系统科学研究院LSEC);University of Chinese Academy of Sciences(中国科学院大学)
针对双层优化中 Hessian 逆计算瓶颈,提出基于 Lanczos 过程的动态 Krylov 子空间方法,以较低代价近似超梯度,实现 $\mathcal{O}(ε^{-1})$ 收敛并在合成与深度学习任务中验证高效性。
2025-02-26 cs.LG math.OC stat.ML
Decentralized Bilevel Optimization: A Perspective from Transient Iteration Complexity
Center for Data Science, Peking University(北京大学数据科学中心);Center for Machine Learning Research, Peking University AI for Science Institute(北京大学人工智能科学研究院机器学习研究中心)
本文提出D-SOBA框架,通过分析瞬态迭代复杂度,首次理论探讨了网络拓扑、数据异质性及嵌套双层结构对去中心化随机双层优化的影响。
2025-11-26 cs.LG math.OC stat.ML
INTERACT: Achieving Low Sample and Communication Complexities in Decentralized Bilevel Learning over Networks
The Ohio State University(俄亥俄州立大学);Iowa State University(爱荷华州立大学);University of Minnesota(明尼苏达大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
近年来,分散式双层优化问题在网络和机器学习社区中受到越来越多的关注,这要归功于它们在对等网络上对分散式学习问题建模的多功能性(例如,多代理元学习、多智能体强化学习、个性化训练和拜占庭弹性学习)。然而,对于在计算和通信能力有限的对等网络上的分散式双层优化,如何实现低样本和通信复杂性是两个基本的挑战,仍然是未充分探索到目前为止。在本文中,我们首次尝试研究一类分散双层优化问题的非凸和强凸结构对应的外部和内部的子问题,分别。我们在本文中的主要贡献是两方面的:i)我们首先提出了一个确定性算法称为INTERACT(内梯度下降外跟踪梯度),需要$\mathcal{O}(n ε^{-1})$的样本复杂度和$\mathcal{O}(ε^{-1})$的通信复杂性来解决双层优化问题,其中$n$和$ε> 0$分别是每个代理的样本数和期望的平稳性间隙。ii)为了放松在每次迭代中对完整梯度评估的需要,我们提出了一个随机方差减少版本的INTERACT(SVR-INTERACT),它将样本复杂度提高到$\mathcal{O}(\sqrt{n} ε^{-1})$,同时实现与确定性算法相同的通信复杂性。据我们所知,这项工作是第一个实现低样本和通信复杂性解决分散的双层优化问题的网络。我们的数值实验也证实了我们的理论研究结果。
2022-10-05 cs.LG math.OC stat.ML
Learning Data Augmentation with Online Bilevel Optimization for Image Classification
Element AI;ÉTS Montreal(蒙特利尔高等技术学院)
数据增强是机器学习中用于提高泛化性能的关键实践。然而,找到最佳的数据增强超参数需要领域知识或计算要求高的搜索。我们解决这个问题,提出了一种有效的方法来自动训练网络,学习有效的分布的转换,以提高其泛化。使用双层优化,我们直接优化的数据增强参数使用验证集。该框架可以作为一个通用的解决方案,学习最佳的数据增强与最终任务模型,如分类器。结果表明,我们的联合训练方法产生的图像分类的准确性,是相当或优于精心手工制作的数据增强。然而,它不需要对数据增强超参数进行昂贵的外部验证循环。
2020-11-10 cs.CV stat.ML
Tuning-Free Bilevel Optimization: New Algorithms and Convergence Analysis
University at Buffalo(布法罗大学);Meta;Rice University(莱斯大学)
针对现有双层优化方法需依赖问题先验知识调步长的痛点,提出两种无需调参的自适应步长算法D-TFBO和S-TFBO,经理论分析和实验验证,其性能与良好调参方法相当且更鲁棒,是首个兼具免调参和理论保证的双层优化方法。
2024-10-08 cs.LG stat.ML
Hyperparameter Learning under Data Poisoning: Analysis of the Influence of Regularization via Multiobjective Bilevel Optimization
Defence Science and Technology Laboratory (Dstl)(国防科学技术实验室(Dstl));Imperial College London(帝国理工学院)
本文提出一种基于多目标双层优化的最优投毒攻击公式,考虑攻击对超参数的影响,揭示了现有方法的悲观局限,并证明了 $L_2$ 和 $L_1$ 正则化在缓解投毒攻击影响上的优势。
2023-06-23 cs.CR cs.LG stat.ML
Will Bilevel Optimizers Benefit from Loops
University of Michigan(密歇根大学);George Mason University(乔治梅森大学);The Ohio State University(俄亥俄州立大学)
双层优化已经成为解决各种机器学习问题的有力工具。两个当前流行的双层优化器AID-BiO和ITD-BiO自然涉及解决一个或两个子问题,因此,我们是否使用循环(需要多次迭代)或不使用循环(只需要几次迭代)来解决这些问题可以显着影响整体计算效率。文献中现有的研究只涵盖了其中的一些实现选择,并且可用的复杂性界限还不够精细,无法在不同的实现之间进行严格的比较。在本文中,我们首先建立了统一的收敛性分析AID-BiO和ITD-BiO适用于所有的实现选择的循环。然后,我们专门我们的结果来表征所有实现的计算复杂性,这使得它们之间的显式比较。我们的结果表明,对于AID-BiO,用于估计内部函数的最优点的循环有利于整体效率,尽管它会导致每个更新步骤的复杂度更高,并且用于近似外层Hessian逆向量积的循环降低了梯度复杂度。对于ITD-BiO,这两个循环总是共存的,我们的收敛上界和下界表明,这样的循环是必要的,以保证消失的收敛误差,而无循环计划遭受不可避免的非零收敛误差。我们的数值实验进一步证实了我们的理论结果。
2022-06-01 cs.LG math.OC stat.ML
SimFBO: Towards Simple, Flexible and Communication-efficient Federated Bilevel Learning
University at Buffalo(纽约州立大学布法罗分校)
针对现有联邦双层优化算法计算复杂、通信开销大的问题,提出无需子循环的SimFBO框架及其异构鲁棒变体ShroFBO,实现线性收敛加速,并在实验中验证了其有效性。
2023-12-27 cs.DC cs.LG math.OC
Smooth Bilevel Programming for Sparse Regularization
University of Bath(巴斯大学);CNRS(法国国家科学研究中心);Ecole Normale Supérieure, PSL University(巴黎文理研究大学高等师范学院)
迭代加权最小二乘(IRLS)是解决机器学习中稀疏回归问题的一种常用方法。现有技术的方法更有效,但通常依赖于特定的坐标修剪方案。在这项工作中,我们展示了如何一个令人惊讶的简单的重新参数化的IRLS,再加上一个双层分辨率(而不是一个交替的计划)是能够实现广泛的稀疏性(如拉索,组拉索和跟踪规范正则化),正则化强度(包括硬约束),和设计矩阵(从相关设计微分算子)的最佳性能。类似于IRLS,我们的方法只涉及线性系统的分辨率,但在鲜明的对比,对应于一个光滑函数的最小化。尽管是非凸的,我们表明,没有虚假的最小值,鞍点是“ridable”,所以总是存在一个下降方向。因此,我们提倡使用BFGS拟牛顿求解器,这使得我们的方法简单,强大和高效。我们执行数值基准的收敛速度,我们的算法对国家的最先进的解决方案的套索,组套索,跟踪规范和线性约束问题。这些结果突出了我们方法的多功能性,消除了根据所研究的ML问题的特殊性使用不同求解器的需要。
2022-09-30 cs.LG math.OC stat.ML
A framework for bilevel optimization that enables stochastic and global variance reduction algorithms
Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);Université Paris-Dauphine, PSL-University(巴黎多芬大学(PSL大学成员机构));Université Côte d’Azur(蔚蓝海岸大学)
针对双层优化中梯度估计依赖线性求解、难以无偏随机化的问题,提出内层解、线性系统解与主变量联合演化的框架,并给出具备全局方差缩减、$O(1/T)$ 及 PL 条件下线性收敛保证的 SABA 算法。
2024-11-30 cs.LG math.OC stat.ML
Fairness-informed Pareto Optimization : An Efficient Bilevel Framework
Lab. Jean Alexandre Dieudonn\'e, CNRS, Nice, 06000, France;Lab. Jean Alexandre Dieudonn\'e, Universit\'e C\ o te d'Azur, Nice, 06000, France
本文提出BADR框架,通过双层自适应重标定方法实现公平性引导的帕累托优化,提供高效算法和开源工具,验证其在公平性提升上的优势。
2026-01-22 cs.LG math.OC stat.ML
Efficient Penalty-Based Bilevel Methods: Improved Analysis, Novel Updates, and Flatness Condition
University of Rochester(罗切斯特大学);Cornell University(康奈尔大学)
本文提出PBGD-Free算法,通过解耦变量和引入平坦性条件,改进双层优化的收敛性和效率。
2025-11-20 cs.LG math.OC stat.ML
Bilevel optimization for data-driven learning of Koopman embeddings using kernel-based autoencoders
Maxwell Institute for Mathematical Sciences, The University of Edinburgh(爱丁堡大学麦克斯韦数学研究所);Heriot–Watt University(赫瑞瓦特大学);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);LAAS-CNRS(法国国家科学研究中心自动控制与系统分析实验室);Université de Toulouse(图卢兹大学);School of Mathematical & Computer Sciences, Heriot–Watt University(赫瑞瓦特大学数学与计算机科学学院)
该研究提出EDMD-kDL方法,结合配置法与双层优化,通过核字典学习从数据中学习Koopman嵌入,在海温预测、视频学习等实验中性能优于或相当ANN方法,且可扩展至大数据集。
2026-10-09 cs.LG math.DS stat.ML
Blockwise Stochastic Variance-Reduced Methods with Parallel Speedup for Multi-Block Bilevel Optimization
Texas A&M University(德克萨斯农工大学);Nanjing University(南京大学)
针对非凸多块双层优化,论文提出两种分块方差缩减随机算法,在避免高维 Hessian 求逆的同时实现并行加速,并给出 ε-稳定点复杂度与实验验证。
2023-06-02 cs.AI cs.LG math.OC
Integrated Optimization of Predictive and Prescriptive Tasks
Wayne State University(韦恩州立大学)
在传统的机器学习技术中,真实值和预测值之间的接近程度通常衡量预测的质量。然而,这些学习算法不考虑预测值将被用作决策问题的输入的处方问题。在本文中,我们有效地利用特征变量,我们提出了一个新的框架,直接集成预测任务下规定的任务,以规定一致的决策。我们训练预测算法的参数在一个处方问题,通过双层优化技术。我们提出了我们的方法的结构,并证明其性能使用合成数据相比,经典的方法,如点估计为基础的,随机优化和最近开发的机器学习为基础的优化方法。此外,我们使用不同的惩罚方法来控制泛化误差,并在验证数据集上优化积分。
2021-01-02 cs.LG stat.ML
Natural Hypergradient Descent: Algorithm Design, Convergence Analysis, and Parallel Implementation
University of Minnesota(明尼苏达大学);Purdue University(普渡大学)
本文提出自然超梯度下降法,通过利用内部优化问题的统计结构,用经验 Fisher 信息矩阵替代 Hessian,实现并行优化与近似框架,减少计算开销并提升大规模机器学习效果。
2026-04-01 cs.LG math.OC stat.ML
Benchmarking time series classification -- Functional data vs machine learning approaches
Ludwig-Maximilians-Universität München(慕尼黑大学)
时间序列分类问题在机器学习和统计学界引起了越来越多的关注。与之密切相关的是功能数据分析(FDA)领域:它指的是处理在某个域上连续索引的数据分析的一系列问题。虽然经常采用不同的方法,这两个领域都致力于回答类似的问题,一个常见的例子是分类或回归问题的功能协变量。我们研究函数数据分析的方法,如函数广义可加模型,以及将(函数)特征提取或基础表示与传统机器学习算法(如支持向量机或分类树)连接起来的功能。为了评估的方法和实施,我们运行一个基准上的各种各样的代表性(时间序列)的数据集,深入分析的实证结果,并努力提供一个参考排名的方法(S)使用非专家从业人员。此外,我们还提供了一个R软件框架,用于监督学习的函数数据分析,包括机器学习和统计学中的更多线性方法。这就允许了方便的访问,并且与机器学习工具箱mlr相结合,这些方法现在也可以被调优和基准测试。
2021-02-24 cs.LG stat.ML
Learning where to learn: Training data distribution optimization for scientific machine learning
Cornell University(康奈尔大学);MIT(麻省理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种优化训练数据分布的方法,以提升科学机器学习模型在不同部署条件下的预测精度和鲁棒性。
2025-12-05 cs.LG math.OC stat.ML
Communication-Efficient Federated Hypergradient Computation via Aggregated Iterative Differentiation
University at Buffalo(布法罗大学)
针对联邦双层优化中超梯度计算通信成本高的问题,提出基于聚合迭代微分的高效估计器,在数据异构下以更少通信轮次达现有方法同等样本复杂度,验证了其有效性与通信效率优势。
2023-06-16 cs.LG math.OC stat.ML
Less is More: Convergence Benefits of Fewer Data Weight Updates over Longer Horizon
Google Research(谷歌研究);EPFL(瑞士联邦理工学院);University of Southern California(南加州大学)
本文研究了数据混合中有限内更新步骤数对收敛的影响,证明了贪心方法在简单二次示例中可能失效,并推导了最优步骤数与参数更新预算的关系。
2026-02-23 cs.LG math.OC stat.ML
L1-Regularized Functional Support Vector Machine
针对函数型数据分析中多元函数型协变量二分类的研究空白,提出$L_1$正则化函数型支持向量机及拟合算法,通过$L_1$惩罚识别相关协变量,在预测与特征选择上表现良好。
2025-08-08 cs.LG stat.CO stat.ML
Statistical Depth Meets Machine Learning: Kernel Mean Embeddings and Depth in Functional Data Analysis
统计深度是衡量一个点与参考概率测度相比有多具有代表性的行为。该深度允许将排名和排序引入到多变量或函数空间中的数据。虽然广泛应用,并取得了很大的实验成功,很少有理论进展,分析功能深度。本文重点介绍如何将函数数据的常见$h$深度和相关统计深度视为核均值嵌入,这是一种广泛用于统计机器学习的技术。这种连接有助于回答有关功能深度的统计特性的开放问题,以及它提供了一个深度和经验的特征函数为基础的程序功能数据之间的联系。
2021-05-26 math.ST stat.ML stat.TH