Provably Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function
Université Grenoble Alpes, LJK, CNRS, Grenoble INP(格拉诺布尔大学,LJK,CNRS,格拉诺布尔INP);Carnegie Mellon University, Machine Learning Department(卡内基梅隆大学,机器学习系);Chinese University of Hong Kong, Department of Systems Engineering and Engineering Management(香港中文大学,系统工程与工程管理系)
本文提出首个通用框架,为数据驱动环境下多维超参数调优提供泛化保证,结合实代数几何工具,改进了半代数函数类的泛化保证,并扩展至验证损失下的超参数调优,推导出更优的界。
2026-05-12 cs.LG stat.ML
A phase transition for finding needles in nonlinear haystacks with LASSO artificial neural networks
Shandong University(山东大学);University of Geneva(日内瓦大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
为了拟合稀疏线性关联,具有单个超参数的LASSO稀疏诱导惩罚可证明地允许在某些制度中以高概率恢复重要特征(针),即使样本量小于输入向量(干草堆)的维度。最近,被称为人工神经网络(ANN)的学习器在许多机器学习任务中取得了巨大成功,特别是拟合非线性关联。小学习率、随机梯度下降算法和大训练集有助于应对深度神经网络中参数数量的爆炸。然而,很少有人工神经网络学习器被开发和研究,以在非线性干草堆中找到针。由一个单一的超参数驱动,我们的ANN学习器,像稀疏的线性关联,表现出一个相变的概率检索针,我们没有观察到与其他ANN学习器。为了选择我们的惩罚参数,我们推广了Donoho和Johnstone(1994)的通用阈值,这是一个比保守(太多的错误检测)和昂贵的交叉验证更好的规则。基于模拟退火的思想,我们提出了一种热启动稀疏诱导算法来解决高维、非凸、不可微的优化问题。我们进行精确的蒙特卡罗模拟,以显示我们的方法的有效性。
2022-01-21 cs.LG stat.ML
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence(IDSIA 达莱·莫勒人工智能研究所);USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题,提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法,并引入防过拟合策略,数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Dual Feature Reduction for the Sparse-group Lasso and its Adaptive Variant
Department of Mathematics, Imperial College London, London, UK(帝国理工学院伦敦校区数学系)
本文提出双重特征约简(DFR)方法,利用对偶范数和次微分构建两层强筛选规则,在优化前缩减稀疏组 lasso 及其自适应变体的输入空间,在不影响解最优性的前提下大幅降低计算成本。
2025-09-17 cs.LG stat.ML
Adaptive Lasso, Transfer Lasso, and Beyond: An Asymptotic Perspective
Toshiba Corporation(东芝公司);The Institute of Statistical Mathematics(统计数学研究所)
本文探究Adaptive Lasso与Transfer Lasso的理论性质差异,分析二者使用初始估计量的不同方式带来的优劣,提出融合二者优势的新方法,并通过模拟实验验证理论与比较方法性能。
2024-04-17 cs.LG math.ST stat.ME
On the use of cross-validation for the calibration of the adaptive lasso
自适应套索是指一类使用加权版本的$L_1$范数惩罚的方法,其中权重从待估计的参数向量的初始估计导出。无论选择的方法来计算这个初始估计,自适应套索的性能严格依赖于一个超参数的值,它控制的幅度的加权$L_1$ -范数的惩罚标准。至于其他机器学习方法,交叉验证对于自适应套索的校准非常流行,这是为了选择该超参数的数据驱动的最佳值。然而,最简单的交叉验证方案在这种情况下是无效的,必须采用更精细的方案来保证最佳校准。简单的交叉验证方案的差异已被很好地记录在其他上下文中,但较少,当涉及到自适应套索的校准,因此,许多统计分析师仍然忽略it. In这项工作中,我们回顾适当的交叉验证方案的自适应套索的校准,并说明了简单的方案的差异,使用合成和现实世界的例子。我们的结果清楚地表明,对于自适应套索的几个版本(包括流行的一步套索),在支持恢复和预测误差方面,简单方案是次优的。
2021-07-15 stat.ME
Support recovery and sup-norm convergence rates for sparse pivotal estimation
Université Paris-Saclay(巴黎萨克雷大学);IMAG(IMAG研究所);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Univ. Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心)
在高维稀疏回归中,关键估计量是最优正则化参数与噪声水平无关的估计量。典型的关键估计量是平方根Lasso,与其衍生物一起制定为“非光滑+非光滑”优化问题。解决这些问题的现代技术包括平滑计算项,以受益于快速有效的近似算法。在这项工作中,我们证明了非平滑和平滑,单任务和多任务平方根拉索型估计的极大极小超范数收敛速度。由于我们的理论分析,我们提供了一些关于如何设置平滑超参数的指导方针,并在合成数据上说明了这些指导方针的意义。
2020-09-03 cs.LG math.OC stat.ML
A Hierarchical Variational Graph Fused Lasso for Recovering Relative Rates in Spatial Compositional Data
提出分层变分图融合Lasso方法,利用稀疏性恢复空间成分数据中分子的相对速率,优于现有方法并提升后验覆盖。
2025-09-25 cs.LG stat.ME stat.ML
Weighted SPICE: A Unifying Approach for Hyperparameter-Free Sparse Estimation
在本文中,我们提出了稀疏参数估计的SPICE方法的框架,它与其他超参数的方法,即LIKES,SLIM和IAA统一。具体而言,我们将展示如何后者的方法可以被解释为自适应重新加权SPICE方法的变体。此外,我们建立了SPICE和l1-惩罚LAD估计以及平方根LASSO方法之间的联系。我们评估上述四种方法在一个通用的稀疏回归问题和阵列处理应用程序。
2014-06-30 math.ST stat.TH
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Université de Bourgogne(勃艮第大学);Institut Mathématique de Bourgogne(勃艮第数学研究所);Università degli Studi di Genova(热那亚大学);Google Research(谷歌研究院);CNRS(法国国家科学研究中心);Université de Montpellier(蒙彼利埃大学)
寻找模型的最优超参数可以被视为一个双层优化问题,通常使用零阶技术来解决。在这项工作中,我们研究的一阶方法时,内部优化问题是凸的,但不光滑。我们表明,前向模式分化的近端梯度下降和近端坐标下降产生序列的雅可比收敛到确切的雅可比。使用隐式微分,我们证明了利用内部问题的非光滑性来加速计算是可能的。最后,我们提供了一个边界上的误差时,内部优化问题近似解决的超梯度。回归和分类问题的结果揭示了超参数优化的计算优势,特别是当需要多个超参数时。
2022-08-08 cs.LG math.OC stat.ML
A MOM-based ensemble method for robustness, subsampling and hyperparameter tuning
超参数调整和模型选择是机器学习中的重要步骤。不幸的是,经典的超参数校准和模型选择程序是敏感的离群值和重尾数据。在这项工作中,我们构建了一个选择过程,可以被看作是一个强大的替代交叉验证,是基于平均值的原则。使用这个过程,我们还建立了一个集成方法,该方法使用算法和损坏的重尾数据进行训练,选择一个算法,使用一个大的未损坏的子样本进行训练,并自动调整其超参数。该构造依赖于分而治之的方法,使得该方法在给定损坏的数据库的情况下可以轻松地扩展为autoML。该方法是用LASSO测试的,已知LASSO对离群值高度敏感。
2019-05-21 math.ST stat.TH
LassoBench: A High-Dimensional Hyperparameter Optimization Benchmark Suite for Lasso
Lund University(隆德大学);Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Université de Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心);Institut Universitaire de France (IUF)(法国大学研究院);Stanford University(斯坦福大学)
虽然加权Lasso稀疏回归具有吸引人的统计保证,这将在金融,基因组学和脑成像应用中产生重大的现实影响,但由于其由数千个超参数组成的复杂高维空间,它通常很少被采用。另一方面,黑盒函数的高维超参数优化(HD-HPO)方法的最新进展表明,高维应用程序确实可以有效地优化。尽管取得了初步的成功,HD-HPO方法主要应用于中等数量的维度的综合问题,这限制了其在科学和工程应用中的影响。我们提出了LassoBench,这是第一个为加权Lasso回归量身定制的基准套件。LassoBench由控制良好的合成设置(样本数量,噪声水平,环境和有效维度以及多个维度)和真实世界数据集的基准测试组成,这使得可以使用多种风格的HPO算法进行研究并扩展到高维Lasso设置。我们评估了6种最先进的HPO方法和3种Lasso基线,并证明贝叶斯优化和进化策略可以改善稀疏回归常用的方法,同时突出了这些框架在非常高维和噪声环境中的局限性。
2022-06-10 cs.LG
Optimizing Millions of Hyperparameters by Implicit Differentiation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们提出了一个廉价的基于梯度的超参数优化算法,结合了隐函数定理(IFT)与高效的逆Hessian近似。我们目前的IFT和区分通过优化,激励我们的算法之间的关系的结果。我们使用所提出的方法来训练具有数百万权重和数百万超参数的现代网络架构。例如,我们学习一个数据增强网络-其中每个权重都是针对验证性能调整的超参数-输出增强的训练样本。使用我们的方法联合调整权重和超参数,在内存和计算方面的成本仅是标准训练的几倍。
2019-11-06 cs.LG stat.ML
Multi-omics network reconstruction with collaborative graphical lasso
Wageningen University and Research(瓦赫宁根大学与研究)
本文提出协同图拉索方法,通过整合多组学数据提升网络推断能力,并引入XStARS进行超参数调节,验证了其在生物相互作用识别中的有效性。
2026-01-27 q-bio.MN stat.ME
The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models
LG AI Research(LG人工智能研究院);Stanford Universtiy(斯坦福大学)
本研究将两层ReLU神经网络训练转化为凸的组Lasso稀疏恢复问题,证明其可多项式求解,并刻画非凸目标的驻点,实验表明凸模型优于非凸方法且对超参数不敏感。
2023-12-19 cs.AI cs.LG math.OC
Scalable One-Pass Optimisation of High-Dimensional Weight-Update Hyperparameters by Implicit Differentiation
University of Cambridge(剑桥大学);Alan Turing Institute(艾伦·图灵研究所)
机器学习训练方法复杂而复杂地依赖于超参数,从而激励自动化策略对其进行优化。许多现有的算法重新开始训练每个新的超参数选择,在相当大的计算成本。存在一些基于超梯度的一次通过方法,但这些方法要么不能应用于任意优化的超参数(如学习率和动量),要么需要比基本模型长几倍的训练时间。我们扩展了这些现有的方法,开发了一个近似的基于超梯度的超参数优化器,该优化器适用于出现在可微模型权重更新中的任何连续超参数,但只需要一个训练集,无需重新启动。我们还提供了一个激励的论点收敛到真正的超梯度,并执行易于处理的基于梯度的优化独立的学习率为每个模型参数。我们的方法在几个UCI数据集和Fashion-MNIST(使用单层MLP),Penn Treebank(使用LSTM)和CIFAR-10(使用ResNet-18)上的各种随机超参数初始化中具有竞争力,在时间上仅比vanilla训练大2- 3倍。
2022-04-21 cs.LG stat.ML
Sharp Trade-Offs in High-Dimensional Inference via 2-Level SLOPE
本文研究了仅含三个超参数的2-level SLOPE,证明其在保留SLOPE优势的同时降低了计算复杂度,并实现了对真阳性比例与假发现比例间权衡的尖锐理论刻画,是高维数据分析中稳健且可扩展的替代方案。
2025-07-12 stat.ME stat.ML
Sparsistent Model Discovery
Center for Research and Interdisciplinarity (CRI)(跨学科研究中心(CRI));Université de Paris, INSERM U1284(巴黎大学,法国国家健康与医学研究院U1284研究所);F-75006 Paris, France(法国巴黎75006)
从非常有限的和高噪声的观测数据中发现时空数据集下的偏微分方程是许多科学领域的首要兴趣。然而,它仍然是一个悬而未决的问题,知道模型发现算法的基础上稀疏回归实际上可以恢复底层的物理过程。在这项工作中,我们证明了用于通过稀疏回归来推断方程的设计矩阵可以违反Lasso的不可表示性条件(IRC),即使是从分析PDE解(即没有额外的噪声)导出的。因此,需要稀疏回归技术,可以在违反IRC条件下恢复真实的基础模型,从而引入随机自适应Lasso。我们发现,一旦后者被集成到深度学习模型发现框架DeepMod中,就可以恢复各种非线性和混沌规范PDE:(1)比最先进的算法高出$\mathcal{O}(2)$的噪声与样本比,(2)使用一组超参数,这为真正自动化的模型发现铺平了道路。
2021-10-05 cs.LG physics.comp-ph stat.ML
Accelerated Gradient Methods for Sparse Statistical Learning with Nonconvex Penalties
本文提出一种基于复杂度上限的超参数设置方法,将非凸AG算法应用于高维稀疏学习,并建立收敛速度和最优阻尼序列界限,显著提升了收敛速度和信号恢复性能。
2022-11-28 math.OC stat.CO stat.ML
Muddling Labels for Regularization, a novel approach to generalization
Ecole Polytechnique(巴黎综合理工学院);University PSL Dauphine(巴黎文理研究大学多芬分校);Uptilab
泛化是机器学习的核心问题。事实上,大多数预测方法都需要仔细校准超参数,通常是在保留的\textit{validation}数据集上进行的,以实现泛化。本文的主要目标是引入一种新的方法来实现泛化,而无需任何数据分裂,这是基于一个新的风险度量,直接量化模型的过拟合趋势。为了充分理解这种新方法的直观性和优点,我们在简单线性回归模型($Y=Xβ+ξ$)中说明了它,在该模型中我们开发了一个新的标准。我们强调如何这个标准是一个很好的代理真正的泛化风险。接下来,我们推导出同时处理多个结构的不同过程(相关性,稀疏性,.)。值得注意的是,这些程序\textbf{concomitantly}训练模型并校准超参数。此外,这些程序可以通过经典的梯度下降法时,该标准是可微的w.r.t.超参数我们的数值实验表明,我们的程序在计算上是可行的,并在推广方面优于流行的方法(岭,LASSO和弹性网络结合网格搜索交叉验证)。它们在另外两项任务上的表现也优于基线:$β$的估计和支持恢复。此外,我们的程序不需要任何专业知识来校准初始参数,这些参数对于我们实验的所有数据集都是相同的。
2021-02-17 cs.AI cs.LG stat.ML
Provably tuning the ElasticNet across instances
Carnegie Mellon University(卡内基梅隆大学)
本文针对 Ridge、LASSO 和 ElasticNet 在多实例间的正则化参数调节问题,通过刻画损失函数的逐段有理结构,首次在无需强数据分布假设下给出了统计和在线学习设置中的泛化与遗憾保证。
2024-01-15 cs.LG stat.ML
On the Effectiveness of Classical Regression Methods for Optimal Switching Problems
Uppsala University(乌普萨拉大学)
本文研究了经典回归方法在高维最优切换问题中的有效性,发现简单方法在不同问题特征下表现稳定,优于测试的神经网络。k-NN回归在超参数调优少的情况下表现优异,PCA可使其扩展至高维。
2026-08-17 math.OC math.ST stat.TH
Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions
University of Tübingen(蒂宾根大学);Saarland University(萨尔大学)
针对光滑与部分光滑函数之和的参数化优化问题,研究正反向分裂定点迭代的自动微分,提出FPAD以降低反向模式内存开销并加快收敛,且在Lasso、Group Lasso和图像去噪中验证。
2024-10-24 cs.LG math.OC
DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
众所周知,深度神经网络的性能对其超参数的设置很敏感。反向模式自动微分的最新进展允许用梯度优化超参数。计算这些梯度的标准方法涉及向前和向后的计算过程。然而,反向传递通常需要消耗无法承受的内存来存储所有中间变量,以准确地逆转正向训练过程。在这项工作中,我们提出了一种简单但有效的方法DrMAD,将向前传递的知识提取到一个捷径路径中,通过它我们近似地逆转了训练轨迹。在几个图像基准数据集上的实验表明,与最先进的优化超参数的方法相比,DrMAD至少快45倍,占用的内存少100倍,同时对其有效性的影响最小。据我们所知,DrMAD是第一次尝试自动调整深度神经网络的数千个超参数的研究。代码可以从https://github.com/bigaidream-projects/drmad下载
2016-04-06 cs.LG cs.NE
Inconsistency of cross-validation for structure learning in Gaussian graphical models
University of Chicago(芝加哥大学)
本文指出交叉验证在高斯图模型结构学习中存在固有局限性,通过有限样本界限证明其不一致性,并经模拟实验对比其他信息准则,强调超参数精确校准的重要性。
2023-12-28 cs.LG math.ST stat.ME
LLM Sparsity Prior for Robust Feature Selection
Department of Statistics, Rice University(统计学系,里士满大学);Department of Computer Science, Rice University(计算机科学系,里士满大学)
提出 LLM 稀疏先验 (LSP) 方法,通过将 LLM 生成的权重整合到 Spike-and-Slab 模型的先验包含概率中,并利用层次超先验动态调整权重影响,实现鲁棒的高维特征选择,在急性肾损伤数据集上提升了预测准确性和临床相关特征识别。
2026-05-21 cs.LG stat.ME stat.ML
Global Adaptive Generative Adjustment
Northeast Normal University(东北师范大学);Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences(中国科学院长春光学精密机械与物理研究所)
许多传统的信号恢复方法可以很好地表现基于惩罚似然。然而,他们不得不遇到的困难,在选择超参数或调整参数的处罚。在这篇文章中,我们提出了一个全球自适应生成调整(GAGA)算法的信号恢复,其中多个超参数自动学习和交替更新的信号。我们进一步证明了我们算法的输出直接保证了模型选择和信号估计的一致性。此外,我们还提出了一种改进的GAGA算法,以提高高维数据分析的计算效率。最后,在模拟实验中,我们考虑我们的算法的输出的一致性,并比较我们的算法与其他惩罚似然方法:自适应LASSO,SCAD和MCP。仿真结果证明了该算法的有效性,并证明了该算法优于其他算法。
2022-11-16 cs.LG eess.SP stat.ML
Gradient-based Hyperparameter Optimization Over Long Horizons
University of Edinburgh(爱丁堡大学)
基于一致性的超参数优化在Few-Shot元学习的上下文中获得了广泛的普及,但由于内存缩放和梯度退化问题,对于具有长视野(许多梯度步骤)的任务仍然是广泛不切实际的。一个常见的解决方法是在线学习超参数,但这会引入贪婪,从而导致性能显著下降。我们提出了前向模式差分与共享(FDS),一个简单而有效的算法,解决内存扩展问题与前向模式差分,和梯度退化问题,通过共享超参数,在时间上是连续的。我们提供了理论保证我们的算法的降噪性能,并证明其效率的经验,通过$\sim 10^4$梯度步骤展开优化区分。我们考虑在CIFAR-10上大的超参数搜索范围,在那里我们显著优于基于贪婪梯度的替代方案,同时与最先进的黑盒方法相比,实现了$\times 20$加速。代码可在:\url{https://github.com/polo5/FDS}
2021-09-30 cs.CV cs.LG stat.ML
A sufficient condition on monotonic increase of the number of nonzero entry in the optimizer of L1 norm penalized least-square problem
Tulane University(杜兰大学);Nancy University(南锡大学);Institut de Recherche en Communication et Cybernetique de Nantes(南特通信与控制研究所)
本文针对L1范数惩罚最小二乘问题(LASSO),提出了一个充分条件,在该条件下当超参数减小时优化器中非零条目数单调递增,并将结果推广到全变分情形。
2011-04-19 cs.LG cs.NA math.NA
Theta-regularized Kriging: Modelling and Algorithms
organization= School of Mathematics;Statistics , addressline= Wuhan University , city= Wuhan , postcode= 430072 , country= China;organization= Hubei Key Laboratory of Computational Science , addressline= Wuhan University , city= Wuhan , postcode= 430072 , country= China
本文提出Theta正则化Kriging模型,通过惩罚高斯随机过程的超参数theta提升模型精度与预测稳定性,采用最大似然法推导优化问题并设计实现细节,测试结果表明其优于其他正则化Kriging模型。
2026-04-16 cs.NA math.NA stat.AP
Nonsmooth Implicit Differentiation for Machine Learning and Optimization
Univ. Toulouse(图卢兹大学);IRIT, CNRS(法国国家科学研究中心信息与自动化研究所)
针对训练日益复杂的学习结构,我们用运算微积分建立了一个非光滑隐函数定理。我们的结果适用于大多数实际问题(即,可定义的问题),只要满足经典可逆性条件的非光滑形式。这种方法允许正式的次微分:例如,在通常的微分公式中,用克拉克雅可比矩阵取代导数对于广泛的一类非光滑问题是完全合理的。此外,该演算与算法微分(例如,反向传播)。我们提供了几个应用程序,例如训练深度平衡网络,训练具有圆锥优化层的神经网络,或非光滑Lasso型模型的超参数调整。为了显示我们的假设的尖锐性,我们提出了数值实验,展示了在没有任何假设的情况下应用隐式算法微分时可能遇到的极端病态梯度动力学。
2022-04-05 cs.AI cs.LG math.OC
A fast algorithm for solving the lasso problem exactly without homotopy using differential inclusions
Department of Mathematics, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校数学系);Division of Applied Mathematics, Brown University(布朗大学应用数学系)
本文基于微分包含选择原理将对偶 lasso 转化为可积投影动力系统轨迹计算,提出可达机器精度、快速且支持正则化路径的精确求解算法。
2025-10-19 cs.LG math.FA math.OC
Nonsmooth Implicit Differentiation: Deterministic and Stochastic Convergence Rates
Istituto Italiano di Tecnologia(意大利技术研究院);UCL(伦敦大学学院);Sapienza University of Rome(罗马大学)
研究参数化不可微压缩映射不动点导数的高效计算,分析了ITD和AID方法在确定性下的线性收敛速率,并提出新随机方法NSID,在随机环境下达到了与光滑场景最优相当的收敛速率。
2024-06-04 cs.LG math.OC stat.ML
Bilevel Optimization: Convergence Analysis and Enhanced Design
The Ohio State University(俄亥俄州立大学)
双层优化已经成为许多机器学习问题的强大工具,如元学习,超参数优化和强化学习。本文研究了非凸-强凸双层优化问题。对于确定性双层优化问题,我们分别给出了基于近似隐式微分(AID)和迭代微分(ITD)的两种常用算法的收敛速度分析.对于基于AID的方法,我们orderwisely改善以前的收敛速度分析,由于更实际的参数选择以及一个热启动策略,并为基于ITD的方法,我们建立了第一个理论收敛速度。我们的分析还提供了ITD和AID为基础的方法之间的定量比较。对于随机双层优化,我们提出了一种新的算法,名为stocBiO,它具有一个样本有效的超梯度估计,使用高效的雅可比和海森向量积计算。我们提供了收敛速度的保证stocBiO,并表明stocBiO优于最好的已知的计算复杂性度orderwise相对于条件数$κ$和目标精度$ε$。通过元学习和超参数优化的实验,进一步验证了本文的理论结果和双层优化算法的有效性。
2021-08-27 cs.LG math.OC stat.ML
AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation
Panasonic AI Lab(松下人工智能实验室);AIoli Labs(AIoli实验室);Panasonic Technology Division(松下技术部门)
AutoAugment引发了人们对深度学习模型自动增强方法的兴趣。这些方法估计用于训练数据的图像变换策略,其改进了对测试数据的泛化。虽然最近的论文朝着降低策略搜索复杂性的方向发展,但我们发现这些方法在应用于有偏见和有噪声的数据时并不鲁棒。为了克服这些局限性,我们将AutoAugment重新定义为广义自动数据集优化(AutoDO)任务,该任务最大限度地减少了测试数据和扭曲的训练数据集之间的分布偏移。在我们的AutoDO模型中,我们显式地估计一组每点超参数,以灵活地改变训练数据的分布。特别是,我们包括用于增强,损失权重和软标签的超参数,这些超参数使用隐式微分联合估计。我们开发了一个理论概率解释这个框架,使用Fisher信息,并表明其复杂性与数据集大小呈线性关系。我们在SVHN、CIFAR-10/100和ImageNet分类上的实验显示,与之前的方法相比,带有标签噪声的有偏数据集的性能提高了9.3%,重要的是,对于代表性不足的SVHN类,性能提高了36.6%。
2021-03-11 cs.AI cs.CV cs.LG
Nystrom Method for Accurate and Scalable Implicit Differentiation
RIKEN(理化学研究所);Kyoto University(京都大学)
基于梯度的隐微分双层优化算法的难点在于估计关于神经网络参数的逆Hessian向量积。本文提出了解决这个问题的Nystrom方法和伍德伯里矩阵恒等式,利用低秩的海森。与共轭梯度法和Neumann级数逼近法等迭代逼近方法相比,该方法避免了数值不稳定性,无需迭代即可进行矩阵运算。因此,该方法在各种任务中工作稳定,并且比迭代近似更快。在整个实验中,包括大规模的超参数优化和元学习,我们证明了Nystrom方法始终实现可比的,甚至优于其他方法的性能。源代码可从https://github.com/moskomule/hypergrad获得。
2023-02-20 cs.LG
Scalable Meta-Learning via Mixed-Mode Differentiation
Google DeepMind(谷歌DeepMind)
针对基于梯度的双层元学习中高阶与混合导数计算开销大、自动微分库难以利用问题结构的问题,本文提出 MixFlow-MG 算法,通过混合模式微分构建高效可扩展计算图,实现超过10倍内存节省和最高25%加速。
2025-06-09 cs.AI cs.LG stat.ML
Online Hyperparameter Meta-Learning with Hypergradient Distillation
KAIST(韩国科学技术院);AITRICS(艾特里克斯);Lunit(鲁尼特);University of Edinburgh(爱丁堡大学);Samsung AI Centre Cambridge(三星剑桥人工智能中心)
许多基于梯度的元学习方法假设一组不参与内部优化的参数,这些参数可以被认为是超参数。尽管可以使用现有的基于梯度的超参数优化(HO)方法来优化这样的超参数,但是它们存在以下问题。展开微分方法不能很好地扩展到高维超参数或时域长度,基于隐函数定理(IFT)的方法对在线优化有限制,并且短时域近似遭受短时域偏差。在这项工作中,我们提出了一种新的HO方法,可以克服这些限制,通过近似的二阶项与知识蒸馏。具体而言,我们为每个HO步骤参数化单个雅可比向量积(JVP),并最小化与真实二阶项的距离。我们的方法允许在线优化,也是可扩展的超参数尺寸和地平线长度。我们在两种不同的元学习方法和三个基准数据集上证明了我们的方法的有效性。
2022-02-12 cs.LG
Fast and Accurate Graph Learning for Huge Data via Minipatch Ensembles
Rice University(莱斯大学);University of Minnesota(明尼苏达大学)
针对海量高斯图模型选择的计算、调参与准确性挑战,提出MPGraph小补丁集成估计量,实现并行高效学习、稳定性超参数调优与选择一致性,并在实验中优于BigQUIC等方法。
2023-01-02 cs.LG stat.ML
A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning
Samsung AI Center(三星人工智能中心);University of Edinburgh(爱丁堡大学)
针对深度学习中的可微元学习与双层优化问题,提出将其转化为随机优化并采用SGLD MCMC采样计算超梯度的方法,无需存储巨大雅可比矩阵即可扩展至大型模型,提升了鲁棒性与可靠性。
2024-10-14 cs.LG stat.ML
Bilevel Optimization of Topology and Hyperparameters (BOTH)
Delft University of Technology(代尔夫特理工大学);Brown University(布朗大学)
本文提出BOTH方法,通过自动微分对拓扑优化过程本身求超梯度,实现超参数与主优化同步调整,可扩展到数千超参数,开销仅相当于几次标准TO运行,并在应力约束和柔度问题上验证有效性。
2026-09-21 cs.LG
On the Convergence of Single-Loop Stochastic Bilevel Optimization with Approximate Implicit Differentiation
Xi’an Jiaotong University(西安交通大学);Fudan University(复旦大学);SGIT AI Lab(SGIT人工智能实验室)
本文提出单环随机近似隐式微分算法,证明其在O(κ⁷ ε⁻²)复杂度下达到ε-静态点,兼顾多环方法的最优收敛速度与单环的高效计算。
2026-08-25 cs.LG
Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians
University of Toronto(多伦多大学);Vector Institute(向量研究所)
神经网络的超参数优化问题可以很好地表述为一个双层优化问题。虽然对神经网络的双层优化的研究一直由隐式微分和展开主导,但是诸如自调整网络(STNs)的超网络最近由于其摊销内部目标的优化的能力而获得了牵引力。在本文中,我们诊断了STNs训练中的几个微妙的病理。基于这些观察结果,我们提出了$Δ$,一种改进的超网络架构,它比STNs更有效地稳定训练和优化超参数。关键思想是专注于准确地近似最佳响应雅可比矩阵,而不是完整的最佳响应函数;我们通过重新参数化超网络并围绕当前参数线性化网络来实现这一点。我们的经验表明,我们的$Δ$ -正则化超参数(例如,权重衰减,辍学,剪切孔的数量)可以调整更高的精度,更快的收敛速度,并提高稳定性相比,现有的方法。
2020-10-26 cs.LG stat.ML
Betty: An Automatic Differentiation Library for Multilevel Optimization
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);UCSD(加州大学圣地亚哥分校);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
基于约束的多级优化(MLO)作为研究众多问题的框架而受到关注,从超参数优化和元学习到神经结构搜索和强化学习。然而,MLO中的梯度是通过链式法则组成最佳响应雅可比矩阵而获得的,众所周知,它很难实现,并且是内存/计算密集型的。我们通过引入Betty(一个用于大规模MLO的软件库),迈出了缩小这一差距的第一步。在其核心,我们为MLO设计了一个新的Bronlow图,它允许我们(1)为MLO开发有效的自动微分,将计算复杂性从O(d^3)降低到O(d^2),(2)结合系统支持,如混合精度和数据并行训练的可扩展性,以及(3)便于实现任意复杂度的MLO程序,同时允许用于不同算法和系统设计选择的模块化接口。我们的经验表明,贝蒂可以用来实现一系列的MLO程序,同时也观察到高达11%的测试精度增加,14%的GPU内存使用量减少,和20%的训练壁时间减少比现有的实现多个基准。我们还展示了Betty能够将MLO扩展到具有数亿参数的模型。我们在https://github.com/leopard-ai/betty上开源代码。
2023-03-15 cs.AI cs.LG math.OC
cIDIR: Conditioned Implicit Neural Representation for Regularized Deformable Image Registration
Department of Biomedical Engineering, University of Basel, Switzerland(生物医学工程系,巴塞尔大学,瑞士)
本文提出基于隐式神经表示的条件可变形图像配准框架cIDIR,通过在正则化超参数先验分布上训练并以分割掩码为观测优化超参数,避免重复训练,并在DIR-LAB数据集上验证了其高精度与鲁棒性。
2025-07-17 cs.CV cs.LG
BOME! Bilevel Optimization Made Easy: A Simple First-Order Approach
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
双层优化(BO)可用于解决各种重要的机器学习问题,包括但不限于超参数优化、元学习、持续学习和强化学习。传统的BO方法需要通过隐式微分的低级优化过程进行微分,这需要与Hessian矩阵相关的昂贵计算。最近一直在寻求BO的一阶方法,但迄今为止提出的方法对于大规模深度学习应用来说往往是复杂和不切实际的。在这项工作中,我们提出了一个简单的一阶BO算法,该算法仅依赖于一阶梯度信息,不需要隐式微分,对于深度学习中的大规模非凸函数是实用和高效的。我们提供了非渐近收敛分析所提出的方法的非凸目标的稳定点,并提出了实证结果,显示其优越的实际性能。
2022-09-19 cs.AI cs.LG math.OC
On Computing the Hyperparameter of Extreme Learning Machines: Algorithm and Application to Computational PDEs, and Comparison with Classical and High-Order Finite Elements
Purdue University(普渡大学)
我们考虑使用极端学习机(ELM)计算偏微分方程(PDE)。在ELM中,神经网络中的隐藏层系数被分配给在$[-R_m,R_m]$上生成的随机值并被固定,其中$R_m$是用户提供的常数,并且输出层系数通过线性或非线性最小二乘计算来训练。提出了一种基于差分进化算法的计算$R_m$最优值的方法。所提出的方法使我们能够照亮的两种类型的ELM配置的最佳$R_m$的特性:(i)单Rm-ELM,其中一个单一的$R_m$用于生成的随机系数在所有的隐藏层,和(ii)多Rm-ELM,其中多个$R_m$常数涉及每个用于生成不同的隐藏层的随机系数。我们采用了最佳的$R_m$从这种方法,并结合其他改进的ELM实现。特别是,在这里,我们计算所有的微分算子涉及的输出字段的最后一个隐藏层的前向模式的自动微分,而不是反向模式的自动微分在以前的工作。这些改进显著减少了网络训练时间,提高了ELM性能。我们系统地比较了当前改进的ELM的计算性能与有限元方法(FEM),无论是经典的二阶有限元和高阶有限元与拉格朗日元素的次数更高,解决了一些线性和非线性偏微分方程。结果表明,改进的ELM远优于经典有限元法。对于较小的问题规模,其计算性能与高阶有限元相当,对于较大的问题规模,ELM明显优于高阶有限元。
2021-10-27 cs.LG cs.NA math.NA
Analyzing Inexact Hypergradients for Bilevel Learning
University of Bath(巴斯大学);University of Sydney(悉尼大学)
本文提出统一框架计算超梯度,推广隐函数定理与自动微分方法,并推导误差界,数值表明超梯度算法选择对双层优化至关重要。
2023-11-15 cs.LG math.OC
Universal Majorization-Minimization Algorithms
Google(谷歌公司)
针对传统MM算法需手工推导majorizer、适用场景有限的问题,提出基于泰勒模式自动微分推广技术的通用MM优化器,可自动推导majorizer,适用于任意问题且无需超参数调优、任意起始点均可收敛。
2023-07-31 cs.LG math.OC stat.CO
Bilevel Optimization for Machine Learning: Algorithm Design and Convergence Analysis
The Ohio State University(俄亥俄州立大学)
双层优化已经成为各种机器学习应用中的强大框架,包括元学习、超参数优化和网络架构搜索。机器学习通常有两类双层优化公式:1)基于问题的双层优化,其内层问题被公式化为找到给定损失函数的最小值;以及2)基于算法的双层优化,其内层解是固定算法的输出。对于第一类,已经提出了两种流行类型的基于梯度的算法通过近似隐式微分(AID)和迭代微分(ITD)的超梯度估计。第二类算法包括流行的模型不可知元学习(MAML)和几乎没有内部循环(ANIL)。然而,二层优化算法的收敛速度和基本局限性还没有得到很好的探讨。本文对上述两类双层算法的收敛速度进行了全面的分析。我们进一步提出了原则性的算法设计的双层优化具有更高的效率和可扩展性。对于基于问题的配方,我们提供了一个收敛速度分析AID和ITD为基础的双层算法。然后,我们开发的加速双层算法,我们提供的成形器收敛分析与放松的假设。我们还提供了第一个下界的双层优化,并建立在一定的条件下,通过提供匹配的上界的最优性。最后,我们提出了新的随机双层优化算法,具有较低的复杂性和较高的效率,在实践中。对于基于算法的配方,我们开发了一般的多步MAML和ANIL的理论收敛性,并表征参数选择和损失几何形状对它们的复杂性的影响。
2021-07-31 cs.LG math.OC stat.ML
Distribution-dependent Generalization Bounds for Tuning Linear Regression Across Tasks
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系);Toyota Technological Institute at Chicago(芝加哥丰田技术学院);Northwestern University(西北大学)
本文研究了跨多个相关任务调节线性回归正则化超参数的方法,提出了分布依赖的泛化误差界,改进了传统方法在高维数据下的表现。
2026-04-07 cs.LG stat.ML
Accelerating Multi-Block Constrained Optimization Through Learning to Optimize
University of Maryland(马里兰大学)
针对多块ADMM不保证收敛及MPALM对惩罚参数敏感的问题,提出基于监督学习的L2O方法自适应选择超参数,在Lasso和最优传输问题上优于现有替代方案,适用于一般线性约束复合优化。
2024-09-25 cs.LG math.OC
Penalty Method for Inversion-Free Deep Bilevel Optimization
Tulane University(杜兰大学)
解决双层优化问题是几个机器学习问题的核心,例如超参数调整,数据去噪,Meta和少样本学习以及训练数据中毒。与同时优化或多目标优化不同,在双层问题中,最小化上层成本的最速下降方向需要下层成本的Hessian的逆。在这项工作中,我们提出了一个新的算法来解决双层优化问题的基础上经典的惩罚函数方法。我们的方法避免了计算海森逆,可以很容易地处理约束二层问题。在较弱的条件下证明了该方法的收敛性,并证明了精确超梯度的渐近性。我们的方法的简单性和小的空间和时间复杂度,使我们能够有效地解决大规模的双层问题,涉及深神经网络。我们目前的结果数据去噪,少样本学习,并在大规模设置的训练数据中毒问题。我们的研究结果表明,我们的方法优于或相当于以前提出的方法的基础上自动微分和近似反演的精度,运行时间和收敛速度。
2021-10-05 cs.LG math.OC stat.ML
Exploring the Generalization Capabilities of AID-based Bi-level Optimization
Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tencent(腾讯);Tencent AI Lab(腾讯AI Lab)
针对基于AID的双层优化泛化特性不明的问题,本文通过分析其一致稳定性与收敛性,结合理论推导给出泛化能力,并经消融实验与实际任务验证,证实了方法有效性与应用潜力。
2024-11-25 cs.LG stat.ML