Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles
KAIST(韩国科学技术院);Natural Science Research Institute(自然科学研究所);Department of Mathematical Sciences(数学科学系)
研究非凸优化中无调度方法,通过李雅普诺夫分析给出最坏情况收敛速率分析,还将无调度梯度下降建模为非自治动力系统,证明其在微小扰动下可避免严格鞍点,解释了该方法性能良好的原因。
2026-07-13 cs.LG math.OC
Acceleration via Fractal Learning Rate Schedules
Google AI Princeton(谷歌AI普林斯顿);Microsoft Research(微软研究院)
在迭代一阶优化的实际应用中,学习率调度仍然是众所周知的难以理解和昂贵的调整。我们证明了这些微妙之处的存在,即使在无害的情况下,当目标是一个凸二次。我们重新解释的迭代算法从数值分析文献中,我们称之为切比雪夫学习率调度加速香草梯度下降,并表明,减轻不稳定性的问题,导致一个分形排序的步长。我们提供了一些实验来挑战关于深度学习中稳定学习率的传统信念:分形时间表使训练能够收敛于局部不稳定的更新,这使得目标取得了负面进展。
2021-06-11 cs.LG math.OC stat.ML
WSqD: A Horizon-Free Learning Rate Schedule for Large Model Training
University of Pennsylvania(宾夕法尼亚大学)
研究提出WSqD学习率调度方法,受随机凸优化启发,用移位反平方根基础取代WSD恒定稳定阶段,保留最终线性冷却,其基础学习率调度与训练轮次无关且收敛速率最优,实验显示在语言模型预训练中表现良好。
2026-07-14 cs.LG math.OC stat.ML
Extending the step-size restriction for gradient descent to avoid strict saddle points
Carnegie Mellon University(卡内基梅隆大学);Montana State University(蒙大拿州立大学)
我们提供了更大的步长限制,基于梯度下降的算法(几乎肯定)避免严格的鞍点。特别地,考虑一个二次可微(非凸)目标函数,其梯度具有Lipschitz常数L,并且其Hessian是良好的。我们证明了,初始条件的概率梯度下降的步长为2/L收敛到一个严格的鞍点,给定一个一致随机初始化,是零。这扩展了以前的结果,由凸的情况下施加的尖锐的限制。此外,参数的情况下,当给定的学习率时间表,无论是连续衰减率或分段恒定的时间表。
2019-08-05 cs.LG stat.ML
Learning Convex Optimization Models
凸优化模型通过求解凸优化问题来从输入预测输出。凸优化模型的类别很大,并且包括许多众所周知的模型,如线性和逻辑回归。我们提出了一个启发式的学习参数的凸优化模型给定的输入输出对的数据集,使用最近开发的方法区分凸优化问题的解决方案,其参数。我们描述了三个一般类的凸优化模型,最大后验概率(MAP)模型,效用最大化模型和代理模型,并提出了一个数值实验。
2020-06-18 cs.LG stat.ML
MLR-SNet: Transferable LR Schedules for Heterogeneous Tasks
Xi’an Jiaotong University(西安交通大学)
学习率(LR)是训练深度神经网络(DNN)的随机梯度下降(SGD)算法中最重要的超参数之一。然而,目前手工设计的LR时间表需要手动预先指定一个固定的形式,这限制了他们的能力,以适应实际的非凸优化问题,由于显着多样化的训练动态。同时,它总是需要从零开始搜索合适的LR调度,然而,这些LR调度通常随着任务的变化而大不相同,如数据模态、网络架构或训练数据容量。为了解决这个学习率的时间表设置问题,我们建议参数LR时间表与明确的映射公式,称为\textit{MLR-SNet}。可学习的参数化结构为MLR-SNet带来了更大的灵活性,可以学习适当的LR调度,以符合DNN的训练动态。图像和文本分类基准实验证实了我们的方法实现适当的LR时间表的能力。此外,显式的参数化结构使得元学习LR调度能够被转移和即插即用,这可以很容易地推广到新的异构任务。我们将我们的元学习MLR-SNet转移到查询任务,如不同的训练时期,网络架构,数据模态,数据集大小,与专门为查询任务设计的手动设计的LR计划相比,实现了相当甚至更好的性能。当训练数据带有噪声时,MLR-SNet的鲁棒性也得到了证实。我们进一步证明了配备LR调度的SGD算法的收敛性,该算法的收敛速度与解决该问题的最知名的算法相当。
2021-05-13 cs.LG stat.ML
Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes
Northwestern University(西北大学)
寻找有效且可证明的方法来解决非凸优化问题是机器学习和优化理论中的一个突出挑战。用于解决非凸问题的一种流行方法是使用凸松弛技术来寻找问题的凸替代。不幸的是,凸松弛通常必须在逐个问题的基础上找到。因此,提供一种通用的策略来估计凸松弛将具有广泛的影响。在这里,我们介绍凸松弛回归(CoRR),一种学习一类光滑函数凸松弛的方法。我们的方法背后的主要思想是通过在一组$T$随机点处评估$f$,然后将凸函数拟合到这些函数评估来估计函数$f$的凸包络。我们证明了在概率大于$1-δ$的情况下,对于某些$α> 0$,算法的解收敛到$f$的全局最优解,且误差为$\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$.我们的方法使使用凸优化工具来解决一类非凸优化问题。
2016-03-03 cs.LG stat.ML
Adaptive Sharpness-Aware Minimization with a Polyak-type Step size: A Theory-Grounded Scheduler
Mathematical Institute for Data Science (MINDS), Johns Hopkins University, Baltimore, MD, USA(数据科学数学研究所(MINDS),约翰霍普金斯大学,巴尔的摩,MD,美国);Department of Computer Science, Johns Hopkins University, Baltimore, MD, USA(计算机科学系,约翰霍普金斯大学,巴尔的摩,MD,美国);Department of Applied Mathematics and Statistics, Johns Hopkins University, Baltimore, MD, USA(应用数学与统计学系,约翰霍普金斯大学,巴尔的摩,MD,美国)
针对锐度感知最小化(SAM)对学习率敏感的问题,受随机Polyak步长启发,提出适用于SAM的Polyak调度器,在确定性和随机设置下实现自适应算法,并证明收敛性,实验表明性能优于或媲美调优的SAM基线。
2026-06-01 cs.LG math.OC stat.ML
Gradient Descent with Provably Tuned Learning-rate Schedules
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本研究提出了一种可证明调优学习率调度的方法,适用于非凸和非光滑函数,改进了梯度下降算法的样本复杂度界。
2025-12-04 cs.LG
An Automatic Learning Rate Schedule Algorithm for Achieving Faster Convergence and Steeper Descent
Adobe Research(奥多比研究院);Sun Yat-sen University(中山大学)
提出RDBD算法,改进delta-bar-delta以解决小批量优化中的收敛问题,可与任意优化器集成,显著提升收敛速度。
2023-10-17 cs.LG
PI is back! Switching Acquisition Functions in Bayesian Optimization
Leibniz University Hannover(汉诺威莱布尼茨大学);Sorbonne Université(索邦大学);TU München(慕尼黑工业大学);University of Camerino(卡梅里诺大学)
贝叶斯优化(BO)是一种强大的,样本效率高的技术,用于优化评估成本高的函数。每个BO组件,如代理模型、采集功能(AF)或初始设计,都有广泛的设计选择。为给定的优化任务选择正确的组件是一项具有挑战性的任务,这可能对所获得的结果的质量产生重大影响。在这项工作中,我们开始分析哪些AF有利于哪些优化方案。为此,我们使用预期改进(EI)和改进概率(PI)作为COCO环境的24个BBOB函数的采集函数对SMAC 3进行基准测试。我们比较他们的结果与AF之间切换的时间表。一种调度的目标是在早期优化步骤中使用EI的探索行为,然后在最后步骤中切换到PI以获得更好的利用。我们还比较了随机时间表和循环选择EI和PI。我们观察到,动态调度往往优于任何单一的静态。我们的研究结果表明,分配前25%的优化预算EI和PI的最后75%的时间表是一个可靠的默认值。然而,我们也观察到24个函数的相当大的性能差异,这表明每个实例的分配,可能是动态学习的,可以提供比最先进的BO设计显着的改进。
2022-11-02 cs.LG
The Exact Time-Uniform Rate Frontier for Stochastic Gradient Descent on Smooth Convex Objectives
Fudan University(复旦大学);Shanghai Center for Mathematical Sciences(上海数学科学中心)
本研究证明标准SGD在光滑凸目标上的时间一致收敛速率可任意接近但达不到$\sqrt{\log n/n}$,并给出精确的充要条件刻画可达速率边界。
2026-09-09 cs.LG math.OC stat.ML
AutoLRS: Automatic Learning-Rate Schedule by Bayesian Optimization on the Fly
University of Washington(华盛顿大学);ByteDance Inc.(字节跳动公司);KAUST(阿卜杜拉国王科技大学)
学习率(LR)调度是训练DNN时需要仔细调整的最重要的超参数之一。然而,它也是机器学习系统中自动化程度最低的部分之一,通常需要大量的人工努力和计算。虽然有预定义的LR调度和具有自适应LR的优化器,但它们引入了新的超参数,需要针对不同的任务/数据集单独进行调整。在本文中,我们考虑的问题:我们可以自动调整LR在培训过程中没有人的参与?我们提出了一种有效的方法,AutoLRS,自动优化LR为每个训练阶段的建模训练动态。AutoLRS旨在找到应用于每个$τ$步骤的LR,以最大限度地减少验证损失。我们通过贝叶斯优化(BO)来解决这个黑盒优化。然而,为BO收集训练实例需要系统针对$τ$步骤评估由BO的获取功能查询的每个LR,这在实践中是非常昂贵的。相反,我们只对$τ'\llτ$步骤应用每个候选LR,并训练指数模型来预测$τ$步骤后的验证损失。BO和损失预测模型之间的这种相互训练过程允许我们限制BO搜索中投入的训练步骤。我们通过使用不同的优化器为不同领域的任务训练DNN的广泛实验,展示了AutoLRS的优势和通用性。与原始论文中的LR调度相比,AutoLRS自动生成的LR调度分别在训练ResNet-50、Transformer和BERT时导致$1.22\times$、$1.43\times$和$1.5\times$的加速,并且与最先进的高度调优的LR调度相比,平均加速为$1.31\times$。
2021-05-22 cs.AI cs.LG
Cyclical Log Annealing as a Learning Rate Scheduler
University of Virginia(弗吉尼亚大学)
本文提出循环对数退火学习率调度器,通过随机梯度下降中的激进步长重启支持在线凸优化,并在 CIFAR-10 与大型 transformer 增强残差网络上取得接近余弦退火的表现。
2024-03-13 cs.AI cs.LG
On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIG(格勒诺布尔信息学实验室);Criteo AI Lab(Criteo人工智能实验室);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文分析了随机梯度下降(SGD)的轨迹,以帮助理解算法的收敛性在非凸问题。我们首先证明,在非常广泛的步长调度范围内,SGD生成的迭代序列保持有界,并以概率$1$收敛。随后,超越现有的正概率保证,我们表明,SGD避免严格的鞍点/流形的概率$1$为整个频谱的步长政策考虑。最后,我们证明了该算法的收敛速率Hurwicz极小是$\mathcal{O}(1/n^{p})$,如果该方法采用$Θ(1/n^p)$步长时间表。这为调整算法的步长提供了一个重要的指导方针,因为它表明具有消失步长的冷却阶段可能会导致更快的收敛;我们在CIFAR上使用ResNet架构演示了这种启发式。
2020-06-19 cs.LG math.OC math.PR
Curvature-Weighted Gradient Diversity: A Noise Measure for Geometry-Adaptive SGD Schedules
Indian Institute of Technology Kharagpur (IIT KGP)(印度理工学院卡格浦分校(IIT KGP))
提出曲率加权梯度多样性(CWGD),一种几何感知的噪声度量,通过Hessian逆平方根加权梯度多样性,并证明CWGD调制的余弦学习率调度可将渐近优化误差降低至标准余弦退火的一半。
2026-06-29 cs.LG math.OC stat.ML
First-order Methods for Geodesically Convex Optimization
Massachusetts Institute of Technology(麻省理工学院)
测地凸性将(向量空间)凸性的概念推广到非线性度量空间。但与凸优化不同的是,测地线凸(g-凸)优化的发展要少得多。本文通过对Hadamard流形上的几个一阶算法的迭代复杂性分析,为理解g-凸优化做出了贡献。具体来说,我们证明了确定性和随机(子)梯度法优化光滑和非光滑g-凸函数,有和没有强g-凸的全局复杂性的上界。我们的分析还揭示了流形几何,特别是\emph{sectional curvature},如何影响收敛速度。据我们所知,我们的工作是第一个提供全局复杂性分析的一般g-凸优化的一阶算法。
2016-02-19 cs.LG math.OC stat.ML
Lower Bounds for Higher-Order Convex Optimization
Princeton University(普林斯顿大学)
凸优化和非凸优化中的现有技术方法隐式地或显式地使用高阶导数信息。我们探讨了高阶优化的局限性,并证明了即使是凸优化,多项式依赖的近似保证和高阶光滑参数是必要的。作为特例,我们证明Nesterov的加速立方正则化方法是近紧的。
2017-10-27 cs.LG math.OC stat.ML
Learning Rate Annealing Can Provably Help Generalization, Even for Convex Problems
Harvard University(哈佛大学)
在现代神经网络中,学习率调度会显著影响泛化性能,但其原因尚不清楚。Li-Wei-Ma(2019)最近证明了这种行为可以存在于简化的非凸神经网络设置中。在本文中,我们证明了这种现象甚至可以存在于凸学习问题中-特别是二维线性回归。我们给出了一个玩具凸问题,其中学习率退火(大的初始学习率,然后是小的学习率)可以导致梯度下降到最小值,并且可以证明比使用小的学习率更好的推广。在我们的情况下,这是由于测试和训练损失景观之间的不匹配以及提前停止的组合而发生的。
2020-05-15 cs.LG cs.NE stat.ML
Group-Sparse Signal Denoising: Non-Convex Regularization, Convex Optimization
Polytechnic Institute of New York University(纽约大学理工学院)
具有稀疏促进凸正则化的凸优化是用于估计噪声中的稀疏信号的标准方法。为了比凸正则化更强地促进稀疏性,采用非凸优化也是标准实践。在本文中,我们采用第三种方法。我们利用一个非凸的正则化项,这样总成本函数(包括数据一致性和正则化项)是凸的。因此,稀疏性比标准凸公式更强有力地促进,但不会牺牲凸优化的吸引人的方面(唯一的最小值,鲁棒算法等)。我们使用这个想法,以改善最近开发的“重叠组收缩”(OGS)算法的去噪组稀疏信号。该算法应用于语音增强问题,在信噪比和感知质量方面都取得了良好的效果。
2013-11-30 cs.CV cs.LG stat.ML
Open Problem: The Oracle Complexity of Convex Optimization with Limited Memory
我们注意到,已知的方法实现最佳的甲骨文复杂性的一阶凸优化需要二次内存,并询问这是否是必要的,更广泛地寻求表征的最小最大数量的一阶查询优化凸Lipschitz函数的内存约束。
2019-07-01 cs.LG math.OC stat.ML
Optimize Your Sampling: Tuned Diffusion Sampling with Bayesian Optimization
Cornell University(康奈尔大学)
本研究提出OYS方法,将扩散模型采样的时间步长选择作为黑盒优化问题,用贝叶斯优化直接优化目标指标,可提升多类图像生成任务性能,大幅降低推理成本且无需额外训练。
2026-08-19 cs.CV cs.LG
Regret Bound by Variation for Online Convex Optimization
Michigan State University(密歇根州立大学);NEC Laboratories America(NEC美国实验室)
在citep{Hazan-2008-extract}中,作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中,我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后,我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后,我们考虑了强盗设置,并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明,当成本函数的变化与试验次数无关时,在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
An optimal algorithm for bandit convex optimization
Princeton University(普林斯顿大学)
我们考虑的问题,在线凸优化对任意对手与强盗反馈,被称为强盗凸优化。我们给出了第一个$\tilde{O}(\sqrt{T})$ -遗憾算法的基础上设置的一个新的应用程序的椭球方法在线学习。已知该界限紧到对数因子。我们的分析介绍了新的工具,在离散凸几何。
2016-03-15 cs.DS cs.LG
Convex Optimization on Functionals of Probability Densities
在信息论中,一些优化问题可以归结为概率密度的严格凸泛函上的凸优化问题。本文研究了这类问题,给出了极小元存在的条件和极小元的唯一性。
2020-03-14 cs.IT cs.LG math.IT
Distributed Optimization of Convex Sum of Non-Convex Functions
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种分布式求解方法来优化由多个非凸函数组成的凸函数。每个非凸函数都被一个代理私有地存储,而代理与邻居通信以形成一个网络。我们证明了[1]中提出的耦合一致性和投影梯度下降算法在附加梯度Lipschitz性假设下可以优化非凸函数的凸和。我们进一步讨论了这种分析在分布式优化中提高隐私性的应用。
2016-08-18 cs.DC cs.LG math.OC
Accelerated Algorithms for Convex and Non-Convex Optimization on Manifolds
University of Notre Dame(圣母大学);University of Rochester(罗切斯特大学);University of Hong Kong(香港大学);Duke University(杜克大学)
我们提出了一个通用的计划,解决凸和非凸流形上的优化问题。其中心思想是,通过增加一个倍数的平方收缩距离的目标函数的问题,我们“凸”的目标函数,并解决了一系列的凸子问题的优化过程。流形上优化的关键挑战之一是难以验证目标函数的复杂性,例如,目标函数是凸的还是非凸的,以及非凸的程度。我们所提出的算法适应目标函数的复杂程度。我们表明,当目标函数是凸的,该算法可证明收敛到最优,并导致加速收敛。当目标函数为非凸时,算法将收敛到一个稳定点。我们提出的方法统一的见解Nesterov的原始想法,加速梯度下降算法的最新发展,在欧几里德空间的优化算法。我们展示了我们的算法在几个流形优化任务上的实用性,例如估计球体上的内在和外在Fréchet均值以及应用于Netflix评级数据集的Grassmann流形的低秩矩阵分解。
2020-10-18 cs.LG math.OC stat.CO
Geodesic Convex Optimization: Differentiation on Manifolds, Geodesics, and Convexity
EPFL(洛桑联邦理工学院)
凸优化是一个充满活力和成功的领域,由于存在各种有效的算法,利用凸性提供的丰富结构。欧几里得空间中的光滑集或函数的凸性由它如何与该空间中的标准微分结构相互作用来定义--凸函数的Hessian必须处处是半正定的。然而,近年来,人们越来越需要了解非凸性,并开发计算方法来优化非凸函数。有趣的是,有一种非凸性,一旦引入适当的可微结构并重新定义关于直线的凸性,或关于该结构的{ \em测地线},这种非凸性就会消失。这种凸性被称为{ \em测地凸性}。由于最近将一些非凸问题重新表述为测地凸集上的测地凸优化问题,人们对研究它产生了兴趣。流形上的测地线在数学和物理学的各个分支中都有广泛的研究。然而,与凸优化不同,从计算的角度理解测地线和测地线凸性在很大程度上仍然是一个谜。这一论述的目的是介绍测地线凸优化的第一部分-测地线凸性-在一个独立的方式。我们首先介绍微分几何和黎曼几何中的各种概念,如流形上的微分、测地线,然后介绍测地凸性。我们的结论表明,某些非凸优化问题,如计算Brascamp-Lieb常数和运营商缩放问题具有测地线凸配方。
2018-06-17 cs.DS cs.LG math.DG
AutoLoss: Learning Discrete Schedules for Alternate Optimization
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum公司)
许多机器学习问题涉及相对于不同的参数集迭代地和交替地优化不同的任务目标。适当地调度任务目标或一组参数的优化通常对收敛的质量至关重要。在本文中,我们提出了AutoLoss,一个自动学习和确定优化时间表的元学习框架。AutoLoss提供了一种通用的方法来表示和学习元数据中的离散优化计划,允许在ML问题中进行动态和数据驱动的计划,这些问题涉及不同参数或不同损失目标的交替更新。我们将AutoLoss应用于四个ML任务:d元二次回归,使用多层感知器(MLP)进行分类,使用GANs进行图像生成,以及多任务神经机器翻译(NMT)。我们表明,AutoLoss控制器能够捕获更好的优化时间表的分布,从而在所有四个任务上实现更高的收敛质量。经过训练的AutoLoss控制器是可推广的-它可以指导和改进具有不同规格或不同数据集的新任务模型的学习。
2018-10-04 cs.LG stat.ML
Learning Rate Schedules in the Presence of Distribution Shift
Google Research(谷歌研究院);University of Southern California(南加利福尼亚大学)
针对分布偏移下的 SGD 在线学习,本文利用随机微分方程刻画线性回归最优学习率,并为凸与非凸损失提出遗憾界匹配或上界最小化的鲁棒调度。
2023-08-20 cs.LG math.OC stat.ML
Learning an Adaptive Learning Rate Schedule
Google Research(谷歌研究院)
学习率是模型训练和泛化的重要参数之一。然而,目前手工设计的参数学习率调度提供有限的灵活性和预定义的时间表可能不匹配的高维和非凸优化问题的训练动态。在本文中,我们提出了一个基于强化学习的框架,可以通过利用过去的训练历史信息自动学习自适应学习率调度。学习率基于当前训练动态而动态地改变。为了验证这一框架,我们进行了不同的神经网络架构的Fashion MINIST和CIFAR 10数据集上的实验。实验结果表明,自学习学习率控制器能取得较好的测试效果。此外,经过训练的控制器网络是可推广的-能够在一个数据集上进行训练并转移到新的问题。
2019-09-20 cs.LG stat.ML
Data-Driven Optimization of Public Transit Schedule
Vanderbilt University(范德堡大学)
公共汽车运输系统是美国公共交通的支柱。这种基础设施的服务质量的一个重要指标是各站的准时性,公布的公交时刻表在管理服务的成功程度方面发挥着不可或缺的作用。然而,有相对较少的优化架构,利用随机搜索,重点是优化公交车时刻表的目标是最大限度地提高公交车到达的时间点与期望的时间范围内的延迟的概率。除此之外,还缺乏大量的研究,考虑每月和季节性变化的延误模式与这种优化策略相结合。为了解决这些问题,本文对公交准点性能优化研究的语料库做出了以下贡献:(a)提出了一种无监督的聚类机制,该机制将具有相似季节延迟模式的月份分组,(b)将该问题公式化为单目标优化任务和贪心算法,采用遗传算法(GA)和粒子群优化算法(PSO)进行求解,(c)详细讨论了比较算法的实证结果,并对超算法的参数与执行时间一起给出,这将有助于从业者查看类似的问题。所进行的分析是深刻的,在当地的背景下,改善公共交通调度在纳什维尔大都市地区,以及从全球的角度来看,作为一个详细的案例研究,建立在不断增长的语料库的实证研究,使用自然启发的方法来优化公交调度信息。
2019-11-30 cs.LG cs.NE stat.ML
Anytime Training with Schedule-Free Spectral Optimization
Global Technology Applied Research(全球技术应用研究)
提出SF-NorMuon无调度谱优化器,通过单一超参数配置在语言模型上匹配或超越调优的AdamW,实现任意时间高质量检查点获取。
2026-09-29 cs.AI cs.LG math.OC
Schedule optimization for tau-leaping in masked discrete diffusion
Bocconi University(博科尼大学)
本文分析掩码离散扩散模型中tau-leaping采样器的因子分解误差,通过依赖密度刻画调度优化问题,证明在非退化情形下调度仅改善常数项,在退化情形下可改善渐近阶。
2026-10-07 cs.LG math.ST stat.ML
Optimization as a Dynamical System: Generative Schedules from Latent ODEs
Princeton University(普林斯顿大学)
该研究提出一种基于潜在常微分方程的元学习调度器,可生成梯度下降的最优学习率调度,在图像分类、下一个token预测任务上优于基准,能提升模型泛化能力且计算高效。
2026-08-10 cs.LG
The Two Regimes of Deep Network Training
MIT(麻省理工学院)
学习率调度对深度学习模型的性能有重要影响。尽管如此,时间表的选择往往是不确定的。我们的目标是发展一个精确的理解不同的学习率调度和适当的方式来选择它们的影响。为此,我们隔离了两个不同的训练阶段,第一个阶段,我们称之为“大步”制度,从优化的角度来看,表现出相当差的性能,但却是模型泛化的主要贡献者;后者,“小步”制度表现出更多的“凸状”优化行为,但孤立使用会产生泛化能力较差的模型。我们发现,通过分别对待这些机制,并使我们的训练算法专门针对其中的每一个,我们可以大大简化学习率调度。
2020-02-24 cs.LG stat.ML
Value Function Based Performance Optimization of Deep Learning Workloads
Facebook AI Research(Facebook人工智能研究院);Facebook(脸书)
随着机器学习技术变得无处不在,神经网络实现的效率相应地变得至关重要。Halide和TVM等框架将网络的算法表示与确定其实现的时间表分开。然而,找到一个好的时间表仍然是非常具有挑战性的。我们将此调度问题建模为一系列优化选择,并提出了一种新的技术来准确地预测部分时间表的预期性能。通过利用这些预测,我们可以做出这些优化决策,并迅速确定一个有效的时间表。这使我们能够找到将深度神经网络的吞吐量提高到Halide的2.6倍和TVM的1.5倍的调度。此外,我们的技术比这些工具快两到三个数量级,并且在几秒钟而不是几小时内完成。
2020-11-30 cs.AI cs.LG
Variational Trajectory Optimization of Anisotropic Diffusion Schedules
Department of Electrical and Computer Engineering(电气与计算机工程系);Duke University(杜克大学)
本文提出了一种基于变分轨迹优化的非各向同性扩散模型,通过矩阵值路径优化噪声计划,提升扩散模型的性能。
2026-11-17 cs.CV cs.LG
Information-Theoretic Classifier-Free Guidance with Adaptive Schedule Optimization
University of California, Santa Barbara(加州大学圣塔芭芭拉分校);University of Rochester(罗彻斯特大学)
针对扩散模型中分类器自由引导(CFG)导致的多样性-覆盖权衡问题,提出基于信息论的CFG调度优化框架,通过清洁端点参考优化实际分布,在ImageNet-512和COCO上实现竞争性权衡。
2026-06-24 cs.LG
Hierarchical Schedule Optimization for Fast and Robust Diffusion Model Sampling
School of Computer Science and Engineering, Macau University of Science and Technology(澳门科学技术大学计算机科学与工程学院);Beijing Institute of Technology(北京理工大学);Zhejiang University(浙江大学)
本文提出了一种分层调度优化方法,通过改进的双层优化框架,在极低的函数评估次数下实现高效的扩散模型采样,显著提升了样本质量和计算效率。
2026-05-19 cs.CV cs.LG
From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime
Radboud University(拉德堡德大学);EURECOM(欧洲电信系统研究所);Tilburg University(蒂尔堡大学);Sony AI(索尼人工智能公司);University of Cambridge(剑桥大学);Sony Group Corporation(索尼集团公司)
研究扩散模型训练时噪声水平分配问题,开发通用统计框架,在不同 regime 下得出最优分配结论,并通过实验验证,平方根熵调度能提升离散域训练效率且在连续图像上有竞争力。
2026-07-24 cs.AI cs.LG
Towards joint scaling laws with optimal batch size schedules
Meta
该研究从凸优化视角推导了适用于通用优化器和模型架构的损失联合表征,得到闭式最优批量大小调度与联合缩放律,其性能优于固定批量大小基线,凸显动态批量大小调度在大语言模型训练中的重要性。
2026-07-31 cs.AI cs.LG math.OC
When Does Scale-Invariant Optimization Become Unstable? An Exact Schedule Law with Weight Decay
Purdue University(普渡大学)
本研究揭示了归一化网络中学习率调度与权重衰减通过参数范数相互作用的精确离散时间定律,该定律由单一标量控制,并预测了不稳定性边界,为尺度不变优化提供了统一解释和精确控制方法。
2026-09-09 cs.LG
The Road Less Scheduled
Meta;Google Research(谷歌研究院);Samsung AI Center(三星人工智能中心);Princeton University(普林斯顿大学);Boston University(波士顿大学)
针对无停止步数T的学习率调度器性能不佳的问题,研究提出Schedule-Free无调度方法,无需设置停止时间且无额外超参数,在多类问题上性能达最优,其核心算法助力团队拿下MLCommons 2024 AlgoPerf自调优赛道冠军。
2024-10-29 cs.AI cs.LG math.OC
Stochastic algorithms with geometric step decay converge linearly on sharp functions
Cornell University(康奈尔大学);Microsoft Research(微软研究院)
随机(子)梯度法需要步长调度调整,以在实践中表现良好。经典的调整策略衰减的步长多项式,并导致最佳次线性率(强)凸问题。在非凸优化中流行的另一种调度称为\emph{geometric step decay},它通过每隔几个时期将步长减半来进行。在最近的工作中,几何阶跃衰减被证明是指数改善后,经典的次线性率类的\emph{sharp}凸函数。在这项工作中,我们问几何步衰减是否同样提高了随机算法的一类尖锐的非凸问题。这种损失在现代统计恢复问题中很常见,并导致了一个新的挑战:收敛区域是局部的,因此必须限制逃逸概率。我们的主要结果表明,对于一类随机的,尖锐的,非光滑的,和非凸问题的几何步骤衰减时间表赋予著名的算法与局部线性收敛速率的全局极小。这种保证适用于随机投影次梯度、邻近点和非线性算法。作为我们的主要结果的应用,我们分析了两个统计恢复任务-相位恢复和盲反卷积-并匹配高斯测量模型下的最佳已知保证,并在重尾分布下建立新的保证。
2019-07-22 cs.LG math.OC stat.ML
Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training
Cornell University(康奈尔大学);Boson AI, Inc(玻色人工智能公司);Amazon Web Services(亚马逊云服务)
提出调度语言Slapo,将PyTorch模型执行与定义解耦,通过高级原语渐进式优化训练,提升吞吐量达2.92倍(单机)和1.41倍(多机)。
2023-12-23 cs.LG
CuAsmRL: Optimizing GPU SASS Schedules via Deep Reinforcement Learning
University of Cambridge(剑桥大学)
针对专用CUDA内核仍有性能提升空间的问题,提出CuAsmRL方法,通过构建汇编游戏训练强化学习智能体优化GPU SASS调度,可透明提升现有内核性能最高26%、平均9%,还能揭示潜在优化操作。
2025-01-14 cs.AR cs.LG
End-to-End Optimization and Learning of Fair Court Schedules
University of Virginia(弗吉尼亚大学);Syracuse University(雪城大学);Washington University in St. Louis(圣路易斯华盛顿大学)
本文针对刑事法院排期中被告偏好被忽视的问题,提出一种端到端联合优化与学习框架,结合机器学习模型与高效匹配算法,在数据不确定条件下生成公平的法院排期方案。
2024-10-22 cs.AI cs.CY cs.LG
Optimizing Static and Adaptive Probing Schedules for Rapid Event Detection
Brown University(布朗大学)
我们制定和研究一个基本的搜索和检测问题,调度优化,各种现实世界的应用程序,从监控内容的变化在网络上,社交网络,和用户活动检测故障的大型系统与许多个人机器的动机。我们考虑一个由许多节点组成的大型系统,其中每个节点都有自己的新事件或项目生成率。监控应用程序可以在每一步探测少量的节点,我们的目标是计算一个探测时间表,最大限度地减少系统中未发现的项目的预期数量,或者等价地,最大限度地减少发现系统中新项目的预期时间。我们研究了确定性和随机无记忆算法的调度优化问题。我们提供了一个最优的时间表和构建接近最优的时间表,严格的数学保证的成本下限。最后,我们提出了一个自适应算法,开始没有先验信息的系统和收敛到最佳的无记忆算法,通过适应观测数据。
2015-09-10 cs.DS cs.LG
On the adequacy of untuned warmup for adaptive optimization
Booth School of Business, University of Chicago(芝加哥大学布斯商学院);U.S. Patent and Trademark Office, Department of Commerce(美国商务部专利商标局);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Facebook AI Research(Facebook人工智能研究院)
Adam等自适应优化算法广泛应用于深度学习。这种算法的稳定性通常通过针对学习率的预热时间表来改进。出于选择和调整预热时间表的困难,最近的工作提出了亚当的自适应学习率的自动方差校正,声称这种纠正的方法(“RAadam”)超越了香草亚当算法,并减少了昂贵的调整亚当预热的需要。在这项工作中,我们反驳了这种分析,并提供了一个替代的解释热身的必要性的基础上的更新项,这是更大的相关性训练稳定性的幅度。然后,我们提供了一些“经验法则”的热身时间表,我们证明了简单的未调好的热身亚当执行或多或少相同的RAAdam在典型的实际设置。最后,我们建议从业者坚持使用Adam进行线性热身,合理的默认值是在$2 / (1 - β_2)$训练迭代中进行线性热身。
2021-03-20 cs.LG cs.NE stat.ML
Analysis of Schedule-Free Nonconvex Optimization
Department of Electrical and Computer Engineering(电气与计算机工程系);Princeton University(普林斯顿大学)
本文提出鲁棒Lyapunov框架,在仅假设平滑性和下有界性下将Schedule-Free(SF)方法分析简化为单步下降不等式,为非凸优化推导出时间跨度无关的收敛界,并通过PEP实验验证了速率。
2025-08-08 cs.AI cs.LG
Optimization Hyper-parameter Laws for Large Language Models
Department of Mathematics, National University of Singapore, Singapore(新加坡国立大学数学系);School of Computing, National University of Singapore(新加坡国立大学计算机学院);Department of Mathematics and Institute of Operations Research and Analytics, National University of Singapore, Singapore(新加坡国立大学数学系和运筹分析研究所);Skywork AI, Beijing(北京Skywork AI)
本文提出Opt-Laws框架,通过分析SDE收敛和逃逸特性,预测最终训练损失,从而在小规模实验中预选学习率调度方案,提高了超参数选择的准确性。
2026-05-20 cs.LG math.OC
Stepsize anything: A unified learning rate schedule for budgeted-iteration training
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University(人工智能通用基础研究国家重点实验室,智能科学与技术学院,北京大学);ByteDance Seed(字节跳动种子);Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学);Pazhou Laboratory (Huangpu), Guangzhou, Guangdong, China(琶洲实验室(黄埔),广州,广东,中国)
本文提出了一种理论基础的学习率调度方案UBA,通过统一的预算感知框架,优化不同网络和任务下的训练效率,提升了在预算限制下的学习性能。
2025-12-08 cs.LG
When Is Availability-Aware Training Worth It? A Benchmark and Empirical Study of Interruption-Resilient Optimization Under Predictable Compute Schedules
RotaStellar
本研究通过基准OrbitTrace和强基线对比,发现当优化器状态可保留时,可用性间隙几乎无代价,专门的中断弹性优化仅在特定大模型频繁短中断场景下略有帮助。
2026-09-22 cs.DC cs.LG eess.SP