Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；School of Artificial Intelligence（人工智能学院）；University of Washington（华盛顿大学）
本文通过折扣到动态的还原方法，改进了FTRL相关问题的动态后悔界，并应用于曲面损失和Adam优化器，获得了非凸非光滑设置下的最优收敛速率。
2026-09-30 cs.LG math.OC
Beyond Single-Model Views for Deep Learning: Optimization versus Generalizability of Stochastic Optimization Algorithms
George Mason University（乔治梅森大学）
本文提出基于多条优化轨迹估计平稳分布的统计基准方法，系统比较 SGD、平坦极小值优化器及新型 Basin Hopping 算法，揭示优化与泛化关系，并以半数梯度评估达到与 SAM 相当的性能。
2024-03-01 cs.LG
Will Bilevel Optimizers Benefit from Loops
University of Michigan（密歇根大学）；George Mason University（乔治梅森大学）；The Ohio State University（俄亥俄州立大学）
双层优化已经成为解决各种机器学习问题的有力工具。两个当前流行的双层优化器AID-BiO和ITD-BiO自然涉及解决一个或两个子问题，因此，我们是否使用循环（需要多次迭代）或不使用循环（只需要几次迭代）来解决这些问题可以显着影响整体计算效率。文献中现有的研究只涵盖了其中的一些实现选择，并且可用的复杂性界限还不够精细，无法在不同的实现之间进行严格的比较。在本文中，我们首先建立了统一的收敛性分析AID-BiO和ITD-BiO适用于所有的实现选择的循环。然后，我们专门我们的结果来表征所有实现的计算复杂性，这使得它们之间的显式比较。我们的结果表明，对于AID-BiO，用于估计内部函数的最优点的循环有利于整体效率，尽管它会导致每个更新步骤的复杂度更高，并且用于近似外层Hessian逆向量积的循环降低了梯度复杂度。对于ITD-BiO，这两个循环总是共存的，我们的收敛上界和下界表明，这样的循环是必要的，以保证消失的收敛误差，而无循环计划遭受不可避免的非零收敛误差。我们的数值实验进一步证实了我们的理论结果。
2022-06-01 cs.LG math.OC stat.ML
Universal Majorization-Minimization Algorithms
Google（谷歌公司）
针对传统MM算法需手工推导majorizer、适用场景有限的问题，提出基于泰勒模式自动微分推广技术的通用MM优化器，可自动推导majorizer，适用于任意问题且无需超参数调优、任意起始点均可收敛。
2023-07-31 cs.LG math.OC stat.CO
Towards an Adaptable and Generalizable Optimization Engine in Decision and Control: A Meta Reinforcement Learning Approach
Mississippi State University（密西西比州立大学）；Purdue University（普渡大学）
针对非平稳环境中 MPC 控制器更新对适应性和泛化能力的需求，提出基于元强化学习学习优化器，无需专家示范即可在未见任务中实现快速适应。
2024-01-04 cs.LG
A block coordinate descent optimizer for classification problems exploiting convexity
Sandia National Laboratories（桑迪亚国家实验室）
二阶优化器对于深度学习具有有趣的潜力，但与基于梯度的方法相比，二阶优化器具有增加的成本和对损失表面的非凸性的敏感性。我们引入了一种坐标下降方法来训练用于分类任务的深度神经网络，该方法利用线性层权重中交叉熵损失的全局凸性。我们的混合牛顿/梯度下降（NGD）的方法是一致的解释隐藏层提供一个自适应的基础和线性层提供一个最佳的适合的基础数据。通过交替使用二阶方法找到线性层的全局最优参数和梯度下降来训练隐藏层，我们确保了自适应基在整个训练过程中与数据的最佳拟合。二阶步长中Hessian的大小仅与线性层中的权重数有关，而与隐藏层的深度和宽度无关;此外，该方法适用于任意隐藏层结构。以前的工作应用这种自适应基础的角度回归问题证明了显着的改进，在降低训练成本的准确性，这项工作可以被视为这种方法的扩展分类问题。我们首先证明了所得到的Hessian矩阵是对称半定的，并且牛顿步实现了全局极小。通过研究制造的二维点云数据的分类，我们证明了使用NGD训练时，验证误差的改善和隐藏层中编码的基函数的显着质的差异。应用于密集和卷积架构的图像分类基准测试表明，训练精度有所提高，表明二阶方法可能优于梯度下降。
2020-06-17 cs.LG stat.ML
Theoretical properties of the global optimizer of two layer neural network
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们研究的问题优化的两层人工神经网络，最适合的训练数据集。我们在参数数量大于采样点数量的设置中查看这个问题。我们发现，对于广泛的一类可微的激活函数（这类涉及“几乎”所有的功能，不是分段线性），我们有一阶最优解满足全局最优性提供的隐藏层是非奇异的。我们的结果可以很容易地扩展到由方阵的平坦矩阵给出的隐藏层。结果是适用的，即使网络有一个以上的隐藏层提供的所有隐藏层满足非奇异性，所有的激活是从给定的“好”类的可微函数和优化只针对最后一个隐藏层。我们还研究了目标函数的光滑性，并表明它实际上是Lipschitz光滑的，即，其梯度不会急剧变化。我们使用光滑性质，以保证渐近收敛的O（1/迭代次数）的一阶最优解。我们还表明，我们的算法将保持非奇异性的隐藏层的任何有限数量的迭代。
2017-10-30 cs.LG
ANO : Faster is Better in Noisy Landscape
Independent Researcher（独立研究者）
本文提出优化器Ano，将动量用于方向平滑、瞬时梯度幅值决定步长，以提升噪声环境下的鲁棒性，并进一步提出Anolog消除动量系数敏感性，在强化学习等非平稳任务中表现显著优于Adam和Adan。
2025-11-10 cs.AI cs.LG
FISAR: Forward Invariant Safe Reinforcement Learning with a Deep Neural Network-Based Optimize
Massachusetts Institute of Technology（麻省理工学院）
本文研究了具有约束的强化学习，这在安全关键环境中是必不可少的。为了使约束违反单调下降，我们把约束作为李雅普诺夫函数，并施加新的线性约束的政策参数的更新动态。因此，原始安全集可以是前向不变的。然而，由于新的不确定可行约束被施加在更新动态上，而不是原始策略参数，经典的优化算法不再适用。为了解决这个问题，我们建议学习一个通用的基于深度神经网络（DNN）的优化器来优化目标，同时满足线性约束。通过投影到多个线性不等式约束的多面体上，可以用我们新设计的度量解析地解决约束满足。据我们所知，这是基于\textit{first} DNN的优化器，用于具有前向不变性保证的约束优化。我们表明，我们的优化器训练的政策，以减少约束违反和最大化的累积奖励单调。数值约束优化和避障导航的结果验证了理论研究结果。
2021-05-05 cs.AI cs.LG stat.ML
On Adaptivity in Non-stationary Stochastic Optimization With Bandit Feedback
Naveen Jindal School of Management, University of Texas at Dallas（德克萨斯大学达拉斯分校纳文·金达尔管理学院）
本文研究了带反馈和动态后悔测度的非平稳随机最优化问题。Besbes et al.（2015）的开创性工作表明，当聚合函数变化先验已知时，一个简单的重新启动算法可以获得最佳动态遗憾。在这项工作中，我们设计了一个固定步长的随机最优化算法，该算法结合Wei和Luo（2021）的多尺度采样框架，在不需要函数变化预算的先验知识的情况下实现了非平稳随机最优化中的最优动态遗憾，从而关闭了一段时间以来一直悬而未决的问题。我们还建立了一个额外的结果表明，任何算法实现良好的遗憾对固定基准具有高概率可以自动转换为算法，实现良好的遗憾对动态基准，这是适用于广泛的一类强盗凸优化算法。
2022-10-11 cs.LG stat.ML
A Definition of Non-Stationary Bandits
Stanford University（斯坦福大学）；Stanford Graduate School of Business（斯坦福大学商学院）
针对现有非平稳老虎机定义导致的分类模糊、遗憾指标失效及过度探索问题，本文提出了一种适用于贝叶斯与频率学派表述的统一正式定义，确保了分类一致性并提供了更稳健的学习框架。
2023-07-28 cs.LG stat.ML
Training Stronger Baselines for Learning to Optimize
University of Science and Technology of China（中国科学技术大学）；MIT-IBM Watson AI Lab, IBM Research（麻省理工学院-IBM Watson人工智能实验室，IBM研究）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shanghai Jiao Tong University（上海交通大学）
学习优化（L2 O）越来越受到关注，因为经典优化器需要费力的特定问题设计和超参数调整。然而，现有的L2O模型的实际需求和可实现的性能之间存在差距。具体来说，这些学习优化器仅适用于有限的一类问题，并且通常表现出不稳定性。随着许多努力致力于设计更复杂的L2O模型，我们主张另一个正交的，未充分探索的主题：这些L2O模型的训练技术。我们证明，即使是最简单的L2O模型也可以训练得更好。我们首先提出了一个渐进的训练方案，以逐渐增加优化器展开长度，以减轻截断偏差（较短的展开）与梯度爆炸（较长的展开）的众所周知的L2O困境。我们进一步利用政策外的模仿学习来指导L2O学习，通过参考分析优化器的行为。我们改进的训练技术被插入到各种最先进的L2O模型中，并立即提高其性能，而无需对其模型结构进行任何更改。特别是，通过我们提出的技术，可以训练最早和最简单的L2O模型，使其在许多任务上优于最新的复杂L2O模型。我们的研究结果表明，L2O的更大潜力尚未释放，并敦促重新思考最近的进展。我们的代码可在https://github.com/VITA-Group/L2O-Training-Techniques上公开获取。
2020-10-18 cs.AI cs.LG
Physics of Learning: A Lagrangian perspective to different learning paradigms
Department of Computer Science, University of Cambridge（剑桥大学计算机科学系）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute（埃里希研究所）
本文从物理学最小作用量原理出发，提出学习拉格朗日量框架，从第一性原理推导出经典学习算法、贝尔曼方程和Adam优化器，揭示学习即寻找平稳路径的本质。
2025-09-25 cs.LG cs.NE
Perturbated Gradients Updating within Unit Space for Deep Learning
The University of Manchester（曼彻斯特大学）
在深度学习中，优化起着至关重要的作用。本文以图像分类为研究对象，分析了目前广泛使用的优化算法的优缺点，提出了一种新的优化算法：扰动单元梯度下降（PUGD）算法，该算法将扰动张量中的归一化梯度操作扩展到单元空间中进行更新。通过一系列的实验和分析，我们证明了PUGD是局部有界的更新，这意味着从时间到时间的更新是受控的。另一方面，PUGD可以将模型推到平坦的最小值，其中误差保持近似恒定，这不仅是因为避免梯度归一化中的静止点的性质，而且还因为单位球中的扫描锐度。通过一系列严格的实验，PUGD帮助模型在Tiny ImageNet中获得最先进的Top-1精度，并在CIFAR- {10，100}中获得有竞争力的性能。我们在链接https://github.com/hanktseng131415go/PUGD上开源我们的代码。
2022-01-24 cs.LG
Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）
本研究提出泊松SGD变体，利用随机学习率处理退化更新方向，证明其在弱假设下收敛至平稳分布，并找到非凸优化的全局最小值，同时评估泛化误差。
2025-09-06 cs.LG stat.ML
Learning Rate-Free Reinforcement Learning: A Case for Model Selection with Non-Stationary Objectives
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛学院博德研究所）
本文提出一种仅依赖奖励反馈、与具体RL算法和优化器无关的无学习率模型选择框架，可动态选择最优学习率，并通过实验证明在非平稳目标下数据驱动模型选择优于标准老虎机算法。
2024-08-07 cs.AI cs.LG
Leveraging Extragradient for Effective Sharpness-Aware Minimization in Deep Learning
SGIT AI Lab, State Grid Corporation of China（国网SGIT人工智能实验室）；School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；School of Software, Xi’an Jiaotong University（西安交通大学软件学院）
研究针对深度学习泛化难题，基于SAM提出EISAM优化器，通过两步更新过程提升泛化性能，对扰动半径敏感度降低。实验表明其在测试准确率和训练效率上优于多种优化器，理论分析证实其收紧泛化边界，还提供实用调优指导。
2026-07-08 cs.LG math.PR
Learning Non-Stationary Time-Series with Dynamic Pattern Extractions
The University of Sydney（悉尼大学）
信息爆炸时代的到来，促使了大量时间序列数据的积累，包括平稳和非平稳时间序列数据。国家的最先进的算法已经取得了不错的性能，在处理平稳的时态数据。然而，处理平稳时间序列的传统算法不适用于外汇交易等非平稳序列。本文研究了可以提高非平稳时间序列未来趋势预测精度的适用模型。特别是，我们专注于识别潜在的模型，并研究从历史数据中识别模式的影响。我们提出了一种基于RNN的\rebuttal{the} seq2seq模型的组合，以及一个注意力机制和一个通过动态时间规整和锯齿峰谷指标提取的丰富集特征。设计了自定义的损失函数和评价指标，使其更加关注预测序列的峰谷点。我们的研究结果表明，我们的模型可以在外汇数据集中以高精度预测4小时的未来趋势，这在现实场景中对辅助外汇交易决策至关重要。我们进一步提供了各种损失函数，评估指标，模型变量和组件对模型性能的影响的评估。
2021-11-20 cs.AI cs.LG
Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process
Georgia Institute of Technology（佐治亚理工学院）；The Ohio State University（俄亥俄州立大学）；University at Buffalo, The State University of New York（纽约州立大学布法罗分校）
研究了受约束的马尔可夫决策过程（CMDP）问题，其中代理人的目标是在效用/成本受到多个约束的情况下最大化期望的累积折扣报酬.提出了一种新的原始-对偶方法，该方法将熵正则化策略优化器、对偶变量正则化器和Nesterov的加速梯度下降对偶优化器这三种成分进行了新的整合，所有这些都是实现更快收敛的关键。所提出的方法的有限时间误差界的特点。尽管非凹约束的非凹目标的挑战，所提出的方法收敛到全局最优值的最优性差距和约束违反方面的$\tilde{\mathcal O}(1/ε)$的复杂性，这提高了现有的原始-对偶方法的复杂性的一个因素$\mathcal O(1/ε)$ \citep{ding2020natural,paternain2019constrained}。这是第一次证明非凹CMDP问题可以达到凸优化的$\mathcal O(1/ε)$的复杂性下界。我们的原始-对偶方法和非渐近分析对所使用的RL优化器是不可知的，因此对于实际应用更灵活。更一般地说，我们的方法也作为第一个算法，可证明加速约束非凸优化与零对偶间隙，利用几何形状，如梯度优势条件，现有的加速方法约束凸优化是不适用的。
2021-10-20 cs.LG math.OC
A Regret bound for Non-stationary Multi-Armed Bandits with Fairness Constraints
Indian Institute of Science（印度科学学院）
多武装土匪的框架是最常见的平台，研究顺序决策问题的策略。最近，公平的概念在机器学习社区引起了广泛的关注。可以施加公平条件，即在任何给定的时间点，甚至在学习阶段，表现不佳的候选人不应该优先于更好的候选人。这种公平性约束是已知的最严格的，并已在随机多武装匪徒的框架中，在一个固定的设置已经建立了遗憾的界限进行了研究。本文的主要目的是研究这个问题在一个非平稳设置。本文提出了一种新的算法--带探索的公平置信上界公平UCBe算法，用于求解慢变随机$k$ -武装强盗问题。由此我们得到了两个结果：（i）Fair-UCBe确实满足上述公平性条件，（ii）对于某些合适的$α\in (0, 1)$，它达到了$O\left(k^{\frac{3}{2}} T^{1 - \fracα{2}} \sqrt{\log T}\right)$的遗憾界，其中$T$是时间范围.这是第一个公平的算法与次线性遗憾界适用于非平稳土匪尽我们所知。我们表明，我们的算法在非平稳的情况下的性能接近其固定对应的环境中的变化趋于零。
2020-12-24 cs.AI cs.LG
A Black-box Approach for Non-stationary Multi-agent Reinforcement Learning
本文针对非平稳多智能体系统提出一种黑盒方法，利用平稳环境下的学习和测试预言机，在已知或未知非平稳程度Δ时分别实现亚线性遗憾，并能测试纳什均衡、相关均衡和粗相关均衡等多种均衡类型。
2024-05-03 cs.AI cs.GT cs.LG
RASP-Tuner: Retrieval-Augmented Soft Prompts for Context-Aware Black-Box Optimization in Non-Stationary Environments
Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）
本文提出RAPSTuner，通过检索相似历史情境来识别模式代理，利用混合专家代理预测短期损失，并在低维提示子空间中进行适应，以减少非平稳环境中黑盒优化的累积遗憾。
2026-04-20 cs.AI cs.LG
World Model for Battery Degradation Prediction Under Non-Stationary Aging
Independent Researcher（独立研究者）
本文提出一种世界模型用于非平稳老化条件下电池退化预测，通过编码原始信号并学习动态转换生成未来轨迹，结合电化学知识约束提升预测精度。
2026-03-11 cs.LG cs.SY eess.SY
Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models
Peking University（北京大学）；Singapore Management University（新加坡管理大学）；Sea AI Lab（腾讯智慧零售AI实验室）；Skywork AI（天工AI）；Nankai University（南开大学）
针对不同深度网络需多次试验选择优化器的低效问题，提出自适应Nesterov动量算法Adan，通过新动量估计方法加速收敛，理论复杂度达最优下界，实验在多任务多模型上超越SoTA且训练成本减半、小批量适应性强。
2024-11-29 cs.LG math.OC
Online Influence Maximization in Non-Stationary Social Networks
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）
社交网络已经成为信息传播的流行平台。一个重要的用例是病毒式营销：在给定推广预算的情况下，广告主可以选择一些有影响力的用户作为种子集，并向他们提供免费或折扣的样品产品;这样，广告主希望通过口碑效应增加产品在用户朋友圈中的知名度，从而最大化产品信息所能到达的用户数量。有大量文献研究了影响力最大化问题。然而，现有的研究大多是一次性的基础上调查的问题，假设固定的已知的影响力概率之间的用户，或确切的社会网络拓扑结构的知识。在实践中，社交网络拓扑和影响概率通常对于广告商是未知的，其可以随时间变化，即，在新建立、加强或削弱社会联系的情况下。在本文中，我们专注于一个动态的非平稳的社会网络和设计的随机算法，RSB，基于多臂强盗优化，最大限度地提高影响力传播随着时间的推移。该算法产生一系列在线决策，并利用先前决策的结果来校准其探索-利用策略。它被严格证明可以达到一个上界的遗憾在奖励和适用于大规模的社交网络。使用合成和真实世界的数据集，这表明我们的算法优于以前的平稳方法在非平稳条件下的实际有效性进行评估。
2016-04-26 cs.DS cs.LG cs.SI
