Adaptive Accelerated Gradient Descent Methods for Convex Optimization
University of California, Irvine（加州大学尔湾分校）
本文提出A$^2$GD方法，通过自适应步长和动量加速，在凸优化中实现更高效的梯度下降算法。
2026-02-08 math.OC
Hesitant Adaptive Search with Estimation and Quantile Adaptive Search for Global Optimization with Noise
自适应随机搜索方法已被证明是有效的全局最优化问题，其中在某些条件下，预期的性能时间仅随维数线性增加。然而，以前的分析假设目标函数可以直接观察。我们考虑的情况下，目标函数必须估计，经常使用一个嘈杂的功能，在模拟。我们提出了一个有限的时间分析算法的性能，结合估计与抽样分布。我们提出了一个框架，称为犹豫自适应搜索估计，并推导出一个上界的功能评估，是立方的尺寸，在一定的条件下。我们扩展的框架，分位数自适应搜索估计，重点从一系列嵌套的分位数水平集的采样点。分析表明，计算工作是更好地花费在采样改进点比细化估计的目标函数值在自适应搜索算法的进展。
2022-03-21 math.OC
Branching Adaptive Surrogate Search Optimization (BASSO)
针对高维黑箱函数全局优化难题，提出结合分区与代理建模的自适应随机搜索框架BASSO，并给出有限时间分析及扩展条件，实验验证了其变体性能。
2025-04-25 math.OC
Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization
本文提出了几种求解随机最优化的自适应梯度法。与AdaGrad类型的方法，我们的算法是基于Armijo型线搜索，他们同时适应未知的Lipschitz常数的梯度和方差的梯度的随机逼近。我们考虑了凸问题的加速和非加速梯度下降以及非凸问题的梯度下降。在实验中，我们证明了我们的方法的优越性，现有的自适应方法，如AdaGrad和亚当。
2020-06-12 math.OC
An adaptive regularization algorithm for unconstrained optimization with inexact function and derivatives values
提出了一种求解无约束非凸优化问题的自适应正则化算法，该算法能够处理不精确的目标函数和导数值，并能提供任意阶的近似极小值。与Cartis，Gould，Toint（2021）提出的类似算法相比，其特点是基于控制模型与目标值之间的相对误差。给出了新算法的一个精确的计算复杂度界.
2021-11-28 math.OC
An adaptive discretization method solving semi-infinite optimization problems with quadratic rate of convergence
针对半无限优化问题求解难度高的问题，结合经典自适应离散化与双层优化技术，提出一种具二次收敛速度的新方法，并证明迭代极限为驻点。
2019-10-30 math.OC
Fabrication-Adaptive Optimization, with an Application to Photonic Crystal Design
通常的情况是，由于（i）技术限制，最优化问题的计算的最优解不能直接实现，而不管数据精度如何（如机器或过程的物理公差），（ii）故意简化模型，使其易于处理（通过忽略造成计算困难的某些类型的约束），和/或（iii）人为因素（让人们“做”最优解）。出于这一观察，我们提出了一个建模范式称为“制造自适应优化”的实施/制造处理的问题。我们开发的计算为重点的理论和算法，我们提出的计算结果，将考虑到实施/制造到约束最优化问题，出现在光子晶体设计。制造自适应优化框架源于函数的鲁棒正则化。当可行域不是赋范空间（如在应用设置中通常遇到的）时，制造自适应优化框架通常产生非凸优化问题。(In特殊情况下，可行域是一个有限维赋范空间，我们表明，制造自适应优化可以作为现代鲁棒优化的一个例子。我们研究了各种问题的特殊结构的功能，可行域，和规范，计算是易于处理的，并制定了一个算法方案来解决这些问题，尽管非凸性的挑战。我们应用我们的方法来计算制造自适应设计的二维光子晶体与各种规定的功能。
2014-05-20 math.OC
Adaptive Gradient-type Methods for Convex Optimization Problems with Relative Accuracy and Sharp Minimum
本文研究了凸正齐次最优化问题的梯度型方法。研究了求解正齐次最优化问题的具有相对精度的加速泛梯度型方法的一个模拟。第二种方法与B. T.波亚克步长。对一类非光滑问题，给出了自适应步长调整的这类方法的线性收敛速率的结果。一些推广到一类特殊的非凸非光滑问题也被考虑。
2021-12-12 math.OC
Adaptive Bayesian Optimization Algorithm for Unpredictable Business Environments
针对不可预测商业环境中的动态优化问题，提出带自适应条件作用、自适应采集抖动和惩罚项鲁棒目标的贝叶斯优化框架，并在多类函数上验证其优于原始贝叶斯优化。
2024-01-20 math.OC
A Scalable Algorithm for Two-Stage Adaptive Linear Optimization
提出了一种求解两阶段自适应优化问题的列约束生成方法（CCG），该方法由\citet{Zeng2013}提出。我们发现，CCG方法是相当可扩展的，但有时，在某些应用程序中，往往会产生不可行的第一阶段的解决方案，即使问题是可行的。在这项研究中，我们扩展了CCG方法的方式，（a）保持可扩展性和（b）总是产生可行的第一阶段的决定，如果它们存在。我们将我们的方法与最近提出的几种方法进行比较，发现它更快地达到高精度，并解决了更大的问题。
2018-07-08 math.OC
Adaptive Accelerated Gradient Method for Smooth Convex Optimization
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种自适应加速梯度法，用于解决光滑凸优化问题，通过局部估计光滑性常数自适应调整步长，实现函数值的快速收敛。
2025-12-23 math.OC
Distributed Adaptive Gradient Optimization Algorithm
本文研究了单积分器和双积分器多智能体系统中具有一般可微凸目标函数的分布式最优化问题。介绍了两种分布式自适应优化算法，该算法利用相关信息构造交互作用项的增益。基于李雅普诺夫函数、系统解的分析和局部目标函数的凸性进行了分析。结果表明，对于单积分和双积分的多智能体系统，只要凸目标函数的梯度连续，则团队凸目标函数都能随时间的变化而最小化.数值例子显示所得到的理论结果。
2017-03-27 math.OC
Boosting Accelerated Proximal Gradient Method with Adaptive Sampling for Stochastic Composite Optimization
本文提出带自适应采样的 adaNAPG 算法以增强随机复合优化中的 NAPG，并证明其达到最优迭代与样本复杂度，且迭代序列满足中心极限定理。
2025-07-24 math.OC
An Adaptive Partial Linearization Method for Optimization Problems on Product Sets
我们提出了一个自适应版本的复合最优化问题的部分线性化方法。目标函数是一个光滑函数和一个非必要光滑凸可分函数之和，而可行集是相应的笛卡儿积。该方法包括在选择性组件的步骤，连同一个特殊的控制公差序列。这种技术的目的是减少每次迭代的计算费用，并保持基本的收敛性能。我们还建立了它的收敛速度，并描述了一些应用的例子。初步计算结果说明了新方法的有效性。
2016-05-25 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日（AS-PAL）方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日（AL）子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能，其次是一个完整的拉格朗日乘子更新。与其他AL方法相比，AS-PAL的主要优点是它不需要参数的知识（例如，约束矩阵的大小，目标函数曲率等）与最优化问题相关联，由于其自适应性质，不仅在选择接近步长，而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明，它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法，特别是当需要高精度。
2022-10-05 math.OC
A general framework of Riemannian adaptive optimization methods with a convergence analysis
本文提出黎曼自适应优化方法的通用框架，涵盖多种流形随机优化算法并融入小批量策略，提出欧几里得嵌入子流形上的AMSGrad，给出步长相关收敛分析，实验验证其在主成分分析和低秩矩阵补全上的有效性。
2025-02-13 math.OC
Robust and Adaptive Optimization under a Large Language Model Lens
本文研究利用ChatGPT结合专门提示自动构建、鲁棒化并求解简单鲁棒与自适应优化问题，展示其在专业小众领域通过上下文学习提升表现的潜力。
2024-12-31 math.OC
An Adaptive Framework for Robust Structural Shape Optimization under Uncertainty
Institute of Applied Mathematics, Middle East Technical University（中东理工大学应用数学研究所）；ROKETSAN（罗克坦桑）；METU（中东理工大学）
本文提出了一种自适应框架，用于求解由线弹性 governed 的稳健结构形状优化问题，通过后验误差估计器动态调整样本大小、网格分辨率和优化步长，以减少不确定性下的接触合规性。
2026-06-29 math.OC
An adaptive consensus based method for multi-objective optimization with uniform Pareto front approximation
在这项工作中，我们感兴趣的随机粒子方法的多目标最优化。该问题是制定使用参数化，单目标的子问题，同时解决。为此，提出了一种基于共识的多目标最优化方法的搜索空间结合一个额外的启发式策略，以适应在计算过程中的参数。自适应策略的目的是通过使用基于能量的措施来量化系统的多样性，均匀分布的粒子在图像空间。由此产生的元启发式算法进行了数学分析，使用平均场近似和收敛保证对最佳点的严格证明。此外，揭示和分析了自适应方法在参数空间中的梯度流结构。几个数值实验表明所提出的随机粒子动力学的有效性，并说明了理论研究结果。
2022-08-02 math.OC
Adaptive Catalyst for Smooth Convex Optimization
在本文中，我们提出了一个通用的框架，允许加速几乎任意的非加速确定性和随机算法光滑凸优化问题。我们的信封的主要方法与Catalyst中的相同（Lin et al.，2015年）：加速邻近外梯度法，它被用作$\ell_2$正则化辅助问题的非加速内梯度法的包络。我们的算法有两个关键的区别：1）容易验证的停止标准的内部算法; 2）正则化参数可以调整的方式。因此，我们的工作的主要贡献是一个新的框架，适用于自适应内部算法：最速下降，自适应坐标下降，交替最小化。此外，在非自适应的情况下，我们的方法允许在没有对数因子的情况下获得催化剂，该对数因子出现在标准催化剂中（Lin等人，2015年，2018年）。
2021-03-07 math.OC
Adaptive inexact fast augmented Lagrangian methods for constrained convex optimization
本文分析了求解线性约束凸优化问题的几种不精确快速增广拉格朗日方法。主要地，我们的方法依赖于[15]中开发的过度间隙式平滑技术和[4]中新引入的不精确Oracle框架的组合。我们分析了几个算法的实例与常数和自适应平滑参数，并得出总的计算复杂性的结果在一个简单的原始集的投影。对于基本的不精确的快速增广拉格朗日算法，我们得到的整体计算复杂性为$\mathcal{O}\left(\frac{1}{ε^{5/4}}\right)$，而对于自适应的变体，我们得到$\mathcal{O}\left(\frac{1}ε\right)$，投影到一个原始的集合，以获得一个$ε-$最优解为我们原来的问题。
2015-05-12 math.OC
Adaptive Robust Optimization Models for DER Planning in Distribution Networks under Long- and Short-Term Uncertainties
针对配电网分布式能源资源规划的长短期不确定性问题，提出ARO与ARSO两种自适应优化方法及改进Benders割平面算法，实验证明ARSO的解更接近完全信息下的最优解。
2025-03-22 math.OC
An Empirical Review of Model-based Adaptive Sampling for Global Optimization of Expensive Black-box Functions
本文综述了单目标黑箱优化（BBO）中基于模型的自适应采样方法。虽然BBO文献包括各种有前途的采样技术，但仍然缺乏对现有研究的全面调查。我们首先将BBO问题分为两类：工程设计和算法设计优化，并讨论了它们的挑战。然后，我们批判性地讨论和分析基于模型的自适应采样技术，重点是关键的采集功能。我们阐述了工程设计问题的基于方差的抽样技术的缺点。此外，我们提供了深入的见解的离散化方案的性能上的采集功能的影响。我们强调动态离散化的重要性，基于距离的探索，并介绍EEPA+，以前提出的基于帕累托的采样技术的改进型。我们的实证分析揭示了基于方差的算法设计技术和基于距离的工程设计最优化问题的方法的有效性。
2022-04-22 math.OC
An Adaptive Augmented Lagrangian Method for Deterministic and Stochastic Nonconvex Optimization
UNC–Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自适应罚参数更新与完整对偶步长的不精确增广拉格朗日算法，适用于确定性、随机函数及约束的非凸优化，经CUTEst与机器学习随机问题实验验证其优势。
2026-08-31 math.OC
Parameter-free proximal bundle methods with adaptive stepsizes for hybrid convex composite optimization problems
针对混合凸复合优化问题，提出一种无参数自适应近端束方法，通过自适应可变近端步长和严重步判定准则减少连续空步与迭代次数，并对初始步长保持稳健。
2026-11-11 math.OC
An Adaptive High Order Method for Finding Third-Order Critical Points of Nonconvex Optimization
众所周知，对于非凸优化问题，寻找一个全局最优值是非常具有挑战性的。\cite{anandkumar2016efficient, cartis2018second, cartis2020sharp, chen2019high}是一种计算高阶临界点的最优化方法，它可以排除所谓的退化鞍点，得到质量更好的解。由于\cite{anandkumar2016efficient, cartis2018second, cartis2020sharp, chen2019high}理论发展缓慢，相应的数值实验还很缺乏。在本文中，我们提出了一个可实现的高阶方法，称为自适应高阶方法（AHOM），旨在寻找三阶临界点。这是通过解决一个“的”subproblem，并将自适应策略的参数调整在算法的每次迭代。建立了该方法的迭代复杂度。一些初步的数值结果表明，AHOM是能够逃脱退化鞍点，在二阶方法可能会卡住。
2020-08-10 math.OC
Adaptive Interpolation Strategies in Derivative-Free Optimization: a case study
无导数优化（Derivative-Free Optimization，DFO）是一种在不需要目标函数梯度解析知识的情况下，设计求解最优化问题的方法。DFO方法主要有两类：基于模型的方法和直接搜索法。在基于模型的DFO方法中，仅使用目标函数值来构造目标函数的模型，并且该模型用于指导下一个目标函数的计算。这类算法中的自然问题包括应该使用多少函数求值来构建模型？而且，这个数字应该是固定的，还是由算法自适应地选择？在本文中，我们使用Hare和Lucet的无导数邻近点（DFPP）算法[Hare，Lucet，2014]作为案例研究，对这些问题进行了数值研究。结果表明，用于构建模型的函数评估的数量对算法性能有巨大的影响，自适应策略可以提高和阻碍算法性能。
2015-11-09 math.OC
A Steepest Gradient Method with Nonmonotone Adaptive Step-sizes for the Nonconvex Minimax and Multi-Objective Optimization Problems
本文提出一种采用非单调自适应步长的新的最速梯度下降法，用于求解非凸极小极大问题，并将其扩展到多目标优化，证明了在拟凸和伪凸条件下的收敛性，数值实验验证了理论结果。
2025-02-04 math.OC
Simulation Optimization of Risk Measures with Adaptive Risk Levels
优化一般损失分布的风险度量（如风险价值（VaR）和条件风险价值（CVaR））通常是困难的，因为1）损失函数可能缺乏结构属性，如凸性或可微性，因为它通常是通过随机系统的黑箱模拟生成的; 2）风险度量的评估通常需要稀有事件模拟，这是计算昂贵的。在本文中，我们研究了最近提出的基于梯度的自适应随机搜索（GASS）的风险度量VaR和CVaR的优化。而不是优化的VaR或CVaR在目标风险水平直接，我们纳入了一个自适应更新计划的风险水平，通过初始化的算法在一个小的风险水平，并自适应地增加它，直到达到目标的风险水平，而算法收敛的同时。这使得我们能够自适应地减少每次迭代估计风险度量所需的样本样本个数，从而提高算法的整体效率。
2016-08-02 math.OC
Some Analogue of Quadratic Interpolation for a Special Class of Non-Smooth Functionals and One Application to Adaptive Mirror Descent for Constrained Optimization Problems
许多著名的梯度型最优化方法的收敛速度的理论估计是基于二次插值，只要满足梯度的利普希茨条件。本文在局部Lipschitz拟凸泛函类中，利用本文所引入的非光滑条件（Lipschitz连续次梯度），得到了构造类似插值的可能性.作为应用，本文给出了自适应镜像下降法求解具有多个凸泛函约束的拟凸局部Lipschitz泛函极小化问题的收敛速率的估计.
2018-12-16 math.OC
Riemannian Adaptive Optimization Algorithm and Its Application to Natural Language Processing
本文提出了一种黎曼自适应优化算法来优化深度神经网络的参数。该算法是欧几里得空间中AMSGrad和黎曼流形上RAMSGrad的推广。该算法有助于解决影响RAMSGrad的两个问题。首先，它可以直接解决黎曼随机最优化问题，而RAMSGrad只能实现低遗憾。另一个是它可以使用恒定的学习率，这使得它在实践中可以实现。此外，我们将该算法应用于Poincar{é}嵌入，将WordNet名词的传递闭包嵌入到双曲空间的Poincar{é}球模型中.数值实验表明，无论学习率的初始值如何，我们的算法都稳定地收敛到最优解，并且比最基本的黎曼随机最优化算法RSGD收敛得更快。
2020-12-08 math.OC
Adaptive sampling strategies for risk-averse stochastic optimization with constraints
我们介绍了自适应抽样方法的随机规划确定性约束。首先，我们提出并分析了一个变种的随机投影梯度法的样本量用于近似降低梯度确定的飞行和更新自适应。该方法适用于广泛的一类基于预期的风险措施，并导致显着减少用于估计的目标函数梯度的个人梯度评估。期望风险最小化和条件风险值最小化的数值实验支持这一结论，并证明了风险中性和风险厌恶问题的实际性能和功效。其次，我们提出了一种基于相似自适应采样原理的SQP型方法。该方法的优点在简化的工程设计应用中得到了证明，该应用具有不确定载荷条件和模型不确定性的钢壳结构的风险规避形状优化。
2023-02-05 math.OC
Derivative-Free Optimization via Adaptive Sampling Strategies
针对无梯度信息的无约束随机优化问题，提出融合自适应采样的无导数优化框架，涵盖多种梯度估计技术，给出理论收敛与复杂度分析，并在两类问题上验证了实证性能。
2024-04-18 math.OC
Adaptive Localized Cayley Parametrization for Optimization over Stiefel Manifold
本文针对Stiefel流形优化提出自适应局部Cayley参数化策略，通过自适应估计中心点来加速广义Cayley变换重构后的欧几里得优化求解，并给出统一收敛性分析，实验证明其优于朴素Cayley参数化和基于收缩映射的标准方法。
2023-05-29 math.OC
A Fully Adaptive Frank-Wolfe Algorithm for Relatively Smooth Problems and Its Application to Centralized Distributed Optimization
针对相对平滑约束优化问题，提出完全自适应Frank-Wolfe算法，无需先验函数参数、仅用局部信息保证收敛，在相对强凸性下实现线性收敛，并将其应用于集中式分布式优化以实现可证明加速。
2025-08-26 math.OC
Adaptive sieving: A dimension reduction technique for sparse optimization problems
本文提出自适应筛选策略，利用解的内在稀疏性将大规模稀疏优化问题化为一系列小规模子问题，并生成解路径，理论保证有限终止，实验验证其高效灵活。
2025-04-25 math.OC
Adaptive Optimizer for Automated Hyperparameter Optimization Problem
Peking University（北京大学）
超参数的选择对机器学习模型的性能有着至关重要的影响。在本文中，我们提出了一个通用的框架，能够构建一个自适应优化器，自动调整适当的算法和参数的优化过程中。在研究自适应优化方法的基础上，给出了一个利用遗传算法构造基于贝叶斯优化器的自适应优化器的实例，并与原优化器进行了比较。特别是在并行优化方面有很大的优势。
2022-01-28 cs.LG math.OC
Adaptive Stochastic Optimization
优化是机器学习和信号处理的核心。基于随机梯度法的当代方法是非自适应的，因为它们的实现采用了需要针对每个应用进行调整的规定参数值。本文总结了最近的研究和激励未来的工作，自适应随机最优化方法，这有可能提供显着的计算节省训练大规模系统。
2020-01-18 cs.LG math.OC stat.ML
On the Algorithmic Stability and Generalization of Adaptive Optimization Methods
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
尽管它们在深度学习和一般的机器学习中很受欢迎，但Adagrad、RMSProp、Adam或AdamW等自适应优化器的理论特性尚未完全理解。在本文中，我们开发了一个新的框架来研究这些优化方法的稳定性和推广。基于这个框架，我们证明了这些属性，严重依赖于一个单一的参数$β_2$的保证。我们的实证实验支持我们的主张，并提供了实用的见解的稳定性和泛化性能的自适应优化方法。
2022-11-08 cs.LG math.OC
Adaptive Expansion Bayesian Optimization for Unbounded Global Optimization
University of Maryland（马里兰大学）
贝叶斯优化通常在固定的变量范围内执行。在机器学习算法的超参数调优等情况下，设置变量边界并不简单。很难保证任何固定的边界将包括真正的全局最优值。我们提出了一种贝叶斯优化方法，只需要指定一个初始搜索空间，不一定包括全局最优值，并扩大搜索空间时，必要的。然而，在搜索空间扩展期间可能发生过度探索。我们的方法可以自适应地平衡在不断扩大的空间中的探索和开发。一系列合成检验函数和MLP超参数优化任务的结果表明，所提出的方法优于或至少与当前最先进的方法一样好。
2020-01-12 cs.LG math.OC
Adaptive Sampling Quasi-Newton Methods for Derivative-Free Stochastic Optimization
我们考虑随机零阶最优化问题，它出现在设置从模拟优化强化学习。我们提出了一种自适应采样拟牛顿法，我们估计的梯度的随机函数使用有限差分内一个共同的随机数框架。我们采用修改后的版本的范数检验和内积拟牛顿检验来控制样本量中使用的随机逼近。我们提供了初步的数值实验来说明所提出的方法的潜在性能优势。
2019-10-29 math.OC stat.ML
Fast Adaptive Federated Bilevel Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
双层优化是机器学习中一种流行的分层模型，已被广泛应用于元学习、超参数学习、策略优化等机器学习任务中。虽然近年来已有许多双层优化算法被提出，但针对分布式环境下双层优化问题的自适应算法却很少。众所周知，自适应梯度方法在分布式和非分布式优化上都表现出优越的性能。因此，在本文中，我们提出了一种新的自适应联邦双层优化算法（即，AdaFBiO）求解分布式两层优化问题，其中上层（UL）问题的目标函数可能是非凸的，而下层（LL）问题的目标函数是强凸的.具体来说，我们的AdaFBiO算法建立在基于动量的方差减少技术和本地SGD，以获得最佳已知的样本和通信复杂性同时。特别是，我们的AdaFBiO算法使用统一的自适应矩阵，灵活地将各种自适应学习率更新变量在UL和LL的问题。此外，我们提供了一个收敛性分析框架，我们的AdaFBiO算法，并证明它需要$\tilde{O}(ε^{-3})$的样本复杂度与$\tilde{O}(ε^{-2})$的通信复杂性度，以获得一个$ε$ -稳定点。联邦超表示学习和联邦数据超清洗任务的实验结果验证了算法的有效性。
2022-11-14 cs.LG math.OC
BiAdam: Fast Adaptive Bilevel Optimization Methods
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
近年来，由于超参数最优化和Meta学习等多种应用，双层优化在机器学习领域引起了越来越多的关注。虽然最近已经提出了许多双层方法，这些方法没有考虑使用自适应学习率。众所周知，自适应学习率可以加速优化算法。为了填补这一空白，本文提出了一种新的快速自适应双层框架来求解外部问题可能为非凸而内部问题为强凸的随机双层最优化问题.我们的框架使用统一的自适应矩阵，包括多种类型的自适应学习率，并可以灵活地使用动量和方差减少技术。特别是，我们提供了一个有用的收敛性分析框架的双层优化。具体来说，我们提出了一个快速的单循环自适应双层优化（BiAdam）算法，它实现了一个样本的复杂度为$\tilde{O}(ε^{-4})$找到一个$ε$ -固定的解决方案。同时，我们提出了一种加速的BiAdam算法（VR-BiAdam），它达到了$\tilde{O}(ε^{-3})$的最佳样本复杂度.据我们所知，我们首先研究了自适应学习率的自适应双层最优化方法。在数据超清洗和超表示学习任务上的实验结果证明了算法的有效性。
2023-02-18 cs.CV cs.LG math.OC
Adaptive Robust Optimization with Nearly Submodular Structure
University of Texas at Dallas（德克萨斯大学达拉斯分校）
约束子模极大化问题近年来得到了广泛的研究。本文研究了具有近似次模结构的自适应鲁棒优化问题。我们的目标是随机选择一个子集的项目，同时最大化的最坏情况下的几个奖励函数的值。我们的工作与现有的研究有两个不同之处：（1）我们研究了自适应设置下的鲁棒优化问题，即，一个需要自适应地选择项目的基础上收集的反馈，从挑选的项目，和（2）我们的结果适用于广泛的奖励功能的特点是$ε$ -近次模函数。我们首先分析了ARONSS的自适应间隙，并证明了最佳自适应解和最佳非自适应解之间的间隙是有界的。然后，我们提出了一个近似的解决方案，这个问题时，所有的奖励功能是次模。在考虑拟阵约束的情况下，算法达到了逼近比$(1-1/e)$.最后，我们给出了一般情况下的两种算法。所有提出的解决方案都是非自适应的，易于实现。
2019-07-29 cs.LG math.OC
Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization
Facebook AI Research（Facebook人工智能研究院）；Princeton University（普林斯顿大学）
我们介绍MADGRAD，一种新的优化方法在家庭的AdaGrad自适应梯度方法。MADGRAD在多个领域的深度学习优化问题上表现出色，包括视觉中的分类和图像到图像任务，以及自然语言处理中的循环和双向掩码模型。对于这些任务中的每一个，MADGRAD在测试集性能上都与SGD和ADAM相匹配或优于SGD和ADAM，即使在自适应方法通常表现不佳的问题上也是如此。
2021-08-26 cs.AI cs.LG math.OC
UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization
EPFL（洛桑联邦理工学院）；Technion（以色列理工学院）；INRIA（法国国家信息与自动化研究所）
针对随机约束凸优化问题，提出了一种新的自适应加速算法.我们的方法，这是受启发的Prox-Prox方法，\emph{simultaneously}实现了最佳的速度光滑/非光滑问题的确定性/随机一阶预言。这是在没有任何关于平滑度或问题的噪声特性的先验知识的情况下完成的。据我们所知，这是第一个自适应的，统一的算法，在约束设置中实现最佳速率。我们通过大量的数值实验证明了我们的框架的实际性能。
2019-10-30 cs.LG math.OC
Distributed Optimization via Adaptive Regularization for Large Problems with Separable Constraints
许多实际应用需要解决大型高维数据集的优化问题，这使得这些问题难以解决并且非常耗时。在本文中，我们提出了一个并行分布式算法，使用自适应正则化（PDAR）解决可分离约束的联合优化问题。正则化器是自适应的，并且取决于迭代之间的步长和迭代次数。理论上证明了算法收敛于最优解，并通过一个多智能体三箱资源分配问题的算例说明了算法的有效性.数值模拟表明，我们的算法收敛到相同的最优解，与其他分布式方法，显着减少计算时间。
2012-11-30 cs.DC math.OC
Parallel Surrogate-assisted Optimization Using Mesh Adaptive Direct Search
McGill University（麦吉尔大学）；Hydro-Québec’s Research Institute（魁北克水电公司研究院）
我们认为计算昂贵的黑箱最优化问题，并提出了一种方法，采用代理模型和并发计算的网格自适应直接搜索（MADS）算法的搜索步骤。具体来说，我们解决了代理最优化问题使用局部加权散点图平滑（LOWESS）模型，找到有前途的候选点进行评估的黑盒。我们考虑几种方法从大量的点选择有前途的点。我们进行数值实验，以评估性能的修改MADS算法的可用CPU资源，通过五个工程设计问题。
2021-07-26 cs.LG math.OC
Training Deep Neural Networks with Adaptive Momentum Inspired by the Quadratic Optimization
National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）；University of Utah（犹他大学）
重球动量在加速（随机）基于梯度的优化算法用于机器学习中至关重要。现有的重球动量通常由一个统一的超参数加权，这依赖于过度的调整。此外，校准的固定超参数可能不会导致最佳性能。在本文中，为了消除调整动量相关的超参数的努力，我们提出了一个新的自适应动量的启发重球动量的二次优化的最佳选择。我们提出的自适应重球动量可以改善随机梯度下降（SGD）和亚当。具有新设计的自适应动量的SGD和Adam对大学习率更鲁棒，收敛更快，并且比基线更好地推广。我们在广泛的机器学习基准测试（包括图像分类、语言建模和机器翻译）上验证了SGD和Adam的效率。最后，我们提供了收敛保证SGD和亚当与建议的自适应动量。
2021-10-18 cs.LG math.OC
$\mathcal{L}_{1}$ Adaptive Optimizer for Online Time-Varying Convex Optimization
提出 $\mathcal{L}_{1}$ 自适应优化方法，通过自适应更新律估计并补偿在线时变凸优化中预测模型的不准确性，提供误差性能界限，实现高效可靠的优化。
2025-03-01 cs.SY eess.SY math.OC
Drone Squadron Optimization: a Self-adaptive Algorithm for Global Numerical Optimization
本文提出了无人机中队优化，一个新的自适应元启发式全局数值优化，在线更新的超启发式。DSO是一种受人工制品启发的技术，与当今使用的许多受自然启发的算法相反。DSO非常灵活，因为它与行为或自然现象无关。DSO有两个核心部分：半自主无人机飞越景观进行探索，指挥中心处理检索到的数据，并在必要时更新无人机的固件。DSO在这项工作中的自适应方面是扰动/运动方案，这是用于生成目标坐标的过程。该程序由指挥中心在全局优化过程中进行改进，以使DSO适应搜索环境。DSO是根据一套广泛采用的基准函数进行评估的。结果的统计分析表明，该方法是有竞争力的，与其他方法的比较，性能是有前途的，但一些未来的改进计划。
2017-03-14 cs.NE math.OC
Convergence of adaptive algorithms for weakly convex constrained optimization
EPFL（洛桑联邦理工学院）
分析了求解弱凸约束随机最优化问题的自适应一阶算法AMSGrad。我们证明了$\mathcal{\tilde O}(t^{-1/4})$的Moreau包络，这是这类问题的标准平稳性措施的梯度的范数的收敛速度。它与自适应算法在无约束光滑随机最优化的特定情况下所享有的已知速率相匹配。我们的分析与小批量大小的$1$，恒定的一阶和二阶矩参数，并可能无界的优化域。最后，我们说明了我们的结果的应用和扩展到特定的问题和算法。
2020-06-11 cs.LG math.OC stat.ML
A Unified Approach to Adaptive Regularization in Online and Stochastic Optimization
Google Brain（谷歌大脑）
我们描述了一个框架，推导和分析在线优化算法，包括自适应，数据相关的正则化，也称为预处理。这样的算法已被证明是有用的随机优化，根据数据的几何形状重塑梯度。我们的框架捕获并统一了许多关于自适应在线方法的现有文献，包括AdaGrad和在线牛顿步算法以及它们的对角版本。因此，我们获得了新的收敛性证明，这些算法比以前的分析要简单得多。我们的框架还揭示了常见的随机优化方法中使用的不同的预处理更新的基本原理。
2017-06-20 cs.LG math.OC stat.ML
Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Florida（佛罗里达大学）
在本文中，我们设计并分析了一族新的自适应次梯度方法，用于求解一类重要的弱凸（可能非光滑）随机最优化问题。使用过去梯度的指数移动平均值来更新搜索方向和学习速率的自适应方法最近吸引了大量关注，用于解决机器学习中出现的最优化问题。然而，它们的收敛性分析几乎完全需要目标函数的光滑性和/或凸性。与此相反，我们建立了一阶和零阶自适应方法及其近似变量的非渐近收敛速度为一个合理的广泛的非光滑\非凸最优化问题。实验结果表明，所提出的算法如何经验优于随机梯度下降及其零阶变量解决这样的最优化问题。
2020-05-24 cs.LG math.OC stat.ML
