Adaptive Variant of Frank-Wolfe Method for Relative Smooth Convex Optimization Problems
提出一种针对相对光滑凸函数的自适应Frank-Wolfe算法,利用Bregman散度替代欧几里得范数平方计算步长,证明具有三角缩放性质问题的收敛性,实验显示优于欧几里得版本和加速梯度方法。
2026-06-16 math.OC
Adaptive Catalyst for Smooth Convex Optimization
在本文中,我们提出了一个通用的框架,允许加速几乎任意的非加速确定性和随机算法光滑凸优化问题。我们的信封的主要方法与Catalyst中的相同(Lin et al.,2015年):加速邻近外梯度法,它被用作$\ell_2$正则化辅助问题的非加速内梯度法的包络。我们的算法有两个关键的区别:1)容易验证的停止标准的内部算法; 2)正则化参数可以调整的方式。因此,我们的工作的主要贡献是一个新的框架,适用于自适应内部算法:最速下降,自适应坐标下降,交替最小化。此外,在非自适应的情况下,我们的方法允许在没有对数因子的情况下获得催化剂,该对数因子出现在标准催化剂中(Lin等人,2015年,2018年)。
2021-03-07 math.OC
Adaptive set-point regulation of discrete-time nonlinear systems
本文针对离散时间非线性系统构造了自适应设定点调节控制器。假设待控制系统具有参数不确定性,并使用激励信号来获得参数估计。所提出的控制器属于间接自适应控制器的范畴,其构造是基于计算控制输入的策略,而不是基于获得控制律的策略。所提出的方法解决了自适应设定点调节问题下(可能是最小的)假设,目标状态是可达的,提供参数是已知的。所提出的方法的另一个特点是,在控制器的建设中没有使用类似于Lyapunov函数。
2015-05-22 math.OC
Some Analogue of Quadratic Interpolation for a Special Class of Non-Smooth Functionals and One Application to Adaptive Mirror Descent for Constrained Optimization Problems
许多著名的梯度型最优化方法的收敛速度的理论估计是基于二次插值,只要满足梯度的利普希茨条件。本文在局部Lipschitz拟凸泛函类中,利用本文所引入的非光滑条件(Lipschitz连续次梯度),得到了构造类似插值的可能性.作为应用,本文给出了自适应镜像下降法求解具有多个凸泛函约束的拟凸局部Lipschitz泛函极小化问题的收敛速率的估计.
2018-12-16 math.OC
Linesearch-free adaptive Bregman proximal gradient for convex minimization under local relative smoothness
Kyushu University(九州大学);IMT School for Advanced Studies Lucca(卢卡高等研究学院)
本文提出了一种无需全局相对平滑性或强凸性假设的自适应Bregman近似梯度算法,通过局部曲率估计生成步长,避免了回溯线搜索。利用Bregman泛化的Young不等式控制关键内积,适用于局部相对平滑的可微项问题。
2026-06-05 math.OC
An adaptive superfast inexact proximal augmented Lagrangian method for smooth nonconvex composite optimization problems
提出了一种求解线性约束光滑非凸复合最优化问题的自适应超快近似增广拉格朗日(AS-PAL)方法。AS-PAL的每次迭代不精确地解决了一个可能的非凸近端增广拉格朗日(AL)子问题获得的一个积极的/自适应的选择接近步长的目的是大大提高其计算性能,其次是一个完整的拉格朗日乘子更新。与其他AL方法相比,AS-PAL的主要优点是它不需要参数的知识(例如,约束矩阵的大小,目标函数曲率等)与最优化问题相关联,由于其自适应性质,不仅在选择接近步长,而且在使用一个关键的自适应加速复合梯度变量来解决接近AL子问题。AS-PAL的速度和效率通过大量的计算实验证明,它可以解决许多情况下超过十倍的速度比其他国家的最先进的惩罚和AL方法,特别是当需要高精度。
2022-10-05 math.OC
A Fully Adaptive Frank-Wolfe Algorithm for Relatively Smooth Problems and Its Application to Centralized Distributed Optimization
针对相对平滑约束优化问题,提出完全自适应Frank-Wolfe算法,无需先验函数参数、仅用局部信息保证收敛,在相对强凸性下实现线性收敛,并将其应用于集中式分布式优化以实现可证明加速。
2025-08-26 math.OC
A proximal gradient method with adaptive backtracking for weakly smooth multiobjective optimization
Nihon University(日本大学);The Institute of Statistical Mathematics(统计数学研究所)
针对弱光滑多目标优化问题,提出无参数自适应线搜索近端梯度法,建立非凸、凸情形下的复杂度结果,非凸情形接受更宽松的 stationarity 测度,凸情形复杂度优于非凸情形。
2026-08-04 math.OC
Adaptive Riemannian ADMM for Nonsmooth Optimization: Optimal Complexity without Smoothing
针对紧致黎曼子流形上的光滑与非光滑凸复合优化问题,提出无需平滑非光滑项的自适应 ARADMM,每次迭代仅需一次梯度求值和一次近端更新,并达到 O(ε^-3) 的最优 KKT 复杂度。
2025-10-21 math.OC
Adaptive smoothing mini-batch stochastic accelerated gradient method for nonsmooth convex stochastic composite optimization
考虑一类凸约束非光滑凸随机复合最优化问题,其目标函数由可微凸分量与一般非光滑但凸分量之和给出。非光滑组件不需要具有容易获得的近端操作符,或者具有可以使用[Nesterov,2005]中的平滑技术的最大结构。为了解决这类问题,我们提出了一个自适应平滑小批量随机加速梯度(AdaSMSAG)方法,它结合了随机逼近方法,Nesterov的加速梯度法,和平滑方法,允许一般平滑近似。建立了该方法的收敛性。此外,最坏情况下的迭代复杂度的顺序是优于最先进的随机逼近方法。数值结果表明,建议的AdaSMSAG方法的有效性的风险管理投资组合优化和一个家庭的Wasserstein分布鲁棒支持向量机问题与实际数据。
2021-12-07 math.OC
Accelerated Distance-adaptive Methods for Hölder Smooth and Convex Optimization
Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学)
本文提出无参数加速距离自适应方法,解决Hölder光滑凸优化问题,无需先验参数或目标精度,实现最优随时收敛率,并扩展至随机优化,实验验证其有效性。
2025-10-25 math.OC
Classical Discrete-Time Adaptive Control Revisited: Exponential Stabilization
经典的离散时间自适应控制器提供渐近稳定。虽然最初的自适应控制器不能很好地处理噪声或未建模动态,但重新设计的版本被证明具有一定的容差;然而,指数稳定性和噪声上的有界增益很少被证明。在这里,我们考虑一个经典的极点配置自适应控制器,使用原始的投影算法,而不是通常修改的版本,我们施加的假设,植物参数位于一个凸,紧凑的集合和参数估计投影到该集合在每一步。我们证明了闭环系统具有非常理想的闭环行为:有线性卷积界的闭环行为,这意味着指数稳定性和有界噪声增益,以及一个容易证明的容忍未建模的动态和植物参数变化。我们强调,没有任何形式的持续激励要求。
2017-11-25 math.OC
bAdag: an adaptive block coordinate gradient method for smooth nonconvex functions
University of Mons(蒙斯大学);Università degli Studi di Firenze(佛罗伦萨大学)
提出一种基于AdaGrad的自适应块坐标梯度方法bAdag,通过累积块梯度计算步长,在光滑非凸函数上实现次线性收敛,支持循环、均匀随机和贪婪选择策略。
2026-06-11 math.OC
Some Adaptive First-order Methods for Variational Inequalities with Relatively Strongly Monotone Operators and Generalized Smoothness
本文介绍了几种求解具有相对强单调算子的变分不等式的自适应方法。首先,我们对最近提出的光滑情形下广义光滑(具有赫尔德条件)鞍点问题的自适应数值方法进行了改进,该方法具有与加速方法相似的收敛速度估计.我们提供了这样一种方法的动机,并获得所提出的方法的理论结果。我们的第二个重点是适应最近提出的广泛的方法解决变分不等式相对较强的单调算子。在我们的方法中的关键思想是拒绝众所周知的重新启动技术,这在某些情况下会导致在实施这些算法的应用问题的困难。尽管如此,我们的算法表现出相当的收敛速率相对于基于上述重新启动技术的算法。最后,我们给出了一些数值实验,证明了所提出的方法的有效性。[1]Jin,Y.,西德福德,A.,& Tian,K.(2022年)。通过原始-对偶超梯度方法的可分离极大极小和有限和优化的更快速度。arXiv预印本arXiv:2202.04640。
2022-10-28 math.OC
Adaptive Gradient Normalization and Independent Sampling for (Stochastic) Generalized-Smooth Optimization
Texas A&M University(德克萨斯农工大学);Hamilton College(汉密尔顿学院);Stony Brook University(石溪大学);Arizona State University(亚利桑那州立大学)
针对现有算法未完全适配广义光滑非凸几何、收敛分析受限的问题,该研究分析了自适应归一化梯度下降的收敛性,提出结合自适应归一化、独立采样和梯度裁剪的IANSGD算法,在松弛噪声下实现$\boldsymbol{\rm O}(ε^{-4})$样本复杂度,实验验证了其快速收敛性。
2025-10-01 math.OC stat.ML
Adaptive Smoothing Algorithms for Nonsmooth Composite Convex Minimization
我们提出了一个自适应平滑算法的基础上,Nesterov的平滑技术\cite{Nesterov2005c}解决“完全”非光滑复合凸优化问题。我们的方法结合了Nesterov的加速邻近梯度方案和一个新的同伦策略的光滑参数。通过适当地选择光滑函数,我们提出了一种新的算法,该算法具有$\mathcal{O}\left(\frac{1}{\varepsilon}\right)$ -最坏情况迭代复杂度,同时保持与Nesterov方法相同的每次迭代复杂度,并允许在每次迭代时自动更新光滑参数。然后,我们定制我们的算法来解决涵盖各种应用程序的四种特殊情况。我们还指定我们的算法来解决约束凸优化问题,并显示其收敛性保证的原始序列的迭代。我们通过三个数值例子证明了我们的算法,并与其他相关算法进行了比较。
2016-07-03 math.OC stat.ML
Adaptive Data Fusion for Multi-task Non-smooth Optimization
Columbia University(哥伦比亚大学);Purdue University(普渡大学)
我们研究了在统计学习、决策和风险管理中普遍存在的多任务非光滑优化问题。我们开发了一种数据融合方法,自适应地利用大量目标之间的共性,以提高样本效率,同时解决其未知的异质性。我们为我们的方法提供了明确的统计保证。合成和真实数据的数值实验表明,我们的方法比基准显着的优势。
2022-10-22 cs.LG math.OC stat.ML
Robust Global Adaptive Exponential Stabilization of Discrete-Time Systems with Application to Freeway Traffic Control
National Technical University of Athens(雅典国立技术大学);Technical University of Crete(克里特理工大学)
本文提出了一种自适应控制方案,用于不确定离散时间系统,保证鲁棒、全局指数收敛到系统期望平衡点。方法结合了名义反馈律和非线性死区观测器,适用于具有未知常参数的非线性不确定系统,并通过高速公路模型验证了其应用性。
2015-09-01 cs.SY eess.SY math.OC
UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization
EPFL(洛桑联邦理工学院);Technion(以色列理工学院);INRIA(法国国家信息与自动化研究所)
针对随机约束凸优化问题,提出了一种新的自适应加速算法.我们的方法,这是受启发的Prox-Prox方法,\emph{simultaneously}实现了最佳的速度光滑/非光滑问题的确定性/随机一阶预言。这是在没有任何关于平滑度或问题的噪声特性的先验知识的情况下完成的。据我们所知,这是第一个自适应的,统一的算法,在约束设置中实现最佳速率。我们通过大量的数值实验证明了我们的框架的实际性能。
2019-10-30 cs.LG math.OC
Robust Adaptive Discrete-Time Control Barrier Certificate
Delft Center for Systems and Control, TU Delft(代尔夫特系统与控制中心,代尔夫特理工大学)
本文提出了一种基于控制屏障函数的鲁棒自适应控制方法,用于确保离散时间系统在参数不确定性和扰动下的安全性。
2026-09-09 cs.SY eess.SY math.OC
Adaptive Matrix Online Learning through Smoothing with Guarantees for Nonsmooth Nonconvex Optimization
Google Research(谷歌研究)
本文提出两种高效方法,通过平滑技术实现自适应矩阵在线学习,解决了传统方法中二次投影的高成本问题,并在非光滑非凸优化中提供收敛保证。
2026-02-09 cs.LG math.OC stat.ML
ABrA-GD: Adaptive Bregman Accelerated Gradient Descent for Relatively Smooth and (Strongly-)Convex Optimization
Samsung SAIL Montreal(三星SAIL蒙特利尔)
本文提出ABrA-GD算法,利用可计算的原始-对偶证书自适应相对光滑凸优化,仅需相对强凸常数,实现对凸目标加速$O(1/k^2)$收敛,对强凸目标线性收敛。
2026-10-01 cs.NA math.NA math.OC
Optimization of Discrete Parameters Using the Adaptive Gradient Method and Directed Evolution
QuData AI
本文提出自适应梯度方法CONGA,结合随机sigmoid与定向进化策略,通过个体种群的梯度变异和双温度退火机制求解带约束的离散参数优化问题,并在0-1背包问题上进行了验证。
2024-01-12 cs.LG cs.NE math.OC
A Universal Algorithm for Variational Inequalities Adaptive to Smoothness and Noise
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);ETH Zürich(苏黎世联邦理工学院)
我们考虑变分不等式来自单调算子,设置,包括凸极小化和凹凸鞍点问题。我们假设访问潜在的噪声无偏值的单调算子和评估收敛通过一个兼容的间隙函数,对应于标准的最优性标准,在上述子情况。我们提出了一个通用的算法,这些不等式的基础上的Prox-Prox算法。具体地说,我们的算法同时实现了最佳速率的平滑/非平滑,和噪声/无噪声设置。这是在没有任何先验知识的情况下完成的,并且在任意范数和相容Bregman分歧的一般设置中。对于凸极小化和凸凹鞍点问题,这导致新的自适应算法。我们的方法依赖于一个新的但简单的自适应选择的步长,这可以被看作是适当的扩展AdaGrad处理约束问题。
2019-02-05 cs.LG math.OC stat.ML
Discrete Stochastic Submodular Maximization: Adaptive vs. Non-Adaptive vs. Offline
考虑了带约束的随机单调次模函数最大化问题。我们给出了结果的适应性差距,最佳离线和在线解决方案之间的差距。我们提出了一个程序,将决策树(自适应算法)到非自适应链。我们证明,这条链实现至少$τ$倍的效用的决策树,在产品分布和二进制状态空间,其中$τ = \min_{i,j} \Pr[x_i=j]$。这证明了$1/τ$(这是$2$的情况下,均匀分布)的随机单调子模极大化问题的状态无关约束的自适应间隙。对于基数约束,我们证明了一个简单的自适应贪心算法实现的近似因子$(1-1/e^τ)$相对于最佳离线解决方案,以前,它已被证明,该算法实现的近似因子$(1-1/e)$相对于最佳自适应在线解决方案。最后,我们发现,存在一个非自适应的随机最大覆盖问题的解决方案,是在一个因素$(1-1/e)$的最佳自适应解决方案和最佳离线解决方案的$τ(1-1/e)$的一个因素。
2015-04-24 cs.CC cs.DS math.OC
Adaptive Partitioning Strategy for High-Dimensional Discrete Simulation-based Optimization Problems
针对高维离散仿真优化问题,提出基于已仿真解和先验知识的自适应分区策略,集成经验随机分支定界框架形成通用算法,经验证兼具全局收敛性与小样本性能,可显著提升效率并解决实际车队分配问题。
2024-12-03 cs.CE cs.SY eess.SY
A simple proof of the discrete time geometric Pontryagin maximum principle on smooth manifolds
IIT Bombay(印度理工学院孟买分校)
本文在光滑流形上建立了离散时间最优控制问题的几何庞特里亚金极大原理,考虑了状态、控制动作以及最优控制轨迹频谱的约束,并基于[Cha11]中连续时间最优控制的思路进行了证明。
2019-06-04 cs.SY eess.SY math.OC
Discrete-Time Adaptive Control of a Class of Nonlinear Systems Using High-Order Tuners
研究了一类离散非线性系统的状态可达自适应控制问题。最近,高阶调谐器算法被开发用于识别问题的上下文中的具有时变回归量的凸损失函数的最小化。基于Nesterov算法,当回归量随时间变化时,高阶调谐器保证有界参数估计,当回归量为常数时,高阶调谐器加速跟踪误差的收敛.在本文中,我们应用高阶调谐器的适应控制的一类特殊的离散时间非线性动力系统。首先,我们表明,植物这一类,潜在的动态误差模型可以因果关系转换为代数误差模型。第二,我们表明,使用这个代数误差模型,高阶调谐器可以应用于证明稳定的类动力系统围绕一个参考轨迹。
2023-03-17 cs.SY eess.SY math.DS
Stability Bounds for Learning-Based Adaptive Control of Discrete-Time Multi-Dimensional Stochastic Linear Systems with Input Constraints
University of Melbourne(墨尔本大学)
针对参数未知、含输入约束与无限随机干扰的离散时间多维线性系统,提出结合在线参数估计与饱和线性控制的确定性等价控制方案,并证明了闭环系统的高概率稳定性界。
2023-04-02 cs.LG cs.SY eess.SY