Last-iterate convergence rates for min-max optimization
Georgia Institute of Technology(佐治亚理工学院)
虽然凸-凹最小-最大优化的经典工作依赖于平均收敛结果,但非凸应用(如训练生成对抗网络)的出现重新引起了人们对最后收敛保证的兴趣。证明最后一次收敛是具有挑战性的,因为许多自然算法,如同时梯度下降/上升,可证明发散或循环,即使在简单的凸-凹最小-最大设置,和以前的工作对全球最后一次收敛速度已被限制到双线性和凸-强凹设置。在这项工作中,我们表明,哈密顿梯度下降(HGD)算法实现线性收敛在各种更一般的设置,包括凹凸问题,满足“充分双线性”的条件。我们还证明了类似的收敛速度的共识优化(CO)算法[MNG 17]的CO的一些参数设置。
2019-10-25 cs.GT cs.LG math.OC
Stochastic Non-convex Optimization with Strong High Probability Second-order Convergence
The University of Iowa(爱荷华大学)
本文研究了具有非凸随机函数的随机非凸优化问题。最近对非凸优化的研究围绕着建立二阶收敛,即,收敛到近二阶最优平稳点。然而,现有的随机非凸优化的结果是有限的,特别是在一个高概率的二阶收敛。我们提出了一种新的更新步骤(命名为NCG-S),利用随机梯度和噪声的负曲率的随机Hessian,其中的随机梯度和Hessian是基于一个适当的小批量的随机函数。在此基础上,我们开发了两种算法,并建立了它们的高概率二阶收敛性。据我们所知,所提出的随机算法是第一个具有二阶收敛{ \it高概率}和时间复杂度是{ \it几乎线性}的问题的维度。
2017-11-01 cs.LG math.OC stat.ML
When is the Convergence Time of Langevin Algorithms Dimension Independent? A Composite Optimization Viewpoint
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Google Research(谷歌研究院);The Hong Kong University of Science and Technology(香港科技大学)
有一个激增的工程桥梁MCMC采样和优化,特别注重翻译非渐近收敛保证优化问题的分析MCMC采样中的朗之万算法。Langevin采样的收敛性分析和优化的收敛性分析之间的一个显著区别是,所有已知的Langevin算法的收敛速度取决于问题的维数,而优化的收敛速度是无量纲的凸问题。Langevin算法能否达到与维数无关的收敛速度是一个长期存在的问题。本文提供了一个肯定的答案,这个问题的大型类的Lipschitz或光滑凸问题与正常的先验。通过将Langevin算法看作复合优化,我们提出了一种新的分析方法,使得这类问题的收敛速度与维数无关。
2021-10-05 cs.LG math.OC
Convergence of Cubic Regularization for Nonconvex Optimization under KL Property
The Ohio State University(俄亥俄州立大学)
三次正则化牛顿法(CR)是求解非凸最优化问题的一种保证二阶稳定解的常用算法。然而,现有的理解CR的收敛速度的条件下,特殊类型的几何性质的目标函数。本文利用非凸目标函数普遍存在的Kurdyka-Lojasiewicz(KL)性质,研究了CR的渐近收敛速度.具体地,我们刻画了CR的各种最优性测度的渐近收敛速度,包括函数值间隙、变距离间隙、梯度范数和黑塞矩阵的最小特征值.我们的研究结果充分刻画了这些最优性措施在KL属性的全参数范围内的各种收敛行为。此外,我们还证明了在KL性质下,CR算法的渐近收敛速度比一阶梯度下降算法的收敛速度要快。
2018-08-22 cs.LG math.OC stat.ML
A Unified Convergence Theorem for Stochastic Optimization Methods
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
在这项工作中,我们提供了一个基本的统一收敛定理,用于推导预期和几乎必然收敛的结果,一系列的随机最优化方法。我们的统一定理只需要验证几个代表性的条件,而不是针对任何特定的算法。作为一个直接的应用程序,我们恢复预期和几乎必然收敛的结果的随机梯度法(SGD)和随机重排(RR)在更一般的设置。此外,我们建立了新的期望和几乎必然收敛结果的随机邻近梯度法(S-SGD)和随机模型为基础的方法(SMM)的非光滑非凸最优化问题。这些应用表明,我们的统一定理提供了一个插件型的收敛性分析和强收敛保证的广泛的一类随机最优化方法。
2022-10-19 cs.LG math.OC
MixedGrad: An O(1/T) Convergence Rate Algorithm for Stochastic Smooth Optimization
Michigan State University(密歇根州立大学)
光滑函数随机优化的最优收敛速度是$O(1/\sqrt{T})$,这与Lipschitz连续凸函数随机优化的最优收敛速度相同。这与使用全梯度优化平滑函数形成对比,全梯度产生$O(1/T^2)$的收敛速率。在这项工作中,我们考虑一个新的设置优化光滑函数,称为{ \bf混合优化},它允许访问随机预言和一个完整的梯度预言。我们的目标是显着提高光滑函数的随机优化的收敛速度有一个额外的少量的访问完整的梯度预言。我们表明,与$O(\ln T)$调用全梯度预言和$O(T)$调用随机预言,建议的混合优化算法是能够实现的优化误差$O(1/T)$。
2013-07-26 cs.LG math.OC
New nonasymptotic convergence rates of stochastic proximal pointalgorithm for convex optimization problems
University Bucharest(布加勒斯特大学)
最近的优化文献的大部门集中在过去十年的发展,逐步放松的假设下的约束凸模型的最优随机一阶计划。随机邻近点算法是将邻近点法应用于有噪声的随机最优化问题的一种迭代算法,其迭代过程与随机交替投影有关。受交替投影方法可扩展性的启发,我们从(线性)正则性假设出发,该假设通常用于凸可行性问题以保证随机交替投影方法的线性收敛,并分析了一个一般的弱线性正则性条件,该条件有利于随机邻近点方法的收敛速度提升.我们的应用程序包括许多非强凸函数类经常用于机器学习和统计。此外,在弱线性正则性假设下,我们保证$\mathcal{O}\left(\frac{1}{k}\right)$收敛速度的SPP,在距离最优集,只使用一个简单的组件集上的投影。当期望成本的最优集包含在每个功能部件的最优集中时,插值设置获得线性收敛。
2020-05-02 cs.LG math.OC stat.ML
An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks
University of Washington(华盛顿大学)
我们提出了一种基于基本参数和计算来获得深度网络优化算法收敛保证的方法。收敛性分析围绕优化预言机的分析和计算结构展开,而优化预言机是在机器学习软件中实现深度网络的核心。我们提供了一种系统的方法来计算平滑常数的估计值,这些平滑常数决定了用于训练深度网络的一阶优化算法的收敛行为。现代深度网络中出现的一组不同的示例组件和架构穿插在阐述中,以说明该方法。
2020-12-30 cs.LG stat.ML
Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Tata Consultancy Services Research(塔塔咨询服务公司研究院);University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
加速梯度法是大规模数据驱动的最优化问题的基础,这些问题在机器学习和其他涉及数据分析的领域中自然出现。我们引入了一个基于梯度的优化框架,实现加速,基于最近推出的固定时间稳定的动力系统的概念。该方法提出了自己作为一个简单的基于梯度的方法适当缩放,以实现收敛到优化在固定的时间,独立的初始化的推广。我们实现这一点,首先利用连续时间框架设计固定时间稳定的动力系统,后来提供了一个一致的离散化策略,这样,等效的离散时间算法跟踪优化在一个实际上固定的迭代次数。我们还提供了一个理论分析所提出的梯度流的收敛行为,和他们的鲁棒性添加剂的干扰的一系列功能服从强凸性,严格凸性,并可能nonconvexity,但满足Polyak-Jesojasiewicz不等式。我们还证明了,凭借固定时间收敛的收敛速度的遗憾界是常数。超参数具有直观的解释,并且可以调整以适应对所需收敛速度的要求。我们验证了加速收敛性能的数值例子对国家的最先进的优化算法的范围内所提出的计划。我们的工作提供了见解,通过离散化的连续时间流开发新的优化算法。
2022-03-20 cs.AI cs.LG cs.SY
Stochastic subGradient Methods with Linear Convergence for Polyhedral Convex Optimization
在本文中,我们证明了简单的{随机} subGradient Decent方法与多重启动,命名为{ \bf RSGD},可以实现一个\textit{linear convergence rate}的一类非光滑和非强凸优化问题的目标函数的epigraph是一个多面体,我们称之为{ \bf多面体凸优化}。它在机器学习中的应用包括$\ell_1$约束或正则化分段线性损失最小化和子模函数最小化。据我们所知,这是第一个结果的线性收敛速度的随机次梯度方法的非光滑和非强凸优化问题。
2016-03-31 cs.LG math.OC
Sequential convergence of AdaGrad algorithm for smooth convex optimization
ENS Paris-Saclay(巴黎萨克雷高等师范学校);University of Genova(热那亚大学);Université Toulouse 3 Paul Sabatier(图卢兹第三大学)
我们证明了,无论是标量步长变量,或AdaGrad算法的coordinatewise变体,迭代产生的收敛序列时,适用于凸目标函数与Lipschitz梯度。关键的见解是注意到这样的AdaGrad序列满足可变度量的拟Fejér单调性,这允许证明收敛性。
2021-04-13 cs.LG math.OC
Competitive Gradient Optimization
Purdue University(普渡大学)
本文研究了零和对策的稳定点收敛问题。我们提出了竞争梯度优化(CGO),一个基于梯度的方法,结合了零和对策优化更新的两个球员之间的相互作用。我们提供了连续时间分析CGO及其收敛特性,同时表明,在连续极限,CGO前辈退化到他们的梯度下降上升(GDA)的变种。我们提供了一个收敛到稳定点的速度,并进一步提出了一个广义类的$α$ -相干函数,我们提供了收敛性分析。我们证明了对于严格$α$ -相干函数,我们的算法收敛到一个鞍点。此外,我们提出了乐观CGO(OCGO),一个乐观的变种,我们证明了收敛速度鞍点的$α$ -连贯类的功能。
2022-05-27 cs.LG math.OC
On the Convergence Rate of Off-Policy Policy Optimization Methods with Density-Ratio Correction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了在函数近似下带状态-动作密度比修正的离线策略改进算法的收敛性,其中目标函数被表示为一个极大-极大-极小优化问题.我们的特点的偏差的学习目标,并提出了两个战略的有限时间收敛保证。在第一种策略中,我们提出了具有收敛速度$O(ε^{-3})$的P-SREDA算法,它对$ε$的依赖性是最优的。在我们的第二个策略中,我们提出了一个新的off-policy actor-critic风格的算法O-SPIM。我们证明了O-SPIM收敛到一个稳定点的总复杂度为$O(ε^{-4})$,这与最近的一些演员评论家算法在政策设置的收敛速度相匹配。
2022-02-13 cs.AI cs.LG
The Behavior and Convergence of Local Bayesian Optimization
University of Pennsylvania(宾夕法尼亚大学);Washington University in St. Louis(圣路易斯华盛顿大学)
该研究针对高维场景下贝叶斯局部优化行为与收敛性不明的问题,分析了局部方法的特性,首次严格证明Müller等人2021年提出的算法在含噪和无噪设置下的收敛速率。
2024-03-08 cs.LG stat.ML
Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学);Duke University(杜克大学)
为了加速梯度算法在凸优化中的实际收敛性,人们提出了各种类型的参数重新启动方案。然而,在非凸优化问题中,加速梯度算法在参数重新启动下的收敛性仍不清楚。本文提出了一种新的带参数重启的加速近似梯度算法(APG-重启),用于求解非凸非光滑问题。我们的APG-重启的目的是:1)允许采用灵活的参数重启计划,涵盖了许多现有的; 2)有一个全球的子线性收敛速率在非凸和非光滑最优化;和3)有保证的收敛到一个临界点,并有各种类型的渐近收敛速度取决于参数化的局部几何非凸和非光滑最优化。数值实验证明了该算法的有效性。
2020-04-27 cs.LG math.OC
Greedy Algorithms for Cone Constrained Optimization with Convergence Guarantees
MPI for Intelligent Systems(智能系统马克斯·普朗克研究所);ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
贪婪优化方法,如匹配追踪(MP)和弗兰克-沃尔夫(FW)算法,近年来重新流行,由于其简单,有效和理论保证。MP和FW地址优化的线性跨度和凸包的一组原子,分别。在本文中,我们考虑的凸锥优化的中间情况下,参数化的圆锥壳的一个通用的原子集,导致第一原则的定义,非负MP算法,我们给出明确的收敛速度,并表现出良好的经验性能。特别是,我们得到次线性($\mathcal{O}(1/t)$)收敛一般光滑和凸的目标,和线性收敛($\mathcal{O}(e^{-t})$)强凸的目标,在这两种情况下,一般的原子集。此外,我们建立了一个明确的对应关系,我们的算法已知的算法从MP和FW文献。我们的新算法和分析目标一般的原子集和一般的目标函数,因此直接适用于各种各样的学习设置。
2017-11-19 cs.LG stat.ML
Improved Convergence Rates of Muon Optimizer for Nonconvex Optimization
Meiji University(东邦大学)
本研究改进了Muon优化器的收敛速率,通过简化分析方法提供了更精确的理论保证,适用于更广泛的问题设置。
2026-03-05 cs.LG math.OC
On the Convergence of Momentum-Based Algorithms for Federated Bilevel Optimization Problems
Temple University(天普大学)
本文研究了在机器学习中有广泛应用的联邦双层优化问题。特别是,我们开发了两个基于动量的算法来优化这类问题,并建立了我们的两个算法的收敛速度,提供的样本和通信复杂性。重要的是,据我们所知,我们的收敛速度是第一个实现的线性加速比相对于联邦双层优化算法的设备数量。最后,我们的大量实验结果证实了我们的两个算法的有效性。
2022-12-21 cs.LG
Proximal Gradient Descent-Ascent: Variable Convergence under KŁ Geometry
University of Utah(犹他大学);The Ohio State University(俄亥俄州立大学)
梯度下降-上升(GDA)算法在求解极小极大最优化问题中得到了广泛的应用。为了实现极小极大优化的收敛策略参数,GDA生成收敛变量序列而不是函数值或梯度范数的收敛序列是重要的。然而,GDA的变收敛性仅在凸几何下得到了证明,对一般的非凸极大极小优化缺乏理解。本文通过研究正则化非凸-强-凹极大极小优化的更一般的近似GDA的收敛性,填补了这一空白。具体来说,我们表明,近似GDA承认一个新的李雅普诺夫函数,单调下降的极大极小优化过程中,并推动变量序列的临界点。通过利用这个李雅普诺夫函数和参数化一般非凸函数的局部几何的Kesterian几何,我们正式建立了近似GDA到临界点$x^*$的变量收敛,即,$x_t\to x^*, y_t\to y^*(x^*)$。此外,在整个频谱的KALTH参数化的几何,我们表明,近端GDA实现不同类型的收敛速度,从次线性收敛到有限步收敛,这取决于与KALTH参数的几何形状。这是第一个关于非凸极大极小优化的变量收敛性的理论结果。
2021-02-17 cs.LG math.OC
Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization
George Mason University(乔治梅森大学)
本文提出针对非凸-强凹极小极大和非凸-强凸双层优化的自适应算法,无需噪声先验知识即可达到尖锐收敛速率,并首次为随机分层优化提供自适应收敛保证。
2025-10-24 cs.LG math.OC
Unified convergence analysis for gradient descent optimization methods in the training of deep neural networks
Applied Mathematics: Institute for Analysis and Numerics, University of Münster, Germany(应用数学:分析与数值研究所,穆尔斯特大学,德国);School of Data Science and School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen), China(数据科学学院和人工智能学院,香港中文大学(深圳)(CUHK-Shenzhen),中国)
研究为含softplus和GeLU等解析激活函数的深度神经网络训练中的梯度下降优化方法提供统一收敛性分析,采用Kurdyka-Łojasiewicz不等式理论,适用于多种优化器。
2026-07-07 cs.LG math.OC
Convergence and Privacy of Decentralized Nonconvex Optimization with Gradient Clipping and Communication Compression
Carnegie Mellon University(卡内基梅隆大学)
本文首次研究了在带有通信压缩的去中心化非凸优化中梯度裁剪的作用,提出PORTER框架及其两种变体,在无需梯度有界假设下证明了收敛性并分析了收敛速率、压缩比、网络连通性与隐私间的权衡。
2023-05-17 cs.LG math.OC
Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate
Temple University(天普大学)
本文研究去中心化随机多层组合优化问题,提出两种新颖的去中心化优化算法,在比现有单机算法更温和的条件下首次实现了与层数无关的非凸收敛速率,并通过大量实验验证了其有效性。
2024-05-31 cs.LG
An Automatic Learning Rate Schedule Algorithm for Achieving Faster Convergence and Steeper Descent
Adobe Research(奥多比研究院);Sun Yat-sen University(中山大学)
提出RDBD算法,改进delta-bar-delta以解决小批量优化中的收敛问题,可与任意优化器集成,显著提升收敛速度。
2023-10-17 cs.LG
Quadratic Optimization with Orthogonality Constraints: Explicit Lojasiewicz Exponent and Linear Convergence of Line-Search Methods
The Chinese University of Hong Kong(香港中文大学)
矩阵最优化问题的一个基本类别出现在许多领域的科学和工程是二次优化与正交约束。这样的问题可以解决使用线搜索法的Stiefel流形,这是已知的全局收敛条件下温和的。为了确定这些方法的收敛速度,我们给出了一个明确的估计指数的Lojasiewicz不等式的(非凸)集的临界点的上述类问题。通过结合这样的估计与已知的参数,我们能够建立一个大类的线搜索法的线性收敛。在我们的证明中的一个关键步骤是建立一个局部误差界的临界点,这可能是独立的利益。
2015-10-05 cs.LG cs.NA math.NA
A Local Convergence Theory for the Stochastic Gradient Descent Method in Non-Convex Optimization With Non-isolated Local Minima
Pennsylvania State University(宾夕法尼亚州立大学)
具有非孤立最小值的损失函数已经出现在几个机器学习问题中,在理论和实践之间产生了差距。在本文中,我们提出了一种新的局部凸性条件,该条件适用于描述损失函数在非孤立极小点附近的行为。我们表明,这样的条件是一般的,足以包括许多现有的条件。此外,我们还利用随机稳定性的概念研究了SGD算法在这一较弱条件下的局部收敛性。从收敛性分析中得到的相应的浓度不等式有助于解释一些实际训练结果的经验观察。
2022-05-30 cs.LG cs.NA math.NA
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
在对等网络分布式优化中,信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式(COLD)算法。通过压缩新息向量,这是决策向量和他们的估计之间的差异,COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度,并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机,包括二进制量化器,我们进一步设计了一种新的动态缩放机制,并获得线性收敛Dyna-COLD。重要的是,我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文通过将多目标优化问题表述为逆问题,证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性,并进一步证明了使用梯度下降和投影次梯度法的逆强化学习(如最大熵逆强化学习和引导代价学习)的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Finite-Time Convergence of Continuous-Time Optimization Algorithms via Differential Inclusions
Rensselaer Polytechnic Institute(伦斯勒理工学院);Mitsubishi Electrics Research Laboratories(三菱电机研究实验室)
在本文中,我们提出了两个不连续的动力系统在连续时间内保证规定的有限时间局部收敛到严格的局部极小值的给定费用函数。我们的方法包括利用一个基于Lyapunov的微分不等式的微分包含,这导致有限时间稳定性,从而有限时间收敛与可证明的边界上的解决时间。特别地,对于上述微分不等式的精确解,稳定时间界也是精确的,从而实现了规定的有限时间收敛。因此,我们构造了一类不连续的动力系统,二阶的费用函数,作为连续时间优化算法的有限时间收敛和规定的收敛时间。最后,我们说明我们的结果Rosenbrock函数。
2019-12-18 cs.LG math.OC stat.ML
On the Convergence of Prior-Guided Zeroth-Order Optimization Algorithms
Shandong University(山东大学);Tsinghua University(清华大学);Pazhou Lab(琶洲实验室)
零阶(ZO)优化被广泛用于处理具有挑战性的任务,例如基于查询的黑盒对抗攻击和强化学习。已经进行了各种尝试,将先验信息集成到基于有限差分的梯度估计过程中,并取得了有希望的经验结果。然而,它们的收敛性还没有得到很好的理解。本文试图填补这一空白,通过分析贪婪下降框架下的各种梯度估计的先验引导ZO算法的收敛性。我们提供了一个收敛保证的先验引导随机梯度自由(PRGF)算法。此外,为了进一步加快贪婪下降法,我们提出了一个新的加速随机搜索(ARS)算法,结合先验信息,以及收敛性分析。最后,我们的理论结果证实了几个数值基准以及对抗性攻击的实验。
2021-11-07 cs.LG math.OC stat.ML
Sparse Perturbations for Improved Convergence in Stochastic Zeroth-Order Optimization
Heidelberg University(海德堡大学)
随机零阶(SZO)方法的兴趣最近在黑盒优化场景中重新燃起,例如对深度神经网络的对抗性黑盒攻击。SZO方法只需要在随机输入点处对目标函数求值的能力,然而,它们的弱点是它们的收敛速度依赖于待求值函数的维数。我们提出了一种稀疏SZO优化方法,该方法将该因子降低到学习过程中随机扰动的预期维度。我们给出了一个证明,证明了这种减少稀疏SZO优化的非凸函数,而不作任何假设的目标函数或梯度的稀疏性。此外,我们提出的实验结果,神经网络MNIST和CIFAR的训练损失和测试精度的收敛速度更快,和一个更小的距离的梯度近似的真实梯度稀疏SZO相比,密集SZO。
2020-06-29 cs.LG math.OC stat.ML
Noisy Optimization: Convergence with a Fixed Number of Resamplings
已知连续域中的进化策略在噪声存在下可能不收敛。还已知的是,在温和的假设下,并且使用增加数量的重采样,可以减轻加性噪声的影响并恢复收敛。我们展示了新的充分条件的进化算法的收敛性与恒定数量的重采样,特别是,我们得到快速的速度(对数线性收敛)提供的方差下降的最佳略快于在所谓的乘性噪声模型。关键词:噪声优化,进化算法,理论。
2014-04-09 math.OC stat.ML
Convergence and rate of convergence of some greedy algorithms in convex optimization
University of South Carolina(南卡罗来纳大学);Steklov Institute of Mathematics(斯捷克洛夫数学研究所)
本文系统研究了凸优化中广泛应用的三种贪心型算法的近似版本,分析了在评估存在误差时的收敛性及收敛速率。
2014-12-10 cs.NA math.NA stat.ML
On the Convergence of Bound Optimization Algorithms
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学研究所);University of Toronto(多伦多大学);University College London(伦敦大学学院)
许多使用EM算法的从业者抱怨它有时很慢。什么时候会发生这种情况,对此可以做些什么?在本文中,我们研究了一般类的边界优化算法-包括期望最大化,迭代缩放和CCCP -以及它们与直接优化算法(如基于梯度的参数学习方法)的关系。我们得到的更新之间的一般关系进行约束优化方法和梯度和二阶方法,并确定分析条件下,约束优化算法表现出拟牛顿行为,和条件下,他们拥有穷人,一阶收敛。基于这种分析,我们考虑了几个具体的算法,解释和分析其收敛特性,并提供了一些配方预处理这些算法的输入,以产生更快的收敛行为。我们报告的实证结果支持我们的分析,并表明,简单的数据预处理可以导致显着提高性能的绑定优化在实践中。
2012-10-19 cs.LG stat.ML
Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion
本文提出利用可逆扩散和Euler-Maruyama离散化进行全局非凸优化,通过设计扩散系数实现加速收敛并控制离散化误差,证明了KL散度收敛性及速度与误差的权衡。
2023-05-19 math.OC stat.ML
Asymptotic convergence of iterative optimization algorithms
本文介绍了迭代优化算法的一般框架,并建立在一般假设下,它们的收敛性是渐近几何的。我们还证明了在适当的假设下,收敛速度是有下界的。然后收敛是几何的,我们提供了精确的渐近收敛速度。这个框架允许处理约束优化,包括期望最大化算法和镜像下降算法,以及一些变种,如α-期望最大化或镜像Prox算法,此外,我们建立了镜像Prox算法的收敛性的充分条件,在此条件下,该方法系统地收敛到凸紧集上凸函数的唯一极小点。
2023-02-24 stat.ML
On the Uniform Convergence of Subdifferentials in Stochastic Optimization and Learning
针对非光滑非凸随机优化中经验与总体风险子微分一致收敛的挑战,提出通用约简原理将集值子微分收敛转化为向量值子梯度收敛,推导随机凸复合优化的精确一致收敛率,为相关问题提供几何新见解。
2025-08-25 math.OC math.ST stat.ML
Curvature-Dependant Global Convergence Rates for Optimization on Manifolds of Bounded Geometry
我们给出了定义在1-有界几何流形上的弱凸函数的最优化问题的曲率依赖的收敛速度,通过黎曼梯度下降和动态平凡化算法.为了做到这一点,我们给出了一个更严格的限制的范数的海森的黎曼指数比以前已知的。我们计算这些边界显式的一些流形中常用的优化文献,如特殊的正交群和真正的格拉斯曼。一路上,我们提出了自包含的证明完全一般的指数映射的微分范数和某些余弦不等式的流形上,这是常用的流形上的优化。
2020-08-06 cs.NA math.DG math.NA
Optimal Convergence for Stochastic Optimization with Multiple Expectation Constraints
本文研究了随机最优化问题,其中目标函数可以表示为闭凸集上的期望函数。我们还考虑了多个期望约束,限制域的问题。我们扩展了Lan和Zhou [2016]的合作随机逼近算法来解决特定问题。我们关闭在以前的分析中的差距,并提供了一种新的证明技术,表明我们的算法达到最佳的收敛速度收敛速率的最优间隙和约束违反时的功能一般是凸的。我们还比较了我们的算法经验的国家的最先进的,并显示在许多情况下改善收敛。
2019-06-15 math.OC math.ST stat.ME
Convergence of Expectation-Maximization Algorithm with Mixed-Integer Optimization
针对含离散与连续混合参数时EM算法收敛分析困难的问题,提出一组保障特定类EM算法收敛的条件,为混合整数非线性优化迭代算法提供新分析技术,并验证了相关稀疏贝叶斯学习算法的收敛性。
2024-04-17 eess.SP stat.ML
Adaptive Rate of Convergence of Thompson Sampling for Gaussian Process Optimization
本文研究连续区域上函数的全局优化问题。在我们的设置中,我们可以在我们选择的点上顺序地评估函数,并且评估是嘈杂的。我们把它看作是一个连续的武装土匪问题,函数上有一个高斯过程先验。在这种情况下,大多数算法都是为了尽量减少某种形式的遗憾而开发的。在本文中,我们研究了序列点$x^t$收敛到全局优化器$x^*$的汤普森采样方法。在一定的假设和正则条件下,证明了$x^t$的浓度界,其中$x^t$与$x^*$有界的概率在$t$中以指数形式快速衰减.此外,结果允许我们根据函数结构推导自适应收敛速率。
2020-07-18 stat.ME stat.ML