Bayesian Optimization with Exponential Convergence
MIT（麻省理工学院）
本文提出了一种指数收敛的贝叶斯优化方法，它不需要辅助优化，也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化：一个额外的非凸全局优化问题，这可能是耗时的，很难在实践中实现。此外，现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样，这被认为是不切实际的。我们的方法消除了这两个要求，并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
Accelerating Convergence in Global Non-Convex Optimization with Reversible Diffusion
本文提出利用可逆扩散和Euler-Maruyama离散化进行全局非凸优化，通过设计扩散系数实现加速收敛并控制离散化误差，证明了KL散度收敛性及速度与误差的权衡。
2023-05-19 math.OC stat.ML
Convergence and rate of convergence of some greedy algorithms in convex optimization
University of South Carolina（南卡罗来纳大学）；Steklov Institute of Mathematics（斯捷克洛夫数学研究所）
本文系统研究了凸优化中广泛应用的三种贪心型算法的近似版本，分析了在评估存在误差时的收敛性及收敛速率。
2014-12-10 cs.NA math.NA stat.ML
Bilevel Optimization: Convergence Analysis and Enhanced Design
The Ohio State University（俄亥俄州立大学）
双层优化已经成为许多机器学习问题的强大工具，如元学习，超参数优化和强化学习。本文研究了非凸-强凸双层优化问题。对于确定性双层优化问题，我们分别给出了基于近似隐式微分（AID）和迭代微分（ITD）的两种常用算法的收敛速度分析.对于基于AID的方法，我们orderwisely改善以前的收敛速度分析，由于更实际的参数选择以及一个热启动策略，并为基于ITD的方法，我们建立了第一个理论收敛速度。我们的分析还提供了ITD和AID为基础的方法之间的定量比较。对于随机双层优化，我们提出了一种新的算法，名为stocBiO，它具有一个样本有效的超梯度估计，使用高效的雅可比和海森向量积计算。我们提供了收敛速度的保证stocBiO，并表明stocBiO优于最好的已知的计算复杂性度orderwise相对于条件数$κ$和目标精度$ε$。通过元学习和超参数优化的实验，进一步验证了本文的理论结果和双层优化算法的有效性。
2021-08-27 cs.LG math.OC stat.ML
Last-iterate convergence rates for min-max optimization
Georgia Institute of Technology（佐治亚理工学院）
虽然凸-凹最小-最大优化的经典工作依赖于平均收敛结果，但非凸应用（如训练生成对抗网络）的出现重新引起了人们对最后收敛保证的兴趣。证明最后一次收敛是具有挑战性的，因为许多自然算法，如同时梯度下降/上升，可证明发散或循环，即使在简单的凸-凹最小-最大设置，和以前的工作对全球最后一次收敛速度已被限制到双线性和凸-强凹设置。在这项工作中，我们表明，哈密顿梯度下降（HGD）算法实现线性收敛在各种更一般的设置，包括凹凸问题，满足“充分双线性”的条件。我们还证明了类似的收敛速度的共识优化（CO）算法[MNG 17]的CO的一些参数设置。
2019-10-25 cs.GT cs.LG math.OC
Asymptotic convergence of iterative optimization algorithms
本文介绍了迭代优化算法的一般框架，并建立在一般假设下，它们的收敛性是渐近几何的。我们还证明了在适当的假设下，收敛速度是有下界的。然后收敛是几何的，我们提供了精确的渐近收敛速度。这个框架允许处理约束优化，包括期望最大化算法和镜像下降算法，以及一些变种，如α-期望最大化或镜像Prox算法，此外，我们建立了镜像Prox算法的收敛性的充分条件，在此条件下，该方法系统地收敛到凸紧集上凸函数的唯一极小点。
2023-02-24 stat.ML
Convergence of adaptive algorithms for weakly convex constrained optimization
EPFL（洛桑联邦理工学院）
分析了求解弱凸约束随机最优化问题的自适应一阶算法AMSGrad。我们证明了$\mathcal{\tilde O}(t^{-1/4})$的Moreau包络，这是这类问题的标准平稳性措施的梯度的范数的收敛速度。它与自适应算法在无约束光滑随机最优化的特定情况下所享有的已知速率相匹配。我们的分析与小批量大小的$1$，恒定的一阶和二阶矩参数，并可能无界的优化域。最后，我们说明了我们的结果的应用和扩展到特定的问题和算法。
2020-06-11 cs.LG math.OC stat.ML
Generative Adversarial Imitation Learning with Neural Networks: Global Optimality and Convergence Rate
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
生成对抗模仿学习（GAIL）在实践中取得了巨大的成功，特别是当与神经网络相结合时。与强化学习不同，GAIL从专家（人）演示中学习策略和奖励函数。尽管其经验上的成功，它仍然不清楚是否GAIL与神经网络收敛到全局最优解。主要困难来自于非凸-非凹极小极大优化结构。为了弥合实践和理论之间的差距，我们分析了基于梯度的算法与交替更新，并建立其次线性收敛到全局最优解。据我们所知，我们的分析建立了全局最优性和收敛速度的GAIL与神经网络的第一次。
2020-06-25 cs.LG math.OC stat.ML
Online Learning Guided Curvature Approximation: A Quasi-Newton Method with Global Non-Asymptotic Superlinear Convergence
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究针对现有拟牛顿法无法同时保证全局收敛与显式非渐近超线性速率的局限，结合混合邻近外梯度法与在线学习框架更新海森近似，首次提出具备该特性的全局收敛拟牛顿方法。
2023-07-25 cs.LG math.OC stat.ML
Bilevel Optimization for Machine Learning: Algorithm Design and Convergence Analysis
The Ohio State University（俄亥俄州立大学）
双层优化已经成为各种机器学习应用中的强大框架，包括元学习、超参数优化和网络架构搜索。机器学习通常有两类双层优化公式：1）基于问题的双层优化，其内层问题被公式化为找到给定损失函数的最小值;以及2）基于算法的双层优化，其内层解是固定算法的输出。对于第一类，已经提出了两种流行类型的基于梯度的算法通过近似隐式微分（AID）和迭代微分（ITD）的超梯度估计。第二类算法包括流行的模型不可知元学习（MAML）和几乎没有内部循环（ANIL）。然而，二层优化算法的收敛速度和基本局限性还没有得到很好的探讨。本文对上述两类双层算法的收敛速度进行了全面的分析。我们进一步提出了原则性的算法设计的双层优化具有更高的效率和可扩展性。对于基于问题的配方，我们提供了一个收敛速度分析AID和ITD为基础的双层算法。然后，我们开发的加速双层算法，我们提供的成形器收敛分析与放松的假设。我们还提供了第一个下界的双层优化，并建立在一定的条件下，通过提供匹配的上界的最优性。最后，我们提出了新的随机双层优化算法，具有较低的复杂性和较高的效率，在实践中。对于基于算法的配方，我们开发了一般的多步MAML和ANIL的理论收敛性，并表征参数选择和损失几何形状对它们的复杂性的影响。
2021-07-31 cs.LG math.OC stat.ML
Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems
本研究将梯度朗之万动力学相关框架拓展至非凸可行域上的非凸优化问题，提出基于反射梯度朗之万动力学的全局优化算法，结合边界反射与诺伊曼边界泊松方程概率表示，得到优于现有凸约束非凸问题方法的收敛速率。
2024-08-13 math.OC math.PR stat.ML
Convergence Analysis of a Momentum Algorithm with Adaptive Step Size for Non Convex Optimization
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎高等电信学院，巴黎理工学院）
虽然ADAM是一个非常流行的算法，用于优化神经网络的权重，它最近已被证明，它可以发散，即使在简单的凸优化的例子。已经提出了ADAM的几个变体来规避这个收敛问题。在本文中，我们在自适应学习率的有界性假设下，研究了光滑非凸优化问题的ADAM算法。自适应步长的界限取决于目标函数的梯度的Lipschitz常数，并提供安全的理论自适应步长。在这个有界性假设下，我们在确定性和随机性的背景下，一个新的一阶收敛速度的结果。利用Kurdyka-Lojasiewicz性质建立了函数值序列的收敛速度.
2020-09-24 cs.LG math.OC stat.ML
Finite-Time Convergence of Continuous-Time Optimization Algorithms via Differential Inclusions
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Mitsubishi Electrics Research Laboratories（三菱电机研究实验室）
在本文中，我们提出了两个不连续的动力系统在连续时间内保证规定的有限时间局部收敛到严格的局部极小值的给定费用函数。我们的方法包括利用一个基于Lyapunov的微分不等式的微分包含，这导致有限时间稳定性，从而有限时间收敛与可证明的边界上的解决时间。特别地，对于上述微分不等式的精确解，稳定时间界也是精确的，从而实现了规定的有限时间收敛。因此，我们构造了一类不连续的动力系统，二阶的费用函数，作为连续时间优化算法的有限时间收敛和规定的收敛时间。最后，我们说明我们的结果Rosenbrock函数。
2019-12-18 cs.LG math.OC stat.ML
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
A Short Note of PAGE: Optimal Convergence Rates for Nonconvex Optimization
KAUST（阿卜杜拉国王科技大学）
在本文中，我们首先回顾非凸问题设置并介绍最优PAGE算法（Li et al.，ICML'21）。然后，我们提供了一个简单而干净的收敛分析PAGE实现最佳的收敛速度。此外，PAGE和它的分析可以很容易地采用和推广到其他作品。希望本文能对今后的工作有所启发和帮助。
2021-06-17 cs.AI cs.DS cs.LG
Stochastic Non-convex Optimization with Strong High Probability Second-order Convergence
The University of Iowa（爱荷华大学）
本文研究了具有非凸随机函数的随机非凸优化问题。最近对非凸优化的研究围绕着建立二阶收敛，即，收敛到近二阶最优平稳点。然而，现有的随机非凸优化的结果是有限的，特别是在一个高概率的二阶收敛。我们提出了一种新的更新步骤（命名为NCG-S），利用随机梯度和噪声的负曲率的随机Hessian，其中的随机梯度和Hessian是基于一个适当的小批量的随机函数。在此基础上，我们开发了两种算法，并建立了它们的高概率二阶收敛性。据我们所知，所提出的随机算法是第一个具有二阶收敛{ \it高概率}和时间复杂度是{ \it几乎线性}的问题的维度。
2017-11-01 cs.LG math.OC stat.ML
Finite-Sum Optimization: A New Perspective for Convergence to a Global Solution
CWI Amsterdam（阿姆斯特丹数学与计算机科学中心）；IBM Research（IBM研究院）；Cornell University（康奈尔大学）
深度神经网络（DNN）在许多机器学习任务中取得了巨大成功。它们的训练是具有挑战性的，因为网络架构的损失表面通常是非凸的，甚至是不光滑的。如何以及在何种假设下保证收敛到\textit{global}最小值？我们提出了一个重新制定的最小化问题，允许一个新的递归算法框架。通过使用有界风格的假设，我们证明了收敛到一个$\varepsilon$（全球）最小值使用$\mathcal{\tilde{O}}(1/\varepsilon^3)$梯度计算。我们的理论基础激励进一步的研究，实施和优化的新算法框架和进一步调查其非标准的有界风格的假设。这个新方向拓宽了我们对DNN训练为什么以及在什么情况下收敛到全局最小值的理解。
2022-02-07 cs.LG math.OC stat.ML
Convergence of Cubic Regularization for Nonconvex Optimization under KL Property
The Ohio State University（俄亥俄州立大学）
三次正则化牛顿法（CR）是求解非凸最优化问题的一种保证二阶稳定解的常用算法。然而，现有的理解CR的收敛速度的条件下，特殊类型的几何性质的目标函数。本文利用非凸目标函数普遍存在的Kurdyka-Lojasiewicz（KL）性质，研究了CR的渐近收敛速度.具体地，我们刻画了CR的各种最优性测度的渐近收敛速度，包括函数值间隙、变距离间隙、梯度范数和黑塞矩阵的最小特征值.我们的研究结果充分刻画了这些最优性措施在KL属性的全参数范围内的各种收敛行为。此外，我们还证明了在KL性质下，CR算法的渐近收敛速度比一阶梯度下降算法的收敛速度要快。
2018-08-22 cs.LG math.OC stat.ML
On the Global Convergence of Imitation Learning: A Case for Linear Quadratic Regulator
Northwestern University（西北大学）；University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）
研究了线性二次型调节器的生成对抗模仿学习的全局收敛性，该问题被描述为极小极大优化问题。为了解决非凹凸几何所带来的挑战，我们分析了交替梯度算法，并建立了其Q-线性收敛到一个唯一的鞍点，同时恢复全局最优的策略和奖励函数。我们希望我们的结果可以作为理解和驯服模仿学习中的不稳定性的一小步，以及来自强化学习和生成对抗学习的更一般的非凸-凹交替极大极小优化。
2019-01-11 cs.AI cs.LG math.OC
An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks
University of Washington（华盛顿大学）
我们提出了一种基于基本参数和计算来获得深度网络优化算法收敛保证的方法。收敛性分析围绕优化预言机的分析和计算结构展开，而优化预言机是在机器学习软件中实现深度网络的核心。我们提供了一种系统的方法来计算平滑常数的估计值，这些平滑常数决定了用于训练深度网络的一阶优化算法的收敛行为。现代深度网络中出现的一组不同的示例组件和架构穿插在阐述中，以说明该方法。
2020-12-30 cs.LG stat.ML
Convergence Analysis of Optimization Algorithms
优化算法的后悔界是评价算法性能的基本准则之一。通过考察传统算法和自适应算法的遗憾界之间的差异，我们提供了一个指导选择优化器相对于给定的数据集和损失函数。为了分析，我们假设损失函数是凸的，并且其梯度是Lipschitz连续的。
2017-07-06 cs.AI cs.LG math.OC
Curvature-Dependant Global Convergence Rates for Optimization on Manifolds of Bounded Geometry
我们给出了定义在1-有界几何流形上的弱凸函数的最优化问题的曲率依赖的收敛速度，通过黎曼梯度下降和动态平凡化算法.为了做到这一点，我们给出了一个更严格的限制的范数的海森的黎曼指数比以前已知的。我们计算这些边界显式的一些流形中常用的优化文献，如特殊的正交群和真正的格拉斯曼。一路上，我们提出了自包含的证明完全一般的指数映射的微分范数和某些余弦不等式的流形上，这是常用的流形上的优化。
2020-08-06 cs.NA math.DG math.NA
Convergence of Expectation-Maximization Algorithm with Mixed-Integer Optimization
针对含离散与连续混合参数时EM算法收敛分析困难的问题，提出一组保障特定类EM算法收敛的条件，为混合整数非线性优化迭代算法提供新分析技术，并验证了相关稀疏贝叶斯学习算法的收敛性。
2024-04-17 eess.SP stat.ML
The Behavior and Convergence of Local Bayesian Optimization
University of Pennsylvania（宾夕法尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
该研究针对高维场景下贝叶斯局部优化行为与收敛性不明的问题，分析了局部方法的特性，首次严格证明Müller等人2021年提出的算法在含噪和无噪设置下的收敛速率。
2024-03-08 cs.LG stat.ML
On the Convergence of Bound Optimization Algorithms
Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究所）；University of Toronto（多伦多大学）；University College London（伦敦大学学院）
许多使用EM算法的从业者抱怨它有时很慢。什么时候会发生这种情况，对此可以做些什么？在本文中，我们研究了一般类的边界优化算法-包括期望最大化，迭代缩放和CCCP -以及它们与直接优化算法（如基于梯度的参数学习方法）的关系。我们得到的更新之间的一般关系进行约束优化方法和梯度和二阶方法，并确定分析条件下，约束优化算法表现出拟牛顿行为，和条件下，他们拥有穷人，一阶收敛。基于这种分析，我们考虑了几个具体的算法，解释和分析其收敛特性，并提供了一些配方预处理这些算法的输入，以产生更快的收敛行为。我们报告的实证结果支持我们的分析，并表明，简单的数据预处理可以导致显着提高性能的绑定优化在实践中。
2012-10-19 cs.LG stat.ML
When Will Generative Adversarial Imitation Learning Algorithms Attain Global Convergence
The Ohio State University（俄亥俄州立大学）
生成对抗模仿学习（GAIL）是一种流行的反向强化学习方法，用于从专家轨迹中联合优化策略和奖励。关于GAIL的一个主要问题是将某个策略梯度算法应用于GAIL是否获得全局最小值（即，产生专家策略），对此现有的理解非常有限。这样的全局收敛性仅在线性（或线性型）MDP和线性（或可线性化）报酬下得到证明。在本文中，我们研究GAIL下一般MDP和非线性奖励函数类（只要目标函数是强凹的奖励参数）。我们描述了一个次线性速率的全局收敛性的广泛使用的策略梯度算法，所有这些都是实现在一个交替的方式与随机梯度上升的奖励更新，包括预计策略梯度（PPG）-GAIL，弗兰克-沃尔夫策略梯度（FWPG）-GAIL，信任域策略优化（TRPO）-GAIL和自然策略梯度（NPG）-GAIL。这是第一次对GAIL算法的全局收敛性进行系统的理论研究。
2020-06-25 cs.LG stat.ML
On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond
Baidu Research（百度研究院）
DANE算法是一种近似牛顿方法，广泛用于通信高效的分布式机器学习。对DANE感兴趣的原因包括可扩展性和多功能性。然而，收敛的DANE，可以是棘手的，其吸引人的收敛速度是严格的二次目标，并为更一般的凸函数的已知结果是不强于经典的一阶方法。为了弥补这些缺点，本文提出了一些新的替代DANE更适合分析。我们首先介绍了一个简单的变种DANE配备回溯线搜索，全局渐近收敛和更尖锐的局部非渐近收敛速度的保证，可以证明二次和非二次强凸函数。然后我们提出了一个重球方法来加速DANE的收敛，证明了对于强凸函数可以建立近似紧的局部收敛速度，并且通过适当的算法修改，同样的结果也适用于线性预测模型。数值证据证实了我们的方法的理论和实践的优势。
2019-08-06 cs.LG stat.CO stat.ML
Global Convergence of Gradient Descent for Deep Linear Residual Networks
Princeton University（普林斯顿大学）
通过提出一种新的初始化方法：零非对称（ZAS）初始化，分析了深度线性残差网络的梯度下降算法的全局收敛性.它的动机是避免鞍点的稳定流形。我们证明了在ZAS初始化下，对于任意目标矩阵，梯度下降算法在$O(L^3 \log(1/\varepsilon))$迭代中收敛到$\varepsilon$ -最优点，该最优点与网络深度$L$成多项式关系.我们的结果和标准初始化（Xavier或近似恒等式）的$\exp(Ω(L))$收敛时间[Shamir，2018]一起证明了残差结构和初始化在深度线性神经网络优化中的重要性，特别是当$L$很大时。
2019-11-02 cs.LG stat.ML
