Noise Resilience and Robust Convergence Guarantees for the Variational Quantum Eigensolver
Institute for Systems Theory and Automatic Control, University of Stuttgart（斯图加特大学系统理论与自动控制研究所）；Center for Integrated Quantum Science and Technology (IQST), University of Stuttgart（斯图加特大学集成量子科学与技术中心）
针对含噪声量子电路，推导变分量子本征求解器最优参数误差上界，证明算法对扰动参数的稳健收敛性，并通过数值模拟验证。
2026-07-03 cs.SY eess.SY math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化，我们专注于分布式随机梯度下降（D-SGD）-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证，并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化，我们讨论了基于退火的方法，其中缓慢衰减的噪声被添加到D-SGD。条件下，收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Paving the Way for Consensus: Convergence of Block Gossip Algorithms
Gossip协议是分布式计算中解决平均一致性问题的常用方法。我们证明了新的收敛保证各种这样的协议，包括路径，集团，和同步成对的八卦。这些都是通过利用这些协议和块随机Kaczmarz方法解决线性系之间的连接。此外，我们扩展现有的块随机Kaczmarz的收敛结果，允许更一般的选择块，秩亏系统，并提供更严格的收敛速度保证。我们进一步将这种分析应用于不一致的共识模型，并获得类似的保证。这些方法提供了一个广泛的实证分析各种合成网络。
2021-10-27 cs.DC cs.MA cs.SY
A Two-level ADMM Algorithm for AC OPF with Global Convergence Guarantees
提出了一种求解具有收敛保证的交流最优潮流问题的两级分布式算法框架。最优潮流中高度非凸约束的存在对基于乘子交替方向法的分布式算法提出了重大挑战。特别地，对于非凸网络最优化问题，如AC OPF，收敛性不能被证明保证。为了克服这一困难，我们提出了一个新的分布式交流OPF和两级ADMM算法，超越了标准的ADMM框架。在适当的假设下证明了算法的整体收敛性和迭代复杂性。通过对NESTA和PGLib-OPF（最多30，000个总线系统）的一些最大测试用例进行大量数值实验，证明了该算法在收敛性、可扩展性和鲁棒性方面优于现有ADMM变体。此外，在适当的并行实现下，该算法具有快速收敛可比或甚至优于最先进的集中式求解器。
2021-06-11 math.OC
Convergence Guarantees of Policy Optimization Methods for Markovian Jump Linear Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究马尔可夫跳变线性系二次控制策略优化的收敛性。首先，我们研究的直接政策优化MJLS的优化景观，特别是，显示，尽管所产生的问题的非凸性的唯一固定点是全局最优解。接下来，我们证明了高斯-牛顿法和自然政策梯度法收敛到最优状态反馈控制器的MJLS在一个线性速率，如果初始化在一个控制器，稳定的闭环动态的均方意义。我们提出了一个新的李雅普诺夫参数来解决收敛性证明中的一个关键稳定性问题。最后，我们给出了一个数值例子来支持我们的理论。我们的工作为理解策略学习方法在控制未知MJLS上的性能带来了新的见解。
2020-02-10 cs.LG cs.SY eess.SY
Lyapunov Functions for First-Order Methods: Tight Automated Convergence Guarantees
本文提出了一种新的构造李雅普诺夫函数的方法，用于证明一阶最优化方法的线性收敛速率。我们的方法可证明获得最快的线性收敛速率，可以验证由二次李雅普诺夫函数（与给定的状态），只依赖于解决一个小规模的半定规划。我们的方法结合了性能估计问题（PEP，由于Drori & Teboulle（2014））和积分二次约束（IQC，由于Lessard等人（2016））的优点，并依赖于凸插值（由于Taylor等人（2017 c;b））。
2018-06-11 math.OC
A Low-Power Hardware-Friendly Optimisation Algorithm With Absolute Numerical Stability and Convergence Guarantees
提出双反馈广义近端梯度下降法（DFGPGD）和广义近端ADMM，证明了其收敛性与绝对数值稳定性，并在FPGA ZCU106上验证了其低功耗与高能效优势。
2023-06-29 cs.PF cs.SY eess.SP
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees
ABB Corporate Research（ABB企业研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出了异步迭代的新收敛结果，明确了异步程度对收敛速率的影响，加强了现有异步优化算法的理论保证，并改进了多种流行算法的复杂度界限与收敛分析。
2023-04-03 cs.DC cs.LG cs.SY
A note on the convergence guarantees of RLT-based algorithms for polynomial optimization
University of Vigo（维戈大学）；CITMAga (Galician Center for Mathematical Research and Technology)（加利西亚数学研究与技术中心）；University of Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
本文指出并修正了多项式优化中RLT方法基础结果的一个数学疏漏，通过添加自然假设恢复收敛性保证。
2026-10-06 math.OC
Single Time-scale Actor-critic Method to Solve the Linear Quadratic Regulator with Convergence Guarantees
Duke University（杜克大学）
我们提出了一个单时间尺度的行动者-评论家算法来解决线性二次型调节器（LQR）问题。最小二乘时间差（LSTD）方法应用于评论家和自然政策梯度法用于演员。我们给出了一个收敛性的证明与样本复杂度$\mathcal{O}(\varepsilon^{-1} \log(\varepsilon^{-1})^2)$。证明中的方法适用于一般的单时间尺度双层最优化问题。我们还数值验证了我们的理论结果的收敛性。
2022-06-03 cs.LG math.OC
Density-Driven Optimal Control: Convergence Guarantees for Stochastic LTI Multi-Agent Systems
New Mexico Institute of Mining and Technology（新墨西哥矿业与技术学院）
本文提出随机密度驱动最优控制方法，通过拉格朗日框架实现多智能体系统非均匀区域覆盖，确保在随机LTI动态下时间平均经验分布收敛到非参数目标密度。
2026-04-09 cs.MA cs.RO cs.SY
PL conditions do not guarantee convergence of gradient descent-ascent dynamics
Department of Mathematics, ENS Lyon and CNRS（里昂高等师范学院数学系与法国国家科学研究中心）
本文通过例子说明满足双侧Polyak-Lojasiewicz条件的函数，其梯度下降-上升流线可能无法收敛至鞍点，而是在其周围循环。函数在某一变量强凸，另一变量满足PL条件。
2026-09-09 math.OC
Optimal Primal-Dual Algorithm with Last iterate Convergence Guarantees for Stochastic Convex Optimization Problems
针对带函数约束的复合非光滑随机凸优化，提出基于增广拉格朗日和约束线性化的Aug-ConEx算法，首次在最后迭代上取得无额外log K因子的最优及加速收敛保证。
2024-10-24 math.OC
Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees
EPFL（洛桑联邦理工学院）；Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔研究中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
该研究针对梯度裁剪收敛保证依赖特定阈值与强噪声假设的问题，推导了其与任意裁剪阈值相关的紧收敛界，证明随机场景下标准假设无法保证收敛到最优解，并通过实验验证了理论结果。
2023-11-09 cs.DC cs.LG math.OC
Improving Convergence Guarantees of Random Subspace Second-order Algorithm for Nonconvex Optimization
针对高维非凸优化问题，本文提出随机子空间均匀化信赖域（RSHTR）方法，在随机子空间类算法中实现最优收敛理论保证，并通过真实数据集实验验证了其有效性。
2025-03-23 math.OC
Shuffling Heuristic in Variational Inequalities: Establishing New Convergence Guarantees
针对变分不等式随机求解中独立采样的局限，本文研究洗牌启发式方法，首次给出其理论收敛估计与严格收敛速率，并通过基准实验证明其收敛更快。
2025-10-21 cs.LG math.OC
Simple Stepsize for Quasi-Newton Methods with Global Convergence Guarantees
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed大学人工智能学院）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术研究所）；Innopolis University（Innopolis大学）；Skoltech
本文提出一种简单步长调度，使拟牛顿方法在凸函数上获得 ${O}(1/k)$ 全局收敛速度，并在Hessian近似精度受控时达到 ${O}(1/k^2)$ 加速收敛，同时开发了保持全局收敛保证的自适应变体。
2025-08-27 cs.LG math.OC
Provable convergence guarantees for black-box variational inference
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Université Paris Cité（巴黎西岱大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Flatiron Institute（熨斗研究所）
本文针对黑盒变分推断缺乏收敛保证的问题，利用重参数化梯度估计器的二次噪声界，为近端和投影随机梯度下降提供了新的收敛证明，从而为实践中的方法提供了理论支撑。
2023-12-21 cs.LG math.OC stat.ML
Modified Line Search Sequential Quadratic Methods for Equality-Constrained Optimization with Unified Global and Local Convergence Guarantees
本文提出一种改进线搜索序列二次规划方法用于非线性等式约束优化，利用二阶信息缓解Maratos效应，具备全局与局部超线性收敛保证，并扩展至随机目标函数及无矩阵变体，数值实验验证其高效性。
2024-07-26 math.OC
From Consensus-Based Optimization to Particle Swarm Optimization: Convergence Guarantees under Drift-Diffusion Coupling
California Institute of Technology（加州理工学院）；Brown University（布朗大学）
本文分析粒子群优化（PSO）参数耦合对基于共识优化（CBO）收敛保证的影响，通过显式构造证明存在非空参数集使保证成立，但范围缩小，故CBO保证不能直接扩展至经典PSO，并用数值模拟验证。
2026-09-16 cs.NA math.NA math.OC
Geometry-dependent matching pursuit: a transition phase for convergence on linear regression and LASSO
本文提出依据问题几何结构生成正则化匹配追踪算法的原则性方法，给出收敛保证，并揭示其从欠参数化到过参数化情形的收敛过渡现象。
2024-03-05 math.OC
Majorization Minimization Methods for Distributed Pose Graph Optimization with Convergence Guarantees
Northwestern University（西北大学）
在本文中，我们考虑的问题，分布式位姿图优化（PGO），在多机器人同时定位和地图（SLAM）中有着广泛的应用。我们提出了优化最小化方法的分布式PGO和我们提出的方法是保证收敛到一阶临界点在温和的条件下。此外，由于我们所提出的方法依赖于分布式PGO的邻近算子，因此使用Nesterov方法可以显著加快收敛速度，更重要的是，加速不会导致理论保证的妥协。此外，我们还提出了加速优化最小化方法的分布式弦初始化，具有平方收敛，它可以用来计算初始猜测分布式PGO。通过在一些2D和3D SLAM数据集上的应用以及与现有最先进的方法的比较，验证了这项工作的有效性，这表明我们提出的方法具有更快的收敛速度，并且可以更好地解决分布式PGO问题。
2021-05-04 cs.LG cs.RO math.OC
Successive Convexification with Feasibility Guarantee via Augmented Lagrangian for Non-Convex Optimal Control Problems
本文提出一种融合逐次凸化与增广拉格朗日法的新算法，通过对优化变量和拉格朗日乘子交替迭代，在保留SCvx优良特性的同时保证了对非凸最优控制问题可行局部解的全局收敛性。
2024-10-11 math.OC
Learning Over-Relaxation Policies for ADMM with Convergence Guarantees
Department of Engineering Science, University of Oxford（牛津大学工程科学系）
本文提出通过学习在线更新松弛参数来提升ADMM在特定问题类上的性能，证明了在弱假设下ADMM在时间变化惩罚和松弛参数下的收敛性，并在基准二次程序中验证了学习策略在迭代次数和运行时间上的优势。
2026-10-06 cs.LG math.OC
Subsampled online matrix factorization with convergence guarantees
Inria（法国国家信息与自动化研究所）
我们提出了一种矩阵分解算法，该算法可以扩展到两个维度都很大的输入矩阵（即，包含超过1TB的数据）。该算法在对矩阵列进行二次采样的同时对矩阵列进行流处理，从而降低了每次迭代的复杂度，并节省了合理的内存。与以前的在线矩阵分解方法相比，我们的方法依赖于过去迭代的低维统计数据来控制由子采样引入的额外方差。我们提出了一个收敛性分析，保证我们达到一个固定点的问题。与以前的在线算法相比，可以获得大的速度提升，这要归功于高维设置中经常存在的特征冗余。
2016-11-30 cs.LG math.OC stat.ML
Data-Driven Performance Guarantees for Parametric Optimization Problems
本研究提出一种数据驱动方法，将参数优化的收敛分析构建为场景优化规划，推导迭代次数的概率保证，引入松弛方法实现迭代次数与违规风险的权衡，并分析固定迭代下精度与效率的权衡，数值仿真验证了方法的有效性。
2025-10-30 math.OC
On the Convergence of NEAR-DGD for Nonconvex Optimization with Second Order Guarantees
我们考虑的设置中的节点的无向，连接的网络合作，以解决一个共同的目标建模为光滑函数的总和。我们假设每个被加数都是由一个唯一的节点私下知道的。NEAR-DGD是一种分布式一阶方法，它允许相对于本地执行的计算量来调整节点之间的通信量，以便平衡收敛精度和总应用成本。在这项工作中，我们推广的收敛性质的变体NEAR-DGD从强凸的非凸的情况下。在温和的假设下，我们收敛到一个自定义的李雅普诺夫函数的最小值。此外，我们证明了这些极小值和原问题的二阶稳态解之间的差距可以变得任意小，这取决于算法参数的选择。最后，我们伴随着我们的理论分析与数值实验来评估NEAR-DGD在非凸设置的经验性能。
2021-04-09 math.OC
A stochastic gradient algorithm for non-separable optimization with convergence guarantee
Fudan University（复旦大学）
针对损失依赖数据集整体量的非可分目标，提出一种SGD框架，利用理想批量梯度G和缓存代理H，在温和光滑性假设下证明局部线性/次线性收敛，并给出步长范围显式界。
2026-11-10 cs.NA math.NA math.OC
Convergence and Recovery Guarantees of the K-Subspaces Method for Subspace Clustering
K-subspaces（KSS）方法是子空间聚类的K-means方法的推广。在这项工作中，我们提出了局部收敛分析和恢复保证KSS，假设数据产生的半随机联盟的子空间模型，其中$N$点随机采样从$K \ge 2$重叠的子空间。我们表明，如果KSS方法的初始分配位于一个真正的聚类邻域内，它以超线性速度收敛，并以高概率在$Θ(\log\log N)$迭代内找到正确的聚类。此外，我们提出了一个阈值内积为基础的谱方法的初始化，并证明它产生一个点在这个邻域。我们还提出了所研究的方法，以支持我们的理论发展的数值结果。
2022-06-19 math.OC stat.ML
Affine-Invariant Global Non-Asymptotic Convergence Analysis of BFGS under Self-Concordance
UT Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）
本文在严格凸强自和谐条件下，无需强凸或Lipschitz假设，证明了BFGS在弱Wolfe线搜索下具有仿射不变的全局线性与超线性收敛，扩展了其非渐近理论。
2025-10-25 cs.NA math.NA math.OC
Local and Global Linear Convergence of General Low-rank Matrix Recovery Problems
在约束等距性质的假设下，研究了基于梯度的局部搜索法在对称和非对称两种情形下求解一般目标的低秩矩阵恢复问题的收敛速度.首先，我们开发了一种新的技术来验证Polyak-Lojasiewicz不等式的全局极小，这导致了一个局部的线性收敛区域的梯度下降法的附近。其次，基于局部收敛结果和本文证明的一个严格鞍点性质，给出了扰动梯度下降法全局线性收敛的两个新条件.发展的局部和整体收敛结果提供了更强的理论保证比现有的结果。作为一个副产品，这项工作显着提高了现有的RIP常数的界限，以保证不存在虚假的解决方案。
2022-03-08 math.OC
Stochastic optimization on continuous domains with finite-time guarantees by Markov chain Monte Carlo methods
我们介绍了有限时间性能的界的马尔可夫链蒙特卡罗算法在接近全球解决方案的随机最优化问题的连续区域。与其他国家的最先进的方法有有限的时间保证解决随机规划问题的比较。
2010-01-07 math.OC
Theoretical Guarantees of Fictitious Discount Algorithms for Episodic Reinforcement Learning and Global Convergence of Policy Gradient Methods
University of California, Berkeley（加州大学伯克利分校）
在设计有限时间范围情景强化学习问题的算法时，一种常见的方法是引入一个虚构的折扣因子，并使用静态策略进行近似。经验上，它已被证明，虚构的折扣因子有助于减少方差，和固定的政策，以节省每次迭代的计算成本。然而，从理论上讲，目前还没有关于这个虚构的折扣配方算法的收敛性分析的工作。本文采取的第一步，对这些算法进行分析。它侧重于两个香草策略梯度（VPG）的变种：第一个是一个广泛使用的变种与折扣优势估计（DAE），第二个额外的虚构折扣因子的分数函数的策略梯度估计。非渐近收敛的保证，这两种算法建立，和额外的折扣因子，以减少在DAE中引入的偏差，从而提高算法的收敛性渐近。我们的分析的一个关键因素是连接马尔可夫决策过程（MDP）的三个设置：有限的时间范围，平均奖励和折扣设置。据我们所知，这是第一个理论保证虚构折扣算法的情节强化学习的有限时间-地平线MDP，这也导致了（第一）全局收敛的策略梯度方法的有限时间-地平线情节强化学习。
2021-09-13 cs.LG math.OC
Global Convergence of Arbitrary-Block Gradient Methods for Generalized Polyak-Łojasiewicz Functions
在本文中，我们介绍了两个新的推广理论的梯度下降型方法在最近的设置。首先，我们引入比例函数，我们进一步使用它来分析所有已知的（和许多新的）块坐标下降法在一个单一的框架下的块选择规则。该框架包括具有均匀、非均匀甚至自适应采样策略的随机方法，以及具有批量、贪婪或循环选择规则的确定性方法。其次，强凸优化理论最近被推广到一类满足所谓的Polyak条件的非凸函数。为了反映这一推广的弱凸的情况下，我们引入弱Polyak-Chaojasiewicz条件，使用它我们给整体收敛保证一类非凸函数以前没有考虑在理论上。此外，我们建立（必然有点弱）收敛保证更大的一类非凸函数满足一定的光滑性假设。通过结合上述两个概括，我们恢复了最先进的收敛保证的一个大类以前已知的方法和设置作为我们的一般框架的特殊情况。此外，我们的框架允许衍生新的保证，许多新的组合的方法和设置，以及一大类新的非凸目标。我们的方法的灵活性为未来的研究提供了很大的潜力，作为一个新的块选择程序将有一个收敛的保证，我们的框架中考虑的所有目标，而根据我们的方法分析的一个新的目标将有一个完整的舰队块选择规则与收敛保证随时可用。
2017-09-09 math.OC
From PowerSGD to PowerSGD+: Low-Rank Gradient Compression for Distributed Optimization with Convergence Guarantees
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）
针对 PowerSGD 在随机设置下无法保证收敛的问题，本文提出 PowerSGD+，通过奇异值分解周期性更新投影子空间以确保与最优子空间对齐，并在标准假设下证明了其收敛性，经大型语言模型任务验证有效。
2025-09-14 cs.LG math.OC
Robust Policy Optimization with Baseline Guarantees
我们的目标是计算一个政策，保证改善回报超过基线政策，即使可用的MDP模型是不准确的。例如，当真实模型不可访问时，可以通过系统辨识技术来构造不准确的模型。当建模误差较大时，所构造模型的标准解相对于真实模型没有性能保证。在本文中，我们开发的算法，提供这样的性能保证，并显示其复杂性和保守性之间的权衡。我们新的基于模型的安全策略搜索算法利用了鲁棒优化技术的最新进展。此外，我们用一个数值例子来说明这些算法的有效性。
2015-06-16 math.OC
Momentum Q-learning with Finite-Sample Convergence Guarantee
The Ohio State University（俄亥俄州立大学）；National University of Singapore（新加坡国立大学）；Southern University of Science and Technology (SUSTech)（南方科技大学）
已有的研究表明，传统优化中的动量思想可以用来提高Q-学习算法的性能。然而，基于动量的Q-学习算法的有限样本分析仅适用于没有函数逼近的表格情况。分析了一类有限样本保证的动量Q-学习算法。具体来说，我们提出了动量Q算法，它集成了Nesterov和Polyak的动量计划，并推广了现有的基于动量的Q-学习算法。对于无限状态-动作空间的情况，我们建立了收敛保证MomentumQ与线性函数逼近和马尔可夫采样。特别是，我们描述了有限样本收敛速度，这是可证明的速度比香草Q学习。这是第一个有限样本分析的动量为基础的Q-学习算法函数逼近。对于同步采样下的表格的情况下，我们也得到了一个有限样本的收敛速度，这是略优于SpeedyQ \citep{azar2011speedy}选择一个特殊的家庭的步长。最后，我们通过各种实验证明，所提出的MomentumQ优于其他基于动量的Q-学习算法。
2020-07-30 cs.LG math.OC stat.ML
Sharper Convergence Guarantees for Federated Learning with Partial Model Personalization
针对联邦学习中的部分模型个性化问题，本文提出 FedAvg-P 与 Scaffold-P，并在更宽松假设下给出更优收敛保证。
2023-09-29 math.OC
Learning-based Robust Optimization: Procedures and Statistical Guarantees
鲁棒优化（Robust optimization，RO）是求解不确定约束最优化问题的一种常用方法。在本文中，我们研究了一个统计框架，将数据集成到RO中，基于使用与已建立的RO工具兼容的几何形状（组合）学习预测集，以及实现有限样本非参数统计保证可行性的简单数据分割验证步骤。我们证明了我们所需的样本量，以实现在给定的置信水平的可行性是独立的决策空间和概率空间的随机性的尺寸，并讨论了一些方法来提高客观性能，同时保持这些无量纲的统计可行性保证。
2020-03-01 math.OC
A Cross Entropy based Optimization Algorithm with Global Convergence Guarantees
Indian Institute of Science（印度科学学院）
交叉熵（CE）方法是一种基于模型的搜索方法，用于解决目标函数具有最小结构的优化问题。蒙特卡罗版本的CE方法采用朴素的样本平均技术，这是低效的，无论是计算和空间明智的。我们提供了一种新的随机近似版本的CE方法，其中的样本平均被替换为增量几何平均。这种方法可以节省大量的计算和存储成本。我们的算法是增量的性质，并具有额外的吸引力的功能，如准确性，稳定性，鲁棒性和收敛到全局最优的一类特定的目标函数。我们评估了各种全局优化基准问题的算法，得到的结果证实了我们的理论研究结果。
2018-01-31 cs.AI math.OC
Convergence Guarantees for Neural Network-Based Hamilton-Jacobi Reachability
本文为求解Hamilton-Jacobi-Isaacs方程的DeepReach深度学习方法建立了一致收敛性保证，证明损失泛函收敛到零时神经网络近似一致收敛到经典解，并通过数值实验验证了上确界范数损失对近似误差的影响。
2024-10-03 cs.NA math.NA math.OC
New Q-Newton's method meets Backtracking line search: good convergence guarantee, saddle points avoidance, quadratic rate of convergence, and easy implementation
University of Oslo（奥斯陆大学）
在最近的合作工作中，作者发展了一种改进的牛顿法，称为新Q-牛顿法，它可以避免鞍点，并具有二次收敛速率。虽然良好的理论收敛保证尚未建立这种方法，小规模的问题上的实验表明，该方法的作品非常有竞争力的其他众所周知的修改牛顿法，如自适应立方正则化和BFGS，以及一阶方法，如无界双向回溯梯度下降。在本文中，我们解决了收敛保证问题，提出了一个修改的新Q-牛顿法，命名为新Q-牛顿法回溯，它结合了一个更复杂的使用超参数和回溯线搜索。这种新方法有很好的理论保证，对于{ \bf Morse函数}产生以下结果（这对于新Q-牛顿法是未知的）：{ \bf定理}。设$f:\mathbb{R}^m\rightarrow \mathbb{R}$是Morse函数，即它的所有临界点都具有可逆的Hessian。然后，对于从随机初始点$x_0$用新Q-牛顿法回溯构造的序列$\{x_n\}$，我们有以下两种选择：i）$\lim_{n\rightarrow\infty}||x_n||=\infty$，或ii）$\{x_n\}$收敛到$f$的一个{ \bf局部极小}点$x_{\infty}$，且其收敛速率为{ \bf二次型}.此外，如果$f$具有紧凑的子能级，则只发生情况ii）。据我们所知，对于Morse函数，这是迄今为止文献中迭代优化算法的最佳理论保证。我们在小规模的实验中测试了新Q-牛顿法回溯的一些进一步简化版本，发现新方…
2021-08-23 cs.LG cs.NA math.DS
A Recipe for Global Convergence Guarantee in Deep Neural Networks
Harvard University（哈佛大学）；Stanford University（斯坦福大学）
（随机）梯度下降的现有全局收敛保证不适用于深度学习的实际机制中的实际深度网络，超出了神经切线核（NTK）机制。本文提出了一种算法，这是确保具有全局收敛性的保证，在实际制度超过NTK制度，在一个可验证的条件下，称为表达性条件。的表达条件被定义为数据依赖和架构依赖，这是关键的属性，使我们的结果适用于实际设置超出NTK制度。一方面，理论上证明了表达性条件对于具有窄隐藏层和单个宽层的完全连接的深度神经网络保持数据独立。另一方面，表达性条件在数值上显示为对于具有各种标准图像数据集的批量归一化的深度（卷积）ResNet具有数据依赖性。我们还表明，该算法具有推广性能与启发式算法，具有相同的超参数和总迭代次数。因此，所提出的算法可以被视为在实践中为深度学习提供理论保证的一步。
2021-04-15 cs.AI cs.CV cs.LG
Linear convergence of a dual optimization formulation for distributed optimization on directed graphs with unreliable communications
这项工作的基础上，我们最近的工作与定向不可靠的通信图的分布式优化算法。当我们取每个函数的最接近点或当函数光滑时取仿射次量时，我们证明了它的线性收敛。
2018-11-28 math.OC
Global Convergence and Rate Analysis of the Steepest Descent Method for Uncertain Multiobjective Optimization via a Robust Optimization Approach
本文针对不确定多目标优化问题，在已有局部收敛性工作基础上，严格证明了最速下降法的全局收敛性和线性收敛速率，从而完善其理论基础并提升鲁棒优化方法的实用性。
2025-03-09 math.OC
Convex optimization over intersection of simple sets: improved convergence rate guarantees via an exact penalty approach
本文考虑了极小化一个凸函数的问题。这是机器学习等各个领域中出现的重要问题。主要困难在于求一点在多个集合的交集中的投影。现有的方法产生一个不可行点的迭代复杂度为$O(1/\varepsilon^2)$的非光滑问题，没有保证的不可行。通过精确罚函数的形式化，我们得到了一阶算法，它不仅保证了到交点的距离很小，而且对于光滑函数，提高了$O(1/\varepsilon)$和$O(1/\sqrt{\varepsilon})$的复杂度.对于复合材料和光滑的问题，这是通过一个鞍点重新制定所需的原始对偶法的近端运营商可以计算在封闭的形式。我们说明了我们的方法的好处图转换问题和图匹配。
2017-10-17 math.OC
Convergence, Duality and Well-Posedness in Convex Bilevel Optimization
本文针对凸双层优化问题，指出强对偶性与算法收敛的挑战，证明强对偶性等价于内外层函数值的渐近收敛，并结合Levitin-Polyak适定性给出保证收敛到最优解集的条件。
2025-09-26 math.OC
A Constraint Handling Approach with Guaranteed Feasibility for Surrogate Based Optimization
无约束的最优化方法，如基于代理的优化（SBO）方法和遗传（GAs）或进化（EAs）算法，在昂贵的黑盒函数的约束优化领域已经得到普及。然而，约束处理方法，这两类求解器，通常不保证严格可行的候选人在优化。这可能成为应用工程问题中的一个问题，其中设计变量必须保持可行，以确保模拟不会失败。我们提出了一个约束处理方法，计算成本低的约束函数，保证严格可行的候选人时，使用代理优化。我们比较我们的方法与其他SBO，GA/EA和基于梯度的算法在两个（相对简单和相对困难）的分析检验函数，并应用完全解决计算流体动力学（CFD）问题有关的优化波动游泳的鱼一样的身体，并表明，该算法显示出良好的结果，同时保证可行的候选人。
2021-07-21 math.OC physics.flu-dyn
GuSTO: Guaranteed Sequential Trajectory Optimization via Sequential Convex Programming
Stanford University（斯坦福大学）
序列凸规划（SCP）作为一种轨迹优化的工具，最近引起了人们极大的兴趣.然而，大多数可用的方法缺乏严格的性能保证，并且它们通常针对特定的最优控制设置。本文提出了GuSTO（Guaranteed Sequential Trajectory Optimization）算法框架，用于求解具有漂移的仿射控制系统的轨迹最优化问题。GuSTO概括了早期基于SCP的轨迹优化方法（通过解决目标集约束和具有固定或自由最终时间的问题），并在收敛到至少一个稳定点方面享有理论收敛保证。进一步利用理论分析，设计一个加速实施的GuSTO，它最初注入的想法，从间接最优控制到SCP的上下文中。在各种轨迹优化设置上的数值实验表明，GuSTO在成功率、解决方案质量和计算时间方面通常优于当前最先进的方法。
2019-03-01 cs.RO math.OC
Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees
Institute of Operations Research and Analytics（运筹学与分析研究所）；National University of Singapore（新加坡国立大学）；School of Computer and Computing Science（计算机与计算科学学院）；Hangzhou City University（杭州城市大学）；State Key Laboratory of Scientific and Engineering Computing（科学与工程计算国家重点实验室）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Department of Mathematics（数学系）
本文研究Adam族方法在非光滑优化中的收敛性，提出双时间尺度框架并开发结合梯度裁剪的随机次梯度方法，为非光滑神经网络训练提供收敛保证，并在温和噪声假设下验证了高效性与鲁棒性。
2024-02-19 cs.LG math.OC stat.ML
Second Order Optimality Conditions and Improved Convergence Results for a Scholtes-type Regularization for a Continuous Reformulation of Cardinality Constrained Optimization Problems
本文考虑基数约束下的非线性最优化问题。基于连续的重构，我们引入了二阶最优性的充分必要条件最优性条件。在这样的二阶条件下，我们可以保证M-平稳点的局部唯一性。最后，我们利用这一观察到的基数约束最优化问题的Scholtes型松弛法，保证在适当的假设下的迭代的存在性和收敛性提供了扩展的局部收敛理论。
2017-09-05 math.OC
A universal black-box optimization method with almost dimension-free convergence rate guarantees
通用的优化方法的目的是实现理论上最优的收敛速度，没有任何先验知识的问题的规律性参数或精度的梯度预言所采用的优化。在这方面，现有的最先进的算法实现了在具有完美梯度预言的Lipschitz平滑问题中的$\mathcal{O}(1/T^2)$值收敛速度，以及当潜在问题是非平滑的和/或梯度预言是随机的时的$\mathcal{O}(1/\sqrt{T})$收敛速度。缺点是，这些方法没有考虑问题的维数，这在理论和实践中都会对所达到的收敛速度产生灾难性的影响。我们的论文旨在弥合这一差距，提供了一个可扩展的通用梯度法-称为UnderGrad -其预言的复杂性几乎是无量纲的问题，一个有利的几何形状（如单纯形，线性约束半定程序和组合土匪），同时保留上述顺序最优依赖于$T$。这些“两全其美”的结果是通过一个原始-对偶更新计划的启发，变分不等式的对偶探索方法。
2022-06-19 math.OC
On Feature Learning in Neural Networks with Global Convergence Guarantees
Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）；Center for Data Science（数据科学中心）
我们研究了宽神经网络（NN）通过梯度流（GF）的设置，允许功能学习，同时承认非渐近全局收敛保证的优化。首先，对于宽浅神经网络的平均场尺度下，并与一般类的激活函数，我们证明了当输入维数不小于训练集的大小，训练损失收敛到零在GF下的线性速率。在此分析的基础上，我们研究了一个宽多层NN模型，其倒数第二层通过GF进行训练，我们还证明了训练损失的线性速率收敛到零，但与输入维数无关。我们还表明，经验，不像在神经切线核（NTK）制度，我们的多层模型具有特征学习，可以实现更好的泛化性能比NTK对应。
2022-04-22 cs.LG math.OC math.PR
Convergence of the Min-Sum Algorithm for Convex Optimization
我们建立了最小和消息传递算法及其异步变体收敛于一大类无约束凸优化问题。
2007-05-29 math.OC
