On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks
Texas A&M University（德克萨斯农工大学）
随机次梯度法是一种广泛应用于解决机器学习中大规模最优化问题的算法。通常这些问题既不光滑也不凸。最近，Davis等人。[1-2]描述了弱凸情况下随机次梯度方法的收敛性，其中包括许多重要应用（例如，鲁棒相位恢复、盲去卷积、双凸压缩感测和字典学习）。在实践中，分布式实现的投影随机次梯度法（stoDPSM）被用来加快风险最小化。在本文中，我们提出了一个分布式实现的随机次梯度方法的理论保证。具体而言，我们展示了整体收敛的stoDPSM使用莫罗包络平稳性措施。此外，在一个所谓的锐度条件下，我们表明，确定性DPSM（与适当的初始化）线性收敛到尖锐的最小值，使用几何递减的步长。我们提供了数值实验来支持我们的理论分析。
2021-02-23 cs.LG math.OC stat.ML
Manifold constrained steepest descent for smooth and closed-set optimization
Department of Mathematics, University of Hong Kong, Hong Kong, China（香港大学数学系）
本文提出流形约束最速下降（MCSD）方法，通过单循环框架在流形上进行优化，并引入SPEL在Stiefel流形上的应用，实现了更稳定的性能和可扩展性。
2026-08-14 cs.LG math.OC
Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
我们提出了一个秩$k$变种的经典Frank-Wolfe算法来解决凸优化的轨迹范数球。我们的算法用一个顶- $k$奇异向量计算（$k$-SVD）代替了Frank-Wolfe算法中的顶奇异向量计算（$1$-SVD），这可以通过重复应用$1$ -SVD $k$次来完成。或者，我们的算法可以被看作是一个排名$k$限制版本的投影梯度下降。当目标函数光滑且强凸时，我们的算法具有线性收敛速度，且最优解的秩至多为$k$。这提高了收敛速度和总的时间复杂度的Frank-Wolfe方法及其变种。
2017-11-09 cs.DS cs.LG math.OC
BalLOT: Balanced $k$-means clustering with optimal transport
Department of Mathematics, The Ohio State University（数学系，俄亥俄州立大学）；Translational Data Analytics Institute, The Ohio State University（转化数据分析研究所，俄亥俄州立大学）
BalLOT通过最优传输方法实现平衡k均值聚类，提供快速有效解决方案，并在理论和实验上证明了其在聚类恢复中的有效性。
2026-10-02 cs.DS cs.IT cs.LG
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
Projected shrinkage algorithm for box-constrained L1-minimization
当修正框约束可用时，框约束L1最小化的性能明显优于经典L1最小化。而且许多实际的L1-极小化模型确实涉及盒约束，因为它们从某个区间取某些值。本文提出了一种有效的迭代格式，即投影收缩（ProShrink）算法，用于求解一类框约束L1-极小化问题。该方法的一个重要贡献是，在推导过程中出现的一个复杂的邻近点算子可以等价地简化为一个投影收缩算子。理论上，我们证明了ProShrink算法对原始点序列和对偶点序列都是收敛的.在数值层面上，我们证明了通过稀疏恢复实验添加框约束的好处。
2014-08-22 math.OC
Quickly Finding a Benign Region via Heavy Ball Momentum in Non-Convex Optimization
Georgia Institute of Technology（佐治亚理工学院）
由Polyak在50多年前提出的重球方法是一种用于优化连续函数的一阶方法。虽然它的随机对应物在训练深度网络中非常受欢迎，但几乎没有已知的函数可以证明确定性重球比非凸优化中的简单经典梯度下降算法更快。到目前为止，《重球》的成功还没有得到理论上的理解。我们的目标是解决这一差距，在目前的工作中，我们确定了两个非凸问题，我们证明，重球动量有助于进入一个良性的区域，包含一个全局最优点更快。我们发现，重球表现出简单的动力学，清楚地揭示了使用更大的值的动量参数的问题的好处。这些优化问题中的第一个是相位恢复问题，其在物理科学中具有有用的应用。第二个优化问题是Nesterov-Polyak正则化最小化，这是Nesterov-Polyak正则化方法在一般光滑非凸问题中找到二阶稳定点所需的关键子程序。
2021-02-14 cs.LG stat.ML
Dual Iterative Hard Thresholding: From Non-convex Sparse Minimization to Non-smooth Concave Maximization
Rutgers University（罗格斯大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
迭代硬约束保持（IHT）是一类用于优化稀疏约束最小化模型的投影梯度下降方法，具有最好的效率和可扩展性。据我们所知，现有的IHT风格的方法被设计为原始形式的稀疏最小化。它仍然开放，探索对偶理论和算法在这样一个非凸和NP-难的问题设置。在本文中，我们建立了一个对偶理论的稀疏约束最小化与$\ell_2$正则化损失函数，并提出了一个IHT风格的算法对偶最大化。我们的稀疏对偶理论提供了一组充分和必要的条件下，原来的NP-难/非凸问题可以等价地解决在一个对偶制定。提出的对偶IHT算法是一种最大化非光滑对偶目标的超梯度算法。一个有趣的发现是，双IHT的稀疏恢复性能是不变的限制等距属性（RIP），这是所需的几乎所有现有的原始IHT算法没有稀疏松弛。此外，提出了一种随机变形的对偶IHT的大规模随机优化。数值结果表明，双重IHT算法的优越性，最先进的原始IHT风格的算法在模型估计精度和计算效率。
2017-06-21 cs.LG stat.ML
Broximal Gradient Descent: A Projection-Free Sister of Projected Gradient Descent
KAUST（卡塔尔科技大学）
本文提出局部LMO算法，通过局部线性最小化oracle替代传统FW方法中的全局线性最小化oracle，实现了在约束优化中的高效求解，并在多个重要情形下达到了与投影梯度下降相当的收敛速率。
2026-09-29 cs.LG math.OC stat.ML
Clustering with feature selection using alternating minimization, Application to computational biology
I3S, Univ. Côte d’Azur & CNRS（蔚蓝海岸大学与法国国家科学研究中心I3S实验室）；IPMC, Univ. Côte d’Azur & CNRS（蔚蓝海岸大学与法国国家科学研究中心IPMC研究所）；LJAD, Univ. Côte d’Azur & CNRS/Inria（蔚蓝海岸大学、法国国家科学研究中心/法国国家信息与自动化研究所LJAD实验室）
本文研究了带特征选择的无监督聚类。问题是估计标签和权重的稀疏投影矩阵。为了解决这个组合非凸问题保持严格控制的稀疏矩阵的权重，我们提出了一个交替最小化的Frobenius范数准则。我们提出了一种新的高效算法命名为K-稀疏交替k-means与投影梯度最小化。投影梯度步骤是一种分裂型方法，在$\ell^1$球上精确投影以提高稀疏性。讨论了梯度投影法的收敛性，并对交替极小化法进行了初步分析。Frobenius范数准则在算法K-sparse中的迭代次数趋于无穷大时收敛。在单细胞RNA测序数据集上的实验表明，该方法显著改善了PCA k-means、谱聚类、SIMLR和Sparcl方法的结果，实现了基因的相关选择。K-sparse的复杂度与样本（细胞）的数量呈线性关系，因此该方法可以扩展到大型数据集。
2019-05-24 cs.AI cs.LG stat.ML
Projected Subgradient Minimization versus Superiorization
约束最小化的投影次梯度方法反复交错的次梯度步骤的目标函数与投影到可行域，这是封闭的和凸约束集的交集，以恢复可行性。后者提出了一个计算困难，因此，投影次梯度法是适用的，只有当可行域是“简单的投影到”。与此相反，在优化方法中，可行性搜索算法领导整个过程，目标函数步骤交织在其中，这是一个区别，因为可行性搜索算法采用投影到单个约束集，而不是整个可行域。我们提出了两种方法并排，并证明其性能的问题上的计算机断层扫描图像重建，提出了一个约束最小化问题，旨在找到一个约束兼容的解决方案，具有减少值的全变差的重建图像。
2013-08-19 math.OC
Conditional Risk Minimization with Side Information: A Tractable, Universal Optimal Transport Framework
Telfer School of Management University of Ottawa（奥多恩大学特弗管理学院）
针对有限数据下条件风险分布难构建、现有最优传输方法分散受限的问题，本文提出并集球式通用分布鲁棒框架，统一既有方法并支持凸重构与大规模割平面求解。
2025-09-27 cs.LG math.OC q-fin.PM
Minimization over the l1-ball using an active-set non-monotone projected gradient
l1球是一个结构良好的可行集，广泛应用于许多领域（例如，机器学习、统计学和信号分析）以在模型解决方案中实施一些稀疏性。在本文中，我们设计了一个有效的策略，有效地处理最小化问题的l1球，并将其嵌入到一个定制的算法计划，利用非单调的一阶方法，探索在每次迭代的给定子空间。证明了算法的整体收敛到平稳点。最后，我们报告的数值实验，两个不同类别的实例，显示算法的有效性。
2022-04-07 math.OC
String-Averaging Projected Subgradient Methods for Constrained Minimization
我们认为有约束的最小化问题，并建议取代投影到整个可行域，在投影次梯度法（PSM）中所需的，由投影到个人集的交集形成整个可行域。具体而言，我们建议执行这样的投影到个人集的算法制度的可行性寻求迭代投影方法。为此，我们使用最近开发的动态串平均投影（DSAP）方法，其中迭代索引因变量字符串和可变权重是允许的。这就产生了一种算法方案，从算法结构的角度来看，它概括了Helou Neto和De Pierro，Nedić，Nurminski和Ram等人的早期工作。
2013-08-29 math.OC
Robust empirical risk minimization via Newton's method
University of Edinburgh（爱丁堡大学）；University of Paris Dauphine-PSL（巴黎多芬-PSL大学）；University of Cambridge（剑桥大学）
本文提出用稳健均值估计替代梯度与 Hessian 的稳健牛顿法，证明其收敛到总体最小化器邻域，并给出高维共轭梯度实现与二次收敛优势。
2023-07-17 cs.LG stat.ML
Stop Walking in Circles! Bailing Out Early in Projected Gradient Descent
Booz Allen Hamilton（博思艾伦汉密尔顿公司）
本文提出一种基于循环检测的投影梯度下降（PGD）提前终止方法，在不损失攻击强度的情况下大幅加速对抗鲁棒性评估，并保持与标准 PGD 完全相同的鲁棒性估计结果。
2025-03-25 cs.CV cs.LG stat.ML
Thinking Inside the Ball: Near-Optimal Minimization of the Maximal Loss
我们的特点的复杂性最小化$\max_{i\in[N]} f_i(x)$凸，Lipschitz功能$f_1,\ldots, f_N$。对于非光滑函数，现有方法需要对一阶预言机进行$O(Nε^{-2})$查询以计算$ε$ -次优点，如果$f_i$是$O(1/ε)$ -光滑的，则需要进行$\tilde{O}(Nε^{-1})$查询.我们开发的方法与改进的复杂性界限的$\tilde{O}(Nε^{-2/3} + ε^{-8/3})$在非光滑的情况下，$\tilde{O}(Nε^{-2/3} + \sqrt{N}ε^{-1})$在$O(1/ε)$ -光滑的情况下。我们的方法包括最近提出的球优化预言加速算法（我们改进）和softmax函数的仔细实现。我们还证明了一个甲骨文的复杂性下限缩放为$Ω(Nε^{-2/3})$，表明我们对$N$的依赖是最佳的多对数因子。
2021-05-04 cs.DS cs.LG math.OC
On the relations of stochastic convex optimization problems with empirical risk minimization problems on $p$-norm balls
在本文中，我们考虑机器学习应用中出现的凸随机最优化问题（例如，风险最小化）和数理统计（例如，极大似然估计）。有两种主要方法来解决这类问题，即随机逼近方法（在线方法）和样本平均逼近方法，也称为蒙特卡罗方法（离线方法）。在离线方法中，该问题被其经验对应问题（经验风险最小化问题）所取代。自然的问题是如何定义问题的样本量，即，应该对多少实现进行采样，以便经验问题的相当精确的解是具有期望精度的原始问题的解。这个问题是现代机器学习和优化中的主要问题之一。在过去的十年中，在这些领域取得了许多重大进展，解决凸随机最优化问题的欧几里德球（或整个空间）。在这项工作中，我们是基于这些进展和研究的情况下，任意球的$\ell_p$ -规范。我们还探讨了这个问题的参数$p$如何影响的估计所需的数量的条款作为一个函数的经验风险。
2022-03-02 math.OC
Quadratic minimization: from conjugate gradient to an adaptive Heavy-ball method with Polyak step-sizes
在这项工作中，我们提出了一个自适应变化的经典重球方法凸二次最小化。自适应性关键地依赖于所谓的“Polyak步长”，其包括使用手头的最优化问题的最优值的知识，而不是问题参数，例如问题的Hessian的几个特征值。这种方法恰好也等价于经典的共轭梯度法的一个变体，从而继承了它的许多吸引人的特性，包括它的有限时间收敛性、实例最优性和最坏情况下的收敛速度。经典的梯度法与Polyak步长是众所周知的表现非常好的情况下，它可以使用，并在这种方法中加入动量是否是可能的，可以改善方法本身的问题似乎是开放的。我们提供了一个明确的答案，这个问题的最小化凸二次函数，可以说是必要的第一步，在更一般的设置开发这样的方法。
2022-10-12 math.OC
Coordinate projected gradient descent minimization and its application to orthogonal nonnegative matrix factorization
针对大规模复合非凸优化问题，提出一种带自适应步长的循环坐标下降法，证明了其下降性质与最坏复杂度，并成功应用于正交非负矩阵分解。
2025-04-01 math.OC
An Approach to the Minimization of the Mumford-Shah Functional using Γ-convergence and Topological Asymptotic Expansion
本文提出了一种基于拓扑渐近展开思想的数值极小化Mumford-Shah泛函的方法。基本思想是用半径ε> 0的球覆盖期望的边集，并使用球的数量乘以2ε作为边集长度的估计。基于这一思想，我们引入了一个泛函，并证明了它在Γ-极限意义下收敛于Mumford-Shah泛函.此外，我们表明，从拓扑渐近分析的想法可以用来确定在哪里覆盖的边缘集的球的位置。所提出的方法的结果是通过两个数值例子，并与古典近似由于Ambrosio和Tortorelli的结果进行比较。
2013-06-11 math.OC
A stochastic moving ball approximation method for smooth convex constrained minimization
针对凸、光滑目标和约束的约束优化问题，提出SMBA随机梯度算法，每次迭代先执行目标梯度步再投影到随机约束的球近似上，分析其收敛速率并通过数值实验验证了方法的可行性与性能。
2024-12-01 math.OC
Flat Map of a Sphere via Stress Minimization
在本文中，我们描述了一个数学上有趣的，但相对较小的改进Gott-Goldberg-Vanderbei（GGV）地图投影。这个新的投影可以被描述为通过制作一个球形橡胶球来表示地球，然后围绕赤道将球环形拉伸，直到南北半球平坦成一个圆盘。有趣的是，这个新的预测与GGV预测非常相似，但并不完全相同。而且，解决这个展平问题所需的数学是一个非常好的例子，使用变分法来解决无限维最优化问题。
2022-04-06 math.OC
Fast Stochastic Composite Minimization and an Accelerated Frank-Wolfe Algorithm under Parallelization
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Google Research（谷歌研究院）
本文针对随机复合凸优化问题提出一种Bregman型加速算法，并基于该框架设计出在并行化下实现加速的Frank-Wolfe变体，以O(1/√ε)次迭代达到ε原始-对偶间隙。
2024-11-25 cs.LG math.OC
On Lower Complexity Bounds for Large-Scale Smooth Convex Optimization
本文给出了大规模光滑凸极小化问题的黑盒预言复杂度的下界，重点讨论了高维光滑（Holder连续，给定指数和常数，梯度）凸函数的极小化问题||.||_ p-球，1<=p<= \infty。我们的边界原来是紧的（对数的设计维度因素），并可以被视为现有的低复杂性边界的大规模凸最小化覆盖的非光滑的情况下和“欧几里德”光滑的情况下（最小化的凸函数与Lipschitz连续梯度欧几里德球）的一个实质性的扩展。作为我们结果的一个副产品，我们证明了经典的条件梯度算法在最小化高维光滑凸函数时，在基于信息的复杂性理论的意义下是近最优的||.||_ \infty -球及其矩阵类比--方阵空间中的谱范数球。
2018-11-28 cs.CC math.OC
A projected descent method for minimization of weakly semismooth functions over polyhedral sets
Isfahan University of Technology（伊斯法罕理工大学）；University of Tehran（德黑兰大学）
本研究提出一种投影下降方法，用于在多面体集上最小化弱半光滑函数，通过Clarke ε-次微分近似和线搜索策略，在温和假设下保证收敛，并在图像去噪等应用中验证了有效性。
2026-09-30 math.OC
Reservoir Zero-Coordinatewise Projected Subspace Search for Minimization Over Sparse Symmetric Sets in Machine Learning
Universität Wien（维也纳大学）；Brandenburg University of Technology（勃兰登堡工业大学）
针对稀疏学习中带基数约束的非凸优化问题，提出RZCW-PSS算法，结合坐标搜索、对称感知交换、随机子空间探索和零坐标储层注入，理论证明几乎必然收敛到零坐标平稳点，并具有条件局部线性收敛率。
2026-06-29 math.OC
Iterative TV minimization on the graph
在图上定义了有界变差函数空间（$BV$）。利用图上流的散度概念，证明了$BV$在图上的对偶空间的单位球可以用散度算子描述为空间$\ell^{\infty}$的单位球的像.基于此结果，我们提出了一种新的迭代算法，以找到确切的最小值的全变差（TV）去噪问题的图。所提出的算法是可证明收敛的，其性能的图像去噪的例子进行了比较与分裂Bregman和原始对偶法作为基准的迭代法和BM 3D作为基准的其他国家的最先进的去噪方法。实验结果表明，该算法的经验收敛速度和视觉质量具有很强的竞争力。
2019-11-26 math.OC
Extrapolated Proportional-Integral Projected Gradient Method for Conic Optimization
圆锥优化是指在圆锥约束下对凸二次函数进行最小化。我们介绍了一种新的一阶锥优化方法，命名为\emph{extrapolated proportional-integral projected gradient method (xPIPG)}，自动检测不可行。xPIPG的迭代要么渐近满足一组原始-对偶最优性条件，要么生成原始或对偶不可行性的证明。我们展示了xPIPG在模型预测控制中使用基准问题的应用。xPIPG优于许多最先进的圆锥优化求解器，尤其是在解决大规模问题时。
2022-06-24 math.OC
Bounded perturbation resilience of projected scaled gradient methods
研究了求解凸极小化问题的投影尺度梯度方法。这些方法沿着对角缩放的梯度方向执行下降步骤，然后通过正交投影到约束集上执行可行性恢复步骤。这构成了一个广义的算法结构，包括作为特殊情况的梯度投影法，投影牛顿法，投影Landweber型方法和广义期望最大化（EM）型方法。证明了在有界扰动下PSG方法的收敛性。这种弹性有界扰动的能力，最近开发的优越化方法PSG方法，特别是EM算法。
2015-07-27 math.OC
A Projected Stochastic Gradient Method for Finite-Sum Problems with Linear Equality Constraints
University of Novi Sad（诺维萨德大学）；University of Florence（佛罗伦萨大学）
本文提出并分析了一种用于带确定性线性约束的有限和最小化问题的随机梯度方法，结合了随机梯度和可能不精确的投影映射，理论结果与无约束问题理论一致，并通过数值结果展示其实际表现。
2026-07-28 math.OC
Achieving Acceleration in Distributed Optimization via Direct Discretization of the Heavy-Ball ODE
本文提出了一种求解凸经验风险最小化问题的分布式算法，即网络上最小化大而有限的凸函数和的问题。该算法直接离散二阶重球微分方程，并导致加速的收敛速度，即比分布式梯度下降为基础的方法，强凸的目标，可能不顺利。值得注意的是，我们实现了加速，而没有诉诸著名的涅斯捷罗夫的动量方法。我们提供了数值实验和对比最近提出的最佳分布式优化算法所提出的方法。
2018-11-06 math.OC
Denosing Using Wavelets and Projections onto the L1-Ball
Bilkent University（比尔肯特大学）
小波去噪和稀疏性去噪方法都是基于软阈值的。在基于稀疏性的去噪方法中，假设原始信号在某些变换域（如小波域）中是稀疏的，并且将含噪信号的小波子信号投影到L1球上以降低噪声。在本讲义中，我们证明了L1球的大小或等效的软门限值可以用线性代数来确定。其关键步骤是在L1范数费用函数的上图集上进行正交投影。
2014-06-10 cs.CV math.OC
NewVEM: A Newton Vertex Exchange Method for a Class of Constrained Self-Concordant Minimization Problems
Ling Liang Department of Mathematics University of Tennessee, Knoxville 1403 Circle Drive, Knoxville, TN 37916, USA Kim-Chuan Toh Department of Mathematics；Institute of Operations Research；Analytics National University of Singapore 10 Lower Kent Ridge Road, Singapore 119076 Haizhao Yang Department of Mathematics；Department of Computer Science University of Maryland, College Park 4176 Campus Drive, College Park, MD 20742, USA
提出NewVEM算法，结合投影牛顿与顶点交换方法，高效求解广义单纯形约束下的自和谐最小化问题，并辅以半光滑牛顿投影方法，实验验证其高效性与可扩展性。
2025-10-14 cs.LG math.OC
On Weak and Strong Convergence of the Projected Gradient Method for Convex Optimization in real Hilbert Spaces
研究了求解希尔伯特空间中约束凸极小化问题的投影梯度法的收敛性。我们表明，由采用Armijo线阵的方法产生的点序列弱收敛到所考虑的凸优化问题的解决方案。弱收敛是通过假设目标函数的凸性和Gateaux可微性来建立的，目标函数的Gateaux导数在有界集上是一致连续的。此外，我们对经典的投影梯度法提出了一些改进，以获得强收敛性。新的变体具有以下理想的性质：生成的点的序列是完全包含在一个球的直径等于之间的距离的初始点和解决方案集，和整个序列强烈收敛到最接近的初始点的问题的解决方案。在不作Lipschitz连续性假设的情况下，对这两种方法进行了收敛性分析.
2015-08-07 math.OC
Optimized first-order methods for smooth convex minimization
我们引入新的优化一阶光滑无约束凸极小化方法。Drori和Teboulle最近描述了一种计算一类一阶算法中的$N$ -迭代最优步长系数的数值方法，这些一阶算法包括梯度法、重球法和Nesterov的快速梯度法。然而，Drori和Teboulle的数值方法是计算昂贵的大型$N$，相应的数值优化的一阶算法需要不切实际的内存和计算的大规模最优化问题。在本文中，我们提出了优化的一阶算法，实现了收敛范围是2倍小于Nesterov的快速梯度法，我们的边界被发现解析和细化的数值界。此外，所提出的优化一阶方法具有高效的递归形式，非常类似于Nesterov的快速梯度法。
2016-02-11 math.OC
An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization
Huawei Belgium Research Center（华为比利时研究中心）；HCMC University of Education（胡志明市教育大学）；University of Mons（蒙斯大学）
本文介绍了一种新的求解非光滑非凸优化问题的惯性块优化极小框架TITAN。据我们所知，TITAN是块坐标更新方法的第一个框架，它依赖于优化-最小化框架，同时将惯性力嵌入到块更新的每一步。惯性力是通过一个外推算子，其中包括重球和Nesterov型加速度块近端梯度法作为特殊情况。通过选择各种替代函数，如近端，Lipschitz梯度，Bregman，二次和复合替代函数，并通过改变外推算子，TITAN产生了丰富的惯性块坐标更新方法。我们研究了TITAN生成序列的子序列收敛性和整体收敛性。我们说明了TITAN的有效性上两个重要的机器学习问题，即稀疏非负矩阵分解和矩阵完成。
2022-09-20 cs.LG eess.SP math.OC
Proportional-Integral Projected Gradient Method for Conic Optimization
圆锥优化是指在圆锥约束条件下，对可微凸目标函数的最小化。提出了一种新的求解锥优化问题的原-对偶一阶方法--比例积分投影梯度法。PIPG确保原始-对偶间隙和约束违反都以\(O(1/k)\)的速率收敛到零，其中\(k\)是迭代次数。如果目标函数是强凸的，PIPG将原始-对偶间隙的收敛速度提高到\(O(1/k^2)\)。此外，与任何现有的一阶方法，PIPG还提高了收敛速度的约束违反\(O(1/k^3)\)。我们展示了PIPG在约束最优控制问题中的应用。
2021-12-13 cs.SY eess.SY math.OC
Local Convergence of the Heavy-ball Method and iPiano for Non-convex Optimization
证明了抽象下降法的一个局部收敛结果。迭代序列被局部（或全局）最小值吸引，停留在其邻域内并在该邻域内收敛。这个结果允许算法利用目标函数的局部性质。特别地，本文中的抽象理论适用于惯性向前-向后分裂方法：iPiano--Heavy-ball方法的推广。此外，它揭示了iPiano和惯性平均/交替近端最小化和投影方法之间的等效性。这种等价性的关键在于邻域内局部极小值的吸引力，以及对于一个近似正则函数，Moreau包络的梯度是局部Lipschitz连续的，并且可以用近似映射表示。在数值可行性问题中，惯性交替投影方法显著优于其非惯性变体。
2018-01-26 math.OC
On globally solving nonconvex trust region subproblem via projected gradient method
置信域子问题（TRS）是在欧氏球上极小化一个可能非凸的二次函数。（TRS）通常有两种情况，即所谓的“简单情况”和“困难情况”。即使在"简单情况“下，当初始点是从非零测度可行集中任意选取时，经典投影梯度法（PG）产生的序列也可能以次线性局部速度收敛到鞍点.令人惊讶的是，当应用（PG）来解决一个廉价的和可能的非凸的（TRS）的重组，生成的序列初始化{ \it任何}可行点几乎总是收敛到其全局极小。局部收敛率至少是线性的“容易的情况”，而不假设我们已经拥有的信息，“容易的情况”举行。我们还考虑了如何使用（PG）全局求解等式约束（TRS）。
2022-07-12 math.OC
Gradient descent with nonconvex constraints: local concavity determines convergence
高维统计和优化中的许多问题涉及非凸约束的最小化，例如，矩阵估计问题的秩约束，但对一般非凸约束集的这种最优化问题的理论性质知之甚少。本文研究了约束集的几何性质与极小化问题的梯度下降法的收敛性之间的相互作用。我们开发的概念，局部的约束集，测量凸性被违反的程度，这支配的行为投影梯度下降在这个集合。我们证明了这些的通用性，通过计算低秩估计，稀疏估计，和其他例子中的一系列问题，他们的系数。通过我们对这些几何性质在优化中的作用的理解，我们然后提供了一个收敛性分析时，投影计算只有近似，导致一个更有效的方法投影梯度下降在低秩估计问题。
2017-10-19 math.OC
Extremal points of total generalized variation balls in 1D: characterization and applications
全广义变分（TGV）是反问题和成像中一种常用的正则化算子，它结合了间断解和高阶光滑。特别是，经验观察表明，其二阶版本强烈支持分段仿射函数。在本手稿中，我们形式化这一声明的一维TGV-功能的特征，其子水平集的极值点相对于一个合适的商空间拓扑。这些结果意味着一维TGV正则化的线性逆问题的有限维观测承认分段仿射极小。作为进一步的应用，我们包括精确的一阶必要的最优性条件，而不需要凸的保真度项，和一个简单的解决方案的算法TGV正则化最小化问题。
2022-05-31 math.OC
Norm Bounds and Underestimators for Unconstrained Polynomial Integer Minimization
考虑整数格上多项式函数的极小化问题。虽然不可能在一般情况下，我们使用一个已知的充分条件存在的连续极小，以保证存在的整数极小。在这个条件成立的情况下，我们使用sos规划来计算包含所有整数极小的p-范数球的半径。我们证明，这个半径是小于半径已知的文献。此外，我们还得到了一类新的多项式函数的低估子。使用一个从真正的代数几何和再次SOS编程Stellenetron，我们优化了这个类，得到一个强大的整数最小值的下界。我们的半径和下界的实验评估。它们表现出良好的性能，特别是在分支和绑定框架内。
2015-02-18 math.OC
On a minimization problem of the maximum generalized eigenvalue: properties and algorithms
本文研究对称矩阵值仿射函数最大广义特征值的最小化问题，该问题非光滑且拟凸，应用于桁架结构特征频率优化。作者推导了Clarke次微分公式，证明其伪凸性，并提出平滑方法及加速、不精确平滑等启发式技术，通过数值实验验证了收敛性和效率。
2023-12-04 math.OC
A measure approximation theorem for Wasserstein-robust expected values
本文研究了在由Wasserstein距离定义的球上的概率测度上，有界Lipschitz随机变量在$\mathbf{R}^d$上的期望值的下确界问题.证明了如果$σ-$代数在一定的自然意义下被一列$σ$ -代数逼近，则导出的逼近极小化问题的解收敛于初始极小化问题的解.
2019-12-27 math.OC math.PR
Complexity of a Projected Newton-CG Method for Optimization with Bounds
本文融合梯度投影与 Newton-CG，提出一种界约束非凸光滑优化方法，并基于新的 $ε$-近似二阶最优性定义给出迭代与计算复杂度界。
2023-06-07 math.OC
An Optimal Affine Invariant Smooth Minimization Algorithm
我们在Nesterov（1983）中给出了一个仿射不变的加速一阶算法的实现。它的复杂性界是成比例的仿射不变的正则性常数定义相对于Minkowski规范的可行集。我们将这些结果扩展到更一般的问题，使用$p$ -一致凸prox项优化Hölder光滑函数，并导出一个算法，其复杂性更好地适合可行集的几何形状，并适应最佳Hölder光滑参数和最佳梯度Lipschitz常数。最后，我们详细讨论了当可行集是一个$\ell_p$球时匹配复杂度的下界。在这种情况下，我们的上界的迭代复杂度的算法在Nesterov（1983），因此是最佳的目标精度，光滑度和问题的尺寸。
2016-11-28 math.OC
Projected gradient descent algorithm for $\textit{ab initio}$ crystal structure relaxation under a fixed unit cell volume
针对固定体积晶体弛豫的非凸约束与多尺度曲率问题，提出带切空间投影、曲率感知步长和宽松线搜索准则的 PANBB 算法，在223个结构上显著加速并验证于高熵合金。
2024-05-05 cond-mat.mtrl-sci math.OC physics.comp-ph
On the complexity of quasiconvex integer minimization problem
本文研究拟凸函数类及其真锥函数子类。本文考虑了这类函数的整数极小化问题，假定一个优化函数由比较预言机定义。我们将证明，没有一个多项式算法在$\log R$优化拟凸函数在球的整数半径$R$使用比较预言。另一方面，如果优化函数是二次曲线，那么我们证明了在$\log R$算法上存在一个多项式。并给出了圆锥函数整数最优化问题的预言复杂度的维数指数下界。此外，我们给出了已知的问题，可以多项式减少到我们的类中的函数的最小化问题的例子。
2019-10-07 cs.CC math.OC
Majorization-minimization procedures and convergence of SQP methods for semi-algebraic and tame programs
鉴于解决涉及复杂约束的非光滑和非凸问题（如标准NLP问题），我们研究了由强凸子问题族产生的一般最大化-最小化过程。利用半代数几何和变分分析的技巧--特别是Lojasiewicz不等式--我们建立了由这类方案产生的序列到临界点的收敛性。这个过程的广泛适用性在NLP的背景下说明。在这种情况下，临界点与KKT点重合。当数据是半代数或真正的分析，我们的方法适用于（例如）各种SQP方法的研究：移动球的方法，SL 1 QP，ESQP。在标准条件下，这提供了-据我们所知-第一个一般的收敛结果一般非线性规划问题。我们强调的事实是，与大多数关于这个问题的作品，没有二阶假设和/或凸性假设。收敛速率与一阶方法中常见的收敛速度具有相同的形式。
2015-03-30 math.OC
Nesterov acceleration for the Wasserstein minimization of displacement-convex free energies
本文研究了均场欠阻尼兰格-恩方程相关的过程在位移凸自由能的Wasserstein梯度流中实现Nesterov加速，通过最近的突破性工作，证明了该过程在熵方面实现了从扩散到球形的改进，从而达到最优收敛速率。
2026-05-21 math.AP math.OC math.PR
Performance of first-order methods for smooth convex minimization: a novel approach
我们介绍了一种新的方法来分析一阶黑箱最优化方法的性能。本文主要研究欧几里得空间$R^d$上的光滑无约束凸极小问题。我们的方法依赖于观察，根据定义，黑盒最优化方法的最坏情况行为本身就是一个最优化问题，我们称之为性能估计问题（PEP）。我们制定和分析PEP两类一阶算法。我们首先将这种方法应用于经典的梯度法，并推导出一个新的和严格的分析界限，其性能。然后，我们考虑更广泛的一类一阶黑箱方法，其中包括所谓的重球方法和快速梯度计划。我们表明，对于这个更广泛的类，它是可能的，这些方法的性能，通过解决一个充分放松的凸半定PEP得到新的数值界。最后，我们展示了一个有效的程序，找到最佳的步长，从而在一阶黑盒方法，达到最佳性能。
2012-06-14 math.OC
Convergent Lifted Lasserre Hierarchy of SDPs for Minimizing Expectation of Piecewise Polynomial Loss over Wasserstein Balls
University of New South Wales（新南威尔士大学）；Brunel University of London（伦敦布鲁内尔大学）
本文提出了一种收敛的提升Lasserre层级SDP方法，用于在Wasserstein球上最小化分段多项式损失的期望，通过结构化SOS表示和凸多项式条件实现有限收敛。
2026-02-24 math.OC
Improved convergence analysis of Lasserre's measure-based upper bounds for polynomial minimization on compact sets
我们考虑了在紧集$K \subseteq \mathbb{R}^n$上计算多项式$f$的最小值$f_{\min,K}$的问题，它可以转化为在$K$上寻找概率测度$ν$使$\int_K f dν$最小. Lasserre表明，它足以考虑这种措施的形式$ν= qμ$，其中$q$是一个平方和多项式和$μ$是一个给定的博雷尔措施支持$K$。通过用$2r$界定$q$的度，得到了$f_{\min,K}$的上界$f^{(r)}$的收敛层次.当$K$是超立方体$[-1, 1]^n$，配备切比雪夫测度时，已知参数$f^{(r)}$以$O(1/r^2)$的速率收敛到$f_{\min,K}$。我们将这种误差估计扩展到更广泛的一类凸体，同时也允许更广泛的一类参考措施，包括勒贝格措施。我们的分析适用于单纯形，球和凸体，局部看起来像一个球。此外，我们显示的误差估计$O(\log r / r)$时，$K$满足一个小的几何条件，并在$O(\log^2 r / r^2)$时，$K$是一个凸体，配备Lebesgue措施。对于这两种相应的情况，这改进了在$O(1 / \sqrt{r})$和$O(1/r)$中的当前最佳已知的误差估计。
2020-01-30 math.OC
