Reservoir Zero-Coordinatewise Projected Subspace Search for Minimization Over Sparse Symmetric Sets in Machine Learning
Universität Wien(维也纳大学);Brandenburg University of Technology(勃兰登堡工业大学)
针对稀疏学习中带基数约束的非凸优化问题,提出RZCW-PSS算法,结合坐标搜索、对称感知交换、随机子空间探索和零坐标储层注入,理论证明几乎必然收敛到零坐标平稳点,并具有条件局部线性收敛率。
2026-06-29 math.OC
Extrapolated Proportional-Integral Projected Gradient Method for Conic Optimization
圆锥优化是指在圆锥约束下对凸二次函数进行最小化。我们介绍了一种新的一阶锥优化方法,命名为\emph{extrapolated proportional-integral projected gradient method (xPIPG)},自动检测不可行。xPIPG的迭代要么渐近满足一组原始-对偶最优性条件,要么生成原始或对偶不可行性的证明。我们展示了xPIPG在模型预测控制中使用基准问题的应用。xPIPG优于许多最先进的圆锥优化求解器,尤其是在解决大规模问题时。
2022-06-24 math.OC
ProPPA: A Fast Algorithm for $\ell_1$ Minimization and Low-Rank Matrix Completion
提出了一种求解一类优化问题的投影邻近点算法(ProPPA).该算法迭代计算最后估计的解的邻近点投影到一个仿射空间,这本身是平行的,并接近可行集。我们提供了理论上支持的一般算法的收敛性分析,然后将其应用于解决$\ell_1$ -最小化问题和矩阵完成问题。这些问题出现在许多应用中,包括机器学习、图像和信号处理。我们比较我们的算法与现有的国家的最先进的算法。实验结果表明,该算法是非常有效的和有竞争力的解决这些问题。
2012-05-19 cs.LG math.OC
A Projected Stochastic Gradient Method for Finite-Sum Problems with Linear Equality Constraints
University of Novi Sad(诺维萨德大学);University of Florence(佛罗伦萨大学)
本文提出并分析了一种用于带确定性线性约束的有限和最小化问题的随机梯度方法,结合了随机梯度和可能不精确的投影映射,理论结果与无约束问题理论一致,并通过数值结果展示其实际表现。
2026-07-28 math.OC
On the Convergence of Projected-Gradient Methods with Low-Rank Projections for Smooth Convex Minimization over Trace-Norm Balls and Related Problems
Technion - Israel Institute of Technology(以色列理工学院)
单位迹范数球上的光滑凸最小化问题是机器学习、信号处理、统计等领域中的一个重要最优化问题,它是恢复低秩矩阵的基础。虽然凸优化的一阶方法具有最优的收敛速度,但在最坏的情况下,它们需要在每次迭代时计算满秩SVD,以便计算到迹范数球上的投影。然而,这些满秩SVD计算禁止将此类方法应用于大型问题。一个简单而自然的启发式,以减少计算成本是近似的投影只使用低秩SVD。这就提出了一个问题,如果,在什么条件下,这个简单的启发式确实可以导致可证明的收敛到最优解。本文证明了任何最优解都是欧氏空间的中心。球内投影梯度映射允许的秩至多是梯度向量的最大奇异值的重数。此外,球的半径与该梯度向量的谱间隙成比例。我们展示了这如何容易地暗示局部收敛(即,从“热启动”初始化)的标准一阶方法,仅使用低秩SVD计算。我们还量化了“过度参数化”的影响,即,在这个球的半径上使用更高秩的SVD计算,显示它可以随着适度的更大秩而显着增加。我们还将我们的结果扩展到具有迹范数正则化的优化和有界迹正半定矩阵上的优化。我们的理论研究得到了具体的经验证据的支持,这些证据证明了\textit{correct}在现实世界数据集上具有低秩投影的一阶方法的收敛性。
2020-11-28 cs.LG math.OC
On Weak and Strong Convergence of the Projected Gradient Method for Convex Optimization in real Hilbert Spaces
研究了求解希尔伯特空间中约束凸极小化问题的投影梯度法的收敛性。我们表明,由采用Armijo线阵的方法产生的点序列弱收敛到所考虑的凸优化问题的解决方案。弱收敛是通过假设目标函数的凸性和Gateaux可微性来建立的,目标函数的Gateaux导数在有界集上是一致连续的。此外,我们对经典的投影梯度法提出了一些改进,以获得强收敛性。新的变体具有以下理想的性质:生成的点的序列是完全包含在一个球的直径等于之间的距离的初始点和解决方案集,和整个序列强烈收敛到最接近的初始点的问题的解决方案。在不作Lipschitz连续性假设的情况下,对这两种方法进行了收敛性分析.
2015-08-07 math.OC
On a minimization problem of the maximum generalized eigenvalue: properties and algorithms
本文研究对称矩阵值仿射函数最大广义特征值的最小化问题,该问题非光滑且拟凸,应用于桁架结构特征频率优化。作者推导了Clarke次微分公式,证明其伪凸性,并提出平滑方法及加速、不精确平滑等启发式技术,通过数值实验验证了收敛性和效率。
2023-12-04 math.OC
A Unifying Perspective on Descent Directions for Constrained Minimization and Switching Criteria
Georgia Institute of Technology(佐治亚理工学院);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
本文提出Shadow-CG方法,利用负梯度投影的阴影方向作为最优下降方向,结合Frank-Wolfe顶点步,实现线性收敛,其速率依赖于投影曲线断点数而非金字塔宽度,并给出断点数量的界。
2026-10-06 cs.LG math.OC
Proportional-Integral Projected Gradient Method for Conic Optimization
圆锥优化是指在圆锥约束条件下,对可微凸目标函数的最小化。提出了一种新的求解锥优化问题的原-对偶一阶方法--比例积分投影梯度法。PIPG确保原始-对偶间隙和约束违反都以\(O(1/k)\)的速率收敛到零,其中\(k\)是迭代次数。如果目标函数是强凸的,PIPG将原始-对偶间隙的收敛速度提高到\(O(1/k^2)\)。此外,与任何现有的一阶方法,PIPG还提高了收敛速度的约束违反\(O(1/k^3)\)。我们展示了PIPG在约束最优控制问题中的应用。
2021-12-13 cs.SY eess.SY math.OC
Majorization-Minimization-Based Levenberg--Marquardt Method for Constrained Nonlinear Least Squares
针对带凸约束的非线性最小二乘问题,提出一种基于majorization-minimization视角的新型LM方法,通过新阻尼参数更新规则结合加速投影梯度法,兼具全局与局部收敛性,实验验证收敛更优。
2022-12-15 math.OC
The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning
University of Peloponnese(伯罗奔尼撒大学);Tokyo Institute of Technology(东京工业大学)
许多在线,即,信号处理和机器学习中的时间自适应逆问题属于非负、凸和连续函数序列的渐近最小化的广泛范围。为了将先验知识纳入设计中,渐近最小化任务通常被约束在一个固定的闭凸集上,该凸集由可用的先验信息决定。为了增加对可用信息的使用的通用性,本手稿扩展了自适应投影次梯度法(APSM)通过引入一个算法方案,该方案通过一系列强吸引的拟非扩张映射在一个真正的希尔伯特空间的设计中采用了先验知识。通过这种方式,所提出的方法为在线学习任务提供的好处以两种方式展开:1)丰富的准非扩张映射类提供了大量的方法来投射先验知识,以及2)通过引入一系列这样的映射,所提出的方案能够捕获先验信息的时变性质。该算法的收敛性能进行了研究,几个特殊的情况下,具有广泛的适用性的方法显示,和所提出的计划的潜力,证明了考虑越来越重要的,现在,在线稀疏系统/信号恢复任务。
2011-08-05 cs.IT cs.LG math.IT
Projected gradient descent algorithm for $\textit{ab initio}$ crystal structure relaxation under a fixed unit cell volume
针对固定体积晶体弛豫的非凸约束与多尺度曲率问题,提出带切空间投影、曲率感知步长和宽松线搜索准则的 PANBB 算法,在223个结构上显著加速并验证于高熵合金。
2024-05-05 cond-mat.mtrl-sci math.OC physics.comp-ph
Stochastic model-based minimization of weakly convex functions
Cornell University(康奈尔大学);University of Washington(华盛顿大学)
我们考虑一个家庭的算法,连续采样和最小化简单的随机模型的目标函数。我们表明,在合理的条件下的近似质量和规律性的模型,任何这样的算法驱动自然平稳性措施为零的速率$O(k^{-1/4})$。因此,我们获得了第一复杂性保证的随机邻近点,邻近次梯度,正则化高斯-牛顿方法最小化的凸函数与光滑映射的组合。的指导原则,潜在的复杂性保证,是考虑中的所有算法可以被解释为近似下降法的隐式平滑的问题,给出了莫罗包络。针对经典情形,我们得到了无约束的随机投影梯度法在闭凸集上极小化光滑函数的收敛速度.
2018-08-26 cs.LG math.OC
Block majorization-minimization with diminishing radius for constrained nonsmooth nonconvex optimization
针对约束非光滑非凸优化,提出带递减半径的块状最小化-最大化算法,改进复杂度至不依赖强凸参数,并应用于多种算法,数值验证加速收敛。
2024-11-29 math.OC stat.ML
Adaptive sampling strategies for risk-averse stochastic optimization with constraints
我们介绍了自适应抽样方法的随机规划确定性约束。首先,我们提出并分析了一个变种的随机投影梯度法的样本量用于近似降低梯度确定的飞行和更新自适应。该方法适用于广泛的一类基于预期的风险措施,并导致显着减少用于估计的目标函数梯度的个人梯度评估。期望风险最小化和条件风险值最小化的数值实验支持这一结论,并证明了风险中性和风险厌恶问题的实际性能和功效。其次,我们提出了一种基于相似自适应采样原理的SQP型方法。该方法的优点在简化的工程设计应用中得到了证明,该应用具有不确定载荷条件和模型不确定性的钢壳结构的风险规避形状优化。
2023-02-05 math.OC
Projection-Free Algorithms for Nonsmooth Stochastic Convex-Concave Saddle-Point Problems
Cornell University(康奈尔大学)
本文针对非光滑随机凸-凹鞍点问题,提出模块化单循环无投影算法,利用线性最小化预言机直接处理非光滑性,达到O(ε^-2)迭代复杂度并证明极小极大最优性。
2026-09-29 math.OC
Decentralized Constrained Optimization: Double Averaging and Gradient Projection
本文研究了强连通有向图上带凸约束的凸有限和极小化问题。该约束是一个交集的几个凸集,每个已知的只有一个节点。为了解决这个问题,我们提出了一种新的分散投影梯度格式的基础上局部平均和证明其收敛性仅使用局部函数的光滑性。
2021-06-21 cs.DC math.OC
Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Michigan(密歇根大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种基于块最大化解的算法,用于解决具有约束的非凸优化问题,并证明了其在黎曼流形上的收敛性和复杂性。
2024-08-06 math.OC stat.ML
Single-loop Projection-free and Projected Gradient-based Algorithms for Nonconvex-concave Saddle Point Problems with Bilevel Structure
本文提出单循环无投影和投影梯度算法,用于求解具有双层结构的非凸-凹鞍点问题,分别达到ε-稳定解,并在鲁棒多任务回归中优于现有方法。
2025-03-28 math.OC
NewVEM: A Newton Vertex Exchange Method for a Class of Constrained Self-Concordant Minimization Problems
Ling Liang Department of Mathematics University of Tennessee, Knoxville 1403 Circle Drive, Knoxville, TN 37916, USA Kim-Chuan Toh Department of Mathematics;Institute of Operations Research;Analytics National University of Singapore 10 Lower Kent Ridge Road, Singapore 119076 Haizhao Yang Department of Mathematics;Department of Computer Science University of Maryland, College Park 4176 Campus Drive, College Park, MD 20742, USA
提出NewVEM算法,结合投影牛顿与顶点交换方法,高效求解广义单纯形约束下的自和谐最小化问题,并辅以半光滑牛顿投影方法,实验验证其高效性与可扩展性。
2025-10-14 cs.LG math.OC
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
随机优化最小化(SMM)是一类随机最优化算法,其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的,一般非凸设置的收敛速度分析不可用。在本文中,我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸,平均代理人近似最小化与近端正则化或块最小化内半径减小,分别。对于非独立同分布的一般非凸约束情形,数据样本,我们表明,所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失,其中$n$表示处理的数据样本的数量。在一些附加的假设下,后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论,我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界:双平均投影梯度下降及其推广,近点经验风险最小化,和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
Manifold constrained steepest descent for smooth and closed-set optimization
Department of Mathematics, University of Hong Kong, Hong Kong, China(香港大学数学系)
本文提出流形约束最速下降(MCSD)方法,通过单循环框架在流形上进行优化,并引入SPEL在Stiefel流形上的应用,实现了更稳定的性能和可扩展性。
2026-08-14 cs.LG math.OC
Semidefinite Implementations of the Proximal Point Algorithm and Consequences for Progressive Decoupling in Optimization
School of Data Science, Fudan University(复旦大学数据科学学院);Department of Mathematics, University of Washington(华盛顿大学数学系);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
本文提出近端点算法的半定扩展,通过投影单调映射与完成步骤保证更广领域的收敛,支持非精确最小化,并应用于凸下投影、增广拉格朗日及渐进解耦。
2026-09-22 math.OC
A Constrained Optimisation Framework for Parameter Identification of the SIRD Model
该研究针对SIRD模型的参数识别问题,提出约束优化框架,通过先优化后离散方法推导一阶最优性条件,结合多种数值算法进行计算研究,为疾病传播建模的参数优化及复杂仓室模型校准提供支撑。
2024-12-17 math.OC
Extreme Point Pursuit -- Part I: A Framework for Constant Modulus Optimization
本研究提出一个统一框架,通过凸约束惩罚公式处理多类恒模优化问题,并利用投影梯度法求解,理论分析给出精确惩罚条件,适用范围广泛。
2024-11-11 eess.SP math.OC
A Safe First-Order Method for Pricing-Based Resource Allocation in Safety-Critical Networks
针对安全关键网络中只能通过价格影响需求且无实时双向通信的资源分配问题,提出 SPNUM 一阶算法,通过收缩可行集投影梯度与价格响应估计保证全程可行,并取得 O(log(T)) 次线性静态遗憾。
2024-05-17 cs.SY eess.SY math.OC
A primal dual projection algorithm for efficient constraint preconditioning
我们考虑一个线性迭代求解器的大规模线性约束二次最小化问题,例如,在优化与偏微分方程。通过一个原始-对偶投影(PDP)迭代,它可以被解释和分析为一个商空间上的梯度法,给定的问题可以通过计算一系列约束代理问题的解,到可行子空间的投影和Lagrange乘子更新来解决。作为一个主要的应用,我们考虑一类最优化问题的偏微分方程,PDP可以应用在一起的投影CG方法使用块三角形约束预条件。数值实验表明,可靠的和有竞争力的性能的最优控制问题的弹性。
2020-12-04 cs.NA math.NA math.OC