Benders Decomposition for Bi-objective Linear Programs
本文提出将双目标单纯形算法与Benders分解相结合的新分解方法,用于求解双目标线性规划,通过主问题和子问题迭代生成最优性与可行性割,从而获得完整极端有效解集,并验证了其正确性与性能。
2024-08-29 math.OC
A line search filter sequential adaptive cubic regularisation algorithm for nonlinearly constrained optimization
本文提出一种线搜索过滤序列自适应三次正则化算法,通过复合步与投影矩阵处理非线性等式约束,并利用过滤技术避免罚参数选择困难,证明了全局收敛性并给出数值验证。
2025-05-11 math.OC
Cubic-quartic regularization models for solving polynomial subproblems in third-order tensor methods
本文提出CQR框架,通过序列局部三次-四次模型高效求解三阶张量方法中的非凸三次多项式子问题,给出全局最小化器的最优性条件并转化为可解割线方程,实现最优评估复杂度,数值实验表明在典型及病态子问题上具有竞争力。
2023-12-22 cs.NA math.NA math.OC
Lower-level Duality Based Reformulation and Majorization Minimization Algorithm for Hyperparameter Optimization
针对下层非光滑的双层超参数优化问题,提出基于下层对偶的单层重构及优化最小化算法,子问题可化为锥规划高效求解,并证明收敛性与实验优越性。
2024-03-01 math.OC
A Novel Fast Exact Subproblem Solver for Stochastic Quasi-Newton Cubic Regularized Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);SAS Institute(SAS研究所)
在这项工作中,我们描述了一种使用有限记忆拟牛顿(LQN)矩阵进行大规模非凸无约束优化的三次自适应正则化(ARC)方法。ARC方法是一个相对较新的优化策略家族,它利用正则化(CR)项代替信任域和线搜索。LQN方法提供了一个大规模的替代使用显式二阶信息,通过采取相同的输入流行的一阶方法,如随机梯度下降(SGD)。精确求解CR子问题需要牛顿法,但使用LQN矩阵的内部结构的属性,我们能够找到CR子问题的精确解,以无矩阵的方式,提供大的加速比和扩展到现代尺寸的要求。此外,我们扩大了以前的ARC工作,并明确地将一阶更新到我们的算法。我们提供了使用SR1更新时的实验结果,与Adam和深度神经网络(DNN)上的其他二阶优化器相比,这些结果显示出显著的速度提升和竞争性能。我们发现,我们的新方法ARCLQN与具有最小调整的现代优化器相比,这是二阶方法的常见痛点。
2022-04-19 cs.LG math.OC stat.ML
Inexact Proximal Cubic Regularized Newton Methods for Convex Optimization
在本文中,我们使用近似三次正则化牛顿方法(PCNM)优化光滑凸函数和非光滑凸函数的总和,其中我们使用不精确梯度和Hessian,以及三次正则化二阶子问题的不精确子求解器。我们分别提出了PCNM和加速PCNM的不精确变体,并证明了这两种变体可以达到与精确情况相同的收敛速度,前提是不精确梯度、Hessian和子求解器中的误差以适当的速率减小。同时,在数据源源不断的在线随机设置中,我们给出了所提出的算法的总体复杂度,并表明它们与随机梯度下降一样具有竞争力。此外,我们给出了所提出的算法在有限和设置的整体复杂性,并表明它是最先进的方差减少算法的竞争力。最后,我们提出了一个有效的算法的立方正则二阶子问题,它可以收敛到一个足够小的邻域的最优解在一个超线性的速度。
2019-02-26 math.OC
A Second-Order Cone Based Approach for Solving the Trust Region Subproblem and Its Variants
研究了单位球上带圆锥约束的非凸二次函数极小化的信赖域子问题。尽管有一个非凸的目标,它是已知的,经典的TRS和它的一些变种是多项式时间可解的。在本文中,我们遵循二阶锥(SOC)为基础的方法来获得一个精确的凸重新TRS锥约束下的结构条件。我们的结构条件是立即满足时,没有额外的圆锥约束,它推广了文献中研究的几个这样的条件。因此,我们的研究突出了经典的非凸TRS和光滑凸二次最小化,这使得廉价的迭代法,如Nesterov的加速梯度下降,TRS的应用程序之间的明确连接。此外,在稍强的条件下,我们给出了一个低复杂性的非凸二次函数的epigram的凸包的定义域的限制,没有任何额外的变量。我们还探讨了列入额外的空心约束域的TRS,和凸化的相关epigraph。
2016-11-17 math.OC
Approximate Secular Equations for the Cubic Regularization Subproblem
The University of Hong Kong(香港大学);Musketeers Foundation Institute of Data Science(火枪手基金会数据科学研究所)
三次正则化方法是求解无约束非凸优化的一种常用算法。在每次迭代中,CR解决了一个三次正则化的二次问题,称为三次正则化子问题(CRS)。求解CRS的一种方法依赖于求解久期方程,其计算瓶颈在于计算黑塞矩阵的所有特征值。在本文中,我们提出并分析了一种新的CRS求解器的基础上近似的长期方程,它只需要一些海森特征值,因此更有效。两个近似的长期方程(ASE)的开发。对于这两个方程,我们首先研究了它们的根的存在唯一性,然后建立了它们的根与标准久期方程的根之间的距离的上界。这样的上界又可以用来限制基于ASE的近似CRS解到真实CRS解的距离,从而为我们的CRS求解器提供了理论保证。我们的CRS求解器的一个理想特性是它只需要矩阵向量乘法而不需要矩阵求逆,这使得它特别适合无约束非凸优化的高维应用,例如低秩恢复和深度学习。模拟和真实数据集的数值实验进行了研究建议CRS求解器的实际性能。实验结果表明,所提出的求解器优于两个国家的最先进的方法。
2022-09-27 cs.LG cs.NA math.NA
Basis pursuit by inconsistent alternating projections
Universidade Federal de Santa Catarina(圣卡塔琳娜联邦大学);Northern Illinois University(北伊利诺伊大学);Universidade Estadual de Campinas(坎皮纳斯州立大学)
本文提出一种不依赖线性规划的基 pursuit 方法,通过不一致的交替投影子问题加速收敛,证明了 $\ell_1$-半径线性收敛,并在合成和实际实例中表现优异。
2026-04-28 math.OC
A Second-Order Descent Algorithm for Nonlinear Equality Constrained Optimization
School of Mathematics and Statistics, Henan Normal University(河南师范大学数学与统计学院)
针对含一般不等式约束的优化问题,提出基于内点法的ARCBIP算法,采用向边界分数规则等技术,通过数值实验验证其性能并分析全局收敛性。
2026-10-19 math.OC
An Adaptive Cubic Regularisation Algorithm Based on Interior-Point Methods for Optimization with General Inequality Constraints
School of Mathematics and Statistics, Henan Normal University(河南师范大学数学与统计学院);Mathematics and Science College, Shanghai Normal University(上海师范大学数理学院)
本文提出基于内点法的自适应三次正则化算法,用于解决具有通用不等式约束的非线性优化问题,通过构造ARC子问题和边界规则处理线性化约束,并通过复合步法和降维Hessian方法保证全局收敛性。
2026-06-05 math.OC
GeNIOS: an (almost) second-order operator-splitting solver for large-scale convex optimization
Massachusetts Institute of Technology(麻省理工学院)
GeNIOS是一种用于大规模凸优化的近似二级运算分裂求解器,通过第二阶近似和快速随机求解器加速ADMM,实现高效求解。
2025-12-30 math.OC
Third-Order Newton Methods with Semidefinite Programming
UC Riverside(加州大学河滨分校)
本文提出一种基于半定规划子问题的三阶牛顿法,利用高阶泰勒展开捕捉局部几何,在强凸与良好初始化下实现三次收敛,并给出处理子问题不可行性的正则化等实用改进。
2026-09-14 math.OC
A Globally Convergent Third-Order Newton Method via Unified Semidefinite Programming Subproblems
Massachusetts Institute of Technology(麻省理工学院);University of Oxford(牛津大学)
ALMTON通过统一半定规划子问题实现了无约束非凸优化的全局收敛三次牛顿法,具有更稳定的收敛性和更广的吸引盆地。
2026-08-24 cs.NA math.NA math.OC
Riemannian Stochastic Variance-Reduced Cubic Regularized Newton Method for Submanifold Optimization
我们提出了一个随机方差缩减的三次正则牛顿算法来优化欧几里得空间的黎曼子流形上的有限和问题。该算法需要在每个历元开始时进行全梯度和Hessian更新,同时在每个历元内的迭代中进行随机方差减少更新。计算了$O(ε^{-3/2})$的迭代复杂度,得到了一个$(ε,\sqrtε)$ -二阶稳定点,即,当流形嵌入在欧几里得空间中时,建立了黎曼梯度范数上界为$ε$,黎曼Hessian最小特征值下界为$-\sqrtε$的点.此外,本文提出了一个计算上更吸引人的修改算法,只需要一个不精确的解决方案的立方正则牛顿子问题具有相同的迭代复杂度。该算法进行了评估,并与其他三个黎曼二阶方法在两个数值研究估计的逆尺度矩阵的多元t-分布的对称正定矩阵的流形上,估计球形流形上的线性分类器的参数。
2022-07-21 math.OC
A Sequential Cubic Programming Method with Second-Order Complexity Guarantees for Equality Constrained Optimization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出一种基于序列三次规划框架的新方法,通过将约束雅可比分解为法向和切向分量,结合三次正则化子问题求解,实现全局收敛到二次 stationary 点和局部二次收敛,取得梯度、二次 stationary 和约束违反的最优复杂性界。
2026-11-13 math.OC
A Polyhedral Study for the Cubic Formulation of the Unconstrained Traveling Tournament Problem
研究了无约束旅行锦标赛问题,一个最小化团队旅行的运动竞赛问题。自20年前引入以来,大多数研究都致力于建模和重构方法。在本文中,我们进行了多面体的研究,三次整数规划制定建立的整数壳的尺寸,以及由模型不等式引起的面。此外,我们引入了一类新的不等式,并证明了它们是刻面定义的。最后,我们评估了这些不等式对线性规划界的影响。
2022-09-07 cs.DM math.OC
The Generalized Trust Region Subproblem: solution complexity and convex hull results
本文研究非凸二次约束下极小化非凸二次目标的广义信赖域子问题。提升这个问题重铸GTRS最小化线性目标的两个非凸二次约束。我们的第一个主要贡献是结构:我们给出了一个明确的描述的凸包的非凸集的广义特征值的相关矩阵束。这一结果可能是感兴趣的非凸二次规划的建设松弛。此外,这一结果使我们能够重新制定的GTRS作为两个凸二次函数在原始空间中的最小化。我们的下一组贡献是算法:我们提出了一种算法,用于解决GTRS的基础上,这个重新的一个可加性误差。我们仔细处理的数值问题,所产生的不精确的广义特征值和特征向量的计算,并建立明确的运行时间保证这些算法。值得注意的是,我们的算法在线性(输入的大小)时间内运行。此外,我们的算法用于计算ε-最优解有一个稍微改进的运行时间依赖于最先进的算法的最大值。我们的分析表明,在解决GTRS的主要成本在于解决广义特征值问题-建立这些问题之间的自然联系。最后,我们的凸包结果的推广,使我们能够应用我们的算法和理论保证直接平等,间隔,和空心约束的GTRS的变种。这给出了第一个线性时间算法在文献中的这些变种的GTRS。
2020-11-13 cs.DS math.OC
Modeling Load Redistribution Attacks in Integrated Electricity-Gas Systems
本文提出双层混合整数模型及改进的R&D算法,用于从经济角度识别综合电力-天然气系统中最严重的负荷重分配攻击,并保证算法可行性与最优性。
2023-12-27 cs.SY eess.SY math.OC
MadNCL: A GPU Implementation of Algorithm NCL for Large-Scale, Degenerate Nonlinear Programs
本文提出MadNCL,一种基于增广拉格朗日方法的GPU实现,通过融合循环、外推及稳定化/凝聚KKT系统求解,高效处理大规模退化非线性规划,实验验证其在最优潮流等问题上的有效性。
2025-10-07 math.OC
A Tight SDP Relaxation for the Cubic-Quartic Regularization Problem
Xiangtan University(湘潭大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);University of California San Diego(加州大学圣地亚哥分校);Hong Kong Baptist University(香港浸会大学)
本文针对三次-四次正则化(CQR)问题提出结构化半定规划(SDP)松弛方法,证明其紧性条件,给出检测紧性与求全局极小解的算法,数值实验表明该方法有效且高效,可在充分条件下多项式时间全局求解CQR问题。
2026-08-21 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法,在最坏的情况下,该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$,并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架,涵盖了广泛的技术,包括二次和三次正则化牛顿方法,如自适应正则化使用三次(ARC)方法和最近提出的信赖域算法与收缩和扩张(TRACE)。我们的方法的一般性是通过引入通用的条件,每个试验步骤需要满足,特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题,可以近似求解,以获得满足条件的试验步骤。一个新的实例的框架,不同的ARC和TRACE,可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明,我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
A Cubic Regularization Approach for Finding Local Minimax Points in Nonconvex Minimax Optimization
University of Utah(犹他大学);University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团);JD company(京东公司)
梯度下降-上升(GDA)算法是一种广泛使用的极小极大优化算法。然而,GDA已被证明收敛到非凸极大极小优化的稳定点,这是次优的局部极大极小点相比。在这项工作中,我们开发了三次正则化(CR)型算法,全局收敛到局部极大极小点的非凸强凹极大极小优化。我们首先证明了局部极大极小点等价于某个包络函数的二阶平稳点。然后,受经典的三次正则化算法的启发,提出了一种寻找局部极小极大点的算法Cubic-LocalMinimax,并利用其内在的势函数给出了一个全面的收敛性分析.具体地说,我们建立了Cubic-LocalMinimax的整体收敛到局部极小极大点的次线性收敛速度,并描述其迭代复杂性。此外,我们提出了一个基于GDA的求解器,用于解决Cubic-LocalMinimax算法中涉及的立方子问题,达到一定的预定义精度,并分析了这种不精确的Cubic-LocalMinimax算法的整体梯度和Hessian向量积计算复杂性。此外,我们提出了一个随机变种的Cubic-LocalMinimax的大规模极大极小优化,并在随机子采样下的样本复杂性。实验结果表明,我们的随机Cubic-LocalMinimax比现有的一些算法更快的收敛。
2023-02-19 cs.LG math.OC
Global Optimality Characterizations and Algorithms for Minimizing Quartically-Regularized Third-Order Taylor Polynomials
University of Oxford(牛津大学)
研究最小化四次正则化三阶泰勒多项式问题,通过建立全局最优性条件,开发对角张量方法(DTM),证明其收敛性及复杂度,在特殊结构问题上性能优越,为优化问题提供了新算法和理论依据。
2026-07-23 cs.NA math.NA math.OC
Stochastic Recursive Variance-Reduced Cubic Regularization Methods
University of California, Los Angeles(加州大学洛杉矶分校)
随机方差缩减立方正则化(SVRC)算法由于其改进的梯度/Hessian复杂性(即,随机梯度/Hessian预言机的查询数量),以找到非凸有限和优化的局部极小值。然而,目前还不清楚现有的SVRC算法是否可以进一步改进。此外,在现有的SVRC算法中采用的半随机Hessian估计器,防止使用基于Hessian向量乘积的快速三次子问题求解器,这使得SVRC算法在计算上难以处理高维问题。在本文中,我们首先提出了一个随机递归方差减少三次正则化方法(SRVRC)使用递归更新的半随机梯度和Hessian估计。该算法在寻找$(ε, \sqrtε)$ -近似局部极小值方面具有改进的梯度和Hessian复杂度,性能优于现有的SVRC算法。在SRVRC的基础上,进一步提出了一种无Hessian的SRVRC算法,即SRVRC $_{\text{free}}$,它只需要随机梯度和Hessian向量积的计算,并达到了$\tilde O(dnε^{-2} \land dε^{-3})$的运行复杂度,其中$n$是有限和结构中分量函数的个数,$d$是问题维数,$ε$是优化精度.这优于Tripuraneni等人在2018年提出的随机三次正则化算法实现的最著名的运行时复杂度$\tilde O(dε^{-3.5})$。
2019-10-11 cs.LG math.OC stat.ML
Regularized Step Directions in Nonlinear Conjugate Gradient Methods
本文提出CGM的混合三次正则化方法,利用Shanno的无记忆BFGS重新表述推导出计算量同级的新正则化步长方向,在更少假设下实现全局收敛,数值实验表明其减少了迭代次数与运行时间。
2024-08-28 math.OC stat.CO
Single-Loop Gradient Algorithms for Pessimistic Bilevel Optimization Problems
Southern University of Science and Technology(南方科技大学);University of Pittsburgh(匹兹堡大学);National Center for Applied Mathematics Shenzhen(深圳应用数学国家研究中心)
针对悲观双层优化问题,提出基于重构、惩罚和正则化的光滑近似及两种仅用一阶梯度的单循环算法,并证明其收敛性,实验显示高效且优于乐观双层方法。
2026-09-11 math.OC
Gradient Regularization of Newton Method with Bregman Distances
在本文中,我们提出了一个第一个二阶计划的基础上任意非欧规范,纳入Bregman距离。它们被直接引入到牛顿迭代中,正则化参数与当前梯度范数的平方根成比例。对于基本方案,适用于复合最优化问题,我们建立了整体收敛速度的顺序$O(k^{-2})$的功能性剩余和次梯度的范数。我们的主要假设的光滑部分的目标是Lipschitz连续的Hessian。对三次一致凸函数证明了全局线性收敛速度,对强凸函数证明了局部超线性收敛速率。我们的方法可以被看作是一个松弛的三次正则化的牛顿方法,它保持其收敛性,而在每次迭代的辅助子问题是简单的。我们装备我们的方法与自适应线搜索过程中选择的正则化参数。我们还提出了一个加速方案的收敛速度$O(k^{-3})$,其中$k$是迭代计数器。
2021-12-06 math.OC
On the Universality of Simple Trust-Region Algorithms
Weierstrass Institute for Applied Analysis and Stochastics (WIAS)(魏尔斯特拉斯应用分析与随机性研究所)
研究为二次信赖域方法建立通用复杂度保证,基于新模型减少估计确定通用行为机制。证明基本方法在凸性下通用,给出复杂度界,还表明相关变体在多情况通用,揭示信赖域机制适应性,为其实际成功提供理论支持。
2026-07-23 math.OC
Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization
University of California, Merced(加州大学默塞德分校)
针对一阶方法未利用曲率易收敛到鞍点或差局部极小值、L-BFGS不适用于DNN非凸损失的问题,提出有限内存对称秩一拟牛顿法(允许不定海森近似)及改进自适应正则化三次方法,在自编码器和前馈网络上与先进方法对比验证性能。
2025-02-17 cs.IT cs.LG cs.NA
An efficient second-order cone programming approach for dynamic optimal transport on staggered grid discretization
Hunan University(湖南大学);Southern University of Science and Technology(南方科技大学)
本文提出了一种基于二次锥编程的高效数值方法,用于求解在 staggered grid 离散化下的二次成本动态最优传输问题,通过将离散化的动态最优传输问题重新公式化为线性 SOCP,消除了插值矩阵,从而避免了由插值引起的多项式方程和线性系统的求解。此外,利用 SOCP 重新公式化,通过计算上高度经济的近似分解基于增广拉格朗日方法的实现,可以高效地解决这些问题。并且,所提出的方法被开发成开源软件包。各种动态最优传输问题的数值实验表明,所提出的方法在效率上显著优于最先进的软件包,并且在非负测度问题上表现出突出的鲁棒性。
2026-05-20 math.OC
A Homogeneous Tensor Framework for High-Order Trust-Region and Spherical Polynomial Optimization
University of Oxford(牛津大学);Qufu Normal University(曲阜师范大学);Curtin University(科廷大学)
研究高阶方法中\(p\geq3\)阶泰勒子问题难求解的问题,基于齐次张量表示开发半径控制边界方法,聚焦三次情况引入PAM方法,嵌入Ada--HTM,在特定条件下达到自适应正则化类型评估复杂度,数值表现良好。
2026-07-28 cs.NA math.NA math.OC
Scalable Second-order Riemannian Optimization for $K$-means Clustering
Department of Statistics, University of Illinois Urbana-Champaign(统计系,伊利诺伊大学厄巴纳-香槟分校);Department of Electrical and Computer Engineering, University of Illinois Urbana-Champaign(电气与计算机工程系,伊利诺伊大学厄巴纳-香槟分校);Department of Mathematics, University of Southern California(数学系,南加州大学)
本文提出了一种基于二次黎曼优化的K均值聚类方法,通过分解流形结构实现线性时间复杂度,显著提升收敛速度并保持统计准确性。
2026-03-04 cs.LG math.OC