Generalized Self-concordant Hessian-barrier algorithms
统计学习、成像和计算机视觉中的许多问题涉及在可行集的边界处具有奇异点的非凸目标函数的优化。对于这种具有挑战性的情况，我们开发了一种新的边界点技术，该技术建立在Bomze，Mertikopoulos，Schachinger和Staudigl最近引入的Hessian-barrier算法的基础上[SIAM J. Opt. 2019 29（3），pp. 2100-2127]，其中黎曼度量由广义自协调函数诱导。这类函数足够一般，可以包括内点方法文献中大多数常用的障碍函数。我们证明了该方法的整体收敛到一个近似稳定点，并在可行集承认一个容易计算的自协调障碍的情况下，我们验证了最坏情况下的最佳迭代复杂性的方法。讨论了该方法在非凸统计估计和$L^{p}$ -最小化中的应用，给出了该方法的有效性。
2019-11-06 cs.CC math.OC stat.ML
Projection-Free Online Convex Optimization via Efficient Newton Iterations
本文提出一种利用自和谐障碍函数和高效牛顿迭代的无投影在线凸优化算法，通过利用牛顿迭代稳定性减少矩阵求逆次数，实现最先进遗憾界。
2023-06-19 cs.LG math.OC
On permutation symmetries in Bayesian neural network posteriors: a variational perspective
Stellantis（斯泰兰蒂斯）
本研究将边缘化损失障碍形式化扩展到贝叶斯神经网络，提出一种基于置换矩阵对齐的匹配算法以搜索线性连接解，实验表明多种架构和数据集上边缘化损失障碍几乎为零。
2023-10-16 cs.LG stat.ML
A Log-Barrier Newton-CG Method for Bound Constrained Optimization with Complexity Guarantees
我们描述了一个算法的基础上的对数障碍函数，牛顿法，和线性共轭梯度，获得一个近似极小的光滑函数的非负正交。我们开发的方法的复杂性，所需的精度和成本的一个单一的梯度评价的目标函数和/或矩阵向量乘法涉及的Hessian的目标方面的限制。该方法可以在不显式计算或存储Hessian的情况下实现。
2019-12-03 math.OC
On exploration of an interior mirror descent flow for stochastic nonconvex constrained problem
School of Industrial Engineering, Purdue University（工业工程学院，普渡大学）
本文构造统一 Hessian barrier 与 mirror descent 的内点黎曼次梯度流，分析伪稳定点成因，并给出规避条件、随机扰动策略及两类推广迭代算法。
2025-07-25 cs.LG math.OC
Power-law escape rate of SGD
RIKEN Center for Emergent Matter Science (CEMS)（理化学研究所新兴物质科学研究中心）；The University of Tokyo（东京大学）
随机梯度下降（SGD）算法由于均方损失而受到复杂的乘性噪声的影响。我们利用SGD噪声的这一特性，通过执行随机时间变化，推导出具有更简单的加性噪声的随机微分方程（RSDs）。使用这种形式主义，我们表明，局部最小值$θ^*$和鞍$θ^s$之间的对数损失势垒$Δ\log L=\log[L(θ^s)/L(θ^*)]$决定SGD从局部最小值的逃逸率，与以前的结果相反，借用物理学的线性损失势垒$ΔL=L(θ^s)-L(θ^*)$决定逃逸率。我们的逃逸率公式强烈地依赖于典型的大小$h^*$和海森的离群本征值的数量$n$。这一结果解释了一个经验事实，即SGD更喜欢低有效维度的平坦极小值，从而深入了解SGD的内隐偏差。
2022-01-29 cond-mat.dis-nn cond-mat.stat-mech cs.LG
The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
本文从动力学稳定性视角分析 SGD 的隐式正则化，证明稳定最小值约束 Hessian 迹并等价于参数范数，从而解释大学习率 SGD 优于 GD 的泛化表现。
2023-06-01 cs.LG stat.ML
Simultaneous linear connectivity of neural networks modulo permutation
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
该研究将神经网络置换对称性相关的线性连通性论断细化为弱、中、强三个层级，验证了中间论断在迭代训练与剪枝网络序列中成立，并首次为强线性连通性的可能性提供了实验证据。
2024-04-09 cs.LG stat.ML
Computing conjugate barrier information for nonsymmetric cones
最近Dahl和Andersen [10]对非对称锥的内点算法以及早期的工作[16，19]需要来自问题中锥的障碍函数的共轭的导数信息。除了一些特殊情况外，没有迹象表明何时这种信息是有效的评估。我们展示了如何计算七个有用的非对称锥的共轭障碍函数的梯度。在某些情况下，这有助于导出原始障碍的逆Hessian算子的封闭形式表达式。
2022-08-22 math.OC
FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation
University of Padova（帕多瓦大学）；Uppsala University（乌普萨拉大学）
本文提出 FedZeN，这是一种在联邦零阶凸优化中利用增量 Hessian 与 Stiefel 流形搜索方向估计曲率的算法，实现高概率局部二次及全局线性收敛，并在实验中优于现有方法。
2023-09-29 cs.LG math.OC
A Barrier-Metric First-Order Method for Linearly Constrained Bilevel Optimization
University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Berkeley（加州大学伯克利分校）
本文提出一种基于障碍平滑的双层优化方法，通过处理非光滑性和计算开销问题，实现高效的求解。
2026-05-12 math.OC stat.ML
Hessian informed mirror descent
受最近论文的启发（L。Ying，用于最小化相互作用自由能的镜像下降算法，科学计算杂志，84（2020），pp. 1-14），我们探讨了镜像下降和变度量法之间的关系。当镜像下降中的度量由凸函数诱导，且其Hessian与目标函数的Hessian接近时，该方法既具有镜像下降的鲁棒性，又具有牛顿型方法的超线性收敛性.当应用于线性约束极小化问题时，我们证明了在连续和离散情况下的全局和局部收敛。作为应用，我们计算了Wasserstein梯度流和具有退化迁移率的Cahn-Hillard方程。当制定这些问题使用一个最小化的运动计划相对于一个可变的度量，我们的镜像下降算法提供了一个快速的收敛速度为下划线的最优化问题，同时保持总质量和解决方案的界限。
2021-06-25 cs.NA math.NA math.OC
Logarithmic barriers for sparse matrix cones
University of California, Los Angeles（加州大学洛杉矶分校）；MOSEK ApS（MOSEK公司）
针对稀疏正半定矩阵锥及其对偶锥，提出基于多波前稀疏Cholesky分解的高效算法，用于计算对数障碍函数的梯度和海森矩阵，以支持稀疏半定规划的非对称锥内点法。
2012-03-13 cs.NA math.NA math.OC
Modal Barriers to Controllability in Networks with Linearly-Coupled Homogeneous Subsystems
Washington State University（华盛顿州立大学）
研究线性耦合同构子系统的网络可控性，区分不变模态和特殊重复模态对可控性的影响，揭示网络结构对可控性的阻碍作用。
2018-05-05 cs.SY eess.SY math.OC
Safe Optimal Control using Log Barrier Constrained iLQR
Texas A&M University（德克萨斯农工大学）
本文提出一种基于对数障碍约束的iLQR方法，通过增强正则化和保持凸性，实现安全最优控制并提高收敛稳定性。
2026-02-04 math.OC
Complexity Analysis of a Sampling-Based Interior Point Method for Convex Optimization
我们发展了一个短步长的内点方法来优化一个凸体上的线性函数，假设人们只知道这个身体的成员预言。该方法基于Abernethy和Hazan使用所谓熵势垒的通用内点方法的草图[arXiv 1507.02528v2，2015]。众所周知，熵势垒的梯度和Hessian可以通过从Boltzmann-Gibbs分布中采样来近似，并且Bubeck和Eldan证明了熵势垒是自洽的[arXiv 1412.1587v3，2015]。我们算法的分析使用了熵障碍的性质，Lovász和Vempala [计算机科学基础，2006]的击中并逃跑随机游动的混合时间，对数凹分布的均值和协方差的近似质量保证，以及De Klerk，Glineur和Taylor关于不精确牛顿型方法的结果[arXiv 1709.0519，2017]。
2018-11-19 math.OC
Finding a Hamiltonian cycle by finding the global minimizer of a linearly constrained problem
已经证明，矩阵函数的光滑行列式的全局极小对应于图的最大圈。当它存在时，这是一个哈密顿圈。即使是光滑函数，寻找全局极小值也是一个挑战。由于存在许多全局极小化者，这一困难往往更加严重。人们可能认为这会有所帮助，但在哈密顿圈的情况下，全局极小值与局部极小值的数量之比通常是天文数字般小。有各种等价形式的问题，这里我们报告两个。虽然重点是寻找哈密顿圈，这本身就有兴趣，但这只是一类具有离散变量的问题的代理。这类问题的松弛解通常位于退化顶点，并且在解的邻域内Hessian是不定的。我们解决的哈密顿圈问题的形式具有作为一般离散非线性问题设计的算法的理想测试问题的优点。它很容易产生不同规模和不同性质的问题，并且它们具有能够确定是否已找到全局解的优点。许多离散问题的一个特征是有许多解。例如，在频率分配问题中，解的任何置换也是解。一个结果是，放松的问题的一个共同特点是，他们有大量的全球最小值，甚至更大的本地最小值，和鞍点，其减少海森只有一个单一的负特征值。高效的算法，寻求找到这种类型的问题的全局极小。使用BONMIN，连续和离散变量的非线性问题求解器的结果，也包括在内。
2021-10-25 math.OC
A primal--dual interior-point method for nonsymmetric conic optimization with conjugate-free scaling
Nankai University（南开大学）；Suzhou University of Science and Technology（苏州科技大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
该研究提出基于无共轭缩放的原始-对偶内点法，将其嵌入齐次自对偶预测-校正框架，改进了迭代复杂度界，在特定锥优化问题上性能与专用求解器QICS相当。
2026-08-11 math.OC
Conic optimization with spectral functions on Euclidean Jordan algebras
欧几里德若当代数上的谱函数经常出现在凸模型中。尽管原始-对偶锥内点求解器取得了成功，但很少有直接支持谱锥的工作，即从epigraphs和谱函数的角度定义的适当的非对称锥。我们提出了简单的光谱锥的grammically齐性障碍，我们得到有效的，数值稳定的程序来评估障碍神谕，如逆Hessian算子。对于两个有用的类的谱锥-根行列式锥和矩阵单调衍生锥-我们表明，障碍是自和谐的，接近最佳的参数。我们在我们的开源求解器Hypatia中实现了这些圆锥体和神谕，并为四个应用问题编写了简单，自然的公式。我们的计算基准表明，Hypatia往往解决自然配方更有效地比先进的求解器，如MOSEK 9解决等效的扩展配方只使用这些求解器支持的圆锥体。
2021-11-02 math.OC
Solving Convex Quadratic Optimization with Indicators Over Structured Graphs
University of Michigan（密歇根大学）；University of Southern California（南加州大学）；Northwestern University（西北大学）
本文提出了一种在结构图上求解带有指示符的凸二次优化问题的算法，通过动态规划和结构条件优化，实现线性复杂度，并在预测和异常检测中展示了优越性能。
2026-03-02 math.OC
A structured L-BFGS method with diagonal scaling and its application to image registration
本文提出一种带对角缩放的结构化 L-BFGS 方法，利用可获得的部分 Hessian 近似提升曲率估计，并在图像配准中验证性能与收敛性。
2024-09-09 math.OC
Matching Complexity for Second-Order Stationary Point with Sample Reuse
Peking University（北京大学）
该研究针对带可复用样本句柄的随机非凸优化，证明求二阶平稳点的极小极大导数查询复杂度为\\(\widetilde\Theta(\varepsilon^{-3}+\gamma^{-3})\\)，并给出匹配该复杂度的上界与下界方法。
2026-10-20 math.OC
New complexity bounds for primal--dual interior-point algorithms in conic optimization
Cardinal Operations, Ltd.（卡迪纳尔操作有限公司）；University of Waterloo（滑铁卢大学）；UCLA（加州大学洛杉矶分校）
针对锥优化中的对称原始-对偶内点算法，通过原始和对偶点对的关键复杂度度量新一致界，得到改进的复杂度结果，包括自协调障碍函数情形下的紧界和迭代复杂度。
2026-06-16 math.OC
The regularization continuation method with an adaptive time step control for linearly constrained optimization problems
研究了线性等式约束最优化问题的正则化延拓方法和信赖域更新策略.该方法利用正则化延拓方法的线性守恒律，与以往的延拓方法和拟正则化延拓方法相比，不需要计算保持可行性的修正步长.线性约束最优化问题的牛顿修正公式。此外，该方法采用有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）公式作为预处理技术，提高了适定性阶段的计算效率;采用拉格朗日Hessian的正则化双边投影的逆作为预处理技术，提高了算法的鲁棒性.数值结果还表明，新方法比传统的最优化方法（例如乘数的交替方向法（ADMM）、序列二次规划（SQP）方法（MATLAB 2020 a环境的内置子程序fmincon.m））和最近的连续方法（Ptctr）更鲁棒、更快。新方法的计算时间约为SQP（fmincon.m）的1/3。最后，给出了新方法的整体收敛性分析。
2022-04-08 cs.NA math.NA math.OC
On barrier and modified barrier multigrid methods for 3d topology optimization
University of Birmingham（伯明翰大学）；Institute of Information Theory and Automation, Academy of Sciences of the Czech Republic（捷克科学院信息论与自动化研究所）
本文提出了一种基于Penalty-Barrier Multiplier方法的3D拓扑优化算法，通过多重网格预处理MINRES方法解决线性系统，从而在计算效率上优于优化准则和内点方法。
2019-04-13 cs.NA math.NA math.OC
Scalable First-Order Interior Point Trust Region Algorithms for Linearly Constrained Optimization
Peking University（北京大学）；Stanford University（斯坦福大学）；Shanghai Institute for Mathematics and Interdisciplinary Sciences（上海数学与交叉学科研究院）
本文提出一种近似第一次顺序内部点信任区域框架，通过低秩更新维护近似投影来解决信任区域子问题计算瓶颈，提高大规模优化问题的计算效率。
2026-04-27 cs.DS math.OC
A robust BFGS algorithm for unconstrained nonlinear optimization problems
本文提出一种改进BFGS算法，通过动态选择凸组合系数构造修正Hessian矩阵，证明其全局收敛且在局部优化器邻域超线性收敛，计算成本与BFGS相当，CUTE测试集上性能优于多种经典算法。
2025-11-12 math.OC
alfonso: Matlab package for nonsymmetric conic optimization
我们提出了alfonso，一个开源的Matlab软件包，用于解决非对称凸锥上的圆锥最优化问题。该实现是基于作者对Skajaa和Ye的原始-对偶邻域点方法的修正分析。该方法可以在任何凸锥上进行优化，只要该锥或其对偶有一个数学上齐次的自协调障碍。这包括许多非对称锥，例如，双曲锥和它们的双曲锥（如平方和锥），半定和二阶锥可表示锥，幂锥和指数锥。除了能够解决不能作为对称锥上的最优化问题的问题之外，它还为对称锥编程表示需要大量辅助变量或具有可以在屏障计算中利用的特殊结构的问题提供了性能优势。alfonso的最坏情况迭代复杂度是非对称锥优化中最著名的：$O(\sqrtν\log(1/ε))$迭代以达到$ε$最优解，其中$ν$是优化中使用的障碍函数的障碍参数。alfonso可以与Matlab函数（由用户提供）接口，该函数计算圆锥体的障碍函数的Hessian。为方便起见，还提供了一个简化的界面，用于优化软件中已内置屏障功能的圆锥体的直积。这个接口可以很容易地扩展到包括新的圆锥体。这两个接口说明了解决线性规划。Oracle接口和alfonso的效率也证明了使用的实验设计问题，其中定制的障碍计算大大减少了解决方案的时间相比，使用国家的最先进的圆锥曲线优化软件。
2021-01-12 math.OC
Newton and interior-point methods for (constrained) nonconvex-nonconcave minmax optimization with stability and instability guarantees
本文提出修正Hessian的牛顿类方法求解非凸-非凹极小极大问题，确保仅收敛到局部极小极大点，计算时间与Hessian非零元素数近似线性。
2024-02-11 cs.SY eess.SY math.OC
An Efficient IPM Implementation for A Class of Nonsymmetric Cones
本文提出一种针对广义幂锥等非对称锥的高效内点法实现，通过利用Hessian矩阵的低秩稀疏性实现稀疏LDL分解，在稀疏和大规模问题上显著优于现有求解器。
2023-05-20 math.OC
A Faster Interior-Point Method for Sum-of-Squares Optimization
我们提出了一个更快的内点法优化平方和（SOS）多项式，这是一个中心工具，多项式优化和捕获凸规划的拉萨尔层次。令$p = \sum_i q^2_i$是次数为$2d$的$n$变量SOS多项式。用$L := \binom{n+d}{d}$和$U := \binom{n+2d}{2d}$分别表示$q_i$和$p$所处的向量空间的维数，我们的算法在时间上运行$\tilde{O}(LU^{1.87})$。这是多项式比最先进的SOS和半定编程求解器，实现运行时$\tilde{O}(L^{0.5}\min\{U^{2.37}, L^{4.24}\})$。我们的算法的核心是一个动态的数据结构，用于维护多项式插值基础下的SOS障碍函数的Hessian的逆，这有效地扩展到多变量SOS优化，并需要保持谱近似的低秩扰动的elementwise（Hadamard）产品。这是主要的挑战和背离最近IPM突破使用逆维护，其中低秩更新松弛矩阵容易意味着相同的海森矩阵。
2022-02-17 cs.DS math.OC
Interior Point Methods with a Gradient Oracle
本文提出一种仅需一阶梯度预言机的拟牛顿内点法，通过扩展Dunagan-Harvey技术维护预条件子，在凸集优化和半定规划上实现了优于现有算法的运行时间。
2023-04-10 cs.DS math.OC
Efficient Interior-Point Methods for Hyperbolic Programming via Straight-Line Programs
Illinois State University（伊利诺伊州立大学）；University of Waterloo（滑铁卢大学）
本文提出DDS 3.0，通过新的直线条程序方法提升超几何规划的求解效率，显著优于现有算法。
2026-02-26 math.OC
An augmented Lagrangian algorithm for constrained nonlinear least-squares
Université de Montréal（蒙特利尔大学）；Hydro-Québec（魁北克水电公司）；Université du Québec à Montréal（蒙特利尔大学）
该研究针对受非线性和线性约束的非线性最小二乘问题，提出算法，通过将目标重述为增广拉格朗日函数处理非线性约束，用梯度投影技术近似求解线性约束问题，还涉及海森矩阵近似，展示全局收敛性并经实验评估性能。
2026-07-14 cs.NA math.NA math.OC
Quantum speedups for linear programming via interior point methods
Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；IRIF（IRIF研究所）；Tilburg University（蒂尔堡大学）
本文提出了一种基于内点法的量子算法，用于加速线性规划问题，通过高效近似Hessian和梯度实现亚线性时间复杂度。
2026-01-30 cs.DS math.OC quant-ph
Equipping Barzilai-Borwein method with two dimensional quadratic termination property
在赋予Barzilai-Borwein（BB）方法二维二次终止性质的基础上，提出了一种新的梯度步长。新步长的一个显著特点是它的计算只依赖于前几次迭代中的BB步长，不需要任何精确的线搜索或Hessian，因此它可以很容易地扩展到非线性最优化。通过自适应地采取长BB步和与新步长相关联的一些短步长，我们发展了一种求解二次优化和一般无约束优化的有效梯度法，并将其推广到求解极值特征值问题.通过引入梯度投影技术，将该方法进一步推广到箱约束优化和单线性箱约束优化。数值实验表明，该方法的性能优于文献中最成功的梯度法。
2021-01-09 math.OC
Fast Rates and Strong Convergence of Tikhonov-Regularized Mixed-Order Primal-Dual Dynamics for Linearly Constrained Optimization Without Eventual Ball Conditions
School of Mathematical Sciences, University of Electronic Science and Technology of China（电子科技大学数学科学学院）
本文提出带隐式Hessian阻尼的Tikhonov正则化混合阶原始-对偶动力学，在无最终球条件下证明强收敛并给出快速速率，改进临界情形的衰减估计并解答开放问题。
2026-09-09 math.OC
Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种随机二阶优化方法，称为牛顿草图：它基于使用随机投影或子采样Hessian执行近似牛顿步骤。对于自协调函数，我们证明了该算法具有指数高概率的超线性收敛，收敛性和复杂性的保证是独立的条件数和相关的问题依赖量。给定一个合适的初始化，类似的保证也适用于强凸和光滑的目标，没有自我和谐。当使用基于子采样Hadamard基的随机投影来实现时，该算法通常具有比牛顿法低得多的复杂度。我们还描述了扩展我们的方法，涉及凸约束的程序，配备了自我和谐的障碍。我们讨论并举例说明应用线性规划，二次规划与凸约束，逻辑斯谛回归和其他广义线性模型，以及半定规划。
2015-05-09 cs.DS cs.LG math.OC
A Second-Order Descent Algorithm for Nonlinear Equality Constrained Optimization
School of Mathematics and Statistics, Henan Normal University（河南师范大学数学与统计学院）
针对含一般不等式约束的优化问题，提出基于内点法的ARCBIP算法，采用向边界分数规则等技术，通过数值实验验证其性能并分析全局收敛性。
2026-10-19 math.OC
An Adaptive Cubic Regularisation Algorithm Based on Interior-Point Methods for Optimization with General Inequality Constraints
School of Mathematics and Statistics, Henan Normal University（河南师范大学数学与统计学院）；Mathematics and Science College, Shanghai Normal University（上海师范大学数理学院）
本文提出基于内点法的自适应三次正则化算法，用于解决具有通用不等式约束的非线性优化问题，通过构造ARC子问题和边界规则处理线性化约束，并通过复合步法和降维Hessian方法保证全局收敛性。
2026-06-05 math.OC
On Local Minimizers of Quadratically Constrained Nonconvex Homogeneous Quadratic Optimization with at Most Two Constraints
本文研究了具有一个或两个约束的非凸齐次二次约束二次优化问题，分别记为（QQ1）和（QQ2）。(QQ2)包含（QQ 1）、置信域子问题（TRS）和椭球正则化总体最小二乘问题作为特例。已知（QQ2）的全局极小存在一个充分必要的最优性条件.在本文中，我们首先证明了（QQ1）的任何局部极小是全局最优的。不同于它的特殊情况（TRS）至多有一个局部非全局极小，（QQ2）可能有无穷多个局部非全局极小。在（QQ2）的任何局部非全局极小点处，线性无关约束规格和严格互补条件均成立，且拉格朗日函数的Hessian恰好有一个负特征值.作为一个主要贡献，我们证明了标准的二阶充分最优性条件的任何严格的局部非全局极小（QQ2）仍然是必要的。应用和进一步扩展的不可能性进行了讨论。
2021-07-21 math.OC
Minimax Oracle Call Complexity, Rounds and Admissible Noise in Zeroth-Order Optimization of Highly Smooth Functions
MIRIAI；HSE University（高等经济大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Innopolis University（喀山国立研究技术大学）；AI Institute MSU（莫斯科国立大学人工智能研究所）
本文研究高度光滑凸函数的零阶优化，提出加速有限差分方法，在强凸情形下达到调用次数下界 $d^2\varepsilon^{-\beta/(\beta-1)}$ 且轮次为 $O(\sqrt{\kappa}\log(1/\varepsilon))$，并证明可容忍最优噪声，实验验证理论。
2026-10-16 math.OC
Efficient Implementation of Interior-Point Methods for Quantum Relative Entropy
本文针对量子相对熵规划提出一系列数值与线性代数技术及两阶段面缩减方法，提升内点法效率，并在DDS 2.2中实现，通过多类数值实验验证其性能。
2024-09-28 cs.MS math.OC quant-ph
