Minimizing Quasi-Self-Concordant Functions by Gradient Regularization of Newton Method
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
针对带拟自相容光滑分量的复合凸优化问题，提出带梯度正则化的基础牛顿法及加速方案，实现与信赖域法相当的快速全局线性收敛速率，且无需强凸或一致凸假设。
2023-08-28 cs.LG math.OC
A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization
The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；EPFL（洛桑联邦理工学院）
我们展示了如何可伸缩地解决一类约束自协调极小化问题使用线性极小化神谕（LMO）在约束集。我们证明了我们的方法的LMO调用的数量是几乎相同的L-光滑的情况下的Frank-Wolfe方法。具体来说，我们的牛顿弗兰克-沃尔夫方法使用$\mathcal{O}(ε^{-ν})$ LMO，其中$ε$是所需的精度，而$ν:= 1 + o(1)$。此外，我们证明了我们的算法可以利用改进的变体的LMO为基础的计划，包括远离步骤，达到线性收敛速率。我们还提供了数值证据与投资组合设计的竞争比，D-最优试验设计，和逻辑斯谛回归与弹性网牛顿弗兰克沃尔夫优于国家的最先进的。
2020-02-17 cs.LG math.OC stat.ML
NewVEM: A Newton Vertex Exchange Method for a Class of Constrained Self-Concordant Minimization Problems
Ling Liang Department of Mathematics University of Tennessee, Knoxville 1403 Circle Drive, Knoxville, TN 37916, USA Kim-Chuan Toh Department of Mathematics；Institute of Operations Research；Analytics National University of Singapore 10 Lower Kent Ridge Road, Singapore 119076 Haizhao Yang Department of Mathematics；Department of Computer Science University of Maryland, College Park 4176 Campus Drive, College Park, MD 20742, USA
提出NewVEM算法，结合投影牛顿与顶点交换方法，高效求解广义单纯形约束下的自和谐最小化问题，并辅以半光滑牛顿投影方法，实验验证其高效性与可扩展性。
2025-10-14 cs.LG math.OC
Self-concordant smoothing in proximal quasi-Newton algorithms for large-scale convex composite optimization
IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
本文提出了一种自相容平滑方法，用于大规模凸复合优化问题，通过变量度量选择和步长规则提升 proximal 反向牛顿算法的效率，并在过参数化模型中有效应用。
2025-11-27 cs.LG math.OC
Polynomial iteration complexity of a path-following smoothing Newton method for symmetric cone programming
Institute of Mathematics, Hebei University of Technology（河北工业大学数学研究所）；State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences, and the University of Chinese Academy of Sciences（中国科学院数学与系统科学研究院、中国科学院大学数学科学学院）；School of Mathematical Sciences and LPMC, Nankai University（南开大学数学科学学院）
本文提出了一种路径跟踪平滑牛顿方法，通过引入缩减的障碍augmented Lagrangian函数，解决了对称锥编程中平滑牛顿方法的多项式迭代复杂性问题，证明了该方法的迭代复杂度与内点法一致。
2026-05-21 math.OC
On a manifold formulation of self-concordant functions
本文将自协调函数理论推广到流形上，通过Hessian的协变导数条件定义自协调性，并证明双曲空间中平方距离函数及对数障碍的自协调参数，展示了牛顿法和路径跟踪法的推广性质。
2023-04-15 math.OC
Non-Convex Self-Concordant Functions: Practical Algorithms and Complexity Analysis
Columbia University（哥伦比亚大学）；The University of Hong Kong（香港大学）
本文扩展了自洽性概念到非凸优化，提出两类自洽函数并设计了具有全局收敛性的二阶算法，实现以O(ε⁻²)迭代达到近似一阶 stationary 点，且能通过负曲率检测收敛到近似二阶 stationary 点。
2026-04-06 math.OC
Improved global performance guarantees of second-order methods in convex minimization
本文比较二阶优化两分支，提出针对一般自和谐函数的路径跟踪方案，证明其复杂度优于阻尼牛顿法且全局超线性收敛，并改进常数因子，在强凸子类中三次正则化牛顿法复杂度更优。
2024-08-20 math.OC
SCORE: Approximating Curvature Information under Self-Concordant Regularization
IMT School for Advanced Studies Lucca（卢卡IMT高等研究学院）
本文提出SCORE自和谐正则化框架及GGN-SCORE算法，通过利用Hessian矩阵二阶信息结构降低计算开销，在正则化最小化问题中实现更快收敛和更好泛化，并在非凸神经网络训练中展现潜力。
2023-07-10 cs.LG math.OC
Randomized block proximal damped Newton method for composite self-concordant minimization
Simon Fraser University（西蒙弗雷泽大学）
本文考虑复合自协调极小化问题，即极小化一个自协调函数$f$和一个（可能是非光滑的）真闭凸函数$g$的和. CSC极小化是路径跟踪内点法求解一类广泛的凸优化问题的基础。它在机器学习中也有许多应用。近端阻尼牛顿（PDN）方法已经在文献中得到了很好的研究，以解决这个问题，享受一个很好的迭代复杂度。考虑到在每次迭代时，这些方法通常需要评估或访问$f$的Hessian，并且还需要求解一个近似牛顿子问题，因此当应用于大规模问题时，每次迭代的成本可能非常高。受最近成功的块坐标下降法的启发，我们提出了一个随机块邻近阻尼牛顿（RBPDN）方法来解决CSC最小化。与PDN方法相比，RBPDN每次迭代的计算成本通常显著降低。对一类正则化逻辑斯谛回归问题的计算实验表明，RBPDN确实有希望解决大规模CSC极小化问题。文中还分析了RBPDN的收敛性。特别是，我们证明了RBPDN是全局收敛时，$g$是Lipschitz连续的。它也表明RBPDN享有局部线性收敛。此外，我们证明了对于一类$g$，包括$g$是Lipschitz可微的情形，RBPDN具有全局线性收敛.作为一个惊人的结果，它表明，经典的阻尼牛顿法[22，40]和PDN [31]这样的$g$是全局线性收敛，这是以前未知的文献。此外，这个结果可以用来锐化这些方法的现有迭代复杂度。
2016-07-01 cs.LG cs.NA math.NA
Globally Convergent Newton Methods for Ill-conditioned Generalized Self-concordant Losses
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’École Normale Supérieure（巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
本文研究了基于牛顿法的大规模凸优化算法在正则化广义自协调损失问题中的应用，包括逻辑斯谛回归和softmax回归。我们首先证明，我们的新的简单的计划的基础上减少正则化参数的一系列问题是可证明的全局收敛，这种收敛是线性的一个常数因子的规模只有数学上的条件数。在参数设置中，我们得到了一个算法，具有相同的缩放比常规的一阶方法，但具有改进的行为，特别是在病态问题。其次，在非参数机器学习环境中，我们给出了一个结合Nystr{<$}m投影技术的显式算法，并证明了该算法的时间复杂度为O（ndf $λ$），记忆复杂度为O（df 2 $λ$），并且不依赖于条件数，从而推广了最小二乘回归的结果.这里n是观测数，df $λ$是相关的自由度。特别是，这是第一个在具有大条件数和理论保证的非参数设置中解决logistic和softmax回归的大规模算法。
2019-11-21 cs.AI cs.LG math.OC
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research（微软研究院）
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数，该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法，以尽量减少整体经验损失，这是平均的本地经验损失。该算法基于不精确阻尼牛顿法，其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数，并讨论了分布岭回归，逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中，算法所需的通信轮数不会随着样本量的增加而增加，只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种随机二阶优化方法，称为牛顿草图：它基于使用随机投影或子采样Hessian执行近似牛顿步骤。对于自协调函数，我们证明了该算法具有指数高概率的超线性收敛，收敛性和复杂性的保证是独立的条件数和相关的问题依赖量。给定一个合适的初始化，类似的保证也适用于强凸和光滑的目标，没有自我和谐。当使用基于子采样Hadamard基的随机投影来实现时，该算法通常具有比牛顿法低得多的复杂度。我们还描述了扩展我们的方法，涉及凸约束的程序，配备了自我和谐的障碍。我们讨论并举例说明应用线性规划，二次规划与凸约束，逻辑斯谛回归和其他广义线性模型，以及半定规划。
2015-05-09 cs.DS cs.LG math.OC
Performance Estimation of second-order optimization methods on classes of univariate functions
本文提出了一种基于插值条件和 Performance Estimation 框架的精确计算机辅助方法，用于分析二阶优化方法在单变量函数类上的最坏情况性能，改进了收敛速率并给出了多变量下界。
2025-06-28 math.OC
Worst-case convergence analysis of inexact gradient and Newton methods through semidefinite programming performance estimation
我们提供了新的工具，最坏情况下的性能分析的梯度（或最速下降）的柯西光滑强凸函数的方法，和牛顿法的自协调函数，包括不精确的搜索方向的情况下。该分析使用半定规划性能估计，如Drori和Teboulle [数学规划，145（1-2）：451-482，2014]所开创的，并扩展了作者[Optimization Letters，11（7），1185-1199，2017]柯西方法的最新性能估计结果。为了说明工具的适用性，我们展示了一个新的复杂性分析的短步骤内点方法使用不精确的搜索方向。作为这个框架中的一个例子，我们概述了如何对Abernethy和Hazan最近的内点方法进行严格的最坏情况复杂性分析[PMLR，48：2520-2528，2016]。
2020-06-22 math.OC
A proximal Newton framework for composite minimization: Graph learning without Cholesky decompositions and matrix inversions
我们提出了一个算法框架的凸最小化问题的复合函数与两项：一个自协调函数和一个可能的非光滑正则项。我们的方法是一个新的近似牛顿算法，具有局部二次收敛速度。作为我们框架的一个具体实例，我们考虑了图学习问题中的稀疏逆协方差阵估计。通过仔细的对偶公式和一个新的分析步长选择过程，我们的方法图学习避免了Cholesky分解和矩阵求逆在其迭代，使其有吸引力的并行和分布式实现。
2013-03-19 math.OC stat.ML
Interior-point algorithms with full Newton steps for nonsymmetric convex conic optimization
针对非对称凸锥优化问题，提出仅需原始锥对数齐次自协调障碍函数的全牛顿步原始-对偶可行内点算法，达到最优理论迭代复杂度，兼容对偶证明框架，在困难多项式优化问题上表现出高效性与数值可靠性。
2025-02-22 math.OC
Path-Following Gradient-Based Decomposition Algorithms For Separable Convex Optimization
提出了一种新的分解优化算法--\textit{path-following gradient-based decomposition}，用于求解可分凸优化问题.与文献中考虑的路径跟踪牛顿法不同，该算法不需要对目标函数作任何光滑性假设。这使我们能够处理更多的一般类的问题，在许多实际应用中比在路径跟踪牛顿方法。新算法是三种技术的组合，即平滑，拉格朗日分解和路径跟踪梯度框架。该算法将原问题分解成更小的子问题，通过使用对偶分解和平滑通过自洽障碍，更新的对偶变量使用路径跟踪梯度法，并允许一个并行解决的子问题。此外，算法参数自动更新，没有任何调整策略，在增广拉格朗日方法。证明了新算法的整体收敛性，并分析了其局部收敛速度。然后，我们利用Nesterov的加速方案对该算法进行了改进，得到了一个新的具有更好的局部收敛速度的算法。最后，我们提出了初步的数值试验，证实了理论的发展。
2012-09-20 math.OC
Newton-MR: Inexact Newton Method With Minimum Residual Sub-problem Solver
University of Queensland（昆士兰大学）；The Centre for Information Resilience（信息弹性中心）；International Computer Science Institute（国际计算机科学研究所）；Stanford University（斯坦福大学）；University of California at Berkeley（加州大学伯克利分校）
我们考虑一个变种的不精确牛顿法，称为牛顿MR，其中的最小二乘法的子问题近似求解使用最小残差方法。通过构造，牛顿-MR可以很容易地应用于一类称为不变凸的非凸问题的无约束优化，其中包含凸性作为子类。对于不变凸优化问题，取代经典的关于梯度和Hessian的Lipschitz连续性假设，在一个较弱的Hessian和梯度的联合正则性概念下，可以保证Newton-MR的整体收敛.我们还得到了Newton-MR问题无关的局部收敛到极小点集。我们证明了快速局部/整体收敛可以保证一个新的不精确条件下，据我们所知，这是远远弱于以前的相关工作。数值结果表明，与其他几个牛顿型的替代品在一些机器学习问题的性能相比，牛顿-MR。
2022-05-06 cs.LG math.OC
Interior-point methods on manifolds: theory and applications
该研究将自协调障碍函数推广到黎曼流形，证明其保留欧氏空间下的收敛性与复杂度保证，给出通用障碍构造，并提出多类流形优化问题的先进算法。
2023-04-11 cs.DS math.DG math.OC
All roads lead to Rome: Path-following Augmented Lagrangian Methods via Bregman Proximal Regularization
Proxima Fusion GmbH（Proxima Fusion有限公司）
本文提出了一种基于Bregman近端正则化的增广拉格朗日方法，用于解决凸凸-复合优化问题，并推导了外循环的快速收敛速率及联合复杂度界。
2026-02-17 math.OC
Inexact Newton method for minimization of convex piecewise quadratic functions
研究了凸分段二次函数数值极小化问题的一种不精确牛顿型方法，并分析了其收敛性。早些时候，一个类似的方法被成功地应用于优化问题中出现的数值网格生成。该方法可用于计算线性方程的欠定组的最小范数非负解，也可用于求凸多面体间的距离。该方法的性能进行了测试，使用的样本数据从NETLIB家庭的佛罗里达大学的稀疏矩阵收集以及准随机数据。
2019-01-10 math.OC
Greedy Newton: Newton's Method with Exact Line Search
The University of British Columbia（不列颠哥伦比亚大学）
本文提出具有精确线搜索的Greedy Newton（GN）方法，证明其能改进全局收敛速率并保留局部超线性收敛，实证表明通过允许更大步长，GN比回溯牛顿法表现更好。
2025-09-18 math.OC
PNOD: An Efficient Projected Newton Framework for Exact Optimal Experimental Designs
针对精确最优实验设计MINLP问题求解效率低的挑战，提出结合顶点交换法的投影牛顿框架以增强分支定界法，显著提升节点评估效率与解精度，并开源为PNOD.jl包。
2024-09-27 math.OC stat.ME
A Framework for Generalising the Newton Method and Other Iterative Methods from Euclidean Space to Manifolds
牛顿迭代法是一种在欧几里得空间上最小化费用函数的常用方法。各种概括的费用函数定义在流形上出现在文献中。在每种情况下，广义牛顿迭代的收敛速度需要从第一原理建立。本文提出了一个框架，广义迭代法从欧几里得空间流形，确保局部收敛率被保留。它适用于计算函数的坐标无关性质（例如零或局部极小值）的任何（无记忆）迭代法。流形上所有可能的牛顿方法都被认为是在这个框架下。坐标的变化，而不是任何黎曼结构，在提升牛顿方法到流形中发挥了自然的作用。该框架还提供了新的见解一般的牛顿方法的设计。
2014-04-04 math.OC
Quasi-Newton Steps for Efficient Online Exp-Concave Optimization
Massachusetts Institute of Technology（麻省理工学院）
本文的目的是设计计算效率和最优算法的在线和随机指数凹优化设置。用于这些设置的典型算法，例如在线牛顿步长（ONS），可以保证在$T$轮之后其遗憾上的$O(d\ln T)$界限，其中$d$是可行集的维度。然而，这样的算法执行所谓的广义投影时，他们的迭代步骤可行集之外。这种广义投影需要$Ω(d^3)$算术运算，即使对于诸如欧几里得球的简单集合也是如此，从而在最坏的情况下使得$T$轮之后的$d^3 T$阶ONS的总运行时间。在本文中，我们侧步广义投影使用自协调障碍作为正则化计算牛顿步骤。这确保了迭代总是在可行集内，而不需要投影。这种方法仍然需要在每一步计算障碍的Hessian的逆。然而，使用的牛顿步骤的稳定性，我们表明，逆的海森可以有效地近似通过泰勒展开的大多数回合，导致在一个$O(d^2 T +d^ω\sqrt{T})$总的计算复杂性，其中$ω$是矩阵乘法的指数。在随机设置中，我们表明，这转化为一个$O(d^3/ε)$计算复杂性找到一个$ε$ -次优点，回答一个开放的问题Koren 2013。我们首先显示这些新的结果的简单情况下，可行集是一个欧几里得球。然后，移动到一般的凸集，我们使用一个减少到在线凸优化欧几里德球。我们的最终算法可以被看作是一个更有效的版本的ONS。
2023-02-14 cs.LG math.OC
Preconditioned warm-started Newton-Krylov methods for MPC with discontinuous control
我们提出了有效的数值解的最优控制问题的模型预测控制，最优控制是不连续的牛顿-克雷洛夫方法。在我们早期的工作中，预处理GMRES实际上会导致最佳的$O(N)$复杂性，其中$N$是一个离散的地平线长度。热启动的影响，沿着预测的地平线上移动，数值研究。的方法进行了测试的一个经典的双积分器的最小时间问题的例子与一个已知的bang-bang最优控制。
2017-04-23 math.OC
Design of Tight Minimum-Sidelobe Windows by Riemannian Newton's Method
短时傅里叶变换（STFT）或离散Gabor变换（DGT）在信号分析和处理中有着广泛的应用。它们的性质由窗函数表征。对于信号处理，设计一种称为紧窗的特殊窗是重要的，因为已知它使DGT域处理对误差具有鲁棒性。在本文中，我们提出了一种方法，设计紧密的窗口，最大限度地减少旁瓣能量。它被配制成一个受约束的光谱浓度问题，并推导出一个斜流形上的牛顿法，以有效地获得一个解决方案。我们的数值例子表明，该算法只需要几个迭代到达一个稳定点。
2021-12-05 cs.NA eess.AS eess.SP
A Limited-Memory Quasi-Newton Algorithm for Bound-Constrained Nonsmooth Optimization
我们考虑最小化一个连续函数的问题，该函数可能是非光滑和非凸的，受边界约束。我们提出了一个算法，使用L-BFGS拟牛顿近似的问题的曲率与一个变种的弱沃尔夫线搜索。该方法的关键成分是活动集选择策略，该策略定义了计算搜索方向的子空间。为了克服非光滑函数梯度的固有短视性，我们提出了两种策略。第一个依赖于一个近似的$ε$最小范数次梯度，第二个使用迭代校正循环，增加活动集的基础上产生的搜索方向。我们描述了所提出算法的Python实现，并给出了一组标准测试问题的数值结果，以说明我们方法的有效性。
2016-12-21 math.OC
q-Line Search Scheme for Optimization Problem
本文利用q-导数给出了求解无约束和有约束最优化问题的新的下降线搜索迭代格式。在每一步迭代中，该格式提供了一个正定矩阵，它既不是牛顿格式中目标函数的精确Hessian，也不是拟牛顿格式中生成的正定矩阵.该过程不需要二阶可微性。该矩阵的分量使用函数的q-导数构造。证明了该格式在极小点的局部邻域内保持了Newton型格式的性质，从而获得了超线性收敛速率。文中还给出了该方案的数值例子。
2017-02-06 math.OC
Newton Meets Marchenko-Pastur: Massively Parallel Second-Order Optimization with Hessian Sketching and Debiasing
针对通信受限的大规模并行凸优化，提出基于 Marchenko-Pastur 定律自适应选择 Hessian 草图维度并对下降方向去偏平均的近似 Newton 方法，并给出维度无关的非渐近与自协调收敛保证。
2024-10-02 cs.IT eess.SP math.IT
Scalable sparse covariance estimation via self-concordance
我们考虑一类凸极小化问题，由一个自协调函数，如$\log\det$度量，凸数据保真度项$h(\cdot)$和正则化-可能是非光滑-功能$g(\cdot)$。这类问题最近引起了极大的兴趣，主要是由于它们在一流的应用程序中无处不在。在这个\emph{locally} Lipschitz连续梯度设置下，我们分析了近似牛顿格式的收敛行为，并增加了可能存在的不精确估计的扭曲。我们证明有吸引力的收敛速度保证和增强国家的最先进的优化方案，以适应这种发展。稀疏协方差估计的实验结果表明，我们的算法的优点，无论是在恢复效率和复杂度。
2014-05-13 cs.IT math.IT math.OC
A single-phase, proximal path-following framework
我们提出了一个新的近端，路径跟踪框架的一类约束凸问题。我们考虑设置的非线性-和可能的非光滑-客观的一部分被赋予了一个邻近算子，和约束集配备了一个自我和谐的障碍。我们的方法依赖于以下两个主要思想。首先，我们重新参数化的最优性条件作为一个辅助问题，这样一个良好的初始点是可用的，通过这样做，一个家庭的替代路径走向最优的生成。其次，我们将邻近算子与路径跟踪思想相结合，设计了一个单阶段的邻近路径跟踪算法。我们的方法有几个优点。首先，它允许通过邻近算子处理非光滑目标;这避免了为了适应优化中的非光滑分量而提升问题维度。第二，它只包括一个\emph{single phase}：虽然经典的路径跟踪计划的自协调目标的整体收敛速度不受初始化阶段，近端路径跟踪计划进行缓慢的收敛，以获得一个良好的起点\cite{TranDinh2013e}。在这项工作中，我们将展示如何克服这种限制，在近端设置，并证明我们的计划具有相同的$\mathcal{O}(\sqrtν\log(1/\varepsilon))$最坏情况下的迭代复杂性与标准的方法\cite{Nesterov2004,Nesterov1994}，而不需要一个初始阶段，其中$ν$是障碍参数和$\varepsilon$是一个理想的精度。最后，我们的框架允许在计算近似牛顿方向的错误，而不牺牲最坏情况下的迭代复杂性。我们证明了我们的算法的优点，通过三个数值例子，其…
2016-12-25 cs.IT math.IT math.OC
Gradient Descent Finds the Cubic-Regularized Non-Convex Newton Step
考虑了三次项正则化的非凸二次型的极小化问题，该问题具有多个鞍点和局部极小点。尽管如此，我们证明，在温和的假设下，梯度下降近似的$\textit{global minimum}$内的$\varepsilon$的准确性在$O(\varepsilon^{-1}\log(1/\varepsilon))$步骤大$\varepsilon$和$O(\log(1/\varepsilon))$步骤小$\varepsilon$（相比，我们定义的条件数），最多对数依赖于问题的维度。当我们用梯度下降法来逼近正则化牛顿步时，我们的结果暗示了对一般光滑非凸函数的二阶稳定点的一个收敛速率。
2022-08-30 cs.DS math.OC
Local minima in Newton's aerodynamical problem and inequalities between norms of partial derivatives
针对Newton最小阻力曲面问题，本文将平面曲面的局部极小性归结为边界消失二元凹函数偏导数$L_2$范数的不等式，并给出依赖区域几何的完备判据。
2024-05-08 math.AP math.OC
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化，并且通常认为这些局部方法找到全局最小值的困难的主要来源是局部最小值的扩散，其具有比全局最小值高得多的误差。在这里，我们认为，统计物理，随机矩阵理论，神经网络理论和经验证据的基础上，更深层次和更深刻的困难源于鞍点的扩散，而不是局部极小值，特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围，这会大大减缓学习速度，并给人一种存在局部最小值的错觉。受这些论点的启发，我们提出了一种新的方法来二阶优化，无鞍牛顿法，可以快速逃离高维鞍点，不同于梯度下降和拟牛顿法。我们将该算法应用于深度或递归神经网络训练，并提供了其优越的优化性能的数值证据。
2014-06-10 cs.LG math.OC stat.ML
Newton-type algorithms for inverse optimization II: weighted span objective
在逆最优化问题中，目标是修改底层最优化问题中的成本，使得给定的解决方案变得最优，而新的和原始的费用函数之间的差异（称为偏差向量）相对于某个目标函数被最小化。$\ell_1$ -和$\ell_\infty$ -范数是用于测量偏差大小的标准目标。最小化$\ell_1$ -范数是保持费用函数的总变化较低的自然方式，而$\ell_\infty$ -范数在坐标方面实现相同的目标。然而，这些目标都不适合提供平衡或公平的成本变化。在本文中，我们开始研究一个新的目标，测量偏差向量的最大和最小加权坐标之间的差异，称为加权跨度。我们给出了一个最小的可行偏差向量的最小加权跨度的最小-最大特征，并提供了一个牛顿型算法，找到一个在强多项式时间内运行的情况下，单位重量。
2023-02-28 cs.DM math.OC
Path Finding II : An Õ(m sqrt(n)) Algorithm for the Minimum Cost Flow Problem
MIT（麻省理工学院）
本文提出一个求解有向图最大流问题的算法，时间复杂度为Õ(m√n log^{O(1)}U)，优于之前的结果。该算法在密集图中表现更优，并通过新的内点法改进了线性规划问题的求解效率。
2015-03-05 cs.DS cs.NA math.NA
Structure-Exploiting Newton-Type Method for Optimal Control of Switched Systems
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
本文提出了一种有效的牛顿型方法，用于给定模式序列下切换系统的最优控制。利用网格加密方法对连续时间最优控制问题进行离散化，并构造非线性规划，保证牛顿型方法的局部收敛.一个专用的结构开发算法（Riccati递归），提出了执行牛顿型方法的NLP有效，因为它的稀疏结构是从一个标准的OCP不同。所提出的方法计算每个牛顿步骤的线性时间复杂度的离散化网格的总数作为标准的Riccati递归算法。另外，如果解足够接近于局部极小值，则计算总是成功的。相反，一般的二次规划（QP）求解器不能实现这一点，因为黑塞矩阵本质上是不确定的。此外，利用Riccati递归算法作为QP子问题的动态规划的性质，对约简黑塞矩阵进行了修正，提高了算法的收敛性.与现成的NLP求解器进行了数值比较，这表明所提出的方法快了两个数量级。四足步态的全身最优控制也证明了所提出的方法可以实现刚性接触机器人系统的全身模型预测控制（MPC）。
2021-12-20 cs.RO cs.SY eess.SY
New Q-Newton's method meets Backtracking line search: good convergence guarantee, saddle points avoidance, quadratic rate of convergence, and easy implementation
University of Oslo（奥斯陆大学）
在最近的合作工作中，作者发展了一种改进的牛顿法，称为新Q-牛顿法，它可以避免鞍点，并具有二次收敛速率。虽然良好的理论收敛保证尚未建立这种方法，小规模的问题上的实验表明，该方法的作品非常有竞争力的其他众所周知的修改牛顿法，如自适应立方正则化和BFGS，以及一阶方法，如无界双向回溯梯度下降。在本文中，我们解决了收敛保证问题，提出了一个修改的新Q-牛顿法，命名为新Q-牛顿法回溯，它结合了一个更复杂的使用超参数和回溯线搜索。这种新方法有很好的理论保证，对于{ \bf Morse函数}产生以下结果（这对于新Q-牛顿法是未知的）：{ \bf定理}。设$f:\mathbb{R}^m\rightarrow \mathbb{R}$是Morse函数，即它的所有临界点都具有可逆的Hessian。然后，对于从随机初始点$x_0$用新Q-牛顿法回溯构造的序列$\{x_n\}$，我们有以下两种选择：i）$\lim_{n\rightarrow\infty}||x_n||=\infty$，或ii）$\{x_n\}$收敛到$f$的一个{ \bf局部极小}点$x_{\infty}$，且其收敛速率为{ \bf二次型}.此外，如果$f$具有紧凑的子能级，则只发生情况ii）。据我们所知，对于Morse函数，这是迄今为止文献中迭代优化算法的最佳理论保证。我们在小规模的实验中测试了新Q-牛顿法回溯的一些进一步简化版本，发现新方…
2021-08-23 cs.LG cs.NA math.DS
