Explicit Convergence Rates of Greedy and Random Quasi-Newton Methods
优化在机器学习问题中是重要的，并且拟牛顿法被认为是光滑无约束优化的最有效的数值方案。本文研究了拟牛顿法的显式超线性收敛速率，并解决了Rodomanov和Nesterov提出的两个公开问题.首先，我们将Rodomanov和Nesterov的结果推广到随机拟牛顿法，包括常用的DFP，BFGS，SR 1方法。这种随机方法采用随机方向来在每次迭代中更新近似黑塞矩阵。其次，我们重点研究了特殊的拟牛顿法：SR 1和BFGS方法。我们提供了改进版本的贪婪和随机方法，可证明更好的显式（本地）超线性收敛速率。我们的分析是密切相关的一个给定的黑塞矩阵，无约束的二次目标，以及一般的强凸，光滑，强自协调函数的逼近。
2022-09-11 math.OC
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
本文研究了非凸随机最优化的随机拟牛顿法，其中我们假设只有目标函数的梯度的随机信息可以通过随机一阶预言机（SFO）得到.首先，我们提出了求解非凸随机最优化的随机拟牛顿法的一般框架。建议的框架扩展了经典的拟牛顿法在确定性设置随机设置，我们证明了其几乎必然收敛平稳点。其次，我们提出了一类随机随机拟牛顿法的一般框架，其中算法进行的迭代次数是随机变量。分析了这类方法的最坏情况SFO调用复杂度。第三，我们提出了两个具体的方法，即随机阻尼BFGS方法和随机循环Barzilai-Borwein方法。最后，我们报告的数值结果来证明所提出的方法的效率。
2014-12-04 math.OC
Finite Newton-Step Generation via Subspace Quasi-Newton Methods for Quadratic Problems
Linköping University（林雪平大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究针对严格凸二次问题，提出利用子空间拟牛顿法，通过至多两个方向的曲率信息（或梯度差恢复的Hessian作用）有限生成牛顿步的构造性方法，用于识别充分曲率信息。
2026-09-03 math.OC
A unified framework for inexact adaptive stepsizes in the gradient methods, the conjugate gradient methods and the quasi-Newton methods for strictly convex quadratic optimization
School of Mathematics and Statistics, Guizhou University（贵州大学数学与统计学院）
本文提出了一种统一框架，用于梯度法、共轭梯度法和拟牛顿法在严格凸二次优化中的不精确自适应步长，分析了其全局收敛性及收敛速率，并通过数值结果验证了其有效性。
2026-04-22 math.OC
Greedy Quasi-Newton Methods with Explicit Superlinear Convergence
本文研究了拟牛顿法的贪婪变形。它们基于Broyden族的某个子类的更新公式。特别是，这个子类包括众所周知的DFP，BFGS和SR1更新。然而，在对比的经典拟牛顿法，它使用的连续迭代的差异更新的Hessian近似，我们的方法应用的基向量，grenestly选择，以便最大限度地提高一定程度的进展。对于贪婪拟牛顿法，我们建立了一个显式的非渐近界的局部超线性收敛，其中包含一个收缩因子，依赖于迭代计数器的平方。我们还表明，这些方法产生的海森近似的偏差从确切的海森线性收敛到零。
2021-06-01 math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿（PD-QN）方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新，以找到增广拉格朗日的最优点。通过优化增广拉格朗日量，PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新，近似二阶信息，以减少相对于对偶方法的计算负担，并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率，数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
On the global convergent of an inexact quasi-Newton conditional gradient method for constrained nonlinear systems
本文提出一种求解约束非线性系统的全局收敛方法。该方法结合了一个有效的牛顿条件梯度法与导数自由和非单调线性搜索策略。在适当的条件下建立了所提方法的整体收敛分析，并给出了一些初步的数值实验来说明其性能。
2018-06-05 math.OC
On exact linesearch quasi-Newton methods for minimizing a quadratic function
本文研究求解Hessian正定的二次函数极小值问题的精确线性搜索拟牛顿法。通过将共轭梯度法解释为一种特殊的精确线性搜索拟牛顿法，给出了精确线性搜索拟牛顿法产生与共轭梯度法平行的搜索方向的充要条件.我们还分析了更新矩阵，并给出了一个完整的描述秩一更新矩阵，使搜索方向平行的共轭梯度法。特别地，我们刻画了保持拟牛顿矩阵正定性的一类对称秩一更新矩阵。这与经典的秩一更新相反，在经典的秩一更新中，在选择矩阵时没有自由，并且不能保持正定性。分析扩展到搜索方向是平行的预处理共轭梯度法在一个简单的方式。
2017-08-22 math.OC
Inertial Quasi-Newton Methods for Monotone Inclusion: Efficient Resolvent Calculus and Primal-Dual Methods
本文提出惯性拟牛顿前向-后向分裂算法求解单调包含问题，开发高效预解算子演算，证明收敛性，并实例化原始-对偶混合梯度方法，在图像处理中验证优越性能。
2024-03-15 math.OC
Proximal Quasi-Newton Method for Composite Optimization over the Stiefel Manifold
针对Stiefel流形上的复合优化问题，提出名为ManPQN的黎曼近端拟牛顿法，证明其全局与局部线性收敛性并分析迭代复杂度，数值实验验证该方法可加速近端梯度法。
2025-01-16 math.OC
A Dense Initialization for Limited-Memory Quasi-Newton Methods
考虑一类有限记忆拟牛顿法的稠密初始化。建议的初始化利用一个特征分解为基础的分离成两个互补的子空间的完整的空间，分配一个不同的初始化参数，每个子空间。这个家庭的密集初始化提出了一个有限的记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）的信赖域方法，利用形状变化的规范来定义每个子问题的背景下。与传统上使用对角初始化的L-BFGS方法一样，稠密初始化和生成的拟牛顿矩阵序列从未显式形成。在CUTEst测试集上的数值实验表明，该初始化方法和形状变化信赖域方法在求解一般非凸无约束最优化问题时，性能优于其它L-BFGS方法.虽然这种稠密初始化是在一个特殊的信赖域方法的背景下提出的，但它对更一般的拟牛顿信赖域和线搜索法具有广泛的应用。事实上，这种初始化适合于与任何准牛顿更新，承认一个紧凑的表示，特别是任何成员的Broyden类的更新。
2019-05-22 math.OC
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题（简称UMOP），提出了几种新的近似拟牛顿法，其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法，近似自缩放BFGS方法，和近似黄BFGS方法（UMOP）与线搜索和没有线搜索的情况下。在温和的假设下，我们证明了由这些算法产生的序列的每个聚点，如果存在的话，是（UMOP）的Pareto平稳点。此外，我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地，对于鲁棒多目标最优化问题，我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
On Quasi-Newton Forward--Backward Splitting: Proximal Calculus and Convergence
我们介绍了一个框架，拟牛顿向前-向后分裂算法（近拟牛顿法）与对角$\pm$秩- $r$对称正定矩阵引起的度量。这种特殊类型的度量允许对近端映射进行高效评估。这种效率的关键是在新的度量的一般邻近演算。通过使用对偶性，导出了将秩- $r$修改度量中的邻近映射与原始度量相关联的公式。我们还描述了一个大类的函数的邻近计算的有效实现，实现利用分段线性性质的对偶问题。然后，我们将这些结果加速复合凸最小化问题，从而导致优雅的拟牛顿法，我们证明收敛。该算法进行了测试的几个数值例子，并在文献中的替代品的全面列表进行比较。我们的拟牛顿分裂算法与规定的度量相比，优于国家的最先进的。该算法具有广泛的应用，包括信号处理，稀疏恢复，机器学习和分类，仅举几例。
2018-11-22 math.OC
Quasi-Newton Methods: Superlinear Convergence Without Line Searches for Self-Concordant Functions
我们考虑使用曲率自适应步长梯度为基础的迭代法，包括拟牛顿法，最小化自协调函数，扩展的方法首先提出的牛顿法Nesterov。这个步长有一个可以解析计算的简单表达式;因此，不需要行搜索。我们证明了在BFGS方法（和拟牛顿方法在Broyden凸类的其他DFP方法）中使用这个步长会导致强凸自协调函数的超线性收敛。我们目前的数值实验比较梯度下降和BFGS方法使用曲率自适应步长的传统方法确定性逻辑斯谛回归问题，和版本的随机梯度下降随机最优化问题。
2018-08-09 math.OC
Quasi-Newton methods for minimizing a quadratic function subject to uncertainty
研究在梯度误差下最小化二次函数的拟牛顿方法，发现大误差时无记忆方法优于BFGS，基于机会约束的模型精度略高但成本更高。
2025-02-25 math.OC
New Results on Superlinear Convergence of Classical Quasi-Newton Methods
本文从凸Broyden类出发，对经典的拟牛顿法的局部超线性收敛进行了新的理论分析。因此，我们得到了显着的改善，目前已知的估计这些方法的收敛速度。特别地，我们证明了Broyden-Fletcher-Goldfarb-Shanno方法的对应速率仅取决于问题的维数与其条件数的对数的乘积.
2021-06-01 math.OC
Global non-asymptotic super-linear convergence rates of regularized proximal quasi-Newton methods on non-smooth composite problems
本文提出两种基于SR1更新的正则化近端拟牛顿方法求解非光滑凸复合问题，首次证明其具有与初始化无关的全局非渐近超线性收敛速率，并在机器学习应用中验证了理论性质。
2024-11-21 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg（维尔茨堡大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种近端有限记忆拟牛顿方法，用于求解可微函数与非光滑函数之和的最小化问题，通过自适应更新正则化参数实现全局收敛，并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
Rates of superlinear convergence for classical quasi-Newton methods
研究了求解非线性最优化的经典拟牛顿法的局部收敛性。虽然很久以前就已经很好地建立了这些方法渐近超线性收敛，但相应的收敛速度仍然是未知的。在本文中，我们解决这个问题。我们首先得到了基于凸Broyden类修正公式的标准拟牛顿法的超线性收敛的显式非渐近速度.特别地，对于著名的DFP和BFGS方法，我们分别得到了$(\frac{n L^2}{μ^2 k})^{k/2}$和$(\frac{n L}{μk})^{k/2}$形式的速率，其中$k$是迭代计数器，$n$是问题的维数，$μ$是强凸性参数，$L$是梯度的Lipschitz常数。
2021-06-01 math.OC
A Communication Efficient Quasi-Newton Method for Large-scale Distributed Multi-agent Optimization
针对大规模多智能体凸组合优化问题，提出了一种通信效率高的拟牛顿法。我们假设设置的代理网络，合作解决一个全球性的最小化问题，强凸的本地费用函数增强了非光滑凸正则化。通过引入一致性变量，我们得到了一个块对角Hessian，从而消除了在近似客观曲率信息时对额外通信的需要。此外，通过存储维度为$d$的向量对$c$，我们降低了现有原始-对偶拟牛顿法从$\mathcal{O}(d^3)$到$\mathcal{O}(cd)$的计算成本。一个异步实现，消除了协调的需要。建立了算法的全局线性收敛速率，并通过实际数据验证了算法的有效性。
2022-02-17 math.OC
On the connection between the conjugate gradient method and quasi-Newton methods on quadratic problems
众所周知，共轭梯度法和拟牛顿法使用来自单参数Broyden更新族的任何定义良好的更新矩阵，产生具有正定Hessian的二次问题的相同迭代。这种等价性对任何拟牛顿法都不成立。我们精确地定义了拟牛顿法中的更新矩阵的条件。我们证明了关键的事实是，每个更新矩阵的范围在于由共轭梯度法定义的Krylov子空间的最后两个维度，并满足拟牛顿条件。在基于一个获得相互共轭搜索方向的充分条件的框架下，我们证明了单参数Broyden族是完备的.与共轭梯度法相比，拟牛顿法得到的Broyden参数和搜索方向的非零尺度之间存在一一对应关系.此外，我们还证明了在具有正定Hessian的二次问题上，单参数Broyden族的更新矩阵几乎总是定义良好的。唯一的例外是当使用对称秩一更新并且在同一迭代中采用单位步长时。在这种情况下，Broyden参数变为undefined。
2014-07-04 math.OC
A Stochastic Quasi-Newton Method in the Absence of Common Random Numbers
本文针对无公共随机数的随机优化问题，提出一种基于SASS算法的通用拟牛顿法，推导了非凸与强凸情形下的高概率迭代复杂度界，并通过合成及量子化学实验验证了其经验优势。
2024-09-01 math.OC
Variance-Reduced Stochastic Quasi-Newton Methods for Decentralized Learning: Part II
在本文的第一部分中，我们提出了一个分散随机拟牛顿法的一般框架，该方法在局部Hessian逆近似具有有界正特征值的假设下线性收敛于最优解。在第二部分中，我们指定了两个完全分散的随机拟牛顿法，阻尼正则化有限记忆DFP（Davidon-Fletcher-Powell）和阻尼有限记忆BFGS（Broyden-Fletcher-Goldfarb-Shanno），在本地构建这样的Hessian逆近似，无需额外的采样或通信。这两种方法都使用一个固定的移动窗口的$M$过去的局部梯度近似和本地决策变量自适应构造正定Hessian逆近似的有界特征值，满足在第一部分的线性收敛的假设。对于所提出的阻尼正则化有限记忆DFP，增加了正则化项以提高性能。对于所提出的阻尼有限内存BFGS，一个两个循环的递归，导致低的存储和计算复杂度。数值实验表明，所提出的拟牛顿法比现有的分散随机一阶算法快得多。
2022-01-19 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是，算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿（IQN）策略，特别是增量BFGS（IBFGS）策略。一个应用IBFGS策略的问题直接，而其他应用IBFGS策略的差异凸重构，平滑逼近，或（强）凸局部逼近。实验表明，所有IBFGS方法在实践中表现良好，并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Quasi-Newton Primal-Dual Algorithm with Line Search
本文为拟牛顿原始-对偶算法提出线搜索变体，利用可变度量结构提升非光滑大规模优化的步长灵活性，证明收敛速率并在图像去模糊中优于相关算法。
2024-05-10 math.OC
From Convex Optimization to MDPs: A Review of First-Order, Second-Order and Quasi-Newton Methods for MDPs
本文综述了求解马尔可夫决策过程的经典算法与凸优化中基于梯度的经典算法之间的联系。其中一些联系可以追溯到20世纪80年代，但近年来它们的发展势头越来越大，并导致了求解MDP的更快算法。特别地，用于求解MDP的两个最流行的方法，值迭代和策略迭代，可以链接到凸优化中的一阶和二阶方法。此外，最近的结果在拟牛顿法导致新的算法MDP，如安德森加速。通过将MDP的算法明确地分为一阶、二阶和拟牛顿法，我们希望能更好地理解这些算法，并进一步扩展这种类比，以帮助基于凸优化的最新进展开发新的MDP算法。
2021-11-25 math.OC
A restricted memory quasi-Newton bundle method for nonsmooth optimization on Riemannian manifolds
Guangxi University（广西大学）；Xiamen University（厦门大学）；Guangxi Minzu University（广西民族大学）
本文提出了一种用于在Riemann流形上最小化局部Lipschitz连续函数的受限记忆拟牛顿束法，通过Riemannian版本的拟牛顿更新公式近似目标函数的曲率信息，并利用Riemannian子梯度聚合技术减少二次规划子问题的计算量，最终通过数值实验验证了该方法的有效性。
2026-05-01 math.OC
Cubic Regularization is the Key! The First Accelerated Quasi-Newton Method with a Global Convergence Rate of $O(k^{-2})$ for Convex Functions
本文通过将立方正则化牛顿方法作为外层框架并结合拟牛顿不精确 Hessian 近似，提出了首个对一般凸函数具有全局收敛速率 $O(k^{-2})$ 的加速拟牛顿方法，在特定条件下可达 $O(k^{-3})$，并引入自适应版本以提升实用性。
2023-05-29 math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法，其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”（IMRO）格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题，在许多应用中出现，包括稀疏恢复压缩感知，机器学习和统计。我们的数值实验表明，所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种，显示它匹配已知的最佳界限。
2017-01-19 math.OC
Structured Quasi-Newton Methods for Optimization with Orthogonality Constraints
本文研究了正交约束最优化问题的结构拟牛顿法。注意，目标函数的黎曼海森需要欧几里德海森和欧几里德梯度。特别是，我们感兴趣的应用程序，欧几里德海森本身包括一个计算便宜的一部分和一个显着昂贵的一部分。我们的基本思想是保持这些部分的计算成本较低，但取代那些部分的计算成本较高的有限内存的拟牛顿更新。更具体地，与欧氏梯度相关的部分和欧氏海森中更便宜的部分被保留。初始拟牛顿矩阵进一步构造从一个有限的内存Nyström近似昂贵的部分。因此，我们的子问题近似的原始目标函数在欧几里得空间，并保持正交约束，而不执行所谓的矢量传输。当子问题的解具有足够的精度时，在较弱的条件下，可以得到全局和局部q-超线性收敛。线性本征值问题和电子结构计算的初步数值实验表明，与现有算法相比，该方法是有效的。
2018-09-03 math.OC
Decentralized Quasi-Newton Methods
我们介绍了分散Broyden-Fletcher-Goldfarb-Shanno（D-BFGS）方法作为BFGS拟牛顿法的一种变化，用于解决分散最优化问题。D-BFGS方法对条件不良态的问题很感兴趣，使得一阶分散方法无效，并且其中二阶信息不容易获得，使得二阶分散方法不可能。D-BFGS是一种全分布式算法，其中节点通过满足割线条件来近似自己和邻居的曲率信息。我们还提供了一个配方的算法在异步设置。收敛的D-BFGS正式建立在同步和异步设置和强大的性能优势，相对于一阶方法的数值。
2016-05-03 math.OC
A Quasi-Newton Method to Solve Uncertain Multiobjective Optimization Problems with Uncertainty Set of Finite Cardinality
针对不确定集基数有限的不确定多目标优化问题，提出一种结合集值优化划分集概念的拟牛顿迭代方法，证明其全局收敛与局部超线性收敛性，数值算例验证了方法有效性。
2025-05-20 math.OC
Subspace Quasi-Newton Method with Gradient Approximation
针对大规模优化中全梯度计算和矩阵运算的瓶颈，提出基于随机矩阵理论的子空间拟牛顿方法，无需全梯度和 Hessian 矩阵，在凸和非凸情况下均达到与现有方法同阶的最坏情况迭代复杂度，并在计算时间上展现优越性。
2024-06-04 math.OC
Inexact Regularized Quasi-Newton Algorithm for Solving Monotone Variational Inequality Problems
针对单调变分不等式求解问题，提出一种结合新型价值函数与超平面全局化技术的非精确正则化拟牛顿算法，具备无正则性假设下的全局收敛性，数值实验验证了其效率。
2025-05-18 math.OC
Broyden quasi-Newton secant-type method for solving constrained mixed generalized equations
本文提出一种Broyden拟牛顿割线型方法变体，结合条件梯度法处理约束，用于求解含不可微函数的约束混合广义方程，并在Lipschitz连续性、修正Broyden更新和度量正则性假设下证明了算法的Q-线性局部收敛性。
2025-03-08 math.OC
Exact linesearch limited-memory quasi-Newton methods for minimizing a quadratic function
本文针对海森矩阵正定的二次函数最小化问题，提出一类有限内存拟牛顿近似方法，结合约化海森框架实现精确运算下有限步终止，通过CUTEst测试集验证性能，并给出一般无约束优化下Broyden类海森近似的紧凑表示。
2020-11-15 math.OC
Quasi-Newton Method for Set Optimization Problems with Set-Valued Mapping Given by Finitely Many Vector-Valued Functions
本文提出一种求解无约束集合优化问题弱极小解的拟牛顿法，通过划分构造向量优化问题族并随迭代切换，证明了算法的良定性、收敛性及局部超线性收敛。
2024-12-29 math.OC
A Quasi Newton Method for Uncertain Multiobjective Optimization Problems via Robust Optimization Approach
本文提出一种拟牛顿法求解任意有限不确定性集下不确定多目标优化问题的鲁棒对应问题，通过构造子问题确定下降方向，结合Armijo线搜索和修正BFGS公式，证明算法超线性收敛，并用数值实验验证其优于加权和方法。
2023-10-11 math.OC
Faster Stochastic Quasi-Newton Methods
随机最优化方法已经成为机器学习中一类流行的优化工具。特别地，随机梯度下降（SGD）由于低的每次迭代计算复杂性而被广泛用于机器学习问题，例如训练神经网络。事实上，利用二阶信息的牛顿或拟牛顿法能够获得比一阶方法更好的解。因此，随机拟牛顿（SQN）方法已经发展到实现更好的解决方案，有效地利用近似二阶信息比随机一阶方法。然而，现有的SQN方法仍然没有达到最著名的随机一阶预言（SFO）的复杂性。为了填补这一空白，我们提出了一种新的更快的随机拟牛顿法（SpiderSQN）的方差减少技术的SIPDER的基础上。我们证明了我们的SpiderSQN方法达到了最好的已知的SFO复杂性的$\mathcal{O}(n+n^{1/2}ε^{-2})$在有限和设置，以获得一个$ε$ -一阶稳定点。为了进一步提高其实际性能，我们将SpiderSQN与不同的动量方案相结合。此外，将提出的算法推广到在线环境，得到了$\mathcal{O}(ε^{-3})$算法的SFO复杂度，与已有的最优结果一致.在基准数据集上进行的大量实验表明，我们的新算法在非凸优化方面优于最先进的方法。
2021-02-25 math.OC
Derivative-Free Optimization of Noisy Functions via Quasi-Newton Methods
本文提出了一种求解噪声函数极小化问题的有限差分拟牛顿法。该方法利用BFGS更新的可扩展性和功率，并采用自适应过程来基于Hamming（2012）和Moré and Wild（2011）的噪声估计技术选择差分间隔$h$。该噪声估计过程和$h$的选择是廉价的，但并不总是准确的，并且为了防止故障，该算法结合了恢复机制，该恢复机制在线搜索过程不能产生可接受的点的情况下采取适当的动作。提出了一种新的收敛性分析，认为一个嘈杂的线搜索过程的影响。数值实验比较的方法和函数插值置信域方法。
2019-01-08 math.OC
Technical results on the convergence of quasi-Newton methods for nonsmooth optimization
Technical University of Munich（慕尼黑工业大学）
本文研究非光滑优化中拟牛顿方法的收敛性，分析了非光滑情况下Secant方程对拟牛顿矩阵特征值的影响，并基于数值实验提出收敛性条件，探讨了拟牛顿方法如何利用分段可微结构。
2025-11-05 math.OC
Practical Regularized Quasi-Newton Methods with Inexact Function Values
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
本文提出了一种噪声容忍的正则化拟牛顿方法，通过结合正则化参数更新规则和AdaGrad-Norm方法，实现了在存在误差的情况下达到一阶 stationary 点的全局收敛率，并在多个基准测试中展示了更高的稳健性和效率。
2026-10-14 math.OC
Communication efficient quasi-Newton distributed optimization based on the Douglas-Rachford envelope
针对客户端–服务器分布式优化，本文利用 Douglas–Rachford 分裂构造免线搜索的 BFGS 方法，以每轮每客户端仅收发一个向量实现最少通信和超线性收敛，并通过实验验证其降本优势。
2024-10-29 math.OC
A Limited-Memory Quasi-Newton Algorithm for Bound-Constrained Nonsmooth Optimization
我们考虑最小化一个连续函数的问题，该函数可能是非光滑和非凸的，受边界约束。我们提出了一个算法，使用L-BFGS拟牛顿近似的问题的曲率与一个变种的弱沃尔夫线搜索。该方法的关键成分是活动集选择策略，该策略定义了计算搜索方向的子空间。为了克服非光滑函数梯度的固有短视性，我们提出了两种策略。第一个依赖于一个近似的$ε$最小范数次梯度，第二个使用迭代校正循环，增加活动集的基础上产生的搜索方向。我们描述了所提出算法的Python实现，并给出了一组标准测试问题的数值结果，以说明我们方法的有效性。
2016-12-21 math.OC
Sharpened Quasi-Newton Methods: Faster Superlinear Rate and Larger Local Convergence Neighborhood
非渐近分析的拟牛顿法获得牵引最近。特别是，一些工作已经建立了一个非渐近超线性率$\mathcal{O}((1/\sqrt{t})^t)$的（经典）BFGS方法，利用这一事实，其牛顿方向近似的误差接近零。此外，最近提出了BFGS的贪婪变体，其通过直接逼近Hessian而不是Newton方向来加速其收敛，并且实现了快速的局部平方收敛速率。唉，与BFGS为局部超线性速率所需的迭代次数相比，Greedy-BFGS的局部平方收敛需要更多的更新。这是由于在Greedy-BFGS中，Hessian被直接近似，并且牛顿方向近似可能不如BFGS的方向近似准确。在本文中，我们关闭这一差距，并提出了一种新的BFGS方法，具有两全其美，因为它利用了BFGS和贪婪BFGS的近似思想，以适当的近似牛顿方向和黑塞矩阵同时。我们的理论结果表明，我们的方法在收敛速度方面优于BFGS和Greedy-BFGS，而它达到了它的平方收敛速率与Greedy-BFGS相比，更少的步骤。各种数据集上的数值实验也证实了我们的理论发现。
2022-06-16 math.OC
A Decentralized Primal-Dual Method with Quasi-Newton Tracking
本文提出全去中心化原始-对偶方法DPDM及其推广GDPDM，利用拟牛顿二阶信息和BFGS近似提升计算与通信效率，并证明其全局线性收敛性，数值实验显示优于现有方法。
2024-10-01 math.OC
Soft quasi-Newton: Guaranteed positive definiteness by relaxing the secant constraint
针对有界噪声下的优化问题，提出 soft QN，通过惩罚项松弛割线条件并保证 Hessian 逆近似正定，证明其线性收敛及鲁棒优越性能。
2024-03-04 math.OC
Generalization of Quasi-Newton Methods: Application to Robust Symmetric Multisecant Updates
拟牛顿技术通过使用所谓的割线方程估计Hessian来近似牛顿步骤。这些方法中的一些使用几个割线方程来计算Hessian，但产生非对称更新。其他拟牛顿格式，如BFGS，强制对称性，但不能满足一个以上的割线方程。我们提出了一种新型的拟牛顿对称更新使用几个割线方程在最小二乘意义下。我们的方法推广和统一的拟牛顿更新的设计，并满足可证明的鲁棒性保证。
2021-02-08 cs.NA math.NA math.OC
A nonmonotone proximal quasi-Newton method for multiobjective optimization
针对无约束凸多目标复合优化问题，提出一种非单调邻近拟牛顿法，通过最小化海森近似与非光滑项变化的最大标量化确定搜索方向，结合非单调线搜索，证明其收敛至Pareto最优解且具局部超线性收敛率，实验验证了其可行性与有效性。
2023-10-03 math.OC
Parameter-Free Accelerated Quasi-Newton Method for Nonconvex Optimization
University of Tokyo（东京大学）
本文提出了一种无参数的非凸优化准牛顿方法，通过结合动量加速、四次正则化和PSB更新，实现了在梯度评估次数上的高效优化。
2026-08-19 math.OC
Quasi-Quadratic Gradient: A New Direction for Accelerating the BFGS Method in Quasi-Newton Optimization
本文提出准二次梯度，通过利用局部二次曲率改进搜索路径，使BFGS方法收敛速度显著提升且保持计算效率。
2026-04-27 cs.AI math.OC
Efficient Gradient-Enhanced Bayesian Optimizer with Comparisons to Conjugate-Gradient and Quasi-Newton Optimizers for Unconstrained Local Optimization
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）；Amazon（亚马逊）
本文提出一种基于梯度增强的无约束局部贝叶斯优化框架，通过概率信任区域最小化获取函数，并在2至40维单峰问题中与共轭梯度和拟牛顿优化器对比，展示贝叶斯优化在准确梯度和不准确梯度下的优越性。
2026-05-13 math.OC
A Quasi-Newton Subspace Trust Region Algorithm for nonmonotone variational inequalities in adversarial learning over box constraints
针对盒约束非凸非凹极小-极大优化对应的非单调变分不等式问题，提出拟牛顿子空间信赖域算法，证明其全局收敛性，并通过眼部图像分割的混合GAN实验验证了其求解大规模问题的效率与有效性。
2024-04-16 math.OC
Exploring Jacobian Inexactness in Second-Order Methods for Variational Inequalities: Lower Bounds, Optimal Algorithms and Quasi-Newton Approximations
针对变分不等式，研究二阶方法中雅可比不精确性的影响，建立下界并提出最优算法，引入拟牛顿近似降低辅助问题求解成本，实现全局次线性收敛，并扩展至高阶导数情形。
2024-05-28 math.OC
