Revisiting Sub-sampled Newton Methods
Shanghai Jiao Tong University（上海交通大学）；Peiking University（北京大学）
本文提出两种高效牛顿型方法，改进子采样牛顿方法的效率与收敛性，尤其在高效计算Hessian-向量乘法时表现突出，且在一般情况下实现超线性收敛，在更强假设下实现二次收敛。
2016-09-05 cs.NA math.NA math.OC
Krylov Cubic Regularized Newton: A Subspace Second-Order Method with Dimension-Free Convergence Rate
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Amazon Web Services（亚马逊云科技）；Technion – Israel Institute of Technology（以色列理工学院）；University of Minnesota（明尼苏达大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出一种在Krylov子空间内执行更新的子空间立方正则化牛顿法，首次实现了与维度无关的全局收敛速率，并在高维凸优化问题中显著优于随机子空间方法。
2024-01-05 cs.LG math.OC stat.ML
A Sub-sampled Tensor Method for Non-convex Optimization
ETH Zürich（苏黎世联邦理工学院）
本文提出采用四阶正则化模型与子采样导数的随机优化方法，用于有限和非凸优化，并借助新型张量集中不等式证明其达到确定性方法的迭代复杂度。
2023-07-15 cs.LG math.OC
Quasi-Newton Methods for Machine Learning: Forget the Past, Just Sample
University of Michigan（密歇根大学）；Lehigh University（利哈伊大学）；KAUST（阿卜杜拉国王科技大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
我们提出了两个采样拟牛顿法（采样LBFGS和采样LSR 1）解决机器学习中出现的经验风险最小化问题。与这些方法的经典变体相反，随着优化的进行，这些方法顺序地构建Hessian或逆Hessian近似，我们提出的方法在每次迭代时随机地在当前样本点周围样本点以产生这些近似。因此，构造的近似值利用更可靠的（最近的和本地的）信息，并且不依赖于可能显著陈旧的过去的信息。我们提出的算法是有效的访问数据点（时代），并有足够的并发性，以利用并行/分布式计算环境。我们为我们提出的方法提供了收敛保证。对玩具分类问题以及流行的基准二进制分类和神经网络训练任务的数值测试表明，该方法优于其经典变体。
2021-07-28 cs.LG math.OC stat.ML
Efficient Subsampled Gauss-Newton and Natural Gradient Methods for Training Neural Networks
Columbia University（哥伦比亚大学）
我们提出了高斯-牛顿和自然梯度方法的实用Levenberg-Marquardt变体，用于解决在训练涉及大量变量和庞大数据集的深度神经网络时出现的非凸优化问题。我们的方法使用子采样高斯-牛顿或Fisher信息矩阵和子采样梯度估计（完全随机）或全梯度（半随机），在后一种情况下，我们证明收敛到一个稳定点。通过使用谢尔曼-莫里森-伍德伯里公式与自动微分（反向传播），我们展示了我们的方法如何可以有效地执行。最后，数值结果表明我们所提出的方法的有效性。
2019-06-05 cs.LG stat.ML
Sub-Sampled Newton Methods I: Globally Convergent Algorithms
International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
大规模最优化问题在机器学习和数据分析中普遍存在，并且存在大量用于解决此类问题的算法。这些算法中的许多采用子采样，作为加速计算和/或隐式实现统计正则化形式的一种方式。在本文中，我们考虑二阶迭代优化算法，我们提供的范围上的收敛的变种的牛顿法，将均匀子采样作为一种手段来估计梯度和/或海森。我们的界限是非渐近的和定量的。我们的算法是全球性的，并保证从任何初始收敛。使用随机矩阵浓度不等式，可以对Hessian进行子采样以保持曲率信息。我们的第一个算法结合了海森子采样，同时使用全梯度。我们还给出了额外的收敛结果时，通过修改其频谱或脊型正则化的子采样海森正则化。接下来，除了Hessian子采样之外，我们还考虑对梯度进行子采样，以进一步降低每次迭代的计算复杂性。我们使用随机数值线性代数的近似矩阵乘法结果来获得适当的采样策略。在所有这些算法中，计算更新归结为求解大规模线性系，这在计算上是昂贵的。作为一种补救措施，对于我们所有的算法，我们也给出了整体收敛结果的情况下，不精确的更新，这样的线性系只解决近似。本文有一个更先进的配套文件，[42]，其中我们证明，通过做更细粒度的分析，我们可以得到这些算法的局部收敛的问题无关的界限，并探索权衡，以改善本文的基本结果。
2016-02-26 cs.LG math.OC stat.ML
Stochastic Subspace Cubic Newton Method
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Catholic University of Louvain（鲁汶天主教大学）
本文提出了一种新的随机二阶优化算法--随机子空间三次牛顿算法（SSCN）--求解高维凸函数$f$的极小化问题。我们的方法可以看作是Nesterov和Polyak（2006）的正则化牛顿方法的{ \em随机}扩展，以及Kozak等人（2019）的随机子空间下降的{ \em二阶}增强。我们证明，当我们改变minibatch的大小，SSCN的整体收敛率插值之间的随机坐标下降（CD）的速度和三次正则化牛顿，从而给一阶和二阶方法之间的连接新的见解。值得注意的是，SSCN的局部收敛速度匹配的随机子空间下降的速度应用于最小化的二次函数$\frac12 (x-x^*)^\top \nabla^2f(x^*)(x-x^*)$，其中$x^*$是最小的$f$的问题，因此取决于性能的$f$在最佳的。我们的数值实验表明，SSCN优于非加速的一阶CD算法，同时具有竞争力的加速变种。
2020-02-21 cs.LG math.OC
GPU Accelerated Sub-Sampled Newton's Method
Purdue Univ.（普渡大学）；Univ. of Queensland（昆士兰大学）；ICSI（国际计算机科学研究所）；Univ. of California at Berkeley（加州大学伯克利分校）
仅依赖于梯度信息的一阶方法通常用于各种机器学习（ML）和数据分析（DA）应用中。这归因于其实现的简单性，以及每次迭代的计算/存储成本低。然而，他们遭受显着的缺点，最值得注意的是，他们的性能下降，越来越多的问题病态。此外，它们通常涉及大量的超参数，并且众所周知地对诸如步长之类的参数敏感。通过结合来自Hessian的额外信息，二阶方法已被证明对许多此类对抗性影响具有弹性。然而，使用曲率信息的这些优点是以更高的每次迭代成本为代价的，这在\enquote{big data}机制中可能在计算上是禁止的。在本文中，我们表明，与传统的信念相反，二阶方法，当实施得当，可以更有效地比一阶替代品在许多大规模ML/ DA应用。特别是，在凸设置中，我们考虑经典的牛顿\textsf{'}的方法，其中的海森和/或梯度随机子采样的变种。我们表明，通过有效地利用GPU的功能，这种随机牛顿型算法可以显着加速，并且可以轻松地超越流行ML/ DA软件包（如TensorFlow）中现有技术的最新实现。此外，与一阶方法相比，这些随机化方法产生较小的内存开销。特别是，我们表明，对于百万维的问题，我们的GPU加速子采样牛顿\textsf{'}的方法实现了更高的测试精度在毫秒相比，几十秒的一阶替代品。
2018-03-03 cs.DC cs.LG math.OC
Proximal Quasi-Newton Methods for Regularized Convex Optimization with Linear and Accelerated Sublinear Convergence Rates
Dept. of Industrial and Systems Engineering, Lehigh University, Bethlehem, PA, USA（工业与系统工程系，莱维大学，伯灵顿，宾夕法尼亚州，美国）
本文研究了正则化凸优化中近似拟牛顿方法的收敛性，分析了强凸情况下精确与不精确设置的收敛性质，并探讨了加速变体的实用性与性能。
2017-10-17 cs.LG cs.NA math.NA
Sketch-and-Project Meets Newton Method: Global $\mathcal O(k^{-2})$ Convergence with Low-Rank Updates
Mohammed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出首个草图投影牛顿法SGN，实现自和谐函数上$\mathcal O(k^{-2})$全局收敛，兼具低迭代成本与算法简洁性，经验性能与基线相当。
2024-05-27 cs.LG math.OC
Exploiting Local Convergence of Quasi-Newton Methods Globally: Adaptive Sample Size Approach
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了拟牛顿法在求解大型数据集上的经验风险最小化问题中的应用。传统的确定性和随机拟牛顿法可以用来解决这类问题，然而，众所周知，它们的整体收敛速度可能并不比一阶方法好，并且它们的局部超线性收敛只出现在学习过程的末尾。在本文中，我们使用自适应样本量计划，利用拟牛顿法的超线性收敛的全球和整个学习过程。提出的自适应样本量算法的主要思想是从一个小的数据点子集开始，在其统计精度范围内求解其对应的ERM问题，然后几何地扩大样本量，并使用较小集合对应的问题的最优解作为初始点来求解后续的具有更多样本的ERM问题。我们表明，如果初始的样本量是足够大的，我们使用拟牛顿法来解决每个子问题，子问题可以解决超线性快速（最多三次迭代后），因为我们保证迭代总是停留在一个邻域内，拟牛顿法超线性收敛。不同数据集上的数值实验证实了我们的理论结果，并证明了我们的方法的计算优势。
2021-10-26 cs.LG math.OC
Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种随机二阶优化方法，称为牛顿草图：它基于使用随机投影或子采样Hessian执行近似牛顿步骤。对于自协调函数，我们证明了该算法具有指数高概率的超线性收敛，收敛性和复杂性的保证是独立的条件数和相关的问题依赖量。给定一个合适的初始化，类似的保证也适用于强凸和光滑的目标，没有自我和谐。当使用基于子采样Hadamard基的随机投影来实现时，该算法通常具有比牛顿法低得多的复杂度。我们还描述了扩展我们的方法，涉及凸约束的程序，配备了自我和谐的障碍。我们讨论并举例说明应用线性规划，二次规划与凸约束，逻辑斯谛回归和其他广义线性模型，以及半定规划。
2015-05-09 cs.DS cs.LG math.OC
Regularization by Denoising Sub-sampled Newton Method for Spectral CT Multi-Material Decomposition
Technical University of Denmark（丹麦技术大学）
光谱计算机断层扫描（CT）是一种新兴的技术，能够通过利用不同的光子能量谱来估计被扫描对象内的基础材料的浓度。在这项工作中，我们的目标是有效地解决一个基于模型的最大后验问题，重建多材料的图像与应用光谱CT。特别是，我们建议解决一个正则化的最优化问题的基础上，使用随机二阶方法的插件图像去噪功能。通过使用似然函数的Hessian的草图来近似牛顿步骤，可以降低复杂度，同时保留由数据驱动正则化器给出的复杂先验结构。我们利用一个不均匀的块亚采样的Hessian不精确，但有效的共轭梯度更新，只需要雅可比向量产品的去噪项。最后，我们展示了光谱CT材料分解的数值和实验结果。
2021-03-25 cs.LG cs.NA math.NA
Sub-sampled Newton Methods with Non-uniform Sampling
我们考虑的问题，找到最小的凸函数$F: \mathbb R^d \rightarrow \mathbb R$的形式$F(w) := \sum_{i=1}^n f_i(w) + R(w)$的低秩分解的$\nabla^2 f_i(w)$是现成的。我们考虑的制度，其中$n \gg d$。作为二阶方法被证明是有效的，在寻找最小的高精度，在这项工作中，我们提出了随机牛顿型算法，利用\textit{non-uniform}子采样的$\{\nabla^2 f_i(w)\}_{i=1}^{n}$，以及不精确的更新，作为手段，以降低计算复杂性。为了捕获$\{\nabla^2 f_i(w)\}_{i=1}^{n}$中的重要项，考虑了基于{ \it块范数平方}和{ \it块部分杠杆分数}的两个非均匀采样分布。我们表明，在每次迭代时，非均匀采样在最$\mathcal O(d \log d)$项从$\{\nabla^2 f_i(w)\}_{i=1}^{n}$是足以实现线性平方收敛速率时，在$w$提供一个合适的初始点。此外，我们表明，我们的算法实现了较低的计算复杂度，表现出更强的鲁棒性和更好的依赖于问题的具体数量，如条件数，相比类似的现有方法，特别是那些基于均匀采样。最后，我们的经验表明，我们的方法至少是牛顿的方法与岭逻辑回归在几个真实的数据集的两倍。
2016-07-05 math.OC stat.ML
A Unified Convergence Analysis for Semi-Decentralized Learning: Sampled-to-Sampled vs. Sampled-to-All Communication
针对半去中心化联邦学习中S2S和S2A两种服务器通信策略缺乏严格比较的问题，本文通过统一收敛框架分析其理论与实证表现，揭示了数据异质性对策略优势的影响，为部署提供设计指南。
2025-11-17 cs.AI cs.DC cs.LG
Quasi-Newton's method in the class gradient defined high-curvature subspace
University of Southampton（南安普顿大学）
使用深度学习的分类问题已被证明在损失景观中具有高曲率子空间，其维度等于类的数量。此外，该子空间对应于每个类别的logit梯度所跨越的子空间。加速优化的一个明显的策略是在高曲率子空间中使用牛顿方法，在协空间中使用随机梯度下降。我们发现，一个天真的实现实际上减慢收敛，我们推测为什么这可能是。
2020-11-28 cs.LG
Fundamental Bias in Inverting Random Sampling Matrices with Application to Sub-sampled Newton
Huazhong University of Science and Technology（华中科技大学）；University of California, Berkeley（加州大学伯克利分校）
本文研究了随机采样矩阵中的逆偏问题，提出了一种修正方法，并建立了子采样牛顿方法的局部收敛率。
2026-03-03 cs.NA math.NA math.OC
Newton Method-based Subspace Support Vector Data Description
Tampere University（坦佩雷大学）
针对S-SVDD依赖一阶梯度下降易陷入次优的问题，本文引入牛顿法并给出线性与非线性优化形式，实验表明其在多数情况下性能更优。
2023-09-25 cs.LG
Accelerated reconstruction of a compressively sampled data stream
传统的压缩感知方法是自然离线的，因为它相当于稀疏采样和重建给定的数据集。最近，提出了一种用于对流数据执行压缩感知的在线算法：该方案使用对输入过程的递归采样和递归解压缩来从所获取的噪声测量准确地估计流条目。在本文中，我们开发了一种新的牛顿型前向后近似方法递归地解决正则化最小二乘问题（LASSO）的在线。我们建立了我们的方法的整体收敛以及局部平方收敛速率。我们的模拟显示了一个显着的速度比现有技术的状态，这可能使所提出的方法适用于具有严格的实时约束的应用程序。
2016-05-08 math.OC
Do Subsampled Newton Methods Work for High-Dimensional Data?
Peking University（北京大学）；Stevens Institute of Technology（史蒂文斯理工学院）
子采样牛顿法通过子采样技术近似海森矩阵，减少了形成海森矩阵的成本，但使用足够的曲率信息。然而，以前的结果需要$Ω(d)$样本来近似Hessians，其中$d$是数据点的维数，这使得它对于高维数据实际上不太可行。当$d$与数据点的数量$n$一样大时，情况恶化，这需要考虑整个数据集，使得子采样无用。本文从理论上证明了下采样牛顿法在高维数据上的有效性。具体地说，我们证明了在Hessian矩阵的逼近中只需要$\widetildeΘ(d^γ_{\rm eff})$样本，其中$d^γ_{\rm eff}$是$γ$ -岭杠杆，只要$nγ\gg 1$，它就可以比$d$小得多.此外，我们扩展了这一结果，使子采样牛顿方法可以用于分布式优化问题和非光滑正则化问题的高维数据。
2019-05-05 cs.LG math.OC stat.ML
Newton-MR: Inexact Newton Method With Minimum Residual Sub-problem Solver
University of Queensland（昆士兰大学）；The Centre for Information Resilience（信息弹性中心）；International Computer Science Institute（国际计算机科学研究所）；Stanford University（斯坦福大学）；University of California at Berkeley（加州大学伯克利分校）
我们考虑一个变种的不精确牛顿法，称为牛顿MR，其中的最小二乘法的子问题近似求解使用最小残差方法。通过构造，牛顿-MR可以很容易地应用于一类称为不变凸的非凸问题的无约束优化，其中包含凸性作为子类。对于不变凸优化问题，取代经典的关于梯度和Hessian的Lipschitz连续性假设，在一个较弱的Hessian和梯度的联合正则性概念下，可以保证Newton-MR的整体收敛.我们还得到了Newton-MR问题无关的局部收敛到极小点集。我们证明了快速局部/整体收敛可以保证一个新的不精确条件下，据我们所知，这是远远弱于以前的相关工作。数值结果表明，与其他几个牛顿型的替代品在一些机器学习问题的性能相比，牛顿-MR。
2022-05-06 cs.LG math.OC
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
On Convergence of the Iteratively Preconditioned Gradient-Descent (IPG) Observer
本文针对一类离散时间非线性系统，在确定性条件下严格证明了 IPG 观测器对真实轨迹的局部线性收敛，并阐明其与 Newton 观测器的理论关系。
2024-05-15 cs.SY eess.SY math.OC
Exact and Inexact Subsampled Newton Methods for Optimization
本文研究了随机最优化问题的解，其中梯度和Hessian的近似是通过子采样获得的。我们首先考虑采用这些近似的牛顿式方法，并讨论如何协调梯度和Hessian的精度，以产生预期的超线性收敛速率。本文的第二部分分析了一种不精确牛顿法，该方法使用共轭梯度（CG）方法近似求解线性系，并且对Hessian而不是梯度（梯度假设是精确的）进行采样。我们提供了一个复杂性分析，这种方法的基础上的CG迭代的性质和质量的Hessian近似，并比较它与一种方法，采用随机梯度迭代，而不是CG方法。我们报告了初步的数值结果，说明了基于逻辑斯谛回归的机器学习应用程序的不精确子采样牛顿方法的性能。
2016-09-27 math.OC stat.ML
Nonlinear Stabilization under Sampled and Delayed Measurements, and with Inputs Subject to Delay and Zero-Order Hold
在网络化控制系统中，采样与输入和输出延迟同时出现。当延迟未被补偿时，通常要求采样周期足够小，延迟足够短，并且对于非线性系统，通常仅实现半周期实际稳定性。例如，严格前馈系统在采样测量下的全局镇定，任意稀疏采样的非完整单稳态的采样数据镇定，以及长时滞网络上的LTI系统的采样数据镇定，都是公开问题。在本文中，我们提出了两个一般性的结果，解决这些例子的特殊情况下的问题。首先，我们提出了任意长的输入和输出延迟下的前向完全系统的全局渐近稳定器，具有任意长的采样周期，并连续应用的控制输入。其次，我们考虑系统的采样测量和控制应用通过零级保持，假设系统是稳定的采样数据反馈下的一些采样周期，然后构建采样数据反馈律，实现全局渐近稳定任意长的输入和测量延迟。所有的结果采用“标称”的反馈法律设计的连续时间系统在没有延迟，结合“预测为基础的”补偿的延迟和采样的效果。
2010-12-10 math.OC
A Sequential Deep Learning Algorithm for Sampled Mixed-integer Optimisation Problems
University of Sydney（悉尼大学）；University of Ottawa（渥太华大学）
混合整数优化问题可能在计算上具有挑战性。在这里，我们介绍和分析了两个有效的算法，一个特定的序贯设计，旨在处理这一类内的采样问题。在这两种算法的每个迭代步骤中，我们首先测试给定测试解决方案的可行性，同时确定违反的约束条件。随后，一个优化问题被构造与约束集组成的当前的基础-即，最小的一组约束，充分规定了当前的测试解决方案-以及与有限数量的识别违反样本的约束。我们表明，这两种算法表现出有限时间收敛到最优解。算法2的特征在于神经网络分类器，与算法1相比，其显著提高了计算性能。通过鲁棒最优潮流、鲁棒机组组合和鲁棒随机混合整数线性规划三个数值试验，定量地验证了这些算法的有效性。
2023-03-05 cs.LG math.OC
Linear-quadratic optimal sampled-data control problems: convergence result and Riccati theory
我们考虑一般线性控制系统和一般二次成本，其中状态随时间连续演化，控制被采样，即，在时间间隔的细分上分段恒定。这是一个线性二次最优采样数据控制问题的框架。作为第一个结果，我们证明了，作为采样周期趋于零，最优采样数据控制逐点收敛到最优永久控制。然后，我们扩展经典Riccati理论的采样数据控制框架，通过开发两种不同的方法：第一个使用最近建立的版本的庞特里亚金最大值原理的最优采样数据控制问题，第二个使用适当的版本的动态规划原则。反过来，我们得到一个闭环表达式的最佳采样数据控制的线性二次型问题。
2016-04-21 math.OC
Optimal sampled-data control, and generalizations on time scales
本文对一般有限维非线性最优采样控制问题导出了庞特里亚金最大值原理的一个版本。我们的框架实际上是更一般的，我们对待最优控制问题的状态变量在一个给定的时间尺度（R的任意非空的闭子集），和控制变量在一个较小的时间尺度演变。因此，采样数据系统是一种特殊情况。我们的证明是基于适当的针状变分和Ekeland变分原理的建设。
2015-12-08 math.OC
Finite Newton-Step Generation via Subspace Quasi-Newton Methods for Quadratic Problems
Linköping University（林雪平大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究针对严格凸二次问题，提出利用子空间拟牛顿法，通过至多两个方向的曲率信息（或梯度差恢复的Hessian作用）有限生成牛顿步的构造性方法，用于识别充分曲率信息。
2026-09-03 math.OC
Sub-sampled Trust-Region Methods with Deterministic Worst-Case Complexity Guarantees
针对有限和优化问题，提出自适应确定性调整样本量的子采样信赖域方法，并证明其一阶与二阶近似平稳点的最坏情况迭代复杂度。
2025-07-23 math.OC
Theoretical analysis of the randomized subspace regularized Newton method for non-convex optimization
本文提出随机子空间正则化牛顿法用于非凸优化，证明其全局收敛且速率与完整正则化牛顿法相同，并给出局部线性收敛速率及Hessian秩亏时的超线性收敛结果。
2025-09-20 math.OC
Nonsmooth Newton methods with effective subspaces for polyhedral regularization
Oakland University（奥克兰大学）
本文提出非光滑牛顿方法结合有效子空间，用于高效求解多面体正则化的凸优化问题，展现快速收敛性与广泛适用性。
2026-09-15 math.OC
A Multilevel Method for Self-Concordant Minimization
针对子采样或草图 Newton 方法依赖结构与数据假设的问题，提出自和谐多层随机 Newton 算法 SIGMA，并证明其超线性收敛，实验显示性能优于同类方法。
2024-04-04 math.OC
A linearly convergent Gauss-Newton subgradient method for ill-conditioned problems
分析了一种优化复合函数$h \circ c$的预条件次梯度方法，其中$h$是局部Lipschitz函数，$c$是光滑非线性映射.我们证明了当$c$满足常秩性质且$h$在$c$的像上是半光滑的和尖锐的时，该方法线性收敛.与标准次梯度方法相比，它的预言复杂性在$c$的重新参数化下是不变的。
2022-12-26 math.OC
Subspace Quasi-Newton Method with Gradient Approximation
针对大规模优化中全梯度计算和矩阵运算的瓶颈，提出基于随机矩阵理论的子空间拟牛顿方法，无需全梯度和 Hessian 矩阵，在凸和非凸情况下均达到与现有方法同阶的最坏情况迭代复杂度，并在计算时间上展现优越性。
2024-06-04 math.OC
Co-design of aperiodic sampled-data min-jumping rules for linear impulsive, switched impulsive and sampled-data systems
本文针对具有非周期采样数据测量的冲击和冲击切换系统，提出了跳跃规则和采样数据控制律的设计协同条件，通过半无限离散时间Lyapunov-Metzler条件，并将其转化为时钟依赖的无限维矩阵不等式，再通过求和平方松弛方法近似为有限维优化问题，证明了在多项式次数足够大时松弛是非保守的。
2018-11-28 cs.SY eess.SY math.OC
Zeroth-Order Randomized Subspace Newton Methods
零阶方法已经成为解决问题的重要工具，我们只能访问函数评估。然而，零阶方法只使用梯度近似是$n$倍，比经典的一阶方法求解n维问题。为了加快算法的收敛速度，本文提出了零阶随机子空间牛顿（ZO-RSN）方法，该方法通过随机绘制和有限差分来估计梯度和Hessian的投影。这使我们能够在较低维的子空间中计算牛顿步骤，计算成本很小。证明了对于强凸问题，ZO-RSN比现有的零阶方法具有更低的迭代复杂度。我们的数值实验表明，ZO-RSN可以执行黑盒攻击的函数查询的数量比最先进的海森感知零阶方法的限制更严格。
2022-02-09 math.OC
Sampled-data optimal control of linear fractional-order systems
School of Electronics, Electrical Engineering, and Computer Science (EEECS)（电子、电气工程和计算机科学学院）；Queen’s University Belfast（贝尔法斯特女王大学）
本文针对Caputo线性分数阶系统，提出基于Bernstein多项式的采样数据最优控制方法，通过构造连续时间状态约束的紧多胞形近似，实现任意紧密逼近并平衡精度与计算复杂度。
2026-09-14 math.OC
A variational approach to sampling in diffusion processes
本文重新审视Mitter和Newton基于Gibbs变分原理的贝叶斯信息论解释，证明该控制论采样方法统一了扩散过程中的重要性采样、时间反演和Schrödinger桥等不同问题。
2024-04-30 math.OC math.PR
Generalized Damped Newton Algorithms in Nonsmooth Optimization via Second-Order Subdifferentials
本文提出并发展了求解重要的非光滑最优化问题的新的全局收敛的广义阻尼牛顿型算法。这些算法是基于非光滑函数的二阶次微分的理论和计算，采用二阶变分分析和广义微分的机械。首先，我们发展了一类全局超线性收敛的阻尼牛顿型算法的连续可微函数的Lipschitz梯度，这是非光滑的二阶。然后，我们设计这样一个全局收敛的算法来解决一类结构化的非光滑二次组合问题的扩展实值费用函数，这通常出现在机器学习和统计。最后，我们提出了数值实验的结果，并比较我们的主要算法应用到一个重要的一类Lasso问题与其他一阶和二阶优化算法所取得的性能。
2022-01-18 math.OC
Subspace Newton's Method for $\ell_0$-Regularized Optimization Problems with Box Constraint
本文针对带盒约束的 $\ell_0$ 正则化稀疏优化问题，提出子空间牛顿法，通过 $\tau$-稳定点划分支撑集，结合牛顿法与近端梯度法更新变量，证明了全局收敛和局部二次收敛，实验验证了效率。
2025-05-23 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法，结合近端梯度法保证全局收敛，利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛，并通过等式约束二次规划计算 Newton 方向，注重高效数值实现。
2025-01-24 math.OC
Weak Proximal Newton Oracles for Composite Convex Optimization
Technion - Israel Institute of Technology（以色列理工学院）
本文提出弱近端牛顿 oracle 方法，通过稀疏结构优化提升高维复合凸优化的收敛效率。
2025-12-17 math.OC
A Quasi-Newton Subspace Trust Region Algorithm for nonmonotone variational inequalities in adversarial learning over box constraints
针对盒约束非凸非凹极小-极大优化对应的非单调变分不等式问题，提出拟牛顿子空间信赖域算法，证明其全局收敛性，并通过眼部图像分割的混合GAN实验验证了其求解大规模问题的效率与有效性。
2024-04-16 math.OC
Sampled-Data Primal-Dual Gradient Dynamics in Model Predictive Control
本文针对模型预测控制中采样数据实现导致的稳定性问题，提出改进的离散时间原始-对偶梯度动力学控制器，在保证稳定性的同时提升控制性能，并实现微秒级快速计算。
2025-04-24 cs.SY eess.SY math.OC
Sampled-data Systems: Stability, Contractivity and Single-iteration Suboptimal MPC
Boston University（波士顿大学）；UC Santa Barbara（加州大学圣塔芭芭拉分校）
本文分析连续时间与离散时间系统通过采样和零阶保持耦合的稳定性，引入约化模型概念，证明当约化模型收缩时存在阈值采样周期保证指数稳定性，并利用小增益定理在双方收缩条件下证明互联系统的指数稳定性，为单次迭代次优MPC提供理论支持。
2026-07-02 cs.SY eess.SY math.OC
Faithful-Newton Framework: Bridging Inner and Outer Solvers for Enhanced Optimization
本文提出Faithful-Newton框架，通过紧密整合内层子问题求解与外层优化迭代，在保留简单线性系统子问题的同时，实现了强凸问题的全局超线性、条件数无关线性及局部二次收敛，并具有竞争力的迭代复杂度。
2025-10-17 cs.NA math.NA math.OC
