A multilevel proximal trust-region method for nonsmooth optimization with applications
Sandia National Laboratories（桑迪亚国家实验室）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机性研究所）
本文提出了一种多级近端信任区域方法，用于解决非光滑优化问题，并在偏微分方程约束优化和机器学习中展示了其效率和鲁棒性。
2025-11-29 math.OC
Multilevel Optimization: Geometric Coarse Models and Convergence Analysis
本研究将PDE多重网格的多层技术用于结构化优化，构建几何粗模型提供细网格下降方向，在强凸等假设下分析收敛性并扩展到箱约束优化，实验验证其在离散断层成像问题上收敛快、性能比肩前沿方法。
2025-05-16 math.OC
Multilevel Bregman Proximal Gradient Descent
Institute for Mathematics, Heidelberg University（海德堡大学数学研究所）；Institute for Mathematics & Centre for Advanced Analytics and Predictive Sciences (CAAPS), University of Augsburg（奥格斯堡大学数学研究所与高级分析与预测科学中心）
针对具有相对Lipschitz光滑性的约束凸问题，提出多级Bregman近端梯度下降（ML BPGD）框架，扩展经典MGOPT以处理Bregman几何与约束域，确立全局线性收敛速率，在图像重建中验证有效性并提供理论保证。
2025-11-12 math.OC
Complexity of near-optimal robust versions of multilevel optimization problems
近似最优鲁棒性扩展了多级优化，其中较低级别与其最优解的有限偏差由较高级别预测。我们分析了接近最优的鲁棒性多级问题的复杂性，其中接近最优的鲁棒性是通过额外的对抗性决策者建模的。多级问题的近优鲁棒版本保持在相同的复杂性类的问题，没有近优鲁棒性在一般条件下。
2020-11-02 cs.CC math.OC
A Gradient Method for Multilevel Optimization
The University of Tokyo（东京大学）；The Institute of Statistical Mathematics（统计数理研究所）；RIKEN（日本理化学研究所）
虽然自20世纪90年代以来已经讨论了多层优化的应用实例，但由于问题的难度，求解方法的发展几乎仅限于双层情况。近年来，在机器学习中，Franceschi等人提出了一种通过用具有某些预先选择的迭代次数$T$的$T$最速下降更新方程来替换其较低层问题来求解双层最优化问题的方法。在本文中，我们已经开发了一个基于梯度的算法与$n$水平的多层优化的基础上，他们的思想，并证明了我们的重新制定渐近收敛到原来的多层问题。据我们所知，这是第一个算法与一些理论保证多级优化。数值实验表明，考虑数据中毒的三层超参数学习模型比现有的两层超参数学习模型在噪声数据环境下产生更稳定的预测结果.
2021-10-26 cs.LG math.OC
Multilevel Optimization for Inverse Problems
反问题出现在工程中的各种参数识别任务中。这些问题在实践中是具有挑战性的，因为它们需要重复评估计算昂贵的前向模型。我们介绍了一个统一的框架，多级优化，可以应用到广泛的优化为基础的求解器。我们的框架可证明降低了与评估来自各种物理模型的昂贵的前向映射相关的计算成本。为了证明我们的分析的多功能性，我们讨论了它的影响，包括多级（加速，随机）梯度下降，多级集合卡尔曼反演和多级Langevin采样器的各种方法。我们还提供了数值实验来验证我们的理论发现。
2022-04-28 cs.NA math.NA math.OC
Multiscale Optimization via Enhanced Multilevel PCA-based Control Space Reduction for Electrical Impedance Tomography Imaging
本研究提出一种结合多级PCA控制空间降维的多尺度优化方法，用于电阻抗断层成像的二元属性重建，经乳腺癌检测模型验证，可提升计算效率与成像质量，降低筛查假阳假阴率。
2024-01-29 math.OC
A Unified Framework for Multistage and Multilevel Mixed Integer Linear Optimization
本文提出了一个统一的框架来研究多级混合整数线性最优化问题和多级随机混合整数线性最优化问题。该框架突出了这两个问题的共同数学结构，并允许开发一个共同的算法框架。重点放在两阶段的情况下，我们调查，特别是第二阶段问题的值函数的性质，突出其连接到对偶函数和对偶理论的混合整数线性最优化问题，并总结不同的重新制定。然后，我们提出了两个主要的解决方案的技术，一个基于Benders样分解近似的风险函数或价值函数，和其他一个基于切割平面生成。
2021-04-19 cs.GT math.OC
Trilevel and Multilevel Optimization using Monotone Operator Theory
Czech Technical University（捷克技术大学）
本文研究嵌套凸优化约束下的多层优化问题，基于不动点理论提出一种一阶算法，并分析了其在不同参数机制下的收敛性及收敛速率。
2023-10-19 cs.AI math.OC
Multilevel Stochastic Gradient Descent for Risk-Averse PDE-Constrained Optimization
Heidelberg University（海德堡大学）；Johann Radon Institute for Computational and Applied Mathematics（约翰·拉多纳计算与应用数学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Politecnico di Torino（都灵理工大学）
提出多级随机梯度下降算法求解风险规避三维PDE约束优化问题，利用自适应多级蒙特卡洛梯度估计，相比标准批处理方法具有更优收敛速度和计算复杂度。
2026-06-23 cs.NA math.NA math.OC
A Multilevel Coordinate Search Algorithm for Well Placement, Control and Joint Optimization
China University of Petroleum (East China)（中国石油大学（华东））；Memorial University of Newfoundland（纽芬兰纪念大学）
确定最佳布井和控制是油田开发中的两个重要任务。这些问题是计算昂贵的，非凸的，并包含多个最优。这些问题的实际解决方案需要高效和鲁棒的算法。本文将多级坐标搜索（MCS）算法应用于布井和控制最优化问题。MCS是一种结合全局和局部搜索的无导数算法。合成和真正的油田被认为是。MCS的性能进行了比较，广义模式搜索（GPS），粒子群优化（PSO），和协方差阵自适应进化策略（CMA-ES）算法。结果表明，MCS算法具有很强的竞争力，在有限的计算预算下，对联合最优化问题的性能优于其他算法。针对测试示例比较MCS的参数设置的效果。对于联合最优化问题，我们比较了性能的同时和顺序的程序，并显示后者的效用。
2016-09-01 cs.AI math.OC
Multilevel Geometric Optimization for Regularised Constrained Linear Inverse Problems
Heidelberg University（海德堡大学）
提出一种平滑融入盒约束的几何多层次优化方法，通过基于较粗糙模型计算搜索方向加速精细层次更新，并利用层级几何特性保持可行性，将多重网格经典组件扩展至约束的黎曼结构。
2024-04-22 cs.CV math.DG math.OC
Multilevel Optimization for Policy Design with Agent-Based Epidemic Models
研究流行病学模型中非药物干预策略的优化问题，提出结合高分辨率ABM和粗ODE模型的异构多层优化方法，以平衡精度与计算成本，并通过数值实验验证收敛速度。
2023-04-05 math.DS math.OC
Unbiased Multilevel Monte Carlo: Stochastic Optimization, Steady-state Simulation, Quantiles, and Other Applications
我们提出了一般原则的设计和分析无偏蒙特卡罗估计在广泛的设置。我们的估计量在轻度正则性条件下是有限的工作归一化方差。我们将我们的估计应用于各种感兴趣的设置，包括样本平均近似的无偏优化，再生过程的无偏稳态模拟，分位数估计和嵌套模拟问题。
2019-04-22 math.OC math.ST stat.CO
IML FISTA: A Multilevel Framework for Inexact and Inertial Forward-Backward. Application to Image Restoration
本文提出IML FISTA多层框架，利用Moreau包络构建粗层校正，在保持理论收敛保证的同时，显著加速大规模图像复原中前向-后向类算法的收敛。
2024-04-02 math.OC
Multilevel Quasi-Monte Carlo for Optimization under Uncertainty
研究了具有不确定对数正态扩散系数的椭圆型偏微分方程的平均跟踪误差的优化问题。特别地，研究了多层拟蒙特卡罗方法（MLQMC）在梯度估计中的应用，并采用循环嵌入方法对随机场进行采样。伴随变量的一种新的规律性分析是必不可少的MLQMC估计的梯度结合使用CE方法产生的样本。严格的成本和误差分析表明，随机移位拟蒙特卡罗方法方法导致比普通蒙特卡罗方法更快的梯度均方根误差衰减速率，同时考虑多个水平大大减少了计算工作量。数值实验证实了改进的收敛速率，并表明MLQMC方法优于多层蒙特卡罗方法和单层拟蒙特卡罗方法方法。
2021-09-29 cs.NA math.NA math.OC
A Multiscale Optimization Framework for Reconstructing Binary Images using Multilevel PCA-based Control Space Reduction
提出并验证了一种有效的计算方法，用于生物医学应用中二元型物理性质模型的最优重构参数。该方法包括基于梯度的多尺度优化与多级控制空间减少，通过使用主成分分析（PCA），再加上动态控制空间放大。降维控制在精细和粗略尺度下可互换使用，以累积优化进度并减轻两种尺度下的副作用。通过所提出的用于校准某些参数以增强优化算法的性能的过程来实现灵活性。减小控制空间的大小提供了伴随的梯度在这两个尺度上获得方便的应用程序，该算法的模型更高的复杂性，并在生物医学科学中的广泛的问题。这种技术被证明优于常规的基于梯度的方法，适用于精细尺度的二进制图像的质量和计算时间。完整的计算框架的性能进行了测试，在应用程序中的电阻抗断层扫描（EIT）的癌症检测的2D逆问题。结果表明，新方法的有效性能和它的高潜力，最大限度地减少假阳性筛选的可能性，提高整体质量的EIT为基础的程序。
2020-12-23 math.OC physics.comp-ph
Multilevel Objective-Function-Free Optimization with an Application to Neural Networks Training
Université de Toulouse, INP, IRIT（图卢兹大学，国立图卢兹应用科学学院，图卢兹计算机科学研究所）；Brown University（布朗大学）；University of Namur（那慕尔大学）
提出了一类求解无约束非线性最优化的多层算法，该算法不需要对目标函数求值。该类包含动量较少的AdaGrad方法作为特定（单级）实例。避免评估目标函数的选择旨在使该类算法对噪声不太敏感，而多级特征旨在降低其计算成本。分析了这些算法的评估复杂性，然后在训练用于监督学习应用的深度神经网络的背景下说明了它们在存在噪声的情况下的行为。
2023-02-14 cs.AI cs.CC math.OC
A Multilevel Stochastic Gradient method for PDE-constrained Optimal Control Problems with uncertain parameters
在本文中，我们提出了一个多级Monte Carlo（MLMC）版本的随机梯度（SG）方法的不确定性下的优化，以解决最优控制问题（OCP）的约束条件的形式描述的随机参数的偏微分方程。确定性控制作为随机偏微分方程中的分布强迫项，目标函数是期望二次损失。我们使用随机梯度方法来计算最优控制，其中预期损失的最速下降方向，在每次迭代中，被替换为独立的MLMC估计，具有增加的精度和计算成本。先验地选择细化策略，使得MLMC估计器的偏差和可能的方差作为迭代计数器的函数衰减。详细的收敛性和复杂性分析所提出的战略和渐近最优的衰减率确定，使总的计算工作量最小化。我们还提出并分析了一个替代版本的多层次SG算法，使用随机MLMC估计在每次迭代。我们的方法是通过一个数值例子验证。
2019-12-26 math.OC
Multilevel Monte Carlo Finite Element Method for A Stochastic Optimal Control Problem
本文研究了多层蒙特卡罗方法在具有对数正态系数的随机最优控制问题及其代理模型问题中的应用。从两个最优化问题的角度，即，在保证一定计算量的前提下，使精度最小化，在保证一定精度的前提下，使总计算量最小化，导出了多水平蒙特卡罗方法中每一水平的最优样本量的计算公式。在此基础上，提出了求解随机最优控制问题的多层Monte Carlo算法，并给出了处理多层对数正态系数的技巧。最后，我们给出了椭圆型随机偏微分方程和控制问题的数值结果，以验证传统蒙特卡罗方法的有效性。
2016-01-18 math.OC
A multilevel correction method for optimal controls of elliptic equation
LSEC, Institute of Computational Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院计算数学研究所）；NCMIS, LSEC, Institute of Computational Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院计算数学研究所）；NCMIS, LSEC, Institute of Systems Science, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院系统科学研究所）
本文提出一种多级修正方法，通过多网格方法和粗化有限元空间求解线性边界值问题，以提高求解由PDEs约束的最优控制问题的效率。
2014-10-05 cs.NA math.NA math.OC
A multilevel framework for sparse optimization with application to inverse covariance estimation and logistic regression
University of British Columbia（不列颠哥伦比亚大学）；Intel Labs（英特尔实验室）；Technion—Israel Institute of Technology（以色列理工学院）
本文提出一种多级框架高效解决l1正则化稀疏优化问题，应用于逆协方差估计和逻辑回归，通过分层问题加速优化过程，提升大规模数据处理效率。
2016-07-01 cs.NA math.NA math.OC
A multilevel framework for accelerating uSARA in radio-interferometric imaging
本文提出一种在观测空间构建近似层级的多层算法，用于加速求解射电干涉成像中的uSARA问题，并与重加权前向-后向方法进行了比较。
2024-03-20 astro-ph.IM math.OC
Multilevel Facility Location Optimization: A Novel Integer Programming Formulation and Approaches to Heuristic Solutions
针对供应链中的4级设施选址问题（4L-FLP），提出一种减少变量的整数规划模型，开发多起点贪心启发式和禁忌搜索算法并验证其可靠性，为大规模4L-FLPs提供改进求解方法。
2025-04-19 cs.DM math.OC
A flexible block-coordinate forward-backward algorithm for non-smooth and non-convex optimization
Laboratoire de Physique, ENSL, CNRS UMR 5672（物理实验室、里昂高等师范学校、法国国家科学研究中心）
提出一种新的确定性块坐标下降框架，支持灵活更新规则，在非光滑非凸优化中保证收敛性，并在多级图像恢复中验证有效性。
2025-10-30 math.OC
Convergence of the Gauss-Newton method for convex composite optimization under a majorant condition
在初始点为拟正则点的假设下，利用优势条件给出了求解凸复合最优化问题的推广Gauss-Newton方法的一个新的半局部收敛性分析.在这个分析中，收敛的条件和证明被简化，通过使用一个简单的优势条件来定义区域，高斯-牛顿序列是“良好的表现”。
2011-07-19 math.OC
Betty: An Automatic Differentiation Library for Multilevel Optimization
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；UCSD（加州大学圣地亚哥分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
基于约束的多级优化（MLO）作为研究众多问题的框架而受到关注，从超参数优化和元学习到神经结构搜索和强化学习。然而，MLO中的梯度是通过链式法则组成最佳响应雅可比矩阵而获得的，众所周知，它很难实现，并且是内存/计算密集型的。我们通过引入Betty（一个用于大规模MLO的软件库），迈出了缩小这一差距的第一步。在其核心，我们为MLO设计了一个新的Bronlow图，它允许我们（1）为MLO开发有效的自动微分，将计算复杂性从O（d^3）降低到O（d^2），（2）结合系统支持，如混合精度和数据并行训练的可扩展性，以及（3）便于实现任意复杂度的MLO程序，同时允许用于不同算法和系统设计选择的模块化接口。我们的经验表明，贝蒂可以用来实现一系列的MLO程序，同时也观察到高达11%的测试精度增加，14%的GPU内存使用量减少，和20%的训练壁时间减少比现有的实现多个基准。我们还展示了Betty能够将MLO扩展到具有数亿参数的模型。我们在https://github.com/leopard-ai/betty上开源代码。
2023-03-15 cs.AI cs.LG math.OC
A Two-Phase Quasi-Newton Method for Optimization Problem
本文提出了一种求解无约束最优化问题的两阶段拟牛顿格式。在适当的假设下，证明了格式的整体收敛性质.在解的附近证明了该格式的超线性速率。通过数值计算和图解说明，证明了该方案较传统方案的优越性。
2018-07-29 math.OC
Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）；Zhejiang University（浙江大学）
本文提出动量估计器与小批量技术，实现随机多级组合优化的最优样本复杂度，无需强平均光滑假设，并通过实验验证有效性。
2026-10-02 cs.LG math.OC
Efficient Regularized Proximal Quasi-Newton Methods for Large-Scale Nonconvex Composite Optimization Problems
具有复合函数的最优化问题由一个目标函数组成，该目标函数是一个光滑项和一个（凸）非光滑项之和。这种特殊的结构是利用类的近端梯度法和他们的一些推广，如近端牛顿和拟牛顿法。在本文中，我们提出了一个正则化的近似拟牛顿法，其主要特点是：（a）该方法全局收敛到稳定点，（b）全局化由正则化参数控制，不需要线搜索，（c）该方法可以基于简单的观察而非常有效地实现，该观察结合了最近用于计算准牛顿邻近算子和有限记忆拟牛顿更新的紧致表示。对凸和非凸组合最优化问题的数值算例表明，该方法优于现有的几种方法。
2022-10-14 math.OC
Verification and Synthesis of Robust Control Barrier Functions: Multilevel Polynomial Optimization and Semidefinite Relaxation
Harvard University（哈佛大学）；NVIDIA Research（英伟达研究院）
针对带加性不确定性的控制仿射多项式系统，提出基于多级多项式优化与半定松弛的鲁棒CBF验证与综合方法，证明其渐近全局收敛性并在Van der Pol振子上完成验证。
2023-07-21 cs.RO cs.SY eess.SY
Gauss-Newton-type methods for bilevel optimization
本文研究了求解超定系统双层规划问题的Gauss-Newton型方法。为了进行，我们使用较低级别的价值函数重新制定的双层计划，并考虑必要的最优性条件在适当的假设。首先严格互补的上下层的可行性约束下，我们证明了收敛的高斯-牛顿型方法在计算点满足这些最优性条件下额外的易处理的资格条件。潜在的方法，以解决该方法的缺点，然后提出，导致替代品，如伪或平滑高斯-牛顿型方法的双层优化。我们的数值实验进行了124个例子，从最近发布的双层优化库（BOLIB）比较我们的方法在不同的情况下的性能，并表明这是一个易于处理的方法来解决连续变量的双层最优化问题。
2020-03-06 math.OC
Forward-backward truncated Newton methods for convex composite optimization
针对复合形式的凸非光滑最优化问题，提出了两种近似Newton-CG方法。该算法是基于一个重新制定的原始非光滑问题的无约束极小化的连续可微函数，即向前向后包络（FBE）。第一个算法是基于一个标准的线搜索策略，而第二个结合了相应的一阶方法的全局效率估计，同时实现快速的渐近收敛率。此外，它们在计算上是有吸引力的，因为每个牛顿迭代需要通常小维度的线性系的近似解。
2014-02-28 math.OC
Quasi-Newton method of Optimization is proved to be a steepest descent method under the ellipsoid norm
本文引入并推广经典 Cauchy-Schwartz 不等式，严格证明了无需计算 Hessian 且具超线性收敛速度的拟牛顿法在椭球范数下本质上是一种最速下降法。
2024-11-18 math.OC
Multilevel Monte Carlo estimators for derivative-free optimization under uncertainty
针对不确定性下优化（OUU）计算成本过高的问题，提出用多层蒙特卡洛（MLMC）方法降低内环不确定性分析成本，结合SNOWPAC库的无导数优化外环策略，在Dakota工具包实现，数值实验验证其性能优于单精度方法。
2023-05-04 math.OC stat.CO
A multilevel stochastic regularized first-order method with application to finite sum minimization
ISTI–CNR（意大利国家研究委员会信息系统技术研究所）；ENS de Lyon, Univ Lyon, UCBL, CNRS, Inria, LIP（里昂高等师范学院，里昂大学，里昂第一大学，法国国家科学研究中心，法国国家计算机科学与自动化研究所，计算与交互实验室）
本文提出了一种多级随机正则化一阶方法，用于解决非凸无约束优化问题，通过分层描述和随机模型实现更高效的收敛和计算。
2025-11-26 cs.NA math.NA math.OC
Proximal Quasi-Newton Methods for Multiobjective Optimization Problems
针对无约束多目标最优化问题（简称UMOP），提出了几种新的近似拟牛顿法，其中每个目标函数是一个二次连续可微强凸函数和一个适当的下连续凸但不一定是可微函数之和.我们提出了近似BFGS方法，近似自缩放BFGS方法，和近似黄BFGS方法（UMOP）与线搜索和没有线搜索的情况下。在温和的假设下，我们证明了由这些算法产生的序列的每个聚点，如果存在的话，是（UMOP）的Pareto平稳点。此外，我们还介绍了它们在约束多目标最优化问题和鲁棒多目标最优化问题中的应用。特别地，对于鲁棒多目标最优化问题，我们证明了近似拟牛顿算法的子问题可以看作是带二次不等式约束的二次极小化问题。数值实验也验证了所提出的近似拟牛顿法的有效性。
2022-04-07 math.OC
Accelerating Look-ahead in Bayesian Optimization: Multilevel Monte Carlo is All you Need
University of Manchester（曼彻斯特大学）；Durham University（杜伦大学）；Meta Platforms, Inc.（元平台公司）
利用多层蒙特卡洛（MLMC）解决多步前瞻贝叶斯优化中嵌套期望导致的朴素MC复杂度退化问题，实现标准收敛速率，并在理论与基准实验中验证了其有效性与广泛适用性。
2024-06-25 cs.LG math.OC math.PR
Analysis of Newton-Raphson Consensus for multi-agent convex optimization under asynchronous and lossy communications
我们扩展了一个多代理凸优化算法牛顿-拉夫森共识的网络场景，涉及定向，异步和有损通信。我们从理论上分析了算法的稳定性和性能，特别是，提供充分条件，保证局部指数收敛的节点状态的全局集中式极小，即使在存在数据包丢失。最后，我们补充的理论分析与数值模拟，比较性能的牛顿-拉夫森共识对异步实现的分布式次梯度方法从开源数据库中提取的真实数据集。
2017-04-20 math.OC
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
本文研究了非凸随机最优化的随机拟牛顿法，其中我们假设只有目标函数的梯度的随机信息可以通过随机一阶预言机（SFO）得到.首先，我们提出了求解非凸随机最优化的随机拟牛顿法的一般框架。建议的框架扩展了经典的拟牛顿法在确定性设置随机设置，我们证明了其几乎必然收敛平稳点。其次，我们提出了一类随机随机拟牛顿法的一般框架，其中算法进行的迭代次数是随机变量。分析了这类方法的最坏情况SFO调用复杂度。第三，我们提出了两个具体的方法，即随机阻尼BFGS方法和随机循环Barzilai-Borwein方法。最后，我们报告的数值结果来证明所提出的方法的效率。
2014-12-04 math.OC
Gradient Projection Newton Pursuit for Sparsity Constrained Optimization
基于硬阈值的算法在控制稀疏性和允许快速计算方面具有稀疏优化的各种优势。最近的研究表明，当牛顿型方法的技术集成，其数值性能可以得到惊人的改善。本文提出了一种梯度投影牛顿追踪算法，该算法主要采用硬阈值算子，仅在满足一定条件时才使用牛顿追踪。该算法能够在标准假设下全局收敛和二次收敛。当涉及到压缩感知问题时，强加的假设比许多最先进的算法要弱得多。此外，大量的数值实验证明了其与其他领先求解器相比的高性能。
2022-06-06 math.OC
Proximal Quasi-Newton Method for Composite Optimization over the Stiefel Manifold
针对Stiefel流形上的复合优化问题，提出名为ManPQN的黎曼近端拟牛顿法，证明其全局与局部线性收敛性并分析迭代复杂度，数值实验验证该方法可加速近端梯度法。
2025-01-16 math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿（PD-QN）方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新，以找到增广拉格朗日的最优点。通过优化增广拉格朗日量，PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新，近似二阶信息，以减少相对于对偶方法的计算负担，并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率，数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
Convergence of a Randomized Newton Method in Nonconvex Optimization
本文分析了一种结合牛顿算法与状态相关高斯噪声的随机牛顿方法，用于非凸优化中定位唯一全局极小值点，并证明了有界域下的全局几乎必然收敛性。
2026-09-10 math.OC
A multilevel block building algorithm for fast modeling generalized separable systems
数据驱动建模在不同的工程领域中发挥着越来越重要的作用。现有的遗传规划（GP）等方法，在求解大规模问题时，收敛速度往往太慢。它已经成为GP实际应用的瓶颈。幸运的是，在许多应用中，目标模型在某种意义上是可分离的。本文分析了现实世界中一些工程方程的不同类型的可分性，建立了广义可分系统（GS系统）的数学模型。为了得到GS系统的结构，提出了一种多级分块构造算法（MBB），该算法将目标模型分解为若干个分块，进一步分解为最小分块和因子。与传统的GP相比，MBB可以大大减少搜索空间。这使得MBB能够对复杂系统进行建模。最小块和因素进行优化和组装的全局优化搜索引擎，低维单纯形进化（LDSE）。一个广泛的研究之间的建议MBB和国家的最先进的数据驱动的拟合工具，Eureqa，已经提出了一些人为的问题，以及一些现实世界的问题。测试结果表明，所提出的方法是更有效的和高效的所有调查的情况下。
2017-06-28 math.OC
On a globally convergent semismooth* Newton method in nonsmooth nonconvex optimization
本文提出 GSSN 方法，结合近端梯度法保证全局收敛，利用 SCD semismooth* Newton 方法在弱假设下实现局部超线性收敛，并通过等式约束二次规划计算 Newton 方向，注重高效数值实现。
2025-01-24 math.OC
Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时，必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中，我们解决所有这些问题。特别是，我们证明了快速局部收敛的算法，并提出了两种不同的全球化战略，适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
The Quasi-Newton Method for the Composite Multiobjective Optimization Problems
本文针对复合多目标优化问题（CMOP）提出了结合Armijo线搜索的BFGS、自标度BFGS和Huang BFGS等新拟牛顿方法，并证明了算法生成序列的聚点为Pareto稳定点和最优点。
2023-09-10 math.OC
Deriving Compact QUBO Models via Multilevel Constraint Transformation
本文提出多层约束变换方案 MLCTS，从二值线性规划生成辅助变量更少的紧凑 QUBO 模型，并在多类组合优化问题及软硬件求解器上验证其显著性能提升。
2024-04-04 math.OC quant-ph
Proximal Diagonal Newton Methods for Composite Optimization Problems
本文提出一种基于对角度量的近端牛顿型方法，用于求解复合优化问题，理论分析与数值实验表明其在非凸情形下优于近端梯度法。
2023-10-10 math.OC
New Proximal Newton-Type Methods for Convex Optimization
本文对复合形式的凸优化问题提出了新的近似牛顿型方法。应用包括模型预测控制（MPC）和嵌入式MPC。我们的新方法在计算上是有吸引力的，因为它们不需要在每次迭代时评估Hessian，同时保持快速的收敛速度。更具体地说，我们证明了整体收敛性的保证和超线性收敛是在附近的最优解。我们还结合拟牛顿和不精确子问题求解方案，开发了几种实用的变型，并在一定条件下为它们提供了理论保证。在真实数据集上的实验结果证明了新方法的有效性和效率。
2020-07-18 math.OC
Newton-type method for bilevel programs with linear lower level problem and application to toll optimization
本文考虑一个下层线性问题的左扰动双层规划。然后，我们考虑Karush-Kuhn-Tucker重新制定的问题，并随后建立一个易于处理的最优化问题的线性约束的部分精确惩罚。最后，我们将该算法应用于交通网络中的最优收费问题，证明了该算法的收敛性和实际实现。
2020-10-22 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是，算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿（IQN）策略，特别是增量BFGS（IBFGS）策略。一个应用IBFGS策略的问题直接，而其他应用IBFGS策略的差异凸重构，平滑逼近，或（强）凸局部逼近。实验表明，所有IBFGS方法在实践中表现良好，并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Newton-CG Algorithm with Complexity Guarantees for Smooth Unconstrained Optimization
我们考虑最小化的光滑非凸目标函数使用迭代算法的基础上牛顿法和线性共轭梯度算法，明确检测和使用负曲率方向的Hessian的目标函数。该算法密切跟踪20世纪80年代开发的牛顿共轭梯度程序，但包括增强功能，允许证明最坏情况下的复杂性结果收敛到满足近似一阶和二阶最优性条件的点。的复杂性结果匹配的最佳已知的结果在文献中的二阶方法。
2018-11-12 math.OC
