A globalization of L-BFGS and the Barzilai-Borwein method for nonconvex unconstrained optimization
该研究提出一种带新型谨慎更新机制的全局化L-BFGS方法，在弱假设下对非凸问题有全局线性收敛性，内存为零时可得到全局化BB方法，且参数足够小时与经典方法性能一致。
2024-09-11 math.OC
A Steepest Gradient Method with Nonmonotone Adaptive Step-sizes for the Nonconvex Minimax and Multi-Objective Optimization Problems
本文提出一种采用非单调自适应步长的新的最速梯度下降法，用于求解非凸极小极大问题，并将其扩展到多目标优化，证明了在拟凸和伪凸条件下的收敛性，数值实验验证了理论结果。
2025-02-04 math.OC
The Hybridization of Branch and Bound with Metaheuristics for Nonconvex Multiobjective Optimization
针对非凸多目标优化问题，提出了一种结合分支定界法和多目标进化算法的混合框架。杂交利用了两种优化策略的互补特性。多目标进化算法的目的是诱导严格的下限和上界在分支定界过程。像这样的紧边界可以减少必须解决的子问题的数量。分支定界法保证了框架的整体收敛，提高了多目标进化算法的搜索能力。将NSGA-II和MOEA/D-DE作为多目标进化算法，给出了混合框架的实现。数值实验验证了混合算法的优势在于分支定界法和多目标进化算法的协同作用。
2022-12-09 cs.NE math.OC
A Vectorization Scheme for Nonconvex Set Optimization Problems
本文研究了集合最优化问题的一种求解方法。这种方法可以作为一个基础，数值求解集最优化问题，使用建立多目标优化的求解器。我们的策略包括推导出一个参数族的多目标最优化问题，其最优解集近似，在特定意义上，具有任意精度的集值问题。我们还研究了特定类别的集值映射，相应的集最优化问题是等价于一个多目标最优化问题的生成家庭。令人惊讶的是，这包括具有凸图的集值映射。
2021-07-26 math.OC
An effective subgradient algorithm via Mifflin's line search for nonsmooth nonconvex multiobjective optimization
针对无约束非光滑非凸多目标优化问题，提出一种基于Mifflin线搜索新变体的下降次梯度算法，可高效逼近Goldstein次微分、减少次梯度计算，无需调整即可处理非凸性，具备全局收敛性且数值表现良好。
2024-06-21 math.OC
Barzilai-Borwein Diagonal Quasi-Newton Method for Nonconvex Multiobjective Optimization Problems
National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆应用数学中心，重庆师范大学）
本文提出改进的Barzilai-Borwein对角型Quasi-Newton方法，用于解决非凸多目标优化问题，通过共享矩阵提高效率并保证收敛性。
2026-08-04 math.OC
Decentralized Conjugate Gradient and Memoryless BFGS Methods
本文针对非凸与强凸去中心化优化问题，分别提出带梯度跟踪的新型去中心化共轭梯度法和缩放无记忆BFGS法，证明了相应收敛性，实验显示其在迭代和通信成本上优于现有方法。
2025-01-17 math.OC
A proximal subgradient algorithm for constrained multiobjective DC-type optimization
Hanoi Pedagogical University 2（河内第二师范大學）；RMIT University（皇家墨尔本理工大学）
本文提出了一种近端subgradient算法，用于解决受约束的多目标DC型优化问题，通过建立最优性条件并保证序列有界性，实现了对非凸问题的有效求解。
2026-09-04 math.OC
Universal nonmonotone line search method for nonconvex multiobjective optimization problems with convex constraints
本文提出一种求解带凸约束非凸多目标优化问题的通用非单调线搜索方法，证明其迭代复杂度并受Metropolis准则启发提出新步长规则，适用于含大量局部极小值的多目标问题。
2024-11-14 math.OC
Approximate solutions in multiobjective interval-valued optimization problems: Existence theorems and optimality conditions
针对基于区间序的多目标区间值优化问题，本文建立近似解的存在性定理，并在非光滑非凸条件下给出KKT及近似KKT最优性条件，且应用于非合作博弈。
2025-02-18 math.OC
$\ell_0$-Norm Multiobjective Optimization Models Motivated by Applications to Proton Therapy
本文针对质子治疗中非凸不可微的$\ell_0$-范数优化问题，利用变分分析和标量化方法提出次梯度算法并分析收敛性，数值实验展示了算法特性及其与梯度下降的关联。
2025-09-09 math.OC
Modified limited memory BFGS with displacement aggregation and its application to the largest eigenvalue problem
本文提出结合位移聚合的改进有限内存BFGS方法（AggMBFGS）求解非凸优化问题，证明了其全局与局部超线性收敛性，并在数值实验中展现出优于M-LBFGS的迭代效率及在计算高维矩阵最大特征值时更低的相对误差。
2025-04-04 math.OC
Approximate solutions for robust multiobjective optimization programming in Asplund spaces
本文研究了任意Asplund空间中带不确定约束的非光滑/非凸多目标最优化问题。首先给出了近似弱鲁棒有效解的模糊形式的最优性必要条件最优性条件，然后利用Frechet次微分的模糊最优性条件，在极限次微分意义下建立了近似弱鲁棒拟有效解的最优性必要定理.在广义伪凸函数的新概念下，得到了该问题近似（弱）鲁棒拟有效解的充分条件.最后，我们解决了一个近似的Mond-Weir型对偶鲁棒问题的参考问题，并探讨弱，强，逆对偶性质的假设下的伪凸性。
2022-11-14 math.OC
Stochastic Damped L-BFGS with Controlled Norm of the Hessian Approximation
Polytechnique Montréal（蒙特利尔高等理工学院）
我们提出了一种新的随机方差减少阻尼L-BFGS算法，在那里我们利用估计的最大和最小的特征值的海森近似的边界，以平衡其质量和条件。我们的算法，VARCHEN，借鉴了以前的工作，提出了一种新的随机阻尼L-BFGS算法称为SdLBFGS。我们建立几乎必然收敛到一个稳定点和复杂性界。我们的经验表明，VARCHEN比SdLBFGS-VR和SVRG在修改后的DavidNet问题上更强大-这是一个在深度学习背景下出现的高度非凸和病态问题，并且它们的性能在逻辑回归问题和非凸支持向量机问题上相当。
2020-12-10 cs.LG cs.NA math.NA
Robust optimality and duality for composite uncertain multiobjective optimization in Asplund spaces with its applications
本文在Asplund空间下研究复合不确定多目标优化问题，通过变分分析技术建立鲁棒有效解的最优性条件，构造Mond-Weir型鲁棒对偶并分析相关性质，最终将结果应用于两类不确定优化问题。
2024-03-09 math.OC
Regularization of Limited Memory Quasi-Newton Methods for Large-Scale Nonconvex Minimization
本文讨论正则化牛顿法，一类灵活的无约束优化算法，线搜索和置信域方法的竞争力，并潜在地结合两者的吸引力元素。特别的重点是结合正则化与有限记忆拟牛顿法，利用有限记忆算法的特殊结构。在适当的假设下证明了正则化方法的整体收敛性，并讨论了正则化有限记忆拟牛顿更新的细节，包括它们的紧致表示.使用来自CUTEst集合的所有大规模测试问题的数值结果表明，我们的正则化版本的L-BFGS与最先进的线搜索和信赖域L-BFGS算法以及先前将L-BFGS与正则化相结合的尝试具有竞争力，同时可能优于其中一些，特别是当涉及非单调性时。
2022-07-11 cs.NA math.NA math.OC
Optimality conditions for robust nonsmooth multiobjective optimization problems in Asplund spaces
我们采用模糊最优性条件的Frechet次微分和一些先进的变分分析技术，如公式的次微分的一个无限的家庭的非光滑函数和余导数标量化研究鲁棒最优性条件和鲁棒对偶的非光滑/非凸多目标最优化问题处理不确定性约束在任意Asplund空间。我们建立必要的最优性条件弱和适当的鲁棒有效解的问题的Mordukhovich次微分的相关功能。进一步，通过引入广义凸性的新概念，给出了该问题弱鲁棒有效解和真鲁棒有效解的充分条件.最后，我们制定了一个Mond-Weir型的鲁棒对偶问题的参考问题，并检查弱，强，和逆对偶关系，它们之间的伪凸性假设。
2022-11-14 math.OC
A trust region-type normal map-based semismooth Newton method for nonsmooth nonconvex composite optimization
针对非光滑非凸复合优化问题，提出一种嵌入半光滑牛顿步的信赖域型法映射方法，证明其全局与局部超线性收敛性，拓展拟牛顿版本并通过多类数值实验验证了算法效率。
2023-10-03 math.OC
Incremental Quasi-Newton Algorithms for Solving Nonconvex, Nonsmooth, Finite-Sum Optimization Problems
提出并测试了求解非凸、非光滑、有限和最优化问题的算法。特别是，算法提出和测试的上下文中产生的半监督机器学习的最优化问题制定。所有算法的共同特征是它们采用增量拟牛顿（IQN）策略，特别是增量BFGS（IBFGS）策略。一个应用IBFGS策略的问题直接，而其他应用IBFGS策略的差异凸重构，平滑逼近，或（强）凸局部逼近。实验表明，所有IBFGS方法在实践中表现良好，并且都优于最先进的捆绑方法。
2022-07-20 math.OC
A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications
本文提出了一种新的随机版本的阻尼和正则化BFGS方法来解决上述问题。
2019-12-10 cs.NA math.NA math.OC
Worst-case Complexity Bounds of Directional Direct-search Methods for Multiobjective Optimization
直接多重搜索是一种成熟的算法，适用于多目标无导数优化。在这项工作中，我们分析了最坏情况下的复杂性，这类方法在其最一般的配方无约束优化。考虑到非凸光滑函数，我们表明，驱动一个给定的临界性措施低于一个特定的积极的阈值，直接多重搜索需要最多的迭代次数成正比的平方的倒数的阈值，提出的目标函数的组件的数量。这个数字也与第一次不成功的迭代和紧接在满足临界条件的迭代之前的迭代之间的链接序列集的大小成比例。然后，我们专注于一个特定的实例直接多重搜索，它认为接受新的非受控点更严格的标准。在这种情况下，我们可以建立一个更好的最坏情况的复杂性界限，简单地与阈值的倒数的平方成比例，用于驱动相同的关键性度量低于所考虑的阈值。
2020-11-03 math.OC
A Homotopy Framework for Constrained Multiobjective Optimization
Clarkson University（克拉克森大学）
本文提出一种基于同伦的框架，用于计算多目标优化问题的KKT点，通过连续变形易解系统至KKT条件，保证全局收敛性，并在数值实验中展示出鲁棒性与高效性。
2026-10-16 cs.NA math.NA math.OC
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
本文研究了非凸随机最优化的随机拟牛顿法，其中我们假设只有目标函数的梯度的随机信息可以通过随机一阶预言机（SFO）得到.首先，我们提出了求解非凸随机最优化的随机拟牛顿法的一般框架。建议的框架扩展了经典的拟牛顿法在确定性设置随机设置，我们证明了其几乎必然收敛平稳点。其次，我们提出了一类随机随机拟牛顿法的一般框架，其中算法进行的迭代次数是随机变量。分析了这类方法的最坏情况SFO调用复杂度。第三，我们提出了两个具体的方法，即随机阻尼BFGS方法和随机循环Barzilai-Borwein方法。最后，我们报告的数值结果来证明所提出的方法的效率。
2014-12-04 math.OC
Novel insights into Pareto fronts in multiobjective topology optimization and a comparative study of scalarization strategies
KU Leuven（荷语鲁汶大学）；Technische Universität Ilmenau（伊尔梅瑙工业大学）；Technical University of Denmark（丹麦技术大学）
本文理论比较了加权和、ε-约束与Pascoletti-Serafini标量化方法，揭示了拓扑优化中Pareto前沿由局部前沿片段组成，可能导致非凸不连通前沿，并通过数值实验展示了不同方法的逼近效果。
2026-08-27 math.OC
On the Acceleration of L-BFGS with Second-Order Information and Stochastic Batches
Tencent AI Lab（腾讯人工智能实验室）；Lehigh University（理海大学）
本文提出了一种基于近似二阶信息的L-BFGS算法框架，作为求解有限和极小化问题的一种新方法。与经典的L-BFGS不同，随机批次导致不稳定，我们使用平滑估计的梯度差的评估，同时通过良好的缩放初始海森实现加速。我们提供了理论分析，凸和非凸的情况下。此外，我们证明，在流行的应用程序中的最小二乘和交叉熵损失，该算法承认在分布式环境中的一个简单的实现。数值实验证明了算法的有效性。
2018-07-14 cs.LG math.OC stat.ML
Douglas-Rachford splitting and ADMM for nonconvex optimization: Accelerated and Newton-type linesearch algorithms
针对非凸优化中DRS和ADMM受病态条件与问题规模限制的问题，提出两种结合拟牛顿方向的线搜索算法，保留原收敛性且提升收敛速度与鲁棒性，采用Broyden方向可实现超线性收敛。
2021-11-03 math.OC
Proximal Limited-Memory Quasi-Newton Methods for Nonsmooth Nonconvex Optimization
University of Würzburg（维尔茨堡大学）；University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种近端有限记忆拟牛顿方法，用于求解可微函数与非光滑函数之和的最小化问题，通过自适应更新正则化参数实现全局收敛，并在Kurdyka-Lojasiewicz性质下建立序列收敛性。
2026-10-27 math.OC
Second-order Methods for Multiobjective Composite Optimization: Preconditioning Strategies, Subspace Variants and Inexact Solutions
College of Mathematics, Sichuan University（四川大学数学学院）；National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学应用数学重庆中心）
针对多目标复合优化中光滑分量病态条件导致的收敛慢问题，提出预条件近端Barzilai-Borwein方法，结合目标间Barzilai-Borwein缩放与公共预条件子，并发展子空间变体及不精确版本，在非凸设定下证明全局收敛和线性收敛率。
2026-06-26 math.OC
A Robust Multi-Batch L-BFGS Method for Machine Learning
本文描述了L-BFGS方法的实现，旨在处理两种对抗性的情况。第一种情况发生在分布式计算环境中，其中一些专门用于函数和梯度评估的计算节点无法及时返回结果。类似的挑战也出现在多批处理方法中，其中用于计算函数和梯度的数据点在每次迭代时都有目的地改变，以加速学习过程。困难出现，因为L-BFGS采用梯度差来更新海森近似，并且当这些梯度使用不同的数据点计算时，更新过程可能不稳定。本文展示了如何在多批设置中执行稳定的拟牛顿更新，研究了凸函数和非凸函数的收敛性质，并说明了该算法在分布式计算平台上的行为，在二进制分类逻辑斯谛回归和机器学习中出现的神经网络训练问题。
2019-08-27 cs.LG math.OC stat.ML
SPIRAL: A superlinearly convergent incremental proximal algorithm for nonconvex finite sum minimization
KU Leuven（鲁汶大学）；Kyushu University（九州大学）
本文提出超线性收敛的增量近端算法SPIRAL，通过结合增量梯度更新与渐近不触发的线搜索，在温和假设下求解非凸有限和问题并实现超线性收敛，实验证明其与现有技术具竞争力。
2024-01-15 cs.LG math.OC
Counterexamples for BFGS-type methods under arbitrary strong Wolfe constants
本文针对任意强Wolfe参数构造了BFGS类方法在二维光滑非凸函数上发散的反例，证明其失效并非参数限制所致。
2026-09-10 math.OC
A deterministic optimization algorithm for nonconvex and combinatorial bi-objective programming
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）
本文提出SDNBI算法，通过有效探索非凸Pareto前沿区域并早期识别无解区域，在计算成本和Pareto最优集质量上优于改进NBI和SD算法，适用于非凸和组合双目标优化问题。
2026-09-30 math.OC
Calibrated $α$-Barycenters for Multiobjective $f$-Divergence Optimization
The University of Hong Kong（香港大学）；Zhongguancun Academy（中关村学院）
该研究提出CAL-α-MODM方法，用于多目标f-散度优化，通过校准残差导数等实现三次收敛，在300目标Jensen-Shannon问题上较L-BFGS和Direct-TR取得显著加速。
2026-10-14 cs.IT cs.LG math.IT
A Cubic Regularization Method for Multiobjective Optimization
本文提出非凸无约束多目标优化的三次正则化方法，通过非单调线搜索联合调节正则化参数与导数近似精度，并给出迭代复杂度、函数求值复杂度及全局与局部收敛结果。
2025-06-09 math.OC
qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto optimal Thompson sampling
本文提出 qPOTS，一种基于 Pareto 最优 Thompson 采样的批量 MOBO 方法，通过在后验 GP 上进行低成本进化多目标优化避免采集函数难题，并保证样本效率与实证性能。
2025-02-16 math.OC stat.ML
Compositional Sensitivity Analysis for Multiobjective System Co-Design
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）
该研究基于单调协同设计，提出多目标系统协同设计的组合式敏感性分析框架，引入切向设计问题，建立敏感性分析与组合操作可交换的条件，通过数值示例验证其准确性与计算优势。
2026-10-14 cs.SY eess.SY math.OC
A Unified Zeroth-Order Proximal Newton-Type Framework for Composite Optimization
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种无导数的近似牛顿型算法框架，用于解决复合优化问题，该问题可表示为黑盒函数与已知正则化项之和。研究建立了在非凸和强凸情况下，算法达到ε-最优解的迭代和oracle复杂度界，并基于Dennis--Moré条件证明了局部R超线性收敛性。
2026-05-07 math.OC
Deep Reinforcement Learning via L-BFGS Optimization
强化学习（RL）算法允许人工智能体改进其动作选择，从而增加其环境中的奖励体验。深度强化学习算法需要解决非凸和非线性无约束优化问题。用于解决深度RL中的优化问题的方法限于一阶算法类，例如随机梯度下降（SGD）。SGD方法的主要缺点是它们具有不逃逸鞍点的不良效果，并且它们的性能会受到病态的严重阻碍。此外，SGD方法需要详尽的试验和错误来微调许多学习参数。使用二阶导数信息可以提高收敛性能，但计算大规模问题的Hessian矩阵是不切实际的。拟牛顿法和SGD一样只需要一阶梯度信息，但它们可以构造Hessian矩阵的低秩近似，并导致超线性收敛。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在本文中，我们介绍了一种有效的优化方法，基于有限内存BFGS拟牛顿法使用线搜索策略-作为替代SGD方法。我们的方法通过继续使用梯度信息来计算低秩Hessian近似，从而弥合了一阶方法和二阶方法之间的差距。我们提供了正式的收敛性分析，以及经验的一个子集的经典ATARI 2600游戏的结果。我们的研究结果表明，具有较好的泛化特性，以及快速的训练时间和不需要的经验重放机制的鲁棒收敛。
2019-04-16 cs.AI cs.LG math.OC
An Inexact Projected Gradient Method with Rounding and Lifting by Nonlinear Programming for Solving Rank-One Semidefinite Relaxation of Polynomial Optimization
Massachusetts Institute of Technology（麻省理工学院）；National University of Singapore（新加坡国立大学）
考虑求解高阶半定规划（SDP）松弛的非凸多项式最优化问题（POP），该问题常具有退化秩一最优解.而不是单独解决的SDP，我们提出了一个新的算法框架，混合使用非凸POP到全局下降使用凸SDP的本地搜索。特别是，我们首先设计了一个全局收敛的不精确投影梯度法（iPGM）求解SDP，作为我们的框架的骨干。然后，我们通过快速非线性规划算法生成的长但有保障的一阶步骤来加速iPGM。我们证明了新的框架仍然是全局收敛的求解SDP。为了解决将给定点投影到SDP的可行集上的iPGM子问题，我们设计了一个两阶段算法，第一阶段使用基于对称高斯-赛德尔的加速邻近梯度法（sGS-APG）来生成一个好的初始点，第二阶段使用修改的有限记忆BFGS（L-BFGS）方法来获得精确的解。我们分析了这两个阶段的收敛性，并建立了一个新的整体收敛的结果，修改后的L-BFGS，不需要目标函数是两次连续可微。我们进行数值实验解决二阶SDP松弛所产生的一组不同的持久性有机污染物。我们的框架展示了最先进的效率，可扩展性和鲁棒性，在解决退化的秩一SDP的高精度，即使在存在数百万的等式约束。
2021-10-26 cs.CV cs.LG math.OC
Complexity Bounds for Smooth Multiobjective Optimization
BNP Paribas Cardif Nanterre（BNP巴黎银行卡地夫南特尔）
本文研究了光滑多目标优化中寻找ε-帕累托驻点的复杂性界限，分析了不同凸性条件下一阶方法的收敛性及下界。
2026-02-15 cs.AI math.OC
A Limited-Memory Quasi-Newton Algorithm for Bound-Constrained Nonsmooth Optimization
我们考虑最小化一个连续函数的问题，该函数可能是非光滑和非凸的，受边界约束。我们提出了一个算法，使用L-BFGS拟牛顿近似的问题的曲率与一个变种的弱沃尔夫线搜索。该方法的关键成分是活动集选择策略，该策略定义了计算搜索方向的子空间。为了克服非光滑函数梯度的固有短视性，我们提出了两种策略。第一个依赖于一个近似的$ε$最小范数次梯度，第二个使用迭代校正循环，增加活动集的基础上产生的搜索方向。我们描述了所提出算法的Python实现，并给出了一组标准测试问题的数值结果，以说明我们方法的有效性。
2016-12-21 math.OC
Using multiobjective optimization to reconstruct interferometric data (I)
本文提出用多目标进化算法MOEA/D重建射电干涉数据，以克服EHT成像中大规模参数巡天耗时的问题，并在合成数据与M87黑洞阴影观测中验证了其灵活性和效率。
2023-05-13 astro-ph.GA astro-ph.IM math.OC
A dominance maximization approach to portfolio selection
在投资组合多目标优化框架中，我们建议在给定市场的所有可行资产组合中比较和选择使其风险和收益值与合适参考点（例如，所谓的最低点）。我们表明，这种方法具有鲜明的和显着的特点。虽然不受目标如何缩放的影响，但它提供了一个有效的（帕累托）投资组合，相对于参考点"占主导地位"。此外，虽然我们的无偏好策略一般需要解决一个非凸（约束）单目标问题，我们展示了如何得到的（全球）最优投资组合可以很容易地和有效地计算。我们还进行了数值测试的基础上，一些公开的基准数据集经常在文献中使用，突出了我们的方法的良好性能。
2018-01-15 math.OC
A Globally and Quadratically Convergent Algorithm with Efficient Implementation for Unconstrained Optimization
本文对非线性无约束最优化问题提出了一种有效的修正牛顿型算法。修正的Hessian矩阵是单位矩阵（用于最速下降算法）和黑塞矩阵（用于Newton算法）的凸组合。在每次迭代中动态地选择凸组合的系数。证明了该算法对（凸和非凸）非线性函数是全局收敛的和二次收敛的。高效的实施描述。对广泛应用的CUTE测试问题进行了数值试验。并将试验结果与MATLAB优化工具箱函数{ \tt fminunc}的结果进行了比较。测试结果也比较了一些既定的和国家的最先进的算法，如有限的记忆BFGS，下降和共轭梯度算法，和有限的记忆和下降共轭梯度算法。实验结果表明，该算法具有较好的性能.
2012-12-21 math.OC
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；The Chinese University of Hong Kong（香港中文大学）；Columbia University（哥伦比亚大学）；Tencent AI Lab（腾讯人工智能实验室）
本文研究非凸随机优化中的随机拟牛顿方法，提出了一种框架并证明了收敛性，分析了最坏情况下的迭代复杂度，提出了一种随机阻尼L-BFGS方法，并结合SVRG技术，展示了在非凸二分类和多分类问题中的数值结果。
2017-05-21 cs.LG cs.NA math.NA
A Tunneling Method for Nonlinear Multi-objective Optimization Problems
针对含多局部帕累托前沿的非凸非线性多目标优化问题，提出无需先验参数与目标排序的隧道法，通过辅助函数迭代寻优构建全局帕累托前沿近似，设计算法并证明收敛，数值实验验证了方法有效性。
2025-10-03 math.OC
Accelerated Stochastic Quasi-Newton Optimization on Riemann Manifolds
Ohio State University（俄亥俄州立大学）
我们提出了一个L-BFGS优化算法在黎曼流形使用小批量随机方差减少技术的快速收敛与恒定的步长，而不诉诸线搜索方法设计，以满足沃尔夫条件。给出了流形上强凸函数的一个新的收敛性证明，并讨论了非凸函数的收敛性。我们讨论了几种方法来获得用于计算梯度与逆Hessian的乘积的校正对，并实证地证明了它们在计算对称正定矩阵的Karcher均值和大规模数据矩阵的前导特征值的合成实验中的使用。我们将我们的方法与VR-PCA进行了比较，对于后一个实验，以及两种情况下的黎曼SVRG，并在一系列数据集上显示了强收敛结果。
2017-05-22 cs.LG math.DG math.OC
Second-Order Optimization via Quiescence
针对非凸优化中二阶方法步长受限的问题，提出基于静态的二阶优化方法，通过ODE建模与准稳态追踪实现大步长收敛，在电力系统非凸问题上优于现有前沿二阶方法。
2024-10-10 cs.SY eess.SY math.OC
Further properties of the forward-backward envelope with applications to difference-of-convex programming
本文进一步研究了文献[28]和[30]中首次提出的目标函数为真闭凸函数和具有Lipschitz连续梯度的二次连续可微的可能非凸函数之和的问题的前后向包络。我们推导出充分条件的原问题相应的前向后包络是一个水平有界的和Kurdyka-Eschojasiewicz函数的指数为$\frac12$，这些结果是重要的有效的最小化的前向后包络的经典优化算法。此外，我们还演示了如何通过最小化适当构造的前后向包络来最小化一些凸正则化最小二乘问题的差异。我们对随机生成的大规模$\ell_{1-2}$正则化最小二乘问题实例的初步数值结果[37]表明，使用有限内存BFGS方案实现这种方法通常优于标准的一阶方法，例如[35]中的非单调邻近梯度法。
2016-10-18 math.OC stat.ML
Quasi-Newton Optimization Methods For Deep Learning Applications
深度学习算法通常需要解决高度非线性和非凸无约束优化问题。解决大规模机器学习中优化问题的方法，如深度学习和深度强化学习（RL），通常限于一阶算法，如随机梯度下降（SGD）。虽然SGD迭代的计算成本很低，但它们的理论收敛速度很慢。此外，它们需要详尽的试错来微调许多学习参数。使用二阶曲率信息来寻找搜索方向可以帮助非凸优化问题更鲁棒的收敛。然而，计算大型问题的海森矩阵在计算上是不实际的。或者，拟牛顿方法构造海森矩阵的近似，以构建目标函数的二次模型。拟牛顿方法，如SGD，只需要一阶梯度信息，但它们可以导致超线性收敛，这使得它们成为SGD的有吸引力的替代品。有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）方法是构造正定Hessian逼近的最流行的拟牛顿方法之一。在这一章中，我们提出了有效的优化方法的基础上L-BFGS拟牛顿方法使用线搜索和信赖域策略。我们的方法通过使用梯度信息来计算Hessian近似的低秩更新，从而弥合了一阶和二阶方法之间的差距。我们提供了这些方法的正式收敛分析以及深度学习应用的经验结果，例如图像分类任务和ATARI 2600视频游戏集上的深度强化学习。我们的研究结果表明，一个强大的收敛与首选的泛化特性，以及快速的训练时间。
2019-09-04 cs.LG math.OC stat.ML
A projected descent method for minimization of weakly semismooth functions over polyhedral sets
Isfahan University of Technology（伊斯法罕理工大学）；University of Tehran（德黑兰大学）
本研究提出一种投影下降方法，用于在多面体集上最小化弱半光滑函数，通过Clarke ε-次微分近似和线搜索策略，在温和假设下保证收敛，并在图像去噪等应用中验证了有效性。
2026-09-30 math.OC
Local Minimizers of the Crouzeix Ratio: A Nonsmooth Optimization Case Study
给定方阵$A$和多项式$p$，Crouzeix比是$A$的值的域上的多项式的范数除以矩阵$p(A)$的2-范数。Crouzeix猜想指出，无论矩阵阶数和多项式次数如何，Crouzeix比的全局极小值都是0.5，并且已知1是频繁出现的局部极小值。利用一个重尾分布来初始化我们的优化计算，我们首次证明了Crouzeix比有许多其他本地极小值之间的0.5和1。除了显示相同的函数值重复获得许多不同的起点，我们还验证了一个近似的非光滑平稳性条件，在计算的候选局部极小。我们还发现，在优化实矩阵和多项式时，以及在复矩阵和多项式时，经常获得相同的局部极小值。我们认为，Crouzeix比的最小化使得一个非常有趣的非光滑最优化的案例研究，说明除其他事项外，如何有效的BFGS方法是非光滑，非凸优化。我们的方法验证近似非光滑平稳性的基础上，可能是一种新的方法来寻找近似次梯度的最大函数的区间。我们广泛的计算强烈支持Crouzeix的猜想：在所有情况下，我们发现，最小的局部极小值是0.5。
2021-05-29 cs.NA math.NA math.OC
