$L^1$-optimality conditions for circular restricted three-body problems
研究了圆形限制三体问题中航天器平动的L1极小化问题。利用庞特里亚金最大值原理，导出了系统存在bang-bang控制和奇异控制的必要条件.奇异极值是详细的，根据Marchal在参考文献[14]和Zelikin等人在参考文献[15]中开发的理论，重新调用富勒现象的存在。[12，13]。文献[22]已解决了具有固定端点的L1极小化问题的充分最优性条件。本文通过构造一个参数化的极值族，不仅对端点不动的情形，而且对端点位于光滑子流形上的情形，建立了一些二阶充分条件.此外，还给出了最优性条件的数值实现方法.最后，将地-月-航天器系统近似为CRTBP，采用打靶法和Caillau等人的延拓法相结合的方法，计算了航天器平移运动的L1最小化轨迹。[4，5]，并利用本文建立的二阶最优性条件检验了计算轨迹的局部最优性。
2015-12-13 math.OC
Affordable mixed-integer Lagrangian methods: optimality conditions and convergence analysis
University of the Bundeswehr Munich（慕尼黑联邦国防大学）
本文扩展了拉格朗日形式的必要最优性条件和序列最小化框架至混合整数非线性优化，无需凸性假设，提出了局部极小值和临界点的特征，并展示了如何开发具有收敛保证的经济序列最小化算法。
2026-04-09 math.OC
Coordinate Descent Methods for DC Minimization: Optimality Conditions and Global Convergence
Peng Cheng Laboratory（鹏城实验室）
凸差最小化（Difference-of-Convex，DC）是指最小化两个凸函数之差的问题，在统计学习中有着广泛的应用和研究。然而，现有的方法主要是基于多阶段的凸松弛，只导致弱的临界点的最优性。提出了一种基于序列非凸逼近的求解一类DC函数极小化问题的坐标下降法。我们的方法全局迭代求解非凸一维子问题，并且保证收敛到坐标系稳定点。我们证明了在弱\textit{locally bounded nonconvexity assumption}下，这个新的最优性条件总是强于标准的临界点条件和方向点条件。为了比较，我们还包括一个朴素的坐标下降法的基础上顺序凸近似在我们的研究。当目标函数满足一个\textit{globally bounded nonconvexity assumption}和\textit{Luo-Tseng error bound assumption}时，坐标下降法达到\textit{Q-linear}收敛速度。此外，对于许多感兴趣的应用程序，我们表明，非凸一维子问题可以计算准确，有效地使用断点搜索方法。最后，我们对几个统计学习任务进行了大量的实验，以显示我们的方法的优越性。保留字：坐标下降，DC最小化，DC规划，凸规划的差异，非凸优化，稀疏优化，二进制优化。
2022-12-18 cs.LG math.OC
Pontryagin's maximum principle and second order optimality condition for optimal control problems for the nonlocal Cahn-Hilliard-Navier-Stokes systems in two dimensions
在这项工作中，我们解决了一些最优控制问题有关的两个等温，不可压缩，immisible流体在二维有界区域的发展。将分布式最优控制问题表示为受控非局部Cahn-Hilliard-Navier-斯托克斯方程下的适当代价泛函的最小化。利用庞特里亚金最小值原理描述了问题的一阶最优性必要条件，并证明了问题的二阶最优性充要条件。
2019-02-16 math.OC
Recursive Bound-Constrained AdaGrad with Applications to Multilevel and Domain Decomposition Minimization
Toulouse-INP, IRIT, ANITI（图卢兹INP、IRIT、ANITI）；Namur Center for Complex Systems (naXys), University of Namur（纳慕尔复杂系统中心（naXys）、纳慕尔大学）
本文提出两种处理边界约束与非精确梯度的OFFO算法（多层与区域分解方法），推广了AdaGrad，并给出统一的收敛与复杂性理论，证明其高概率下仅需$O(ε^{-2})$次迭代即可求得$ε$-近似一阶临界点。
2025-07-15 cs.AI cs.NA math.NA
Second Order Optimality Conditions for Optimal Control Problems Governed by 2D Nonlocal Cahn Hilliard Navier Stokes Equations
本文提出了一个关于二维有界区域内两种等温、不可压缩、不互溶流体演化的分布式最优控制问题。分布式最优控制问题的框架是一个合适的成本功能的控制非局部Cahn-Hilliard-Navier-斯托克斯方程的最小化。我们利用庞特里亚金最小值原理描述了最优性的一阶必要条件，并证明了问题的二阶最优性的充分充要条件。
2018-09-25 math.OC
On directional local minimality and directional optimality conditions in nonsmooth optimization
Philipps-Universität Marburg（马尔堡菲利普斯大学）
本文利用方向导数与次微分，针对下半连续函数无约束极小化问题，基于方向局部极小性概念，推导了必要充分的一阶和二阶最优性条件，并通过临界方向给出了传统局部极小性的最优性条件。
2026-07-02 math.OC
An implementable proximal-type method for computing critical points to minimization problems with a nonsmooth and nonconvex constraint
本文提出一种可实现的近端型方法，用于求解含非光滑非凸目标及约束的优化问题，通过有限凸模型逐点最小值构建非凸模型，在统一框架下计算满足必要最优性条件的模型临界点。
2024-09-25 math.OC
Canonical dual method for mixed integer fourth-order polynomial minimization problems with fixed cost terms
研究了求解一类带固定费用项的混合整数非凸四阶多项式极小化问题的正则对偶方法。这个约束非凸问题可以转化为一个连续的凹极大化对偶问题，而不需要对偶间隙。给出了全局最优性条件，并讨论了存在唯一性准则.最后给出了一个解耦混合整数问题的应用，并在适当的条件下得到了全局极小值的分析解。算例表明了该方法的有效性。
2016-07-16 math.OC
Dual characterizations of norm minimization problems
Faculty of Mathematics, College of Natural Sciences, Can Tho University（越南芹苳大学自然科学学院数学系）
研究赋范向量空间乘积上的范数最小化问题，建立对偶最优性条件并推导解集公式，在特定假设下得出结果，还研究了三种乘积范数，通过实例说明相关成果。
2026-09-11 math.FA math.OC
$L^1$-Minimization for Mechanical Systems
考虑了漂移由给定势能的梯度定义的二阶系统，并讨论了控制的$L^1$ -范数的最小化问题。对极值流的分析强调了二阶奇异轨迹的作用[25，29];对两体势的情况进行了详细处理。在$L^1$ -最小化中，正则极值与范数为bang-bang的控制相关;为了评估其最优性，给出了破极值的充分条件，并与[20]的无折叠条件相关。给出了一个空间力学问题的数值验证实例。
2015-12-17 math.OC
The inverse problem of positive autoconvolution
研究用非负信号自卷积最优逼近给定非负信号的反问题，以I-散度为准则，提出基于提升技术的交替最小化迭代算法，并证明其极限点为Kuhn-Tucker点且收敛迅速。
2021-11-29 math.OC
A randomized algorithm for nonconvex minimization with inexact evaluations and complexity guarantees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文研究光滑非凸函数的最小化问题，提出一种基于非精确梯度和Hessian访问的随机算法，通过等概率选择负曲率方向实现近似二阶最优性，并提供了期望界和高概率界的收敛性分析，在经验风险最小化中改进了梯度样本复杂度。
2024-03-26 cs.LG math.OC
bAdag: an adaptive block coordinate gradient method for smooth nonconvex functions
University of Mons（蒙斯大学）；Università degli Studi di Firenze（佛罗伦萨大学）
提出一种基于AdaGrad的自适应块坐标梯度方法bAdag，通过累积块梯度计算步长，在光滑非凸函数上实现次线性收敛，支持循环、均匀随机和贪婪选择策略。
2026-06-11 math.OC
Second-order optimality conditions for bilevel programs
针对双层规划二阶最优性条件依赖难计算的下层值函数二阶方向导数的问题，提出双局部解概念，推导仅含问题定义函数二阶导数的最优性条件，并用于证明增广拉格朗日方法的Q-线性收敛性。
2023-07-21 math.OC
No-gap second-order conditions for minimization problems in spaces of measures
本文证明测度空间极小化问题中，最优对偶状态的有限全局极值及逐点二阶充分条件，等价于基于Radon范数二阶次导数的无间隙二阶条件及目标泛函的局部二次增长性质。
2024-03-18 math.OC
Optimal control problems governed by two dimensional convective Brinkman-Forchheimer equations
对流Brinkman-Forchheimer（CBF）方程描述了不可压缩粘性流体通过刚性、均匀、各向同性多孔介质的运动。本文研究了具有吸收指数为$3$和$r=1,2$的二维CBF方程的分布式最优控制问题，如总能量最小化、拟能最小化等。本文利用Euler-Lagrange系统证明了这类最优控制问题最优解的存在性和最优性的一阶必要条件。此外，对于$r=3$的情况，我们给出了最优性的二阶充要条件。我们还研究了另一个控制问题，这是类似的数据同化问题，获得未知的初始数据，当所考虑的系统是二维CBF方程，使用最优控制技术。
2021-01-30 math.OC
On Finite-Step Convergence of the Non-Greedy Algorithm and Proximal Alternating Minimization Method with Extrapolation for $L_1$-Norm PCA
研究了$L_1$ -范数PCA的经典非贪婪算法（NGA）和最近提出的带外推的邻近交替最小化算法（PAMe）的有限步收敛性。它首先表明，NGA可以被解释为一个条件次梯度或交替最大化方法。通过将其视为条件次梯度，证明了在一定的满秩假设下，该算法产生的迭代点在多步迭代中是常数，当投影维数为1时，可以去掉这个假设.通过将算法视为一个交替的最大化，我们证明了目标值将是固定的后，最多$\left\lceil\frac{F^{\max}}{τ_0} \right\rceil$步骤，其中停止点满足一定的最优性条件。然后，NGA与改进的收敛性能进行了分析。结果表明，改进算法产生的迭代点在最多$\left\lceil\frac{2F^{\max}}τ \right\rceil$步后不会改变，而且如果邻近参数$τ$足够小，则停止点满足一定的最优性条件.对于PAMe，证明了当参数足够小且满足满秩假设时，符号变量经过多次迭代后仍保持不变，算法可以输出满足一定最优性条件的点.此外，如果投影矩阵相关子问题上不存在邻近项，则该改进算法产生的迭代点在最多$\left\lceil \frac{4F^{\max}}{τ(1-γ)} \right\rceil$步后不会改变，且停止点也满足一定的最优性条件，提供了与PAMe类似的假设.当投影维数为1时，可以去除满秩假设。
2023-03-22 math.OC stat.ML
Synchronous deautoconvolution algorithm for discrete-time positive signals via I-divergence approximation
研究用非负信号的标量自卷积最优逼近给定非负信号的问题，采用 $\mathcal{I}$-散度为准则，推导出基于提升空间与松弛技术的交替最小化迭代下降算法，并证明其极限点为 Kuhn-Tucker 点。
2024-06-01 math.OC
Alternating Minimization Based Trajectory Generation for Quadrotor Aggressive Flight
Zhejiang University（浙江大学）
随着对四旋翼飞行器轨迹规划的研究不断深入，实时规划空间和时间最优轨迹仍然是一个挑战。在本文中，我们提出了一个框架，用于生成大规模的分段多项式轨迹的侵略性自主飞行，其优越的计算效率和同时的时空最优性的亮点。利用隐式解耦结构的规划问题，我们进行交替最小化边界条件和持续时间的轨迹片。在每个最小化阶段，我们利用子问题的代数便利性来逃避糟糕的局部极小值，并实现最低的时间消耗。对该方法的全局/局部收敛速度进行了理论分析。此外，基于多项式理论，设计了一种针对各种约束条件的快速可行性检验方法。通过将该方法结合到我们的交替结构中，构造了一个约束最小化算法，在可行的前提下优化轨迹。基准测试表明，我们的算法优于国家的最先进的方法，效率，最优性和可扩展性。在有限空间密集障碍物的攻击性飞行实验中，所提出的算法的性能进行了验证。我们将我们的实现作为一个开源的ros-package发布。
2020-02-25 cs.RO math.OC
Optimality condition and complexity analysis for linearly-constrained optimization without differentiability on the boundary
在本文中，我们考虑在可行区域边界上潜在不可微或不可二次可微的连续函数的最小化。通过利用内点技术，我们提出了一阶和二阶最优性条件，这个问题，减少到经典的边界上的导数时可用。对于这类问题，现有的必要条件往往依赖于次微分的概念，或者变得比（二次）可微对应问题中的KKT条件弱得多。相比之下，本文提出了一组新的一阶和二阶必要条件，推导出不使用次微分，并减少到KKT条件时，（两次）可微持有。其结果是，这些条件是强于一些现有的考虑讨论的最小化问题时，只有非负约束。为了解决这些线性约束问题的特殊但重要的情况下的最优性条件，我们提出了两种新的内部信赖域点算法，并表明其最坏情况下的计算效率，在实现潜在的更强的最优性条件匹配的最佳已知的复杂性界限。由于这项工作考虑了一个更一般的问题比文献，我们的研究结果还表明，最知名的复杂性界限举行了更广泛的一类非线性规划问题。
2017-02-14 cs.CC math.OC
Second-order subdifferential. Extremal problems for operational inclusions
研究了二阶次微分的性质，得到了极小化问题的二阶最优性条件。我们还得到了算子包含极值问题存在极值的充要条件。
2017-10-20 math.OC
Existence of minimizers for generalized Lagrangian functionals and a necessary optimality condition --- Application to fractional variational problems
本文研究了定义在有界时间区间上的广义拉格朗日泛函的变分法的动态极小化问题，该泛函依赖于一般线性算子$K$。在正则性、凸性和非凸性的假设下，我们得到了极小解存在的充分条件。最后得到了Euler-Lagrange型最优性的最优性条件。当$K$是一般核算子时，特别是当$K$是Riemann-Liouville和Hadamard的分数次积分时，给出了一些特殊的例子.我们的结果的应用到最近的分数变分法给出了一个公开的问题的答案[摘要。2012，Art. ID 871912; doi：10.1155/2012/871912]。
2014-03-16 math.OC
Dual Free Adaptive Minibatch SDCA for Empirical Risk Minimization
在本文中，我们开发了一个自适应双自由随机双坐标上升（adfSDCA）算法正则化的经验风险最小化问题。这是由Shalev-Shwartz（2016）最近关于双自由SDCA的工作所推动的。我们的方法的新颖之处在于，在每次迭代中更新的坐标是从自适应概率分布中非均匀地选择的，并且这扩展了先前提到的仅允许从固定概率分布中均匀选择“对偶”坐标的工作。我们描述了一个有效的迭代过程中产生的非均匀样本，该计划选择的坐标与最大的潜力，以减少当前的次优。我们还提出了一个启发式的adfSDCA比标准的方法更积极的变种。此外，为了利用多核机器，我们考虑了一个小批量adfSDCA算法和开发的复杂性结果，保证算法的收敛性。最后通过数值实验验证了该方法的实用价值。
2018-01-25 math.OC
Variance Reduced Random Relaxed Projection Method for Constrained Finite-sum Minimization Problems
针对大量凸约束下的有限和凸最小化问题，提出结合半空间松弛投影与方差缩减的RPM，并证明其更快的次线性收敛及实验优势。
2024-04-05 math.OC
On Minimax Optimality and Uniqueness of Fixed-Step First-Order Methods for Smooth Convex Optimization
Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文针对光滑凸优化中固定步长一阶方法，通过代数证明确立了OGM、OGM-G及Lemniscate方法在三种性能度量下的最优性及其唯一性。
2026-09-09 math.OC
Real-time optimal delay minimization algorithms for aircraft on a same runway and dual runways
本文研究了同一跑道和双跑道上飞机调度问题，提出两种实时最优算法，通过并行计算技术充分利用不同类飞机组合，解决延迟最小化问题，实测显示算法效率显著高于传统混合整数优化方法。
2026-03-17 math.OC
A Decentralized Primal-dual Method for Constrained Minimization of a Strongly Convex Function
我们提出了分散的原始-对偶方法的合作多智能体共识最优化问题在静态和时变通信网络，只允许本地通信。其目标是最小化圆锥约束集上的代理特定的凸函数的总和，因此，最佳的共识决策应该位于这些私人集的交集。在强凸性假设下，我们提供了次优，不可行性和共识违反所需的通信数量方面的收敛速度;检查底层网络拓扑结构对收敛速度的影响。
2022-02-21 math.OC
Approximation of nonnegative systems by moving averages of fixed order
基于对输入输出信号对的重复观测，提出了标量非负输入输出系统的冲激响应有穷级卷积逼近问题，即有穷级移动平均逼近问题.该问题转化为一个具有特殊结构的非负矩阵分解，我们使用Csiszár的I-发散作为最优性的标准。条件给出，在输入/输出数据，保证最小值的存在性和唯一性。本文提出了一个交替极小化型的I-散度极小化算法，并给出了它的渐近性质。对于噪声观测的情况下，我们给出了不同观测制度的最小化问题的统计版本的大样本性质。数值实验证实了所提出的算法的渐近结果和快速收敛性。
2018-10-24 math.OC
Optimal Acceleration for Proximal Minimization of the Sum of Convex and Strongly Convex Functions
University of Washington（华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California, Berkeley（加州大学伯克利分校）
本文提出了一种加速方法FDR，改进了之前工作的常数，并证明了$\mathcal{O}(1/N^2)$收敛速率和FDR的主导常数都是最优的。
2026-05-20 math.OC
On Coordinate Minimization of Convex Piecewise-Affine Functions
一种流行的算法来优化离散能量最小化问题的对偶LP松弛（a.k.a.图模型中的MAP推理或值约束满足）是收敛的消息传递算法，如最大和扩散，TRW-S，MPLP和SRMP。这些算法在实践中是成功的，尽管事实上，它们是一个版本的坐标最小化应用到凸分段仿射函数，这是不能保证收敛到一个全局最小。这些算法只收敛到一个局部极小，其特征在于从约束规划已知的局部一致性。我们推广的最大和扩散适用于任意凸分段仿射函数，它收敛到一个局部一致性条件的坐标最小化的版本。这个条件可以看作是全局最优性条件的符号松弛。
2017-09-14 cs.CV math.OC
A systematic approach to general higher-order majorization-minimization algorithms for (non)convex optimization
本文提出一般高阶majorization-minimization算法框架，解决(非)凸(非)光滑优化问题，并证明了其从全局次线性到局部超线性的收敛速率及稳定点保证。
2025-03-03 math.OC
Block majorization-minimization with diminishing radius for constrained nonsmooth nonconvex optimization
针对约束非光滑非凸优化，提出带递减半径的块状最小化-最大化算法，改进复杂度至不依赖强凸参数，并应用于多种算法，数值验证加速收敛。
2024-11-29 math.OC stat.ML
The Hopf-Lax formula for multiobjective costs with non-constant discount via set optimization
研究了具有非常数折扣的多目标拉格朗日量的极小化问题。该问题被嵌入到一个集值框架，并给出了相应的值函数的定义。导出了Bellman最优性原理和Hopf-Lax公式。值函数是集值Hamilton-Jacobi方程的解。
2021-05-05 math.OC
Capacitary measures in fractional order Sobolev spaces: Compactness and applications to minimization problems
本文证明分数阶Sobolev空间H^s(Ω)中容量测度关于γ-收敛的紧性，并用于推导一类极小化问题的更精细最优性条件。
2024-12-16 math.AP math.OC
Extremal points and sparse optimization for generalized Kantorovich-Rubinstein norms
本文刻画了广义Kantorovich-Rubinstein范数下水平集的极值点结构，推导了一阶最优性条件，提出带线性收敛保证的高效求解算法，数值实验验证了其收敛特性。
2022-09-19 math.OC
An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization
我们研究了一个牛顿式的方法来最小化一个目标函数，该目标函数是一个光滑的凸函数和一个l-1正则项的总和。该方法有时在文献中称为近似牛顿法，通过最小化目标函数的分段二次模型来计算步长。为了使这种方法在实践中有效，必须不精确地执行这种内部最小化。在本文中，我们给出了保证整体收敛和控制迭代局部收敛速率的不精确条件。我们的不精确条件是基于一个半光滑函数，它代表了问题的最优性条件的（连续）度量，并且体现了软阈值迭代。我们仔细考虑的算法内部最小化，并报告数值结果的两个测试集起源于机器学习。
2013-09-13 math.OC
Adaptive Regularization Minimization Algorithms with Non-Smooth Norms and Euclidean Curvature
考虑了无约束非线性极小化问题的一种正则化算法（AR 1 pGN），该算法使用的模型由任意阶的泰勒展开式和包含可能非光滑范数的正则化项组成.结果表明，范数的非光滑性并不影响使用$p$导数求一阶$ε_1$ -近似极小值的计算复杂性的$O(ε_1^{-(p+1)/p})$上界，而且这个结果并不依赖于$\Re^n$中范数的等价性.它还表明，如果$p=2$，界的$O(ε_2^{-3})$评估寻找二阶$ε_2$近似极小仍然持有的变体AR 1 pGN命名为AR 2GN，尽管可能的非光滑性质的正则项。此外，适应现有的理论处理的非光滑结果在一个有趣的修改子问题终止规则，导致更紧凑的复杂性分析。特别是，它示出了当牛顿的步骤是可接受的自适应正则化方法。讨论了非光滑范数正则化的二次多项式的近似极小化问题，并给出了一个新的近似二阶最优性必要条件最优性条件。然后提出了一个专门的算法，以执行一阶和二阶条件，这些条件足够强，以确保在AR 1 pGN（当$p=2$）和AR 2GN中存在合适的步骤，并分析了其迭代复杂性。
2021-05-27 math.OC
Robust Sparse Phase Retrieval: Statistical Guarantee, Optimality Theory and Convergent Algorithm
针对噪声和离群值破坏测量值导致相位恢复性能下降的问题，提出利用 Huber 函数和 $\ell_{1/2}$-范数正则化的鲁棒稀疏 PR 方法，建立了统计保证与最优性理论，并开发了具有线性收敛速率的 MM 框架优化算法。
2025-05-29 math.OC
Variational Theory and Algorithms for a Class of Asymptotically Approachable Nonconvex Problems
本文针对内层函数可能非局部Lipschitz连续的复合非凸优化问题，提出保证epi-收敛的渐近分解方法，建立必要最优性条件并设计相应数值算法，扩展了amenable函数与prox-linear方法的理论框架。
2024-11-20 math.OC
Exact worst-case convergence rates of the proximal gradient method for composite convex minimization
研究了逼近梯度法极小化光滑强凸函数与非光滑凸函数之和的最坏情况下的收敛速度。我们建立了精确的最坏情况下的收敛速度的近端梯度法在此设置为任何步长和不同的标准性能指标：目标函数的准确性，距离最优和剩余梯度范数。证明方法依赖于最近的发展，在性能估计的一阶方法的基础上半定规划。在近端梯度法的情况下，这种方法允许获得精确的和非渐近的最坏情况下的保证，在概念上非常简单，虽然显然是新的。在此过程中，我们讨论了如何用较弱的假设来代替强凸性，同时保持相应的收敛速度。我们还建立了相同的固定步长的政策是最佳的所有三个性能指标。最后，我们扩展最近的结果，最坏情况下的行为梯度下降精确线搜索到近端的情况。
2020-02-29 math.OC
Penalty Decomposition Methods for $L0$-Norm Minimization
提出罚分解方法求解含L0-范数的优化问题，通过转化为秩最小化问题并利用向量化操作，在压缩感知等应用中优于现有方法。
2012-05-11 cs.CV cs.IT cs.LG
Minimization of fraction function penalty in compressed sensing
本文研究了压缩感知中一种非凸稀疏促进罚函数$$P_{a}(x)=\sum_{i=1}^{n}p_{a}(x_{i})=\sum_{i=1}^{n}\frac{a|x_{i}|}{1+a|x_{i}|}$$的最小化问题，称之为分式函数。首先讨论了$\ell_{0}$极小化与分式函数极小化的等价性。证明了存在一个常数$a^{**}>0$，使得无论何时$a>a^{**}$，$(FP_{a})$的每一个解也都解$(P_{0})$;证明了当感知矩阵$A$满足限制等距性（RIP）时，$(FP_{a})$的全局极小解的唯一性及其与$(P_{0})$的等价性;正则化问题$(FP_{a}^λ)$的最优解在满足一定条件的情况下也求解$(FP_{a})$，这类似于凸优化理论中的正则化问题。其次，我们研究了正则化问题$(FP^λ_{a})$的最优解的性质，包括一阶最优性条件、二阶最优性条件和非零项绝对值的上下界。最后，我们推导了正则化问题的最优解（$FP_{a}^λ$）的封闭形式表示，参数$a$的所有正值，并提出了一个迭代$FP$阈值算法来解决正则化问题$(FP_{a}^λ)$。实验结果表明，与软阈值算法和半阈值算法相比，$FP$算法在有测量噪声和无测量噪声的稀疏信号恢复中表现最好。
2019-07-17 math.OC
Minimization Over the Nonconvex Sparsity Constraint Using A Hybrid First-order method
针对非凸正则化约束优化，本文提出融合 Frank-Wolfe 与梯度投影的一阶混合算法，无需平滑参数，并证明全局收敛及 $O(1/\sqrt{k})$ 速率。
2024-02-07 math.OC
Optimization with Least Constraint Violation
约束优化理论和算法的研究通常假设最优化问题的可行域非空。然而，有许多重要的实际最优化问题的可行域是未知的或不是空的，并且具有最小约束违反的目标函数的优化器倾向于被发现，处理这些问题的一个自然的方法是将约束最优化问题扩展为在具有最小约束违反的点集上优化目标函数的问题。首先，当原问题是一个带有可能不一致圆锥约束的凸优化问题时，证明了具有最小约束破坏的极小化问题是一个Lipschitz等式约束最优化问题，并将其转化为一个MPEC问题.其次，针对可能存在不一致约束的非线性规划问题，给出了与最小约束破坏极小化问题等价的MPCC问题的各种类型的不动点，并从经典的Lipschitz连续优化最优性理论出发，建立了一个优美的最优性必要最优性条件，称为L-平稳条件。最后，构造了求解非线性规划问题的光滑Fischer-Burmeister函数法，以求解最小约束破坏下的目标函数极小化问题。证明了当正光滑参数趋于零时，KKT-点映射外极限中的任意点都是等价MPCC问题的L-平稳点。
2020-10-06 math.OC
A stochastic first-order trust-region method with inexact restoration for finite-sum minimization
提出了一种求解有限和极小化问题的带不精确函数和梯度的随机一阶置信域方法。通过对给定问题进行适当的重新表述，我们的方法将约束优化的不精确恢复方法与置信域过程和随机模型相结合。与其他随机置信域算法不同，该算法以模块化的方式提高了算法的可行性和最优性。我们提供了预期的迭代次数达到一个近平稳点施加一些概率精度要求的随机函数和梯度，在一般情况下，不太严格的文献中相应的。我们验证了所提出的算法在二进制分类和回归中出现的一些非凸最优化问题，表明它在成本和精度方面表现良好，并允许减少所涉及的超参数的繁琐调整。
2022-10-22 cs.NA math.NA math.OC
Composite Optimization by Nonconvex Majorization-Minimization
University of Siegen（明斯特大学）
本文提出非凸majorization-minimization方法用于非凸复合函数优化，证明其能实现全局收敛，并通过实验展示其在深度超分辨率中的优越性。
2018-09-03 cs.CV cs.NA math.NA
Optimality of orders one to three and beyond: characterization and evaluation complexity in constrained nonconvex optimization
Mathematical Institute, Oxford University（牛津大学数学研究所）；Numerical Analysis Group, Rutherford Appleton Laboratory（鲁瑟福阿普尔顿实验室数值分析组）；Namur Center for Complex Systems (naXys) and Department of Mathematics, University of Namur（纳穆尔大学复杂系统中心（naXys）与数学系）
本文研究了光滑非线性约束优化中高阶最优性的必要条件，并探讨了其内在复杂性，提出了一种两阶段最小化算法，能够实现近似一、二、三阶临界点，并分析了其评估复杂性，还讨论了高阶临界点与惩罚技术的关系，指出标准算法方法在寻求近似约束高阶临界点时会失败。
2018-01-07 cs.CC cs.NA math.NA
Global Optimality in Low-rank Matrix Optimization
本文研究了秩至多为$r$的矩形$n\times m$矩阵集合上的一般目标函数$f(X)$的极小化问题。为了减少计算负担，我们将变量$X$分解为两个较小矩阵的乘积，并在这两个矩阵上进行优化，而不是$X$。尽管结果是非凸的，但最近在矩阵完备化和感知方面的研究表明，因子化问题没有虚假的局部极小值，并遵守所谓的严格鞍性质（函数在所有临界点都有方向负曲率，但局部极小值）。我们分析了一个一般的，但条件良好的目标函数$f(X)$的限制强凸性和限制强光滑常数是可比的全球几何。特别是，我们表明，重新制定的目标函数没有虚假的局部极小值，并遵守严格的鞍性质。这些几何性质意味着一些迭代优化算法（如梯度下降）可以证明解决的因式分解问题的全局收敛性。
2018-03-02 cs.IT math.IT math.OC
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
Derivative-free global minimization for a class of multiple minima problems
我们证明了基于有限差分的无导数下降（FD-DFD）方法有能力找到一类多重极小问题的全局极小点。我们的主要结果表明，对于一类由具有Lipschitz连续梯度的强凸函数扩展的多重极小目标，FD-DFD的迭代收敛于全局极小点$x_*$，且对固定的$0<ρ<1$和任意初始迭代$x_1\in\mathbb{R}^d$，当参数选择适当时，都具有线性收敛性$\|x_{k+1}-x_*\|_2^2\leqslantρ^k \|x_1-x_*\|_2^2$.由于每次迭代的成本，即，函数求值的数目是固定的，并且几乎与维度$d$无关，FD-DFD算法具有用于找到点$x$的复杂度界限$\mathcal{O}(\log\frac{1}ε)$，使得最优性间隙$\|x-x_*\|_2^2$小于$ε>0$。从$5$到$500$的不同维数的数值实验证明了FD-DFD方法的优点。
2020-06-25 cs.CC cs.NA math.NA
Coordinate Descent Methods for Fractional Minimization
Peng Cheng Laboratory（鹏城实验室）
考虑一类结构分式极小化问题，其中目标的分子部分是可微凸函数和凸非光滑函数之和，而分母部分是凸或凹函数。这个问题很难解决，因为它是非凸的。通过利用问题的结构，我们提出了两个坐标下降（CD）的方法来解决这个问题。所提出的方法迭代求解一维子问题\textit{globally}，并保证收敛到坐标系平稳点。在分母为凸的情况下，在弱\textit{locally bounded non-convexity condition}下，证明了坐标系驻点的最优性强于标准临界点和方向点的最优性。在适当的条件下，CD方法Q-线性收敛到坐标系稳定点。在凹分母的情况下，我们证明了任何临界点是一个全局极小值，CD方法收敛到全局极小值值的次线性收敛速度。我们证明了所提出的方法的适用性，一些机器学习和信号处理模型。我们对真实数据的实验表明，我们的方法在准确性方面显著且一致地优于现有方法。
2023-03-24 cs.LG cs.NA math.NA
