Strong stationarity conditions for a class of optimization problems governed by variational inequalities of the 2nd kind
研究了一类第二类变分不等式约束最优化问题的最优性条件。基于控制不等式的非光滑原始-对偶重构,研究了解映射的可微性。在适当的有效集假设下,证明了有限维和函数空间问题的方向可微性。B-和强平稳最优解的一个特征此后得到。最后,基于所获得的一阶信息,提出了求解该最优化问题的信赖域算法。
2014-07-07 math.OC
On the directional asymptotic approach in optimization theory Part A: approximate, M-, and mixed-order stationarity
我们表明,对于一个固定的顺序$γ\geq 1$,一个相当一般的非光滑最优化问题在欧几里得空间中的每个局部极小是M-平稳的经典意义下(对应于平稳性的顺序$1$),满足平稳性条件的协导建设的顺序$γ$,或近似平稳的临界方向以及$γ$在一定意义上。通过排除后一种情况下的约束规格不强于方向度量次正则性,我们最终与新的必要的最优性条件,包括混合物的限制变分工具的顺序$1$和$γ$。这些抽象的发现是为广泛的几何约束类而雕刻出来的。作为一个副产品,我们获得了新的约束规格,确保局部极小的M-平稳。本文结束说明这些结果的背景下,标准的非线性,互补约束,非线性半定规划。
2023-02-09 math.OC
Achieving Directional-Stationarity from a Single Random Direction Step
Technion(以色列理工学院)
本文研究了在弱正则性条件下,如何在约束非光滑非凸优化中获得强最优性保证,提出通过单个随机方向探索步实现方向站性,并保持基础方法的收敛速度。
2026-11-05 math.OC
Strong stationarity for optimal control problems with non-smooth integral equation constraints: Application to continuous DNNs
受残差型神经网络(ResNet)的启发,研究了一类非光滑积分方程约束的最优控制问题。例如,这种非光滑方程出现在分数深度神经网络(DNN)的连续表示中。这里底层的不可可微函数是ReLU或max函数。控制进入一个非线性和乘法的方式,我们另外施加控制约束。由于非微分映射的存在,排除了标准伴随演算的应用。利用非光滑映射的有限可微性,我们得到了强平稳性条件。虽然传统的方法平滑的非可微函数,没有这样的光滑性保留在我们最终的强平稳系统。因此,这项工作也弥补了目前存在于具有ReLU类型激活函数的连续神经网络中的差距。
2023-02-10 math.OC
On nondegenerate M-stationary points for sparsity constrained nonlinear optimization
本文从拓扑的角度研究了稀疏约束非线性最优化问题。特别关注Burdakov et al.(2016)的M-平稳点。引入了非退化M-平稳点并定义了它们的M-指标。我们证明了所有的M-平稳点是一般非退化的。特别地,稀疏约束在通用SCNO的所有局部最小值处是活动的。详细讨论了它与其它平稳性概念的关系,如S-平稳性、基本可行性、CW-极小性等。通过这样做,由于不同的平稳性概念的点的不稳定性和退化的问题突出。M-平稳性的概念允许沿着莫尔斯理论的路线充分描述SCNO的全局结构。为此,我们研究了低水平集通过M-平稳点时的拓扑变化。作为SCNO的新颖之处,需要附加尺寸等于M指数的多个单元。这个有趣的事实与之前考虑的其他最优化问题形成强烈对比,在其他问题中,只有一个单元就足够了。因此,我们得到了一个Morse关系SCNO,它涉及的局部极小值和M-指数等于1的M-驻点的数量。因此,从全局优化的角度来看,不能忽略这种鞍点的出现。由于细胞附着的多重性,一个鞍点可能导致两个以上不同的局部极小。我们得出结论,相对复杂的鞍点的结构是众所周知的困难,如果解决SCNO的全局最优性的来源。
2020-06-07 math.AT math.OC
A pattern search bound constrained optimization method with a nonmonotone line search strategy
提出了一种新的求解有界约束优化问题的模式搜索法。该算法采用坐标方向,以适当的方式,与非单调线搜索接受新的搜索,而不使用目标函数的衍生物。主要的整体收敛的结果强烈的基础上的步长和平稳性措施之间的关系。使用一组众所周知的测试问题进行了几个数值实验。对其他线搜索策略进行了测试,并与新算法进行了比较。
2018-06-21 math.OC
First-Order Methods for Linearly Constrained Bilevel Optimization
Weizmann Institute of Science(魏兹曼科学研究所);Massachusetts Institute of Technology(麻省理工学院);Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
针对线性约束双层优化,提出一阶方法,实现有限时间超梯度平稳性保证,分别对等式和不等式约束达到近最优及维度无关的复杂度,并辅以数值实验验证。
2025-04-20 cs.LG math.OC
Asymptotic stationarity and regularity for nonsmooth optimization problems
本文基于极限变分分析,提出无需额外假设的序列最优性条件,引入AM-正则性确保Mordukhovich-平稳性,并探讨其与其他约束规范的关系及在几何和析取约束优化中的应用。
2020-12-11 math.OC
Accelerating Stochastic Sequential Quadratic Programming for Equality Constrained Optimization using Predictive Variance Reduction
在本文中,我们提出了一个随机方法来解决等式约束最优化问题,利用预测方差减少。具体来说,我们开发了一种方法的基础上的顺序二次规划范例,采用方差减少梯度近似。在合理的假设下,我们证明了一阶平稳性评估的措施,我们所提出的算法产生的迭代收敛到零的期望从任意的起点,恒定和自适应步长的战略。最后,我们证明了我们提出的算法在机器学习中出现的约束二进制分类问题的实际性能。
2023-03-25 math.OC
A note on alternating direction method of multipliers with generalized augmented terms for constrained sparse least absolute deviation
本技术说明是我们研究论文的辅助材料(Itoh和Parente,2019)。本文讨论了广义增广乘子的交替方向法(ADMM-GAT),并引入了一种有效使用ADMM-GAT的广义残差平衡技术。这些技术被应用到最小绝对偏差和它的约束版本和它们的算法细节。这些算法用于实现(Itoh和Parente,2019)中描述的方法。
2019-09-18 math.OC
Limiting Stationarity of Regularized Gap-Function Reformulations for Bilevel Optimization with Unbounded Multipliers
Southern University of Science and Technology(南方科技大学);National Center for Applied Mathematics Shenzhen(深圳应用数学国家研究中心)
研究双层优化正则化间隙函数重构中乘子无界问题,证明近似平稳序列聚点的C平稳性,给出反例说明标准重构可能不保证M平稳性,引入新惩罚公式并开发方法,使其聚点满足M平稳性。
2026-07-21 math.OC
Computing One-bit Compressive Sensing via Double-Sparsity Constrained Optimization
一比特压缩感知由于其低存储成本和低硬件复杂度而在信号处理和通信中获得了普及。然而,仅利用一位(符号)信息来恢复信号一直是一项具有挑战性的任务。在本文中,我们适当地制定了一位压缩感知到一个双稀疏约束最优化问题。利用新引入的$τ$ -平稳性建立了该非凸间断问题的一阶最优性条件,并在此基础上提出了梯度投影子空间追踪(\texttt{GPSP})算法.证明了\texttt{GPSP}能够全局收敛并在有限步内终止.数值实验表明,该方法具有较高的精度和较快的计算速度。
2021-11-22 math.OC
Constrained composite optimization and augmented Lagrangian methods
我们研究有限维约束结构最优化问题,具有复合目标函数和集员约束。这个问题类提供了一种表达性强但简单的语言,为各种应用程序提供了一个建模框架。我们研究平稳性和规律性的概念,并提出了一个灵活的增广拉格朗日计划。我们提供了一个理论表征的算法及其渐近性质,推导出完全非凸问题的收敛结果。它演示了如何内部子问题可以解决现成的近端的方法,尽管有可能采用任何求解器,只要他们返回近似的固定点。最后,我们描述了我们的矩阵的实现所提出的算法和数值测试。说明性的例子显示了多功能性的约束复合程序作为建模工具,并暴露在这个庞大的问题类所产生的困难。
2023-01-30 math.OC
Optimality conditions for mathematical programs with orthogonality type constraints
本文研究一类带正交型约束的数学规划问题。通过辅助二进制变量重新制定稀疏性约束,然后放松它们,从而出现稀疏性类型的约束。对于MPOC,给出了T-平稳性的一个必要最优性条件。T-平稳性的理由有三个。首先,它允许捕获的全球结构的MPOC在莫尔斯理论,即。e.建立了变形和细胞附着结果。为此,非退化的T-平稳点的介绍,并显示在一个通用的MPOC。其次,我们证明了Scholtes型正则化的Karush-Kuhn-Tucker点收敛于MPOC的T-平稳点。这是在MPOC定制的线性独立性约束规格(LICQ)下完成的,LICQ也是一个通用属性。第三,我们证明了T-平稳性应用于稀疏约束非线性最优化(SCNO)的松弛自然导致其M-平稳点。此外,我们认为,所有的T-稳定点的这种弛豫成为退化。
2021-10-22 math.OC
Duality for Non Convex Composite Functions via the Fenchel Rockafellar Perturbation Framework
Universitas Mercatorum(Mercatorum大学)
本文通过Fenchel-Rockafellar扰动框架,为凸函数与连续函数复合而成的非凸函数建立对偶理论,推导弱对偶与强对偶条件,并利用内点法数值验证对偶间隙趋近于零。
2025-10-07 math.OC
A stochastic gradient method for a class of nonlinear PDE-constrained optimal control problems under uncertainty
本文提出一种在Hilbert空间上求解非凸随机优化问题的随机梯度方法,证明了迭代序列的聚点几乎必然收敛于稳定点,并应用于不确定性下椭圆半线性PDE约束的最优控制问题。
2023-04-05 math.OC
A Note on the Convergence of ADMM for Linearly Constrained Convex Optimization Problems
本说明有两个目的。首先,我们构造了一个反例,证明了Boyd等人[Found. Trends Mach.学习. 3(1)1-122(2011)]可以是假的,如果没有先验条件的存在性的解决方案,所有涉及的子问题被假定为成立。其次,我们提出了相当温和的条件,以保证所有子问题的解决方案的存在性,并提供了严格的收敛性分析ADMM,在一个更一般和有用的半邻近ADMM(sPADMM)设置考虑Fazel等人[SIAM J.矩阵分析。34(3)946-977(2013)],具有计算上更有吸引力的大步长,其甚至可以超过实际上更优选的黄金比例$(1+\sqrt{5})/2$。
2016-02-22 math.OC
Constrained stochastic blackbox optimization using a progressive barrier and probabilistic estimates
这项工作介绍了StoMADS-PB算法的约束随机黑箱优化,这是一个扩展的网格自适应直接搜索(MADS)方法最初开发的确定性黑箱优化一般约束条件下。目标和约束函数的值由噪声黑盒提供,即,它们只能用分布未知的随机噪声来计算。与MADS中一样,约束违反被聚合到单个约束违反函数中。由于所有函数值在数值上都不可用,StoMADS-PB使用估计值并为违规行为引入所谓的概率界限。从随机观测中得到的估计和界要求是准确可靠的,具有高但固定的概率。所提出的方法,它允许中间不可行的迭代,接受新的点使用充分的减少条件和施加阈值的概率界。利用Clarke非光滑微积分和鞅理论,得到了目标函数和破坏函数的概率为1的Clarke平稳收敛结果.
2020-11-09 math.OC
Sequential Extremal Principle and Necessary Conditions for Minimizing Sequences
本文将极值性定义从固定点推广到点列,在Fréchet和Clarke法锥框架下建立序列极值原理,并给出约束优化中极小化序列的序列必要条件。
2025-07-21 math.OC
A Unifying Framework for Sparsity Constrained Optimization
本文研究了同时受凸约束和稀疏约束的连续可微函数的最最优化问题。通过利用从文献中的混合整数重构,我们定义了一个必要的最优性条件的基础上定制的邻域,允许考虑潜在的变化的支撑集。然后,我们提出了一个算法框架来解决所考虑的问题,并证明其收敛到满足新引入的平稳性概念的点。我们进一步表明,通过适当地选择的邻域,其他著名的最优性条件从文献中可以恢复的极限点的算法产生的序列。最后,我们分析了我们的框架内的邻域大小的计算影响,并与一些国家的最先进的算法,即惩罚分解方法和贪婪稀疏单纯形方法的比较。该算法已经过测试,使用相关的稀疏逻辑斯谛回归问题的基准。
2021-04-27 math.OC
Optimization on Pareto sets: On a theory of multi-objective optimization
University of California, San Diego(加州大学圣迭戈分校)
研究Pareto约束优化问题,针对隐式、非凸非光滑的约束集定义最优性与稳定性概念,并提出在目标强凸且Lipschitz光滑时具有O(K^{-1/2})收敛率的算法。
2023-08-04 cs.LG math.OC
A Sequential Quadratic Programming Method with High Probability Complexity Bounds for Nonlinear Equality Constrained Stochastic Optimization
本文提出一种步长搜索序列二次规划方法,在仅能获得目标函数随机近似的条件下求解非线性等式约束随机优化问题,并推导了迭代复杂度的高概率界。
2024-10-06 math.OC stat.ML
A Note on Solving Discretely-Constrained Nash-Cournot Games via Complementarity
离散约束纳什-古诺博弈已经引起了人们的注意,因为它们出现在各种竞争性的能源生产环境中,玩家必须做出一个或多个离散的决定。Gabriel等人[“求解离散约束纳什-古诺博弈及其在电力市场中的应用。“Networks and Spatial Economics 13(3),2013]声称离散约束纳什-古诺博弈的均衡集与相应的离散约束混合互补问题的解集一致。我们证明这种说法是错误的。
2020-02-29 econ.TH math.OC
Penalty methods to compute stationary solutions in constrained optimization problems
本文通过相应的无约束惩罚问题研究了一般约束最优化问题的平稳解。我们的目标是回答这样一个问题:“关于原始约束最优化问题的解,惩罚无约束问题的静态解告诉我们什么?”".我们通过建立全局(局部)极小值和两个最优化问题的稳定点之间的关系来回答后一个问题。考虑到问题的平稳解之间的强联系,我们引入了一个新的近似$\varepsilon$ -平稳解的约束最优化问题。我们提出了一个算法来计算这样一个近似的固定解决方案的一般约束最优化问题,即使在没有克拉克正则性。在合理的假设下,我们建立了我们的算法的速率$O(\varepsilon^{-2})$,类似于平滑最小化的梯度下降法。由于我们的惩罚项是由距离函数的幂构造的,所以我们的平稳性分析在很大程度上依赖于距离函数的广义微分。特别是,我们的特点(半)可微的距离函数$\mbox{dist}(. ;X)$定义的Fréchet光滑范数,在几何的集合$X$。证明了$\mbox{dist} (. ;X)$是半可微的当且仅当$X$是几何可导的.后者打开了大门,设计优化算法的约束最优化问题,遭受克拉克不规则的目标和约束函数。
2022-06-24 math.OC
Geometry-Aware Multi-Objective Optimization: Norm-Constrained Oracles with Entropic Weight Updates
Machine Learning and Optimization Laboratory (MLO), EPFL(机器学习与优化实验室(MLO),洛桑联邦理工学院)
该研究提出一种结合范数约束线性最小化神谕与熵权重更新的单循环多目标优化方法,扩展了MOON的谱构造,在确定性和随机设置下分别达到O(T^{-1/2})和O(T^{-1/4})的收敛率,实验验证了其性能。
2026-10-12 cs.LG math.OC
Cardinality-Constrained Multi-Objective Optimization: Novel Optimality Conditions and Algorithms
针对带稀疏性约束的多目标优化问题,提出L-平稳性概念并分析其与现有最优性条件的关系,设计两种收敛性有理论保障的新算法,数值实验验证了方法有效性。
2023-04-05 math.OC
A Sequential Cubic Programming Method with Second-Order Complexity Guarantees for Equality Constrained Optimization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出一种基于序列三次规划框架的新方法,通过将约束雅可比分解为法向和切向分量,结合三次正则化子问题求解,实现全局收敛到二次 stationary 点和局部二次收敛,取得梯度、二次 stationary 和约束违反的最优复杂性界。
2026-11-13 math.OC
Technical Note: PDE-constrained Optimization Formulation for Tumor Growth Model Calibration
我们讨论的解决方案算法,用于校准肿瘤生长模型的成像数据构成的确定性逆问题。正演模型由一个非线性、时变的反应扩散偏微分方程(PDE)组成,未知参数(扩散率和增殖率)为空间场。我们使用一个维度无关的全球化,不精确的牛顿共轭梯度算法来解决偏微分方程约束的优化。所需的梯度和海森行动也提出了使用伴随方法和拉格朗日形式主义。
2023-02-15 cs.CE math.OC
Complexity of Adagrad and other first-order methods for nonconvex optimization problems with bounds constraints
针对带界约束的非凸优化问题,本文分析无目标函数计算的参数化信赖域算法,扩展Adagrad方法并匹配投影梯度法的标准复杂度速率,提出迭代依赖缩放方法,验证了无目标函数方法的有效性。
2024-11-01 math.OC
Convergence of adaptive algorithms for weakly convex constrained optimization
EPFL(洛桑联邦理工学院)
分析了求解弱凸约束随机最优化问题的自适应一阶算法AMSGrad。我们证明了$\mathcal{\tilde O}(t^{-1/4})$的Moreau包络,这是这类问题的标准平稳性措施的梯度的范数的收敛速度。它与自适应算法在无约束光滑随机最优化的特定情况下所享有的已知速率相匹配。我们的分析与小批量大小的$1$,恒定的一阶和二阶矩参数,并可能无界的优化域。最后,我们说明了我们的结果的应用和扩展到特定的问题和算法。
2020-06-11 cs.LG math.OC stat.ML
Semi-infinite Nonconvex Constrained Min-Max Optimization
The University of Arizona(亚利桑那大学)
本文研究具有非凸无限约束的半无限极小-极大优化问题,提出一种非精确动态障碍原始-对偶算法,在Lojasiewicz不等式假设下证明了其收敛复杂度,并通过鲁棒多任务学习实验验证了有效性。
2025-10-13 math.OC
Sharp-Peak Functions for Exactly Penalizing Binary Integer Programming
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院);School of Management Science, Qufu Normal University(曲阜师范大学管理科学学院)
本文提出尖峰函数用于将二进制约束转化为等式约束,通过惩罚模型分析并设计高效算法,证明其在局部Lipschitz连续性条件下收敛到P- stationary点。
2026-08-20 math.OC
A penalty-interior point method combined with MADS for equality and inequality constrained optimization
Polytechnique Montréal(蒙特利尔理工学院);“Sapienza” University of Rome(罗马大学);NOVA University of Lisbon(里斯本新大学)
本文提出了一种结合MADS的罚函数-内点法,用于解决具有等式和不等式约束的非光滑黑箱优化问题,通过改进的罚函数和障碍项策略提升求解效率。
2026-01-28 math.OC
A short note on solving box inequality and linear equality constrained optimization problem
讨论了一类特殊的凸约束最优化问题,其约束条件由箱式不等式和线性等式组成。对于该问题,除了精确罚算法、内点算法等通用优化算法外,还有一种实现简单的迭代算法,受到机器学习从业者的青睐。
2020-04-18 cs.SY eess.SY math.OC
A note on optimization in $\mathbb{R}^n$
在这篇文章中,我们开发了一个算法适用于约束优化$\mathbb{R}^n$。结果是通过n维实分析和优化的基本概念的标准工具。事实上,众所周知的Banach不动点定理具有根本性的作用,在主要结果的建立。
2019-02-23 math.OC
Sparsity Constrained Nonlinear Optimization: Optimality Conditions and Algorithms
本文讨论了稀疏约束下一般连续可微函数的极小化问题。我们提出并分析了几种不同的最优性标准,这些标准是基于平稳性和坐标最优性的概念。这些条件,然后使用得到三个数值算法,旨在寻找点满足最优性标准:迭代硬阈值法和贪婪和部分稀疏单纯形方法。第一个算法本质上是一个梯度投影方法,而其余两个算法是坐标下降型。研究了这些方法的理论收敛性及其与最优性条件的关系。数值算例说明了算法和结果。
2012-03-20 cs.IT math.IT math.OC
A note on rank constrained solutions to linear matrix equations
本文提出一种启发式方法求解线性矩阵方程的秩约束解,通过最小化非凸二次函数(称作低秩函数)实现,虽无严格证明,但通过模拟验证其有效性。
2018-09-06 cs.SY eess.SY math.OC
CatMADS: Mesh Adaptive Direct Search for constrained blackbox optimization with categorical variables
本文提出CatMADS算法,将MADS扩展至含分类、整数和连续变量的约束黑箱优化,通过距离诱导邻域处理分类变量,并提供收敛性分析,实验表明其在32个混合变量问题上优于现有求解器。
2025-06-23 math.OC
Nonconvex Nonsmooth Multicomposite Optimization and Its Applications to Recurrent Neural Networks
Department of Applied Mathematics, Hong Kong Polytechnic University(香港理工大学应用数学系);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
本文提出了一种非凸非光滑多复合优化方法,用于解决循环神经网络的训练问题。
2026-03-12 math.OC
An Interior-Point Algorithm for Continuous Nonlinearly Constrained Optimization with Noisy Function and Derivative Evaluations
本文针对仅能获取含噪声函数及导数值的连续非线性约束优化问题,提出一种结合现有内点算法与噪声优化算法的新内点算法,证明其能将平稳性度量降至噪声界相关阈值以下,且数值实验验证了其广泛有效性。
2025-02-16 cs.NA math.NA math.OC
A note on preconditioning weighted linear least squares, with consequences for weakly-constrained variational data assimilation
Université de Toulouse, INP, IRIT(图卢兹大学,国立理工学院,IRIT);CERFACS(欧洲中尺度气象应用研究中心);NAXYS, University of Namur(纳穆尔大学 NAXYS 实验室)
本文分析了使用模型矩阵近似进行线性加权最小二乘预条件化的影响,探讨了模型和加权矩阵的特征结构之间的相互作用,并通过一个小例子说明此类预条件器可能的低效性,最后讨论了这些结果在弱约束4D-Var数据同化问题中的影响。
2017-09-26 cs.NA math.NA math.OC
Note on a Differential-Geometrical Construction of Optimal Directions in Linearly-Constrained Systems
本文给出了最优单位范数方向hat(x)= x/ |x|的一个解析构造,它使目标线性表达式B最大化或最小化。hat(x),服从形式[A]的线性约束系统。x = 0,其中x是要被确定直到整体归一化常数的未知n维实向量,0是m维零向量,并且给出n维实向量B和m个\times n维实矩阵[A](其中0 =这个问题的分析解可以表示为双楔和Hodge-star乘积的微分形式的组合。
2010-09-21 hep-ph math.DG math.OC
On the directional asymptotic approach in optimization theory
本文针对欧氏空间中的非光滑优化问题,提出方向渐近方法,通过引入方向度量次正则性等约束规范,建立了融合一阶与γ阶极限变分工具的新必要最优性条件,并给出方向渐近正则性的充分条件及几何约束下的可计算刻画。
2024-02-26 math.OC
A Note on Multigrid Preconditioning for Fractional PDE-Constrained Optimization Problems
本文提出了求解分数阶扩散方程约束的二次最优化问题的多重网格预处理方法。多重网格方法中的所有在一次的方法来解决一阶最优Karush-Kuhn-Tucker(KKT)系统是广泛流行的,但他们的发展依赖于底层系统是稀疏的。另一方面,对于大多数离散化,期望分数算子的矩阵表示是稠密的。我们开发了一个预处理策略,我们的问题的基础上减少的方法,即我们消除了状态约束,使用控制到状态映射。我们的多重网格预处理方法显示了CG迭代次数的显着减少。我们评估质量的预处理的光谱距离。最后,我们对这个预处理器进行了部分理论分析,并提出了一个猜想,该猜想得到了我们的数值实验的明确支持。
2020-10-27 cs.NA math.NA math.OC
Constrained Nonconvex Stochastic Optimization with One Projection
Columbia University(哥伦比亚大学);Univ Rennes, Ensai, CNRS, CREST–UMR 9194(雷恩大学、ENSAI、法国国家科学研究中心、CREST-UMR 9194);Pennsylvania State University(宾夕法尼亚州立大学)
针对约束非凸随机优化,提出仅需一次投影的惩罚近端方法,达到$\widetilde O(\epsilon^{-4})$随机次梯度复杂度,返回精确可行点并保证平稳性度量。
2026-09-29 math.OC
Exact Penalization at D-Stationary Points of Cardinality- or Rank-Constrained Problem
本文针对基数/秩约束非凸优化问题的紧松弛形式,扩展了trimmed lasso并统一分析,证明了局部最优与d-稳定的等价性,给出d-稳定点处的精确惩罚新结果,还讨论了相关算法问题。
2024-07-11 math.OC
Box-Constrained $L_1/L_2$ Minimization in Single-View Tomographic Reconstruction
我们提出了一个说明框约束$L_1/L_2$正则化的数值优化方法,从一个单一的投影视图进行断层重建的实施和疗效。构造了约束$L_1/L_2$最小化问题,并利用乘子的交替方向法(ADMM)求解.我们包括参数选择和数值收敛的简要讨论,以及对相关的替代方法的详细数值演示。特别是,我们在锥形和平行束(Abel)前向模型中对箱约束TVmin和无约束过滤反投影进行了基准测试。我们认为这是一个完全合成的基准,并从X射线图像数据重建。
2023-03-15 math.OC
A Single-Loop Penalty-based Algorithm for Stochastic Minimax Optimization with Nonlinear Coupled Constraints
Southern University of Science and Technology(南方科技大学);National Center for Applied Mathematics Shenzhen(深圳应用数学国家研究中心)
本文提出SPACO算法,通过惩罚方法和正则化处理非光滑约束,实现单循环随机梯度优化,证明了其在站性和可行性方面的非渐近复杂度及渐近子序列收敛性。
2026-06-08 math.OC
A RNNs-based Algorithm for Decentralized-partial-consensus Constrained Optimization
本技术说明提出了具有不等式约束的分散部分共识优化问题,并推导了基于多个互连递归神经网络(RNN)的连续时间算法来求解所得到的最优化问题。首先,从拉普拉斯矩阵出发,构造部分一致矩阵来解决部分一致性约束。此外,利用非光滑分析和基于Lyapunov的技术,进一步保证了所设计算法的收敛性。最后,给出了几个算例,说明了所得结果的有效性。
2021-03-22 math.OC
Symplectic Geometry of Constrained Optimization
这些是第一位合著者于2017年1月在巴黎UPMC发表的相当非正式的演讲的笔记。实际目标是解释如何计算或估计二阶变分的Morse指数。辛几何允许有效地做到这一点,即使是非常退化的问题与复杂的约束。主要的几何和分析工具是适当重新排列的马斯洛夫指数。在这些讲座中,我们试图强调几何结构,省略分析程序。证明常常被非正式的解释所取代,但一个训练有素的数学家会很容易地用传统的方法重写它们。
2017-05-17 math.OC
Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach
本文研究了具有局部约束的非光滑凸费用函数和的分布式最优化问题。首先,我们提出了一种新的分布式连续时间投影算法,其中每个代理知道其本地费用函数和本地约束集,约束最优化问题。然后证明了算法中的所有智能体在寻找最优解时都能找到相同的最优解,同时保持状态有界。利用非光滑李雅普诺夫函数对微分包含的稳定性进行了全收敛分析。最后,我们提供了一个数值例子来说明。
2016-11-28 math.OC
Nonsmooth exact penalty methods for equality-constrained optimization: complexity and implementation
GERAD;Department of Mathematics and Industrial Engineering, Polytechnique Montréal(蒙特利尔高等商学院数学与工业工程系)
本文提出了一种非光滑等式约束优化的精确惩罚方法,通过近端型算法高效实现,并建立了最坏情况复杂度界。
2025-11-28 math.OC
Rate analysis of dual averaging for nonconvex distributed optimization
本文研究了随机通信网络上的非凸分布约束优化问题。我们重新分布式双平均算法,这是已知的凸问题收敛。我们从集中的情况下,其中两个连续的更新的变化被视为次优措施。我们验证使用这样的措施,表明它是密切相关的平稳性。这为我们研究非凸优化问题中对偶平均的收敛性提供了一个工具。我们证明了这种次优性测度的平方范数以速率$\mathcal{O}(1/t)$收敛。然后,对于分布式设置,我们证明收敛到稳定点的速度$\mathcal{O}(1/t)$。最后,通过一个数值例子来说明我们的理论结果.
2022-11-13 math.OC
Zeroth-order randomized block methods for constrained minimization of expectation-valued Lipschitz continuous functions
我们考虑最小化的$L_0$ -Lipschitz连续和期望值的功能,表示为$f$和定义为$f(x)\triangleq \mathbb{E}[\tilde{f}(x,ω)]$,在笛卡尔积的封闭和凸集的观点,对获得两个渐近以及速度和复杂性的保证计算一个近似的稳定点(在克拉克意义上)。我们采用了一种基于平滑的方法依赖于最小化$f_η$其中$f_η(x) \triangleq \mathbb{E}_{u}[f(x+ηu)]$,$u$是一个随机变量定义在一个单位球,和$η> 0$。事实上,它是观察到的$η$ -平滑问题的一个稳定点是一个$2η$ -稳定点的原始问题在克拉克意义。在这样的设置中,我们推导出一个合适的残差函数,提供了一个度量平稳的平滑问题。通过利用零阶框架依赖于利用采样功能评估实现的块结构的制度,我们提出的计划所产生的序列的两组贡献。(i)平滑问题的残差函数几乎肯定会沿着生成的序列趋于零;(ii)为了计算$x$,确保$η$平滑问题的残差的预期范数在$ε$内,需要不大于$\mathcal{O}(\tfrac{1}{ηε^2})$投影步骤和$\mathcal{O}\left(\tfrac{1}{η^2 ε^4}\right)$函数评估。这些陈述似乎是新颖的,似乎很少有结果,以抗衡一般非光滑,非凸,随机制度通过零阶方法。
2021-07-15 math.OC