Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时,必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中,我们解决所有这些问题。特别是,我们证明了快速局部收敛的算法,并提出了两种不同的全球化战略,适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
Solving the L1 regularized least square problem via a box-constrained smooth minimization
本文对L1正则化最小二乘问题提出了一个等价的光滑极小化方法。所提出的问题是一个凸盒约束光滑最小化,允许应用快速最优化方法找到它的解决方案。进一步研究了L1正则化最小二乘问题的“对偶的对偶是原始的”性质。光滑问题的求解器提出,并显示其亲和力的近端梯度。最后,对L1和全变差正则化问题进行了实验,并给出了相应的结果。
2021-10-20 cs.CV math.OC
$\bf{C^{1,1}}$-smoothness of constrained solutions in the calculus of variations with application to mean field games
在光滑状态约束下,我们得到了变分法中正则泛函极小化的必要最优性条件。在文献中,这个经典问题被广泛研究。我们的结果的新颖之处在于这样一个事实,即状态约束的存在进入欧拉-拉格朗日方程作为一个局部反馈,这使得推导出的$C^{1,1}$ -光滑的解决方案。作为应用,我们讨论了约束平均场博弈问题,对此我们的最优性条件允许构造Lipschitz松弛解,从而改进了[Cannarsa,P.,卡普阿尼河\textsl{Existence and uniqueness for Mean Field Games with state constraints},arXiv:1711.01063]。
2018-06-23 math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题,其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构,这可能不容易计算其邻近映射。为了解决这些问题,我们提出了一个小批量随机Nesterov平滑(MSNS)方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明,所提出的MSNS方法的支持向量机(SVM)模型的效率。
2021-09-11 math.OC
Computing Essential Sets for Convex and Non-convex Scenario Problems: Theory and Application
情景法是一种通用的数据驱动的机会约束优化算法。它寻求最佳的解决方案,是可行的一个精心挑选的一些情况。场景方法中的一个关键步骤是计算基本集的基数,基本集是确定最优解的场景的最小子集。本文讨论了有效地识别基本集的挑战。对于凸问题,我们证明了场景问题的稀疏对偶解可以精确地找到本质集。对于非凸问题,我们证明了两个简单的算法返回的基本集时,场景问题是非退化的。最后,本文给出了电力系统中安全约束机组组合的理论结果和计算算法。特别是,在IEEE 118节点系统中进行了机会约束SCUC的案例研究。数值结果表明,情景方法可能是一个有吸引力的解决方案,以实际电力系统的应用。
2020-10-13 cs.SY eess.SY math.OC
Smooth Dynamics for Distributed Constrained Optimization with Heterogeneous Delays
本文从被动性的角度研究了Agent间通信时延下的分布式约束最优化问题。首先,我们提出了一个求解一般凸目标函数的分布式约束优化问题的连续时间算法。通过相位超前补偿保证了系统在一般凸性下的渐近稳定性。不等式约束的处理采用投影自由广义拉格朗日,其原始对偶梯度动力学保持被动性和光滑性,使应用的LaSalle的不变原理中存在的延迟。然后,我们将散射变换到所提出的算法,以提高对未知和异构通信延迟的鲁棒性。最后,一个匹配问题的数值例子来说明结果。
2020-02-28 math.OC
Exponentially Convergent Algorithm Design for Constrained Distributed Optimization via Non-smooth Approach
我们考虑最小化的非光滑目标函数的集合约束的分布式方式的总和。针对这一问题,我们首次提出了一种具有指数收敛速度的分布式算法。通过精确惩罚法,我们将该问题等价地转化为一个没有共识约束的标准分布式问题。然后利用微分包含设计了一个分布式投影次梯度法。此外,我们证明了算法收敛到最优解的强凸目标函数指数。
2020-01-03 math.OC
Constrained Global Optimization by Smoothing
本文提出“连续随机平滑”方法,结合精确非光滑罚函数、核平滑与随机有限差分梯度下降,实现约束下非光滑、不连续函数的局部及全局优化。
2023-08-16 math.OC
Solving Non-smooth Constrained Programs with Lower Complexity than $\mathcal{O}(1/\varepsilon)$: A Primal-Dual Homotopy Smoothing Approach
对于线性约束凸规划问题,提出了一种新的原始-对偶同伦光滑算法,其中原始函数和对偶函数都不需要是光滑的或强凸的。解决这种非光滑问题的最著名的迭代复杂度是$\mathcal{O}(\varepsilon^{-1})$。在本文中,我们表明,通过利用局部误差界条件的对偶函数,所提出的算法可以实现更好的原始收敛时间的$\mathcal{O}\left(\varepsilon^{-2/(2+β)}\log_2(\varepsilon^{-1})\right)$,其中$β\in(0,1]$是一个局部误差界参数。作为一般算法的一个应用实例,我们表明,分布式几何中值问题,它可以被配制成一个约束凸规划,有其对偶函数非光滑,但满足上述局部误差界条件与$β=1/2$,因此享受$\mathcal{O}\left(\varepsilon^{-4/5}\log_2(\varepsilon^{-1})\right)$的收敛时间。这一结果改进了现有分布式优化算法的$\mathcal{O}(\varepsilon^{-1})$收敛时间界。仿真实验也证明了我们提出的算法的性能。
2018-10-24 cs.DC math.OC
Line Search Fixed Point Algorithms Based on Nonlinear Conjugate Gradient Directions: Application to Constrained Smooth Convex Optimization
本文研究实Hilbert空间上非扩张映射的不动点问题,提出了新的线搜索不动点算法来加速搜索.线搜索的终止条件是基于众所周知的沃尔夫条件,用于确保无约束优化算法的收敛性和稳定性。利用最速下降方向和传统的无约束优化的非线性共轭梯度方向的思想,产生了搜索不动点的方向。在一定的假设条件下,我们对求解不动点问题的算法进行了收敛性和收敛速度分析。本文的主要贡献是对约束光滑凸优化问题中的一个问题,即能否设计非线性共轭梯度算法来求解约束光滑凸最优化问题做出了具体的回答。我们证明了所提出的不动点算法包括具有非线性共轭梯度方向的不动点算法,这些不动点算法可以求解约束光滑凸优化问题。为了说明算法的实用性,我们将其应用于具体的约束光滑凸最优化问题,如约束二次规划问题和广义凸可行性问题,并将其与以前基于Krasnosel'ski \u-Mann不动点算法的算法进行了数值比较.结果表明,与已有算法相比,本文算法大大减少了求解具体最优化问题的运行时间和迭代次数.
2015-09-18 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization II: Function-constrained Optimization
Purdue University(普渡大学)
本文提出重启式惩罚APEX算法,用于求解未知分段光滑的凸函数约束优化问题,该算法可在无需知晓增长模或精确惩罚系数的情况下达到最优预言复杂度,还能生成界定最优性间隙与约束违反量的新可验证证书。
2026-09-04 math.OC
Smooth Alternating Direction Methods for Nonsmooth Constrained Convex Optimization
提出了两种新的交替方向法来求解“完全”非光滑约束凸问题。在客观残差和可行性差距的温和假设下,我们的算法具有最著名的最坏情况迭代复杂度保证。通过理论分析,我们展示了如何自动更新所有的算法参数,对收敛性能有明显的影响。我们还提供了一个有代表性的数值例子,显示我们的方法的优势,经典的交替方向法使用一个众所周知的可行性问题。
2018-01-15 math.OC stat.ML
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知,我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法,一般的随机和有限和最优化问题,具有相同或更高的收敛复杂性相比,目前最好的结果为无约束的问题设置。在一个数值实验中,我们比较我们的算法与当前国家的最先进的确定性算法,并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
A non-smooth trust-region method for locally Lipschitz functions with application to optimization problems constrained by variational inequalities
提出了一种求解局部Lipschitz连续函数最优化问题的非光滑置信域方法,并将其应用于第二类变分不等式约束的优化问题.在对模型函数作适当假设的情况下,证明了一般算法收敛于C-平稳点。对于变分不等式约束问题,我们能够恰当地刻画约化费用函数的Bouligand次微分,并在此基础上,提出了一个满足一般算法收敛性假设的可计算置信域模型.文章最后通过两个不同的数值实例对所提出的方法的主要性能进行了实验研究。
2018-01-16 math.OC
A heavy-ball type curve search method for smooth convexly constrained optimization
University of Florence(佛罗伦萨大学)
本文提出一种重球型曲线搜索方法,用于解决光滑凸约束优化问题,通过曲率搜索保证下降条件,证明算法全局收敛,且在基准问题上表现稳健。
2026-03-19 math.OC
Computing One-bit Compressive Sensing via Double-Sparsity Constrained Optimization
一比特压缩感知由于其低存储成本和低硬件复杂度而在信号处理和通信中获得了普及。然而,仅利用一位(符号)信息来恢复信号一直是一项具有挑战性的任务。在本文中,我们适当地制定了一位压缩感知到一个双稀疏约束最优化问题。利用新引入的$τ$ -平稳性建立了该非凸间断问题的一阶最优性条件,并在此基础上提出了梯度投影子空间追踪(\texttt{GPSP})算法.证明了\texttt{GPSP}能够全局收敛并在有限步内终止.数值实验表明,该方法具有较高的精度和较快的计算速度。
2021-11-22 math.OC
Computing feasible trajectories for constrained maneuvering systems: the PVTOL example
在本文中,我们提供了一个基于最优控制的策略来探索非线性系统的可行轨迹,即找到满足动态以及逐点状态输入约束的曲线。该策略是有趣的理解系统在其操作区域的能力,并表示一个初步的工具来执行轨迹跟踪存在的约束。该策略依赖于三个主要工具:动态嵌入,约束松弛和新的优化技术,在[10,12]中引入,以找到逐点约束最优控制问题的正则化解决方案。该策略被应用到PVTOL,一个简化的模型,一个真正的飞机,捕捉几个“机动系统”的主要特点和挑战。
2011-12-05 math.DS math.OC
An objective-function-free algorithm for general smooth constrained optimization
Dipartimento di Ingegneria Industriale, Università degli Studi di Firenze(佛罗伦萨大学工业工程系);Université de Toulouse, INP, IRIT(图卢兹大学国立理工学院IRIT);Namur Center for Complex Systems (naXys), University of Namur(那慕尔大学复杂系统中心(纳克斯));INdAM Research Group GNCS(意大利国家数学研究院GNCS研究组)
本文提出了一种无需计算目标函数的算法,用于解决一般光滑约束优化问题,通过自适应切换策略提高收敛性并减少对噪声的敏感性。
2026-02-12 math.OC
Smooth Indirect Solution Method for State-constrained Optimal Control Problems with Nonlinear Control-affine Systems
针对纯状态约束导致控制与协态不连续、经典间接法失效的问题,提出一种光滑间接求解方法,将状态约束最优控制问题转化为光滑两点边值问题求解,具备类任意时间算法特性并经数值验证。
2024-03-06 math.OC
Some Analogue of Quadratic Interpolation for a Special Class of Non-Smooth Functionals and One Application to Adaptive Mirror Descent for Constrained Optimization Problems
许多著名的梯度型最优化方法的收敛速度的理论估计是基于二次插值,只要满足梯度的利普希茨条件。本文在局部Lipschitz拟凸泛函类中,利用本文所引入的非光滑条件(Lipschitz连续次梯度),得到了构造类似插值的可能性.作为应用,本文给出了自适应镜像下降法求解具有多个凸泛函约束的拟凸局部Lipschitz泛函极小化问题的收敛速率的估计.
2018-12-16 math.OC
Implementing a smooth exact penalty function for general constrained nonlinear optimization
我们在Estrin等人(2019)的基础上,基于Fletcher(1970,1973 b)提出的平滑罚函数开发了一种通用的约束非线性最优化算法。虽然弗莱彻的方法在历史上被认为是不切实际的,我们表明,所需的计算内核并不比那些在其他广泛接受的方法非线性最优化更昂贵。计算罚函数及其导数的主要内核解决了结构化线性系。当矩阵显式可用时,我们在每次迭代中存储单个因子分解。另外,我们通过迭代求解每个线性系得到一个无因子分解的优化算法。罚函数在线性系可以有效求解的情况下显示出希望,例如,存在有效预条件子时的偏微分方程约束最优化问题。我们证明了这种方法的优点,并给出了几个PDE约束和标准测试问题的数值结果。
2019-12-03 cs.NA math.NA math.OC
Multiobjective Optimization of Non-Smooth PDE-Constrained Problems
本文综述了非光滑PDE约束多目标优化领域的最新进展,重点报告了DFG优先计划1962项目2在处理开关、状态约束与模型降阶方面的研究成果。
2023-08-02 math.OC
Manifold constrained steepest descent for smooth and closed-set optimization
Department of Mathematics, University of Hong Kong, Hong Kong, China(香港大学数学系)
本文提出流形约束最速下降(MCSD)方法,通过单循环框架在流形上进行优化,并引入SPEL在Stiefel流形上的应用,实现了更稳定的性能和可扩展性。
2026-08-14 cs.LG math.OC
Iteration-complexity of an inexact proximal accelerated augmented Lagrangian method for solving linearly constrained smooth nonconvex composite optimization problems
提出并建立了求解线性约束光滑非凸复合最优化问题的非精确近似加速增广拉格朗日(IPAAL)方法的迭代复杂度.每个IPAAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由一个合适的拉格朗日乘子更新。结果表明,IPAAL生成一个近似的稳态解在最多${\cal O}(\log(1/ρ)/ρ^{3})$ ACG迭代,其中$ρ>0$是给定的公差。它还表明,以前的复杂性界可以锐化为${\cal O}(\log(1/ρ)/ρ^{2.5})$下额外的轻度更强的假设。上述界是在假设初始点既不可行,也不假设目标函数的复合项的域有界的条件下导出的。一些初步的数值结果来说明IPAAL方法的性能。
2020-06-14 math.OC
Solving Convex Smooth Function Constrained Optimization Is Almost As Easy As Unconstrained Optimization
Purdue University(普渡大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出ACGD方法,通过单循环算法在约束优化中实现与无约束优化相近的oracle复杂度,并引入ACGD-S处理大规模问题,同时展示了参数自适应版本的高效性。
2026-08-26 math.OC
A variable smoothing for Nonconvexly constrained nonsmooth optimization with application to sparse spectral clustering
本文提出一种变量平滑算法,通过将非凸约束参数化为欧几里得空间并利用 Moreau 包络平滑非光滑项,求解非凸约束非光滑优化问题,并应用于稀疏谱聚类。
2024-04-03 math.OC
Solving Chance-Constrained Problems via a Smooth Sample-Based Nonlinear Approximation
本文提出了一种求解具有机会约束的非线性连续最优化问题的新方法。我们的方法是基于重新制定的概率约束作为分位数函数。分位数函数通过可微样本平均近似来近似。我们提供了理论上的近似统计保证,并说明经验,可以直接使用标准的非线性最优化求解器的情况下,单机会约束的重新制定。此外,我们提出了一个S $\ell_1$ QP型信赖域方法来解决联合机会约束的情况下。我们证明了几个问题的方法的性能,并表明,它的规模以及与样本量和平滑可以用来抵消偏差的机会约束近似引起的样本近似。
2020-03-14 math.OC
Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems
本文研究了两种原-对偶镜像动力学加速算法,分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下,提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法(APDMD),并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后,我们将APDMD扩展为两种分布式动力学方法,分别处理两类分布式光滑最优化问题,即,分布式约束一致性问题(DCCP)和分布式扩展单调优化(DEMO)与加速收敛保证。此外,在非光滑情形下,我们提出了一种光滑加速原对偶镜像动力学方法(SAPDMD),该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数,证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后,我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP,以获得加速和有效解。最后,数值实验证明了所提出的加速镜动力学方法的有效性。
2022-09-14 math.OC
Inexact accelerated proximal gradient method with line search and reduced complexity for affine-constrained and bilinear saddle-point structured convex problems
本文的目标是降低两类问题的基于梯度的方法的总复杂度:仿射约束复合凸优化和双线性鞍点结构非光滑凸优化。我们的技术是基于一个双循环不精确加速邻近梯度(APG)方法,用于最小化一个非光滑但可逼近的凸函数和两个光滑凸函数具有不同的光滑常数和计算成本的总和。与标准APG方法相比,不精确APG方法可以减少总的计算成本,如果一个光滑分量具有较高的计算成本,但比其他较小的光滑常数。利用这一性质,非精确APG方法可以近似求解仿射约束复合凸优化的近似增广拉格朗日方法的子问题,以及双线性鞍点结构非光滑凸优化的光滑逼近问题,其中光滑常数较小的光滑函数具有较高的计算代价.因此,它可以降低总的复杂性,找到一个近似的最佳/稳定的解决方案。该技术类似于文献中的梯度滑动技术。不同之处在于,我们的不精确APG方法可以通过使用基于平稳性破坏度量的可计算条件来有效地停止内部循环,而梯度滑动方法需要预先指定内部循环的迭代次数。数值实验表明,显着更高的效率,我们的方法比最佳的原始-对偶一阶方法和梯度滑动方法。
2022-01-04 cs.NA math.NA math.OC
Smoothing SQP methods for solving degenerate nonsmooth constrained optimization problems with applications to bilevel programs
我们考虑退化的非光滑和非凸最优化问题的标准约束规格,如广义Mangasarian Fromovitz约束规格(GMFCQ)可能不成立。利用具有梯度一致性的光滑函数逼近非光滑函数,在精确罚框架下提出了一种光滑序列二次规划(SQP)算法.证明了在乘子序列和精确罚参数序列有界的条件下,由光滑SQP算法生成的迭代序列的一个选定子序列的任何聚点都是Clarke平稳点.此外,我们提出了一个新的条件称为弱广义Mangasarian Fromovitz约束规格(WGMFCQ),是弱于GMFCQ。我们证明了WGMFCQ的扩展版本保证了乘子序列和精确罚参数序列的有界性,从而保证了光滑SQP算法的整体收敛。我们证明了WGMFCQ可以满足GMFCQ从来没有举行的双层计划。初步的数值实验表明,该算法对求解退化非光滑最优化问题(如简单双层规划)是有效的。
2014-06-03 math.OC
Formalization of Optimality Conditions for Smooth Constrained Optimization Problems
本研究在证明助手Lean4中形式化光滑约束优化的一阶KKT等最优性条件,证明切锥与线性化可行方向的等价性,通过Farkas引理推导KKT条件,还形式化了对偶问题与弱对偶性质,为优化理论的严格验证提供支撑。
2025-03-24 math.OC
Implementing a smooth exact penalty function for equality-constrained nonlinear optimization
基于Fletcher(1970)提出的光滑罚函数,我们提出了一种一般的等式约束非线性最优化算法。虽然它在历史上被认为是计算上禁止在实践中,我们证明,所需的计算内核并不比其他广泛接受的非线性最优化方法更昂贵。计算罚函数及其导数所需的主要核心是求解一个结构化的线性系。我们展示了如何有效地解决这个系统存储一个单一的分解每次迭代时,矩阵是明确的。我们进一步展示了如何通过迭代求解线性系来使罚函数适应于无因子分解算法类。因此,当线性系可以被有效地求解时,罚函数具有希望,例如,对于存在有效预条件子的偏微分方程约束最优化问题。我们讨论的扩展,包括处理简单的约束显式,正则化的罚函数,和不精确的评价的罚函数及其梯度。我们证明了该方法的优点和它的各种功能上的一些非线性规划从一个标准的测试集,和一些偏微分方程约束的最优化问题。
2019-10-09 cs.NA math.NA math.OC
Constrained Neural Parameterization for Optimization in Function Spaces
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机性研究所);Institute for Mathematics, Humboldt-Universität zu Berlin(柏林洪堡大学数学研究所)
提出约束神经参数化方案,通过构造光滑且像集位于可行集内的神经参数化,将约束优化转化为无约束优化,避免惩罚参数和拉格朗日乘子。
2026-05-30 math.OC
A Richer Theory of Convex Constrained Optimization with Reduced Projections and Improved Rates
研究了凸约束最优化问题,其中解受凸不等式约束的约束。特别地,我们的目标是挑战性的问题,其中投影到约束域和不等式约束下的线性最优化都是耗时的,这使得投影梯度方法和条件梯度方法(a.k.a. Frank-Wolfe算法)昂贵。在本文中,我们开发的投影减少优化算法的光滑和非光滑优化与改进的收敛速度下的约束函数的一定的正则性条件。我们首先提出了一个一般的优化理论,只有一个投影。将其应用于只有一个投影的光滑优化产生了$O(1/ε)$迭代复杂度,这比之前建立的非光滑优化的$O(1/ε^2)$迭代复杂度有所改善,并且在强凸性下可以进一步降低。然后,我们引入局部误差界条件,并以对数数量的投影为代价开发非强凸优化的更快算法。特别地,对于非光滑优化问题,迭代复杂度为$\widetilde O(1/ε^{2(1-θ)})$,对于光滑优化问题,迭代复杂度为$\widetilde O(1/ε^{1-θ})$,其中$θ\in(0,1]$出现局部误差界条件表征了最优解附近的函数局部增长率.在求解约束$\ell_1$最小化问题和半正定约束距离度量学习问题中的新应用表明,与已有算法相比,所提算法实现了显著的加速.
2017-06-12 math.OC stat.ML
Oracle Complexity of Single-Loop Switching Subgradient Methods for Non-Smooth Weakly Convex Functional Constrained Optimization
University of Iowa(爱荷华大学)
本文首次分析了切换次梯度方法在非光滑弱凸函数约束非凸优化中的预言复杂度,证明该方法能以单循环达到与双循环方法相同的复杂度,且更易实现。
2023-10-28 cs.LG math.OC
On complexity and convergence of high-order coordinate descent algorithms for smooth nonconvex box-constrained minimization
本文提出用于光滑非凸箱约束最小化的高阶正则化坐标下降法,证明其高阶平稳性收敛与一阶复杂度界,并通过多维标度实验和初始点策略提升性能。
2022-02-02 math.OC
A semi-smooth Newton method for a special piecewise linear system with application to positively constrained convex quadratic programming
IME/UFG(联邦大学戈亚斯州理工学院);The University of Birmingham(伯明翰大学)
本文提出一种半光滑牛顿方法用于求解特殊分段线性系统,证明其收敛性并应用于正约束凸二次规划问题,展示了该方法在大规模问题中高效求解的能力。
2015-11-12 cs.NA math.NA math.OC
Smoothed Moreau-Yosida Tensor Train Approximation of State-constrained Optimization Problems under Uncertainty
本文提出用张量列车分解与平滑 Moreau-Yosida 惩罚处理不确定性下带几乎必然状态约束的 PDE 优化问题,证明正则化解的强收敛性,并开发二阶 Newton 型算法,在多个基准和流行病学模型上验证了其随维数仅多项式增长的可扩展性。
2024-07-04 cs.NA math.NA math.OC
Constrained non-linear estimation and links with stochastic filtering
本文研究了有界凸域中非光滑次微分动力学的状态估计问题,证明了值函数为带不同Neumann边界条件的HJB方程粘性解,揭示了其与随机滤波的小噪声极限联系,并给出了光滑惩罚动力学的定量近似结果。
2025-02-03 math.OC
A stochastic approximation method for approximating the efficient frontier of chance-constrained nonlinear programs
本文提出了一种随机逼近方法来逼近机会约束非线性规划的有效前沿。我们的方法是基于双目标的机会约束的程序,寻求解决方案的最佳目标值与违反约束的风险的有效边界上的观点。为此,我们构建了一个重新制定的问题,其目标是最大限度地减少概率的约束违反确定性凸约束(其中包括一个界上的目标函数值)。我们采用现有的基于光滑的方法来处理机会约束问题,得到一个收敛的光滑近似序列,并应用投影随机次梯度法来求解。(例如样本平均近似),其近似具有有限支持的原始机会约束规划,我们的建议收敛到原始问题的平滑近似的固定解,从而避免了可能是固定样本的伪像的差的局部解。我们的建议还包括基于平滑的方法的定制实现,该方法根据问题数据选择关键算法参数。对文献中四个测试问题的计算结果表明,我们提出的方法可以有效地确定有效边界的良好近似。
2020-05-28 math.OC stat.ML
Computing all Nash equilibria of low-rank bi-matrix games
本文研究低秩受约束双矩阵博弈,提出将其归约为更小等价博弈的框架及充要条件,并基于顶点枚举、多面体运算和向量线性规划提出三种计算极值纳什均衡的方法,数值案例验证了其有效性。
2025-09-15 math.OC
Multigrid preconditioning of linear systems for semismooth Newton methods applied to optimization problems constrained by smoothing operators
Department of Mathematics and Statistics, University of Maryland, Baltimore County(马里兰大学巴尔的摩分校数学与统计系)
针对控制变量带盒约束的平滑算子约束线性二次优化问题,提出一种多重网格预处理器,使得半光滑牛顿法迭代次数随网格细化而减少。
2013-11-07 cs.NA math.NA math.OC
Computing optimal partition problems via Lagrange multiplier approach
本文研究最优划分问题的数值逼近,通过将其重写为受约束的梯度流,提出了基于拉格朗日乘子方法的三步和四步数值格式,该格式具有保持正交性、范数、正定性和能量耗散等良好性质且高效,2D和3D数值结果验证了其有效性和准确性。
2024-08-28 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时,通过对光滑个体函数进行线性化,并不精确地求解子问题,提出了一种不精确惯性原对偶方法.仅假设凸性,我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
Moving higher-order Taylor approximations method for smooth constrained minimization problems
本文提出一种移动高阶Taylor近似方法(MTA),通过高阶Taylor逼近目标与约束求解复合(非)凸光滑约束问题,证明了非凸下全局收敛至KKT点及凸下的收敛速率,并给出高效实现与对比。
2025-03-03 math.OC
Smoothing Proximal Gradient Methods for Nonsmooth Sparsity Constrained Optimization: Optimality Conditions and Global Convergence
针对非光滑稀疏约束优化现有方法的局限,提出两种平滑近似梯度方法变体,证明其最优性与收敛速率理论界达到现有最优水平,且实验中SPGM-BCD性能优于现有IHT类方法。
2023-12-15 math.OC
A stochastic moving ball approximation method for smooth convex constrained minimization
针对凸、光滑目标和约束的约束优化问题,提出SMBA随机梯度算法,每次迭代先执行目标梯度步再投影到随机约束的球近似上,分析其收敛速率并通过数值实验验证了方法的可行性与性能。
2024-12-01 math.OC
A Stochastic-Gradient-based Interior-Point Algorithm for Solving Smooth Bound-Constrained Optimization Problems
Lehigh University(利哈伊大学);Czech Technical University(捷克技术大学)
提出一种基于随机梯度的内点算法,用于求解光滑有界约束优化问题,在确定性和随机性设置下均满足收敛保证,并实验证明优于投影法。
2024-03-13 cs.LG math.OC
Computing Euclidean distance and maximum likelihood retraction maps for constrained optimization
黎曼优化使用局部方法来解决约束集是光滑流形的最优化问题。沿着某个下降方向的线性步长通常会离开约束,因此收缩映射被用来近似指数映射并返回到流形。对于许多常见的矩阵流形,收缩映射是可用的,或多或少的显式公式。对于隐式定义的流形,合适的收缩映射很难计算。因此,我们开发了一个算法,使用同伦连续计算欧氏距离收缩的任何隐式定义的子流形R^n,并证明收敛结果。我们还考虑统计模型作为概率单形的黎曼子流形与Fisher度量。用最大似然法代替欧氏距离,得到一个我们证明是收缩的映射。事实上,我们证明了收缩是二阶的;与列维-奇维塔连接与费舍尔度量,它近似测地线的二阶精度。
2023-01-18 math.OC math.ST stat.TH
Epi-convergent Smoothing with Applications to Convex Composite Functions
平滑方法已经成为研究和解决不可微和约束最优化问题以及一系列其他变分和平衡问题的标准工具集的一部分。本文综合和推广了Beck和Teboulle关于凸函数的下确界卷积光滑的最新结果。关于非凸函数的梯度相容性。我们使用epi收敛技术来定义epi平滑的概念,使我们能够利用丰富的变分结构的次微分非光滑,非凸,非有限值函数。作为一个例子的多功能性和范围epi平滑技术,结果被施加到一般的约束优化,其中非线性规划是一个特例。
2012-08-31 math.OC
Mirror Descent for Constrained Optimization Problems with Large Subgradient Values
基于arXiv:1710.06612的思想,考虑了具有非正凸(一般为非光滑)Lipschitz连续泛函约束的Holder连续非光滑泛函$f$的极小化问题.我们提出了一些新的策略的步长和自适应停止规则镜像下降算法考虑类问题。结果表明,该方法适用于各种光滑程度的目标泛函。将重新开始技术应用于镜像下降算法,提出了一种求解目标函数为强凸的最优化问题的优化方法。所考虑的算法的收敛速度收敛速率的目标函数的平滑程度的依赖。这些估计表明的最优性考虑的方法从理论的角度下预言界。此外,考虑了目标泛函和约束条件均为拟凸的情况。
2021-12-29 math.OC
Envelopt: Constrained Convex Composite Optimization
University of the Bundeswehr Munich(联邦国防军慕尼黑大学);Polytechnique Montréal(蒙特利尔理工学院)
Envelopt 是一种全局收敛的迭代框架,用于处理带一般平滑约束的复合优化问题,通过 Moreau 包络和近端算子简化子问题,支持非凸目标,并提供 Julia 实现与多种数值实验验证。
2026-09-25 math.OC
On the Iteration Complexity of Smoothed Proximal ALM for Nonconvex Optimization Problem with Convex Constraints
众所周知,求解非凸无约束最优化问题的迭代复杂度的下界是$Ω(1/ε^2)$,当目标函数光滑时,可以用标准梯度下降算法达到。这个下界对于非凸约束问题仍然成立,而一阶方法是否能达到这个下界仍然是未知的。在本文中,我们表明,一个简单的单循环一阶算法称为平滑邻近增广拉格朗日方法(ALM)可以实现这样的迭代复杂度下界。关键的技术贡献是一个强大的局部误差界的一般凸约束问题,这是独立的利益。
2022-11-01 math.OC
Evaluation complexity bounds for smooth constrained nonlinear optimisation using scaled KKT conditions, high-order models and the criticality measure $χ$
考虑凸约束优化的评估复杂性,并且首先示出由Cartis、Gould和Toint(IMAJNA 32(4)2012,pp.1662-1695)证明的用于计算$ε$近似一阶临界点的$O(ε^{-3/2})$的复杂性界可以在显著较弱的假设下获得。此外,该结果被推广到高阶导数的情况下,导致在一个界的$O(ε^{-(p+1)/p})$评价时,阶$p$的衍生物。还表明,由Cartis,Gould和Toint(SINUM,2015)提出的涉及等式和不等式约束的一般非凸情况下的$O(ε_P^{-1/2}ε_D^{-3/2})$评估($ε_P$和$ε_D$是原始和对偶精度阈值)的界限可以推广到类似减弱假设下的$O(ε_P^{-1/p}ε_D^{-(p+1)/p})$评估的界限。本文是配套报告(NTR-11-2015,比利时那慕尔大学)的变体,该报告使用不同的一阶临界性度量来获得相同的复杂性界限。
2017-05-13 cs.CC math.OC