Alternating Direction Algorithms for Constrained Sparse Regression: Application to Hyperspectral Unmixing
提出基于交替方向乘子法的SUnSAL和C-SUnSAL算法,高效求解高光谱解混中的约束稀疏回归问题,在速度和精度上优于现有方法。
2012-05-09 cs.NA math.NA math.OC
Tight semidefinite programming relaxations for sparse box-constrained quadratic programs
Lehigh University(利哈伊大学)
本文提出了一种基于重构线性化技术的紧半正定规划松弛方法,用于解决稀疏盒约束二次规划问题,并给出了多项式规模的可构造性证明。
2026-10-14 math.OC
c-lasso -- a Python package for constrained sparse and robust regression and classification
我们介绍了c-lasso,一个Python包,它支持稀疏和鲁棒的线性回归和线性等式约束分类。假设基础的统计正演模型具有以下形式:\[ y = X β+ σε\qquad \textrm{subject to} \qquad Cβ=0 \]这里,$X \in \mathbb{R}^{n\times d}$是给定的设计矩阵,矢量$y \in \mathbb{R}^{n}$是连续或二进制响应矢量。矩阵$C$是一般约束矩阵。矢量$β\in \mathbb{R}^{d}$包含未知系数,而$σ$包含未知比例。突出的用例是具有组成数据$X$的(稀疏)对数对比回归,需要约束$1_d^T β= 0$(Aitchion和Bacon-Shone 1984)和广义套索,广义套索是所述问题的特殊情况(参见例如(James,Paulson和Rusmevichientong 2020),示例3)。c-lasso包提供用于推断未知系数和尺度的估计器(即,透视M-估计(Combettes和Müller 2020 a))的形式\[ \min_{β\in \mathbb{R}^d, σ\in \mathbb{R}_{0}} f\left(Xβ- y,σ \right) + λ\left\lVert β\right\rVert_1 \qquad \textrm{subject to} \qquad Cβ= 0 \]的几个…
2020-11-02 cs.MS math.OC stat.CO
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知,我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法,一般的随机和有限和最优化问题,具有相同或更高的收敛复杂性相比,目前最好的结果为无约束的问题设置。在一个数值实验中,我们比较我们的算法与当前国家的最先进的确定性算法,并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
A polynomial-time solvable class of sparse box-constrained polynomial optimization problems
Lehigh University(利哈伊大学)
本文研究在单位超立方体上最小化多项式函数的问题,通过将多项式表示为超图并利用其稀疏性,提出了一种多项式时间求解的新条件。识别出在最优解中取二值的变量子集,并通过消除小且弱耦合的连续变量块,将问题转化为可高效求解的结构化二元优化问题。
2026-10-28 math.OC
A modified exact penalty approach for general constrained $\ell_0$-sparse optimization problems
针对带$\u2113_0$-稀疏项的一般约束优化问题,提出一种可直接处理无强制非负约束场景的改进精确罚方法,配套子问题求解技术并通过大量数值测试验证。
2025-09-03 math.OC
Efficient DC Algorithm for Constrained Sparse Optimization
我们解决了一个光滑的目标函数的最小化下的$\ell_0$ -约束和简单的凸约束。当问题除了$\ell_0$ -约束外没有约束时,一些有效的算法是可用的;例如,近似DC(凸函数差分)算法(PDCA)反复评估凸子问题的封闭形式解,导致$\ell_0$ -约束问题的稳定点。然而,当问题有额外的凸约束,他们变得低效,因为它是很难获得相关的子问题的封闭形式的解决方案。在本文中,我们重新制定的问题,采用一种新的DC表示的$\ell_0$ -约束,使PDCA可以保持效率,减少其子问题的投影操作到一个凸集。此外,受Nesterov的邻近方法的加速技术的启发,我们提出了加速PDCA(APDCA),它达到最佳的收敛速度,如果应用到凸规划,并在数值实验中表现良好。
2017-01-30 math.OC
Greedy Sparsity-Constrained Optimization
Carnegie Mellon University(卡内基梅隆大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
提出一种贪婪算法GraSP,用于近似任意形式代价函数的稀疏最小值,并在代价函数满足稳定受限Hessian或稳定受限线性化时保证收敛到真稀疏最优解的有界距离内。
2013-01-06 cs.NA math.NA math.OC
Reproducing kernel method for PDE constrained optimization
本文提出了再生核希尔伯特空间方法来求解偏微分方程约束最优化问题的数值解。
2016-11-08 math.OC
A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization
Southern Methodist University(南卫理公会大学);Shanghai university of Finance & Economics(上海财经大学);Georgia Tech(佐治亚理工学院)
非凸稀疏模型在高维机器学习中受到了极大的关注。本文研究了一个新的模型,它由一般的凸或非凸目标和各种连续的非凸稀疏诱导约束组成。对于这种约束模型,我们提出了一种新的邻近点法,解决了一系列的凸子问题逐渐放松的约束水平。每个子问题,有一个近点目标和凸代理约束,可以有效地解决基于一个快速例程投影到代理约束。证明了算法对Karush-Kuhn-Tucker(KKT)解的渐近收敛.我们还建立了新的收敛复杂性,以实现一个近似的KKT解决方案时,目标可以是光滑/非光滑,确定性/随机和凸/非凸的复杂性,是在相应的情况下,与梯度下降无约束最优化问题。据我们所知,这是第一次研究的一阶方法的复杂性保证非凸稀疏约束问题。我们进行了数值实验,以证明我们的新模型的有效性和效率的大规模问题的算法。
2020-10-23 cs.LG math.OC
A sparse control approach to optimal sensor placement in PDE-constrained parameter estimation problems
我们提出了一个系统的方法来最佳放置的多个传感器,以推断一个有限维参数从点评估的相关参数依赖椭圆PDE的解决方案。相应的最小二乘估计的质量量化的渐近协方差阵的属性取决于测量传感器的分布。我们制定了一个设计问题,我们最小化泛函的大小,相应的置信区域的位置和数量的逐点测量。测量设置是由一个积极的Borel措施的空间实验域上的凸优化问题。对于算法的解决方案,一类加速条件梯度法在测度空间,它利用设计问题的结构特性,以确保收敛到稀疏的解决方案。收敛性和数值实验表明,所提出的结果。
2019-05-05 math.OC
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities(明尼苏达大学双城分校);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学)
针对基数约束下的稀疏学习问题,提出了一种随机方差缩减优化算法。充分条件下,该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明,我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
Newton Hard Thresholding Pursuit for Sparse LCP via A New Merit Function
线性互补性问题(LCP)的解在双矩阵博弈和投资组合问题等许多应用中是稀疏的。尽管它会增加难度,但稀疏性使优化速度更快,并且能够进行相对大规模的计算。出于这一动机,我们考虑到稀疏LCP,调查其解集的存在性和有界性,以及引入一个新的价值函数,这使我们能够将问题转化为稀疏约束优化。对于某些参数,该函数是连续可微的,并且是二次连续可微的。有趣的是,如果涉及的矩阵是半正定的,它也是凸的。然后,我们探索的解决方案集之间的关系,稀疏LCP和固定点的稀疏约束优化。最后采用牛顿硬阈值追踪算法对稀疏约束模型进行求解。数值实验表明,新的价值函数可以有效地解决问题。
2020-04-05 math.OC
A global optimization algorithm for sparse mixed membership matrix factorization
混合隶属因子分解是分析样本内异质性数据集的一种常用方法。近年来,已经开发了几种算法用于混合隶属度矩阵分解,但它们只能保证从局部最优估计。在这里,我们推导出一个全局优化(GOP)算法,提供了一个保证$ε$ -全局最优的稀疏混合隶属度矩阵分解问题。我们在模拟数据上测试了该算法,发现该算法在随机初始化过程中始终保持全局最优,并有效地探索了多个模式。
2016-10-24 math.OC stat.ME stat.ML
Differentially Private Optimization with Sparse Gradients
Google Research(谷歌研究院);Pontificia Universidad Católica de Chile(智利天主教大学)
本研究针对大嵌入模型场景下的稀疏梯度差分隐私优化问题,改进了稀疏数据均值估计的界,提出了近似最优的稀疏梯度凸优化DP算法,并实现了依赖稀疏度的平稳点逼近速率。
2024-10-31 cs.LG math.OC stat.ML
Neural Network Compression Via Sparse Optimization
Microsoft(微软);National University of Singapore(新加坡国立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
压缩深度神经网络(DNN)以降低推理成本对于满足各种应用的实际部署要求变得越来越重要。关于网络压缩已经有了大量的工作,而其中大多数都是基于启发式规则的,或者通常不适合纳入不同的场景。另一方面,稀疏优化产生稀疏解自然符合压缩要求,但由于稀疏优化在随机学习中的研究有限,其扩展和应用到模型压缩很少被很好地探索。在这项工作中,我们提出了一个模型压缩框架的基础上稀疏随机优化的最新进展。与现有的模型压缩技术相比,我们的方法是有效的,需要更少的额外的工程努力,将不同的应用程序,并已在基准压缩任务的数值模拟。特别是,与基线重型模型相比,我们分别在CIFAR10的VGG16和ImageNet的ResNet50上实现了高达7.2倍和2.9倍的FLOP减少,并且具有相同的评估精度。
2020-11-11 cs.LG math.OC stat.ML
Iterative Belief Propagation for Sparse Combinatorial Optimization
针对稀疏组合优化问题,提出一种迭代置信传播算法,它类似模拟退火从目标函数玻尔兹曼分布采样,还借助置信传播改善收敛性,可用于求解该类优化问题。
2024-10-31 math.OC
Sparse Perturbations for Improved Convergence in Stochastic Zeroth-Order Optimization
Heidelberg University(海德堡大学)
随机零阶(SZO)方法的兴趣最近在黑盒优化场景中重新燃起,例如对深度神经网络的对抗性黑盒攻击。SZO方法只需要在随机输入点处对目标函数求值的能力,然而,它们的弱点是它们的收敛速度依赖于待求值函数的维数。我们提出了一种稀疏SZO优化方法,该方法将该因子降低到学习过程中随机扰动的预期维度。我们给出了一个证明,证明了这种减少稀疏SZO优化的非凸函数,而不作任何假设的目标函数或梯度的稀疏性。此外,我们提出的实验结果,神经网络MNIST和CIFAR的训练损失和测试精度的收敛速度更快,和一个更小的距离的梯度近似的真实梯度稀疏SZO相比,密集SZO。
2020-06-29 cs.LG math.OC stat.ML
A variable smoothing for Nonconvexly constrained nonsmooth optimization with application to sparse spectral clustering
本文提出一种变量平滑算法,通过将非凸约束参数化为欧几里得空间并利用 Moreau 包络平滑非光滑项,求解非凸约束非光滑优化问题,并应用于稀疏谱聚类。
2024-04-03 math.OC
Sparse Copositive Polynomial Optimization
Shanghai Jiaotong University(上海交通大学);Xiangtan University(湘潭大学);University of California San Diego(加州大学圣迭戈分校);Hong Kong Baptist University(香港浸会大学)
本文研究了目标函数为稀疏多项式、约束在非负正交体上的半正定优化问题,提出稀疏矩-SOS松弛方法,并证明其在cop-SOS凸性假设下为紧致条件,相较于传统密集方法更具计算效率。
2026-03-31 math.OC
Sparse Polynomial Optimization with Matrix Constraints
University of California San Diego(加州大学圣地亚哥分校);Shenzhen University(深圳大学);Hong Kong Baptist University(香港浸会大学)
本文研究带矩阵约束的稀疏多项式优化问题,提出稀疏矩阵Moment-SOS松弛层级,证明其紧致性充要条件、凸情形下的紧致性,给出紧致性检测与极小解提取方法,实验验证了方法的有效性。
2025-10-03 math.OC
A dual semismooth Newton based augmented Lagrangian method for large-scale linearly constrained sparse group square-root Lasso problems
Southwest Jiaotong University(西南交通大学);Zhejiang University City College(浙江大学城市学院)
平方根Lasso问题被证明是鲁棒回归问题。此外,具有结构稀疏性的平方根回归问题在统计和机器学习中也起着重要的作用。本文主要研究大规模线性约束稀疏群平方根Lasso问题的数值计算。为了克服目标函数中存在两个非光滑项的困难,提出了一种基于对偶半光滑牛顿(SSN)的增广拉格朗日方法(ALM),即把ALM应用于子问题由SSN方法求解的对偶问题。应用SSN方法时,广义雅可比矩阵的正定性是非常重要的。因此,我们刻画了它的正定性与相应原问题的约束非退化条件的等价性。在数值实现中,我们充分利用了二阶稀疏性,从而可以有效地获得牛顿方向。数值实验证明了该算法的有效性。
2021-11-27 cs.LG cs.NA math.NA
Nonsmooth method for constrained optimization
针对不等式约束最优化问题的精确惩罚法,提出了一种隐式迭代算法。针对正则化罚泛函,提出了一种快速收敛的不动点方法。通过大规模不等式约束问题的求解,验证了该方法的适用性和可行性。
2012-10-04 math.OC
Sparse sum-of-squares (SOS) optimization: A bridge between DSOS/SDSOS and SOS optimization for sparse polynomials
University of Oxford(牛津大学);Imperial College London(帝国理工学院)
本文研究了三种可计算的松弛方法在稀疏非负多项式优化中的关系:稀疏和平方(SOS)优化、对角占优和平方(DSOS)优化以及缩放对角占优和平方(SDSOS)优化。证明了SSOS多项式集合严格包含DSOS/SDSOS多项式空间。因此,当适用时,SSOS优化比DSOS/SDSOS方法更不保守。大规模稀疏多项式优化问题的数值结果证明了这一点,并表明尽管需要求解半正定规划,SSOS优化在某些情况下比DSOS/SDSOS方法更快。
2018-07-14 cs.SY eess.SY math.OC
Non accelerated efficient numerical methods for sparse quadratic optimization problems and its generalizations
研究了具有l1-范数的原始梯度法和条件梯度法(两种方法都是非加速的)。我们表明,这些方法可以优于众所周知的加速方法的某些类稀疏二次问题。此外,我们还讨论了一些推广。
2016-07-11 math.OC
Sparse Quadratically Constrained Quadratic Programming via Semismooth Newton Method
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院)
本文提出一种基于P-稳定性和半光滑牛顿法的直接求解稀疏二次约束二次规划问题的高效算法,具有低计算复杂度和局部二次收敛性,数值实验验证了其准确性与效率。
2025-10-08 math.OC
Sparse Conic Reformulation of Structured QCQPs based on Copositive Optimization with Applications in Stochastic Optimization
在努力开发一种替代方法,传统的稀疏重新,我们将提供一个新的类型的凸重新一类随机二次约束二次最优化问题,类似于Burer的重新制定,但升降机的变量到一个相对较低的维空间。重新制定依赖于一个推广的集完全正矩阵锥。然后,这个锥可以通过内部和外部近似近似,以获得上限和下界,这可能关闭的最优性差距,因此可以给这些稀疏的重新配方的传统,已知的充分条件之外的精确性证书。最后,我们提供了一些数值实验,在那里我们评估的内部和外部近似的质量,从而表明,近似可能确实关闭在有趣的情况下的最优性差距。
2023-01-28 math.OC
Sparse Polynomial Optimization with Unbounded Sets
针对无界集合上的稀疏多项式优化问题,提出带扰动的稀疏齐次化Moment-SOS层级方法,证明其渐近收敛性,给出两种消去扰动的替代稀疏层级,得到新的稀疏正多项式正性定理,数值实验验证其可处理数千变量问题,还可应用于轨迹优化。
2024-01-29 math.OC
Sparse and Constrained Stochastic Predictive Control for Networked Systems
针对输入有界的Lyapunov稳定线性系的网络控制问题,提出了一类新的控制策略。假设控制信道具有i.i.d.伯努利数据包丢失,系统被假定为受加性随机噪声的影响。我们提出的政策类是仿射在过去的辍学和饱和值的过去的干扰。我们进一步考虑在二次性能指标中加入正则化项,以提高控制的稀疏性。我们演示了如何增加基本的最优化问题与一个恒定的负漂移约束,以确保闭环状态的均方有界性,得到一个凸二次规划定期在线求解。对于控制的任何正界和成功传输的任何非零概率,在所提出的一类政策的滚动时域实施下,闭环工厂的状态都是均方有界的。
2017-06-06 math.OC
High order tangent vectors to sets with applications to constrained optimization problems
本文在集合上引入了一个高阶延拓切锥,并研究了它的性质。然后,我们使用这种局部近似推导出高阶必要条件的局部极小的约束最优化问题。
2022-08-10 math.OC
Sparse-BSOS: a bounded degree SOS hierarchy for large scale polynomial optimization with sparsity
我们为多项式最优化问题提供了有界度SOS层次BSOS [7]的稀疏版本。它允许处理满足结构化稀疏模式的大规模问题。当稀疏模式满足运行交集属性时,半定规划的稀疏BSOS层次(具有固定大小的半定约束)收敛到原问题的全局最优值。此外,对于这类SOS-凸问题,有限收敛发生在第一步的层次,就像在稠密版本。
2017-05-27 math.OC
Perturbed primal-dual dynamics with damping and time scaling coefficients for affine constrained convex optimization problems
在希尔伯特空间中,提出了一类仿射约束凸优化问题的原-对偶动力系统.几个阻尼系数,时间标度系数,和扰动项,因此被认为是。通过构造能量函数,我们研究了阻尼系数和时间尺度系数的不同选择下的收敛速度。我们的结果将无约束凸优化问题的惯性动力学方法推广到了仿射约束凸优化问题。
2021-06-25 math.OC
On constrained optimization problems solved using CDT
DY Gao和他的一些合作者应用他的规范对偶理论(CDT)解决了一类约束最优化问题。不幸的是,在关于这个问题的几篇论文中,有不清楚的陈述,没有令人信服的证据,甚至是错误的结果。我们的目的是在这项工作中严格研究这类约束最优化问题在有限维空间,并讨论在过去十年中发表的几个结果。
2019-01-23 math.OC
On the Łojasiewicz Exponent of the Quadratic Sphere Constrained Optimization Problem
本文证明了对于指数为$θ=\frac{3}{4}$的二次球面约束最优化问题,$Ł$ ojasiewicz梯度不等式的整体形式成立.丁基邦的一个例子表明,$θ=\frac{3}{4}$是紧的。这是对带线性项的球面约束最优化问题建立的第一个$Ł$ ojasiewicz梯度不等式.
2021-02-23 math.OC
Robust Identification of "Sparse Plus Low-rank" Graphical Models: An Optimization Approach
受图形模型的启发,我们考虑了正定浓度矩阵的“稀疏加低秩”分解--协方差阵的逆。这是一个经典的问题,其中丰富的理论和数值算法已经开发。然而,当协方差阵必须从观测数据中估计时,结果似乎会迅速退化,因此会受到一定程度的不确定性的影响。我们讨论了这个问题,并提出了一种替代的优化方法,似乎是适合于处理“稀疏加低秩”分解问题的鲁棒性问题。这个最优化问题的变分分析进行了讨论。
2019-01-29 math.OC
A Warm Restart Strategy for Solving Sudoku by Sparse Optimization Methods
本文研究的是流行的数独问题。提出了一种基于稀疏优化技术的数独问题热重启策略。此外,我们定义了一个新的难度水平的数独谜题。通过一组数独谜题测试了该方法的有效性,数值结果表明,采用L1稀疏最优化方法,正确恢复率可从84%以上提高到99%以上.
2018-03-15 cs.DC math.OC
The Sparse(st) Optimization Problem: Reformulations, Optimality, Stationarity, and Numerical Results
研究了一类带非线性约束的稀疏最优化问题,目标函数由一般光滑映射和由$ \ell_0 $ -拟范数定义的附加项之和给出.该项用于获得稀疏解,但由于其非凸性和非光滑性而难以处理(稀疏改进项甚至是不连续的)。本文的目的是提出两个重新作为一个光滑的非线性规划互补型约束的计划。我们表明,这些方案是等价的局部和全局极小值,并引入了问题定制的平稳性概念,这原来是符合标准的KKT条件的两个重新制定的问题。此外,还研究了稀疏最优化问题的约束规格和二阶条件。然后,这些被用来显示三个拉格朗日-牛顿型方法是局部快速收敛的。对不同类型测试问题的数值结果表明,这些方法可以用来大大改善稀疏最优化问题的稀疏解由其他一些(全局收敛)的方法。
2022-10-18 math.OC
A solution for fractional PDE constrained optimization problems using reduced basis method
本文利用缩减基方法求解了一类分数阶抛物型方程所控制的PDE约束最优化问题,其中(0,1)中的β阶分数阶导数由Caputo分数阶导数定义.
2019-10-18 math.OC
Exterior-point Optimization for Sparse and Low-rank Optimization
本文提出专为稀疏与低秩优化的一阶算法 NExOS,通过求解一系列惩罚参数递减的惩罚问题,利用非凸几何性质找到原始问题的局部最优解,并在多种实例上验证了其优于专用方法。
2024-04-27 math.OC
A Trust Region Method for Finding Second-Order Stationarity in Linearly Constrained Non-Convex Optimization
受TRACE算法[Curtis et al. 2017]的启发,我们提出了一种用于寻找线性约束非凸优化问题的二阶稳定点的置信域算法。证明了该算法在\widetilde{\mathcal{O}}(\max{ε_g^{-3/2}, ε_H^{-3}})迭代下收敛到(ε_g,ε_H)-二阶稳定点.这种迭代复杂性是针对一般线性约束优化而实现的,而无需对目标函数进行立方正则化。
2019-04-14 math.OC
Lifted Stationary Points of Sparse Optimization with Complementarity Constraints
我们的目标是计算一个稀疏最优化问题(P0)与互补约束的提升稳定点。我们定义了一个连续的松弛问题(Rv),它与问题(P0)具有相同的全局极小点和最优值。问题(Rv)是一个具有互补约束(MPCC)和凸差分(DC)目标函数的数学规划。我们定义了(Rv)的MPCC提升平稳性,并证明了它比方向平稳性弱,但比Clarke平稳性更强。此外,我们提出了一种近似方法来解决(Rv)和增广拉格朗日方法来解决其子问题,它放松了等式约束(Rv)与公差。我们证明了我们的算法收敛到一个MPCC提升驻点问题(Rv),并使用一个带有垂直线性互补约束的稀疏最优化问题来证明我们的算法在实际中寻找稀疏解的有效性.
2022-12-09 math.OC
A Conic Integer Programming Approach to Constrained Assortment Optimization under the Mixed Multinomial Logit Model
本文研究了混合多项logit模型下的约束搭配最优化问题。即使是中等规模的情况下,这个问题是具有挑战性的直接解决使用标准的混合整数线性最优化配方。这促使最近的研究探索定制的优化策略和近似技术。相比之下,我们开发了一种新的圆锥二次混合整数制定。这种新的配方,再加上麦考密克不等式利用容量限制,使大型实例的解决方案,使用商业优化软件。
2017-08-12 math.OC
A novel metaheuristic method for solving constrained engineering optimization problems: Drone Squadron Optimization
几个约束优化问题已经得到充分解决,多年来由于在metabolistics领域的进步。在本文中,我们评估了一种新的自适应和自动建设性的元启发式称为无人机中队优化(DSO)在解决约束工程设计问题。本文评估DSO与死刑三个广泛测试的工程设计问题。结果表明,该方法是有竞争力的一些非常流行的元分析。
2017-08-04 cs.NE math.OC
Adaptive Stochastic Mirror Descent for Constrained Optimization
镜像下降法是求解非光滑凸优化问题的一种著名方法。本文分析了自适应步长MD的随机变化。它的平均收敛速度比固定步长和最佳的下界。
2017-05-04 math.OC
Co-Design of Delays and Sparse Controllers for Bandwidth-Constrained Cyber-Physical Systems
研究了具有反馈时滞的信息物理系统的稀疏性提升最优控制问题。延迟分为两类-即,层内延迟,以及网络层和物理层之间的层间延迟。我们的目标是通过设计这两个延迟的最佳组合以及稀疏状态反馈控制器,同时尊重给定的带宽约束,以最小化闭环系统的H2范数。为此,我们提出了一个双循环优化算法。内环采用交替方向乘子法(ADMM),处理减小H2范数和增加控制器稀疏性的矛盾方向。外环包括半定规划(SDP)为基础的松弛的非凸不等式稳定的协同设计的延迟与控制器。我们说明了这种算法使用模拟,突出了各个方面的延迟和稀疏性如何影响的稳定性和$\mc{H}_2$性能的LTI系统。
2020-03-12 cs.SY eess.SY math.OC
A trust-region method for derivative-free nonlinear constrained stochastic optimization
在这项工作中,我们介绍了随机非线性约束无导数最优化方法(S)NOWPAC(随机非线性最优化路径增广约束)。该方法扩展了无导数优化器NOWPAC适用于不确定性下的优化。它是基于一个置信域框架,利用本地完全二次代理模型结合高斯过程代理,以减轻噪音的目标函数和约束评估。我们展示了我们的算法的性能从CUTEst基准套件的各种强大的最优化问题通过比较其他国家的最先进的最优化方法。虽然我们专注于强大的优化基准问题,以证明(S)NOWPAC的能力,优化器可以适用于广泛的应用在非线性约束随机最优化。
2022-01-21 math.OC
Second Order Shape Optimization for an Interface Identification Problem constrained by Nonlocal Models
本文将形状优化方法推广到受非局部 Dirichlet 问题约束的界面识别问题,推导约化泛函的二阶形状导数并研究相应的二阶优化算法。
2024-06-13 math.OC
An Extension of Fast Iterative Shrinkage-thresholding to Riemannian Optimization for Sparse Principal Component Analysis
稀疏主成分分析(PCA)是PCA的一个重要变体,它试图在进行降维时找到稀疏的负载向量。本文考虑了与ScoTLASS模型相关的非光滑黎曼最优化问题,该模型可以同时施加正交性和稀疏性。Chen等人的工作中提出了一种黎曼近似方法,用于有效地解决这个最优化问题。本文介绍了两种加速方案。首先,我们将FISTA方法从欧几里得空间推广到黎曼流形上求解稀疏PCA,得到了加速的黎曼邻近梯度法。由于稀疏PCA的黎曼最优化问题本质上是非凸的,采用重新启动技术来稳定加速方法,而不牺牲快速收敛。其次,对黎曼近似子问题提出了一个对角预条件子,进一步加快了黎曼近似方法的收敛速度。数值计算结果表明,所提出的方法比现有的流形上的近端梯度法具有计算优势。此外,还建立了一个关于序列的黎曼次梯度收敛性的简短结果,该结果与Chen等人的结果一起,可以证明黎曼逼近方法的稳定点收敛性。
2021-09-02 math.OC
Adaptive sieving: A dimension reduction technique for sparse optimization problems
本文提出自适应筛选策略,利用解的内在稀疏性将大规模稀疏优化问题化为一系列小规模子问题,并生成解路径,理论保证有限终止,实验验证其高效灵活。
2025-04-25 math.OC
Primal-dual subgradient method for constrained convex optimization problems
本文考虑了一般的凸约束问题,其中函数既不是可微的,也不是Lipschitz连续的。我们的动机是在寻找一个简单的一阶方法来解决大范围的凸优化问题的最小要求。我们研究了加权对偶平均法(Nesterov,2009),并证明了它是一种最优方法。
2021-03-18 math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题,证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具,我们还证明了一个链式法则的道路上,这样的功能。
2019-12-16 math.OC
Optimality Conditions for Constrained Minimax Optimization
极大极小优化问题既源于现代机器学习,包括生成对抗网络、对抗训练和多智能体强化学习,也源于传统研究领域,如鞍点问题、数值偏微分方程和等式约束优化的最优性条件。对于无约束连续非凸-非凹情形,Jin,Netrapalli和Jordan(2019)仔细考虑了非常基本的问题:什么是极小极大最优化问题的局部最优解的适当定义,并提出了局部极小极大的局部最优性的适当定义。我们将局部极大极小点的定义推广到约束非凸-非凹极大极小最优化问题。通过分析下层极大化问题的Jacobian唯一性条件和极大化问题的Karush-Kuhn-Tucker条件的强正则性,给出了约束极小极大最优化问题局部极小极大点的最优性条件和充分最优性条件.
2020-04-21 math.OC
A Descent Method for Equality and Inequality Constrained Multiobjective Optimization Problems
本文提出了一种求解等式和不等式约束多目标最优化问题的下降法,它利用两种有效集策略将Fliege和Svaiter求解无约束多目标优化问题的最速下降法推广到有约束问题.在一定的正则性假设下,证明了下降法的聚点满足局部Pareto最优的一个必要条件.最后,我们在一个数值例子中展示了我们的方法的典型行为。
2017-12-11 math.OC
Data-driven Decision Making with Probabilistic Guarantees (Part 2): Applications of Chance-constrained Optimization in Power Systems
可再生能源的渗透率不断加深,对未来电网的安全可靠运行提出了严峻挑战。在不确定环境下的各种决策方法中,本文重点研究了机会约束优化,它为最优解的可行性提供了明确的概率保证。虽然已经提出了不少方法来解决机会约束最优化问题,但缺乏对所提出的方法进行全面的回顾和比较分析。本文的第一部分回顾了三种现有的机会约束优化方法:(1)情景方法;(2)样本平均近似;(3)基于鲁棒优化的方法。数据驱动的方法,不受任何特定的基本不确定性的分布,是特别感兴趣的。本文的第二部分对机会约束优化在电力系统中的应用进行了文献综述。第二部分还提供了一个关键的比较现有的方法的基础上数值模拟,这是进行标准的电力系统测试用例。
2019-04-14 math.OC