A primal-dual flow for affine constrained convex optimization
针对仿射约束凸优化问题,提出了一种新的原始-对偶流。作为标准鞍点系统的一个改进,我们的原始-对偶流被证明具有指数衰减特性,在一个定制的李雅普诺夫函数。然后通过离散化得到两种原-对偶方法,并通过离散化的李雅普诺夫函数建立了全局非遍历线性收敛速率.而不是解决原始变量的子问题,我们应用半光滑牛顿迭代的子问题的乘数,提供了一些额外的属性,如半光滑性和稀疏性。特别地,对线性约束的$l_1$ - $l_2$最小化和基于全变分的图像去噪模型进行了数值试验。
2022-03-20 math.OC
Strong Convergence of FISTA for Affinely Constrained Convex Quadratic Minimization
UMass Lowell(麻省大学洛厄尔分校);University of British Columbia(不列颠哥伦比亚大学);University of Waterloo(滑铁卢大学)
本文证明了在无闭合条件假设下,FISTA在仿射二次优化中的强收敛性,并特别指出了Nesterov加速梯度法在凸二次目标函数中的强收敛性。
2026-04-02 math.OC
Stability in affine optimal control problems constrained by semilinear elliptic partial differential equations
Institute of Statistics and Mathematical Methods in Economics, Vienna University of Technology(维也纳工业大学统计与经济数学方法研究所)
本文针对受半线性椭圆偏微分方程约束的仿射最优控制问题,通过分析相关集值映射的度量次正则性研究其稳定性,在更弱假设下覆盖广义非线性扰动,并用Tikhonov正则化误差估计验证结果适用性。
2022-11-22 math.OC
Solution Uniqueness of Convex Piecewise Affine Functions Based Optimization with Applications to Constrained $\ell_1$ Minimization
本文研究了一类带有凸分段仿射函数和一般多面体约束的凸优化问题的解的唯一性。这类问题包含了许多重要的多面体约束$\ell_1$恢复问题所产生的稀疏优化,如基追踪,LASSO,和基追踪去噪,以及多面体规范恢复。通过利用凸分段仿射函数和凸分析工具的最大公式,我们开发了对偶变量的必要和充分的唯一性条件,通过简单而统一的方法,这些条件适用于广泛的$\ell_1$最小化问题下可能的多面体约束。提出了一种有效的线性规划方法来验证解的唯一性条件。本文所得到的结果不仅恢复了文献中已知的解的唯一性条件,通过删除限制性假设,但也产生新的唯一性条件,更广泛的约束$\ell_1$ -极小化问题。
2017-11-16 math.OC
On the B-subdifferential of proximal operators of affine-constrained $\ell_1$ regularizer
School of Data Science, Fudan University(复旦大学数据科学学院);Engineering Systems and Design, Singapore University of Technology and Design(新加坡科技设计大学工程系统与设计学院);Department of Mathematics and Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学数学系与运筹学分析研究所)
本文研究仿射约束 $\ell_1$ 正则化器的近端映射,刻画其 B-次微分中的结构化稀疏性,并据此在近端点框架内设计高效算法,实验证明其性能优于现有求解器,为约束稀疏学习提供新见解。
2025-10-08 math.OC
Nonconvex and Nonsmooth Approaches for Affine Chance-Constrained Stochastic Programs
机会约束规划是一类困难的随机规划,即使是简单的线性随机泛函也可能是不可微和非凸的。现有的求解CCP的方法主要处理概率函数中的凸随机泛函。在本文中,我们考虑两个推广的类机会约束在文献中普遍研究;一个推广涉及的概率析取非凸函数事件和其他推广涉及混合符号仿射组合的概率;一起,我们硬币术语仿射机会约束(ACC)系统这些广义机会约束。我们提出的这种ACC系统的处理涉及几个单独已知的想法的融合:(a)概率的期望公式中的指示函数的参数化上下近似;(b)外部(即,固定的)与内部的(即,顺序)基于采样的期望算子近似;(c)作为可行性松弛的约束惩罚;以及(d)通过替代的非凸性和不可微性的凸化。集成这些技术解决仿射机会约束随机规划(ACC-SP)与不同程度的实用性和计算工作是本文的主要贡献。
2022-03-01 math.OC
Last-iterate Convergence of ADMM on Multi-affine Quadratic Equality Constrained Problem
Technical University of Munich(慕尼黑工业大学)
本文研究了ADMM在多仿射二次等式约束问题中的收敛性,证明了在特定条件下ADMM具有线性收敛率,并通过机器人运动中的实例验证了理论结果。
2026-03-12 math.OC
On the efficient computation of proximal operators of affine-constrained nonconvex functions
National University of Singapore(新加坡国立大学);The University of Chicago(芝加哥大学);Institute of Operations Research and Analytics, National University of Singapore(新加坡国立大学运筹与分析研究所);Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院应用数学研究所)
本文提出了一种统一的对偶可表示框架,用于高效计算具有仿射约束的非凸函数的proximal算子,通过建立对偶问题和验证正则性条件,实现了快速收敛的优化方法。
2026-02-27 math.OC
A New Nonconvex Strategy to Affine Matrix Rank Minimization Problem
仿射矩阵秩最小化(AMRM)问题是寻找一个满足给定线性系约束的最小秩矩阵。它在控制、推荐系统、矩阵完备化和网络定位等重要领域有着广泛的应用。然而,由于矩阵秩函数的组合性质,问题(AMRM)一般是NP-难的。许多替代函数被提出来代替矩阵秩函数,从而产生了许多相应的替代极小化问题,这些问题被一些流行的凸或非凸优化算法有效地解决。本文提出了一种新的非凸函数$TL_α^ε$函数(含$0\leqα<1$和$ε>0$)来逼近秩函数,并将NP难问题(AMRM)转化为$TL_{p}^ε$函数仿射矩阵秩最小化(TLAMRM)问题.首先研究了问题(AMRM)与(TLAMRM)的等价性,证明了当线性映射$\mathcal{A}$满足限制等距性(RIP)时,问题(TLAMRM)的全局极小解的唯一性也是NP-难问题(AMRM)的唯一解.其次,提出了一种迭代阈值算法来解决所有$0\leqα<1$和$ε>0$的正则化问题(RTLAMRM)。最后,通过对低秩矩阵补全问题的数值实验,证明了该算法能够恢复低秩矩阵,通过对图像修复问题的大量数值实验,证明了该算法在发现低秩图像方面的性能优于现有的一些方法.
2018-11-22 math.OC
Fejér-monotone hybrid steepest descent method for affinely constrained and composite convex minimization tasks
本文介绍了Fejér-单调混合最速下降算法(FM-HSDM),它是HSDM算法族的一个新成员,用于求解实希尔伯特空间中的仿射约束极小化问题,其中凸光滑和非光滑损失构成目标函数. FM-HSDM提供的序列的估计收敛弱,并在一定的假设下,强烈的解决方案的任务。不动点理论,变分不等式和仿射非扩张映射被用来设计一个计划,以适应仿射约束在一个更通用的方式比国家的最先进的原始-对偶技术和交替方向法的乘数做。可以调整递归以获得低计算占用,非常适合大规模优化任务,而不会影响收敛保证。与HSDM的前体相比,FM-HSDM具有Fejér单调性,步长参数在迭代过程中保持不变,以促进估计序列收敛到最小值,而仅需要光滑损失函数的导数的利普希茨连续性而不是强单调性来确保收敛。文中还给出了收敛到最优点的收敛速率的结果。
2018-04-10 math.OC
Low-Rank Matrix Optimization Over Affine Set
基于仿射集的低秩矩阵优化(秩-MOA)是指在一个与一个仿射集相交的低秩集上最小化一个连续可微函数。在适当的假设条件下,建立了Fréchet法锥与秩MOA可行集的相交规则。这使我们能够提出一阶最优性条件的秩MOA在所谓的F-平稳点和$α$ -平稳点。并给出了二阶最优性分析,包括必要条件和充分条件。这些结果丰富了低秩矩阵优化理论,为设计求解低秩矩阵优化问题的有效数值算法提供了潜在的线索。同时,我们说明了我们提出的秩MOA的几个具体应用,包括系统辨识中的Hankel矩阵逼近问题和信号处理中的线性流形上的低秩表示的最优性分析。
2019-12-06 math.OC math.SP
State constrained control-affine parabolic problems II: Second order sufficient optimality conditions
本文考虑一类具有双线性控制-状态项的半线性热方程的最优控制问题,该问题具有控制约束和状态约束。状态约束是积分型的,积分是关于空间变量的。控制是多维的。成本函数是跟踪型的,并且在控制变量中包含线性项。我们得到依赖于Goh变换的二阶充分条件。附录提供了一个例子说明我们的结果的适用性。
2020-10-13 math.OC
Geometry of Control-Affine Systems
受最优控制理论中控制仿射系统的启发,我们引入了流形X上点仿射分布的概念,即,仿射分布F以及包含在F中的可分辨向量场。当dim(X)=n,rank(F)=n-1,以及当dim(X)=3,rank(F)=1时,我们计算常型点仿射分布的局部不变量。与线性分布不同,线性分布的特征在于整数值不变量-即秩和增长向量-当dim(X)<=4时,我们发现局部不变量依赖于任意函数,即使是2维流形上的秩1点仿射分布。
2009-10-07 math.DG math.OC
Smooth Indirect Solution Method for State-constrained Optimal Control Problems with Nonlinear Control-affine Systems
针对纯状态约束导致控制与协态不连续、经典间接法失效的问题,提出一种光滑间接求解方法,将状态约束最优控制问题转化为光滑两点边值问题求解,具备类任意时间算法特性并经数值验证。
2024-03-06 math.OC
State-constrained control-affine parabolic problems I: first and second order necessary optimality conditions
本文考虑一类具有双线性控制-状态项的半线性热方程的最优控制问题,该问题具有控制约束和状态约束。状态约束是积分型的,积分是关于空间变量的。控制是多维的。成本函数是跟踪型的,并且在控制变量中包含线性项。我们推导出二阶必要条件依赖于替代余态和准径向临界方向的概念。附录提供了一个例子说明我们的结果的适用性。
2020-09-14 math.OC
Primal-Dual First-Order Methods for Affinely Constrained Multi-Block Saddle Point Problems
研究了凸凹鞍点问题$\min_{\mathbf{x}}\max_{\mathbf{y}}Φ(\mathbf{x},\mathbf{y})$,其中决策变量$\mathbf{x}$和/或$\mathbf{y}$具有多块结构和仿射耦合约束,且$Φ(\mathbf{x},\mathbf{y})$具有一定的可分结构.虽然这类问题的最小化对应已经在ADMM的主题下得到了广泛的研究,但这类极大极小问题却很少被研究。本文提出了$ε$ -鞍点的概念,并在此基础上分析了几种算法的收敛速度。当$\mathbf{x}$和$\mathbf{y}$中只有一个具有多块和仿射约束时,提出了ADMM的几种自然扩展来解决这个问题。根据块的数量和平滑的程度,$\mathcal{O}(1/T)$或$\mathcal{O}(1/\sqrt{T})$收敛速度推导出我们的算法。当$\mathbf{x}$和$\mathbf{y}$都有多个块和仿射约束时,提出了一种新的算法--乘子的外梯度法(EGMM)。在期望的平滑条件下,可以保证$\mathcal{O}(1/T)$收敛速率,而不管$\mathbf{x}$和$\mathbf{y}$中的块的数量。在多块最优化问题中,对EGMM(完全原-对偶方法)和ADMM(近似对偶方法)进行了深入的比较,以说明EGMM的优越性。
2023-03-16 math.OC
A coordinate-free theory of virtual holonomic constraints
本文给出了欠驱动拉格朗日控制系统在黎曼流形上的虚拟完整约束的一种无坐标形式。当虚约束具有正则性时,约束动力学可用一个仿射联络动力系统来描述。约束系统的仿射联络与原拉格朗日控制系统的黎曼联络有一个优美的关系。给出了约束动力学为拉格朗日动力学的充要条件。其中一个关键条件是约束动力学的仿射联络是可度量化的。首先回顾了关于仿射联络可度量化的基本结果,然后按复杂性增加的顺序用三个例子说明了这一结果。最后一个例子是一个小车上的双摆,有两种不同的致动器配置。对于该控制系统,采用了将第二摆限制在上半平面内的虚拟约束。
2018-11-14 math.OC
New bounds for nonconvex quadratically constrained quadratic programming
本文研究了非凸二次约束二次规划的一些界。我们提出了两种类型的二次约束二次规划的界,二次和三次界。对于二次边界,我们使用仿射函数作为拉格朗日乘子。我们证明了大多数半定松弛可以作为二次界的对偶得到。此外,我们研究了通过改变基集得到的界。对于三次边界,除了仿射乘子,我们采用二次函数。我们提供了一个建议的立方界和典型的标准二次规划的界限之间的比较。此外,我们报告的比较结果的二次和立方界的一些非凸二次约束二次规划。
2019-06-03 math.OC
Lower Complexity Bounds of First-order Methods for Affinely Constrained Composite Non-convex Problems
针对带线性约束的复合非凸非光滑优化,本文在两种一阶预言机下建立FOMs生成ε稳定点的复杂度下界,揭示非光滑凸正则项增加求解难度,并证明其中一个下界紧。
2025-05-13 math.OC
Solving Constrained Affine Heaviside Composite Optimization Problems by a Progressive IP Approach
Tsinghua University(清华大学);University of Southern California(南加州大学)
本文提出通过逐步整数规划方法解决带约束的仿射Heaviside复合优化问题,通过近似和分解处理不连续性和非光滑性,验证了方法在多类分类问题中的有效性。
2026-05-07 math.OC
Covariance Control of Discrete-Time Gaussian Linear Systems Using Affine Disturbance Feedback Control Policies
针对离散时间高斯线性系的有限时域协方差导引问题,提出了一种新的控制策略参数化方法,将离散时间高斯线性系统的有限时域随机最优控制问题转化为一个易于处理的最优化问题.协方差引导问题寻求一种反馈控制策略,该策略将在有限时间内将DTGLS的状态协方差引导到期望的正定矩阵。我们考虑两种不同的配方的协方差转向问题,一个硬终端LMI约束(硬约束协方差转向)和另一个软终端约束的形式,终端成本对应于实际终端状态(高斯)分布和所需的(软约束协方差转向)之间的平方Wasserstein距离。我们提出了一个解决方案,依赖于仿射扰动反馈参数化的问题配方。我们表明,这种特殊的参数化,使我们能够减少硬约束协方差转向问题的半定计划(SDP)和软约束协方差转向问题的差异的凸函数计划(DCP)。最后,通过理论分析和数值模拟,证明了该方法在计算复杂性和计算时间方面优于其他协方差控制算法.
2021-03-26 math.OC
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题,该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略,比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差,加快了收敛的收敛速率。在约束等距条件下,我们证明了该算法线性收敛于期望解。数值实验表明,与现有的贪婪算法相比,该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
Variable projection for affinely structured low-rank approximation in weighted 2-norms
Vrije Universiteit Brussel(布鲁塞尔自由大学)
针对一般仿射结构、加权2-范数和固定元素的结构化低秩逼近问题,利用变量投影原理降维,并开发了代价函数、梯度和Hessian近似的计算算法,对m×n mosaic Hankel矩阵复杂度为O(m² n)。
2013-07-25 cs.NA math.NA math.OC
Geometry of rank 2 distributions with nonzero Wilczynski invariants and affine control systems with one input
我们展示了如何新颖的方法来局部几何结构的非完整性质,起源于安德烈Agrachev,工程在以下两种情况:具有非零广义Wilczynski不变量的R^n中最大类的秩2分布和具有附加结构的R^n中最大类的秩2分布,例如具有一个输入的仿射控制系统跨越这些分布,子(伪)黎曼结构等。这两种情况的共同特点是,每个异常极值(潜在的秩2分布)具有一个独特的参数化。这一事实允许我们在任意n大于4的两种情况下在(2n-3)维丛上构造典范标架。这两种情况下的最对称的模型的模空间的描述。给出了结果与高阶拉格朗日量的散度等价性的关系
2013-01-13 math.DG math.OC
Guaranteed Minimum-Rank Solutions of Linear Matrix Equations via Nuclear Norm Minimization
仿射秩最小化问题包括找到满足给定线性等式约束系统的最小秩矩阵。这样的问题已经出现在包括系统辨识和控制、欧几里德嵌入和协同过滤在内的各种领域的文献中。虽然特定的例子通常可以用专门的算法来解决,但一般的仿射秩最小化问题是NP难的。在本文中,我们表明,如果一定的限制等距性质成立的线性变换定义的约束,最小秩的解决方案可以恢复通过解决一个凸优化问题,即最小化核范数在给定的仿射空间。我们提出了几个随机合奏方程的限制等距属性具有压倒性的概率。在我们的分析中使用的技术在压缩感知框架中有很强的相似之处。我们讨论如何仿射秩最小化推广这个预先存在的概念,并概述了一个字典有关的概念,从基数最小化的秩最小化。
2007-06-28 math.OC math.ST stat.TH
Rank-constrained Hyperbolic Programming
我们推广秩约束优化一般双曲规划(HP)使用拟阵秩的概念。分别对于LP和SDP,这减少到稀疏约束的LP和秩约束的SDP,它们已经被很好地研究。但是对于QCQP和SOCP,我们得到了新的有趣的最优化问题。例如,秩约束的SOCP包括加权最大割和非凸QP作为特殊情况,并且丢弃秩约束产生这些问题的标准SOCP松弛。我们将展示(i)如何对SOCP和QCQP进行秩约简,(ii)秩约束的SOCP和秩约束的QCQP是NP-困难的,以及(iii)秩约束的SDP的改进结果,表明如果约束的数量是$m$,并且对于某些$ε>0$,秩约束小于$2^{1/2-ε} \sqrt{m}$,则问题是NP-困难的。我们还将研究稀疏约束的HP,并将LP稀疏化的结果扩展到SOCP和QCQP。特别地,我们证明了:(a)总存在一个基数至多为约束个数两倍的SOCP解和(b)一个基数至多为线性约束个数和二次约束中矩阵秩之和的QCQP解,并且(a)和(b)都可以有效地找到.
2022-07-22 cs.CC math.OC
Stabilization of rank-deficient continuous-time switched affine systems
研究了动态矩阵具有秩亏凸组合的连续时间仿射切换系统的全局镇定问题。对于这些系统,已知的一组可达到的平衡点具有更高的维数比满秩的情况下,由于我们定义为奇异平衡点的存在。我们的主要目标是设计一个状态相关的开关函数,以确保全局渐近稳定性的一个选择点内的线性矩阵不等式表示的条件。对于这类系统,全局指数稳定性一般是不可能得到保证的。因此,建议的开关函数,以确保所需的平衡点的全局渐近和局部指数稳定。的位置控制和速度控制与直流电动机的积分作用,由一个h-桥通过升压转换器馈电驱动用于验证。该实际应用实例由八个子系统组成,所有可能的动态矩阵的凸组合都是奇异的。
2022-04-14 cs.SY eess.SY math.OC
Inexact accelerated proximal gradient method with line search and reduced complexity for affine-constrained and bilinear saddle-point structured convex problems
本文的目标是降低两类问题的基于梯度的方法的总复杂度:仿射约束复合凸优化和双线性鞍点结构非光滑凸优化。我们的技术是基于一个双循环不精确加速邻近梯度(APG)方法,用于最小化一个非光滑但可逼近的凸函数和两个光滑凸函数具有不同的光滑常数和计算成本的总和。与标准APG方法相比,不精确APG方法可以减少总的计算成本,如果一个光滑分量具有较高的计算成本,但比其他较小的光滑常数。利用这一性质,非精确APG方法可以近似求解仿射约束复合凸优化的近似增广拉格朗日方法的子问题,以及双线性鞍点结构非光滑凸优化的光滑逼近问题,其中光滑常数较小的光滑函数具有较高的计算代价.因此,它可以降低总的复杂性,找到一个近似的最佳/稳定的解决方案。该技术类似于文献中的梯度滑动技术。不同之处在于,我们的不精确APG方法可以通过使用基于平稳性破坏度量的可计算条件来有效地停止内部循环,而梯度滑动方法需要预先指定内部循环的迭代次数。数值实验表明,显着更高的效率,我们的方法比最佳的原始-对偶一阶方法和梯度滑动方法。
2022-01-04 cs.NA math.NA math.OC
Chance-Constrained Covariance Steering in a Gaussian Random Field via Successive Convex Programming
本文研究了在高斯随机场存在下,仿射反馈律的优化问题,该反馈律能明确地控制不确定系统状态的均值和协方差。空间相关的干扰连续近似相对于一个标称轨迹由一系列的联合高斯随机向量。标称控制输入的顺序更新通过凸优化计算,包括仿射状态反馈的效果,空间扰动的扰动效果,以及对闭环状态和控制的机会约束。所开发的方法应用于解决仿射反馈法,以最大限度地减少第99百分位数的$Δv$需要完成一个行星周围的随机扰动大气的aerocapture任务。
2022-01-17 cs.SY eess.SY math.OC
Generalized rank-constrained matrix approximations
本文给出了Frobenius范数下秩约束矩阵逼近的显式解,推广了经典的低秩矩阵逼近问题。
2006-03-29 cs.NA math.NA math.OC
Nonsmooth Frank-Wolfe using Uniform Affine Approximations
Frank-Wolfe方法(FW)在机器学习领域引起了极大的兴趣,因为它能够有效地解决包含稀疏结构(例如稀疏向量和低秩矩阵)的大型问题。然而,现有的FW方法的性能取决于线性近似的质量。这通常将FW限制为平滑函数,其逼近质量(由全局曲率度量指示)相当好。在本文中,我们提出了一个修改后的FW算法适用于非光滑函数的近似质量进行优化,在所有仿射近似给定的邻域的兴趣。我们分析了该算法的理论性质,并证明了它克服了许多问题与现有的方法在非光滑低秩矩阵估计的背景下。
2018-03-20 math.OC stat.ML
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来,由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展,异步(异步)并行计算方法激增。在优化问题中,大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新(BCU)的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行,成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题,Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反,仅假设凸性,我们表明,所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外,我们建立了遍历$O(1/k)$收敛结果,其中$k$是迭代次数。数值实验表明,该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA