Inexact Newton method for minimization of convex piecewise quadratic functions
研究了凸分段二次函数数值极小化问题的一种不精确牛顿型方法,并分析了其收敛性。早些时候,一个类似的方法被成功地应用于优化问题中出现的数值网格生成。该方法可用于计算线性方程的欠定组的最小范数非负解,也可用于求凸多面体间的距离。该方法的性能进行了测试,使用的样本数据从NETLIB家庭的佛罗里达大学的稀疏矩阵收集以及准随机数据。
2019-01-10 math.OC
Generalized singular value thresholding operator to affine matrix rank minimization problem
众所周知,仿射矩阵秩最小化问题是NP-难的,并且由于秩函数的组合性质,所有已知的精确求解它的算法在理论上和实践中都是双指数的。本文提出了一种广义奇异值阈值算子来解决仿射矩阵秩最小化问题。数值实验表明,我们的算法执行有效地找到一个低秩矩阵相比,一些国家的最先进的方法。
2018-04-21 math.OC
Adaptive Zeroing-Type Neural Dynamics for Solving Quadratic Minimization and Applied to Target Tracking
Guangdong Ocean University(广东海洋大学);Southeast University(东南大学);University of Leicester(莱斯特大学)
时变二次小型化(TVQM)问题是当前研究的热点,迫切需要一种更可靠、更快速的求解模型。为此,提出并实现了一种新的自适应系数构造框架,以提高求解模型的性能,从而形成自适应调零型神经动力学(AZTND)模型。然后将AZTND模型应用于TVQM问题的求解。自适应系数可以在线调整模型的步长,使求解模型收敛得更快。同时,积分项的发展,以提高在扰动环境中的模型的鲁棒性。实验结果表明,该模型具有更快的收敛速度和更可靠的鲁棒性比现有的方法。最后,将AZTND模型应用于目标跟踪方案中,验证了该模型的实用性。
2022-11-30 cs.LG cs.NA math.NA
Efficient quadratic penalization through the partial minimization technique
常见的计算问题,如动态模型中的参数估计和PDE约束优化,需要在一组辅助参数上进行数据拟合,这些辅助参数受到底层状态的物理约束。在实践中常用的朴素二次惩罚公式具有固有的病态性。我们发现,令人惊讶的部分最小化技术规范的问题,使其良好的条件。这一观点揭示了新的变量投影技术,以及惩罚方法的PDE约束优化,并激发强大的扩展。此外,我们概述了一个不精确的分析,表明部分最小化子问题可以解决非常松散的每次迭代。我们阐述了边界控制,最优输运,和参数估计的鲁棒动态推理的理论和算法。
2017-09-17 math.OC
On the Semidefinite Representability of Continuous Quadratic Submodular Minimization With Applications to Pricing and Moment Problems
University of Iowa(爱荷华大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文研究了带约束的连续二次子模最小化问题,提出了一种多项式规模的半定松弛方法,证明在维度n≤3时严格紧,更大维度时经验紧,并应用于分布鲁棒优化中的两个矩问题。
2026-09-01 math.OC
The Quadratic Graver Cone, Quadratic Integer Minimization, and Extensions
研究了在变维整数点上极小化满足线性不等式的二次函数的非线性整数规划问题。我们证明了当定义系统的矩阵的Graver基给定,且二次函数位于一个合适的{ \em对偶Graver锥}中时,问题可以在多项式时间内求解.本文讨论了这一锥与正半定矩阵的锥之间的关系,并证明了二者互不包含。所以我们可以在多项式时间内最小化一些非凸和一些(包括所有可分的)凸二次曲面。最后,我们推广我们的结果,有效的整数最小化的任意次数的多元多项式函数躺在适当的锥。
2010-06-04 cs.DM cs.DS math.CO
Strong Convergence of FISTA for Affinely Constrained Convex Quadratic Minimization
UMass Lowell(麻省大学洛厄尔分校);University of British Columbia(不列颠哥伦比亚大学);University of Waterloo(滑铁卢大学)
本文证明了在无闭合条件假设下,FISTA在仿射二次优化中的强收敛性,并特别指出了Nesterov加速梯度法在凸二次目标函数中的强收敛性。
2026-04-02 math.OC
Semidefinite approximation for mixed binary quadratically constrained quadratic programs
Shanghai University(上海大学);University of Minnesota(明尼苏达大学)
针对无线通信中的混合二元二次约束二次规划问题,提出半定规划松弛方法,并分析其逼近性能。
2014-03-17 cs.NA math.NA math.OC
Low-Rank Factorization for Rank Minimization with Nonconvex Regularizers
A. Sagan J. Mitchell
秩最小化在机器学习应用中是令人感兴趣的,例如推荐系统和鲁棒主成分分析。最小化秩最小化问题的凸松弛,核范数,是一种有效的技术来解决问题的强性能保证。然而,非凸松弛比核范数具有更小的估计偏差,并且可以更准确地减少噪声对测量的影响。我们开发了有效的算法的基础上,迭代重加权核范数计划,同时也利用低秩因子分解的半定规划提出的Burer和Monteiro。我们证明了收敛性和计算显示的优势,凸松弛和交替最小化方法。此外,我们的算法的每次迭代的计算复杂性是与其他国家的最先进的算法,使我们能够快速找到解决方案的大型矩阵的秩最小化问题。
2021-03-28 cs.LG math.OC
Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights
本文对具有二次耦合项的不可分极小化模型建立了乘子的近似交替方向法(ADMM)和块坐标下降法(BCD)的收敛性.本文提出的新的收敛结果回答了几个开放的问题,一直是相当多的讨论的主题。我们首先扩展2块近端ADMM线性约束的凸优化与耦合二次目标函数,理论上的理解是目前缺乏的一个领域,并证明了由近端ADMM产生的序列逐点收敛到一个原始-对偶解决方案对。将随机置换ADMM(RPADMM)应用于不可分多块凸优化,并证明了其对一类不可分二次规划问题的期望收敛性。当线性约束消失时,2-块邻近ADMM和RPADMM退化为2-块循环邻近BCD方法和随机排列BCD(RPBCD)。我们的研究提供了第一个2-块循环邻近BCD的收敛结果,而不假设迭代的有界性。我们还从理论上建立了凸二次优化的多块RPBCD的期望收敛性结果。此外,我们证明了RPBCD可能有一个更差的收敛速度比循环接近BCD 2块凸二次极小化问题。虽然RPADMM和RPBCD的结果仅限于二次极小化模型,但它们提供了一些有趣的见解:1)随机置换使ADMM和BCD对多块凸极小化问题更具鲁棒性; 2)循环BCD对“好”问题的性能可能优于RPBCD,因此RPBCD在求解一般凸优化问题时应谨慎应用。
2017-03-15 math.OC
Penalty Decomposition Methods for Rank Minimization
本文提出罚分解方法求解目标或约束中含秩的秩最小化问题,通过块坐标下降法求解子问题,并证明序列聚点满足一阶最优性条件,在矩阵补全和最近低秩相关矩阵问题上表现优于或持平现有方法。
2012-05-29 cs.LG cs.NA cs.SY
Regret Minimization in Partially Observable Linear Quadratic Control
California Institute of Technology(加州理工学院)
研究了部分可观测线性二次型控制系统在模型动态先验未知时的后悔最小化问题。我们提出了ExpCommit,一个探索然后提交算法,学习模型马尔可夫参数,然后遵循乐观的原则,面对不确定性设计控制器。我们提出了一种新的方法来分解遗憾,并提供了一个端到端的次线性遗憾上界的部分可观测线性二次控制。最后,我们提供了稳定性保证,并建立了ExpCommit的遗憾上限$\tilde{\mathcal{O}}(T^{2/3})$,其中$T$是问题的时间范围。
2020-03-08 cs.LG math.OC stat.ML
Convergence of fixed-point continuation algorithms for matrix rank minimization
矩阵秩最小化问题在系统辨识、最优控制、低维嵌入等领域有着广泛的应用。由于该问题一般是NP-困难的,因此其凸松弛问题--核范数最小化问题往往被求解。最近,Ma,Goldfarb和Chen提出了一种求解核范数最小化问题的不动点延拓算法.该算法通过引入一种近似的奇异值分解技术,通常可以得到矩阵秩最小化问题的解。本文研究了矩阵秩最小化问题的不动点延拓算法及其变形的收敛性和可恢复性。启发式确定矩阵的秩时,其真实的秩是未知的也提出了。这些算法中的一些与压缩感知中的贪婪算法密切相关。这些算法求解仿射约束矩阵秩最小化问题的数值结果的报告。
2010-12-29 cs.IT math.IT math.OC
Adaptive iterative singular value thresholding algorithm to low-rank matrix recovery
从线性约束中恢复低秩矩阵的问题,称为仿射矩阵秩最小化问题,近年来受到了广泛的关注。一般来说,仿射矩阵秩最小化问题是一个NP难问题。在我们的最新工作中,研究了一个非凸分式函数来近似仿射矩阵秩最小化问题中的秩函数,并将NP难仿射矩阵秩最小化问题转化为一个变换的仿射矩阵秩最小化问题。提出了一种迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。然而,我们的迭代奇异值阈值算法的缺点之一是,参数$a$,它影响的行为的非凸分数函数的正则化变换仿射矩阵秩最小化问题,需要手动确定在每个模拟。实际上,如何确定最优参数$a$并不是一个容易的问题。在这里,相反,在本文中,我们将产生一个自适应迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。当这样做时,我们的新算法对于正则化参数$λ$和参数$a$的选择都是智能的。
2020-01-30 math.OC
Successive Quadratic Upper-Bounding for Discrete Mean-Risk Minimization and Network Interdiction
圆锥优化的进步导致其在建模数据不确定性方面的利用率增加。特别是,圆锥平均风险优化在概率和鲁棒优化中获得了突出地位。而相应的圆锥模型是有效地解决了凸集,他们的离散同行是棘手的。本文给出了离散均值风险最小化问题的一个高效的逐次二次上界方法。该程序是基于重新制定的平均风险问题,通过其凸二次项的角度。随机容量的网络阻断问题进行的计算实验表明,所提出的方法产生的解决方案在1-2%的最优精确搜索算法所需的时间的一小部分。我们证明了所提出的方法的价值,为不同的置信水平的风险流与阻断成本构建有效的边界。
2018-08-25 math.OC
Global Solutions to Large-Scale Spherical Constrained Quadratic Minimization via Canonical Dual Approach
本文给出了一类球面约束下的非凸二次极小化问题的全局最优解。该问题是众所周知的置信域子问题,并已被广泛研究了几十年。主要的挑战是所谓的“困难情况”,即,该问题在球的边界上具有多个解。利用正则对偶理论,可以将这一具有挑战性的问题转化为一个没有对偶间隙的一维正则对偶问题。利用试探性理论得到了判别问题是否为困难情形的充分条件和必要条件。提出了一种扰动法和相应的算法来解决这个困难的情况。理论结果和方法得到了大规模算例的验证。
2013-08-20 math.OC
A globally convergent and locally quadratically convergent modified B-semismooth Newton method for $\ell_1$-penalized minimization
本文研究了一类带$\ell_1$ -罚项的非线性严格凸泛函的有效极小化问题。这样的最小化问题出现在广泛的应用,如吉洪诺夫正则化的(非)线性反问题的稀疏约束。在(2015 Inverse Problems(31)025005)中,针对线性反问题的$\ell_1$ -Tikhonov正则化,提出了一种全局化的Bouligand-semismooth Newton方法。然而,为了证明整体收敛,必须对迭代序列的聚点进行技术假设。在这里,我们将这种方法推广到一般的非线性问题,并提出了一个修改的半光滑牛顿法的整体收敛证明,没有任何额外的要求。此外,在一个技术假设下,完整的牛顿步骤最终被接受,并实现局部平方收敛。图像去模糊和鲁棒回归的数值算例验证了该方法的有效性。
2016-04-11 math.OC
Efficient Rank Minimization to Tighten Semidefinite Programming for Unconstrained Binary Quadratic Optimization
本文提出了一种低秩半定规划方法,并将其应用于无约束二元二次问题的半定松弛。该方法改进了半定规划松弛问题的现有解,得到了较低秩的解。该方法不需要在正半定矩阵的锥上进行投影,因而计算效率高。它的性能方面的目标改进和降秩测试多个图的大规模Gset图集合和二进制最优化问题从Biq Mac集合。
2017-08-05 cs.CC math.OC
A Semidefinite Programming Method for Integer Convex Quadratic Minimization
考虑整数格${\bf Z}^n$上凸二次函数极小化的NP-困难问题。我们提出了一个简单的半定规划(SDP)松弛获得的最优值的问题的一个非平凡的下界。通过解释的解决方案的SDP松弛概率,我们得到了一个随机算法找到良好的次优解,从而上界的最优值。该方法的有效性示出了各种大小的数值问题的实例。
2017-03-10 cs.DS math.OC
Guaranteed Minimum-Rank Solutions of Linear Matrix Equations via Nuclear Norm Minimization
仿射秩最小化问题包括找到满足给定线性等式约束系统的最小秩矩阵。这样的问题已经出现在包括系统辨识和控制、欧几里德嵌入和协同过滤在内的各种领域的文献中。虽然特定的例子通常可以用专门的算法来解决,但一般的仿射秩最小化问题是NP难的。在本文中,我们表明,如果一定的限制等距性质成立的线性变换定义的约束,最小秩的解决方案可以恢复通过解决一个凸优化问题,即最小化核范数在给定的仿射空间。我们提出了几个随机合奏方程的限制等距属性具有压倒性的概率。在我们的分析中使用的技术在压缩感知框架中有很强的相似之处。我们讨论如何仿射秩最小化推广这个预先存在的概念,并概述了一个字典有关的概念,从基数最小化的秩最小化。
2007-06-28 math.OC math.ST stat.TH
First-Order Methods for Nonconvex Quadratic Minimization
我们考虑最小化的不定二次与信赖域(范数)约束或立方正则化。尽管这些问题的非凸性,我们证明,在温和的假设下,梯度下降收敛到他们的整体解决方案,并给出了一个非渐近收敛速率的三次变量。我们还考虑Krylov子空间的解决方案,并建立信任域和正则化问题的解决方案的急剧收敛保证。我们的速率反映了这些方法在凸二次和特征向量问题上的行为,突出了它们的可扩展性。当我们使用Krylov子空间解来近似正则化牛顿步时,我们的结果恢复了已知的最强收敛保证,以近似一般光滑非凸函数的二阶稳定点。
2020-03-10 math.OC
On two relaxations of quadratically-constrained cardinality minimization
本文考虑了二次约束基数最小化问题及其在数字滤波器设计、线性回归子集选择和投资组合选择中的应用。研究了两种弛豫:连续松弛的混合整数制定,和优化的对角松弛,利用一个简单的特殊情况下的问题。对于连续松弛,推导出最优成本的绝对上界,表明连续松弛往往是一个相对较差的近似。在计算实验中,对角松弛通常提供比连续松弛更强的边界,并且可以大大降低分支定界解的复杂性,即使在不是特别接近对角的情况下。相对于混合整数规划求解器CPLEX观察到类似的增益。基于这些结果,分析了对角松弛的近似性质。特别是,建立在定义的二次约束的矩阵的特征值的近似比的界限,也在对角占优和近坐标对齐的情况下。
2012-10-18 math.OC
A seven-point algorithm for piecewise smooth univariate minimization
在本文中,我们构造了一个算法,用于最小化分段光滑函数的导数信息是不可用的。该算法构造一对二次函数,在具有最小已知函数值的点的每一侧上一个,并选择这些二次函数的交点作为下一个测试点。该算法依赖于在特定范围内低估真实函数的二次函数,这是使用随着算法进行而修改的调整项来实现的。
2020-12-11 math.OC
A Penalty Method for Rank Minimization Problems in Symmetric Matrices
最小化对称正半定矩阵的秩问题可以等价地转化为带互补约束的半定规划问题。该公式要求两个正半定矩阵互补。这是一个连续的和非凸的重新制定的秩最小化问题。我们研究了SDCMPCC方程的局部最优解的镇定性,从而证明了任何局部最优解都是KKT点。我们开发了一个惩罚制定的问题。我们提出了冷静的结果,局部最优解的处罚制定。我们还开发了一个近端交替线性化最小化(PALM)计划的惩罚制定,并调查纳入一个动量项的算法。计算结果。
2018-02-01 math.OC
Affine matrix rank minimization problem via non-convex fraction function penalty
仿射矩阵秩最小化问题是一个在许多领域有着重要应用的基本问题。这是众所周知的,这个问题是组合和NP-困难的一般。本文研究了一个连续提升的低秩非凸分式函数来代替该NP难问题中的秩函数。受压缩感知研究的启发,提出了一种迭代奇异值阈值算法来解决正则化变换后的仿射矩阵秩最小化问题。对于不同的$a>0$,通过调整不同的$a$值,可以得到更好的结果,这也是迭代奇异值阈值分割算法相对于现有方法的优点之一。数值实验表明,该阈值算法对于求解正则化变换后的仿射矩阵秩最小化问题是可行的。证明了正则化参数$λ>0$的取值不能太大。实际上,存在$\barλ>0$,使得正则化变换的仿射矩阵秩最小化问题的最优解对于任何$λ>\barλ$都等于零。对矩阵补全问题的数值实验表明,该算法在寻找低秩矩阵方面具有很强的性能,对图像修复问题的数值实验表明,该算法比现有的一些方法具有更好的性能。
2017-04-30 math.OC
Quadratic minimization: from conjugate gradient to an adaptive Heavy-ball method with Polyak step-sizes
在这项工作中,我们提出了一个自适应变化的经典重球方法凸二次最小化。自适应性关键地依赖于所谓的“Polyak步长”,其包括使用手头的最优化问题的最优值的知识,而不是问题参数,例如问题的Hessian的几个特征值。这种方法恰好也等价于经典的共轭梯度法的一个变体,从而继承了它的许多吸引人的特性,包括它的有限时间收敛性、实例最优性和最坏情况下的收敛速度。经典的梯度法与Polyak步长是众所周知的表现非常好的情况下,它可以使用,并在这种方法中加入动量是否是可能的,可以改善方法本身的问题似乎是开放的。我们提供了一个明确的答案,这个问题的最小化凸二次函数,可以说是必要的第一步,在更一般的设置开发这样的方法。
2022-10-12 math.OC
Quartic First-Order Methods for Low-Rank Minimization
研究了低秩极小化问题的一个推广的非凸Burer-Monteiro公式。我们使用最近的结果,非欧几里德一阶方法,提供高效和可扩展的算法。我们的方法使用的几何形状诱导的四次内核矩阵空间;对于无约束的情况下,我们引入了一个新的家庭的革兰氏内核,大大提高了数值性能。欧氏距离矩阵完成和对称非负矩阵分解的数值实验表明,我们的算法规模以及达到最先进的性能相比,专门的方法。
2021-02-17 math.OC
Global optimization of quadratic root-difference minimization under elliptic annulus constraints
University of Science and Technology Beijing(北京科技大学);Beihang University(北京航空航天大学)
本文通过建立环形Brickman定理将非凸二次根差最小化问题等价转化为二维凸问题,并利用Frank-Wolfe算法全局求解,发现子问题的解可直接作为原问题的近似解,从而提出高效的迭代最小广义特征对算法。
2026-05-28 math.OC
A Counterexample for the Validity of Using Nuclear Norm as a Convex Surrogate of Rank
秩最小化由于其在数据恢复中的鲁棒性而引起了广泛的关注。为了克服计算上的困难,通常用核范数代替秩。对于几个秩最小化问题,这种替换在理论上已被证明是有效的,即,核范数最小化问题的解也是秩最小化问题的解。虽然很容易相信,这样的替代可能并不总是有效的,没有具体的例子已经被发现,我们认为,这样的有效性检查不能通过数值计算和显示,通过分析无噪声潜在的低秩表示(LatLRR)模型,即使是非常简单的秩最小化问题的有效性仍然可能会打破。作为一个副产品,我们发现,解决方案的核范数最小化制定LatLRR是非唯一的。因此,文献中报告的LatLRR结果可能存在疑问。
2013-07-01 math.OC stat.ML
Several classes of stationary points for rank regularized minimization problems
对于秩正则化极小化问题,我们通过问题本身及其等价的变换形式引入了几种稳定点,包括带平衡约束的数学规划(MPEC)、MPEC的全局精确罚函数、通过消除精确罚函数中的对偶部分而产生的替代函数.为这些平稳点建立了一个清晰的关系图,指导用户选择合适的重构来寻求低秩解。作为一个副产品,我们还提供了一个较弱的条件,局部极小的MPEC是M-稳定点的特征的方向限制法锥的图的法锥映射的半正定(PSD)锥。
2019-06-26 math.OC
Eigenvalue, Quadratic Programming, and Semidefinite Programming Bounds for a Cut Minimization Problem
考虑将图的节点集划分为给定大小的$k$集,从而得到使用(去除)第$k$集得到的\emph{minimize the cut}的问题.如果得到的割具有值$0$,那么我们得到了顶点分隔符。这个问题与图的划分问题密切相关。事实上,我们使用的模型与图划分问题的模型相同,除了不同的\emph{quadratic}目标函数。我们期待在已知的和新的界限,从各种放宽这个NP-困难的问题。这包括:标准特征值界、使用邻接矩阵和拉普拉斯算子的投影特征值界、基于最近成功的二次指派问题的二次规划(QP)界的QP界、以及半定规划界。我们包括大型和\emph{huge}的问题,说明在强度和时间方面的边界的效率的数值测试。
2014-11-18 math.OC
A New Nonconvex Strategy to Affine Matrix Rank Minimization Problem
仿射矩阵秩最小化(AMRM)问题是寻找一个满足给定线性系约束的最小秩矩阵。它在控制、推荐系统、矩阵完备化和网络定位等重要领域有着广泛的应用。然而,由于矩阵秩函数的组合性质,问题(AMRM)一般是NP-难的。许多替代函数被提出来代替矩阵秩函数,从而产生了许多相应的替代极小化问题,这些问题被一些流行的凸或非凸优化算法有效地解决。本文提出了一种新的非凸函数$TL_α^ε$函数(含$0\leqα<1$和$ε>0$)来逼近秩函数,并将NP难问题(AMRM)转化为$TL_{p}^ε$函数仿射矩阵秩最小化(TLAMRM)问题.首先研究了问题(AMRM)与(TLAMRM)的等价性,证明了当线性映射$\mathcal{A}$满足限制等距性(RIP)时,问题(TLAMRM)的全局极小解的唯一性也是NP-难问题(AMRM)的唯一解.其次,提出了一种迭代阈值算法来解决所有$0\leqα<1$和$ε>0$的正则化问题(RTLAMRM)。最后,通过对低秩矩阵补全问题的数值实验,证明了该算法能够恢复低秩矩阵,通过对图像修复问题的大量数值实验,证明了该算法在发现低秩图像方面的性能优于现有的一些方法.
2018-11-22 math.OC
Harnessing structure in composite nonsmooth minimization
针对非光滑函数与光滑映射的复合极小化问题,提出结合邻近步与序列二次规划步的算法,可局部识别最优光滑子结构并实现二次收敛,在两类问题上验证了性能。
2023-03-20 math.OC
A Flexible Algorithmic Framework for Strictly Convex Quadratic Minimization
本文提出一种灵活的严格凸二次函数最小化通用算法框架,通过组合负梯度与用户选择的多个子搜索方向并最小化超平面上的梯度范数,证明其线性收敛性,且对松弛和对称预处理仍成立,涵盖最速下降法和共轭梯度法等现有算法。
2025-05-07 math.OC
Necessary and Sufficient Null Space Condition for Nuclear Norm Minimization in Low-Rank Matrix Recovery
University of Iowa(爱荷华大学)
低秩矩阵恢复在机器学习、信号处理、协同滤波、系统辨识和欧几里得嵌入等科学和工程领域有着广泛的应用。但低秩矩阵恢复问题是一个NP难问题,因此具有挑战性。一种常用的启发式方法是核范数最小化。在文献[12,14,15]中,作者建立了核范数极小化的充要零空间条件(强零空间条件),以恢复所有可能的秩不超过r的低秩矩阵。此外,在[12]中,Oymak等人利用核范数最小化建立了一个成功恢复给定低秩矩阵的零空间条件(弱零空间条件),并导出了核范数最小化的相变。本文证明了文[12]中的弱零空间条件只是利用核范数极小化成功恢复矩阵的一个充分条件,而不是文[12]中所声称的必要条件。本文进一步给出了低秩矩阵恢复的一个弱零空间条件,它是核范数极小化成功的充要条件。在我们的推导的核心是一个不等式的特征块矩阵的核范数,并在该不等式的等式成立的条件。
2018-02-14 cs.IT cs.LG eess.SP
Stochastic Variance Reduced Gradient for affine rank minimization problem
本文提出了一种有效的随机方差降低梯度下降算法来解决仿射秩最小化问题,该问题包括从线性测量中找到一个最小秩的矩阵。该算法作为一种随机梯度下降策略,比全梯度算法具有更好的复杂度。它还减小了每次迭代时随机梯度的方差,加快了收敛的收敛速率。在约束等距条件下,我们证明了该算法线性收敛于期望解。数值实验表明,与现有的贪婪算法相比,该算法在效率、自适应性和精确度之间具有明显的优势.
2022-11-05 cs.IT math.IT math.OC
Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting
California Institute of Technology(加州理工学院)
研究了部分可观测线性二次型高斯控制系统的自适应控制问题,其中系统的模型动态是先验未知的。我们提出了LqgOpt,一种新的强化学习算法的基础上乐观的原则,在面对不确定性,以有效地减少整体控制成本。我们采用预测状态演化表示的系统动力学和部署最近提出的闭环系统辨识方法,估计和置信界建设。LqgOpt有效地探索系统动力学,估计模型参数到其置信区间,并部署最乐观模型的控制器以进行进一步的探索和开发。我们提供了LqgOpt的稳定性保证,并证明了$\tilde{\mathcal{O}}(\sqrt{T})$的遗憾上界的线性二次高斯(LQG)系统的自适应控制,其中$T$是问题的时间范围。
2020-06-24 cs.LG math.OC stat.ML
On a Family of Relaxed Gradient Descent Methods for Quadratic Minimization
本文研究用于二次优化的一族松弛ℓ-极小梯度下降方法,证明其梯度、迭代距离和函数值均线性收敛并给出迭代复杂度,同时证明在固定开销和存储预算下每种方法只需一次矩阵向量乘积即可实现,数值实验验证了松弛的益处。
2024-04-30 math.OC
Interference Alignment Designs for Secure Multiuser MIMO Systems: Rank Constrained Rank Minimization Approach
在本文中,我们制定的干扰对齐(IA)问题的多用户多输入多输出(MIMO)系统中存在的窃听作为一个秩约束秩最小化(RCRM)问题。所提出的秩最小化IA方案的目的是找到预编码和接收器子空间矩阵,以将干扰和窃听信号对齐到最低维度的子空间中,同时保持所需的信号子空间跨越全部可用的空间维度。针对秩函数的非凸性,提出了RCRM问题的两种凸松弛,即核范数(NN)和加权核范数(RNN),并将秩约束转化为等价的、易处理的约束.然后,我们推导出一个坐标下降的方法来获得IA计划的解决方案。仿真结果表明,我们提出的IA设计优于传统的IA设计的平均保密和率。另一方面,我们提出的设计执行相同或更好的比其他安全IA计划,占低干扰和窃听信号功率,而不是低维度的干扰和窃听信号矩阵的系统,实现完美的IA。
2015-08-04 cs.IT math.IT math.OC
Low-rank Matrix Completion using Alternating Minimization
Microsoft Research India(微软印度研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
交替最小化代表了一种广泛适用且经验上成功的方法,用于找到最适合给定数据的低秩矩阵。例如,对于低秩矩阵完成问题,这种方法被认为是最准确和最有效的方法之一,并成为Netflix挑战赛获奖作品的主要组成部分。在交替最小化方法中,低秩目标矩阵被写成双线性形式,即$X = UV^†$ ;然后算法在寻找最佳$U$和最佳$V$之间交替。通常,孤立的每个交替步骤是凸的和易处理的。然而,整个问题变得非凸,几乎没有理论上的理解,当这种方法产生一个很好的结果。在本文中,我们提出了第一个理论分析的交替最小化矩阵完成的性能,以及相关的矩阵检测问题。对于这两个问题,著名的最近的结果表明,他们成为适定性和易于处理的,一旦某些(现在的标准)条件施加在问题上。我们表明,交替最小化也成功在类似的条件下。此外,与现有的结果相比,我们的论文表明,交替最小化保证更快(特别是几何)收敛到真正的矩阵,同时允许一个更简单的分析。
2012-12-03 cs.LG math.OC stat.ML
RIP-based Performance Guarantee for Low Rank Matrix Recovery via $L_{*-F}$ Minimization
本文研究欠定线性系统中低秩矩阵恢复问题,提出以核范数与Frobenius范数之差为秩函数替代的 $L_{*-F}$ 最小化非凸松弛方法,并基于RIP条件分别给出无噪声和有噪声情形下的恢复误差上界与精确恢复充分条件。
2023-08-07 math.OC
Best-first Search Algorithm for Non-convex Sparse Minimization
非凸稀疏最小化(Non-convex Sparse Minimization,NSM),又称凸损失函数的$\ell_0$约束最小化,是一个重要的优化问题,在机器学习中有着广泛的应用。NSM一般是NP难的,因此在多项式时间内精确求解NSM几乎是不可能的。至于二次目标函数的情况下,精确算法的基础上二次混合整数规划(MIP)进行了研究,但没有现有的精确方法可以处理更一般的目标函数,包括Huber和逻辑损失,这是不幸的,因为这些功能在实践中是普遍的。在本文中,我们考虑NSM与$\ell_2$正则化凸目标函数,并开发了一个算法,利用最佳优先搜索(BFS)的效率。我们的BFS可以计算最多$Δ\ge0$的目标误差的解决方案,其中$Δ$是一个可控的超参数,平衡之间的权衡保证目标误差和计算成本。实验表明,我们的BFS是有用的解决中等大小的NSM实例与非二次目标,BFS也比基于MIP的方法应用于二次目标时更快。
2019-10-03 cs.DS math.OC
Necessary and Sufficient Conditions for Success of the Nuclear Norm Heuristic for Rank Minimization
在控制理论、机器学习和离散几何学的许多应用中,最小化受约束的矩阵的秩是一个具有挑战性的问题。这类最优化问题,称为秩最小化,是NP难的,对于大多数实际问题,没有有效的算法产生精确解。一种流行的启发式算法用决策变量的核范数(等于奇异值之和)代替秩函数。在本文中,我们提供了一个量化的充要条件时,这种启发式成功地找到了最小秩的解决方案的线性约束集。我们还提供了一个概率分布的仿射秩最小化问题的实例,使从这个分布中采样的实例满足我们的条件,以压倒性的概率成功提供的约束的数量是适当的大。最后,我们给出了经验证据,这些概率界提供了准确的预测的启发式的性能在非渐近的情况下。
2008-09-07 math.OC stat.CO stat.ML
New Null Space Results and Recovery Thresholds for Matrix Rank Minimization
核范数最小化(NNM)最近获得了显着的关注,其用于秩最小化问题。类似于压缩感知,使用零空间表征,在\cite{arxiv,Recht_Xu_Hassibi}中研究了NNM的恢复阈值。然而,仿真结果表明,阈值是远离最佳的,特别是在低秩区域。在本文中,我们应用最近的分析Stojnic压缩感知\cite{mihailo}的零空间条件的NNM。由此产生的阈值明显更好,特别是我们的弱阈值似乎与模拟结果相匹配。此外,我们的曲线表明,对于任何秩与矩阵大小$n$线性增长,我们只需要三倍的过采样(模型复杂度)弱恢复。与\cite{arxiv}类似,我们分析了弱阈值、分段阈值和强阈值的条件。另外,对正半定矩阵的特殊情况,也作了单独的分析。最后,我们讨论了模拟结果和未来的研究方向。
2010-11-29 cs.IT math.IT math.OC
General inertial smoothing proximal gradient algorithm for the relaxation of matrix rank minimization problem
我们考虑了Yu和Zhang(Comput.Optim.Appl. 1-20,2022)提出的矩阵秩最小化问题的精确连续松弛模型。受惯性技术的启发,我们提出了一种求解这类问题的通用惯性平滑近似梯度算法(GIMSPG)。证明了任意聚点的奇异值有一个公共的支撑集,非零奇异值有一个统一的下界。此外,在有限次迭代中,可以达到聚点的零奇异值。此外,我们证明了GIMSPG算法产生的序列的任何聚点是柔性参数约束下的连续松弛模型的提升平稳点。最后,分别对随机数据和图像数据进行了数值实验,验证了GIMSPG算法的有效性。
2022-04-15 math.OC
Fixed Point and Bregman Iterative Methods for Matrix Rank Minimization
仿射限制条件下的低秩矩阵的恢复问题广泛地出现在控制、信号处理及系统识别等许多领域中.该问题的最紧凸松弛是线性约束核范数最小化。虽然后者可以被看作是半定规划问题,但当矩阵很大时,这种方法的求解在计算上是昂贵的。本文提出了求解核范数最小化问题的不动点算法和Bregman迭代算法,并证明了第一种算法的收敛性.通过使用同伦方法和近似奇异值分解过程,我们得到了一个非常快速、鲁棒和强大的算法,我们称之为FPCA(不动点Continuation with Approximate SVD),它可以解决非常大的矩阵秩最小化问题。在随机生成矩阵和实矩阵完备化问题上的数值结果表明,与SDPT 3等半定规划求解器相比,该算法具有更快的速度和更好的可恢复性.例如,我们的算法可以在大约3分钟内恢复秩为50的1000 × 1000个矩阵,并且通过仅采样20%的元素,相对误差为1 e-5。据我们所知,没有其他方法可以实现如此好的可恢复性。在在线推荐、DNA微阵列数据集和图像修复问题上的数值实验验证了算法的有效性.
2009-05-12 cs.IT math.IT math.OC
ProPPA: A Fast Algorithm for $\ell_1$ Minimization and Low-Rank Matrix Completion
提出了一种求解一类优化问题的投影邻近点算法(ProPPA).该算法迭代计算最后估计的解的邻近点投影到一个仿射空间,这本身是平行的,并接近可行集。我们提供了理论上支持的一般算法的收敛性分析,然后将其应用于解决$\ell_1$ -最小化问题和矩阵完成问题。这些问题出现在许多应用中,包括机器学习、图像和信号处理。我们比较我们的算法与现有的国家的最先进的算法。实验结果表明,该算法是非常有效的和有竞争力的解决这些问题。
2012-05-19 cs.LG math.OC
Efficient Structured Matrix Rank Minimization
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Massachusetts Institute of Technology(麻省理工学院)
本文研究利用核范数正则化寻找结构低秩矩阵的问题,采用通用条件梯度方法提升效率,优于现有方法,在随机系统实现和谱压缩感知中有效恢复低秩解。
2015-09-08 cs.SY eess.SY math.OC
Efficient Recovery of Low Rank Tensor via Triple Nonconvex Nonsmooth Rank Minimization
最近提出了一种基于张量核范数(TNN)的方法来解决张量恢复问题,并取得了最先进的性能。然而,它可能无法产生高度准确的解决方案,因为它倾向于平等地对待每个正面切片和每个正面切片的每个秩分量。为了得到高精度的恢复,我们提出了一种通用的、灵活的秩松弛函数--双加权非凸非光滑秩(DWNNR)松弛函数,以有效地解决三阶张量恢复问题.通过将权向量设为某个凹函数的超梯度值,从而自适应地选择权向量,可以从三重非凸非光滑秩(TNR)松弛函数导出DWNNR松弛函数.为了加速该模型,我们发展了一般的惯性平滑近似梯度法。进一步证明了生成子序列的任一极限点都是临界点。结合Kurdyka-Lojasiewicz(KL)性质和一些较温和的假设,我们进一步给出了它的整体收敛保证.在一个实际的张量补全问题上的实验结果表明了该算法的有效性和优越性。
2022-05-12 math.OC
A Unified Framework for Rank-based Loss Minimization
本文提出了一种基于近端交替方向乘子法的统一框架,用于优化基于排名的损失,证明了算法在温和条件下的收敛性,并通过实验验证了其有效性和效率。
2024-01-03 math.OC
Manifold Quadratic Penalty Alternating Minimization for Sparse Principal Component Analysis
本文提出流形二次罚交替最小化(MQPAM)算法,用于稀疏主成分分析,结合黎曼梯度下降与闭式近端算子,实验显示其在稀疏性和CPU时间上优于或持平现有方法。
2024-11-11 math.OC
Strong Formulations for Quadratic Optimization with M-matrices and Indicator Variables
我们研究了具有指示变量和M-矩阵的二次优化,即,具有非正非对角项的PSD矩阵,其直接出现在具有交易成本的图像分割和投资组合优化中,以及一般二次最优化问题的子结构。我们证明,在温和的假设下,最小化问题是在多项式时间内可解的,通过显示其等价于一个子模块化的最小化问题。为了加强制定,我们分解成一个简单的二次函数,最多两个指标变量的总和,并提供这些集的凸包描述的二次函数。我们还描述了强锥二次有效不等式。初步的计算实验表明,所提出的不等式可以大大提高强度的连续松弛相对于标准的透视重构。
2018-04-14 math.OC
Tractable and Scalable Schatten Quasi-Norm Approximations for Rank Minimization
The Chinese University of Hong Kong(香港中文大学)
引入Schatten拟范数来弥补迹范数与秩函数之间的不足。然而,现有的算法是太慢,甚至不切实际的大规模问题。基于迹范数与其双线性谱罚之间的等价关系,我们定义了两个易于处理的Schatten范数,即给出了双迹和三迹范数的定义,并证明了它们本质上分别是Schatten- $1/2$和$1/3$拟范数.通过将这两个定义的Schatten拟范数应用于各种秩最小化问题,如MC和RPCA,我们只需要求解小得多的因子矩阵。我们设计了两个有效的线性化交替最小化算法来解决我们的问题,并建立我们的算法产生的每个有界序列收敛到一个临界点。我们还提供了基于约束强凸性(RSC)和MC误差界的算法。我们的实验结果验证了我们的算法的效率和有效性相比,国家的最先进的方法。
2018-02-28 cs.LG math.OC stat.ML
An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization
我们研究了一个牛顿式的方法来最小化一个目标函数,该目标函数是一个光滑的凸函数和一个l-1正则项的总和。该方法有时在文献中称为近似牛顿法,通过最小化目标函数的分段二次模型来计算步长。为了使这种方法在实践中有效,必须不精确地执行这种内部最小化。在本文中,我们给出了保证整体收敛和控制迭代局部收敛速率的不精确条件。我们的不精确条件是基于一个半光滑函数,它代表了问题的最优性条件的(连续)度量,并且体现了软阈值迭代。我们仔细考虑的算法内部最小化,并报告数值结果的两个测试集起源于机器学习。
2013-09-13 math.OC