An Equivalence Between Static and Dynamic Regret Minimization
Università degli Studi di Milano(米兰大学);Politecnico di Milano(米兰理工大学);KAUST(阿卜杜拉国王科技大学)
该研究证明在线凸优化线性损失下动态与静态遗憾最小化等价,揭示损失方差与比较器可变性的下界权衡,首次证伪平方路径长度自适应的遗憾界,提出局部平滑可变性概念与对应动态遗憾保证算法。
2024-11-01 cs.LG math.OC stat.ML
A symmetric alternating minimization algorithm for total variation minimization
在本文中,我们提出了一种新的对称交替最小化算法来解决广泛的一类全变差(TV)正则化问题。与通常的$z^k\to x^k$ Gauss-Seidel循环不同,该算法执行特殊的$\overline{x}^{k}\to z^k\to x^k$循环。我们设置的主要思想是最近的对称高斯-赛德尔(SGS)技术,这是解决多块凸复合问题。这个想法也使我们能够建立所提出的方法和著名的加速近端梯度(APG)方法之间的等价性。该算法可以直接从APG框架中获得更快的收敛速度,包括图像去噪、图像去模糊和稀疏恢复问题的数值结果证明了新算法的有效性。
2020-06-05 cs.DS math.OC
Recovering Sparse Nonnegative Signals via Non-convex Fraction Function Penalty
现实世界中的许多实际问题都可以转化为具有非负约束的$\ell_{0}$ -极小化问题,它寻求欠定线性系的稀疏非负信号。它们在信号与图像处理、机器学习、模式识别和计算机视觉等领域有着广泛的应用。不幸的是,这个具有非负约束的$\ell_{0}$ -极小化问题是计算性的和NP-困难的,因为$\ell_{0}$ -范数的离散和不连续的性质。本文用一个非凸分式函数代替$\ell_{0}$ -范数,研究了这种非凸分式函数在从欠定线性系恢复稀疏非负信号中的极小化问题。首先讨论了$(P_{0}^{\geq})$与$(FP_{a}^{\geq})$的等价性,以及$(FP_{a}^{\geq})$与$(FP_{a,λ}^{\geq})$的等价性。证明了在满足一定条件的情况下,通过求解正则化问题$(FP_{a,λ}^{\geq})$可以近似地得到问题$(P_{0}^{\geq})$的最优解。其次,我们提出了一个非负的迭代阈值算法来解决正则化问题$(FP_{a,λ}^{\geq})$的所有$a>0$。最后,对稀疏非负信号恢复问题的数值实验表明,与线性规划相比,该方法能有效地发现稀疏非负信号。
2017-08-26 math.OC
On solving a rank regularized minimization problem via equivalent factorized column-sparse regularized models
本文研究秩正则化最小化的矩阵分解列稀疏模型,建立其与原问题及非凸松弛在全局极小点和强驻点意义下的等价性,并提出两种自适应高效算法。
2024-05-20 math.OC
The unified theoretical frame of logarithmic alternative model for sparse information recovery and its application in multiple source location problem by TDOA
稀疏信息恢复的核心问题是求解$l_0$ -极小化问题,该问题是NP难问题。一方面,为了恢复原始稀疏解,有很多文献设计了$l_0$ -极小化的替代模型。对数替代模型作为最常用的选择之一,在许多应用中得到了广泛的应用。在本文中,我们提出了一个统一的理论分析,这个替代模型设计的$l_0$ -最小化。通过理论分析,证明了该模型与原$l_0$ -极小化模型之间的等价关系。此外,本文的主要贡献是给出了该模型的统一恢复条件和稳定性结果。通过给出局部最优条件,设计了一个统一的算法,并给出了相应的收敛性结果。最后,我们用这个新算法解决了多信源定位问题。
2020-02-09 math.OC
Exact sparse reconstruction form Vandermonde matrices
作为经典线性代数的一个结论,一个欠定线性方程组通常有无穷多个解。这些解决方案中最简单的一个在许多应用中是重要的。该问题可以建模为$l_0$ -极小化问题,但求解欠定线性方程组的稀疏解是NP-困难的。因此,求解下面的$l_p$ -极小化问题($0<p\leq1$)的一个重要途径就是寻找一个$p$ -范数极小化解$(0<p\leq1)$而不是最稀疏解.为了研究$l_0$ -极小化和$l_p$ -极小化之间的等价关系,大多数相关工作采用了限制等距性质(RIP)和限制等距常数(RIC)。在RIP和RIC的前提下,它们只解决了$l_0$ -极小化的解$\breve{x}$满足$\|\breve{x}\|_0<k$的情况,其中$k$是已知的固定常数,且有$k<\frac{spark(A)}{2}$。本文的结果之一是给出了一个解析表达式$p^*$,使得对每个$\|\breve{x}\|_0<\frac{spark(A)}{2}$,$l_p$ -极小化等价于$l_0$ -极小化.在本文中,我们还考虑的情况下,矩阵$A$是范德蒙矩阵,我们提出了一个解析表达式$p^*$,使$l_p$ -最小化的解决方案也解决了$l_0$ -最小化。与基于RIP和RIC的类似结果相比,我们不需要唯一性假设,即,$l_0$-极小化的解$x^*$不必被假定为唯一解,这是我们结果的主要突破。我们的结果的另一个优点是它的可计算…
2020-05-03 math.OC
Inexact Alternating Minimization Algorithm for Distributed Optimization with an Application to Distributed MPC
在本文中,我们提出了不精确交替最小化算法(不精确AMA),它允许在算法中的不精确迭代,和它的加速变体,称为不精确快速交替最小化算法(不精确FAMA)。我们表明,不精确的AMA和不精确FAMA是等价的不精确的近梯度法和它的加速变种适用于对偶问题。基于这种等价性,我们推导出了不精确算法的迭代次数的复杂性上界。我们应用不精确AMA和不精确FAMA的分布式最优化问题,重点是分布式MPC的应用,并显示这种特殊情况下的收敛性。利用迭代次数的复杂性上界,给出了算法收敛的非精确迭代的充分条件。进一步研究了分布式最优化问题中二次局部目标的特殊情况,这是分布式MPC的一个标准式。对于这种特殊情况,我们允许在每次迭代的局部计算误差。利用一种热启动策略和误差收敛的充分条件,提出了一种确定求解局部问题迭代次数的方法,该方法保证了局部计算误差满足充分条件,使得不精确分布式优化算法收敛到最优解.
2016-08-01 math.OC
The equivalence between two classic algorithms for the assignment problem
我们给出了一个详细的审查两个算法,解决最小化的情况下的分配问题。Bertsekas拍卖算法和Goldberg & Kennedy算法。我们将证明,这些算法是等价的,在这个意义上说,都执行相同的步骤,在相同的顺序。我们还提出了实验结果比较三种算法的性能分配问题。他们表明,拍卖算法在实践中的性能和规模都优于那些难以实现但理论时间复杂度更高的算法。
2018-10-08 cs.DS math.OC
On the equivalence of static and dynamic weak optimal transport
Université catholique de Louvain(天主教鲁汶大学)
本文通过福克-计划克方程建立了弱最优传输问题的PDE形式,引入测度解的广义最小化问题,证明其与关联的弱传输问题等价。
2026-01-20 math.AP math.OC math.PR
A New Nonconvex Strategy to Affine Matrix Rank Minimization Problem
仿射矩阵秩最小化(AMRM)问题是寻找一个满足给定线性系约束的最小秩矩阵。它在控制、推荐系统、矩阵完备化和网络定位等重要领域有着广泛的应用。然而,由于矩阵秩函数的组合性质,问题(AMRM)一般是NP-难的。许多替代函数被提出来代替矩阵秩函数,从而产生了许多相应的替代极小化问题,这些问题被一些流行的凸或非凸优化算法有效地解决。本文提出了一种新的非凸函数$TL_α^ε$函数(含$0\leqα<1$和$ε>0$)来逼近秩函数,并将NP难问题(AMRM)转化为$TL_{p}^ε$函数仿射矩阵秩最小化(TLAMRM)问题.首先研究了问题(AMRM)与(TLAMRM)的等价性,证明了当线性映射$\mathcal{A}$满足限制等距性(RIP)时,问题(TLAMRM)的全局极小解的唯一性也是NP-难问题(AMRM)的唯一解.其次,提出了一种迭代阈值算法来解决所有$0\leqα<1$和$ε>0$的正则化问题(RTLAMRM)。最后,通过对低秩矩阵补全问题的数值实验,证明了该算法能够恢复低秩矩阵,通过对图像修复问题的大量数值实验,证明了该算法在发现低秩图像方面的性能优于现有的一些方法.
2018-11-22 math.OC
Adaptive Regularization Minimization Algorithms with Non-Smooth Norms and Euclidean Curvature
考虑了无约束非线性极小化问题的一种正则化算法(AR 1 pGN),该算法使用的模型由任意阶的泰勒展开式和包含可能非光滑范数的正则化项组成.结果表明,范数的非光滑性并不影响使用$p$导数求一阶$ε_1$ -近似极小值的计算复杂性的$O(ε_1^{-(p+1)/p})$上界,而且这个结果并不依赖于$\Re^n$中范数的等价性.它还表明,如果$p=2$,界的$O(ε_2^{-3})$评估寻找二阶$ε_2$近似极小仍然持有的变体AR 1 pGN命名为AR 2GN,尽管可能的非光滑性质的正则项。此外,适应现有的理论处理的非光滑结果在一个有趣的修改子问题终止规则,导致更紧凑的复杂性分析。特别是,它示出了当牛顿的步骤是可接受的自适应正则化方法。讨论了非光滑范数正则化的二次多项式的近似极小化问题,并给出了一个新的近似二阶最优性必要条件最优性条件。然后提出了一个专门的算法,以执行一阶和二阶条件,这些条件足够强,以确保在AR 1 pGN(当$p=2$)和AR 2GN中存在合适的步骤,并分析了其迭代复杂性。
2021-05-27 math.OC
Tractable ADMM Schemes for Computing KKT Points and Local Minimizers for $\ell_0$-Minimization Problems
我们考虑一个$\ell_0$最小化问题,其中$f(x) + γ\|x\|_0$是最小化的多面体集和$\ell_0$规范正则隐含强调稀疏的解决方案。这样的设置捕获了图像处理和统计学习中的一系列问题。由于这个范数的非凸和不连续性质,凸正则化子经常被用作替代。因此,关于直接求解$\ell_0$ -最小化问题知之甚少。受[19]的启发,我们考虑将$\ell_0$ -最小化问题的一个等价公式求解为一个具有互补约束的数学规划(MPCC),并对其KKT点的表征和计算做出了以下贡献:(i)首先,我们证明了该公式的可行点满足相对较弱的Guignard约束规格。在适当的$f(x)$凸性假设下,证明了一阶KKT点与MPCC方程的局部极小点之间的等价性. (ii)其次,我们应用两种交替方向法(ADMM)算法来利用MPCC公式的特殊结构:(ADMM $_{\rm cf}^{μ, α, ρ}$)和(ADMM $_{\rm cf}$)。这两个ADMM方案都有易处理的子问题。具体而言,尽管整体的非凸性,我们表明,第一个ADMM更新可以有效地减少到一个封闭形式的表达,通过识别一个隐藏的凸性属性,而第二个需要解决一个凸的程序。在(ADMM $_{\rm cf}^{μ, α, ρ}$)中,我们在较弱的假设下证明了该算法的渐近收敛到扰动KKT点.我们的初步数值实验表明,易于处理的ADMM计划比他们的标准同行和ADMM $…
2019-12-17 math.OC
Non-convex online learning via algorithmic equivalence
Google AI Princeton(谷歌AI普林斯顿);Princeton University(普林斯顿大学)
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题,在线非凸优化的遗憾最小化。我们表明,在一定的几何和光滑条件下,在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中,这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020,但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置,回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
An entropy minimization approach to second-order variational mean-field games
INRIA-Paris, MOKAPLAN(法国国家信息与自动化研究所巴黎分部,MOKAPLAN项目组);CEREMADE, UMR CNRS 7534, Université Paris IX Dauphine(巴黎第九大学,CNRS 7534联合研究实验室(CEREMADE));Indam, Unità SNS, Pisa, Italy(意大利比萨,意大利国家高等研究院数学与应用研究所(SNS));CNRS(法国国家科学研究中心)
本文提出了一种新的视角来研究具有扩散和二次哈密顿量的变分均场博弈,展示了此类均场博弈与概率曲线上的相对熵最小化等价,并讨论了此类问题的时间离散化,建立了时间步长趋于零时的Γ收敛结果,并提出了一种高效的算法,该算法依赖于这种熵解释以及Sinkhorn缩放算法。
2019-03-29 cs.NA math.AP math.NA
On the Equivalence of Stochastic Control and Path Space Formulations for Schrödinger Bridges over Compact Connected Lie Groups
New Jersey Institute of Technology(新泽西理工学院);University of California at Santa Cruz(加州大学圣克鲁兹分校);Iowa State University(爱荷华州立大学)
本文证明紧连通李群上薛定谔桥问题的随机控制与路径空间表述等价,并给出分析、概率和计算三方面意义,数值验证于环面。
2026-09-15 cs.AI cs.SY eess.SY
Strong Formulations for Quadratic Optimization with M-matrices and Indicator Variables
我们研究了具有指示变量和M-矩阵的二次优化,即,具有非正非对角项的PSD矩阵,其直接出现在具有交易成本的图像分割和投资组合优化中,以及一般二次最优化问题的子结构。我们证明,在温和的假设下,最小化问题是在多项式时间内可解的,通过显示其等价于一个子模块化的最小化问题。为了加强制定,我们分解成一个简单的二次函数,最多两个指标变量的总和,并提供这些集的凸包描述的二次函数。我们还描述了强锥二次有效不等式。初步的计算实验表明,所提出的不等式可以大大提高强度的连续松弛相对于标准的透视重构。
2018-04-14 math.OC
Monotone smoothing splines with bounds
将有界单调光滑样条函数问题转化为变分法的约束极小化问题。证明了该问题解的存在唯一性,并证明了它与有限维非线性最优化问题的等价性。利用分枝定界技术,提出了一种计算样条曲线解的新算法。该方法适用于神经科学的例子,并从数据拟合累积分布函数。
2020-01-21 math.OC
Tractable and Scalable Schatten Quasi-Norm Approximations for Rank Minimization
The Chinese University of Hong Kong(香港中文大学)
引入Schatten拟范数来弥补迹范数与秩函数之间的不足。然而,现有的算法是太慢,甚至不切实际的大规模问题。基于迹范数与其双线性谱罚之间的等价关系,我们定义了两个易于处理的Schatten范数,即给出了双迹和三迹范数的定义,并证明了它们本质上分别是Schatten- $1/2$和$1/3$拟范数.通过将这两个定义的Schatten拟范数应用于各种秩最小化问题,如MC和RPCA,我们只需要求解小得多的因子矩阵。我们设计了两个有效的线性化交替最小化算法来解决我们的问题,并建立我们的算法产生的每个有界序列收敛到一个临界点。我们还提供了基于约束强凸性(RSC)和MC误差界的算法。我们的实验结果验证了我们的算法的效率和有效性相比,国家的最先进的方法。
2018-02-28 cs.LG math.OC stat.ML
Asymptotic linear convergence of fully-corrective generalized conditional gradient methods
针对 Banach 空间中光滑凸损失与一次齐次正则项之和的最小化问题,提出 FC-GCG,并借助 Choquet 提升及与 PDAP 的联系证明其次线性及渐近线性收敛。
2023-01-25 math.OC
The Geometry of Adversarial Training in Binary Classification
Hausdorff Center for Mathematics(豪斯多夫数学中心);University of Bonn(波恩大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);North Carolina State University(北卡罗来纳州立大学)
我们建立了一个非参数二进制分类的对抗训练问题的家庭和一个家庭的正则化风险最小化问题,其中正则化是一个非局部周边功能之间的等价性。由此产生的正则化风险最小化问题承认$L^1+$(非局部)$\operatorname{TV}$,一种经常在图像分析和基于图形的学习中研究的形式的精确凸松弛。一个丰富的几何结构,揭示了这一重新制定,这反过来又使我们能够建立一系列的性质的最佳解决方案的原始问题,包括存在的最小和最大的解决方案(解释在一个合适的意义上),并存在的正规解决方案(也解释在一个合适的意义上)。此外,我们强调了对抗训练和周长最小化问题之间的联系如何为涉及周长/总变差的正则化风险最小化问题家族提供了一种新颖的、可直接解释的统计动机。我们的大多数理论结果与用于定义对抗攻击的距离无关。
2022-08-01 cs.LG math.AP math.MG
On damping a control system of arbitrary order with global aftereffect on a tree
本研究针对树上具有全局延迟的中性型泛函微分控制系统,通过能量最小化建立变分问题,并证明其等价于带基尔霍夫条件的自伴边值问题,同时证明了唯一可解性。
2023-12-29 math.OC
The difference of convex algorithm on Hadamard manifolds
本文提出Hadamard流形上的黎曼版凸差算法,证明其经典与简化版本等价、温和假设下良定义且序列聚点为目标函数临界点,建立DC问题对偶关系并通过数值实验验证有效性。
2023-05-02 math.OC
Wardrop equilibria : long-term variant, degenerate anisotropic PDEs and numerical approximations
CEREMADE, UMR CNRS 7534, Université Paris IX Dauphine(巴黎第九大学 CEREMADE 实验室)
本文研究了Wardrop平衡的长期变体,将其与退化各向异性椭圆PDE的变分问题等价,并通过数值模拟验证了其正则性结果。
2015-07-06 cs.NA math.AP math.NA
Efficient Low Rank Matrix Recovery With Flexible Group Sparse Regularization
本文提出灵活组稀疏正则化器(FLGSR)解决低秩矩阵恢复问题,将任意数量矩阵列作为单元分组,并设计非精确重启增广拉格朗日方法,通过外推线性化交替最小化实现快速收敛,实验验证了其优越性。
2024-01-18 math.OC
Exact Quadratic Penalty Function for Symplectic Eigenvalue Problem
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院计算数学与科学工程计算国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
本文提出一种迹惩罚最小化方法,将辛特征值问题转化为无约束迹惩罚函数的最小化问题,并开发了高效算法,通过梯度方法、Barzilai-Borwein步长规则和非单调线搜索技术,验证了其在计算效率和收敛速度上的优势。
2026-09-01 math.OC
Computational Models based on Synchronized Oscillators for Solving Combinatorial Optimization Problems
动力系统中能量的自然最小化与表征组合最优化问题的目标函数的最小化之间的等价性为设计动力系统启发的计算模型和此类问题的求解器提供了一种有前途的方法。例如,在二次谐波注入下,耦合电子振子的基态能量可以直接映射到最大割问题的最优解。然而,先前的工作集中在有限的一组这样的问题。因此,在这项工作中,我们制定了计算模型的基础上同步振荡器动力学的组合最优化问题,范围从最大-K切割(一般版本的最大切割问题)的流动推销员问题。我们表明,同步振荡器的动力学可以工程解决这些不同的组合最优化问题通过适当地设计耦合函数和外部注入振荡器。我们的工作标志着朝着扩展基于模拟器的模拟加速器的功能迈出了一步,并进一步扩大了组合最优化问题的动力系统求解器的范围。
2022-06-13 cs.CC math.OC
From the simplex to the sphere: Faster constrained optimization using the Hadamard parametrization
R^n中的标准单形,也称为概率单形,是一组非负向量,其元素之和为1。它们经常出现在机器学习、统计学、数据科学、运筹学等领域出现的最优化问题中。我们将标准单纯形转化为单位球面,从而将相应的约束最优化问题转化为一个简单的光滑流形上的最优化问题。我们证明了标准单纯形上最小化问题的KKT点和严格鞍点都对应于变换问题的KKT点和严格鞍点,反之亦然。解决一个问题就等于解决另一个问题。然后,我们提出了几个简单,有效的,和投影自由算法使用流形结构。等价性和所提出的算法可以推广到具有单位单纯形、加权概率单纯形或1-范数球约束的最优化问题。数值实验表明了新算法的优越性
2022-08-30 math.OC
Proximal Gradient Dynamics and Feedback Control for Equality-Constrained Composite Optimization
ETH, Zürich(苏黎世联邦理工学院);Scuola Superiore Meridionale, Italy(南方高等学院);Center for Control, Dynamical Systems, and Computation, UC Santa Barbara, CA, USA(加州大学圣塔芭芭拉分校控制、动力学与计算中心);DIEM, University of Salerno, Italy(萨莱诺大学工程与管理系)
针对等式约束复合优化问题,提出比例-积分近端梯度动力学(PI-PGD),通过收缩理论证明其收敛到稳定点,并在线性-指数收敛速率下给出上界。
2026-06-23 cs.SY eess.SY math.OC