On the Convexity of Image of a Multidimensional Quadratic Map
研究了一般多维二次映射象的凸性。我们通过一个适当的超平面将整个图像分成两部分,使得一部分是紧的,并给出了紧部分凸的充分条件。我们提出了一种方法来确定这样的凸部分的完整图像,可以在实际应用中使用。通过将超平面移到无穷远,我们将凸性的充分条件推广到二次映射的全象。作为相关结果,我们给出了一个新的条件,使m-元组的埃尔米特矩阵的联合数值域是凸的。最后,我们通过几个例子来说明我们的研究结果。特别地,我们证明了在直流网络的情况下的潮流方程的可解集的凸性。
2018-03-21 math.OC
Why Study the Spherical Convexity of Non-Homogeneous Quadratic Functions, and What Makes It Surprising?
本文研究非齐次二次函数的球面凸性,给出其必要、充分及等价条件,发现其与双曲、欧几里得空间测地凸二次函数的差异,重点分析正坐标单位向量球面凸集等场景及特殊矩阵情况。
2025-02-11 math.OC
The quadratic M-convexity testing problem
M-凸函数是赋值拟阵的推广,在离散凸分析中起着重要作用。二次M-凸函数是M-凸函数的一个基本而重要的子类,它与遗传算法以及数值约束满足问题有着密切的关系。本文考虑二次M-凸性检验问题(QMCTP),即判定$\{0,1\}^n$上给定的二次函数是否为M-凸的问题.我们表明,QMCTP是合作NP-完全的一般情况下,但在自然的假设下是多项式时间可解的。此外,我们提出了一个$O(n^2)$时间算法求解QMCTP在多项式时间可解的情况下。
2018-02-16 math.OC
Characterizations of Variational Convexity and Tilt Stability via Quadratic Bundles
本文借助二次束和 Moreau 包络的二次可微性,刻画无次微分连续性的 prox-正则函数的变分 s-凸性与倾斜稳定性。
2025-01-08 math.OC
Convexity of sets and quadratic functions on the hyperbolic space
本文研究了双曲空间上凸分析的一些概念。我们首先研究了固有距离的性质,例如给出了它的Hessian的谱分解。接下来,我们研究了凸集的概念和在这些集合上的内禀投影。我们还研究了凸函数的概念,给出了这些函数的一阶和二阶特征,以及与之相关的一些优化概念。对双曲凸二次函数也作了广泛的研究。
2022-07-12 math.OC
Aggregations of quadratic inequalities and hidden hyperplane convexity
本文研究二次不等式定义集合的凸包,提出隐藏超平面凸性(HHC)概念,证明当相关二次映射满足HHC时凸包可由特殊聚合定义,并推广了聚合定义凸包的已知结果。
2023-05-29 math.OC
Polyak's convexity theorem, Yuan's lemma and S-lemma: extensions and applications
推广了Polyak关于三个二次型到任意多个二次型的联合数值域的凸性定理,条件是它们可以由三个二次型的一个正定线性组合生成.我们的新结果覆盖了基本的Dines定理。作为应用,我们分别推广了袁的引理和S-引理。我们的扩展袁引理是用来建立一个更广义的假设比Haeser(J. Optim。Theory Appl.174(3):641-649,2017),在该条件下,标准的二阶必要最优性条件在局部极小点处成立。推广的S-引理揭示了具有两个双边二次约束的齐次最优化问题的强对偶性。
2021-08-19 math.OC
Level proximal subdifferential, variational convexity, and pointwise quadratic approximation
Chongqing Normal University(重庆师范大学);University of British Columbia Okanagan(不列颠哥伦比亚大学奥肯那根分校)
本文研究了水平近似子微分的系统性质,通过局部强非扩张性或局部相对单调性刻画变分凸性,并用于分析近端梯度法的局部收敛性,同时探讨了水平近似子微分的存在性、单值性和积分性,量化了函数的点wise二次近似特性。
2026-04-21 math.OC
The restricted strong convexity revisited: Analysis of equivalence to error bound and quadratic growth
约束强凸性是求凸极小化问题中下降法全局线性收敛速率的有效工具。近年来,全局误差界和二次增长特性作为新的竞争者出现。本文利用Ekeland的变分原理证明了这三个概念的等价性。针对闭凸集上的凸极小化和结构凸优化问题,分别利用梯度映射和邻近梯度映射,给出了这三个概念的一组修正形式和一组扩展形式,并证明了修正形式和扩展形式的等价性.基于这些等价的概念,我们建立了新的渐近线性收敛结果的近端梯度法。最后,我们重新讨论了多面体集上具有强凸可微函数的仿射映射的极小化合成问题,并在较弱的假设下得到了限制强凸型的一个加强性质。
2016-06-19 math.OC
Well-posedness of Stochastic Riccati Equations and Closed-Loop Solvability for Stochastic Linear Quadratic Optimal Control Problems
研究了由随机发展方程控制的随机线性二次型最优控制问题的闭环可解性。这种可解性是通过相应的Riccati方程的可解性建立的,这是由二次成本泛函的一致凸性所隐含的。最后讨论了保证代价泛函一致凸性的条件。
2019-01-18 math.OC
Mean-Field Stochastic Linear Quadratic Optimal Control Problems: Open-Loop Solvabilities
研究了一类确定性系数的平均场线性二次型(简称LQ)最优控制问题。结果表明,凸的成本功能是必要的有限性的平均场LQ问题,而一致凸的成本功能是足够的开环可解性的问题。通过考虑一族一致凸的代价泛函,得到了问题有限性的一个刻画,并构造了一个极小化序列,其收敛性等价于问题的开环可解性.然后证明了代价泛函的一致凸性等价于两个耦合微分Riccati方程的可解性,并且在代价泛函一致凸的情况下,唯一的开环最优控制存在状态反馈表示.最后,一些例子来说明理论发展。
2015-09-15 math.OC
Indefinite Stochastic Linear-Quadratic Optimal Control Problems with Random Coefficients: Closed-Loop Representation of Open-Loop Optimal Controls
研究了有限时间内随机线性二次型最优控制问题,其中允许控制系统的系数是随机的,且允许代价泛函中的权矩阵是随机的和不定的.它示出,与希尔伯特空间的方法,对于开环最优控制的存在,成本功能(相对于控制)的凸性是必要的;和一致的凸性,这是稍微强,原来是足够的,这也导致了唯一的可解性相关联的随机Riccati方程。此外,它表明,开环最优控制承认一个闭环表示。此外,还得到了代价泛函一致凸的若干充分条件,这些条件比加权矩阵值过程是正(半)定过程的经典条件具有严格的一般性.
2019-11-10 math.OC
On global properties of lower semicontinuous quadratically minorized functions
利用一类抽象凸性($Φ_{lsc}$ -凸性)的框架,研究了希尔伯特空间中下连续二次极小化函数的性质.证明了一个新的结果,即对于每个局部$Φ_{lsc}$ -次梯度,存在一个整体次梯度,这在我们的研究中起着至关重要的作用。给出了局部$C^{1,1}$函数、二次连续可微函数、近似正则函数和仿凸函数的抽象次可微性($Φ_{lsc}$ -次可微性)的条件.作为应用,我们建立了$Φ_{lsc}$ -凸函数的极大极小相等的一个新的充分必要条件.这个新条件用$Φ_{lsc}$ -次微分的热表示。
2020-04-10 math.OC
Hidden Convexity via Symmetric Displacement Covers: Mixed-Integer Quadratic Programming and Integer Cubic Programming in Fixed Dimension
Grado Department of Industrial and Systems Engineering, Virginia Tech(弗吉尼亚理工大学工业与系统工程系)
本文证明固定维数下有理三次多项式在整数点上的精确最小化可多项式求解,通过结合精确恒等式与整数查询分离预言机等技巧,并解释了三次为方法自然边界的原因。
2026-09-25 math.OC
Revisiting Strong Duality, Hidden Convexity, and Gradient Dominance in the Linear Quadratic Regulator
University of California San Diego(加州大学圣地亚哥分校)
本文通过原始-对偶分析和凸重构,结合Riccati方程、SDP对偶及扩展凸提升框架,重新审视LQR中强对偶性、梯度优势和全局最优性,明确了其成立条件并扩展了梯度优势的表征。
2026-09-24 math.OC
Classical and strong convexity of sublevel sets and application to attainable sets of nonlinear systems
给出了由多个实值$C^{1,1}$ -映射定义的子水平集分别为凸性和强凸性的充要条件。证明了强凸集的一个新的局部二次支撑刻画。利用有关强凸性的结果,得到了连续时间非线性系统的可达集是强凸的充分条件。这些条件的应用是一种新的方法来过近似可达集时,强凸性。
2014-06-23 math.OC
Dissipativity, Convexity and Tight O'Shea-Zames-Falb Multipliers for Safety Guarantees
我们开发了一种新的凸参数化积分二次约束的终端成本的次微分的凸函数,涉及一般的O 'Shea-Zames-Falb乘子。我们显示我们的研究结果的好处,减少保守性的现有技术,和草图应用程序的优化算法分析或神经网络控制器的稳定性分析。的发展是准备通过提供一个新的多变量映射和耗散理论的凸可积性之间的联系。
2022-07-04 math.OC
Last-iterate Convergence of ADMM on Multi-affine Quadratic Equality Constrained Problem
Technical University of Munich(慕尼黑工业大学)
本文研究了ADMM在多仿射二次等式约束问题中的收敛性,证明了在特定条件下ADMM具有线性收敛率,并通过机器人运动中的实例验证了理论结果。
2026-03-12 math.OC
On the Pervasiveness of Difference-Convexity in Optimization and Statistics
With the increasing interest in applying the methodology of difference-of-convex (dc) optimization to diverse problems in engineering and statistics, this paper establishes the dc property of many well-known functions not previously known to be of this class. Motivated by a quadratic programming based recourse function in two-stage stochastic programming , we show that the (optimal) value function of a copositive (thus not necessarily convex) quadratic program is dc on the domain of finiteness of the program when the matrix in the objective function's quadratic term and the constraint matrix a…
2019-02-19 math.OC
Stochastic Quadratic Dynamic Programming
School of Applied Mathematics, FGV(FGV应用数学学院)
本文提出了一种名为SQDP的算法,用于求解具有强凸回溯函数的多阶段随机优化问题,通过将仿射切线替换为二次切线扩展了经典SDDP方法,并证明了算法的收敛性。
2026-09-09 math.OC
On the convexity for the range set of two quadratic functions
本文研究两个二次函数值域集合的凸性,证明了其凸性等价于任意水平集对互不分离,并基于分离几何概念提出一种多项式时间检验程序。
2025-03-03 math.OC
Lagrangian Dual Sections: A Topological Perspective on Hidden Convexity
California Institute of Technology(加州理工学院);University of Missouri-Columbia(密苏里大学哥伦比亚分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文从拓扑视角提出拉格朗日对偶截面概念,为非凸优化问题给出隐藏凸性的充分条件,并在谱反问题、Stiefel流形优化及不平衡Procrustes问题中推广统一了已有结果,同时提出黎曼流形上的全局优化算法。
2025-11-06 math.OC
Pareto optimality conditions and duality for vector quadratic fractional optimization problems
一阶必要最优性条件是一阶必要最优性条件,它是对Karush-Kuhn-Tucker条件的推广。然而,为了获得充分的最优性条件,有必要对目标函数和约束集施加额外的假设。研究了带约束的向量二次分式最优化问题。结果表明,在黑塞矩阵的线性组合上,不需要对目标函数作广义凸性假设,就可以建立充分的Pareto最优性条件和主要的对偶定理.这一贡献的主要方面是帕累托最优性条件的发展基于一个类似的二阶充分条件的凸约束问题,没有凸假设的目标函数。这些条件可能是有用的,以确定终止标准的算法的发展。
2016-09-14 math.OC
Convexity of the image of a quadratic map via the relative entropy distance
设ψ:R^n --> R^k是R^n上由k个正定二次型定义的映射.我们证明了从psi像的凸包到psi像的相对熵(Kullback-Leibler)距离上有界于一个绝对常数。更准确地说,我们证明了对于每个点a=(a_1,...,a_k)在psi的图像的凸包中,使得a_1 +. +a_k =1存在点b=(b_1,.,b_k)在psi的图像中,使得b_1 +. + b_k =1且使得a_1ln(a_1/b_1)+. + a_k ln(a_k/b_k)< 4.8。同样,我们证明,对于任何整数m可以选择一个凸组合B的最多m点的图像psi,使a_1 ln(a_1/b_1)+. + a_k ln(a_k/b_k)< 15/sqrt{m}。
2013-05-01 math.FA math.MG math.OC
A Binary Characterization Method for Shape Convexity and Applications
Henan University(河南大学);Hong Kong Baptist University(香港浸会大学)
凸性先验是人类视觉和形状补偿的主要线索之一,在图像处理、计算机视觉等领域有着重要的应用。本文主要研究凸体的特征化方法及其在图像处理中的应用。本文提出了一种用二元函数表示凸对象的新方法,即区域的凸性等价于其指示函数上的一个简单的二次不等式约束。模型首先提出了结合这一结果的图像分割与凸性先验和凸包计算的一个给定的集合有和没有噪声。然后,将这些模型归结为一个具有二次不等式的二元函数的一般优化问题。提出了一种基于线性化技术的数值算法,线性化后的问题用保收敛的乘子交替方向逼近法求解。数值实验表明,所提出的图像分割和凸包计算方法在精度和计算时间上是有效的。
2022-10-04 cs.CV math.OC
The local convexity of solving systems of quadratic equations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了从二次测量中恢复秩r正定矩阵的问题,证明了在特定样本条件下,梯度下降法能线性收敛至正确解。
2016-06-01 cs.NA math.NA math.OC
Restarting the accelerated coordinate descent method with a rough strong convexity estimate
我们提出了新的重新启动策略的加速坐标下降法。我们的主要贡献是表明,对于一个很好的选择序列的重新启动的时间,重新启动的方法有一个接近几何的收敛速率。该方法的一个主要特点是可以利用目标函数的局部二次误差界,而不需要知道误差界的实际值。我们还表明,在更严格的假设下,目标函数是强凸的,任何固定的重新启动期间导致几何收敛速率。最后,我们说明了正则化的逻辑斯谛回归问题和Lasso问题的算法的性能。
2018-09-07 math.OC
Global Solutions to Large-Scale Spherical Constrained Quadratic Minimization via Canonical Dual Approach
本文给出了一类球面约束下的非凸二次极小化问题的全局最优解。该问题是众所周知的置信域子问题,并已被广泛研究了几十年。主要的挑战是所谓的“困难情况”,即,该问题在球的边界上具有多个解。利用正则对偶理论,可以将这一具有挑战性的问题转化为一个没有对偶间隙的一维正则对偶问题。利用试探性理论得到了判别问题是否为困难情形的充分条件和必要条件。提出了一种扰动法和相应的算法来解决这个困难的情况。理论结果和方法得到了大规模算例的验证。
2013-08-20 math.OC
First Order Methods beyond Convexity and Lipschitz Gradient Continuity with Applications to Quadratic Inverse Problems
我们专注于非凸和非光滑最小化问题的复合目标,其中的可微部分的目标是从通常的和限制性的全局Lipschitz梯度连续性假设。这种长期存在的光滑性限制是普遍的一阶方法(FOM),最近规避凸复合优化的Bauschke,Bolte和Teboulle,通过一个简单而优雅的框架,捕捉,所有一次,几何的功能和可行集。在这项工作的基础上,我们解决真正的非凸问题。我们首先补充和扩展他们的方法,通过引入光滑适应函数的概念,得到一个完整的扩展下降引理。然后,我们考虑了一种基于Bregman的逼近梯度法,该方法适用于具有光滑适应函数的非凸复合模型,并证明了该方法在对问题数据的自然假设下全局收敛于一个临界点.为了说明我们的一般框架和结果的权力和潜力,我们考虑了广泛的一类二次反问题的稀疏性约束,出现在许多基本的应用,我们应用我们的方法来获得新的全局收敛计划,这一类。
2017-06-20 cs.NA math.NA math.OC
Finite convergence of the Moment-SOS hierarchy under hidden convexity
CNRS(法国国家科学研究中心);Nanyang Technological University(南洋理工大学);LAAS-CNRS(法国国家科学研究中心自动分析与控制研究所);Toulouse School of Economics (TSE)(图卢兹经济学院);University of Toulouse(图卢兹大学)
本文研究了在隐含凸性下,矩-SOS层次在有限步内收敛的条件,并提供了精确阶的计算方法,证明了该层次能适应特定实例的隐含凸性特性。
2026-08-06 math.OC
Provable Acceleration of Heavy Ball beyond Quadratics for a Class of Polyak-Łojasiewicz Functions when the Non-Convexity is Averaged-Out
Yale University(耶鲁大学);Georgia Institute of Technology(佐治亚理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对一类非凸性被平均化的PL函数,提出新技术分析Hessian变化对收敛速度的影响,证明重球法超越二次函数的加速,并展示自适应动量参数的优势。
2023-08-29 cs.LG math.OC
Bundle methods with quadratic cuts for deterministic and stochastic strongly convex optimization problems
本文提出基于二次割的QCC、QB及DASC方法,用于求解确定性与随机强凸优化问题,并证明其复杂度与收敛性,实验表明DASC在大强凸常数下显著快于SDDP。
2024-10-01 math.OC
Convexity of Decentralized Controller Synthesis
本文研究去中心化控制问题中控制器集的凸性,证明了控制器集的凸性等价于二次不变性,并进一步探讨了二次不变性对闭环映射集凸性的必要性与充分性。
2014-01-28 cs.SY eess.SY math.OC
A convexity preserving nonconvex regularization for inverse problems under non-Gaussian noise
该研究针对非高斯噪声下的线性回归逆问题,提出带非凸正则项的保凸模型,给出凸性与极小值存在的充分条件,设计收敛到全局最优的近端分裂算法,并在同步削波修复与去噪场景验证了非凸增强凸稀疏正则化器的有效性。
2025-09-03 math.OC
Gradient-Only Online Convex Optimization with a Single Quadratic Leader
针对仅知次梯度且未知强凸参数的有界域在线凸优化,提出尺度不变算法,耦合投影自适应梯度下降与单一二次领导者,实现无对数因子的遗憾界及强凸改进。
2026-10-20 math.OC
On The Geometric Analysis of A Quartic-quadratic Optimization Problem under A Spherical Constraint
本文研究了一类特殊的单球约束四次-二次最优化问题的求解问题,即寻找$\frac{1}{2}\mathbf{z}^{*}A\mathbf{z}+\fracβ{2}\sum_{k=1}^{n}\lvert z_{k}\rvert^{4}$的全局和局部极小点,使得$\lVert\mathbf{z}\rVert_{2}=1$ .这个问题跨越了量子力学和化学等多个领域,我们研究了这个最优化问题的几何性质。四阶最优性条件的特点是局部和全局极小。当二次项中的矩阵是对角矩阵时,问题没有虚假的局部极小值,并且可以显式地表示全局解并在$O(n\log{n})$运算中计算。当$A$为秩1矩阵时,在一定的相移格式下,问题的全局极小值是唯一的。当四次项的系数$β$至少为$O(n^{3/2})$或不大于$O(1)$时,证明了二阶型算法的严格鞍点性质,该性质可表示二阶型算法的多项式时间收敛性.最后,对四次-二次问题的Kurdyka-Lojasiewicz指数进行了估计,并证明了对于一大类不动点,该指数为${1}/{4}$.
2019-08-02 math.OC
Error bounds, quadratic growth, and linear convergence of proximal methods
最小化光滑与非光滑凸函数之和的近似梯度算法即使没有强凸性也经常线性收敛。一个常见的原因是,每次迭代时的步长倍数可能会线性限制“误差”--到解集的距离。我们解释了观察到的线性收敛直观地证明了这样一个误差界的等价性的自然二次增长条件。我们的方法推广到线性收敛分析的近似方法(高斯-牛顿型)最小化的非光滑函数与光滑映射的组合。我们顺便观察到,在算法中的短步长表示近平稳性,这表明一个可靠的终止标准。
2016-06-27 math.OC
Error bounds, PL condition, and quadratic growth for weakly convex functions, and linear convergences of proximal point methods
University of California San Diego(加州大学圣地亚哥分校)
本文研究了弱凸函数中误差界、PL条件和二次增长等正则条件之间的关系,并证明了近点法在凸和弱凸优化问题中的线性收敛性。
2026-02-03 cs.SY eess.SY math.OC
Consensus-ADMM for General Quadratically Constrained Quadratic Programming
非凸二次约束二次规划(QCQP)问题在信号处理、机器学习和无线通信中有着广泛的应用,尽管一般的QCQP是NP难的,并且一些有趣的特殊情况也是NP难的。本文提出了一种新的通用QCQP算法。该问题首先被重新表述为共识优化形式,其中的交替方向法的乘法器(ADMM)可以应用。重新制定是这样一种方式,每个子问题是一个QCQP只有一个约束(QCQP-1),这是有效地解决(非)凸性无关。核心组件经过精心设计,使整个算法更具可扩展性,包括求解QCQP-1的有效方法,内存高效实现,并行/分布式实现和智能初始化。该算法,然后在两个应用程序中进行测试:多播波束形成和相位检索。结果表明优于现有技术的方法的性能。
2016-07-07 math.OC
A Globally Linearly Convergent Method for Pointwise Quadratically Supportable Convex-Concave Saddle Point Problems
研究了Drori、Sabach和Teboulle最近提出的求解由光滑凸函数、有限个非光滑凸函数和双线性项组成的非光滑结构凸凹鞍点问题的\emph{Proximal Alternating Predictor-Corrector}(PAPC)算法.我们引入逐点二次可支持性的概念,这是一个放松的标准强凸性假设,并允许我们表明,原始序列是R-线性收敛到一个最优解和原始对偶序列是全局Q-线性收敛。我们说明所提出的方法全变差去噪问题和局部自适应估计信号/图像反卷积和去噪与多分辨率统计约束。
2017-02-28 math.OC
Linearly involved Generalized Moreau Enhanced Model with Non-quadratic Smooth Convex Data Fidelity Functions
本文提出一种扩展LiGME模型的整体凸模型,将最小二乘项推广至一般光滑凸函数,以利用非二次保真函数,并给出极小元存在条件及保证收敛至全局极小元的内循环免费算法,在泊松去噪和去削波去噪中验证有效性。
2025-09-09 math.OC
A uniform rate of convergence for the entropic potentials in the quadratic Euclidean setting
Université Paris Cité & Sorbonne Université, CNRS, Laboratoire Jacques-Louis Lions (LJLL)(巴黎西岱大学与索邦大学,法国国家科学研究中心,雅克-路易·利翁斯实验室)
本文研究了二次欧几里得空间中熵势及其梯度向Brenier势和其梯度的统一收敛速率,适用于满足凸性假设的绝对连续测度。
2026-02-20 math.AP math.CA math.OC
Exponential Stability of Primal-Dual Gradient Dynamics with Non-Strong Convexity
本文研究非强凸情形下原始-对偶梯度动力学的指数稳定性,通过设计两个二次李雅普诺夫函数,证明了在特定条件下系统可实现全局或局部指数稳定,并用数值实验验证了理论结果。
2019-05-01 cs.SY eess.SY math.OC
A theorem of the alternative with an arbitrary number of inequalities and quadratic programming
本文研究了一个涉及任意多个不等式函数的Gordan型定理。我们不仅在弱凸性假设下证明了它的有效性,而且证明了它是一个最优结果。我们讨论了最近的几个结果的推广非线性二次优化,以及一个公式的Fenchel共轭的上确界的一个家庭的功能,为了说明该定理的适用性的替代品。
2017-04-17 math.FA math.OC
On Bi-Objective convex-quadratic problems
本文分析了双目标凸二次问题的理论性质。我们给出了它们的Pareto集的完整描述,并证明了它们的Pareto前沿的凸性。证明了当两个黑塞矩阵成比例时,Pareto集是一条线段.然后,我们提出了一组新的凸二次测试问题,描述了它们的理论性质和算法所需的能力,这些测试问题。这特别包括测试关于可分性、病态问题、旋转不变性以及帕累托集是否与坐标轴对齐的灵敏度。
2018-12-01 cs.NE math.OC
Source Conditions for non-quadratic Tikhonov Regularisation
本文考虑希尔伯特空间上线性算子方程解的凸Tikhonov正则化。我们表明,可以采用标准的分数源条件,以获得收敛速度的Bregman距离,假设一些更强的凸性的正则化项或其凸共轭。在二次正则化的特殊情况下,我们能够再现从经典理论已知的整个范围的Hölder型收敛速度。
2020-02-21 cs.NA math.NA math.OC
Global Riemannian Acceleration in Hyperbolic and Spherical Spaces
我们进一步研究了黎曼流形上的加速优化现象,通过引入全局一阶加速方法来优化定义在双曲空间或球面子集上的$L$ -光滑且测地凸(g-凸)或$μ$ -强g-凸函数.对于欧氏空间以外的流形,这些是第一种方法,\emph{globally}实现了与欧氏空间中关于$L$和$ε$(以及$μ$,如果适用)的加速梯度下降相同的速率,直到对数因子。由于几何变形,我们的利率有一个额外的因素,取决于初始距离$R$的极小和曲率$K$,相对于欧几里德加速算法作为我们的解决方案的代理,我们解决了一个约束非凸欧几里德问题,在凸性和\emph{quasar-convexity}之间的条件下,独立的利益。此外,对于任意截面曲率有界的黎曼流形,我们给出了从光滑g-凸函数的最优化方法到光滑强g-凸函数的方法的约化,反之亦然.我们还减少了全局优化的优化有界球的曲率的影响减少。
2023-01-13 math.OC stat.ML
Logarithmic Regret for Online Gradient Descent Beyond Strong Convexity
Technion - Israel Institute of Technology(以色列理工学院)
Hoffman的经典结果给出了一个关于一个点到一个凸紧多面体的距离的界,这个界是根据违反约束的大小而定的。最近,一些结果表明,霍夫曼的界限可以用来获得强凸状率的一阶方法的\textit{offline}凸优化曲线,但不是强凸,功能,在多面体集。在这项工作中,我们使用这个经典的结果,第一次获得更快的速度为\textit{online convex optimization}在多面体集弯曲凸,虽然不是强凸,损失函数。我们表明,在几个合理的假设下的数据,标准的\textit{Online Gradient Descent}算法保证对数遗憾。据我们所知,唯一以前的算法,以实现对数遗憾在所考虑的设置是\textit{Online Newton Step}算法,它需要二次(在维度)的内存和至少二次运行时间每次迭代,这大大限制了其适用于大规模的问题。特别是,我们的研究结果适用于\textit{semi-adversarial}设置,其中数据是任意(对抗)序列和随机序列的组合,这可能为许多真实世界的序列提供合理的近似,或者在自然假设数据是低秩的情况下。我们通过实验证明,遗憾的OGD确实是可比的ONS(甚至更好)弯曲,但不是强凸损失。
2019-02-18 cs.LG math.OC
Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$,其中$f$是光滑凸的,$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时,即使$f$不是强凸的,vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作,要么要求$f$和$g$是二次函数,或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术,在每次迭代中使用“鬼”更新作为参考,并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧,我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度(SVRG)方法。
2019-02-03 cs.LG math.OC stat.ML
Principal Component Hierarchy for Sparse Quadratic Programs
Delft University of Technology(代尔夫特理工大学);Stanford University(斯坦福大学);VinAI Research(VinAI研究院);Umea University(于默奥大学)
我们提出了一种新的近似层次基数约束,凸二次规划,利用秩占主导地位的特征向量的二次矩阵。每一级近似都有一个最小-最大特征,其目标函数可以在二进制变量上解析地优化,同时保持连续变量的凸性。利用这一属性,我们提出了两个可扩展的优化算法,被称为“最佳响应”和“双程序”,可以有效地筛选潜在的索引的非零元素的原始程序。我们表明,所提出的方法是有竞争力的现有的筛选方法在当前的稀疏回归文献中,它是特别快的实例与大量的测量在实验中与合成和真实的数据集。
2021-05-25 cs.LG math.OC stat.ML
Non-Dissipative and Structure-Preserving Emulators via Spherical Optimization
用有限级数逼近函数,例如,涉及多项式或三角函数,是计算和数据分析中的关键工具。通过现在的标准方法(如最小二乘法或压缩采样)构建这种近似并不能确保近似符合某些凸线性结构约束,如正性或单调性。确保这种结构的现有方法是规范耗散的,并且这在应用这些方法时可能具有有害影响,例如,当数值求解偏微分方程时。我们提出了一个新的框架,通过优化这种结构的近似值,同时保持范数。这导致在概念上简单的球面上的凸优化问题,但是这样的问题的可行集可能非常复杂。我们通过球面凸性的结果建立了最优化问题的适定性,并设计了几种基于球面投影的算法来数值计算解。最后,我们通过几个数值例子证明了这种方法的有效性。
2021-08-26 cs.NA math.NA math.OC
Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of California, Berkeley(加利福尼亚大学伯克利分校);New York University(纽约大学);Princeton University(普林斯顿大学)
本文针对随机零阶反馈下的强凸且二阶光滑函数优化问题,首次建立了极小极大简单遗憾的紧致上下界,并提出一种结合引导阶段与镜像下降阶段的算法,通过精确刻画球面采样梯度估计器实现最优偏差-方差权衡。
2024-06-28 cs.IT cs.LG math.IT