Hidden convexity property of a speed planning problem
University of Parma, Department of Engineering and Architecture(帕尔马大学工程与建筑学院)
本文研究车辆预定义路径下的速度规划问题,针对能耗与行驶时间加权最小化的非凸模型,提出凸松弛方法,结合可行性边界收紧程序可得到原问题最优解,还证明可行域为格并给出可行域非空充要条件。
2025-10-29 math.OC
Hidden convexity in a problem of nonlinear elasticity
我们研究了可压缩和不可压缩的非线性弹性变分问题在一般情况下。我们的主要结果给出了一个平衡是整体能量极小的充分条件,在变形配置的压力凸性质。我们还提供了一个凸松弛的问题,连同其对偶制定,基于测度值映射,这与原来的问题,在我们的条件。
2020-11-03 math.AP math.OC
Hidden Convexity in the l0 Pseudonorm
所谓的l0平方根计数欧几里得空间的向量的非零分量的数量。众所周知,l0伪范不是凸的,因为它的Fenchel双共轭为零。在本文中,我们介绍了一个合适的共轭,诱导一个新的耦合,E-卡普拉,具有沿原始射线像l0的常数的属性。耦合E-卡普拉属于一类的单边线性耦合,我们介绍,我们表明,他们诱导共轭共享良好的性能与经典的Fenchel共轭。对于由耦合E-Capra引起的E-Capra共轭,我们将l0阶的E-Capra共轭和双共轭,其水平集的特征函数以及所谓的top-k范数序列联系起来.特别地,我们证明了l0的凸性等于它的双共轭:因此,l0的凸性是广义凸意义下的E-Capra-凸的。作为推论,我们证明了存在一个真凸下连续函数,使得该函数与l0连续函数在欧氏单位球面上重合。这个隐藏的凸性属性是有点令人惊讶的,因为l0函数是一个高度非凸的组合函数。我们提供了不同的表达式,这个真凸下连续函数,我们给出了明确的公式,在二维情况下。
2021-06-17 math.OC
Hidden Convexity-Based Distributed Operation of Integrated Electricity-Gas Systems
本文提出基于隐凸性的分布式最优能量流方法,通过逐节点解耦和半定规划等价凸化非凸子问题,并采用ADMM求解,有效处理大规模综合电力-天然气系统。
2024-07-08 cs.SY eess.SY math.OC
Beyond Convexity: Proximal-Perturbed Lagrangian Methods for Efficient Functional Constrained Optimization
Purdue University(普渡大学);Kennesaw State University(肯尼索州立大学);Illinois State University(伊利诺伊州立大学)
针对非凸函数约束优化问题,提出基于近端扰动增广拉格朗日的原始-对偶算法框架,在温和条件下收敛到稳定点,无需连续调整罚参数,并给出非渐近迭代复杂度及实验验证。
2025-10-28 math.OC
Stochastic Optimization under Hidden Convexity
本文研究隐藏凸性下的约束随机优化问题,提出使用投影随机(次)梯度方法,并首次给出全局收敛的样本复杂度保证,且在光滑设置下通过动量变体实现最后迭代收敛。
2024-11-09 cs.CC math.OC
Local properties and augmented Lagrangians in fully nonconvex composite optimization
本文研究完全非凸复合优化问题,讨论一阶与二阶最优性条件及缺乏凸性带来的困难,并对一种增广拉格朗日方法进行局部收敛性分析,给出收敛速率。
2024-05-15 math.OC
Hidden Convexity in Queueing Models
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Tech(佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院);School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹与信息工程学院)
本文研究了排队系统中到达和服务速率的联合控制,旨在最小化长期期望成本减收益。尽管目标函数非凸,但一阶方法能收敛到全局最优解。通过变量变换,问题可重新表述为凸优化问题,并建立PLK条件以支持一阶方法的全局收敛性。
2026-06-05 math.OC math.PR
On duality for nonconvex minimization problems within the framework of abstract convexity
通过应用扰动函数方法,我们提出了两个一般非凸函数之和极小化问题的拉格朗日量和共轭量。主要工具是$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理。我们提供的条件,确保零对偶差距,并介绍$Φ$ -Karush-Kuhn-Tucker条件,表征原始和对偶问题的解决方案。我们还讨论了本研究中引入的对偶问题与文献中存在的一些共轭型对偶问题之间的关系。
2021-10-01 math.OC
Lagrangian duality for nonconvex optimization problems with abstract convex functions
研究了非凸最优化问题的拉格朗日对偶。为此,我们利用$Φ$ -凸性理论和$Φ$ -凸函数极小极大定理.给出了零对偶间隙和强对偶的条件。在函数类中,我们的对偶结果可以应用到,是近有界函数,DC函数,弱凸函数和仿凸函数。
2020-11-18 math.OC
Revisiting Strong Duality, Hidden Convexity, and Gradient Dominance in the Linear Quadratic Regulator
University of California San Diego(加州大学圣地亚哥分校)
本文通过原始-对偶分析和凸重构,结合Riccati方程、SDP对偶及扩展凸提升框架,重新审视LQR中强对偶性、梯度优势和全局最优性,明确了其成立条件并扩展了梯度优势的表征。
2026-09-24 math.OC
D-ripALM: A Tuning-friendly Decentralized Relative-Type Inexact Proximal Augmented Lagrangian Method
Sun Yat-sen University(中山大学);Shenzhen Technology University(深圳理工大学);The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
D-ripALM是一种适用于多智能体网络共识凸优化的去中心化算法,通过相对型误差准则提升调优友好性和数值鲁棒性。
2026-02-06 math.OC
Global Solutions to Non-Convex Functional Constrained Problems with Hidden Convexity
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
针对含隐凸性的非凸约束优化问题,本文提出两类可证收敛到全局最优的算法,分别适配非光滑与光滑场景,无需约束规范,复杂度匹配无约束隐凸优化水平。
2025-11-13 cs.LG math.OC
An extension of the Polyak convexity principle with application to nonconvex optimization
本文考虑的主要问题是挑选出一类凸集,其凸性在非线性光滑变换下保持不变。由于B.T. Polyak的结果,本文研究了巴拿赫空间的一致凸子集类.作为主要结果,建立了这类集的凸性模、非线性映射点附近的正则性及其导数的Lipschitz连续性之间的一个定量条件,保证了一致凸集的象保持一致凸.应用所得到的凸性原理的存在性的解决方案,其特征和拉格朗日对偶理论在约束非凸优化进行了讨论。
2019-06-05 math.OC
Implicit augmented Lagrangian and generalized optimization
本文将增广拉格朗日框架扩展到无凸性假设的广义非线性规划,通过隐式表述和参数优化建立定制平稳性概念,推导乘子更新规则并证明收敛性,数值例子验证了该方法的建模灵活性和实际效益。
2023-08-02 math.OC
Hidden Convexity via Symmetric Displacement Covers: Mixed-Integer Quadratic Programming and Integer Cubic Programming in Fixed Dimension
Grado Department of Industrial and Systems Engineering, Virginia Tech(弗吉尼亚理工大学工业与系统工程系)
本文证明固定维数下有理三次多项式在整数点上的精确最小化可多项式求解,通过结合精确恒等式与整数查询分离预言机等技巧,并解释了三次为方法自然边界的原因。
2026-09-25 math.OC
Hidden Convexity in Active Learning: A Convexified Online Input Design for ARX Systems
针对ARX系统在线输入设计的非凸优化问题,提出精确凸重构方法实现全局最优求解,给出估计误差样本复杂度界,通过数值验证了算法与凸重构的有效性。
2025-09-03 cs.SY eess.SY math.OC
Relaxed Lagrangian Approach to First-Order Non-Convex Mean Field Type Control Problem
本文针对一阶平均场型控制问题中作用泛函非凸导致的困难,在Wasserstein空间上提出松弛拉格朗日方法,证明了新的松弛纳什均衡存在性,并说明该结果在凸数据条件下可涵盖经典平均场控制问题的存在性结论。
2025-06-03 math.OC
An Augmented Lagrangian Method for Optimization Problems in Banach Spaces
我们提出了一个变形的经典增广拉格朗日方法的约束最优化问题在巴拿赫空间。我们的理论框架不需要任何凸性或二阶假设,并允许处理不等式约束与无限维图像空间。此外,我们讨论了我们的算法的收敛性方面的可行性,全局最优性,和KKT条件。数值结果表明了该方法的可行性。
2018-07-12 math.OC
Global optimality in model predictive control via hidden invariant convexity
非凸最优控制问题发生在,例如,水或电力系统通常涉及通过非线性等式约束相关的大量变量。理想的目标是找到一个全局最优解,数值经验表明,针对Karush-Kuhn-Tucker点的算法通常会找到(接近)最优解。在我们的论文中,我们提供了一个理论基础,这一现象表明,在广泛的一类问题的目标可以被证明是一个不变的凸函数(invex函数)的控制决策变量时,消除状态变量使用隐函数理论。通过这种方式,可以证明近似全局最优性,其中全局最优性保证的确切性质取决于解决方案在可行集内的位置。在一个数值例子中,我们展示了如何获得高质量的解决方案,局部搜索的河流控制问题,不变凸持有。
2020-09-07 cs.SY eess.SY math.OC
Hidden Convexity of Fair PCA and Fast Solver via Eigenvalue Optimization
本文揭示了Fair PCA模型中的隐藏凸性,提出一种基于特征值优化的凸优化算法,在不牺牲性能的情况下实现重构损失公平性,且比基于SDR的算法快8倍。
2025-03-01 cs.AI cs.LG math.OC
Lagrangian dual method for solving stochastic linear quadratic optimal control problems with terminal state constraints
研究了在终态上具有逐点线性等式约束的随机线性二次型(LQ)最优控制问题。在代价泛函的一致凸性条件和线性约束映射的满射性条件下,证明了一个强Lagrange对偶定理。基于拉格朗日对偶,提出了两种求解约束随机LQ问题的方法。首先,给出了利用强对偶性构造封闭解的理论方法。其次,提出了一种迭代算法,称为增广拉格朗日方法(ALM)。证明了ALM产生的迭代序列的强收敛性。此外,还得到了约束映射满射的一些充分条件。
2023-01-20 math.OC
High-order augmented Lagrangian methods and robust multilevel inner solvers
Texas State University(德克萨斯州立大学)
本文提出了一种高阶增广拉格朗日方法,用于求解凸优化问题,实现了任意快速的收敛速度,并应用于数据拟合、流体流动和科学机器学习等领域。
2026-11-10 math.OC
Hidden Star-Convexity in Policy Optimization for Gain-Scheduled LQR: Extended Version
该研究针对增益调度LQR策略优化,建立了代价关于极小值点的星形凸性恒等式,明确了收敛的无量纲比率阈值,通过实验验证了阈值为代价景观的活跃边界,扩展版本补充了完整证明和数值研究。
2026-08-04 cs.SY eess.SY math.OC
Global Convergence of Control-Based Lagrangian Flows for Non-Convex Optimization
Politecnico di Torino(都灵理工大学);Université Claude Bernard Lyon 1(里昂第一大学)
本文研究由控制理论拉格朗日方法生成的连续时间动力学在等式约束优化中的全局指数收敛性,利用约束流形的几何结构克服了非凸性挑战。
2026-07-03 cs.SY eess.SY math.OC
Convexification of classes of mixed-integer sets with L$^\natural$-convexity
Université de Montréal(蒙特利尔大学);Northwestern University(西北大学)
基于L$^\natural$-凸性,研究混合整数集的凸化问题,提出线性不等式和凸包描述,揭示混合整数结构中的隐藏L$^\natural$-凸性。
2026-09-10 math.OC
Iteration Complexity Analysis of Multi-Block ADMM for a Family of Convex Minimization without Strong Convexity
乘子交替方向法因其优越的实用性能而被广泛应用于求解结构凸优化问题。然而,在理论方面,[7]中示出了一个反例,该反例表明用于最小化具有由线性约束链接的$N$块变量的$N$ $(N\geq 3)$凸函数的和的多块ADMM可能发散。因此,进一步研究输入侧上的充分条件以保证多块ADMM的收敛性是非常有意义的。现有的结果通常需要强凸性的部分目标。在本文中,我们提出的收敛性和收敛速度的多块ADMM适用于解决某些$N$块$(N\geq 3)$凸极小化问题,而不需要强凸性。具体地说,我们证明了以下两个结果:(1)多块ADMM通过对原问题求解一个相关的扰动,在$O(1/ε^2)$迭代内返回一个$ε$ -最优解;(2)当多块ADMM被应用于解决某个共享问题时,多块ADMM在$O(1/ε)$迭代内返回$ε$最优解,在增广拉格朗日函数满足Kurdyka-Lojasiewicz性质的条件下,该性质基本上覆盖了除某些病态情况外的大多数凸优化模型.
2015-05-19 math.OC
Connectivity via convexity: Bounds on the edge expansion in graphs
本文利用 He、Liu 和 Tawarmalani(2024)的分式规划凸化技术,将图的边扩展问题表述为完全正规划,并提出双重非负规划松弛及增广拉格朗日算法,在数百个顶点的图上高效获得强下界。
2024-10-03 math.OC
Unifying Farkas lemma and S-lemma: new theory and applications in nonquadratic nonconvex optimization
将非线性Farkas引理和S-引理统一为非线性非凸系统的一个广义择一性定理。它通过揭示隐含凸性,在全局求解非凸非二次最优化问题中提供了富有成效的应用。
2021-09-07 math.OC
Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions
Stanford University(斯坦福大学)
生成对抗网络(GANs)通常用于对复杂的数据分布进行建模。GANs的生成器和鉴别器通常都是由神经网络建模的,这就提出了一个非透明的优化问题,该问题在生成器和鉴别器上分别是非凸和非凹的。这类网络通常用梯度下降-上升(GDA)进行启发式优化,但目前还不清楚优化问题是否包含任何鞍点,或者探试法是否能在实践中找到它们。在这项工作中,我们通过凸对偶的镜头分析了Wasserstein GANs与双层神经网络鉴别器的训练,并针对各种生成器揭示了Wasserstein GANs可以用凸优化方法精确求解的条件,或者可以表示为凹凸游戏。使用这种凸对偶解释,我们进一步证明了不同的激活函数的影响。我们的观察结果进行了验证,数值结果表明凸解释的力量,与对应于CelebA图像生成的线性生成器和二次激活鉴别器的凸架构的渐进训练中的应用。我们的实验代码可以在https://github.com/ardasahiner/ProCoGAN上找到。
2022-03-21 cs.CV cs.LG eess.IV
Duality Between Lagrangians and Rockafellians
在他的专著\emph{Conjugate Duality and Optimization}中,Rockafellar提出了一种“扰动+对偶”的方法来获得一个原始极小化问题的对偶问题。首先,将极小化问题嵌入到一类扰动问题中(从而给出一个所谓的扰动函数);要极小化的原始函数的扰动最近被称为罗克费利。第二,当扰动变量属于一个原始向量空间,通过双线性型与一个对偶向量空间配对时,我们可以从一个洛克费利函数建立一个拉格朗日函数;我们还可以得到一个所谓的对偶函数(和一个对偶问题)。该方法已从Fenchel对偶扩展到广义凸性:当扰动属于一个原始集配对,通过耦合函数,与一个对偶集,一个也建立了一个Rockafellian从拉格朗日。遵循这些路径,我们强调拉格朗日和Rockafellians之间的二元性。在上面提到的材料主要集中在从洛克费利到拉格朗日的移动中,我们平等地对待它们并显示两种方式的公式。我们提出了一个定义的Lagrangian-Rockafellian夫妇。我们的特点,后者作为对偶函数,关于耦合,也在广义凸函数。微扰和对偶函数之间的对偶性并不那么清楚。
2023-03-10 math.OC
Lagrangian dual with zero duality gap that admits decomposition
本文针对具有块结构和耦合约束的混合整数规划,通过添加冗余约束提出两种重构方法,使拉格朗日对偶在保持可分解性的同时实现零对偶间隙,并给出装箱与覆盖问题的乘法界及稀疏情形的树分解适用性,实验表明其对偶界优于经典拉格朗日对偶和Gurobi。
2024-11-18 math.OC
A primal-dual majorization-minimization method for large-scale linear programs
提出了一种求解大型线性规划问题的原-对偶优化-极小化方法。针对对偶线性规划问题,导出了一个具有严格凸性的光滑障碍增广拉格朗日函数。自然地引入优化最小化方法来开发SBAL函数的光滑性和凸性。该方法只依赖于常数矩阵的因子分解而不依赖于迭代过程,不需要计算任何步长,因而特别适用于大规模线性规划.该方法与线性规划的一阶方法具有相似的性质,但其收敛性分析建立在SBAL函数的可微性和凸性基础上。在不要求原线性规划或对偶线性规划可行的前提下,分析了算法的整体收敛性。在正则条件下,证明了该方法的全局线性收敛性,并给出了一个新的迭代复杂度结果。
2022-08-07 math.OC
Existence of minimizers for generalized Lagrangian functionals and a necessary optimality condition --- Application to fractional variational problems
本文研究了定义在有界时间区间上的广义拉格朗日泛函的变分法的动态极小化问题,该泛函依赖于一般线性算子$K$。在正则性、凸性和非凸性的假设下,我们得到了极小解存在的充分条件。最后得到了Euler-Lagrange型最优性的最优性条件。当$K$是一般核算子时,特别是当$K$是Riemann-Liouville和Hadamard的分数次积分时,给出了一些特殊的例子.我们的结果的应用到最近的分数变分法给出了一个公开的问题的答案[摘要。2012,Art. ID 871912; doi:10.1155/2012/871912]。
2014-03-16 math.OC
Moreau Envelope Augmented Lagrangian Method for Nonconvex Optimization with Linear Constraints
增广拉格朗日方法是求解约束优化问题的一种有效方法。它的收敛性已经很好地建立在凸性假设或光滑性假设下,或在两个假设下。当底层问题同时是非凸和非光滑的时,ALM可能会经历振荡和发散。本文考虑了具有非凸(特别是弱凸)非光滑目标的线性约束问题。我们修改ALM使用Moreau包络的增广拉格朗日和建立其收敛的条件下,比那些在文献中。我们称之为Moreau包络增广拉格朗日(MEAL)方法。我们还表明,MEAL的迭代复杂性是$o(\varepsilon^{-2})$产生一个$\varepsilon$ -准确的一阶稳定点。我们建立其整个序列的收敛性(无论初始猜测)和率时,Kurdyka-Lojasiewicz属性被假定。此外,当MEAL的子问题没有封闭形式的解决方案,是难以解决的,我们提出了两个实用的MEAL的变种,一个不精确的版本称为iMEAL与近似的近端更新,和一个线性化的版本称为LiMEAL的约束问题与复合目标。它们的趋同性也得到了确立。
2021-12-09 math.OC
Optimal Transport Based Distributionally Robust Optimization: Structural Properties and Iterative Schemes
考虑了基于最优输运的具有局部强凸运输费用函数和仿射决策规则的分布鲁棒优化问题。在传统的凸性假设的基础上的损失函数,我们得到的价值函数,最优策略,和最坏情况下的最优输运对抗模型的结构结果。这些结果揭示了嵌入在DRO问题中的丰富结构(例如,强凸性,即使非DRO问题不是强凸的,DRO约束的拉格朗日的适当缩放等,这对于有效算法的设计至关重要)。作为这些结果的结果,可以开发有效的优化程序,具有相同的样本和迭代复杂度作为一个自然的非DRO基准算法,如随机梯度下降。
2021-04-26 math.OC
On a class of convex sets with convex images and its application to nonconvex optimization
本文建立了巴拿赫空间之间一致凸集通过$C^{1,1}$正则映射的象保持凸的条件。这些条件用给定集合的凸性模与其上映射的整体正则性之间的某种定量关系来表示,这样的结果使人们能够把Polyak的凸性原理推广到凸集的一个更广的子类中,而Polyak的凸性原理最初是与希尔伯特空间中点周围的小球象有关的。特别是,定期$C^{1,1}$变换下的凸性的保护的关键现象示出包括类的$r$ -凸集,其中的值$r$取决于所涉及的变换的规律性行为。讨论了与非凸优化有关的两个结果:第一个是无穷维约束极值问题全局解存在的充分条件;第二个是非线性数学规划最优性的零阶Lagrange型刻画.
2015-07-16 math.OC
Phase Retrieval from 1D Fourier Measurements: Convexity, Uniqueness, and Algorithms
本文认为相位恢复从一维过采样傅立叶测量的幅度,一个经典的问题,在科学和工程的各个领域的研究人员提出了挑战。我们表明,在最小二乘意义上的最优向量可以通过解决凸问题,从而建立一个隐藏的凸傅立叶相位恢复。我们还表明,在这种情况下,标准的半定松弛方法产生的最佳费用函数值(虽然不一定是一个最优解)。然后,推导出一种方法来检索多项式时间内的最佳最小相位解。利用这些结果,提出了一种新的测量技术,保证解决方案的唯一性,以及一个有效的算法,可以解决大规模的傅立叶相位恢复问题的唯一性和最优性保证。
2016-07-07 cs.IR cs.IT math.IT
Faster Accelerated First-order Methods for Convex Optimization with Strongly Convex Function Constraints
Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学)
在本文中,我们介绍了快速加速原始对偶法,以最小化一个凸函数的强凸函数的约束。在我们的工作之前,最好的复杂性界限是$\mathcal{O}(1/{\varepsilon})$,不管约束函数的强凸性。目前还不清楚强凸性假设是否可以实现更好的收敛结果。为了解决这个问题,我们开发了新的技术,逐步估计拉格朗日函数的强凸性。我们的方法,第一次,有效地利用约束强凸性,获得了改进的复杂性$\mathcal{O}(1/\sqrt{\varepsilon})$。该速率与强凸-凹鞍点优化的复杂度下界相匹配,因此是阶数最优的。我们展示了我们的方法在稀疏诱导约束优化,特别是谷歌的个性化PageRank问题的优越性能。此外,我们表明,重新启动的版本所提出的方法可以有效地确定最优解的稀疏模式在有限数量的步骤,结果似乎有独立的意义。
2024-11-27 cs.LG math.OC
Stochastic optimal transport with free end time
考虑了具有一般漂移依赖和自由终止时间的两个指定概率分布(源和目标)之间的随机运输问题。首先,为了建立一个对偶原理,我们将原问题的两个等价公式相关联,以保证其关于源和目标分布的凸性和下半连续性。给出了一个等价的欧拉形式,其对偶变分原理由Hamilton-Jacobi-Bellman型变分不等式给出.在漂移的依赖是有界的情况下,正则性结果的最小化的欧拉问题,然后使我们能够证明达到相应的对偶问题。我们还解决实现时的漂移组件的成本定义拉格朗日$L$是超线性$L \approx |u|^p$与$1<p<2$,在这种情况下,设置是让人想起我们的方法-在以前的工作-确定性控制运输问题的自由结束时间。最后,我们解决的标准下,最佳的漂移和停时是唯一的,即严格的凸性的漂移组件和时间的单调性的拉格朗日。
2019-09-11 math.AP math.OC
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法,该方法利用Bregman发散和相对光滑性假设,在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下,遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点,且收敛速度为O(1/k).在稍微严格的假设下,我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下,我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的,并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University(斯坦福大学)
本文基于几何(Clifford)代数与凸优化,证明深度ReLU网络的最优权重由训练样本楔积给出,将训练简化为楔积特征的凸优化,为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
On classical solutions and canonical transformations for Hamilton--Jacobi--Bellman equations
本文利用正则变换揭示确定性最优控制问题的隐藏凸性,从而证明一阶Hamilton--Jacobi--Bellman方程$C^{1,1}_{loc}$经典解的全局存在性。
2025-04-09 math.AP math.OC
On Landscape of Lagrangian Functions and Stochastic Search for Constrained Nonconvex Optimization
Georgia Institute of Technology(佐治亚理工学院);University of Minnesota(明尼苏达大学);Princeton University(普林斯顿大学)
我们研究机器学习、信号处理和随机控制中的约束非凸优化问题。这是众所周知的,这些问题可以改写为一个极大极小问题的拉格朗日形式。然而,由于缺乏凸性,他们的景观没有得到很好的理解,如何找到稳定的平衡的拉格朗日函数仍然是未知的。为了弥补这一差距,我们研究了拉格朗日函数的景观。此外,我们定义了一类特殊的拉格朗日函数。他们有两个特点:1.平衡点是稳定的或不稳定的(形式定义见第二节); 2.稳定平衡点对应于原问题的全局最优解。我们表明,广义特征值(GEV)问题,包括典型相关分析和其他问题,属于类。具体来说,我们通过利用不变群和对称属性来描述其稳定和不稳定平衡点(更多细节见第3节)。受这些整洁的几何结构,我们提出了一个简单,高效,随机的原始-对偶算法解决在线GEV问题。在理论上,我们给出了充分条件,在此基础上,我们利用扩散近似建立了在线GEV问题的渐近收敛速度,并得到了第一个样本复杂性结果,这在应用概率和随机控制中有着广泛的应用.数值结果支持我们的理论。
2019-10-27 cs.LG math.OC stat.ML
Solving Min-Max Optimization with Hidden Structure via Gradient Descent Ascent
Columbia University(哥伦比亚大学);Singapore University of Technology and Design(新加坡科技设计大学)
许多最近的AI架构都受到了零和对策的启发,然而,它们的动态行为仍然没有得到很好的理解。受此启发,我们研究标准梯度下降上升(GDA)动力学在一个特定的类的非凸非凹零和对策,我们称之为隐藏的零和对策。在这个类中,玩家控制平滑但可能非线性函数的输入,其输出被用作凹凸游戏的输入。与一般的零和对策不同,这些博弈有一个定义明确的解的概念;实现“隐藏”凹凸博弈的冯-诺依曼均衡的结果。我们证明,如果隐藏的游戏是严格凸凹然后香草GDA收敛不仅是当地的纳什,但通常的冯诺依曼解决方案。如果博弈缺乏严格的凸性,GDA可能无法收敛到任何均衡,然而,通过应用标准的正则化技术,我们可以证明收敛到一个轻微扰动的零和对策的冯诺依曼解决方案。我们的收敛保证是非局部的,据我们所知,这是第一个非凸非凹游戏的结果。最后,我们讨论了我们的框架与生成对抗网络的联系。
2021-01-13 cs.GT cs.LG math.OC