An Alternative Perspective on Copositive and Convex Relaxations of Nonconvex Quadratic Programs
研究了非凸二次规划的凸松弛问题。我们确定了一个家庭的所谓的可行性保持凸松弛,其中包括著名的正和双非负松弛,与凸松弛是可行的,当且仅当非凸二次规划是可行的。我们观察到,在这个家庭中的每一个凸松弛隐式地导致一个凸低估的目标函数上的可行域的二次规划。这种对凸松弛的另一种观点使我们能够建立相应的凸低估的几个有用的性质。特别地,当二次规划可行域的回收锥不包含任何负曲率方向时,证明了由余正松弛引起的凸低估子正是二次规划目标函数的凸包络,从而为Burer关于余正松弛的精确性的著名结果提供了又一个证明.我们还提出了一个算法配方,用于构建有限的最优值,但无界双非负松弛的二次规划的实例。
2020-05-30 math.OC
Well-posedness and approximation of reflected McKean-Vlasov SDEs with applications
University of Nottingham(诺丁汉大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
本文研究了反射麦肯-沃拉斯随机微分方程的适定性及其粒子近似,并应用于受限域中的采样和优化问题。
2024-12-28 cs.NA math.NA math.OC
Chance constrained problems: a bilevel convex optimization perspective
机会约束是在不确定环境中设计安全决策的一个有价值的工具,它们被用来模拟目标概率满足约束。然而,由于可能的非凸性和非光滑性,优化的机会约束集是具有挑战性的。本文建立了机会约束问题的一个精确的转化形式,将其转化为具有凸下层的双层问题。然后,我们推导出一个易于处理的惩罚方法,惩罚的目标是一个不同的凸函数,我们用一个合适的聚束法最小化。我们发布了一个易于使用的开源python工具箱来实现该方法,特别强调快速计算子例程。
2021-03-19 math.OC
Variable Aggregation-based Perspective Reformulation for Mixed-Integer Convex Optimization with Symmetry
School of Economics and Management, North China Electric Power University(华北电力大学经济与管理学院);Thayer School of Engineering, Dartmouth College(达特茅斯学院塔克工程学院);School of Economics and Management, University of Chinese Academy of Sciences(中国科学院大学经济与管理学院);Department of Industrial and Systems Engineering, North Carolina State University(北卡罗来纳州立大学工业与系统工程系)
本文提出一种基于变量聚合和视角重构的方法,用于解决具有对称性的混合整数凸优化问题,通过精确刻画可行区域的凸包来提升松弛效果。
2026-02-04 math.OC
SDEs for Minimax Optimization
University of Basel(巴塞尔大学);ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所);MPI for Intelligent Systems Tübingen(蒂宾根智能系统马克斯·普朗克研究所);AI Center(人工智能中心);Yahoo! Research(雅虎研究院);University of Oslo(奥斯陆大学)
本文首次用随机微分方程对极小极大优化器进行建模分析,为随机梯度下降-上升、随机外梯度和随机哈密顿梯度下降建立可证明近似的SDE模型,并基于Itô微积分推导收敛条件与闭式解。
2024-02-19 cs.LG math.OC
A Geometric Perspective on Polynomially Solvable Convex Maximization
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文从几何角度研究凸最大化问题在何种结构条件下可多项式求解,引入共单调性概念,建立其数学刻画,并提出统一的枚举框架,证明固定秩凸最大化问题可多项式求解,同时改进复杂度界。
2026-04-30 math.OC
The Role of Memory in Stochastic Optimization
Department of Computer Science(计算机科学系);ETH Zürich(苏黎世联邦理工学院)
如何保留过去梯度信息的选择极大地影响了最先进的随机优化方法的收敛特性,如Heavy-ball,Nesterov的动量,RMSprop和Adam。在此基础上,我们使用随机微分方程(SDES)明确研究记忆在基于梯度的算法中的作用。我们首先推导出一个通用的连续时间模型,该模型可以在确定性和随机设置中包含任意类型的记忆。我们提供了收敛保证,这是弱拟凸和二次增长的功能。然后,我们演示了如何离散化这个神经网络,以获得一个灵活的离散时间算法,可以实现从短期到长期的记忆板频谱。该算法不仅增加了从业者在算法选择上的自由度,而且在凸随机环境中具有比经典动量更好的稳定性。特别是,收敛不需要平均。有趣的是,我们的分析还提供了一个新的解释Nesterov的动量作为稳定的梯度放大,并强调了其不稳定的行为在(凸)随机设置的可能原因。此外,我们讨论了使用长期记忆的二阶矩估计的自适应方法,如亚当和RMSprop。最后,我们提供了一个广泛的实验研究不同类型的记忆在凸和非凸设置的效果。
2020-03-11 cs.LG math.OC stat.ML
A three-operator splitting perspective of a three-block ADMM for convex quadratic semidefinite programming and extensions
凸二次半定规划问题是一个带有耦合线性等式约束的3块可分凸优化问题,近年来,针对凸二次半定规划问题,提出了几种收敛的多块变分交替方向法(ADMM),并通过其对偶求解了该问题.在这些ADMM型算法中,[Chang等人,神经计算机二百一十四:575- 586(2016)]具有一个特殊的特征,即增广拉格朗日函数不必相对于与目标函数的二次项相对应的块变量被最小化。在本文中,我们奠定了这种现象的理论基础,通过解释这个修改后的3块ADMM作为一个实现的3算子分裂框架。基于这一观点,我们能够将这种修改的3块ADMM扩展为广义3块ADMM,它不仅适用于更一般的凸复合二次规划设置,而且还承认实现更好的数值性能的潜力。
2018-07-05 math.OC
Simulated annealing with hit-and-run for convex optimization: rigorous complexity analysis and practical perspectives for copositive programming
我们使用Abernethy和Hazan [arXiv 1507.02528v2,2015]建议的温度更新类型对Kalai和Vempala [Math of OR 31.2(2006):253-266]的模拟退火算法进行了严格的复杂性分析。该算法只需要假设可行集的成员预言,我们证明了它返回一个解决方案在多项式时间内,这是近最优的高概率。此外,我们提出了一些修改,以提高该方法的实际性能,并提出了一些数值结果的测试问题,从共正规划。
2019-07-04 math.OC
Theoretical Perspectives on Jabr-Type Convex Relaxations for AC Optimal Power Flow
University of Pavia(帕维亚大学)
本文从多线性等式角度统一审视Jabr松弛的强化技术,揭示循环约束与多线性一致性条件的关系,探讨凸化交互图与可行集的区别,提供统一框架整合图结构、多线性凸化与锥松弛。
2026-04-01 math.OC
A Different Perspective On The Stochastic Convex Feasibility Problem
我们分析了一个简单的随机次梯度近似解的凸泛函约束的随机系统的方法,唯一的输入算法的大小是minibatches。通过引入一个新的概念是什么意思的一个点近似解决的约束,确定预期的迭代次数的界限减少到确定一个复合伯努利过程,基本概率的首中时。除了对期望迭代次数的边界非常一般,我们很容易建立关于迭代次数的集中不等式,更有趣的是,我们建立了改进的边界,当一个类似于Hölderian增长的概念被满足时,对于所有的增长度,不仅仅是分段线性凸函数的线性增长或强凸函数的二次增长。最后,我们建立了类似的结果下,稍微修改的算法,导致在用户知道与高置信度的一个近似解决系统的一个工具在手。也许令人惊讶的是,这里的迭代边界是确定性的--所有的概率都包含在置信水平中(尽管以潜在的大的小批量为代价)。
2021-08-26 math.OC
Multiobjective Balanced Gradient Flow: A Dynamical Perspective on a Class of Optimization Algorithms
本文提出多目标平衡梯度流(MBGF)动力系统,为多目标优化的归一化梯度方法提供动力学视角,证明凸场景下其收敛于弱帕累托点,并给出凸与非凸场景的收敛速率分别为O(1/t)和O(1/√t)。
2025-08-24 math.OC
Fréchet derivatives of expected functionals of solutions to stochastic differential equations
在分析由随机微分方程(SDEs)描述的随机动力系统时,经常感兴趣的是分析随机微分方程解的泛函的期望值对随机微分方程参数摄动的灵敏度。在本文中,我们考虑的路径泛函的解决方案,依赖于一个停时。我们推导出公式Fréchet导数的期望值的这些泛函相对于有界扰动的漂移,使用Cameron-Martin-Girsanov定理的变化的措施。利用这些导数,我们构造了一个例子,表明将漂移的变化发送到相应的相对熵的映射一般不是凸的。然后,我们分析的存在性和唯一性的随机最优控制问题的解决方案定义在可能的随机时间间隔,以及基于梯度的数值方法解决这样的问题。
2021-06-16 cs.NA math.NA math.OC
An approximate Itô-SDE based simulated annealing algorithm for multivariate design optimization problems
本文针对高维非凸设计优化问题,提出结合Itô随机微分方程生成器和多元样条插值的改进模拟退火算法,以高效探索搜索空间寻找全局最优解。
2019-01-30 cs.NA math.NA math.OC
Nonlinear controllability and function representation by neural stochastic differential equations
University of Illinois(伊利诺伊大学)
最近,人们对函数的学习和逼近产生了很大的兴趣,这些函数可以表示为关于其随机内部参数的给定非线性的期望。这种表示的例子包括“无限宽”神经网络,其中潜在的非线性由单个神经元的激活函数给出。在本文中,我们把这种观点的神经随机微分方程(SDEs)的功能表示。神经网络是一个伊藤扩散过程,其漂移和扩散矩阵是某些参数族的元素。我们表明,神经网络实现其初始条件的非线性函数的能力,可以涉及到的问题,最佳地转向一定的确定性动力系统之间的两个给定的点在有限的时间。这个辅助系统是通过用确定性控制输入正式取代控制器中的布朗运动而得到的。我们得出的最小控制努力,以完成这一转向的上限和下界,这些界限可能是独立的运动规划和确定性的最优控制的背景下感兴趣。
2022-12-01 cs.LG math.OC
An optimal control perspective on diffusion-based generative modeling
Caltech(加州理工学院);Zuse Institute Berlin(柏林祖斯研究所);dida Datenschmiede GmbH(迪达数据 Schmiede 有限公司);Meta AI
本文从随机最优控制视角研究基于SDE的扩散生成模型,推导出控制对数密度演化的HJB方程,证明证据下界是验证定理的推论,并提出性能更优的时间反转扩散采样器(DIS)。
2024-03-26 cs.LG math.OC stat.ML
Gaining or Losing Perspective for Convex Multivariate Functions on a Simplex
通过二元指示变量的原点和多面体之间的析取的MINLO(混合整数非线性最优化)公式在非线性组合优化中具有广泛的适用性,用于对与执行一组$d$活动相关联的固定成本$c$和与活动水平相关联的凸变量费用函数$f$进行建模。透视松弛通常用于在分支定界上下文中求解此类模型的最优性,特别是在$f$是单变量的上下文中(例如,Markowitz风格的投资组合优化)。但是这样的松弛通常需要圆锥解算器,并且通常与可以容纳额外类别的约束的通用NLP软件不兼容。这激发了对较弱弛豫的研究,以调查何时简单弛豫可能是足够的。比较体积(即,勒贝格测度)作为比较的手段,我们把与一元函数$f$有关的一些结果推广到多元函数。一路上,我们调查,连接和扩展有关的结果整合在一个单纯形,其中一些我们具体采用,和其他人可以用于进一步探索我们的主要课题。
2023-02-04 math.OC
Gaining or losing perspective for convex multivariate functions on box domains
本文研究箱型域上凸多元函数的透视松弛,以体积衡量紧致性,并借助三角剖分构造最小凹上界,将单纯形情形的结果推广到箱型情形。
2024-04-10 math.OC
Lagrangian Dual Sections: A Topological Perspective on Hidden Convexity
California Institute of Technology(加州理工学院);University of Missouri-Columbia(密苏里大学哥伦比亚分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文从拓扑视角提出拉格朗日对偶截面概念,为非凸优化问题给出隐藏凸性的充分条件,并在谱反问题、Stiefel流形优化及不平衡Procrustes问题中推广统一了已有结果,同时提出黎曼流形上的全局优化算法。
2025-11-06 math.OC
Enhanced computation of the proximity operator for perspective functions
本文为Hilbert空间上任意正常下半连续凸函数的透视函数提供了显式邻近算子表达式,增强并推广了已知公式,并通过非径向函数示例验证了其适用性。
2024-11-11 math.OC
A Continuous-time Perspective for Modeling Acceleration in Riemannian Optimization
我们提出了一个新的二阶常微分方程作为连续时间限制的黎曼加速梯度为基础的方法与曲率有界的流形从下面。这个常微分方程可以看作是欧几里得空间的常微分方程的推广,也可以作为一种分析工具。我们研究了这类常微分方程对测地凸、强凸和弱拟凸函数的收敛性。我们演示了如何使用半隐式和Nesterov启发的数值积分,经验产生稳定的算法,忠实于连续时间分析,并表现出加速收敛,这样的常微分方程可以离散化。
2020-03-08 math.OC
Particle-based algorithm for stochastic optimal control
本文将基于正反向McKean-Vlasov SDE和概率密度比的值函数表示方法推广到更一般的随机最优控制问题,并结合集成Kalman滤波与扩散映射技术提出高效鲁棒的粒子算法。
2024-02-27 cs.NA math.NA math.OC
Gaining or losing perspective
我们研究了析取$x\in\{0\}\cup[l,u]$的MINLO(混合整数非线性优化)公式,其中$z$是$x\in[l,u]$($u> \ell > 0$)的二元指标,$y$“捕获”$f(x)$,假设$f(x)$在其域$[l,u]$上是凸的,但当$x=0$时,$y=0$是凸的。当活动具有操作范围,我们为执行每个活动支付固定成本,并且活动水平上的成本是凸的时,该模型是有用的。利用体积作为凸体比较的度量,我们研究了该模型的各种连续松弛,其中之一是凸壳,通过“透视重构”不等式$y \geq zf(x/z)$实现。我们将其与各种较弱的放松方法进行比较,研究它们何时可以被视为可行的替代方案。在重要的特殊情况下,当$f(x) := x^p$,对于$p>1$,利用不等式$yz^q \geq x^p$,对于$q \in [0,p-1]$的松弛,是高维幂锥可表示的,因此在理论上是易处理的。一个著名的具体应用(使用$f(x) := x^2$)是均值-方差优化(Markowitz风格),我们进行了一些实验来说明我们在此应用上的理论。
2020-01-06 math.OC
UGM: A Unified Framework and New Perspectives for Accelerated Gradient Methods in Smooth and Strongly Convex Optimization
Data Science and AI Institute, and Department of Applied Mathematics and Statistics, Johns Hopkins University(约翰斯·霍普金斯大学数据科学与人工智能研究所及应用数学与统计系);School of Mathematics, Nanjing University(南京大学数学学院)
本文提出名为UGM的统一框架,将重球法与梯度下降结合,开发增强型加速梯度算法,经实验验证其在两类优化问题上性能优于基线方法。
2026-08-28 math.OC
Global Solutions of Stochastic Stackelberg Differential Games under Convex Control Constraint
研究了一类Stackelberg随机微分对策,其中系统由随机微分方程(以下简称微分方程)驱动,控制输入随机扰动系数(漂移和扩散).控制区域被假定为凸的。利用一阶伴随方程(后向随机微分方程,简称Bracket),分别在适应开环结构和闭环无记忆信息结构下,建立了领导者全局Stackelberg解的Pontryagin最大值原理最大值原理,其中全局表示领导者对整个博弈持续时间的控制.由于跟随者的伴随方程是一个随机微分方程,领导者将面临一个状态方程是一种\emph{fully}耦合的正倒向随机微分方程(简称FBBMM)的控制问题.作为应用,我们研究了一类线性二次Stackelberg对策,其中控制过程被约束在全空间$\mathbb{R}^{m}$的闭凸子集$Γ$中。状态方程由一类在$Γ$上具有投影算子的全耦合全倒向随机微分方程表示。利用单调性条件方法,得到了这类倒向随机微分方程解的存在唯一性。当控制域为全空间时,我们得到了后向随机Riccati方程。
2021-08-11 math.OC
Learning with Submodular Functions: A Convex Optimization Perspective
INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院)
子模函数与机器学习相关至少有两个原因:(1)一些问题可以直接表示为子模函数的优化,以及(2)子模函数的lovasz扩展为监督学习和无监督学习提供了一组有用的正则化函数。在这本专著中,我们提出了理论的次模函数从凸分析的角度来看,提出了紧密的联系,某些多面体,组合优化和凸优化问题。特别是,我们展示了次模函数最小化是如何等价于解决各种各样的凸优化问题。这使得新的高效算法的近似和精确的子模函数最小化的理论保证和良好的实际性能的推导。通过列出许多子模块函数的例子,我们回顾了机器学习的各种应用,如聚类,实验设计,传感器放置,图形模型结构学习或子集选择,以及一个家庭的结构稀疏诱导规范,可以派生和使用的子模块函数。
2013-10-08 cs.LG math.OC
Gaining or Losing Perspective for Piecewise-Linear Under-Estimators of Convex Univariate Functions
我们研究MINLO(混合整数非线性优化)配方的析取$x\in\{0\}\cup[\ell,u]$,其中$z$是一个二元指标的$x\in[\ell,u]$($0 \leq \ell <u$),和$y$“捕获”$f(x)$,这是假定为凸和积极的域$[\ell,u]$,但否则$y=0$时,$x=0$。该模型在非线性组合优化中非常有用,其中存在在操作范围$[\ell,u]$中的水平$x$处操作活动的固定成本,然后存在进一步的(凸)可变成本$f(x)$。特别是,我们研究了松弛相关的一个自然的分段线性下估计$f$,通过选择$f$线性化点的透视变换。使用三维体积(在$(x,y,z)$)作为一个凸松弛的紧密性的措施,我们调查作为$f$,$\ell$,$u$的函数的松弛质量,和线性化点的选择。对凸幂函数$f(x):=x^p$,$p>1$进行了详细的研究.
2020-09-15 cs.OH math.OC
Exact Hull Reformulation for Quadratically Constrained Generalized Disjunctive Programs
本文提出精确 hull 改进方法,用于解决二次约束通用离散程序,避免近似并保持求解器友好结构,提升求解稳定性与效率。
2026-03-17 math.OC
A Galerkin approach to optimization in the space of convex and compact subsets of $\R^d$
本文的目的是建立一个理论的Galerkin逼近空间的凸和紧子集的$\R^d$具有良好的性质,无论是从理论和计算的角度来看。这些Galerkin空间首先深入探讨,然后用于解决$\R^d$的凸和紧子集的空间中的优化问题近似。
2019-05-17 math.OC
Accelerated Bregman Proximal Gradient Methods from Dual Geometric Perspectives
The University of Tokyo(东京大学);RIKEN(理化学研究所)
提出一族几何加速Bregman近端梯度算法,无需三角形缩放等额外条件,通过局部回溯自适应步长,实现凸目标O(k^-2)、相对强凸线性、非凸O(k^-1)收敛,并在多个数值实验中验证了加速效果。
2026-09-29 math.OC
New insights in smoothness and strong convexity with improved convergence of gradient descent
研究梯度型方法的收敛性和复杂性的起始假设可能是光滑性(也称为梯度的Lipschitz连续性)和强凸性。在这篇文章中,我们重新审视这两个基本属性,从一个新的角度,激发他们的定义和等价刻画,以及改进的线性收敛的梯度下降法。
2021-10-29 math.OC
A class of generalized Nesterov's accelerated gradient method from dynamical perspective
本文从连续时间动力学视角提出一类由参数对(α,r)索引的广义Nesterov加速梯度方法,统一并插值凸与强凸情形,并通过构造Lyapunov函数证明其在μ-强凸函数上无需已知μ即可获得优于Nesterov的收敛速率。
2025-08-18 math.DS math.OC
A new perspective on low-rank optimization
Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院);London Business School(伦敦商学院)
本研究引入矩阵透视函数,结合正交投影矩阵提出矩阵透视重构技术,可高效生成各类低秩问题的强凸松弛,推广了混合整数优化的透视重构方法。
2022-03-02 cs.LG math.OC stat.ML
Regularization in Data-driven Predictive Control: A Convex Relaxation Perspective
University of California San Diego(加利福尼亚大学圣地亚哥分校)
本文通过凸松弛视角探讨数据驱动预测控制中正则化的作用,提出A-DDPC方法,通过迭代算法解决内层问题,实验表明其在减少偏差和方差误差方面优于现有方法。
2026-10-19 cs.SY eess.SY math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题,在线学习(OL)从显示的偏好:学习者希望学习一个非战略代理的私人效用函数,通过观察代理的效用最大化的行动,在不断变化的环境。我们采用了在线逆优化设置,学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数,然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架,使一个统一的处理损失函数,并支持各种在线凸优化算法。我们证明与理论和实证证据表明,我们的框架的基础上新的损失函数(特别是在线镜像下降)的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设,以及显着的优势。
2021-06-04 cs.LG math.OC
When Graph Structure Provably Helps Classification: Non-Asymptotic Recovery Guarantees
Department of Computer Science and Engineering(计算机科学与工程系);Chalmers University of Technology(楚德大学);University of Gothenburg(哥德堡大学);Department of Electrical Engineering(电气工程系)
本文从凸图聚类视角研究直推式节点分类,提出在谱图聚类中融合节点标签与特征的优化问题,证明节点特定信息可在更温和条件下保证完美恢复社区,并通过算法与实验验证图结构与节点信息的协同作用。
2026-11-13 cs.LG math.OC
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University(耶鲁大学)
本文综述了将凸优化问题作为可微层嵌入神经网络的方法,梳理其从二次规划到一般凸优化的发展,并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC
Minimizing a Sum of Clipped Convex Functions
我们考虑的问题,最小化的削减凸函数的总和,应用包括削减经验风险最小化和削减控制。虽然最小化裁剪凸函数和的问题是NP-难的,我们提出了一些近似解决这些问题的实例的算法。这些方法可以用来找到好的(如果不是全球性的)解决方案,并且在实践中似乎效果良好。我们还描述了一种替代配方,透视变换的基础上,这使得问题服从混合整数凸规划,并产生计算上易处理的下界。我们说明我们的启发式方法之一,通过将其应用到各种例子,并使用透视变换来证明的解决方案是相对接近的全局最优值。本文附有一个开源的实现。
2019-10-29 math.OC stat.ML
Convex Programs and Lyapunov Functions for Reinforcement Learning: A Unified Perspective on the Analysis of Value-Based Methods
Coordinated Science Laboratory(协同科学实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于值的方法在马尔可夫决策过程(MDP)和强化学习(RL)中发挥着重要作用。在本文中,我们提出了一个统一的控制理论框架,用于分析基于值的方法,如值计算(VC),值迭代(VI)和时间差(TD)学习(线性函数近似)。建立在基于值的方法和动态系统之间的内在联系,我们可以直接使用现有的凸测试条件在控制理论得到各种收敛性的结果,上述基于值的方法。这些测试条件是线性规划(LP)或半定规划(SDP)形式的凸规划,并且可以以直接的方式求解以构造李雅普诺夫函数。我们的分析揭示了反馈控制系统和RL算法之间的一些有趣的联系。我们希望这样的联系可以激发更多的工作在交叉的系统/控制理论和RL。
2022-02-14 cs.LG cs.SY eess.SY
A Generalized Plant Perspective on Linear-Convex Feedback Optimization
University of Stuttgart(斯图加特大学)
本文提出广义被控对象视角,利用Zames-Falb积分二次约束分析优化器与被控对象互联的稳定性,动态乘子比静态乘子提供更紧的稳定裕度,并支持动态输出反馈控制器综合。
2026-06-23 cs.SY eess.SY math.OC
Non-asymptotic convergence bounds for modified tamed unadjusted Langevin algorithm in non-convex setting
针对非凸且梯度超线性增长势能的采样问题,本文提出新驯服因子的 mTULA,并证明其在 W1、W2 距离下分别以 $\mathcal{O}(\lambda)$ 和 $\mathcal{O}(\lambda^{1/2})$ 非渐近收敛。
2024-06-12 cs.NA math.NA math.OC
Riemannian Perspective on Matrix Factorization
MIT(麻省理工学院)
本文研究了利用黎曼几何的非凸矩阵分解方法来完成矩阵完备化。基于格拉斯曼流形上的优化公式,我们根据子空间之间的主角度的概念来描述景观。对于完全观测的情形,我们的结果表明,存在一个区域,在该区域中的成本是测地线凸的,并且在该区域之外的所有临界点都是严格鞍点。我们实证研究的部分观察的情况下,根据我们的研究结果。
2021-02-01 cs.LG math.DG math.OC
Mean-Field Langevin Diffusions with Density-dependent Temperature
Department of Applied Mathematics, University of Colorado(应用数学系,科罗拉多大学)
本文提出一种温度依赖自身密度的均场朗之万扩散方法,用于非凸优化,证明其 Fokker-Planck 方程解的唯一性、SDE 弱解的存在性及收敛到可用 Lambert W 函数表示的不变分布,并通过数值实验验证其能同时提升全局极小值估计的精度与收敛速度。
2025-08-21 cs.LG math.OC math.PR
From perspective maps to epigraphical projections
将闭正常凸函数投影到上图或水平集上,可以通过寻找包含作为邻近参数的函数的邻近算子的标量方程的根来实现。本文发展了这类标量方程的变分分析。该方法是基于一般凸优化问题的变分分析性质的研究,这些问题是(部分)无穷投影的问题中的函数和凸核的透视图。当核是欧几里得范数平方时,解映射对应于邻近映射,因此为一般情况导出的变分性质适用于邻近情况。值函数和相应的解决方案映射的性质-包括局部Lipschitz连续性,方向可微性和半光滑性-推导。建立了一个用于计算epigraphical和level-set投影的SC $^1$优化框架。在1-范数投影上的数值实验表明了该方法的有效性,并与专门的算法进行了比较
2021-02-12 cs.NA math.NA math.OC
Level Set Teleportation: An Optimization Perspective
Stanford University(斯坦福大学);Flatiron Institute(弗拉蒂伦研究所)
本文研究水平集传送对梯度下降的加速作用,证明其在满足 Hessian 稳定性的凸函数上可获得严格更快的收敛速率,并提出仅需 Hessian-向量积的投影梯度求解方法,实验显示其优于标准梯度法和截断 Newton 法。
2025-03-18 cs.LG math.OC
On Learning Rates and Schrödinger Operators
University of California, Berkeley(加州大学伯克利分校);The Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
学习率可能是神经网络训练中最重要的参数,更广泛地说,是随机(非凸)优化中最重要的参数。因此,存在许多有效但知之甚少的用于调整学习率的技术,包括学习率衰减,其以逐渐减小的大的初始学习率开始。本文对随机梯度下降(SGD)中学习率的影响进行了一般性的理论分析。我们的分析是基于使用的学习率相关的随机微分方程(LR依赖的ESTA),作为一个替代SGD。对于一个广泛的目标函数类,我们建立了一个线性收敛速度的连续时间制定的SGD,突出了SGD的学习率的根本重要性,并对比梯度下降和随机梯度朗之万动力学。此外,我们通过分析Witten-Laplacian的谱,得到了最优线性速率的显式表达式,Witten-Laplacian是与lr相关的薛定谔算子的特殊情况。引人注目的是,这个表达式清楚地揭示了线性收敛速度对学习率的依赖性--对于广泛的一类非凸函数,当学习率趋于零时,线性速度迅速下降到零,而对于强凸函数,线性速度保持不变。基于非凸问题和凸问题之间的这种明显区别,我们提供了一个数学解释的好处,使用学习率衰减非凸优化。
2020-04-15 cs.LG math.AP math.OC
Algorithmic Stability of Stochastic Gradient Descent with Momentum under Heavy-Tailed Noise
Florida State University(佛罗里达州立大学);Imperial College London(帝国理工学院);Rutgers Business School(罗格斯商学院);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
针对重尾噪声下超越SGD的优化器分析缺失问题,建立了SGDm的Wasserstein算法稳定性界,发现动量与重尾相互作用会损害泛化,并证明了离散动力学能保持极限SDE的泛化性质。
2025-02-02 cs.LG math.OC math.PR
Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective
Stanford University(斯坦福大学)
Federated Averaging(FedAvg),也称为Local SGD,是联邦学习(FL)中最流行的算法之一。尽管FedAvg简单且流行,但它的收敛速度至今尚未确定。即使在最简单的假设下(凸、光滑、齐次和有界协方差),最著名的上界和下界也不匹配,并且不清楚现有的分析是否捕获了算法的能力。在这项工作中,我们首先解决这个问题,通过提供一个下限FedAvg匹配现有的上限,这表明现有的FedAvg上限分析是不可改进的。此外,我们建立了一个在异构环境中的下限,几乎匹配现有的上限。虽然我们的下界显示了FedAvg的局限性,但在三阶平滑的额外假设下,我们证明了在凸和非凸设置中更乐观的最先进的收敛结果。我们的分析源于一个我们称之为“随机偏差”的概念,它是由SGD轨迹的期望值与具有相同初始化的无噪声梯度下降轨迹的偏差定义的。我们证明了这个量的新的尖锐界限,并直观地展示了如何从随机微分方程(SDD)的角度来分析这个量。
2022-02-11 cs.DC cs.LG math.OC
Nonconvex Matrix Factorization is Geodesically Convex: Global Landscape Analysis for Fixed-rank Matrix Optimization From a Riemannian Perspective
Rutgers University(罗格斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
研究固定秩半正定约束的矩阵优化问题,利用Burer-Monteiro分解和黎曼商几何,刻画分解目标函数全局景观,为普通梯度下降优越性能提供几何解释,还给出弱条件下测地凸性及相关凸性半径定量界。
2026-07-21 cs.IT cs.LG cs.NA
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory(阿贡国家实验室);Wayne State University(韦恩州立大学)
在分布式机器学习中,跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器,实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中,我们解决了强凸,凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法,(加速)梯度上升多随机梯度下降(GA-MSGD),适用于分布式优化的拉格朗日固有地包含本地更新,因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是,对于强凸目标,(加速)GA-MSGD在通信轮次中实现线性收敛,尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质,使得对偶问题是强凹的。当与Catalyst框架集成时,我们的方法在各种设置中实现了接近最佳的通信复杂性,而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning -- A Convex Optimization Perspective
Rensselaer Polytechnic Institute(罗切斯特理工学院);IBM Research(IBM研究院);Cornell University(康奈尔大学)
本文从凸优化角度证明LLM顺序执行SFT与RLHF/DPO后训练存在遗忘导致的次优性,并提出具有理论收敛保证的联合后训练框架,在多个基准上最高提升23%整体性能且计算开销极小。
2025-11-10 cs.AI cs.CL cs.LG