Solving convex QPs with structured sparsity under indicator conditions
本文研究了由二元指示变量控制且受基数等条件约束的凸优化问题,将其表述为可分凸二次形式,并提出多项式时间近似算法与负面复杂性结果。
2024-11-18 cs.CC cs.DS math.OC
Convex Synthesis of First-Order Methods for Time-Varying Smooth Strongly Convex Optimization
Miami University(迈阿密大学);University of Louvain(鲁汶大学)
本文提出一种鲁棒控制合成框架,用于设计时间变化的光滑强凸优化的一阶方法,通过嵌入底层变化模型来提高动态场景下的优化性能。
2026-04-10 math.OC
Control of Uncertain PWA Systems using Difference-of-Convex Decompositions
在这份报告中,我们分析和设计反馈策略的离散时间分段仿射(PWA)系统的仿射动力学和多面体分区的不确定性。其主要思想是利用连续PWA系统的差分凸(DC)分解,以获得二次李雅普诺夫函数作为稳定性证书和稳定的仿射策略在一个更高的维度空间。当投影回状态空间时,我们得到时变PWQ李雅普诺夫函数和时变PWA反馈策略。
2023-03-20 cs.SY eess.SY math.OC
Intersection Cuts for Nonlinear Integer Programming: Convexification Techniques for Structured Sets
本文研究了从混合线性规划到混合非线性规划的分裂、k-分支分裂和交割的推广。构造这种割需要计算具有简单几何结构的凸集与开集之间的差的凸包。我们介绍了两种技术,给出精确的刻画,这样的凸包,并使用它们来构建分裂,k-分支分裂,并为几个类的非多面体集的相交切割。特别是,我们给出了简单的公式,基本上所有的凸集的分裂切割所描述的一个单一的二次不等式。我们也给出了简单的公式,k-分支分裂切割和一些一般的相交切割的各种凸二次集。
2014-06-11 math.OC
Data-Driven Structured Robust Control of Linear Systems
针对通信受限系统,提出基于线性矩阵不等式与矩阵 S-lemma 的数据驱动结构化 $H_2$ 鲁棒控制方法,实现了与数据样本量规模无关的次优调节。
2024-11-18 cs.SY eess.SY math.OC
Time-Varying Convex Optimization via Time-Varying Averaged Operators
设计有效的算法来跟踪连续变化的凸优化问题的优化器在许多应用中是关键。一种可能的策略是以恒定速率对时变问题进行采样,并解决由此产生的时不变问题。在许多情况下,这可能在计算上过于繁重。另一种策略是建立一个迭代算法,该算法生成一系列近似优化器,每次通过算法的一次迭代获得新的采样时不变问题时,都会对这些近似优化器进行细化。这些类型的算法被称为运行。现有算法的一个主要局限性是对时变凸函数的强凸性和强光滑性的基本假设。此外,约束仅在简单情况下处理。这限制了当前运行算法来解决相关问题的能力,例如$\ell_1$ -正则化优化程序。在本文中,这些假设被解除,利用平均算子理论和一个相当全面的框架,随时间变化的凸优化。在这样做的过程中,一些广泛使用的算法的运行版本的收敛特性的新结果。
2017-11-27 math.OC
A multi-stage convex relaxation approach to noisy structured low-rank matrix recovery
本文研究了一个带噪声的结构化低秩矩阵恢复问题,该问题可以建模为一个结构化秩最小化问题。我们将这个问题转化为一个带有广义互补约束(MPGCC)的数学规划,并证明了当罚参数超过一个阈值时,通过将广义互补约束移到目标上得到的罚函数具有与MPGCC相同的全局最优解集.然后,通过交替求解精确罚问题,得到了一个多阶段凸松弛方法。我们提供了理论保证,我们的方法在一个温和的限制特征值条件下,通过量化减少的误差和近似的秩界的第一阶段凸松弛(这正是核范数松弛)在随后的阶段,并建立几何收敛的差错序列在统计意义上。数值实验进行了一些结构化的低秩矩阵恢复的例子,以证实我们的理论研究结果。
2017-03-11 math.OC
Time-Varying Convex Optimization: A Contraction and Equilibrium Tracking Approach
本文提出连续时间时变凸优化的收缩论跟踪框架,证明误差界及前馈预测的指数收敛性,并在三类典型问题中给出最紧收缩率与显式误差界。
2025-01-16 cs.SY eess.SP eess.SY
Structured Semidefinite Representation of Some Convex Sets
线性矩阵不等式(LMI)对控制有着重要的影响,但将问题表述为LMI是一门艺术。最近,有一种理论开始出现,该理论的问题实际上可以表示为LMI。出于优化目的,具有可表示为LMI的“提升”也可能是有用的。我们在这里表明,这是一个限制性更小的条件,并给出了实际构建电梯及其LMI表示的方法。
2008-02-13 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT(莫斯科物理技术学院);Research Center of the Artificial Intelligence Institute, Innopolis University(因诺波利斯大学人工智能研究所);ISP RAS(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了在时间变化网络上非光滑随机去中心化优化问题,针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法,应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Structured Hammerstein-Wiener Model Learning for Model Predictive Control
本文的目的是提高最优控制的可靠性,使用机器学习方法构建的模型。基于这类模型的最优控制问题一般是非凸的,难以在线求解。在本文中,我们提出了一个模型,结合了Hammerstein-Wiener模型与输入凸神经网络,这是最近提出的机器学习领域。所提出的模型的一个重要特点是,所产生的最优控制问题是有效地解决利用其凸性和部分线性,同时保持灵活的建模能力。该方法的实际用途是通过其应用程序的建模和控制的发动机气路系统检查。
2021-07-09 cs.SY eess.SY math.OC
Over-approximating reachable tubes of linear time-varying systems
针对线性连续时变控制系统,当系统的初态和输入都服从紧凸不确定性时,提出了一种在紧时间区间上过逼近可达管的方法.该方法使用转移阵的数值逼近,是一阶收敛的,并假设有能力计算有限维的紧凑凸集。我们还提出了一个变体,适用于zonotopic的不确定性的情况下,只使用线性代数运算,并产生zonotopic过近似。后一种变体的性能证明了一个例子。
2021-02-09 cs.SY eess.SY math.OC
Quantitative Sensitivity Bounds for Nonlinear Programming and Time-varying Optimization
受经典非线性最优化灵敏度结果的启发,我们导出并讨论了参数化非线性规划解映射和对偶变量的新的定量界.特别是,我们推导出显式表达式的局部和全局Lipschitz常数的非凸或凸优化问题的解决方案地图,分别。我们的研究结果是面向时变最优化问题的研究,这是常见的在线优化,包括电力系统,机器人,信号处理等各种应用。在这种情况下,我们的结果可以用来约束优化器的变化率。为了说明我们的灵敏度界限的使用,我们概括现有的参数来量化连续时间,单调运行算法的跟踪性能。此外,我们引入了一个新的连续时间运行算法的时变约束优化,我们作为一个所谓的扰动扫描过程模型。对于这种间断格式,我们建立了一类凸问题渐近解跟踪的显式界。
2020-06-18 cs.SY eess.SY math.OC
Multi-agent constrained optimization of a strongly convex function over time-varying directed networks
我们认为合作的多智能体共识最优化问题在静态和时变通信网络,只允许本地通信。我们的目标是最小化代理特定的私人圆锥约束集上的代理特定的可能非光滑的复合凸函数的总和,因此,最佳的共识决策应该位于这些私人集合的交集。假设和函数是强凸的,我们提供了收敛速度在次优,不可行性和共识违反,检查底层网络拓扑结构的影响上的收敛速度的建议分散算法。
2017-06-24 math.OC
On the Sample Size of Random Convex Programs with Structured Dependence on the Uncertainty (Extended Version)
ETH Zurich(苏黎世联邦理工学院);UC Berkeley(加州大学伯克利分校);Oxford University(牛津大学)
本文改进了Helly维度的上界,适用于具有特定结构的随机凸程序,从而减少所需场景数量,提升目标值并降低计算复杂度。
2015-08-04 cs.SY eess.SY math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题,该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和,这些局部目标函数由可微的(可能是非凸的)费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题,提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识,收敛到一组临界点的收敛速度$O(1/T)$。最后,通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Distributed Convex Optimization for Continuous-Time Dynamics with Time-Varying Cost Function
研究了连续时间多智能体系统的时变分布凸优化问题。控制算法的情况下,单积分器和双积分器的动态设计。在每种情况下,提出了两种基于符号函数的不连续算法来解决问题。然后,在双积分动力学的情况下,两个连续的算法的基础上,分别提出了一个时变和固定的边界层连续近似的signum函数。此外,考虑到代理间碰撞的物理代理,一个分布式的群体跟踪行为的凸优化问题的单积分器和双积分器的动态。
2016-09-06 math.OC
Distributed Convex Optimization With Coupling Constraints Over Time-Varying Directed Graphs
研究了时变多智能体网络上的分布式凸优化问题,其中每个智能体都有自己的决策变量,这些决策变量的设置应使其个体目标最小化,且受局部约束和全局耦合等式约束.在有向图上,提出了一种将推和协议与对偶次梯度方法相结合的分布式算法。在凸性假设下,首先建立了原始变量、对偶变量和约束违反的最优性。然后给出了算法的显式收敛速度。最后,通过对经济调度问题的数值实验,验证了算法的有效性。
2018-05-21 math.OC
Multichannel Frequency Estimation with Constant Amplitude via Convex Structured Low-Rank Approximation
针对恒幅复正弦波的多通道频率估计问题,提出一种利用恒幅特性的凸结构化低秩逼近方法SACA,通过半定规划实现原子范数最小化,理论分析与仿真验证了其优势。
2024-04-20 math.OC
A Linear Parameter-Varying Framework for the Analysis of Time-Varying Optimization Algorithms
University of Stuttgart(斯图加特大学)
本文提出了一种用于分析时间变化优化算法的线性参数变化框架,通过引入新的积分二次约束来捕捉时间变化非线性行为,并通过数值实验展示了其在收敛率分析中的应用。
2026-10-30 cs.SY eess.SY math.OC
A Primal-Dual Smoothing Framework for Max-Structured Non-Convex Optimization
针对具有最大结构的非光滑非凸优化问题,提出原始-对偶平滑框架,分析两类平滑途径的梯度复杂度并改进现有最优预言机复杂度。
2023-07-17 math.OC
Memory-efficient structured convex optimization via extreme point sampling
内存是求解半定规划等大规模凸优化问题时的一个关键计算瓶颈。在本文中,我们专注于制度,其中存储$n\times n$矩阵决策变量是禁止的。为了解决这个制度中的SDP,我们开发了一个随机算法,返回一个随机向量的协方差阵是接近可行的,接近最佳的SDP。我们展示了如何开发这样一个算法,通过修改弗兰克-沃尔夫算法系统地取代矩阵迭代与随机向量。作为这种方法的应用,我们将展示如何实现的Goemans-Williamson近似算法\textsc{MaxCut}使用$\mathcal{O}(n)$内存除了存储问题实例所需的内存。然后,我们扩展我们的方法来处理更广泛的结构化凸优化问题,取代决策变量的随机极值点的可行域。
2021-08-24 math.OC
Graver basis and proximity techniques for block-structured separable convex integer minimization problems
考虑N重4块可分解整数规划,它同时推广了N重整数规划和N种情形的两阶段随机整数规划。在以前的工作[R。Hemmecke,M.克普河Weismartel,N重4块可分解整数规划优化的多项式时间算法,Proc. IPCO 2010,计算机科学讲义,第6080卷,Springer,2010,pp. 219- 229],证明了对于固定的块但变量N,这些整数规划对于任何线性目标都是多项式时间可解的。我们将这一结果推广到可分凸目标函数的极小化问题。我们的算法结合了Graver基技术与邻近结果[D.S. Hochbaum和J.G. Shanthikumar,凸可分离优化不比线性最优化难多少,J. ACM 37(1990),843- 862],它允许我们使用凸连续优化作为子程序。
2012-07-05 math.OC
Nonlinear Perturbation-based Non-Convex Optimization over Time-Varying Networks
针对时变切换网络中的分布式有限和优化,提出单时间尺度、逐节点单梯度分量且容忍链路非线性的扰动算法,并证明其对凸与局部非凸目标的最优精确收敛。
2024-08-05 cs.DC cs.SY eess.SP
Solving Convex Quadratic Optimization with Indicators Over Structured Graphs
University of Michigan(密歇根大学);University of Southern California(南加州大学);Northwestern University(西北大学)
本文提出了一种在结构图上求解带有指示符的凸二次优化问题的算法,通过动态规划和结构条件优化,实现线性复杂度,并在预测和异常检测中展示了优越性能。
2026-03-02 math.OC
Decentralized convex optimization over time-varying graphs: a survey
本文为时变图上的去中心化凸优化综述,梳理了该领域的最新研究成果与相关技术,同时指出了待解决问题并给出未来研究的假设与方向。
2023-04-17 math.OC
Structured Sparsity: Discrete and Convex approaches
压缩感知(CS)利用稀疏性从降维、非自适应感知机制中恢复稀疏或可压缩信号。稀疏性还用于增强机器学习和统计应用中的可解释性:虽然现代数据分析问题中的环境维度很大,但其中的相关信息通常驻留在低得多的维度空间中。然而,现在提出的许多解决方案并没有利用真正的底层结构。最近的结果CS扩展简单的稀疏性的想法,更复杂的{ \em结构}稀疏模型,它描述了信号的非零分量之间的相互依赖性,允许增加结果的可解释性,并导致更好的恢复性能。为了更好地理解结构稀疏性的影响,在本章中,我们分析了离散模型及其凸松弛之间的联系,突出了它们的相对优势。我们从一般的群体稀疏模型开始,然后详细说明两个重要的特殊情况:分散和层次模型。对于每一个,我们提出的模型在其离散的性质,讨论如何解决随后的离散问题,然后描述凸松弛。我们还考虑更一般的结构定义的集函数,并提出他们的凸代理。此外,我们还讨论了结构稀疏性问题的有效优化解决方案,并通过三个应用程序说明了结构稀疏性的作用。
2015-07-20 cs.IT math.IT math.OC
Sequential Convex Programming Methods for A Class of Structured Nonlinear Programming
University of Minnesota(明尼苏达大学)
本文研究一类结构化非线性规划问题,提出序列凸规划方法,并证明生成序列的聚点为KKT点。
2022-06-17 cs.NA math.NA math.OC
Fenchel Dual Gradient Methods for Distributed Convex Optimization over Time-varying Networks
在现有的大量凸多智能体优化分布式算法中,只有少数算法能保证智能体网络在时变拓扑下的收敛速度,而这又限制了问题的无约束性.出于这一动机,我们开发了一个家庭的分布式Fenchel双梯度法解决约束,强凸,但不一定光滑的多智能体最优化问题随时间变化的无向网络。所提出的算法构造的基础上应用加权梯度法的Fenchel对偶的多智能体最优化问题,并可以实现在一个完全分散的方式。我们表明,所提出的算法驱动所有的代理原始和对偶最优渐近下的最小连通性条件和次线性速率下的标准连通性条件。最后,通过仿真验证了分布式Fenchel对偶梯度法的良好收敛性能.
2018-04-05 math.OC
A primal-dual dynamical approach to structured convex minimization problems
在本文中,我们提出了一个原始-对偶动力学的方法来最小化的结构凸函数组成的光滑项,非光滑项,和另一个非光滑项的组合与线性连续算子。在这个范围内,我们引入了一个动力系统,我们证明了它的轨迹渐近收敛到一个鞍点的拉格朗日的基本凸极小化问题的时间趋于无穷大。此外,我们提供率的违反可行性条件的遍历轨迹和收敛的目标函数沿这些遍历轨迹的极小值。显式时间离散的动力系统的结果在一个数值算法,这是一个组合的线性化的邻近方法的乘数和邻近ADMM算法。
2020-07-31 cs.NA math.DS math.NA
Prediction-Correction Interior-Point Method for Time-Varying Convex Optimization
本文提出了一种求解一类目标函数和约束函数均为时变的凸优化问题的内点法。利用对数障碍罚函数,我们提出了一个连续时间动力系统跟踪(时变)最优解的渐近消失的误差。该动力系统由两个项组成:(i)由牛顿法的连续时间版本组成的校正项,以及(ii)能够通过考虑目标和约束函数的时变性质来跟踪最优解的漂移的预测项。使用适当选择的时变松弛和障碍参数,我们确保这个动力系统的解决方案全局渐近收敛到最优解的指数速度。我们说明了所提出的方法在两个实际应用中的适用性:稀疏促进最小二乘问题和无碰撞机器人导航问题。
2016-08-26 math.OC
Prediction-Correction Algorithm for Time-Varying Smooth Non-Convex Optimization
针对时变光滑非凸优化,提出一种适用于大规模一般非凸问题的预测-校正算法,首次给出非强凸收敛性分析,实验证明其精度优于TVGD。
2024-02-09 math.OC
Stochastic maximum principle for optimal control problem with varying terminal time and non-convex control domain
本文研究终端时间随状态均值变化且控制域非凸的随机最优控制问题,通过建立渐近一阶和二阶伴随方程及变分方程,证明了相应的 Pontryagin 随机最大值原理,并用两个例子验证主要结果。
2024-09-04 math.OC
A full splitting algorithm for structured difference-of-convex programs
本文针对结构化凸差规划提出一种自适应双近端全分裂算法,通过解耦线性算子与非光滑分量,在KL性质下证明全局收敛,并结合非单调线搜索提升实际收敛性能。
2025-05-05 math.OC
Dual Prediction-Correction Methods for Linearly Constrained Time-Varying Convex Programs
设计有效的算法来求解连续变化的强凸优化程序在许多应用中是关键,从控制系统到信号处理和机器学习。在这种情况下,求解意味着找到并跟踪连续变化的凸优化程序的优化器轨迹。最近,一种新的预测-校正方法已经被提出来建立迭代算法,该迭代算法在离散时间步长处对连续变化的优化程序进行采样,并执行有限的计算量以用新的采样问题校正其近似优化器,并预测优化器在下一时间步长处将如何改变。预测校正算法已被证明优于更经典的策略,即,纠正方法。通常,预测-校正方法具有$h^2$阶的渐近跟踪误差,其中$h$是采样周期,而经典策略具有$h$阶。到目前为止,无论是无约束凸规划还是简单约束凸规划,预测校正算法都是在原始空间中发展起来的。本文在对偶空间中讨论了线性约束连续变化问题的预测校正方法,并证明了与原方法相似的渐近误差界。
2018-03-26 math.OC
Accelerated gradient sliding for structured convex optimization
本文的主要目的是证明梯度下降型方法可以跳过梯度计算,应用于某些结构化凸规划(CP)问题。为此,我们首先提出了一个加速梯度滑动(AGS)方法,用于极小化两个光滑凸函数的总和具有不同的Lipschitz常数。我们表明,AGS方法可以跳过梯度计算这些光滑的组件之一,而不会减慢整体的最佳收敛速率。这个结果比经典的黑盒CP复杂度结果更尖锐,特别是当与这些组件相关联的两个Lipschitz常数之间的差异很大时。然后考虑一类重要的双线性鞍点问题,其目标函数由一个光滑分支和一个具有双线性鞍点结构的非光滑分支之和给出。使用上述用于平滑复合优化的AGS方法和Nesterov的平滑技术,我们表明只需对平滑分量进行${\cal O}(1/\sqrtε)$梯度计算,同时仍然保留最佳的${\cal O}(1/ε)$总体迭代复杂性来解决这些鞍点问题。我们证明了更显着的节省梯度计算可以得到强凸光滑和双线性鞍点问题。
2016-09-16 math.OC
Inexact accelerated proximal gradient method with line search and reduced complexity for affine-constrained and bilinear saddle-point structured convex problems
本文的目标是降低两类问题的基于梯度的方法的总复杂度:仿射约束复合凸优化和双线性鞍点结构非光滑凸优化。我们的技术是基于一个双循环不精确加速邻近梯度(APG)方法,用于最小化一个非光滑但可逼近的凸函数和两个光滑凸函数具有不同的光滑常数和计算成本的总和。与标准APG方法相比,不精确APG方法可以减少总的计算成本,如果一个光滑分量具有较高的计算成本,但比其他较小的光滑常数。利用这一性质,非精确APG方法可以近似求解仿射约束复合凸优化的近似增广拉格朗日方法的子问题,以及双线性鞍点结构非光滑凸优化的光滑逼近问题,其中光滑常数较小的光滑函数具有较高的计算代价.因此,它可以降低总的复杂性,找到一个近似的最佳/稳定的解决方案。该技术类似于文献中的梯度滑动技术。不同之处在于,我们的不精确APG方法可以通过使用基于平稳性破坏度量的可计算条件来有效地停止内部循环,而梯度滑动方法需要预先指定内部循环的迭代次数。数值实验表明,显着更高的效率,我们的方法比最佳的原始-对偶一阶方法和梯度滑动方法。
2022-01-04 cs.NA math.NA math.OC
Distributed Convex Optimization of Time-Varying Cost Functions with Swarm Tracking Behavior for Continuous-time Dynamics
研究了连续时间多智能体系统中具有群体跟踪行为的分布式凸优化问题。智能体的任务是通过局部交互来驱动其中心跟踪最优轨迹,该最优轨迹使局部时变费用函数之和最小化,同时保持连通性并避免智能体之间的碰撞。每个局部费用函数仅为单个代理所知,并且团队的最优解是时变的。这里考虑两种情况,单积分器动态和双积分器动态。对于每种情况下,提出了一种分布式的群体跟踪行为的凸优化算法,每个代理只依赖于自己的位置和相对位置(和速度在双积分的情况下)之间的本身和它的邻居。结果表明,智能体的中心跟踪最优轨迹,智能体之间的连通性将保持和避免智能体间的碰撞。最后,数值例子进行说明。
2015-07-16 math.OC
A Note on Complexity for Two Classes of Structured Non-Smooth Non-Convex Compositional Optimization
本文针对两类具有特殊结构的非光滑非凸复合优化问题,分别提出光滑化复合梯度方法和prox-linear方法,并给出其达到稳定点或近似临界点的迭代复杂度上界。
2024-11-21 math.OC
Forward-backward algorithms with different inertial terms for structured non-convex minimization problems
我们研究两个惯性向前向后的算法与最小化的总和的非光滑和可能的非凸和非凸可微函数。该算法是制定在著名的FISTA方法的精神,但设置是非凸的,我们允许不同的惯性项。此外,我们的算法中的惯性参数也可以取负值。我们还治疗的情况下,当非光滑函数是凸的,我们表明,在这种情况下,可以允许一个更好的步长。我们证明了一些抽象的收敛结果,适用于我们的数值方案,使我们能够表明,所产生的序列收敛到一个临界点的目标函数,提供了正则化的目标函数满足Kurdyka-Lojasiewicz属性。此外,我们得到了一个一般的结果,适用于我们的数值方案,确保所产生的序列和目标函数值的正则化的目标函数的KL指数制定的收敛速度。最后,我们将我们的结果应用于图像恢复。
2021-01-19 math.FA math.OC
Augmented Lagrangian Methods for Time-varying Constrained Online Convex Optimization
本文研究了具有时变损失和约束函数的在线凸优化问题。具体地说,决策者只根据过去的信息来选择顺序决策,同时损失和约束函数随着时间的推移而显现。首先,我们开发了一类基于模型的增广拉格朗日方法(MALM)的时变功能约束OCO(无反馈延迟)。在标准假设下,我们建立了次线性后悔和次线性约束违反MALM。此外,我们扩展MALM处理时变功能约束的OCO与延迟反馈,其中的反馈信息的损失和约束功能透露给决策者的延迟。在没有额外假设的情况下,我们还建立了延迟版本的MALM的次线性后悔和次线性约束违反。最后,给出了在线网络资源分配、在线逻辑斯谛回归和在线二次约束二次规划等约束OCO问题的数值结果,验证了算法的有效性.
2022-05-19 math.OC stat.ML
Fast minimization of structured convex quartics
我们提出了更快的方法无约束优化\emph{structured convex quartics},这是凸函数的形式\begin{equation*} f(x) = c^\top x + x^\top \mathbf{G} x + \mathbf{T}[x,x,x] + \frac{1}{24} \mathopen\| \mathbf{A} x \mathclose\|_4^4 \end{equation*}的$c \in \mathbb{R}^d$,$\mathbf{G} \in \mathbb{R}^{d \times d}$,$\mathbf{T} \in \mathbb{R}^{d \times d \times d}$,和$\mathbf{A} \in \mathbb{R}^{n \times d}$,使$\mathbf{A}^\top \mathbf{A} \succ 0$。特别是,我们展示了如何仅通过$O(n^{1/5}\log^{O(1)}(\mathcal{Z}/ε))$调用梯度预言和线性系统求解器来实现此类函数的$ε$ -最优最小化器,其中$\mathcal{Z}$是一个与问题相关的参数。我们的工作扩展了最近的想法,有效的张量方法和高阶加速技术,开发一个下降的方法来优化相关的四次函数。作为我们的方法的自然结果,我们实现了$O(n^{1/5}\log^{O(1)}(…
2018-12-26 math.OC
A golden ratio primal-dual algorithm for structured convex optimization
设计、分析和测试了一种求解结构凸优化问题的黄金比例原始对偶法(GRPDA),其中目标函数是两个闭正常凸函数之和,其中一个函数包含一个线性变换的复合函数. GRPDA保留了经典原始对偶法(PDA)的所有有利特征,即,原始变量和对偶变量以Gauss-Seidel方式更新,并且每次迭代成本由两个分量函数和两个矩阵-向量乘法的邻近点映射的评估来支配。与传统的PDA相比,GRPDA的新颖之处在于它是基于基本上整个迭代轨迹的凸组合构造的。我们发现,GRPDA收敛在一个更广泛的参数范围内比经典的PDA,只要倒数的凸组合参数是有界的黄金分割比,这解释了算法的名称。基于原始-对偶间隙函数,建立了O(1/N)遍历收敛速度的结果,其中N表示迭代次数。当原问题或对偶问题为强凸问题时,构造了一个加速GRPDA,将遍历收敛速度从O(1/N)提高到O(1/N2).此外,我们证明了正则化最小二乘和线性等式约束问题的凸组合参数的倒数可以从黄金分割率扩展到2,同时可以采取松弛步骤。通过对LASSO、非负最小二乘和极大极小矩阵对策问题的数值计算,并与现有算法进行比较,验证了本文算法的有效性.
2020-08-29 math.OC
Distributed Prediction-Correction ADMM for Time-Varying Convex Optimization
本文提出基于预测-校正框架的对偶正则化ADMM,用于分布式时变凸优化,并通过数值实验证明其在渐近误差和一致性约束违反方面优于非精确梯度法和精确对偶分解方法。
2020-11-17 math.OC
Technical Report: A Totally Asynchronous Algorithm for Tracking Solutions to Time-Varying Convex Optimization Problems
本文提出了一个分散的算法,一组代理跟踪时变不动点,即时变凸优化问题的解决方案。该算法是一阶的,并且它允许所有代理的通信和计算中的总延迟,即,所有这些操作可以以任意定时和任意(有限)延迟发生。收敛速度是根据代理执行的通信和计算来计算的,而不指定何时必须发生。这些速率适用于收敛到每个单独的目标函数的最小值,以及代理的长期行为,因为它们的目标函数的变化。然后,为了提高有限的通信和计算资源的使用,我们优化代理的操作相对于他们的目标函数的变化,以最大限度地减少总不动点跟踪误差随着时间的推移的时间。仿真结果来说明这些发展在实践中,经验评估其鲁棒性代理的更新法律的不确定性。
2021-10-13 math.OC
An Alternating Direction Method of Multipliers with the BFGS Update for Structured Convex Quadratic Optimization
乘子交替方向法是求解大范围凸问题的一种有效方法。在每次迭代中,经典的ADMM精确地解决了两个子问题。然而,在许多应用中,获得子问题的精确解是昂贵的或不可能的。为了克服这一困难,在子问题中加入了一些近似项。这类方法通常近似地解决原始子问题,因此需要更多的迭代。这一事实促使我们考虑,一个特殊的近端项可以导致一个更好的结果作为经典的ADMM。在本文中,我们提出了一个近端ADMM的正则化矩阵在近端项是由BFGS更新(或有限内存BFGS)在每次迭代。这些类型的矩阵使用目标函数的二阶信息。在一定的假设条件下证明了该方法的收敛性。数值结果表明,建议的近端ADMM的有效性。
2019-03-06 math.OC
Performance Estimation for Smooth and Strongly Convex Sets
Johns Hopkins University(约翰斯·霍普金斯大学)
针对光滑且强凸集合,通过证明插值定理将性能估计问题转化为结构化数学规划,并应用于分离超平面法和线性优化算法的最优性分析。
2026-06-02 math.OC
On Well-Structured Convex-Concave Saddle Point Problems and Variational Inequalities with Monotone Operators
LJK, Université Grenoble Alpes(洛朗施瓦茨数学与计算机科学实验室,格勒诺布尔阿尔卑斯大学);ISyE, Georgia Institute of Technology(工业与系统工程学院,佐治亚理工学院)
本文提出K-conic表示法,将凸-凹鞍点问题和变分不等式转化为锥问题,从而扩展了CVX的应用范围。
2026-06-23 math.OC
Distributed Convex Optimization with Inequality Constraints over Time-varying Unbalanced Digraphs
考虑时变不平衡有向图上带不等式约束的分布凸优化问题,其中代价函数是局部目标之和,图的每个节点只知道其局部目标和不等式约束.虽然有大量的分布式优化文献,但大多数都要求图是平衡的,这是非常限制性的,也是不必要的。最近,不平衡的问题已经得到解决,无论是时不变的图形或无约束优化。这项工作解决了不平衡的集中在一个epigraph形式的约束优化。一个显著的特点是,这个新的想法可以很容易地用来研究时变不平衡有向图。在本地通信下,然后为每个节点设计一个简单的迭代算法。我们证明了,如果图是一致联合强连通的,每个节点渐近收敛到某个公共的最优解。
2016-12-29 cs.DC math.OC
Self-Triggered Time-Varying Convex Optimization
提出了一种求解一类时变目标函数的凸优化问题的自触发算法。已知最优解的轨迹可由连续时间状态更新律渐近跟踪。不幸的是,实现这一点需要连续评估梯度和目标函数的逆Hessian,这不适合数字实现。或者,我们从自触发控制中汲取灵感,提出了一种策略,该策略自主地适应目标函数的计算时间,从而产生分段仿射状态更新法。该算法通过使用目标函数的高阶导数的已知上界预测梯度的时间演变来实现。我们所提出的方法保证收敛到任意小的邻域的最优轨迹在有限的时间内,而不会招致芝诺行为。我们用数值模拟来说明我们的框架。
2016-03-28 math.OC
Optimal Complexity in Non-Convex Decentralized Learning over Time-Varying Networks
University of Pennsylvania(宾夕法尼亚大学);Peking University(北京大学)
时变网络的分散优化是机器学习中的一个新兴范例。它在大规模深度训练中节省了显着的通信开销,并且在无线场景中更鲁棒,特别是当节点移动时。联邦学习也可以被视为分散优化,具有在全局平均和局部更新之间交替的时变通信模式。虽然存在许多研究来澄清其理论限制并开发有效的算法,但仍不清楚时变网络上非凸分散随机优化的最佳复杂度是多少。主要困难在于如何衡量两个节点之间通过时变通信传输消息时的有效性,以及如何在网络规模固定时建立下限(这是随机优化的先决条件)。本文解决了这些挑战,并建立了第一个下界的复杂性。我们还开发了一个新的分散算法,几乎达到了下界,显示了下界的紧密性和我们的算法的最优性。
2022-11-01 cs.LG math.OC
Accelerated Proximal Gradient Method for Non-Strongly Convex Time-Varying Optimization
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文针对紧域上的时变复合优化问题,提出一种时变加速近端梯度方法,将基准TV-PG方法的函数值间隙渐近上界从O(δ^(1/2))改进为O(δ^(2/3)),并通过数值实验验证了其跟踪性能。
2026-10-09 math.OC
First-Order Dynamic Optimization for Streaming Convex Costs
University of California Irvine(加州大学欧文分校)
本文提出仅用一阶导数的动态优化算法,以有界误差跟踪时变流式凸代价的最优解,并通过模型预测控制等示例验证其优于梯度下降。
2023-10-11 cs.LG math.OC
A Unified Approach to Error Bounds for Structured Convex Optimization Problems
The Chinese University of Hong Kong(香港中文大学)
本文提出一种统一框架,用于建立结构凸优化问题的误差界,涵盖一般约束最小化问题和机器学习中的正则化损失最小化问题,并通过核范数正则化损失问题展示了新误差界的应用。
2015-12-11 cs.LG cs.NA math.NA