Remarks on "Successive Convexification: A Superlinearly Convergent Algorithm for Non-convex Optimal Control Problems"
本文指出SCvx算法收敛证明中的错误,并在更严格假设下用新方法重新建立其收敛性,以纠正不准确之处。
2024-03-13 math.OC
Successive Convexification of Non-Convex Optimal Control Problems with State Constraints
本文提出了一种求解一类具有特定状态约束的非凸最优控制问题的逐次凸化($ \texttt{SCvx} $)算法。非凸性的来源可以包括非线性动力学和非凸状态/控制约束。为了解决非凸性带来的挑战,我们首先利用精确罚函数来处理非线性动力学。然后,所提出的算法通过$ \textit{project-and-linearize} $过程连续地将问题转化。因此,有限维凸规划子问题的解决,在每一个连续的,这可以有效地完成快速内点方法(IPM)求解器。证明了整体收敛到局部最优值的某些凸性假设,这是满足广泛的最优控制问题。该算法特别适用于求解带避碰约束的轨迹规划问题。通过数值模拟,我们证明了该算法收敛可靠后,只有几个连续。因此,与强大的IPM为基础的自定义求解器,该算法可以实现板载实时自主控制应用。
2017-10-20 math.OC
Successive convex optimization for transformer encoder model predictive control
University of Oxford(牛津大学)
本文提出一种数据驱动的模型预测控制框架,利用transformer编码器生成多步预测。通过将非凸注意力机制转化为凸表示,并嵌入递进凸优化迭代中,保证了递归可行性与收敛性,最终得到满足约束的局部最优解。
2026-07-31 math.OC
Parallel and Distributed Successive Convex Approximation Methods for Big-Data Optimization
近年来,人们对大规模系统的并行和分布式最优化方法产生了浓厚的兴趣。特别是非凸大规模最优化问题在许多工程领域有着广泛的应用。这种复杂的大规模系统的设计和分析提出了一些挑战,并要求开发新的最优化模型和算法。本文的主要贡献是提出了一个通用的,统一的,算法框架,连续凸逼近(SCA)技术的基础上,并行和分布式解决方案的一般类的非凸约束(不可分离的,网络)的问题。所提出的框架统一和概括了现有的几种SCA方法,使他们呼吁并行/分布式实现,同时提供了一个灵活的选择函数逼近,步长时间表,和控制的计算/通信效率。本文是根据作者之一在CIME暑期学校集中式和分布式多智能体最优化模型和算法,在Cetraro,意大利,2014年6月23日至27日举行的讲座。这些讲座是:I)连续凸逼近方法:基础; II)并行连续凸逼近方法;和III)分布式连续凸逼近方法。
2018-05-17 cs.DC math.OC
Feasible Point Pursuit and Successive Approximation of Non-convex QCQPs
二次约束二次规划在信号处理和无线通信中有着广泛的应用。非凸QCQP一般是NP难的。现有的方法松弛的非凸性使用半定松弛(SDR)或线性化的非凸部分,并解决由此产生的凸问题。然而,当QCQP矩阵不确定时,这些技术很少成功地获得可行解。针对非凸QCQP问题,提出了一种新的可行点追踪逐次凸逼近算法(FPP-SCA)。FPP-SCA与传统SCA一样线性化了问题的非凸部分,但添加了松弛变量以维持可行性,并添加了惩罚以确保松弛被谨慎使用。当FPP-SCA成功识别非凸QCQP的可行点时,此后确保收敛到Karush-Kuhn-Tucker(KKT)点。仿真结果表明,我们提出的算法在获得可行的和近最优解,显着优于现有的方法的有效性。
2014-10-08 math.OC
A successive convexification approach for robust receding horizon control
提出一种基于连续凸化和凸函数差表示的鲁棒非线性模型预测控制策略,通过构造管域处理扰动与近似误差,保证约束满足、递归可行性与闭环稳定性。
2025-01-27 math.OC
A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization
考虑线性耦合约束下光滑凸函数与可分非光滑凸函数之和的极小化问题。这种形式的问题出现在许多当代应用中,包括信号处理、无线网络和智能电网供应。出于这些应用程序的巨大规模,我们提出了一类新的一阶原始对偶法称为块连续上限最小化方法的乘数(BSUM-M)来解决这个家庭的问题。BSUM-M通过最小化原始问题的增广拉格朗日量的局部紧上界来连续更新原始变量块,然后以封闭形式对对偶变量进行梯度类型更新。我们表明,在一定的规律性条件下,当原始块变量更新的确定性或随机的方式,BSUM-M收敛到一组最优解。此外,在没有线性约束的情况下,我们证明了BSUM-M,它减少到块连续上限最小化(BSUM)方法,是能够线性收敛没有强凸性。
2014-01-28 math.OC
Intrinsic Successive Convexification: Trajectory Optimization on Smooth Manifolds
针对光滑流形轨迹优化中隐式流形约束导致的冗余运算和状态表示依赖问题,提出内蕴逐次凸化方法 iSCvx,并通过受非凸约束的航天器姿态轨迹优化示例验证其应用。
2025-03-17 cs.SY eess.SY math.OC
Successive Convexification for 6-DoF Mars Rocket Powered Landing with Free-Final-Time
在本文中,我们采用连续凸化解决最短时间的6自由度火箭动力着陆问题。本文的贡献是开发和演示的自由最后的时间问题制定,可以迭代解决使用连续凸化框架。本文是我们以前的工作的3自由度自由最终时间和6自由度固定最终时间最小燃料问题的扩展。在这里,车辆被建模为一个6自由度的刚体由一个单一的万向节火箭发动机控制。弹道受到各种凸的和非凸的状态和控制约束,气动力效应被假定为可以忽略不计。该问题的目标是确定最佳的推力命令,将最小化的飞行时间,同时满足上述约束。快速可靠地解决这个问题是具有挑战性的,因为(a)它是非线性和非凸的,(b)解决方案的有效性严重依赖于离散化方案的准确性,以及(c)可能难以选择合适的参考轨迹来初始化迭代求解过程。为了处理这些问题,我们的算法(a)使用连续凸化来消除非凸性,(b)计算离散线性时变系统矩阵,以确保收敛的解决方案完全满足原始的非线性动力学,和(c)可以初始化一个简单的,动态不一致的参考轨迹。使用所提出的凸公式和连续凸化框架,我们能够将原来的非凸问题转化为一系列凸二阶锥规划(SOCP)子问题。通过使用内点法(IPM)求解器,可以快速可靠地求解该序列,从而为火箭动力登陆火星提供更高保真的实时制导。
2018-02-11 math.OC
Successive Convexification of Non-Convex Optimal Control Problems and Its Convergence Properties
本文提出了一种求解非凸最优控制问题的算法,其中非凸性可以由非线性动力学、非凸状态和控制约束引起。本文假设状态和控制约束已经是凸的或凸化的,所提出的算法通过线性化,以连续的方式凸化非线性动力学。因此,在每一个序列,一个凸最优控制子问题的解决。由于动力学是线性化的,其他约束是凸的,经过离散化,子问题可以表示为有限维凸规划子问题。由于凸优化问题可以非常有效地解决,特别是使用自定义求解器,因此可以在时间关键型应用中解决这个子问题,例如自动驾驶车辆的实时路径规划。算法中引入了虚拟控制和置信域等安全保护技术,增加了算法的鲁棒性。在连续时间条件下给出了收敛性分析.通过这样做,我们的收敛结果将是独立于任何用于离散化的数值方案。针对说明性轨迹优化示例执行数值模拟。
2017-05-04 math.OC
Successive Convexification: A Superlinearly Convergent Algorithm for Non-convex Optimal Control Problems
本文提出了一种求解非凸约束最优控制问题的连续凸化算法SCvx,该算法具有整体收敛和超线性收敛速率保证。该算法可以处理非线性动力学和非凸状态和控制约束。它通过连续线性化非凸动力学和前一次迭代解的约束来解决原问题的最优性。由此产生的凸子问题是数值上容易处理的,并且可以使用凸优化求解器快速可靠地计算,使得SCvx算法非常适合于实时应用。分析表明,该算法的全局收敛和超线性,保证i)局部最优恢复:如果收敛的解决方案是可行的,那么它也是一个局部最优; ii)强收敛:如果Kurdyka-Lojasiewicz(KL)不等式在收敛的解决方案,那么解决方案是唯一的。超线性收敛速率是通过利用最优控制问题的结构,展示了更快收敛速率,可以通过利用特定的问题属性相比,通用的非线性规划方法。针对非凸四旋翼运动规划问题进行了数值模拟,并将序列二次规划(SQP)和通用内点法(IPM)求解器的结果进行了比较。结果表明,SCvx算法的收敛速度确实是超线性的,而且SCvx算法比其他两种方法收敛次数少.
2019-02-27 math.OC
Successive Convexification with Feasibility Guarantee via Augmented Lagrangian for Non-Convex Optimal Control Problems
本文提出一种融合逐次凸化与增广拉格朗日法的新算法,通过对优化变量和拉格朗日乘子交替迭代,在保留SCvx优良特性的同时保证了对非凸最优控制问题可行局部解的全局收敛性。
2024-10-11 math.OC
Analysis of Decentralized Stochastic Successive Convex Approximation for composite non-convex problems
本文提出去中心化动量随机SCA(D-MSSCA)算法,其SFO复杂度达𝒪(ε^{-3/2}),与集中式下界持平,解决了去中心化SCA复杂度未知问题。
2024-05-27 eess.SP math.OC
Autonomous Parking by Successive Convexification and Compound State Triggers
Tier IV, Inc.(第四层公司(Tier IV, Inc.))
在本文中,我们提出了一个算法的最优生成非完整路径规划停车机动与运动汽车模型。我们演示了使用连续凸化算法(SCVX),保证路径的可行性和约束满足,停车的情况。此外,我们制定避障与状态触发的约束,使使用逻辑约束的连续制定的优化问题。本文有助于最佳非完整路径规划文献,通过演示使用SCVX和状态触发约束,允许制定的停车问题作为一个单一的优化问题。该算法可用于在狭窄的停车场环境中规划具有尖点的约束路径。
2020-10-11 cs.RO math.OC
Asynchronous Decentralized Successive Convex Approximation
我们研究分散的异步多智能体优化网络,建模为静态(可能有向)图。最优化问题包括最小化一个(可能是非凸的)光滑函数--代理的局部成本之和--加上一个凸的(可能是非光滑的)正则化器,受凸约束。代理可以执行本地计算,以及与他们的近邻在任何时候进行通信,没有任何形式的协调或集中调度;此外,当解决他们的本地子问题,他们可以使用过时的信息,从他们的邻居。我们提出了第一个分布式异步算法,称为ASY-DSCA,收敛于R-线性速率的凸问题的最优解,其目标函数满足一般的误差界条件,这个条件是弱于更常用的强凸性,它是由几个经验的风险函数,不是强凸的,例子包括LASSO和逻辑斯谛回归问题。当目标函数为非凸函数时,ASY-DSCA以次线性速度收敛于问题的稳态解。
2020-01-30 math.OC
Chance-Constrained Covariance Steering in a Gaussian Random Field via Successive Convex Programming
本文研究了在高斯随机场存在下,仿射反馈律的优化问题,该反馈律能明确地控制不确定系统状态的均值和协方差。空间相关的干扰连续近似相对于一个标称轨迹由一系列的联合高斯随机向量。标称控制输入的顺序更新通过凸优化计算,包括仿射状态反馈的效果,空间扰动的扰动效果,以及对闭环状态和控制的机会约束。所开发的方法应用于解决仿射反馈法,以最大限度地减少第99百分位数的$Δv$需要完成一个行星周围的随机扰动大气的aerocapture任务。
2022-01-17 cs.SY eess.SY math.OC
Distributed Inexact Successive Convex Approximation ADMM: Analysis-Part I
在这两部分的工作中,我们提出了一个算法框架来解决非凸问题,其目标函数是一些光滑的分量函数加上凸(可能非光滑)或/和光滑(可能非凸)正则化函数的总和。该算法结合了现有的几种方法,如交替方向乘法器(ADMM),连续凸逼近(SCA),分布式和异步算法,不精确的梯度法的想法。然而,不同于现有的方法,所提出的框架是足够灵活的,以纳入一类非凸目标函数,允许分布式操作与不融合中心,并包括方差减少的方法作为特殊情况。值得注意的是,所提出的算法是强大的随机,确定性和对抗性来源所产生的不确定性。本文的第一部分在非常温和的假设下开发了算法的两个变体,并建立了一阶收敛速度保证。这里开发的证明允许一般的错误和延迟,为不同的方差减少,异步和随机实现铺平了道路,在第二部分中概述和评估。
2019-07-21 cs.DC math.OC stat.ML
Distributed Stochastic Nonconvex Optimization and Learning based on Successive Convex Approximation
Sapienza University of Rome(罗马萨皮恩扎大学)
研究了多智能体网络中的分布式随机非凸优化问题。我们引入了一个新的算法框架的分布最小化的平滑(可能非凸)函数(代理的总和效用)加上凸(可能非平滑)正则化的期望值的总和。所提出的方法取决于连续凸近似(SCA)技术,利用动态共识作为一种机制来跟踪代理之间的平均梯度,递归平均恢复的总和效用函数的预期梯度。几乎必然收敛到(平稳)的非凸问题的解决方案。最后,将该方法应用于神经网络的分布式随机训练。数值结果证实了理论的要求,并说明了所提出的方法相对于文献中的其他方法的优势。
2020-05-12 cs.LG eess.SP math.OC
Fast Trajectory Optimization via Successive Convexification for Spacecraft Rendezvous with Integer Constraints
在本文中,我们提出了一种快速的方法,基于连续凸化生成燃料优化的航天器交会轨道的混合整数约束的存在。最近开发的状态触发约束的范例允许有效地嵌入到连续凸化的连续优化框架的离散决策约束的子集。因此,我们能够以交互式速度解决困难的轨迹最优化问题,而不是混合整数规划方法,需要更多的解决方案时间和计算能力。我们的方法被应用到实际问题的换位和对接的阿波罗指令和服务模块与登月舱。我们证明,在几秒钟内,我们能够获得比非优化的阿波罗时代设计目标高出90%的燃油效率(节省高达45公斤的燃料)的轨迹。我们的轨迹明确考虑了最小推力脉冲宽度和羽流冲击约束。这两个约束自然都是混合整数,但我们将它们作为状态触发的约束来处理。在目前的状态下,我们的算法将作为一个有用的离线设计工具,快速轨迹贸易研究。
2019-06-11 math.OC
Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization
考虑最小化包含大量变量的光滑(可能非凸)和凸(可能非光滑)函数之和的问题。解决这个问题的一种流行方法是块坐标下降(BCD)方法,在每次迭代中,只有一个变量块被更新,而其余变量保持不变。随着多核并行处理技术发展的最新进展,希望通过允许在算法的每次迭代中同时更新多个块来并行化BCD方法。在这项工作中,我们提出了一个不精确的并行BCD方法,在每次迭代中,一个子集的变量被更新并行最小化凸近似的原始目标函数。我们研究了随机变量和循环变量选择规则的并行BCD方法的收敛性。我们分析了算法对凸和非凸目标函数的渐近和非渐近收敛行为。数值实验表明,对于Lasso极小化问题的一种特殊情况,循环块选择规则的性能优于随机化规则。
2014-10-31 math.OC
Auto-tuned Primal-dual Successive Convexification for Hypersonic Reentry Guidance
本文提出自适应原对偶序列凸化算法Auto-SCvx,通过闭式优化对偶变量自动更新惩罚超参数,无需手动调参即可可靠求解高超声速再入最优控制问题,性能优于现有方法。
2024-11-14 math.OC
Solving High-Order Portfolios via Successive Convex Approximation Algorithms
投资组合收益率的第一矩和第二矩,也就是均值和方差已被广泛用于评估投资组合的预期收益和风险。投资者在设计投资组合时追求更高的均值和更低的方差。当投资组合收益率服从高斯分布时,这两个矩可以很好地描述收益率的分布。然而,现实世界中的资产收益率分布往往是不对称的、重尾的,远非高斯分布。非对称性和重尾性的特征在于第三和第四中心矩,即,偏度和峰度。较高的偏度和较低的峰度是优选的,以减少极端损失的概率。然而,将高阶矩的投资组合设计是非常困难的,由于他们的非凸性和快速增加的计算成本与维。在本文中,我们提出了一个非常有效的和收敛性证明的算法框架的基础上逐次凸近似(SCA)算法来解决高阶投资组合。数值实验证明了该算法框架的有效性。
2020-08-03 math.OC q-fin.PM
Energy efficiency optimization in MIMO interference channels: A successive pseudoconvex approximation approach
本文研究了下行链路多输入多输出多小区系统中所有用户都受到多用户干扰时的能量效率(全局和和)最优化问题。由于以下几个原因,这是一个具有挑战性的问题:1)这是一个非凸分式规划问题,2)传输速率函数由(复值)传输协方差阵表征,以及3)与处理相关的功耗可能取决于传输速率。我们解决这个问题的逐次伪凸逼近的方法,我们认为,伪凸优化在设计新的迭代算法中起着重要的作用,不仅因为每一个局部最优点的伪凸最优化问题也是全局最优的,而且还因为下降方向很容易从每一个最优点的伪凸最优化问题。所提出的算法具有以下优点:1)收敛速度快,因为在每次迭代求解的近似问题中尽可能多地保留了原最优化问题的结构; 2)易于实现,因为每个近似问题都适合并行计算,并且其解具有封闭形式的表达式; 3)保证收敛到一个稳定点或Karush-Kuhn-Tucker点。数值计算表明了该算法的优越性。
2018-02-19 eess.SP math.OC
An Inexact Successive Quadratic Approximation Method for Convex L-1 Regularized Optimization
我们研究了一个牛顿式的方法来最小化一个目标函数,该目标函数是一个光滑的凸函数和一个l-1正则项的总和。该方法有时在文献中称为近似牛顿法,通过最小化目标函数的分段二次模型来计算步长。为了使这种方法在实践中有效,必须不精确地执行这种内部最小化。在本文中,我们给出了保证整体收敛和控制迭代局部收敛速率的不精确条件。我们的不精确条件是基于一个半光滑函数,它代表了问题的最优性条件的(连续)度量,并且体现了软阈值迭代。我们仔细考虑的算法内部最小化,并报告数值结果的两个测试集起源于机器学习。
2013-09-13 math.OC
Successive Convex Approximation Algorithms for Sparse Signal Estimation with Nonconvex Regularizations
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg(卢森堡大学安全、可靠性与信任跨学科中心);Technische Universität Darmstadt(达姆施塔特工业大学)
在本文中,我们提出了一个连续的凸近似框架稀疏优化的非光滑正则化函数的目标函数是非凸的,它可以写为两个凸函数的差。建议的框架是基于一个非平凡的组合的优化最小化框架和连续凸逼近框架中提出的凸正则化函数的文献。所提出的框架有几个吸引人的特点,即:i)灵活性,因为不同的近似函数的选择导致不同类型的算法; ii)快速收敛,因为通过适当选择近似函数可以更好地利用问题结构,并且通过线搜索计算步长; iii)低复杂度,因为近似函数是凸的,并且线搜索方案在可微函数上执行; iv)保证收敛到稳定点。我们展示了这些功能的两个例子中的子空间学习,即网络异常检测问题和稀疏子空间聚类问题的应用。自定义所提出的框架,通过采用最佳响应型近似,我们获得软阈值与精确的线搜索算法,未知参数的所有元素根据封闭形式的表达式并行更新。所提出的算法的有吸引力的功能数值说明。
2018-06-28 cs.DC cs.IR cs.LG
Hybrid Block Successive Approximation for One-Sided Non-Convex Min-Max Problems: Algorithms and Applications
最小-最大问题,也称为鞍点问题,是一类同时最小化和最大化两个变量子集的最优化问题。这类问题可用于制定广泛的信号处理和通信(SPCOM)问题。尽管它的流行,大多数现有的理论,这类主要是发展了一些特殊的凹凸结构的问题。因此,它不能用来指导算法设计的许多有趣的问题,在SPCOM中,各种各样的非凸性出现。在这项工作中,我们考虑了一个块明智的单侧非凸极小极大问题,其中的最小化问题由多个块,是非凸的,而最大化问题是(强)凹。我们提出了一类简单的算法混合块逐次逼近(HiBSA),交替执行梯度下降型步骤的最小化块和梯度上升型步骤的最大化问题。该算法的一个关键因素是使用一定的正则化和惩罚序列,稳定算法,并确保收敛。我们表明,HiBSA收敛到一些适当定义的一阶固定的解决方案,可量化的全球利率。为了验证所提出的算法的效率,我们进行了一些问题的数值测试,包括鲁棒学习问题,非凸最小效用最大化问题,并在干扰信道中出现的某些无线干扰问题。
2021-03-16 math.OC stat.ML
Successive Convexification for Real-Time 6-DoF Powered Descent Guidance with State-Triggered Constraints
针对广义自由末时间6自由度动力下降制导问题,提出了一种实时连续凸化算法。我们建立在我们以前的工作,引入以下贡献:(一)自由点火时间的修改,允许算法来确定最佳的发动机点火时间,(二)一个易于处理的空气动力学制定模型的升力和阻力,和(iii)一个连续的状态触发的约束制定,模拟有条件地强制执行的约束。特别地,贡献(iii)有效地允许通过以父连续最优化问题的解变量为条件的if语句来启用或禁用约束。据我们所知,这代表了一种新的配方在最优控制文献,并使一些有趣的应用,包括速度触发攻角约束和范围触发视线约束。我们的算法将由此产生的广义动力下降制导问题从一个非凸的自由最终时间最优控制问题转化为一系列易处理的凸二阶锥规划子问题。借助于虚拟控制和置信域修正,这些子问题连续求解,直到收敛。使用第三方求解器的仿真表明所提出的算法的实时能力,在众多的问题特征组合的最大执行时间为小于0.7秒。
2018-11-27 math.OC
Successive Convexification for Trajectory Optimization with Continuous-Time Constraint Satisfaction
提出一种仅需一阶信息的实时非凸轨迹优化框架连续凸化,结合外部惩罚、广义时间膨胀、多重打靶、$\ell_1$精确惩罚与prox-linear方法,实现连续时间约束满足并保证收敛至KKT点,在动态避障与火箭着陆中验证有效。
2024-04-25 math.OC
GPU-Accelerated Continuous-Time Successive Convexification for Contact-Implicit Legged Locomotion
University of Washington(华盛顿大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出了一种基于连续时间递进凸优化的接触隐式腿部运动方法,通过引入积分互补性约束消除接触事件丢失风险,提升求解效率,实现更灵活的接触模式切换。
2026-04-11 cs.RO math.OC
Constrained Stochastic Recursive Momentum Successive Convex Approximation
针对带非凸函数约束的随机优化问题,提出基于递归动量的加速逐次凸逼近算法,通过递归梯度跟踪降方差加速收敛,达到接近最优的随机一阶复杂度,在轨迹优化和稀疏分类任务上性能优异。
2025-08-01 eess.SP math.OC
A successive difference-of-convex method for a class of two-stage nonconvex nonsmooth stochastic conic program via SVI
School of Mathematics and Statistics, Beijing Jiaotong University(北京交通大学数学与统计学院);Beijing Key Laboratory of Biological Big Data and Topological Statistics, Beijing Jiaotong University(北京交通大学生物大数据与拓扑统计北京市重点实验室)
本文提出了一种用于解决两阶段非凸非光滑随机锥程序的连续差分凸方法,通过将问题转化为非单调非光滑两阶段随机变分不等式并利用Moreau包络和渐进对冲方法进行求解,验证了方法的收敛性,并通过均值-方差模型的应用展示了其有效性。
2026-03-04 math.OC
Successive Affine Learning for Deep Neural Networks
Old Dominion University(老道明大学)
本文提出逐次仿射学习(SAL)模型,将深度神经网络训练转化为逐层求解凸优化问题,并建立相关恒等式与收敛定理,实验表明其显著优于传统深度学习模型。
2023-07-11 cs.LG cs.NA math.NA
Successive Convexification for Trajectory Optimization with Continuous-time Satisfaction of Signal Temporal Logic Specifications
University of Washington(华盛顿大学)
提出基于广义均值鲁棒性的逐次凸化框架,将连续时间信号时序逻辑约束转化为可微形式,结合时间缩放、控制参数化、多重打靶离散化和收敛保证的序贯凸规划求解非凸轨迹优化问题。
2026-06-05 math.OC
A successive difference-of-convex approximation method for a class of nonconvex nonsmooth optimization problems
考虑一类非凸非光滑最优化问题,其目标函数是一个光滑函数和有限个非负真闭的可能非光滑函数(其邻近映射易于计算)的和,其中一些函数进一步由线性映射组成.当引入不同的正则化子来诱导解中的同时结构时,这类问题自然会出现在各种应用中。然而,解决这些问题可能是具有挑战性的,因为耦合的非光滑函数:相应的邻近映射可能很难计算,因此标准的一阶方法,如邻近梯度算法不能有效地应用。本文提出了一种求解这类问题的逐次凸差分逼近方法。在该算法中,我们近似的非光滑函数的Moreau包络在每次迭代。利用非负真闭函数的Moreau包络是连续的{ \em差分凸}函数这一简单的观察,我们可以通过适当的优化技术用一阶方法近似地最小化逼近函数.由于{ \em each}非光滑函数的邻近映射易于计算,因此这些一阶方法可以有效地实现。在适当的假设下,我们证明了由我们的方法产生的序列是有界的,任何聚点是一个平稳点的目标。我们还讨论了如何将我们的方法应用到具体的应用,如非凸融合正则化最优化问题和同时结构化矩阵最优化问题,并说明了这两个特定应用的性能数值。
2018-05-26 math.OC stat.ML
Practical Precoding via Asynchronous Stochastic Successive Convex Approximation
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);Radisys India Pvt. Ltd.(瑞迪斯印度私人有限公司)
考虑光滑非凸损失函数与凸非光滑正则化子的随机最优化。在在线设置中,其中在每次迭代时损失的随机梯度的单个样本可用,该问题可以使用近似随机梯度下降(SGD)算法及其变体来解决。然而,在许多问题中,特别是在通信和信号处理中出现的那些问题中,由于损失函数的结构,可以获得超出随机梯度的信息。SGD不使用这种额外的梯度信息,但已被证明是有用的,例如在随机期望最大化,随机优化最小化和随机连续凸逼近(SCA)方法的背景下。通过在每次迭代时构造损失函数的随机强凸代理,随机SCA算法可以利用损失函数的结构特性,并获得优于SGD的经验性能。在这项工作中,我们仔细研究随机SCA算法,并开发其异步变体,可用于无线网络中的资源分配。虽然随机SCA算法是已知的渐近收敛,其迭代复杂性还没有得到很好的研究,是目前工作的重点。从非渐近分析中获得的见解,使我们能够开发一个更实用的随机SCA算法,它允许使用在早期迭代计算的代理人的异步变体。我们的特点是精确的界限上的最大延迟的算法可以容忍,而仍然达到相同的收敛速度。我们将该算法应用于无线传感器网络中的线性预编码问题,它可以在低复杂度下实现,但在实践中表现良好。
2020-10-03 cs.LG eess.SP math.OC
Generating Cutting Inequalities Successively for Quadratic Optimization Problems in Binary Variables
我们提出了一个二元二次最优化问题的连续生成切割不等式。对最优解集$\subset \{0, 1\}^n$的凸包连续生成多个切割不等式,而对可行域的凸包使用标准切割不等式。一个任意系数为整数且右端值为整数的线性不等式可作为有效不等式的候选。线性不等式的有效性是通过求解子问题的圆锥松弛来确定的,例如双非负松弛,假设问题的未知最优值的上界是可用的。此外,多个切割不等式产生的候选人同时测试其有效性并行。对60个二次无约束二元最优化问题的初步数值计算结果表明,70%的测试问题得到了精确的最优值,证明了所提出的技术的强大潜力。
2021-07-19 math.OC
Fuel-optimal Boost-Back Guidance via Successive Convexification with a Terminal Constraint for ReusableLaunch Vehicles
Sejong University(世宗大学)
本文提出一种基于逐次凸化的燃油最优助推-返回制导算法,通过终端瞬时撞击点约束和解析滑行段处理,在降低计算成本的同时实现接近最优的推进剂消耗,并基于Falcon 9任务验证了其有效性。
2026-09-25 math.OC
Successive Quadratic Upper-Bounding for Discrete Mean-Risk Minimization and Network Interdiction
圆锥优化的进步导致其在建模数据不确定性方面的利用率增加。特别是,圆锥平均风险优化在概率和鲁棒优化中获得了突出地位。而相应的圆锥模型是有效地解决了凸集,他们的离散同行是棘手的。本文给出了离散均值风险最小化问题的一个高效的逐次二次上界方法。该程序是基于重新制定的平均风险问题,通过其凸二次项的角度。随机容量的网络阻断问题进行的计算实验表明,所提出的方法产生的解决方案在1-2%的最优精确搜索算法所需的时间的一小部分。我们证明了所提出的方法的价值,为不同的置信水平的风险流与阻断成本构建有效的边界。
2018-08-25 math.OC
A Modified Method of Successive Approximations for Stochastic Recursive Optimal Control Problems
基于部分耦合正倒向随机控制系统的随机最大值原理,建立了求解随机递归最优控制问题的改进逐次逼近法.由于控制域不一定是凸的,因此在增广哈密顿最小化步骤中引入了二阶伴随过程。利用有界平均振荡鞅(BMO martingales)理论,给出了改进MSA算法的误差估计的一个精确证明,并证明了改进MSA算法的收敛性.在一种特殊情况下,我们得到了对数收敛速度。当控制域是凸紧的时,对于一类线性FBSCS,给出了MSA算法返回的控制是近最优控制的充分条件。
2022-01-10 math.OC math.PR
Convex Optimization-Based Model Predictive Control for the Guidance of Active Debris Removal Transfers
针对主动碎片清除转移制导问题,提出基于凸优化的MPC方法,利用GEqOE和split-Edelbaum参考更新消除逐次凸化,并在高保真模型下实现无迭代精确求解。
2023-08-17 math.OC
Inexact Successive Quadratic Approximation for Regularized Optimization
连续二次逼近或二阶邻近方法对于最小化平滑部分和促进正则化的凸(可能非平滑)部分之和的函数很有用。大多数迭代复杂性的分析集中在近似梯度法的特殊情况下,或其加速变体。只有少数研究的方法,使用二阶近似的光滑部分,部分原因是在每次迭代获得封闭形式的解决方案的子问题的困难。实际上,可能需要使用迭代算法来找到这些子问题的不精确解。在这项工作中,我们提出了全球分析的不精确逐次二次逼近方法的迭代复杂性,表明一个不精确的解决方案的子问题,是在一个固定的乘法精度的最优性足以保证相同的顺序的收敛速度的准确版本,与复杂性相关的不精确的措施,在一个直观的方式。我们的结果允许灵活选择的二阶项,包括牛顿和拟牛顿的选择,并不一定需要增加精度的子问题的解决方案在以后的迭代。对于具有强凸性的问题,算法以全局线性速度收敛。对于一般凸问题,早期收敛速度是线性的,而总体收敛速度是$O(1/k)$。对于非凸问题,一阶最优性准则以$O(1/\sqrt{k})$的速率收敛到零。
2019-01-24 math.OC
A Convex Optimization Approach for Finite-Thrust Time-Constrained Cooperative Rendezvous
本文提出了一种凸优化方法来解决合作交会问题,即两个相距较远的航天器同时运行以接近目标的问题。凸规划通过使用高效的数值算法,保证在有限的短时间内收敛到最优解。采用无损和连续凸化技术相结合来处理原问题的非凸性。具体地说,一个方便的变量变换和约束松弛进行,而一个连续的线性化的运动方程被用来处理的非线性动力学。为了提高算法的鲁棒性,提出了一种递归更新参考解的滤波技术。数值结果,并与间接方法提供的结果进行了比较。
2019-09-20 math.OC
Best Convex Lower Approximations of the l 0 Pseudonorm on Unit Balls
向量的范数度量幅度(并且是1-齐次函数),稀疏度由0-齐次l0范数度量,它计算非零分量的数量。本文提出了一个适用于0-齐次函数分析的共轭函数族。这些共轭来自向量之间的耦合,由它们的标量积除以1-齐次归一化因子给出。利用这一点,我们刻画了0-齐次函数在归一化函数的单位球上的最佳凸下逼近(即不需要次可加性的范数)。我们对最佳凸和1-齐次下近似做同样的事情。特别是,我们提供的表达式紧凸下逼近的l0上的任何单位球,我们表明,最紧的规范,minorizes的l0上的单位球的任何lp-范数是l1-范数。我们还提供了单位球上的任意范数的l0范数的最紧凸下凸逼近。
2021-05-31 math.OC
Research on the descent direction of prediction correction algorithms for pseudo-convex/convex optimization problems
Beihang University(北京航空航天大学);Nanjing Normal University(南京师范大学)
本文研究了伪凸和凸优化问题中预测修正算法的下降方向调整系数,通过微分方程视角分析其范围,并验证了算法的收敛性及有效性。
2025-12-04 math.OC
A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization
块坐标下降法(BCD)是求解多个块变量的连续函数f最小值问题的一种常用方法。在该方法的每次迭代中,优化单个变量块,而其余变量保持固定。为了保证BCD方法的收敛性,每次迭代中需要精确求解待优化的子问题,使其具有唯一的最优解。不幸的是,这些要求对于许多实际场景来说往往过于严格。在本文中,我们研究了另一种不精确的BCD方法,该方法通过连续最小化f的一系列逼近来更新可变块,这些逼近要么是f的局部紧上界,要么是f的严格凸局部逼近。我们专注于一个相当广泛的一类这样的方法,特别是对于其中的目标函数是不可微或非凸的情况下,其收敛特性的特征。我们的结果统一和推广了许多经典算法如BCD方法、凸函数差分(DC)方法、期望最大化(EM)算法以及交替邻近最小化算法的收敛性结果.
2012-09-11 math.OC
Properties of Pseudocontractive Updates in Convex Optimization
许多凸最优化方法的构思和分析在很大程度上是分开的。与这种传统的分离相反,这篇手稿指出并展示了一个重要的,但在很大程度上未被注意到的共同线程贯穿许多突出的最优化方法的效用。特别是,我们表明,方法,如连续正交投影,梯度下降,投影梯度下降,近点法,向前向后分裂,交替方向法的乘法器,和根据或过度放松的变体,前面所有涉及更新是一个共同的类型-即,更新满足一个属性称为伪收缩。此外,由于伪压缩性在复合和凸组合下都保持不变,因此通过这些操作从伪压缩更新构造的更新本身也是伪压缩的.在证明了伪压缩更新可以在许多最优化方法中找到之后,我们给出了具有伪压缩更新的方法的统一的基本分析。具体来说,我们证明了一个新的约束所满足的伪压缩更新的迭代的差异的范数,然后我们使用这个约束来建立的错误准则$\left\Vert x^{N}-Tx^{N}\right\Vert ^{2}$是$o(1/N)$的任何方法,涉及伪压缩更新(其中$N$是迭代次数和$T$是迭代算子)。
2014-06-27 math.OC
Linear Bandits on Uniformly Convex Sets
Zuse Institute(祖斯研究所);Technische Universität(柏林工业大学);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院)
线性bandit算法给出了紧凸行动集$\mathcal{K}\subset\mathbb{R}^n$上的$\tilde{\mathcal{O}}(n\sqrt{T})$伪遗憾界,两种结构假设给出了更好的伪遗憾界.当$\mathcal{K}$是单纯形或具有$p\in]1,2]$的$\ell_p$球时,存在具有$\tilde{\mathcal{O}}(\sqrt{nT})$伪遗憾界的强盗算法。在这里,我们推导出了一些强凸集的强盗算法,这些凸集超出了$\ell_p$球,享受$\tilde{\mathcal{O}}(\sqrt{nT})$的伪遗憾界,这回答了[BCB 12,§5.5.]中的一个公开问题。有趣的是,当行动集是一致凸的,但不一定是强凸的,我们得到的伪遗憾界的尺寸依赖小于$\mathcal{O}(\sqrt{n})$。然而,这是以$T$的渐近速率在$\tilde{\mathcal{O}}(\sqrt{T})$和$\tilde{\mathcal{O}}(T)$之间变化为代价的。
2021-03-10 cs.LG math.OC
A convex approach for Markov chain estimation from aggregate data via inverse optimal transport
本文提出了一种基于逆最优传输的凸方法,用于从汇总数据中估计马尔可夫链的转移概率矩阵,通过熵近端方法实现高效迭代算法,并在两个数值实验中验证了方法的准确性和收敛性。
2026-11-17 cs.SY eess.SY math.OC
Sequential Piecewise Linear Programming for Convergent Optimization of Non-Convex Problems
提出了一种顺序分段线性规划方法,其中在算法的每次迭代中,非凸函数的有界域关于分段线性规划的解连续收缩。虽然可行性和最优性不能保证,我们表明,该方法是能够获得收敛和最优解的一些非线性规划(NLP)和混合非线性非线性规划(MINLP)问题,只使用少量的断点和整数变量。
2020-04-20 math.OC
SCvx-fast: A Superlinearly Convergent Algorithm for A Class of Non-Convex Optimal Control Problems
在本文中,我们扩展了我们以前的结果,并正式提出了SCVx快速算法,一个新的除了连续凸化算法框架。所述算法解决了具有特定类型的状态约束(即凸禁入区的并集)的非凸最优控制问题,并且比其前身SCvx收敛更快。为了保持更多的可行性,该算法采用了一种新的投影-凸化过程,将状态约束和系统动力学同时凸化,从而每次求解一个有限维的凸规划子问题.它还摆脱了对置信域的依赖,获得了采取更大步骤的能力,从而最终实现更快的收敛。延伸部分分为以下三个部分。i)我们现在可以从一个不可行的起点初始化算法,并在一个步骤中重新获得可行性; ii)我们摆脱了约束上的平滑条件,以便可以包括更广泛的“障碍”。相应地调整算法的重大变化; iii)我们得到了超线性收敛速率的证明,一个新的理论结果SCVx快速。SCvx-fast算法由于其特殊的问题设置和投影凸化过程,特别适合于求解带避碰约束的轨迹规划问题。进行了数值模拟,肯定了快速的收敛速度。通过强大的凸规划求解器,该算法可以在机载实时自主制导应用中实现。
2021-11-30 math.OC
Global Complexity Analysis of Inexact Successive Quadratic Approximation methods for Regularized Optimization under Mild Assumptions
逐次二次逼近(SQA)是一种有效的数值方法,它能使光滑函数和凸函数之和最小化。近年来,人们对非精确SQA方法的迭代复杂性进行了分析。本文提出了一种基于四种线搜索的非精确SQA方法的算法框架,并在较温和的假设下分析了其全局复杂性。首先,我们证明了它的良定性和一些递减性质。其次,在二次增长条件和步长的一致正下界条件下,证明了函数值序列和非线性序列是线性收敛的。此外,我们得到了一个O(1/k)的复杂性没有二次增长条件,改善现有的O(1/k)的复杂性结果。最后,我们证明了局部梯度Lipschitz连续条件可以保证步长的一致正下界。
2018-08-13 math.OC
Pseudo basic steps: Bound improvement guarantees from Lagrangian decomposition in convex disjunctive programming
本文提出伪基本步骤操作,利用拉格朗日分解为凸析取规划的基本步骤改进提供可证明的界,并在K均值聚类实例上显著提升界质量。
2025-01-25 math.OC
Optimality conditions with cone-generalized convex vector functions
Technical University of Varna(瓦尔纳理工大学)
本文针对带锥约束的广义凸向量非线性规划问题,推广了标量及多目标Paretian情形的最优性条件,引入两类新概念并证明了相关等价刻画。
2026-10-14 math.OC
SNAP: Finding Approximate Second-Order Stationary Solutions Efficiently for Non-convex Linearly Constrained Problems
针对具有光滑非凸目标和线性约束的问题,提出了一种低复杂度的求解近似二阶稳定点的算法。虽然找到(近似)SOSP是计算上棘手的,我们首先表明,通用的问题的实例可以有效地解决。更具体地说,对于一般问题实例,某些严格互补(SC)条件对所有Karush-Kuhn-Tucker(KKT)解(概率为1)成立。SC条件,然后用于建立两个不同的概念之间的等价关系的SOSP,其中之一是计算上容易验证。基于SOSP的这一特殊概念,我们设计了一种算法,称为连续负曲率梯度投影(SNAP),它连续执行传统的梯度投影或一些基于负曲率的投影步骤来寻找SOSP。SNAP及其一阶扩展SNAP $^+$需要$\mathcal{O}(1/ε^{2.5})$迭代来计算一个$(ε, \sqrtε)$ -SOSP,并且它们的每次迭代计算复杂性在约束数目和问题维数上是多项式的.据我们所知,这是第一次,一阶算法的多项式迭代复杂性和全球次线性率已被设计,以寻找SOSP的重要类的非凸问题的线性约束。
2019-07-09 cs.CC math.OC stat.ML