A Class of Convex Optimization-Based Recursive Algorithms for Identification of Stochastic Systems
本文提出一类含最小二乘、Huber、Log-cosh等特例的凸优化辨识准则及递推算法,证明其估计以概率1收敛,并通过数值算例验证强一致性、鲁棒性与在线效率。
2024-05-13 cs.SY eess.SY math.OC
Stochastic Recursive Momentum Method for Non-Convex Compositional Optimization
我们提出了一种新的随机最优化算法,称为STORM-组合优化,最大限度地减少了两个随机函数的期望组合,后者是一个最优化问题,出现在各种重要的机器学习应用。通过在成分梯度更新中引入动量项,STORM-Compositional以指数移动平均的方式操作随机递归方差约减的成分梯度。这导致STORM-组合的$O(\varepsilon^{-3})$复杂度上界,其匹配先前宣布的组合优化算法中的最佳已知复杂度界限。同时,STORM-组合是一个单循环算法,避免了在大批量和小批量之间进行典型的交替调整,以及记录检查点梯度,这些都是方差减少的随机梯度法中持续存在的。这使得相当简单的参数调整在数值实验中,这表明了优于其他随机组合优化算法的STORM组合。
2020-06-07 math.OC
Probabilistic Guarantees of Stochastic Recursive Gradient in Non-Convex Finite Sum Problems
Washington University in St. Louis(圣路易斯华盛顿大学)
本文提出新的无维度Azuma-Hoeffding型界,改进SARAH算法得到Prob-SARAH,为其梯度范数估计提供高概率界,其依概率复杂度接近最优期望结果,实验验证了在真实数据集上的优异概率性能。
2024-01-29 cs.LG math.OC math.ST
Connection between MP and DPP for Stochastic Recursive Optimal Control Problems: Viscosity Solution Framework in Local Case
本文讨论了控制域为凸时随机递归控制问题的最大值原理与动态规划原理之间的一种非光滑联系。利用亚喷流和超喷流的概念,导出了值函数和伴随过程之间的集合包含。非凸控制域的一般情况是开放的。
2016-03-07 math.OC
Constrained Stochastic Recursive Momentum Successive Convex Approximation
针对带非凸函数约束的随机优化问题,提出基于递归动量的加速逐次凸逼近算法,通过递归梯度跟踪降方差加速收敛,达到接近最优的随机一阶复杂度,在轨迹优化和稀疏分类任务上性能优异。
2025-08-01 eess.SP math.OC
SARAH: A Novel Method for Machine Learning Problems Using Stochastic Recursive Gradient
Lehigh University(里海大学);The University of Oxford(牛津大学)
在本文中,我们提出了一个随机递归梯度算法(SARAH),以及它的实际变体SARAH+,作为一种新的方法来解决有限和极小化问题。不同于香草SGD和其他现代随机方法,如SVRG,S2 GD,SAG和SAGA,SARAH承认一个简单的递归框架来更新随机梯度估计;与SAG/SAGA相比,SARAH不需要存储过去的梯度。在强凸性假设下证明了SARAH算法的线性收敛速度。我们还证明了一个线性收敛速度(在强凸的情况下)的内部循环的SARAH,SVRG不具备的属性。数值实验证明了算法的有效性。
2017-06-03 cs.LG math.OC stat.ML
Singular Optimal Controls for Stochastic Recursive Systems under Convex Control Constraint
本文研究了由正倒向随机微分方程(简称FBSDEs)所控制的系统的两类奇异最优控制(简称SOC)问题,其中控制分为正则控制和奇异控制两部分.漂移项和扩散项都可以涉及常规控制变量。正则控制域被假定为凸的。在一定的假设下,在Malliavin演算的框架下,我们得到了经典意义下随机SOC的逐点二阶必要条件。这个条件是由两个伴随过程,一个极大条件的哈密尔顿支持一个说明性的例子。得到了最优奇异控制的一个新的必要条件。此外,作为一个副产品,SOC的验证定理推导通过黏性解不涉及任何导数的价值函数。值得指出的是,该定理比限制性经典验证定理具有更广泛的适用性。最后,在不假设值函数足够光滑的情况下,讨论了最大值原理与动态规划原理之间的联系。
2020-12-21 math.OC
Direct Method on Stochastic Maximum Principle for Optimization with Recursive Utilities
得到了递归随机最优控制问题中倒向随机微分方程的变分方程,进而得到了新颖的最大值原理。控制域不需要是凸的,倒向随机微分方程的生成元可以包含z。
2015-07-13 math.OC math.PR
Optimal stopping under probability distortions and law invariant coherent risk measures
在本文中,我们研究最优停止问题的扭曲的期望的形式\begin{eqnarray*} \mathcal{E}(X)=\int_{-\infty}^{\infty} x\,dG(F_X(x)), \end{eqnarray*},其中$F_X$是分布函数的$X$和$G$是一个凸分布函数的$[0,1].$作为事实上,除了$G$是身份的$[0,1],$动态版本的$\mathcal{E}(X)$不具有所谓的时间一致性属性所需的动态规划方法。本文证明了一种新的表示方法,它将一个扭曲期望下的最优停止问题的解与标准最优停止问题的序列联系起来,从而使基于标准动态规划的方法的应用成为可能。此外,通过著名的Kusuoka表示,我们将我们的结果推广到一般规律不变的相干风险测度下的最优停止。最后,基于我们的新的表示,我们开发了几个Monte Carlo近似算法,并说明了他们的权力下的最佳停止平均值在风险和绝对半确定性风险措施。
2015-06-14 math.OC math.PR
A Modified Method of Successive Approximations for Stochastic Recursive Optimal Control Problems
基于部分耦合正倒向随机控制系统的随机最大值原理,建立了求解随机递归最优控制问题的改进逐次逼近法.由于控制域不一定是凸的,因此在增广哈密顿最小化步骤中引入了二阶伴随过程。利用有界平均振荡鞅(BMO martingales)理论,给出了改进MSA算法的误差估计的一个精确证明,并证明了改进MSA算法的收敛性.在一种特殊情况下,我们得到了对数收敛速度。当控制域是凸紧的时,对于一类线性FBSCS,给出了MSA算法返回的控制是近最优控制的充分条件。
2022-01-10 math.OC math.PR
On the strength of recursive McCormick relaxations for binary polynomial optimization
递归McCormick松弛是求解二元多项式最优化问题的最常用的凸化方法之一。众所周知,这些松弛的质量和大小都取决于递归序列,并且找到最佳递归序列相当于解决困难的组合最优化问题。在本文中,我们证明了任何递归McCormick松弛都隐含在扩展花松弛中,扩展花松弛是一种线性规划松弛,是Del Pia和Khajavirad 2018年引入的花松弛的自然推广,对于具有固定次数的二元多项式最优化问题,可以在强多项式时间内求解。
2023-01-18 math.OC
Recursive Feasibility Guided Optimal Parameter Adaptation of Differential Convex Optimization Policies for Safety-Critical Systems
University of Michigan(密歇根大学)
基于二次规划(QP)的状态反馈控制器,其不等式约束将控制障碍变化率(CBF)和李雅普诺夫函数与其值的类$\mathcal{K}$函数绑定,对这些类$\mathcal{K}$函数的参数敏感。然而,有效CBF的构造并不简单,并且对于任意选择的QP参数,系统轨迹可能进入QP最终变得不可行或可能无法实现期望性能的状态。在这项工作中,我们提出的控制综合问题作为一个微分政策,其参数优化的性能在一个时间范围内在高层次上,从而导致在一个双层优化例程。在缺乏可行参数集知识的情况下,我们开发了一种递归可行性引导梯度下降方法来更新QP参数,以便新解决方案的性能至少与之前的解决方案一样好。通过将动力系统视为随时间的有向图,这项工作提出了一种新的方法,通过(1)采用灵敏度分析,使用其解相对于其参数的梯度,以及(2)反向传播这些以及系统动态梯度来更新参数,同时保持QP的可行性,来优化多个CBF的QP控制器在时间范围内的性能。
2022-06-16 cs.RO math.OC
A variable metric mini-batch proximal stochastic recursive gradient algorithm with diagonal Barzilai-Borwein stepsize
Hebei University of Technology(河北工业大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
具有不同尺度选择的变尺度近似梯度法在组合优化中得到了广泛的应用。将Barzilai-Borwein(BB)方法与度量的对角选择策略相结合,对角BB步长可以保持标量BB步长的低每步计算成本,并且更好地捕获问题的局部几何形状。本文提出了一种变度量的小批量近似随机递归梯度算法VM-mSRGBB,该算法使用一种新的对角BB步长来更新度量。对强凸函数、非强凸函数和凸函数分别证明了VM-mSRGBB的线性收敛.在标准数据集上的数值实验表明,VM-mSRGBB优于或可与某些具有最佳调整标量步长或BB步长的方差缩减随机梯度法相媲美.此外,VM-mSRGBB的性能优于一些先进的小批量邻近随机梯度法。
2020-10-02 cs.LG cs.NA math.NA
Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations
Central South University(中南大学);Tulane University(杜兰大学);National University of Defense Technology(国防科技大学);Xi’an Jiaotong University(西安交通大学);Shanghai Jiao Tong University(上海交通大学)
本文基于算法稳定性分析 STORM、COVER 和 SVMR 在凸与强凸一至 K 层随机优化中的泛化性,建立稳定性与超额风险界,并揭示估计器方差、层级增加及批量大小的影响。
2024-07-07 cs.LG math.OC
Memory-Constrained Algorithms for Convex Optimization via Recursive Cutting-Planes
MIT(麻省理工学院)
提出递归切割平面算法族,在内存受限下解决凸优化可行性问题,实现内存与预言机复杂度的正权衡,并在特定区间优于梯度下降。
2023-06-16 cs.CC cs.DS cs.LG
A Recursive Domain- and Objective-Adaptive Frank-Wolfe Algorithm
University of Konstanz(康斯坦茨大学);University of St.Gallen(圣加仑大学)
针对域和目标函数均未知的数据驱动优化问题,提出一种递归Frank-Wolfe变体,通过集成估计器保持无投影特性,并证明优化误差随估计精度缩放。
2026-06-25 math.OC
Recursive Stochastic Linear-Quadratic Control with Indefinite Weights for Jump-Diffusion Systems with Random Coefficients
针对带随机系数的跳扩散系统,研究不定权重下的递归随机LQ控制,通过测度变换和配方法推导随机Riccati方程,并给出反馈最优性与唯一性条件。
2026-10-05 math.OC
Mean Field Game for Linear Quadratic Stochastic Recursive Systems
研究了由正倒向随机微分方程(简称FBSDEs)描述的线性二次平均场对策问题,其中假设个体控制域是凸的.分散策略和一致性条件由一类带投影算子的耦合平均场FBSDES表示。利用单调性条件方法得到了相容性条件系统的适定性。还讨论了$ε$ -纳什均衡性质。
2019-08-14 math.OC
Recursive utility optimization with concave coefficients
本文研究递归的效用最大化问题。我们假设财富方程和递归效用的系数是凹的。然后,一些有趣的和重要的情况下,非线性和非光滑系数满足我们的假设。在给出问题的一个等价的后向形式后,我们采用Fenchel-Legendre变换并导出相应的变分形式。利用凸对偶方法,将原“sup-inf”问题转化为对偶极小化问题,并得到了问题的鞍点。最后,我们得到了最优的终端财富。为了说明我们的结果,三个情况下,投资者的模糊厌恶明确制定了一些特殊的假设。
2016-07-04 math.OC q-fin.MF
Covariance Prediction via Convex Optimization
我们考虑的问题,预测的协方差为零均值高斯向量的基础上,另一个特征向量。我们描述了具有广义线性模型形式的协方差预测器,即,特征的仿射函数,后跟将向量映射到对称正定矩阵的逆链接函数。对数似然是预测器参数的凹函数,因此拟合预测器涉及凸优化。这样的预测器可以与其他预测器组合,或者递归地应用以提高性能。
2021-01-29 cs.AI cs.LG math.OC
Fast decentralized non-convex finite-sum optimization with recursive variance reduction
Carnegie Mellon University(卡内基梅隆大学);Tufts University(塔夫茨大学)
本文研究了$N:=nm$光滑非凸代价函数在有向$n$节点网络上的分散最小化问题。具体来说,我们描述了一个随机一阶梯度方法,称为GT-SARAH,采用SARAH型方差降低技术和梯度跟踪(GT)来解决问题的随机性和分散性。我们表明,GT-SARAH,与适当的算法参数,找到一个$ε$ -准确的一阶平稳点与$O\big(\max\big\{N^{\frac{1}{2}},n(1-λ)^{-2},n^{\frac{2}{3}}m^{\frac{1}{3}}(1-λ)^{-1}\big\}Lε^{-2}\big)$梯度复杂性,其中${(1-λ)\in(0,1]}$是网络权重矩阵的频谱间隙和$L$是平滑参数的成本函数。这种梯度复杂度优于现有的分散随机梯度方法。特别地,在大数据体系中,例如${n = O(N^{\frac{1}{2}}(1-λ)^{3})}$,该梯度复杂度进一步降低到${O(N^{\frac{1}{2}}Lε^{-2})}$,与网络拓扑无关,并且与集中式接近最优方差减小方法的梯度复杂度相匹配。此外,在这种情况下,GT-SARAH实现了非渐近线性加速,因为与在单个节点处执行所有梯度计算的集中式近最优算法相比,每个节点处的梯度计算的总数减少了$1/n$的因子。据我们所知,GT-SARAH是第一个实现此属性的算法。此外,我们表明,适当的选择本地minibatch大小平衡梯度和通信复杂性的…
2021-09-18 cs.LG cs.MA cs.SY
Connection between MP and DPP for Stochastic Recursive Optimal Control Problems: Viscosity Solution Framework in General Case
本文研究了一类随机递归最优控制问题,其中扩散系数依赖于控制变量,且控制域不一定是凸的。在不假设值足够光滑的情况下,研究了广义最大值原理与动态规划原理之间的联系,建立了值函数与一阶、二阶伴随过程的子喷流、超喷流以及广义Hamilton函数之间的集合包含.此外,通过将这些结果与Yong和Zhou [{ \em随机控制:哈密顿系统and HJB Equations,Springer-Verlag,New York,1999}]中的经典结果进行比较,可以自然地获得Hu [{ \em Direct method on stochastic最大值原理for optimization with recursive utilities,arXiv:1507.03567v1 [math.OC],13 Jul. 2015}]的一阶和二阶伴随方程。
2016-12-20 math.OC
Successive convex optimization for transformer encoder model predictive control
University of Oxford(牛津大学)
本文提出一种数据驱动的模型预测控制框架,利用transformer编码器生成多步预测。通过将非凸注意力机制转化为凸表示,并嵌入递进凸优化迭代中,保证了递归可行性与收敛性,最终得到满足约束的局部最优解。
2026-07-31 math.OC
Accelerating Mini-batch SARAH by Step Size Rules
Sun Yat-sen University(中山大学);Xiamen University(厦门大学)
随机递归梯度算法(SARAH)最初是为凸优化而提出的,也被证明是一般非凸优化的有效算法,由于其简单的递归框架来更新随机梯度估计而受到极大的关注。SARAH算法的性能很大程度上取决于步长序列的选择。然而,SARAH及其变体通常采用导师最佳调整的步长,这在实践中是耗时的。受此影响,我们提出了Barzilai-Borwein(BB)方法的一种变体,称为随机Barzilai-Borwein(RBB)方法,用于计算SARAH在小批量设置中的步长,从而产生了一种新的SARAH方法:MB-SARAH-RBB。我们证明了MB-SARAH-RBB在强凸目标函数的期望下线性收敛。我们分析了MB-SARAH-RBB算法的复杂度,并表明它优于原算法。标准数据集上的数值实验表明,MB-SARAH-RBB优于或匹配的最先进的算法。
2019-06-20 cs.LG math.OC stat.ML
A Convex Optimization Approach for Finite-Thrust Time-Constrained Cooperative Rendezvous
本文提出了一种凸优化方法来解决合作交会问题,即两个相距较远的航天器同时运行以接近目标的问题。凸规划通过使用高效的数值算法,保证在有限的短时间内收敛到最优解。采用无损和连续凸化技术相结合来处理原问题的非凸性。具体地说,一个方便的变量变换和约束松弛进行,而一个连续的线性化的运动方程被用来处理的非线性动力学。为了提高算法的鲁棒性,提出了一种递归更新参考解的滤波技术。数值结果,并与间接方法提供的结果进行了比较。
2019-09-20 math.OC
A convex optimization approach to online set-membership EIV identification of LTV systems
研究了输入输出测量均受有界加性噪声影响的线性时变系统的递归集员辨识问题。首先,我们制定的非凸多项式优化的参数不确定性区间(PUI)的在线计算的问题。然后,我们提出了一种基于McCormick包络的凸松弛方法,通过线性规划来求解所述问题的全局最优值。通过两个仿真例子证明了所提出的识别方案的有效性。
2021-07-04 cs.SY eess.SY math.OC
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
随机优化最小化(SMM)是一类随机最优化算法,其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的,一般非凸设置的收敛速度分析不可用。在本文中,我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸,平均代理人近似最小化与近端正则化或块最小化内半径减小,分别。对于非独立同分布的一般非凸约束情形,数据样本,我们表明,所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失,其中$n$表示处理的数据样本的数量。在一些附加的假设下,后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论,我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界:双平均投影梯度下降及其推广,近点经验风险最小化,和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
On the Correctness of the Generalized Isotonic Recursive Partitioning Algorithm
Seoul National University(首尔国立大学);SK Telecom(SK电讯)
本文指出广义保序递归划分算法可能产生非保序解,通过证明递归二元划分可找到正确解,并提出修改中间解选择及将划分从三元简化为二元的方法,从而保证算法正确性。
2024-01-11 cs.LG math.OC stat.ML
On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits
The Hong Kong University of Science and Technology(香港科技大学)
差分私有随机凸优化在可信机器学习算法设计中是普遍存在的。本文研究了从一个分布中采样并顺序到达的流数据的DP-SCO问题。我们还考虑了持续发布模型,其中与私人信息相关的参数在每个新数据时更新和发布,通常称为在线算法。尽管已经开发了许多算法来实现不同$\ell_p$范数几何中的最优超额风险,但是现有的算法都不能适应流式和连续发布设置。为了解决具有隐私保护的在线凸优化问题,我们提出了一种基于递归梯度的在线Frank-Wolfe算法的私有变体,用于方差缩减以更新和揭示每个数据的参数。结合自适应差分隐私分析,我们的在线算法在线性时间内实现了$1<p\leq 2$时的最优超额风险和$2<p\leq\infty$时的最新超额风险满足非私有的较低风险。我们的算法也可以扩展到$p=1$的情况下,实现几乎与维度无关的超额风险。虽然以前的递归梯度方差减少的结果只有在独立和同分布的样本设置的理论保证,我们建立了这样的保证在非平稳设置。为了证明我们的方法的优点,我们设计了第一个DP算法的高维广义线性强盗对数遗憾。与各种DP-SCO和DP-Bandit算法的比较实验表明,所提出的算法的有效性和实用性。
2022-06-16 cs.CR cs.LG math.OC
Optimized first-order methods for smooth convex minimization
我们引入新的优化一阶光滑无约束凸极小化方法。Drori和Teboulle最近描述了一种计算一类一阶算法中的$N$ -迭代最优步长系数的数值方法,这些一阶算法包括梯度法、重球法和Nesterov的快速梯度法。然而,Drori和Teboulle的数值方法是计算昂贵的大型$N$,相应的数值优化的一阶算法需要不切实际的内存和计算的大规模最优化问题。在本文中,我们提出了优化的一阶算法,实现了收敛范围是2倍小于Nesterov的快速梯度法,我们的边界被发现解析和细化的数值界。此外,所提出的优化一阶方法具有高效的递归形式,非常类似于Nesterov的快速梯度法。
2016-02-11 math.OC
Distributed Stochastic Nonconvex Optimization and Learning based on Successive Convex Approximation
Sapienza University of Rome(罗马萨皮恩扎大学)
研究了多智能体网络中的分布式随机非凸优化问题。我们引入了一个新的算法框架的分布最小化的平滑(可能非凸)函数(代理的总和效用)加上凸(可能非平滑)正则化的期望值的总和。所提出的方法取决于连续凸近似(SCA)技术,利用动态共识作为一种机制来跟踪代理之间的平均梯度,递归平均恢复的总和效用函数的预期梯度。几乎必然收敛到(平稳)的非凸问题的解决方案。最后,将该方法应用于神经网络的分布式随机训练。数值结果证实了理论的要求,并说明了所提出的方法相对于文献中的其他方法的优势。
2020-05-12 cs.LG eess.SP math.OC
Decentralized projected Riemannian stochastic recursive momentum method for nonconvex optimization
National University of Defense Technology(国防科技大学);University of California, Berkeley(加州大学伯克利分校)
针对通信网络中n个节点的紧子流形非凸优化问题,提出分布式投影黎曼随机递归动量方法,其神谕复杂度优于现有方法,经主成分分析和低秩矩阵补全实验验证有效性。
2026-08-28 math.OC
On Lower and Upper Bounds for Smooth and Strongly Convex Optimization Problems
Weizmann Institute of Science(魏茨曼科学研究所);The Hebrew University(希伯来大学)
我们开发了一个新的框架来研究光滑和强凸优化算法,包括确定性和随机性。集中在二次函数,我们能够检查作为线性算子的递归应用的优化算法。这反过来又揭示了一类优化算法和多项式分析理论之间的强有力的联系,从而导出了新的下限和上界。而现有的下界的设置是有效的,只有当维度规模与迭代次数,我们的下界持有的自然制度,其中的维度是固定的。最后,表示为相应的最优化问题的多项式的最优解,制定我们的框架,我们提出了一种新的系统推导Nesterov的著名的加速梯度下降法。这种对年龄、性别和多元性的相当自然的解释与早期的解释形成了鲜明对比,早期的解释缺乏简单而坚实的动机。
2015-03-23 cs.LG math.OC
Robust Control of Constrained Linear Systems using Online Convex Optimization and a Reference Governor
Leibniz University Hannover(汉诺威莱布尼茨大学)
本文提出了一种结合在线凸优化和参考控制器的方法,用于鲁棒控制受约束的线性系统,通过动态遗憾分析验证了其有效性。
2026-01-30 cs.SY eess.SY math.OC
On Lower and Upper Bounds in Smooth Strongly Convex Optimization - A Unified Approach via Linear Iterative Methods
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在这篇论文中,我们开发了一个新的框架来研究光滑和强凸优化算法,包括确定性和随机性。集中在二次函数,我们能够检查作为线性算子的递归应用的优化算法。这反过来又揭示了一类优化算法和多项式分析理论之间的强有力的联系,从而导出了新的下限和上界。特别是,我们提出了一个新的和自然的推导Nesterov的著名的加速梯度下降法采用简单的“经济”多项式。这种对年龄、性别和多元性的相当自然的解释与早期的解释形成了鲜明对比,早期的解释缺乏简单而坚实的动机。最后,现有的下界仅在维数与迭代次数成比例时才有效,而我们的下界在维数固定的自然状态下成立。
2014-10-23 cs.LG math.OC
Anytime Solvers for Variational Inequalities: the (Recursive) Safe Monotone Flows
本文提出投影、安全及递归安全三种连续时间单调流以任意时间求解单调变分不等式,分析其稳定性、收缩性与安全性,并通过博弈示例验证性能。
2025-02-16 math.OC
Convex Optimization of Launch Vehicle Ascent Trajectory with Heat-Flux and Splash-Down Constraints
本文提出了一种凸规划方法来优化多级运载火箭从发射到有效载荷射入目标轨道的上升轨道,考虑了多个非凸约束,如整流罩抛除后的最大热流和烧毁级的溅落。采用无损和连续凸化将问题转化为一系列凸子问题。包括虚拟控制和缓冲区,以确保递归的可行性的过程和一个国家的最先进的方法,用于更新参考解决方案的实施,以过滤掉不需要的现象,可能会阻碍收敛。一个惠普伪谱离散方案是用来准确地捕捉复杂的上升和返回动力与有限的计算工作。数值结果的基础上,讨论了算法的收敛性,计算效率,和鲁棒性。以织女星运载火箭向极轨上升为例,讨论了热流与溅落约束之间的相互作用。最后,对不同溅落位置的运载火箭运载能力进行了灵敏度分析。
2020-08-30 math.OC
Distributed Personalized Gradient Tracking with Convex Parametric Models
我们提出了一种分布式优化算法,用于解决在线个性化优化问题的计算和通信节点的网络,其中每个节点链接到一个特定的用户。假设局部目标函数具有复合结构,并且由已知的时变(工程)部分和未知的(用户特定的)部分组成。关于未知部分,假设具有已知参数(例如,二次)结构,其参数将随着算法的进化而学习。该算法由两个相互交织的组件组成:(i)一个动态梯度跟踪计划,用于寻找局部解估计和(ii)一个递归最小二乘计划,用于估计未知参数,通过用户的噪声反馈的局部解估计。在适当的假设下,该算法表现出有界遗憾。最后,数值例子验证了理论分析。
2021-04-14 cs.SY eess.SY math.OC
Separable Convex Optimization with Nested Lower and Upper Constraints
我们研究了一个凸资源分配问题,其中分配的部分和被施加上下界。该模型与大范围的应用有关,包括生产计划、速度优化、分层抽样、支持向量机、投资组合管理和电信。我们提出了一个有效的无梯度分治算法,它使用单调性参数从递归调用中生成有效的边界,并根据子问题的信息消除链接约束。该算法不需要严格的凸性或可微性。它在$\mathcal{O}(n \log m \log \frac{n B}ε)$时间内产生连续问题的$ε$近似解,在$\mathcal{O}(n \log m \log B)$时间内产生整数解,其中$n$是决策变量的数量,$m$是约束的数量,$B$是资源约束。对于线性和二次情形,也实现了$\mathcal{O}(n \log m)$的复杂性。这些是迄今为止这个重要问题类已知的最好的复杂性。我们的实验分析证实了该方法的良好性能,它可以在几秒钟内为多达1,000,000个变量的问题提供最佳解决方案。支持向量有序回归问题的应用前景也进行了研究。
2018-09-08 math.OC
A Global Maximum Principle for Controlled Conditional Mean-field FBSDEs with Regime Switching
研究了具有区域切换的条件均值-场正倒向随机微分方程(简称FBSDEs)的全局随机最大值原理。控制域是不必要的凸和向后随机微分方程(BSDEs,简称)的驱动程序可以依赖于$Z$。与非递归效用情形不同,一阶和二阶伴随方程都是高维线性倒向随机微分方程。基于伴随方程,我们揭示了一阶和二阶泰勒展开式项之间的关系。证明了一个一般的最大值原理,它将Nguyen,Yin和Nguyen [22]的工作发展到递归效用。作为应用,考虑了线性二次型问题,并研究了一个带状态约束的问题。
2022-12-03 math.OC math.PR
The Complexity of Making the Gradient Small in Stochastic Convex Optimization
MIT(麻省理工学院);Cornell University(康奈尔大学);Weizmann Institute(魏茨曼科学研究所);TTI Chicago(芝加哥技术创新研究所(TTI Chicago))
本文给出了随机凸优化问题中寻找$ε$-平稳点($\| \nabla F(x) \| \leqε$)的预言复杂性的近似匹配上、下界。我们共同分析了本地随机预言机模型和全局预言机(或统计学习)模型的预言机复杂性。这使我们能够将寻找近稳定点的复杂性分解为优化复杂性和样本复杂性,并揭示了随机优化与学习的复杂性之间的一些令人惊讶的差异。值得注意的是,我们表明,在全球预言机/统计学习模型中,只有对数依赖于光滑度需要找到一个近平稳点,而多项式依赖于光滑度是必要的,在当地的随机预言机模型。换句话说,这两个模型之间的复杂性分离可以是指数级的,并且民间认为找到稳定点需要平滑度的理解对于统计学习来说只是弱正确的。我们的上界是基于Allen-Zhu(2018)提出的最近的"递归正则化"技术的扩展。我们将展示如何扩展该技术以实现接近最优的速率,特别是展示如何利用全球Oracle模型中的额外信息。我们的算法的全球模型可以有效地实现通过有限和方法,并提出了一个有趣的新的计算统计权衡。
2019-02-14 cs.LG math.OC stat.ML
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms
本文提出用Robbins-Monro过程在线递归估计Hessian逆矩阵,以降低二阶随机优化的计算复杂度,并据此发展通用随机牛顿方法,扩展了二阶算法的应用范围。
2025-03-10 math.OC stat.ML
Online convex optimization for constrained control of linear systems using a reference governor
针对受逐点时间状态和输入约束的线性系统,提出基于在线凸优化和参考调节器的控制方案,应用在线梯度下降跟踪最优稳态、λ-收缩集保障约束与收敛,证明递归可行性及动态遗憾线性界定特性并仿真验证。
2023-06-15 cs.SY eess.SY math.OC
Locating All Real Solutions of Power Flow Equations: A Convex Optimization Based Method
本文提出了一种基于凸优化的方法,该方法可以找到一组潮流方程的所有实根,或者声明在给定区域内不存在实解。该方法将潮流方程的求解转化为一个全局最优化问题(GPF),以最小化松弛变量之和为目标。所有目标值为零的GPF全局极小值与潮流方程的实根一一对应。通过求解超立方体上的松弛形式的GPF,如果最优值是严格正的,则在该区域没有解,并且该超立方体被丢弃。否则,超立方体被进一步分成更小的。这个过程递归地重复,直到所有的实根都位于足够小的超立方体,通过连续细化的可行域嵌入在一个二分法的范例。该方法在电力系统安全评估中有着广泛的应用前景,如暂态稳定分析和电压稳定分析等,分别需要求取最近不稳定平衡点和所有I型不稳定平衡点。通过对多个测试系统的分析,验证了该方法的有效性。
2018-03-05 math.OC
Risk minimization in financial markets modeled by Itô-Lévy processes
本文主要综述了Ito-Lévy过程模型下金融市场风险最小化方法的最新研究进展,但也包含了一些关于随机最大值原理的新结果。引入了凸风险测度的概念,给出了凸风险测度的两种表示:(i)对偶表示和(ii)带跳的倒向随机微分方程(BSDEs)表示.根据表示,相应的风险最小投资组合问题进行了研究,无论是在随机微分对策或最优控制的前向-后向随机微分方程的背景下。引入了递归效用的相关概念,研究了相应的递归效用最大化问题。在任何一种情况下,最优随机控制的最大值原理起着至关重要的作用,在本文中,我们证明了这个原则的一个版本,这是强于以前所知道的。通过实例对理论进行了说明,并在某些情况下给出了风险最小化投资组合。
2014-04-10 math.OC
Decentralized Stochastic Constrained Optimization via Prox-Linearization
本文提出两种去中心化算法,通过近似线性化解决随机约束优化问题,达到与集中优化相同的最优复杂度。
2026-01-28 eess.SP math.OC
Fast Solution Methods for Convex Quadratic Optimization of Fractional Differential Equations
本文提出了一种求解凸二次分数阶微分方程(FDE)约束最优化问题的数值方法,该问题的状态和/或控制变量具有箱形约束。我们开发了一个交替方向法的乘数(ADMM)框架,它使用预处理Krylov子空间求解器所产生的子问题。后者使我们能够解决一系列的偏微分方程(PDE)的最优化问题的框约束,提出了空间-时间域,这是以前的国家的最先进的预处理器的范围。特别是,通过利用强大的广义局部Toeplitz(GLT)序列理论,我们表明,任何现有的GLT结构中存在的问题矩阵被ADMM保存,我们提出了一些预处理的方法,可以在求解器中使用,以证明该方法的一般性。着眼于凸二次规划与时间相关的2维FDE约束,我们推导出多级循环预条件,这可能是嵌入Krylov子空间方法,解决ADMM子问题。FDE的离散化版本涉及大型稠密线性系统。为了克服这一困难,我们设计了一种基于快速傅立叶变换(FFT)的递归线性代数。我们设法保持存储要求线性,相对于网格大小$N$,同时确保Krylov求解器每次迭代的顺序$N \log N$计算复杂性。我们实现了所提出的方法,并证明其可扩展性,通用性和效率,通过一系列的实验在不同的设置FDE最优化问题。
2020-10-06 math.OC
Semi-Explicit Solution of Some Discrete-Time Higher-Order-Cost Mean-Field-Type Control
针对二次成本无法捕捉真实系统非线性的问题,提出统一框架,用凸完备化技术推导离散时间高阶成本平均场型控制的半显式解,证实高阶成本控制策略更平缓。
2025-05-21 math.OC
Extracting Dual Solutions via Primal Optimizers
本文提出将正则化凸-凹极小极大问题的原始黑盒优化器转换为对偶算法的递归正则化方法,并在矩阵博弈、CVaR DRO 和凸函数驻点问题上取得最优或改进复杂度。
2024-12-04 cs.DS math.OC
Online Modeling and Sequential Convex Programming for Lunar Landing Trajectory Optimization
The University of Tennessee(田纳西大学)
研究月球动力下降和着陆的制导框架,结合序列凸规划与实时在线模型识别。将非凸能量最优着陆问题转化为凸二阶锥规划序列,用在线识别层估计扰动并注入修正项,开发算法并探索理论基础,数值模拟验证算法效果。
2026-07-07 cs.SY eess.SY math.OC
A Novel Algorithm for Linear Programming
SNIST, Jawaharlal Nehru Univ.(SNIST,贾瓦哈拉尔·尼赫鲁大学)
提出一种通过逐步降维和递归求解线性规划问题的新方法,并证明其正确性,可推广到凸空间中的其他优化问题。
2013-03-20 cs.NA math.NA math.OC
Adjusted Shuffling SARAH: Advancing Complexity Analysis via Dynamic Gradient Weighting
Rice University(里士大学);Lehigh University(莱斯大学);Thomas J. Watson Research Center, IBM Research(IBM研究院沃森研究中心)
提出Adjusted Shuffling SARAH算法,通过动态加权机制集成shuffling策略到递归SARAH框架,在强凸和非凸设置下达到最优理论保证,并引入不精确模式实现与数据集大小无关的总复杂度。
2026-05-27 cs.LG math.OC
Sliding Methods for Hölder-Smooth Convex--Concave Minimax Optimization with Bilinear Coupling
MIRIAI;Innopolis University(因诺波利斯大学)
本文针对具有双线性耦合的Hölder光滑凸-凹极小极大优化问题,提出基于单调变分不等式递归滑动方案的滑动方法,建立收敛保证并通过数值实验验证其有效性。
2026-11-13 math.OC
Guided Policy Search using Sequential Convex Programming for Initialization of Trajectory Optimization Algorithms
University of Washington(华盛顿大学)
本文针对轨迹优化对初始猜测敏感的问题,提出一种结合序贯凸规划轨迹更新与随机梯度下降策略更新的引导策略搜索方法,用于生成高质量初始轨迹,并在可重复使用火箭6自由度动力下降制导问题上验证了有效性。
2022-05-19 cs.RO math.OC