Improved convergence rates for the multiobjective Frank-Wolfe method
本文针对凸约束多目标优化中的Frank-Wolfe方法,在不同目标函数、可行集和极限点条件下建立了改进收敛速率,并给出实例验证。
2024-06-10 math.OC
Decision-Aware Predictions for Right-Hand Side Parameters in Linear Programs
Southern Methodist University(南方卫理公会大学)
本文研究了一种集成学习与优化问题,通过上下文向量预测线性规划的右边参数,并通过历史可行解保证预测区域包含真实解。
2026-05-13 math.OC
Subgradient method with feasible inexact projections for constrained convex optimization problems
本文提出了一种新的求解不可微约束凸优化问题的不精确投影次梯度方法。该方法将$ε$ -次梯度方法与一个过程相结合,以获得一个可行的不精确投影到约束集。采用众所周知的外源步长,Polyak的步长,和动态步长的方法所产生的序列的渐近收敛的结果和迭代复杂性的界限建立。
2020-06-15 math.OC
A feasible method for general convex low-rank SDP problems
针对含半正定矩阵与非负向量的一般凸低秩SDP问题,提出基于黎曼优化的秩-支撑自适应可行方法,证明收敛性,结合随机扰动与对偶精化策略求解退化问题,拓展了黎曼优化的应用范围。
2023-12-13 math.OC
Convergence rate of the moment-SOS hierarchy for univariate polynomial optimization
Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克理工大学电气工程学院)
该研究证明单变量多项式优化的矩-SOS 层级松弛误差以 $O(1/r^2)$ 收敛,并通过精确示例验证该二次速率最优。
2026-09-18 math.OC
Extragradient method with feasible inexact projection to variational inequality problem
本文针对有限维欧氏空间变分不等式问题,提出两种基于可行非精确投影的外梯度法变体,分别需伪单调Lipschitz连续假设和无Lipschitz假设,均完成收敛性分析。
2024-06-21 math.OC
Successive Convexification with Feasibility Guarantee via Augmented Lagrangian for Non-Convex Optimal Control Problems
本文提出一种融合逐次凸化与增广拉格朗日法的新算法,通过对优化变量和拉格朗日乘子交替迭代,在保留SCvx优良特性的同时保证了对非凸最优控制问题可行局部解的全局收敛性。
2024-10-11 math.OC
Distributed Solutions for Loosely Coupled Feasibility Problems Using Proximal Splitting Methods
在本文中,我们考虑凸可行性问题的基础集是松散耦合的,我们提出了几个算法来解决这样的问题,在分布式方式。这些算法是通过将近似分裂方法应用于凸可行性问题的凸极小化重构而得到的。我们还提出了分布式收敛测试,使我们能够建立分布式的问题的可行性或不可行性,我们提供了收敛速度的结果。在问题可行且有界线性正则的假设下,这些收敛性结果以迭代到可行集的距离的形式给出,与经典投影方法的收敛性结果类似.在可行性问题是不可行的情况下,我们提供了收敛速度的结果,涉及某些误差界的收敛。
2013-06-28 math.OC
From calmness to Hoffman constants for linear semi-infinite inequality systems
在本文中,我们专注于不同的-全球,半本地和本地-版本的霍夫曼型不等式表示的变分形式。在第一阶段,我们的分析是发达国家之间的通用多功能度量空间,我们最终处理的可行集映射与线性半无限不等式系统(多个变量,可能有无限多个约束)参数化的右手边。在自反巴拿赫空间中,Hoffman模与Lipschitz上连续性和镇定模的上确界一致,且仅限于具有凸图和闭象的多值函数,这是我们的可行集映射的情形.此外,对于这个特定的多功能的公式-只涉及系统的左手边-的全球霍夫曼常数的推导,提供了一个推广到我们的半无限的情况下,在文献中开发的有限的同行。在局部多面体系统的特殊情况下,本文还提供了一个基于点的公式的(半局部)霍夫曼模量在某些可行点(极值点时,名义上的可行集不包含线)的平静模量,产生一个实际上易于处理的有限系统的表达式。
2022-03-20 math.OC
Machine Learning Powered Feasible Path Framework with Adaptive Sampling for Black-box Optimization
Institute of Process Engineering, Chinese Academy of Science(中国科学院过程工程研究所);School of Chemical Engineering, University of Chinese Academy of Science(中国科学院大学化学工程学院);Centre for Process Integration, Department of Chemical Engineering, School of Engineering, The University of Manchester(曼彻斯特大学工程学院化学工程系过程集成中心);Carbon Neutral Intelligent Industry Innovation Working Committee, China Institute for Innovation and Development Strategy(中国创新与发展战略研究院碳中和智能产业创新工作委员会)
提出机器学习驱动的可行路径优化框架(MLFP),结合自适应采样与代理模型,处理含复杂约束的黑箱优化,以较少评估快速稳健收敛至KKT点,优于现有算法。
2025-09-25 math.OC
Circumcentering Reflection Methods for Nonconvex Feasibility Problems
最近,外心反射法(CRM)已被引入解决的可行性问题,找到一个点在相交的封闭约束集。它与Douglas-Rachford方法(DR)密切相关。我们证明了局部收敛CRM在相同的原型设置的规则的非凸DR的理论分析,其考虑是自然的相位恢复问题的几何形状。为了这个目的,我们证明了CRM与次梯度投影方法有关。对于许多情况下,当DR是已知的收敛到一个可行的点,我们建立CRM本地提供了一个更好的收敛速度。作为一个求根器,我们证明了CRM在Newton-Raphson方法收敛时具有局部收敛性,在Newton-Raphson方法收敛时具有二次收敛速度,并且在Newton-Raphson方法完全不收敛的情况下,CRM具有超线性收敛.我们还得到了明确的收敛区域。作为一个有趣的旁白,我们证明了局部收敛CRM可行点的情况下,DR收敛到不动点是不可行的。我们证明了在更高的维度的扩展,并使用它来获得收敛速度保证球和子空间的可行性问题。有了这些保证,我们通过实验发现CRM对复合数值误差非常敏感,这可能导致它实现比理论保证的更差的速率。然后,我们引入一个数值修改,使CRM实现理论上保证的利率。任何未来的工作,研究CRM的积空间配方的可行性问题应该注意到这种敏感性,并考虑到它在数值实现。
2021-12-27 math.OC
A feasible adaptive refinement algorithm for linear semi-infinite optimization
提出了一种求解线性半无限规划问题的数值方法,该方法所产生的迭代对原问题是可行的。这是通过构建一系列标准的线性规划问题的连续离散化的索引集,使近似区域包括在原来的可行域。证明了所得到的近似解收敛于原问题的解,并且所得到的近似问题的最优目标函数值是单调递减的,并收敛于LSIP的最优值.一个自适应的细化过程的设计离散的指标集和更新的近似问题的约束。数值实验验证了该算法的性能。
2021-01-25 math.OC
A subgradient-based approach for finding the maximum feasible subsystem with respect to a set
我们提出了一种基于子梯度的方法,用于在给定闭集$C$(MFS $_C$)的闭集集合中寻找最大可行子系统。在该方法中,我们将MFS $_C$问题转化为一个$\ell_0$优化问题,并构造一系列连续的最优化问题来逼近它,每个逼近问题的目标是一个非负非减连续可微凹函数与平方距离函数到一个闭集的合成之和.虽然这个目标函数一般是非光滑的,但可以根据在闭集上的投影得到次梯度。基于这一观察,我们采用次梯度投影方法来解决这些近似问题。与经典的次梯度方法不同,我们的次梯度方法的收敛性(聚类到固定点)是保证与{ \em nondiminishing步长}在温和的假设。这使得我们能够进一步研究次梯度法在适当的Kurdyka-Kauojasiewicz假设下的序列收敛性。最后,我们说明我们的算法数值求解MFS $_C$问题的半空间的集合和集合的工会的半空间,分别相对于一组$s$ -稀疏向量。
2018-05-08 math.OC
Inexact Accelerated Proximal Gradient Method Revisit: An Economical Variant via Shadow Points
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出SpinAPG方法,通过引入影点实现不精确APG方法的改进,保留加速收敛特性并减少计算开销。
2026-02-11 math.OC
On the convergence of conditional gradient method for unbounded multiobjective optimization problems
针对可行域无界的多目标优化问题,提出一种基于回收锥保证良定的条件梯度算法,并在温和假设下证明其渐近收敛性与迭代复杂度界,数值算例验证了性能。
2024-03-05 math.OC
Subdifferentials and Stability Analysis of Feasible Set and Pareto Front Mappings in Linear Multiobjective Optimization
研究了R^n中关于不等式约束的右端摄动的参数化多目标线性最优化问题。我们的重点是测量可行集的变化和Pareto前沿映射周围的名义元素,同时注意一些特定的方向。这个想法是形式化的所谓epigraphical的多功能,这是通过增加一个固定的锥到原来的映射的图像定义。通过epigraphical可行映射和Pareto front映射,我们描述了相应的向量次微分,并利用它们通过计算相应的Lipschitz模来验证扰动映射的Lipschitz稳定性.普通线性规划的特殊情况下进行了分析,我们表明,这两个多功能的次微分的比例子集。我们还提供了一种方法来计算线性规划的最优值,而不知道任何最优解。文中还给出了一些实例。
2019-07-23 math.OC
A Partially Feasible Distributed SQO Method for Two-block General Linearly Constrained Smooth Optimization
针对含线性等式与不等式约束的两块大规模光滑优化,提出可并行分解QO子问题并保持不等式可行性的PFD-SQO方法,证明其收敛与复杂度性质并通过算例和电力调度验证有效性。
2023-09-26 math.OC
Retraction-based first-order feasible methods for difference-of-convex programs with smooth inequality and simple geometric constraints
本文研究了具有光滑不等式和简单几何约束的凸差分规划的一阶可行算法。我们的策略,以保持可行性的迭代是基于一个“收缩”的想法,改编自文献的流形优化。当约束条件为凸时,在严格可行条件下,证明了算法生成的序列的全局渐近收敛性,并根据扩展目标的Kurdyka-Lojasiewicz(KL)指数(即,目标和约束集的指示函数之和)。我们还表明,扩展目标的一大类欧几里德范数(更一般地说,组LASSO罚款)正则化凸最优化问题是一个KL函数的指数$\frac12$,因此,我们的算法是局部线性收敛时,应用到这些问题。然后,我们扩展我们的方法来解决一个特殊结构的非凸约束的DC程序。最后,我们讨论了我们的算法如何应用于解决两个具体的最优化问题,即高斯测量噪声下的组结构压缩感知问题和柯西测量噪声下的压缩感知问题,并说明了我们的算法的经验性能。
2022-12-02 math.OC
A recursively feasible and convergent Sequential Convex Programming procedure to solve non-convex problems with linear equality constraints
提出了一种求解线性等式约束非凸规划问题的计算有效方法。该方法是基于一个递归可行的和下降的顺序凸规划过程证明收敛到一个局部最优解。假设序列中的第一个凸问题是可行的,这些性质是通过凸化的非凸成本和不等式约束与内凸近似。此外,一个计算效率高的方法来获得基于泰勒级数展开的内凸近似。这些基于泰勒的内凸近似提供了具有二次收敛速率的整体算法。所提出的方法是能够解决的实际感兴趣的实时问题。这是说明了一个数值模拟的飞行器轨迹最优化问题上的商用的货架嵌入式计算机。
2018-10-24 math.OC
Fast Generation of Feasible Trajectories in Direct Optimal Control
针对离散时间最优控制的可行轨迹求解问题,本文将其转化为无约束最优控制并提出 FP-DDP 算法,利用微分动态规划在迭代中保持动力学可行,兼具全局与快速局部收敛性,实验表明其优于多种成熟方法和先进求解器。
2024-07-04 math.OC
Linear Convergence of a Unified Primal--Dual Algorithm for Convex--Concave Saddle Point Problems with Quadratic Growth
University of Arizona(亚利桑那大学)
本文研究凸-凹鞍点问题,提出广义加速原始-对偶(GAPD)算法,在放宽强凸-强凹要求的二次增长条件下实现线性收敛,并适用于非双线性目标函数。
2025-10-13 math.OC
A Projection-Free Algorithm for Variational Inequalities in Hilbert Spaces with Strong Convergence
Deakin University(迪肯大学)
提出一种无投影算法,通过半空间投影和Slater修正处理变分不等式,实现强收敛到初始点在解集上的投影,并给出残差估计。
2026-11-20 math.OC
Asymptotic convergence rates for coordinate descent in polyhedral sets
我们考虑一个家庭的并行方法约束优化的基础上投影梯度下降沿个别坐标方向。在多面体可行集的情况下,局部收敛到一个正则解发生不受约束的减少空间,允许计算紧渐近收敛率的灵敏度分析,这即使当整体收敛率是不可用的或过于保守。我们推导出线性渐近收敛速度在多面体的坐标下降的方法,包括循环,同步和随机模式的实现的变体。我们的结果发现应用在随机最优化,并与最近提出的优化算法的基础上泰勒近似的牛顿步骤。
2015-09-17 math.OC
On the One-sided Convergence of Adam-type Algorithms in Non-convex Non-concave Min-max Optimization
Yale University(耶鲁大学);Carnegie Mellon University(卡内基梅隆大学)
Adam型方法是自适应梯度方法的扩展,在监督和无监督机器学习模型的训练中都表现出了很好的性能。特别是,亚当型优化器已被广泛用作训练生成对抗网络(GANs)的默认工具。然而,在理论方面,尽管存在的理论结果表明亚当型方法在最小化问题中的效率,但在GAN的训练中仍然缺乏其出色表现的原因。在现有的工作中,快速收敛一直被认为是最重要的原因之一,并且已经提出了许多工作来在一定的假设条件下给出Min-Max优化算法收敛到临界点的理论保证。在本文中,我们首先从经验上证明,在GAN的训练中,即使在成功的训练中,Adam也不会收敛到临界点:只有生成器在收敛,而在整个训练过程中,GAN的梯度范数仍然很高。我们称之为单边收敛。然后,我们弥合实验和理论之间的差距,亚当型算法证明收敛到一个单侧的一阶稳定点的最小-最大优化问题的单侧MVI条件下。我们还通过经验验证了在标准数据集上训练后,标准GANs满足这种单侧MVI条件。据我们所知,这是第一个结果,它提供了一个经验观察和严格的理论保证亚当型算法在最小最大优化的片面收敛。
2021-09-29 cs.LG math.OC stat.ML
Linear Convergence and Metric Selection for Douglas-Rachford Splitting and ADMM
最近,文献中给出了Douglas-Rachford分裂和乘子的交替方向法的收敛速度结果。本文在强凸性和光滑性假设下证明了Douglas-Rachford分裂和ADMM的全局线性收敛速率界。我们进一步表明,率界是紧的一类问题考虑所有可行的算法参数。对于满足假设的问题,我们展示了如何选择步长和度量的算法,优化推导的收敛速度界。对于不满足假设的相似结构的问题,我们提出了启发式的步长和度量选择方法。
2016-04-12 math.OC
Constrained Optimization via Constraint-Induced Geometry: Implicit Feasible Dynamics and Optimality from Stationarity
该研究提出几何感知约束优化框架Gravidy,针对不同可行集设计适配几何与隐式算法,实验表明其收敛快且能保持迭代可行性,可利用稀疏性。
2026-08-04 math.OC
Feasible Newton's methods for symmetric tensor Z-eigenvalue problems
找到一个对称张量的Z-特征对等价于找到一个球面约束极小化问题的KKT点。基于这一等价性,本文首先提出了一类求对称张量Z-特征对的迭代法。每种方法都可以生成一个可行点序列,使得函数求值的序列是递减的。这些方法可以看作是无约束最优化问题下降法的推广。我们特别注意牛顿法。我们证明了在适当的条件下,牛顿法是全局收敛和二次收敛的。此外,在多次迭代之后,单位步长将始终被接受。我们还提出了一个基于非线性方程组的牛顿法,并证明了它的全局收敛性和平方收敛性。最后,我们做了几个数值实验来检验所提出的牛顿法。结果表明,这两种牛顿法都是非常有效的。
2022-03-14 math.OC
Sparsity of integer solutions in the average case
我们研究如何稀疏的整数规划的可行解,平均。这里的平均情况意味着我们固定约束矩阵并改变右侧向量。对于m个方程的标准式,存在至多m个非零项的LP可行解。我们表明,在相对温和的假设下,整数规划的标准式有可行解与O(m)许多非零条目,平均。我们的证明使用了群、格和Ehrhart多项式理论中的思想。从我们的主要定理,我们得到最好的已知的整数Caratheodory数的上界,提供的决定因素的数据是小的。
2019-07-18 math.OC
Algorithms and Convergence Results of Projection Methods for Inconsistent Feasibility Problems: A Review
凸可行性问题(CFP)是指在多个凸集和闭集的交集中寻找一个可行点。如果交集为空,则CFP是不一致的,并且不存在可行点。然而,不一致CFPs的算法研究存在,主要集中在两个方向。一个是面向定义其他解决方案的概念,将适用,如接近函数最小化,其中接近函数的措施,在某种程度上违反所有的约束。第二个方向调查的行为的算法,旨在解决一个一致的CFP时,适用于不一致的问题。这个方向是由缺乏有关CFP的一致性或不一致性的先验信息或不希望投入计算资源以在运行他的算法之前掌握这些知识的情况推动的。在本文中,我们带来了一个屋檐下,电报审查最近的一些作品不一致的CFPs。
2018-04-26 math.OC
Convergence analysis for pseudo-monotone variational inequality problem involving projections onto a moving ball
针对伪单调变分不等式问题传统投影法的局限,提出一种向可行集内显式表达的球投影、无需预知代价算子Lipschitz常数的迭代格式,并通过数值实验验证了其有效性。
2025-09-06 math.FA math.OC
Improving exploration strategies in large dimensions and rate of convergence of global random search algorithms
我们考虑全局最优化问题,可行域$\X$是一个紧凑的$\mathbb{R}^d$与$d \geq 10$的子集。对于这些问题,我们证明如下。第一个:全局随机搜索算法的实际收敛速度比基于随机点渐近性质的经典估计慢得多。第二:通常推荐的空间探索方案在非渐近区域效率低下。具体而言,(a)在整个~ $\X$上的均匀采样比在$\X$的适当子集上的均匀采样效率低得多,并且(b)用低差异序列替换随机点的效果可以忽略不计。
2023-02-24 math.OC
A Data Efficient and Feasible Level Set Method for Stochastic Convex Optimization with Expectation Constraints
Tippie College of Business, The University of Iowa(爱荷华大学蒂皮商学院);College of Business Administration, University of Illinois at Chicago(伊利诺伊大学芝加哥分校商学院);Department of Computer Science, The University of Iowa(爱荷华大学计算机科学系)
具有期望约束的随机凸优化问题(SOEC)在统计和机器学习、商业和工程中遇到。在数据丰富的环境中,SOEC目标和约束包含针对大型数据集定义的期望。因此,解决此类SOEC的有效算法需要限制它们使用的数据点的比例,我们称之为算法数据复杂度。最近的随机一阶方法在处理SOEC时表现出较低的数据复杂度,但仅在收敛时保证接近可行性和接近最优性。因此,这些方法可能会返回高度不可行的解决方案时,启发式终止,通常是这种情况下,由于理论的收敛标准是高度保守的。这个问题限制了一阶方法在SOEC约束编码实现要求的几个应用中的使用。我们设计了一个随机可行水平集方法(SFLS)的SOEC,具有低的数据复杂度,并强调可行性收敛之前。具体来说,我们的水平集方法解决了一个寻根问题,通过调用一个新的一阶预言机,通过扩展镜像下降和在线验证技术计算水平集函数的随机上界。我们建立SFLS保持在每个寻根迭代的高概率可行解,并表现出良好的迭代复杂性相比,最先进的确定性可行水平集和随机次梯度方法。三个不同的应用程序的数值实验验证SFLS相对于前一种方法的低数据复杂性,并突出SFLS如何找到可行解与小的最优性差距显着快于后者的方法。
2020-01-02 cs.LG math.OC stat.ML
A barrier-type method for multiobjective optimization
针对约束多准则问题,我们引入了多目标障碍法(MBM),它扩展了标量值内罚法。这种经典方法的多目标版本也需要一个可行集的惩罚障碍和一系列非负罚参数。与单值过程不同,MBM是通过辅助的“单调”实值映射来实现的,该映射可以在相当大的函数集合中选择。在这里,我们考虑连续目标函数的问题,其中的可行集是由许多连续不等式定义的。在温和的假设下,根据辅助函数的单调性类型,我们建立收敛到Pareto或弱Pareto最优。最后,我们还提出了一个可实现的版本MBM寻求局部最优,并分析其收敛到Pareto或弱Pareto解决方案。
2018-03-30 math.OC
Convergence analysis of a Lasserre hierarchy of upper bounds for polynomial minimization on the sphere
我们研究了收敛速度的一个层次的上界多项式最小化问题,提出了Lasserre [SIAM J。21(3)(2011),pp. 864-885],对于可行集是单位(超)球的特殊情况。当密度函数是关于表面测度的次数至多为2 r的平方和多项式时,层次结构的r级上界被定义为球面上所有概率分布上多项式的最小期望值。我们证明了精确的收敛速率是Theta(1/r^2),并探讨了球上矩的广义问题的相关收敛速率的含义。
2019-04-18 math.OC
Sample average approximation of multiobjective stochastic optimization problems with application in insurance
本文提出用样本均值近似将多目标随机优化转化为确定性多准则问题,在向量容差内求弱帕累托有效解,并证明收敛性,应用于保险业务优化。
2026-09-17 math.OC
On sample average approximation for two-stage stochastic programs without relatively complete recourse
本文研究了两阶段随机规划的样本平均逼近问题,即,对于存在第一阶段可行解但不能保证具有可行追索行动的问题。作为SAA解决方案的可行性度量,我们考虑了“追索可能性”,这是解决方案具有可行追索行动的概率。对于$ε\in (0,1)$,我们证明了SAA解决方案具有低于$1-ε$的追索似然的概率随着样本量以指数方式快速收敛到零。接下来,我们分析了SAA的最优解的收敛速度收敛速率的最优解的真正的问题,有限的可行域的问题,如有界整数规划问题。对于非有限的可行域的问题,我们提出了修改后的“填充”SAA问题,并证明在两种情况下,这样的问题可以产生,具有较高的信心,解决方案,肯定有一个可行的追索权的决定。最后,我们进行了一个两阶段的资源规划问题,说明了结果的数值研究,也表明可能有改进的空间,在一些理论分析。
2021-11-30 math.OC
Curvature of Feasible Sets in Offline and Online Optimization
众所周知,凸优化中的可行集的曲率允许算法具有更好的收敛速度,并且对于离线和在线问题都重新对这个主题感兴趣。在本文中,利用几何和凸分析的结果,我们进一步理解了曲率在优化中的作用:- 我们首先证明了两个曲率概念的等价性,即强凸性和规范体,证明了Abernethy等人的一个猜想。这表明弗兰克-沃尔夫-Wang和Abernethy的一种新的方法在强凸可行集上加快了收敛速度$O(\frac{1}{t^2})$,而不需要对目标函数作额外的假设。- 在在线线性优化中,我们确定了两个主要性质,有助于解释\emph{why/when}跟随领导者(FTL)在强凸集上只有对数遗憾。这允许人们直接恢复Huang等人的最近结果,证明了当增益向量为非负时,FTL在强凸集上具有对数后悔性。- 我们提供了一个有效的强凸逼近凸体的过程,同时顺利权衡逼近误差和曲率。这使得一个扩展的强凸集上的一般凸集的改进算法。作为一个具体的应用,我们将Dekel等人关于在线线性优化的结果推广到一般的凸集。
2021-05-11 cs.DS math.OC
Safe Zeroth-Order Convex Optimization Using Quadratic Local Approximations
我们解决黑盒凸优化问题,其中的目标和约束函数是不明确的,但可以在可行集内采样。因此,挑战在于生成一系列可行点,这些可行点朝着最优解收敛。通过利用目标函数和约束函数的光滑特性的知识,我们提出了一种新的零阶方法,SZO-QQ,迭代计算约束函数的二次近似,构造局部可行集并对其进行优化。我们证明了在每次迭代中产生的目标值序列的收敛性。通过实验,我们表明,我们的方法可以实现更快的收敛速度相比,最先进的零阶方法的凸优化。
2022-11-07 cs.SY eess.SY math.OC
Anytime-Feasible First-Order Optimization via Safe Sequential QCQP
Department of Electrical and Computer Engineering, Johns Hopkins University(电气与计算机工程系,约翰霍普金斯大学)
本文提出了一种保证每次迭代可行性的安全序列二次约束二次规划算法,通过自适应步长选择和主动集变种提升可扩展性,展现$O(1/t)$收敛速度并达到与二阶求解器相当的解质量。
2026-10-08 cs.RO cs.SY eess.SY
Feasible Low-thrust Trajectory Identification via a Deep Neural Network Classifier
Australian Centre for Space Engineering Research (ACSER), University of New South Wales (UNSW)(新南威尔士大学澳大利亚航天工程研究中心)
近年来,深度学习技术被引入到轨迹优化领域,以提高收敛性和速度。训练这样的模型需要大量的轨迹数据集。然而,收敛的小推力(LT)优化是不可预测的优化过程结束之前。对于随机初始化的低推力转换数据生成,大部分计算能力将浪费在优化不可行的低推力转换上,这导致低效的数据生成过程。这项工作提出了一种深度神经网络(DNN)分类器,可以在优化过程之前准确识别可行的LT传输。DNN分类器的总体准确率达到97.9%,在测试算法中具有最佳性能。精确的小推力轨迹可行性识别可以避免对不期望的样本进行优化,使得大多数优化样本是收敛的LT轨迹。这种技术能够为具有不同航天器配置的不同任务场景有效地生成数据集。
2022-02-10 astro-ph.IM cs.LG cs.RO
The Convex Feasible Set Algorithm for Real Time Optimization in Motion Planning
University of California at Berkeley(加州大学伯克利分校);FANUC Corporation(发那科公司)
随着机器人技术的发展,对实时运动规划的需求越来越大。然而,由于环境中的障碍物,规划问题是高度非凸的,这使得它很难实现实时计算使用现有的非凸优化算法。本文介绍了一种求解具有凸代价和非凸约束的非凸优化问题的快速算法--凸可行集算法。其思想是为原问题找到一个凸可行集,并使用凸约束迭代求解一系列子问题。证明了算法的可行性和收敛性。讨论了该方法在移动机器人运动规划中的应用。仿真结果表明了该算法的有效性。
2018-05-19 cs.RO math.OC
Anytime-Feasible Gradient Descent for Constrained Optimization Under Gradient Uncertainty
Johns Hopkins University(约翰斯·霍普金斯大学)
针对梯度不确定下的非线性约束优化,提出任意时刻可行的一阶方法,通过二阶锥规划和带保护回溯保证严格可行性与目标下降,并在多智能体导航中验证了噪声下的无碰撞性能。
2026-09-22 cs.SY eess.SY math.OC
On the Exactness of Dantzig-Wolfe Relaxation for Rank Constrained Optimization Problems
该研究针对秩约束优化问题(RCOP),推导了Dantzig-Wolfe松弛(DWR)实现极点、凸包、目标值三类精确性的充要条件,统一拓展了QCQP与公平无监督学习的现有结果,可用于推导新的精确性结论。
2023-06-14 math.OC stat.ML
A Feasible Level Proximal Point Method for Nonconvex Sparse Constrained Optimization
Southern Methodist University(南卫理公会大学);Shanghai university of Finance & Economics(上海财经大学);Georgia Tech(佐治亚理工学院)
非凸稀疏模型在高维机器学习中受到了极大的关注。本文研究了一个新的模型,它由一般的凸或非凸目标和各种连续的非凸稀疏诱导约束组成。对于这种约束模型,我们提出了一种新的邻近点法,解决了一系列的凸子问题逐渐放松的约束水平。每个子问题,有一个近点目标和凸代理约束,可以有效地解决基于一个快速例程投影到代理约束。证明了算法对Karush-Kuhn-Tucker(KKT)解的渐近收敛.我们还建立了新的收敛复杂性,以实现一个近似的KKT解决方案时,目标可以是光滑/非光滑,确定性/随机和凸/非凸的复杂性,是在相应的情况下,与梯度下降无约束最优化问题。据我们所知,这是第一次研究的一阶方法的复杂性保证非凸稀疏约束问题。我们进行了数值实验,以证明我们的新模型的有效性和效率的大规模问题的算法。
2020-10-23 cs.LG math.OC
FedSSO: A Federated Server-Side Second-Order Optimization Algorithm
Yidu Cloud Technology Inc.(医渡云科技有限公司);Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院);Army Engineering University of PLA(中国人民解放军陆军工程大学)
在这项工作中,我们提出了FedSSO,服务器端二阶优化方法的联邦学习(FL)。与以前在这个方向上的工作相比,我们采用了服务器端近似的拟牛顿方法,而不需要任何训练数据从客户端。通过这种方式,我们不仅将计算负担从客户端转移到服务器,而且完全消除了客户端和服务器之间的二阶更新的额外通信。我们提供了理论保证,我们的新方法的收敛性,并实证证明我们的快速收敛和通信节省在凸和非凸设置。
2022-08-23 cs.AI cs.LG math.OC
LogSpecT: Feasible Graph Learning Model from Stationary Signals with Recovery Guarantees
The Chinese University of Hong Kong(香港中文大学)
针对平稳信号图学习模型rSpecT的超参数敏感与不可行问题,提出始终可行的LogSpecT模型及其实用版本rLogSpecT,借助上图收敛工具给出恢复保证,设计高效L-ADMM算法,实验验证其稳定性与优越性。
2023-05-02 cs.LG eess.SP math.OC
Curvature, Scaling, and Complexity in Riemannian Projection-Free Optimization
Faculty of Mathematics and Computer Science, University of Science, Vietnam National University(越南国立大学理科大学数学与计算机科学系)
本文提出黎曼无投影优化的几何框架,用幂型双测地线模量量化可行集几何,导出间隙反馈短步策略的收敛速率$O(t^{-p/(p-1)})$,并证明该指数在几何控制类上是最优的。
2026-10-06 math.DG math.OC
Policy Optimization for $\mathcal{H}_2$ Linear Control with $\mathcal{H}_\infty$ Robustness Guarantee: Implicit Regularization and Global Convergence
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
策略优化(PO)是强化学习(RL)的关键组成部分。对于控制设计,通常对策略施加某些约束以进行优化,考虑系统的稳定性,鲁棒性或安全性问题。因此,PO在大多数情况下本质上是一个约束(非凸)优化,其整体收敛通常很难分析。更重要的是,一些安全关键的约束,例如,保证系统鲁棒性的$\mathcal{H}_\infty$ -范数约束在PO方法进行时难以强制执行。最近,政策梯度法已被证明收敛到线性二次型调节器(LQR)的全局最优值,一个经典的最优控制问题,没有正则化/投影的控制迭代到稳定集,其(隐式)的可行集。这个惊人的结果是建立在成本的强制属性上的,确保迭代在成本降低时保持可行。本文研究了具有$\mathcal{H}_\infty$ -范数鲁棒性保证的$\mathcal{H}_2$线性控制的PO收敛性理论。这个问题的一个重要的新特征是缺乏连续性,即,成本在可行集边界附近可能具有有限值,打破了现有的LQR分析。有趣的是,我们证明了两种PO方法具有隐式正则化性质,即,迭代保持$\mathcal{H}_\infty$鲁棒性约束,就好像它们被算法正则化一样。此外,尽管问题的非凸性,我们表明,这些算法收敛到全局最优的政策与全局次线性率,避免所有次优驻点/局部极小值,并与局部(超)线性率在一定条件下。
2021-02-15 cs.LG cs.SY eess.SY
Getting Feasible Variable Estimates From Infeasible Ones: MRF Local Polytope Study
Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室);University of Heidelberg(海德堡大学)
针对具有可分离性的大规模优化问题,提出一种从对偶解构造近似可行原始解的方法,并应用于马尔可夫随机场推理问题的局部多面体松弛,证明其优于现有方法。
2012-10-15 cs.CV cs.DS cs.LG
Fixed-Time Convergence for a Class of Nonconvex-Nonconcave Min-Max Problems
University of Michigan(密歇根大学);Tata Consultancy Services Research(塔塔咨询服务公司研究院)
在放松标准凸性假设的条件下,建立了求解min-max问题的固定时间收敛鞍点动力系统。特别是,它示出,通过利用动力系统的观点的优化算法,加速收敛到一个鞍点可以获得。代替要求目标函数是强凸-强凹的(如几个鞍点算法的加速收敛所必需的),对于仅满足双侧Polyak-Prosojasiewicz(PL)不等式的函数,保证了一致的固定时间收敛。大量的实际问题,包括稳健最小二乘估计,已知满足双边PL不等式。所提出的方法实现任意快速收敛相比,任何其他国家的最先进的方法与线性甚至超线性收敛,也证实了在数值案例研究。
2022-07-26 cs.AI cs.LG cs.SY
Distributed Nonlinear Equality-Constrained Optimization via Feedback Linearization and Singular Perturbation
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院);Australia Centre for Field Robotics, The University of Sydney(悉尼大学澳大利亚野外机器人中心)
研究非凸目标与非线性等式约束下的分布式优化难题,提出反馈线性化和奇异摄动框架,构建理想动力学并改进为分布式实现,证明其局部指数收敛,在特定条件下吸引区域可扩展,提升了分布式优化的性能。
2026-07-29 cs.SY eess.SY math.OC
Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems
本研究将梯度朗之万动力学相关框架拓展至非凸可行域上的非凸优化问题,提出基于反射梯度朗之万动力学的全局优化算法,结合边界反射与诺伊曼边界泊松方程概率表示,得到优于现有凸约束非凸问题方法的收敛速率。
2024-08-13 math.OC math.PR stat.ML