Iteration-complexity of a proximal augmented Lagrangian method for solving nonconvex composite optimization problems with nonlinear convex constraints
提出并分析了一种求解非线性$\cal K$ -凸约束光滑非凸复合最优化问题的近似增广拉格朗日(NL-IAPIAL)方法,约束相对于由闭合凸锥$\cal K$给出的阶是凸的。每个NL-IAPIAL迭代包括不精确地解决一个近端增广拉格朗日子问题的加速复合梯度(ACG)方法,然后由拉格朗日乘子更新。在一些温和的假设下,证明了NL-IAPIAL在${\cal O}(\log(1/ρ)/ρ^{3})$内迭代中生成约束问题的近似稳态解,其中$ρ>0$是给定的容差.数值实验也说明了所提出的方法的计算效率。
2022-07-05 math.OC
A First Order Method for Solving Convex Bi-Level Optimization Problems
本文研究内层由光滑函数与非光滑函数之和极小化组成的凸双层最优化问题。外层的目标是在内层问题的最优解集上最小化一个光滑且强凸函数。我们分析了一阶方法,这是基于现有的不动点算法。该方法的全局次线性收敛速率是根据内目标函数值建立的。
2017-02-13 math.OC
A learning-enhanced projection method for solving convex feasibility problems
我们提出了一种推广的方法,循环预测,它使用的长度进行的投影步骤在过去了解的几何问题,并决定在此基础上进行的预测在未来。我们证明了该算法的收敛性,并说明其行为在第一个数值研究。
2020-06-17 math.OC
A parameter-free approach for solving SOS-convex semi-algebraic fractional programs
针对带SOS-凸半代数函数的非光滑分式规划问题,提出无参数求解方法,证明其与SDP松弛的强对偶性,仅需求解单个SDP即可得到原问题最优解,还给出了数值算例。
2024-01-30 math.OC
An Augmented Lagrangian Coordination-Decomposition Algorithm for Solving Distributed Non-Convex Programs
提出了一种新的增广拉格朗日方法,用于求解分布式框架下具有非线性费用和约束耦合的非凸规划问题。提出的分解算法由两层组成:外层是一个标准的乘子方法,对非线性等式约束进行惩罚,而内层由块坐标下降(BCD)方案组成。基于乘子方法的标准结果和最近的结果在近端正则化BCD技术,它被证明是收敛到一个KKT点的非凸非线性规划下的半代数性假设。数值算例验证了算法的有效性。
2014-07-21 math.OC
Finitely Convergent Deterministic and Stochastic Iterative Methods for Solving Convex Feasibility Problems
我们提出了一种新的收敛方法来解决定义在一个可能无限大的约束池上的凸可行性问题。在这方面的其他工作,我们假设的内部的解决方案是非空的,某些超松弛参数形成一个发散级数。我们结合我们的方法与一个非常一般的一类确定性控制序列,粗略地说,我们要求,我们迟早会遇到一个违反约束,如果一个存在。特别是通过循环、重复和远程设定控制来满足这一要求。此外,它几乎肯定满足随机控制。
2020-09-20 math.OC
Solving a Generalized Heron Problem by means of Convex Analysis
经典的Heron问题陈述:\emph{on a given straight line in the plane, find a point $C$ such that the sum of the distances from $C$ to the given points $A$ and $B$ is minimal}。这个问题可以用标准几何或微分学来解决。根据现代的凸分析,我们能够研究这个问题的更一般的版本。本文提出并解决了如下问题:在$\R^s$的一个给定的非空闭凸子集上,找到一个点,使得从该点到给定的$\R^s$的非空闭凸子集上的$n$的距离之和最小.
2010-11-14 math.OC
Max-Weight Revisited: Sequences of Non-Convex Optimisations Solving Convex Optimisations
我们研究凸优化的最大权方法和对偶次梯度方法之间的联系。我们发现,强连接存在,我们建立了一个干净的,统一的理论框架,包括最大权重和对偶次梯度方法作为特殊情况。我们的分析只使用初等方法,并且在性质上不是渐近的。它还允许我们建立一个明确的和直接的离散队列占用率和拉格朗日乘子之间的联系。
2015-08-26 cs.IT math.IT math.OC
An inertial alternating direction method of multipliers for solving a two-block separable convex minimization problem
乘子的交替方向法(ADMM)是求解信号和图像处理中出现的许多凸极小化模型的广泛使用的方法。本文提出了一个求解带线性等式约束的两块可分凸极小化问题的惯性ADMM。该算法是利用惯性Douglas-Rachford分裂算法对原问题的对偶问题进行分裂得到的。在无限维希尔伯特空间中研究了该算法的收敛性。此外,我们将该算法应用于鲁棒主成分追踪问题,并将其与其他最先进的算法进行比较。数值结果表明了该算法的优越性。
2021-04-01 math.OC
On Solving Convex Optimization Problems with Linear Ascending Constraints
本文提出了两个求解线性上升约束凸优化问题的算法。当目标函数是可分的,我们提出了一个对偶方法,终止于有限的迭代次数。特别地,我们的对偶方法的最坏情况复杂度比Padakandla和Sundaresan [SIAM J. Optimization,20(2009),pp. 1185-1204]。然后,我们提出了一个梯度投影法来解决更一般的一类问题,其中的目标函数不一定是可分离的。数值实验表明,这两种算法在测试问题上都能很好地工作。
2014-09-25 math.OC
A New Global Optimization Method Based on Simplex Branching for Solving a Class of Non-Convex QCQP Problems
本文针对具有凸二次约束的非凸二次规划问题,通过重构为等价问题,提出基于分支定界框架的全局优化算法,结合松弛与外部逼近技术,确保全局最优性并分析理论可行性。
2023-12-24 math.OC
On solving convex min-min problems with smoothness and strong convexity in one variable group and small dimension of the other
本文研究了仅在一个二元组中具有光滑性和强凸性的凸极小-极小问题的一些方法。结果表明,基于Vaidya的割平面法和Nesterov的快速梯度法,所提出的方法均达到了线性收敛.外部最小化问题使用Vaidya的割平面法求解,内部问题(光滑和强凸)使用快速梯度法求解。由于机器学习应用的重要性,我们还考虑了目标函数是大量函数之和的情况。在这种情况下,使用方差减少的加速梯度算法代替Nesterov的快速梯度法。数值实验的结果说明了所提出的方法的优点逻辑斯谛回归与先验的参数组之一。
2021-02-01 math.OC
An Outer Approximation Method for Solving Mixed-Integer Convex Quadratic Programs with Indicators
针对带指示变量的混合整数凸二次规划,本文提出从多种凸松弛构造割平面的新技术并形成大规模外逼近算法,在稀疏投资组合选择问题上显著优于现有方法。
2023-12-08 math.OC
A Sequential Convex Programming Approach to Solving Quadratic Programs and Optimal Control Problems with Linear Complementarity Constraints
具有互补约束的数学规划由于其非凸性和在每个可行点缺乏约束规格而难以求解。本文主要研究线性互补约束下的二次规划问题。利用序列凸规划和罚参数上的同伦,提出了一种求解罚函数重构的新方法。线性化必然非凸的罚函数产生凸二次子问题,其在所有迭代中具有恒定的黑塞矩阵。这允许使用单个KKT矩阵分解进行解计算。此外,全球化计划中引入的潜在的价值函数被最小化解析,并保证下降提供在每个节点。数值实验表明,该算法的特点和可能的计算加速。
2021-05-31 math.OC
Multi-cut stochastic approximation methods for solving stochastic convex composite optimization
University of Rochester(罗切斯特大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种多切随机近似方法,用于高效求解随机凸组合优化问题,实现了近最优收敛速率和优于其他方法的计算性能。
2026-10-27 math.OC
Solving convex QPs with structured sparsity under indicator conditions
本文研究了由二元指示变量控制且受基数等条件约束的凸优化问题,将其表述为可分凸二次形式,并提出多项式时间近似算法与负面复杂性结果。
2024-11-18 cs.CC cs.DS math.OC
A Fast Convergent Algorithm for Solving Non-convex Partially-Decoupled Generalized Nash Equilibrium Problems
Smead Aerospace Engineering Sciences Department(斯米德航空航天科学与工程系)
提出FALCON算法,利用序列凸规划将非凸微分博弈转化为凸子博弈,并证明其在温和假设下全局收敛到开环纳什均衡。
2026-06-26 cs.MA math.OC
Minibatch stochastic subgradient-based projection algorithms for solving convex inequalities
本文研究了凸可行性问题,其中可行集是一个(可能是无限个)闭凸集的交集。我们假设每个集合代数地指定为凸不等式,其中相关的凸函数是一般的(可能是不可微的)。为了找到一个点满足所有的凸不等式,我们设计和分析随机投影算法使用特殊的次梯度迭代和外推步长。此外,基于多个约束分量的并行随机观测来执行更新。对于这些小批量随机次梯度投影方法,我们证明了次线性收敛结果,并在一定的线性正则性条件下的功能约束,我们证明了线性收敛速率。我们还推导出条件下,这些速率显式依赖于minibatch大小。据我们所知,这项工作是第一个推导条件,表明当小批量随机次梯度为基础的投影更新有一个更好的复杂性比他们的单样本的变体。
2019-09-26 math.OC
Circumcentering approximate reflections for solving the convex feasibility problem
本文将环绕反射法(CRM)应用于求解凸可行性问题。CRM通过计算关于凸集的反射的合成的外接圆来迭代。由于反射是基于精确的投影,其计算可能是昂贵的。在这方面,我们介绍了外心近似反射法(CARM),其反射依赖于外近似投影。CARM的吸引力在于,在相当一般的情况下,我们采用的近似投影在低计算成本下是可用的。在有误差界的条件下,我们证明了CARM的收敛性和线性收敛.我们还提出了成功的理论和数值比较CARM原来的CRM,交替投影(MAP)的经典方法和相应的外近似版本的MAP,称为MAAP。随着我们的结果和数值实验,我们提出了一对夫妇的说明性的例子。
2021-11-15 math.OC
A distributed Douglas-Rachford splitting method for solving linear constrained multi-block weakly convex problems
本文将分布式 Douglas-Rachford 分裂方法(DDRSM)扩展至线性约束多块弱凸优化问题,通过引入弱凸性与误差界假设证明了其线性收敛速率,并在压缩感知和 RASL 实验中展现出优于增广拉格朗日算法的性能。
2024-11-18 math.OC
A generalized projection-based scheme for solving convex constrained optimization problems
针对一般凸约束最优化问题,提出了一种新的基于投影的算法实现。一般的思想是通过从上面迭代地约束目标函数,直到可行性问题不一致,将原始的最优化问题转换为一系列可行性问题。对于每一个可行性问题,人们可以应用任何现有的投影方法来解决它。特别是,该计划允许使用次梯度投影,而不需要精确的投影到现有的类似方法的约束集。我们还将新引入的优越化的概念,优化制定和比较其性能,我们的计划。我们提供了一些数值结果凸二次检验问题以及现实生活中的最优化问题来自医疗规划。
2018-03-15 math.OC
Hybrid Methods in Solving Alternating-Current Optimal Power Flows
电力系统中的许多稳态问题,包括交流模型(ACOPF)中的最优潮流的矩形功率-电压公式,都可以转化为多项式优化问题(POP)。对于一个POP,我们可以导出强凸松弛,或者更确切地说,更强,但更大的松弛层次。研究了从求解凸松弛到求解非凸拉格朗日的牛顿法的转换方法。
2016-11-01 math.OC
Bidirectional SDDP with dimension-free complexity for solving strongly convex stochastic dynamic programming equations
School of Applied Mathematics, FGV(应用数学学院,FGV)
针对强凸多阶段随机优化问题,提出双向随机对偶动态规划算法,其迭代复杂度与状态空间维度无关,且随强凸性增强而降低。
2026-06-23 math.OC
Unrestricted Douglas-Rachford algorithms for solving convex feasibility problems in Hilbert space
本文研究了希尔伯特空间中的凸可行性问题。近年来在该领域中获得了很多兴趣的一种特定方法是道格拉斯-拉奇福德(DR)算法。该算法最初于1956年引入,用于求解定常和非定常热方程。然后在1979年,Lions和Mercier调整和扩展了该算法,目的是解决CFPs和更一般的问题,例如找到两个最大单调算子之和的零点。在过去的十年中,已经出现了许多实现有关该算法的各种概念的发展。我们引入了一个不受限制的DR算法,它提供了一个一般的框架,这样的概念。使用有限个强非扩张算子的无限制乘积,我们应用这个框架来提供新的迭代法,其中,\textit{inter alia},这样的算子可以在我们的\无限制\color DR算法的方案中使用的算子之间交错。
2022-11-05 math.OC
A coordinate ascent method for solving semidefinite relaxations of non-convex quadratic integer programs
针对一类非凸二次整数优化中的半定规划问题,提出了一种坐标上升法。这些半定规划的特点是积极约束和低秩约束矩阵的总数少。我们利用这种特殊的结构,通过解决对偶问题,使用障碍的方法结合坐标明智的精确线搜索。我们的算法的主要成分是计算成本低的更新在每次迭代和一个简单的计算的确切步长。与内点方法相比,该方法在获得强对偶界方面要快得多。此外,即使原始约束的集合很大,也不需要显式分离和重新优化,因为在我们的对偶方法中,在选择下一个坐标时,隐式地考虑所有原始约束。
2016-03-08 math.OC
Solving graph equipartition SDPs on an algebraic variety
半定规划由于其高维性而通常具有挑战性。Burer和Monteiro利用线性SDP问题的低秩性质,提出了一种求解线性SDP问题的非凸方法。他们的方法是快速的,因为他们使用因式分解来减少问题的大小。在本文中,我们专注于解决图均分问题的SDP松弛,这涉及到一个额外的半定上界约束,在传统的线性SDP。利用因子分解方法,得到了一个带有非光滑谱不等式约束的非凸问题。讨论了非凸问题与原SDP等价的条件以及非凸问题的二阶稳定点也是全局极小值的条件。我们的结果推广了以前的工作光滑非凸分解方法的线性SDP的非光滑的情况下。此外,非凸问题的约束涉及具有一些有益性质的代数簇,这些性质使我们能够使用Riemannian优化技术和非凸增广拉格朗日方法非常有效地解决SDP问题,并具有经过验证的全局最优性。
2022-08-03 math.OC
Solving a class of non-convex min-max games using adaptive momentum methods
Splunk;University of Florida(佛罗里达大学)
自适应动量方法最近在深度神经网络的训练中引起了很多关注。它们使用目标函数的过去梯度的指数移动平均来更新搜索方向和学习速率。然而,这些方法不适合解决在训练生成对抗网络中出现的最小-最大最优化问题。在本文中,我们提出了一个自适应动量最小-最大算法,推广自适应动量方法的非凸最小-最大制度。此外,我们建立了非渐近收敛速度的算法时,在一个合理的广泛的类非凸最小最大最优化问题。实验结果表明,它的优越性能与基准方法解决此类问题。
2021-04-26 cs.LG math.OC stat.ML
Using a New Nonlinear Gradient Method for Solving Large Scale Convex Optimization Problems with an Application on Arabic Medical Text
ITMO University(ITMO大学);Aleppo University(阿勒颇大学)
梯度法在信号处理、图像处理和动态系统等多个领域都有应用。本文提出了一种求解凸超二次函数的非线性梯度法,它是通过混合两个共轭系数HRM [2]和NHS [1]来发展搜索方向。数值算例表明,当目标函数为二次凸函数时,该方法能得到标准问题的精确解,证明了该方法的有效性。在这篇文章中,还提出了一个应用程序的问题命名的实体在阿拉伯医学语言,因为它证明了所提出的方法的稳定性和执行时间方面的效率。
2021-06-09 cs.CL math.OC
Peaceman-Rachford Splitting Method Converges Ergodically for Solving Convex Optimization Problems
该研究证明带半邻近项的Peaceman-Rachford分裂方法的遍历序列对凸优化问题收敛,实验显示带重启策略的该方法遍历序列性能优于Douglas-Rachford分裂方法的对应序列,更适合求解大规模凸优化问题。
2025-01-14 math.OC
Comparing different subgradient methods for solving convex optimization problems with functional constraints
Universität Göttingen(哥廷根大学);University of Konstanz(康斯坦茨大学)
本文研究了在闭凸约束域上的凸非光滑函数的极小化问题。我们提出的方法是基于Metel的次梯度方法的改革-Takeda的论文[Optimization Letters 15.4(2021):1491-1504]和Boyd的作品[EE 364 b的讲义,斯坦福大学,2013-14年春季,pp. 1-39]。虽然前者对于所有$r> 1$具有复杂性$\mathcal{O}(\varepsilon^{-2r})$,但后者的复杂性为$\mathcal{O}(\varepsilon^{-2})$。我们使用几个测试示例对这两种方法进行了比较。
2023-01-21 cs.LG math.OC
Sequential Convex Programming Methods for Solving Nonlinear Optimization Problems with DC constraints
Department of Electrical Engineering (ESAT-SCD) and Optimization in Engineering Center (OPTEC), K.U. Leuven(鲁汶大学电气工程系(ESAT-SCD)与工程优化中心(OPTEC))
本文研究序列凸规划(SCP)与DC规划之间的关系,提出一种求解DC约束非线性优化问题的SCP算法并证明其收敛性,结合松弛技术处理不一致线性化,并通过数值测试验证算法性能。
2011-07-28 cs.SY eess.SY math.OC
An active-set based recursive approach for solving convex isotonic regression with generalized order restrictions
本文研究由有向树诱导的广义序约束凸保序回归问题,受PAV算法启发提出一种基于主动集的递归求解方法,在温和假设下实现了多项式时间复杂度。
2023-04-01 math.OC stat.CO
Outer Approximation Methods for Solving Variational Inequalities Defined over the Solution Set of a Split Convex Feasibility Problem
研究了闭凸集$S$上强单调Lipschitz连续算子$F$所支配的变分不等式.假设$S=C\cap A^{-1}(Q)$是一个(多集)分裂凸可行性问题的非空解集,其中$C$和$Q$分别是两个实Hilbert空间$\mathcal H_1$和$\mathcal H_2$的闭凸子集,作用于它们之间的算子$A$是线性的.我们考虑的梯度投影法的修改,其主要思想是在每一步的度量投影到$S$由另一个度量投影到包含$S$的半空间。我们提出了三种变体的方法来构建上述半空间,采用多重集和分裂结构的集合$S$。对于分裂部分,我们使用Landweber变换。
2019-08-20 math.OC
A Projection-Free Method for Solving Convex Bilevel Optimization Problems
针对内层极小值集不显式的凸双层优化问题,提出仅需基域线性优化预言机的无投影方法,证明其内外层收敛速率为O(t^{-1/2}),额外假设下可加速,且通过数值研究验证了性能。
2024-10-09 math.OC
A first-order splitting method for solving a large-scale composite convex optimization problem
前向后算子分裂算法是求解两个凸函数之和的最优化问题的重要方法之一,其中一个凸函数是Lipschitz连续梯度可微的,另一个凸函数可能是非光滑但可逼近的.将某些最优化问题转化为对偶问题或原-对偶问题的形式进行求解是很方便的。这两种方法在理论上都是成熟的。本文构造了几个求解多块复合凸最优化问题的有效一阶分裂算法。目标函数包括具有Lipschitz连续梯度的光滑函数、可以是非光滑的可逼近凸函数、以及可逼近函数和有界线性算子的合成的有限和。为了解决这样的最优化问题,我们通过定义一个合适的内积空间,将其转化为三个凸函数的和。在对偶前后向分裂算法和原始对偶前后向分裂算法的基础上,我们发展了几种只需要计算可微函数的梯度和相关凸函数的邻近算子的迭代算法。这些迭代算法是矩阵求逆的自由和完全分裂的算法。最后,我们采用所提出的迭代算法来解决一个正则化的一般先验图像约束压缩感知(PICCS)模型,该模型来自稀疏采样下的投影测量的计算机断层扫描(CT)图像重建。数值结果表明,所提出的迭代算法优于其他算法。
2018-11-18 math.OC
Canonical Primal-Dual Method for Solving Non-convex Minimization Problems
University of Ballarat(巴拉瑞特大学);The Australian National University(澳大利亚国立大学)
提出一种基于规范对偶理论的新原始-对偶算法,将非凸最小化问题重构为凸-凹鞍点优化问题,并通过二次扰动原始-对偶方法求解,数值实验表明性能优于现有方法。
2012-12-28 cs.DS cs.NA math.NA
Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems
随机邻近梯度(SPG)方法已广泛用于机器学习和统计中使用简单(可能非光滑)正则化器解决最优化问题。然而,据我们所知,没有非渐近收敛分析SPG存在的非凸优化与非光滑和非凸正则化。现有的SPG求解非光滑非凸问题的非渐近分析都要求非光滑正则化子是凸函数,因此不适用于非光滑非凸正则化问题.这项工作启动分析,以弥合这一差距,打开了大门,非渐近收敛分析的非光滑非凸正则化问题。我们分析了几个变种的小批量SPG方法最小化的非凸目标,包括一个光滑的非凸损失和非光滑的非凸正则化。我们的贡献是双重的:(i)我们表明,他们享有相同的复杂性,他们的同行解决凸正则化非凸问题方面找到一个近似的驻点;(ii)我们开发更实用的变种使用动态的小批量大小,而不是一个固定的小批量大小,而不需要目标精度水平的解决方案。我们的结果的意义是,他们改进的国家的最先进的结果解决非光滑非凸正则化问题。我们还实证证明了所考虑的SPG方法与其他同行的随机方法相比的有效性。
2019-11-18 math.OC
A semi-smooth Newton method for solving convex quadratic programming problem under simplicial cone constraint
研究了单纯锥约束凸二次规划问题。该问题的最优性条件是一个线性互补性问题。在适当的条件下,这一事实导致了单纯锥约束凸二次规划问题与非光滑方程组的唯一解问题的等价性.它表明,半光滑牛顿法适用于这个非光滑的方程组总是定义良好,并在一个温和的假设下,单纯锥的方法产生一个序列,线性收敛到它的解决方案。此外,我们还证明了生成序列对任意起点是有界的,并给出了该序列的任意聚点的计算公式。数值结果表明,这种方法实现了精确的解决方案,在几个迭代大的问题。
2015-03-10 math.OC
Solving Non-Convex Non-Concave Min-Max Games Under Polyak-Łojasiewicz Condition
University of Southern California(南加州大学)
在这篇短文中,我们考虑求解一个极小极大零和对策的问题。这个问题已经被广泛研究的凹凸制度,可以有效地计算的整体解决方案。最近,也有发展,寻找一阶稳定点的游戏时,玩家的目标之一是凹或(弱)凹。本文主要研究了非凸非凹机制,其中一个局中人的目标满足Polyak-Schojasiewicz(PL)条件。对于这样的游戏,我们表明,一个简单的多步梯度下降上升算法发现一个$\varepsilon$ -一阶不动点的问题,在$\widetilde{\mathcal{O}}(\varepsilon^{-2})$迭代。
2018-12-07 cs.GT cs.LG math.OC
Convex Restriction of Power Flow Feasibility Sets
潮流可行集的凸约束确定了保证潮流解存在并满足运行约束的功率注入凸子集。与凸松弛相反,凸约束为潮流可行性提供了充分条件,并且对于涉及发电和需求的不确定性的问题特别有用。本文提出了一种构造由等式和不等式约束定义的代数集的凸约束的一般框架,并将其应用于潮流可行性问题。该过程的结果在凸二次约束,提供了一个足够大的区域的实际操作的网格。
2019-02-20 math.OC
A Solution Procedure for Minimum Convex-Cost Network Flow Problems
提出了一种求解最小凸费用网络流问题的启发式算法。该算法是基于求解最小费用网络流问题的网络单纯形法(NSM)、Zangwill的凸单纯形法(CSM)、凸单纯形法的分解和非线性变换问题的概念而构造的。
2016-11-25 math.OC
Solving separable convex optimization problems: Faster prediction-correction framework
本文提出一个更快的预测-校正框架,用于求解可分离凸优化问题,在非遍历和逐点意义上分别达到 $O(1/t)$ 和 $O(1/t^2)$ 的收敛速率,并给出三种基于该框架的算法,分别处理两块、多块和极小极大问题。
2024-02-03 math.OC
A unified analysis of a class of proximal bundle methods for solving hybrid convex composite optimization problems
提出了一种基于一般束更新方案的求解混合凸复合优化(HCCO)问题的近似束(PB)框架,建立了PB框架中任一变体的迭代复杂度上界,并首次在HCCO背景下统一地给出了基于不同束更新方案的3种PB变体的迭代复杂度上界.虽然PB变体中的两个是通用的(即,它们的实现不需要与HCCO实例相关联的参数),另一个新提出的(据作者所知)不是HCCO实例,但具有生成简单的(即一次切割的)捆绑模型的优点。本文还提出了一个通用的自适应PB变体(这不一定是一个框架的实例)的基础上一切模型,并表明其迭代复杂度是相同的上述两个通用PB变体。
2023-03-27 math.OC
Solving DC programs with a polyhedral component utilizing a multiple objective linear programming solver
研究了一类目标函数为DC的非凸优化问题,其中DC表示为两个凸函数$g$和$h$之差$f=g-h$.特别地,我们处理的特殊情况下,两个凸函数之一的$g$或$h$是多面体。在情况下$g$是多面体,我们表明,DC程序的解决方案可以从一个相关的多面体投影问题的解决方案。在$h$是多面体的情况下,证明了DC规划的解可以通过求解多面体投影问题和多个凸规划得到。由于多面体投影等价于多目标线性规划(MOLP),因此MOLP求解器(在第二种情况下与凸规划求解器一起)可以用于求解具有多面体分量的DC规划的实例。提供了数值例子,其中一个应用程序的位置分析。
2017-03-15 math.OC
On the finite convergence of the Douglas-Rachford algorithm for solving (not necessarily convex) feasibility problems in Euclidean spaces
University of British Columbia(不列颠哥伦比亚大学);Hanoi National University of Education(河内国家教育大学)
本文研究了求解欧几里得空间中非凸可行性问题的Douglas-Rachford算法的有限收敛性,提出了多种新的充分收敛条件,并通过多个例子验证了结果。
2016-04-15 cs.NA math.FA math.NA
The Convex Geometry of Backpropagation: Neural Network Gradient Flows Converge to Extreme Points of the Dual Convex Program
Stanford University(斯坦福大学)
我们从凸几何和对偶的角度研究了用于训练两层ReLU神经网络的非凸次梯度流。我们将非正则化非凸梯度流的隐偏差刻画为等价凸模型的凸正则化。然后,我们证明了非凸次梯度流的极限点可以通过原始对偶对应在这个凸优化问题。此外,我们得到了一个关于对偶变量的充分条件,该条件确保非凸目标的平稳点是凸目标的KKT点,从而证明了非凸梯度流收敛到全局最优。对于一类规则的训练数据分布,如正交可分数据,我们证明了这一充分条件成立。因此,非凸梯度流实际上收敛于凸优化问题的最优解。我们提出的数值结果验证了我们的非凸次梯度下降理论的预测。
2021-10-13 cs.LG math.OC
Solving large-scale general phase retrieval problems via a sequence of convex relaxations
提出了一种基于凸松弛的大规模广义相位恢复算法。一般的相位恢复问题包括:基于记录在图像(焦)平面中的点源的强度测量来估计光瞳平面中的光场的相位。非凸的问题,找到复杂的领域,产生正确的强度被重新制定为一个秩约束问题。核范数被用来获得相位恢复问题的凸松弛。提出了一种新的迭代法--基于凸优化的相位恢复算法(COPR),每次迭代都是求解一个凸优化问题。在无噪声的情况下,对于一类相位恢复问题,最小化问题的解线性地或更快地收敛到正确的解。由于核范数最小化问题的解决方案可以使用半定规划计算,这往往是一个昂贵的优化方面的可扩展性,我们提供了一个快速的ADMM算法,利用问题的结构。在一个现实的数值模拟研究中证明了COPR算法的性能,证明了其在可靠性和速度方面的改进,相对于最先进的方法。
2018-03-07 eess.SP math.OC
Combining Convex-Concave Decompositions and Linearization Approaches for solving BMIs, with application to Static Output Feedback
K.U. Leuven(荷语鲁汶大学);Katholieke Universiteit Leuven(荷语鲁汶大学)
提出一种将双线性映射分解为两个半正定凸映射之差,并通过线性化凹部分转化为凸子问题的新优化方法,用于求解双线性矩阵不等式约束下的凸函数最小化问题,并应用于输出反馈控制器综合。
2011-09-15 cs.SY eess.SY math.OC
Solving Inverse Problem for Multi-armed Bandits via Convex Optimization
University of Freiburg(弗莱堡大学)
针对多臂老虎机逆问题非凸的难点,提出基于变量变换松弛的两步顺序启发式凸优化方法,该方法比局部优化更稳健且比Monte Carlo方法运行更快,并基于CVXPY实现以便非专业用户直接应用。
2025-06-26 cs.CE cs.LG math.OC
Solving Chance Constrained Programs via a Penalty based Difference of Convex Approach
HKUST(香港科技大学);School of Economics, Fudan University(复旦大学经济学院);IEDA(数据科学研究所);School of Data Science, Fudan University(复旦大学数据学院)
本文提出两种基于惩罚的差分凸算法,用于求解机会约束程序。通过秩为基础的差分凸分解,设计了无需可行初始点的近端惩罚差分凸算法,并通过提升形式提升数值稳定性,证明了惩罚提升问题在对偶空间中的可计算结构。
2026-03-13 math.OC
Solving the Optimal Experiment Design Problem with Mixed-Integer Convex Methods
Technische Universität Berlin(柏林工业大学);Zuse Institute Berlin(柏林祖斯研究所);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria
本文提出了一种基于混合整数凸方法的最优实验设计解决方案,通过非线性分支定界算法和Frank-Wolfe算法实现高效求解。
2025-11-20 math.OC
A Unified Framework for Solving a General Class of Nonconvexly Regularized Convex Models
本文提出部分平滑差凸(pSDC)正则化器,推导整体凸性条件,并基于DC规划建立求解非凸正则化凸模型的统一框架,证明其全局收敛性并通过实验验证有效性。
2023-06-26 eess.SP math.OC
Distributed Optimal Gas-Power Flow Using Convex Optimization and ADMM
提出了一种基于凸优化的分布式算法来求解能量耦合配电系统多时段最优气电潮流。在配气系统侧,非凸Weymouth气体流动方程被转化为二次约束。最优气体流量(OGF)子问题的求解采用迭代二阶锥规划方法,其效率比传统的非线性方法高两个数量级。提出了一种基于凸二次规划的起爆方案,该方案有助于找到高质量的起爆点。在配电系统侧,对非凸支路潮流方程进行凸松弛,最优潮流(OPF)子问题转化为二阶锥规划。径向拓扑保证了紧密性。在分布式算法中,OGF和OPF独立求解,并通过交替方向乘子法(ADMM)协调。数值结果证实了显着增强的计算鲁棒性和效率相比,现有的集中式OGPF方法。
2016-10-15 math.OC
A Cutting-plane and Benders' Decomposition Algorithm for Two-Stage Distributionally Robust Convex programs
Northwestern University(西北大学)
本文提出结合割平面、Benders 分解与 branch-and-union 的有限收敛算法,用于两阶段分布鲁棒随机混合整数凸规划,实验表明其显著优于商业求解器。
2025-09-29 math.OC