Projective method of multipliers for linearly constrained convex minimization
本文提出了一种求解线性约束凸优化问题的方法，该方法是将Eckstein和Svaiter提出的求两个单调算子和的零点的已知算法应用于对偶问题.我们建立收敛速度的新方法，我们目前的应用程序，电视去噪和压缩感知问题。
2017-06-07 math.OC
Iteration complexity analysis of random coordinate descent methods for $\ell_0$ regularized convex problems
本文分析了一类求解$\ell_0$正则化最优化问题的一般随机块坐标下降法，即目标函数由光滑凸函数和$\ell_0$正则化函数组成.我们的方法家族涵盖了诸如随机块坐标梯度下降和随机邻近坐标下降法等特殊情况。我们分析了必要的最优性条件，这个非凸$\ell_0$正则化问题，并设计了一个分离的局部极小值集的限制类的基础上的近似版本的目标函数。我们提供了一个统一的分析的几乎必然收敛这一家庭的块坐标下降算法，并证明，对于每个近似版本，极限点是局部极小从相应的限制类的局部极小。在强凸性假设下，我们证明了这类方法的概率线性收敛。
2014-07-18 math.OC
An optimal subgradient algorithm for large-scale bound-constrained convex optimization
本文表明，OSGA算法-它使用一阶信息来解决具有最佳复杂性的凸优化问题-可以用来有效地解决任意有界约束的凸优化问题。这是通过构建一个明确的方法，以及一个不精确的计划，解决有界约束的合理的子问题所需的OSGA。这导致在信号和图像处理、机器学习和统计等应用中的大规模问题上有效地实现OSGA。数值实验表明，该算法在此类问题上具有良好的性能。离子，以显示所提出的方案的效率。一个软件包实现有界约束凸问题的OSGA是可用的。
2015-01-07 math.OC
Second-order optimality conditions for non-convex set-constrained optimization problems
本文研究非凸集约束最优化问题的二阶最优性条件。对于凸集约束最优化问题，二阶最优性条件最优性条件涉及二阶切集的支撑函数。在本文中，我们提出了两种方法来建立二阶最优性条件的非凸情况。在第一种方法中，我们扩展了支撑函数的概念，使其适用于一般的非凸集约束问题，而在第二种方法中，我们引入了方向正则切锥的概念，并应用经典的凸对偶理论的结果。除了二阶最优性条件，我们的方法的新颖性在于系统的介绍和使用，分别从变分分析的著名概念的方向版本。
2020-01-14 math.OC
Linear Convergence of Randomized Primal-Dual Coordinate Method for Large-scale Linear Constrained Convex Programming
线性约束凸规划有许多实际应用，包括支持向量机和机器学习投资组合问题。我们提出了随机原对偶坐标（RPDC）方法，这是Cohen和Zhu，1984和Zhao和Zhu，2019的一阶原对偶方法的随机坐标扩展，用于求解线性约束凸规划。我们随机选择一个基于均匀分布的变量块，线性化，并将Bregman样函数（核心函数）应用于所选块，以获得简单的并行原始-对偶分解。在强度量次正则条件下，证明了算法的几乎处处收敛性和期望O（1/t）收敛速度，以及期望线性收敛.最后，我们讨论了随机原始-对偶坐标方法的实现细节，并对支持向量机和机器学习组合问题进行了数值实验，以验证其线性收敛。
2020-08-29 math.OC
On convex problems in chance-constrained stochastic model predictive control
研究离散时间演化线性随机动力系统的约束最优控制问题。我们考虑有限时间内的期望值成本最小化问题。硬约束的介绍，然后重新制定的概率约束。结果表明，对于一个合适的参数化的控制策略，广泛的一类由此产生的最优化问题是凸的，或承认合理的凸近似。
2009-05-21 math.OC
A Trust Region Method for Finding Second-Order Stationarity in Linearly Constrained Non-Convex Optimization
受TRACE算法[Curtis et al. 2017]的启发，我们提出了一种用于寻找线性约束非凸优化问题的二阶稳定点的置信域算法。证明了该算法在\widetilde{\mathcal{O}}（\max{ε_g^{-3/2}, ε_H^{-3}}）迭代下收敛到（ε_g，ε_H）-二阶稳定点.这种迭代复杂性是针对一般线性约束优化而实现的，而无需对目标函数进行立方正则化。
2019-04-14 math.OC
Chance constrained problems: a bilevel convex optimization perspective
机会约束是在不确定环境中设计安全决策的一个有价值的工具，它们被用来模拟目标概率满足约束。然而，由于可能的非凸性和非光滑性，优化的机会约束集是具有挑战性的。本文建立了机会约束问题的一个精确的转化形式，将其转化为具有凸下层的双层问题。然后，我们推导出一个易于处理的惩罚方法，惩罚的目标是一个不同的凸函数，我们用一个合适的聚束法最小化。我们发布了一个易于使用的开源python工具箱来实现该方法，特别强调快速计算子例程。
2021-03-19 math.OC
A generic coordinate descent solver for nonsmooth convex optimization
我们提出了一个通用的坐标下降求解器的最小化的非光滑凸结构的目标。该方法特别适用于具有线性约束的问题。该实现利用了有效的残差更新，并自动确定哪些对偶变量应该被复制。为了提高效率，预先编译了一系列基本功能原子，Python中的建模语言允许用户在运行时将它们组合起来。因此，该算法可用于解决各种各样的问题，包括Lasso，稀疏多项式逻辑斯谛回归，线性和二次规划。
2019-09-26 math.OC
Subgradient method with feasible inexact projections for constrained convex optimization problems
本文提出了一种新的求解不可微约束凸优化问题的不精确投影次梯度方法。该方法将$ε$ -次梯度方法与一个过程相结合，以获得一个可行的不精确投影到约束集。采用众所周知的外源步长，Polyak的步长，和动态步长的方法所产生的序列的渐近收敛的结果和迭代复杂性的界限建立。
2020-06-15 math.OC
A coordinate ascent method for solving semidefinite relaxations of non-convex quadratic integer programs
针对一类非凸二次整数优化中的半定规划问题，提出了一种坐标上升法。这些半定规划的特点是积极约束和低秩约束矩阵的总数少。我们利用这种特殊的结构，通过解决对偶问题，使用障碍的方法结合坐标明智的精确线搜索。我们的算法的主要成分是计算成本低的更新在每次迭代和一个简单的计算的确切步长。与内点方法相比，该方法在获得强对偶界方面要快得多。此外，即使原始约束的集合很大，也不需要显式分离和重新优化，因为在我们的对偶方法中，在选择下一个坐标时，隐式地考虑所有原始约束。
2016-03-08 math.OC
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
Model Construction for Convex-Constrained Derivative-Free Optimization
本文针对凸约束无导数优化（DFO）中仅采样可行点难以达到标准精度的问题，提出适用于线性回归和欠定二次插值模型的新的逼近理论，扩展了已有凸约束线性插值理论。
2024-03-22 math.OC
Majorized Semi-proximal Alternating Coordinate Method for Nonsmooth Convex-Concave Minimax Optimization
极小极大最优化问题是现代机器学习和传统研究领域中产生的一类重要的最优化问题。虽然已经有许多数值算法求解光滑凹凸极大极小问题，数值算法非光滑凹凸极大极小问题是非常罕见的。针对一类结构化非光滑凹凸极大极小问题，提出了一种有效的数值算法。提出了一种优化半邻近交替坐标法（mspACM），采用优化二次凸凹函数逼近目标函数的光滑部分，并在每个子问题中加入半邻近项.这种构造使得每次迭代的子问题都是可解的，甚至当巧妙地选择半邻近项时很容易求解。在较弱的假设下证明了算法mspACM的整体收敛性，而不需要强的凸性条件.在解映射的局部度量次正则性下，证明了算法mspACM具有线性收敛速率.初步的数值结果报告，以验证算法mspACM的效率。
2020-12-21 math.OC
A penalty scheme to solve constrained non-convex optimization problems in $BV(Ω)$
研究了具有双边逐点不等式约束的$BV(Ω)$中的非凸优化问题。我们提出了一个正则化和惩罚的方法来数值求解这个问题。在一定条件下，迭代的弱极限点对原问题是平稳的。此外，我们证明了原问题的最优性条件，包含拉格朗日乘子的不等式约束。数值实验证实了理论结果。
2021-10-05 math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
On the Softplus Penalty for Constrained Convex Optimization
本文研究基于softplus罚函数的约束凸优化重构，通过分析解路径推导目标值差距与约束违反度的紧致上界，并据此分析梯度方法在约束数大时的求解复杂度。
2023-05-21 math.OC
Primal-Dual Frank-Wolfe for Constrained Stochastic Programs with Convex and Non-convex Objectives
我们研究约束随机规划的决策向量在每个时隙不能自由选择，但绑定到一个潜在的随机状态向量的实现。目标是最小化受线性约束的一般目标函数。这种程序出现的典型场景是在时变信道的网络上的机会调度，其中随机状态向量是观察到的信道状态，并且控制向量是取决于当前信道状态的传输决策。我们考虑一个原始-对偶类型的弗兰克-沃尔夫算法，具有低复杂度的更新，在每个时隙，学习作出有效的决策，而无需先验知识的随机状态向量的概率分布。我们建立了凸和非凸目标函数的情况下的收敛时间保证。我们还强调了该算法的应用，非凸机会调度和分布式非凸随机最优化在连通图。
2018-06-02 math.OC
On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions
本文研究了目标函数为耦合函数的线性约束凸优化问题的优化交替方向乘子法（ADMM）的收敛性.我们的收敛性分析依赖于广义中值定理，由于耦合目标函数的存在，该定理在正确控制交叉项方面起着重要作用。我们的结果特别表明，直接应用2-块ADMM与一个大的步长的线性约束凸优化问题与二次耦合目标函数是收敛的温和条件。我们还提供了几个迭代算法的复杂性结果。
2015-01-31 math.OC
Restarting the accelerated coordinate descent method with a rough strong convexity estimate
我们提出了新的重新启动策略的加速坐标下降法。我们的主要贡献是表明，对于一个很好的选择序列的重新启动的时间，重新启动的方法有一个接近几何的收敛速率。该方法的一个主要特点是可以利用目标函数的局部二次误差界，而不需要知道误差界的实际值。我们还表明，在更严格的假设下，目标函数是强凸的，任何固定的重新启动期间导致几何收敛速率。最后，我们说明了正则化的逻辑斯谛回归问题和Lasso问题的算法的性能。
2018-09-07 math.OC
Stochastic Primal-Dual Coordinate Method for Nonlinear Convex Cone Programs
块坐标下降（BCD）方法及其变体在图像处理、机器学习、压缩感知等领域中被广泛应用于处理大规模无约束最优化问题，而非线性凸锥规划（NCCP）问题在耦合约束问题中具有重要的应用价值，但现有的块坐标下降方法难以解决这些问题.本文介绍了一种求解大规模非线性共形问题的随机原对偶坐标法。在这种方法中，我们根据均匀分布随机选择一组变量。线性化和Bregman样函数（核心函数）的随机选择的块允许我们得到简单的并行原始-对偶分解NCCP。证明了算法产生的序列几乎必然收敛于原问题的一个最优解。得到了两种不同概率（几乎必然和期望）的收敛速度。本文还导出了概率复杂度界。
2018-04-03 math.OC
Solution Uniqueness of Convex Piecewise Affine Functions Based Optimization with Applications to Constrained $\ell_1$ Minimization
本文研究了一类带有凸分段仿射函数和一般多面体约束的凸优化问题的解的唯一性。这类问题包含了许多重要的多面体约束$\ell_1$恢复问题所产生的稀疏优化，如基追踪，LASSO，和基追踪去噪，以及多面体规范恢复。通过利用凸分段仿射函数和凸分析工具的最大公式，我们开发了对偶变量的必要和充分的唯一性条件，通过简单而统一的方法，这些条件适用于广泛的$\ell_1$最小化问题下可能的多面体约束。提出了一种有效的线性规划方法来验证解的唯一性条件。本文所得到的结果不仅恢复了文献中已知的解的唯一性条件，通过删除限制性假设，但也产生新的唯一性条件，更广泛的约束$\ell_1$ -极小化问题。
2017-11-16 math.OC
Extending Exact Convex Relaxations of Quadratically Constrained Quadratic Programs
本文针对凸松弛精确的二次约束二次规划，在不相交二次约束条件下加入额外约束，统一扩展了三类精确凸松弛方法，并通过示例验证了结果的适用性。
2025-10-22 math.OC
Frictionless Hamiltonian Descent and Coordinate Hamiltonian Descent for Strongly Convex Quadratic Problems
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本文提出无摩擦哈密顿下降法及坐标哈密顿下降法，用于解决强凸二次问题，展示了其在加速速率和线性方程组求解中的广泛应用。
2026-09-22 math.OC
Alternating Direction Method of Multipliers for nonlinear constrained convex problems and applications to distributed resource allocation and constrained machine learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出了一种非线性交替方向乘子法，用于解决非线性约束凸问题，适用于分布式资源分配和约束机器学习，通过保持经典分解结构并利用凸性，实现了更高的通信效率。
2026-02-26 math.OC
A Cyclic Coordinate Descent Method for Convex Optimization on Polytopes
本文提出可处理极点不多的多面体约束的循环坐标下降算法 PolyCD 及其带 away steps 的变体 PolyCDwA，分别证明 O(1/k) 与线性收敛速率，并验证其大规模性能。
2023-04-27 math.OC
Linear convergence of dual coordinate descent on non-polyhedral convex problems
本文研究了约束凸规划问题，其中目标函数是光滑强凸的，可行集是由大量闭凸（可能是非多面体）集的交构成。为了有效地处理复杂的约束条件，我们考虑了这个问题的对偶公式。证明了在目标函数光滑且强凸且满足Slater条件的条件下，对应的对偶函数在任意子水平集上满足二次增长性质.据我们所知，这项工作是第一次推导出二次增长的条件下，这些一般假设的对偶。现有的工作在更保守的假设下得出类似的二次增长条件，例如，这些集合需要是多面体的或紧凑的。然后，对于寻找对偶问题的最小值，由于其特殊的复合结构，我们提出了随机（加速）坐标下降算法。然而，现有的理论可以证明，这种方法只收敛于次线性。基于对偶的二次增长性质，我们证明了这种方法具有更快的收敛性，即对偶随机（加速）坐标下降算法线性收敛。除了提供一个一般的对偶框架的随机坐标下降计划的分析，我们的结果解决了一个公开的问题，在文献中有关的Dykstra算法的收敛性的最佳可行性问题的凸集集合。即当凸集满足Slater条件时，我们建立了随机化Dykstra算法的线性收敛速率，并导出了一个新的Dykstra算法的加速变式.
2019-11-14 math.OC
Strong Convergence of FISTA for Affinely Constrained Convex Quadratic Minimization
UMass Lowell（麻省大学洛厄尔分校）；University of British Columbia（不列颠哥伦比亚大学）；University of Waterloo（滑铁卢大学）
本文证明了在无闭合条件假设下，FISTA在仿射二次优化中的强收敛性，并特别指出了Nesterov加速梯度法在凸二次目标函数中的强收敛性。
2026-04-02 math.OC
Constrained LQR Design Using Interior-Point Arc-Search Method for Convex Quadratic Programming with Box Constraints
虽然经典的LQR设计方法在实际工程设计中取得了很大的成功，但在某些情况下，由于执行器的饱和，经典的设计方法需要修改。这个修改后的问题有时被称为约束LQR设计。对于离散系统，约束LQR设计问题等价于带框约束的凸二次规划问题。我们将表明，邻点法是非常有效的，因为这个问题的初始内点是可用的，一个条件是不成立的一般凸二次规划问题。我们将设计一个有效的和高效的算法约束LQR设计问题使用的特殊结构的盒子约束和最近推出的弧搜索技术的内点算法。我们将证明该算法是多项式的，并具有凸二次规划的最佳已知的复杂性界。该算法在MATLAB中实现。最后给出了约束LQR设计的算例，验证了该方法的有效性。该算法可以很容易地用于模型预测控制。
2013-04-17 math.OC
Second Order Cone Constrained Convex Relaxations for Nonconvex Quadratically Constrained Quadratic Programming
本文对非凸二次约束二次规划（QCQP）问题提出了新的凸松弛解。虽然最近的研究集中在加强凸松弛使用重构线性化技术（RLT），国家的最先进的方法失去了他们的有效性时，处理（多个）非凸二次约束QCQP。在这项研究中，我们分解和放松每个非凸约束两个二阶锥（SOC）约束，然后线性化的SOC约束和线性约束的产品，以构建一些有效的新的有效约束。此外，我们扩展了几乎所有不同类型的约束对（包括有效的不等式线性化的产品的SOC约束，和Hadamard产品或Kronecker产品的两个相应的有效的线性矩阵不等式）的RLT类技术的范围，检查不同的有效不等式之间的优势关系，并探索几乎所有的可能性，从生成有效的约束中获益。特别是，我们成功地证明，应用RLT类似的技术，额外的冗余线性约束可以减少松弛间隙。我们证明了我们的结果与数值实验的效率。
2017-09-16 math.OC
Efficient parallel coordinate descent algorithm for convex optimization problems with separable constraints: application to distributed MPC
在本文中，我们提出了一个并行坐标下降算法求解光滑凸优化问题的可分离的约束，可能会出现，例如在分布式模型预测控制（MPC）的线性网络系统。我们的算法是基于块坐标下降并行更新，并有一个非常简单的迭代。在光滑凸优化的标准假设下，我们证明了新算法的（亚）线性收敛速率。此外，我们的算法使用本地信息，因此适合分布式实现。此外，它具有较低的迭代复杂度，这使得它适合嵌入式控制。基于这种新的并行算法，推导出一种MPC方案，使网络中的每个子系统都可以使用分布式和廉价的计算来计算可行的和稳定的控制输入。为了确保MPC方案的稳定性，我们使用来自分布式合成的终端成本公式。初步的数值试验表明，我们的优化算法比其他现有的方法有更好的性能。
2014-11-18 math.OC
Diminishing Stepsize Methods for Nonconvex Composite Problems via Ghost Penalties: from the General to the Convex Regular Constrained Case
本文扩展了非凸约束问题的递减步长方法以处理等式约束和复合非光滑目标，并证明在凸约束满足标准约束规范时可大幅简化算法、降低每次迭代计算量。
2020-07-30 math.OC
Line Search Fixed Point Algorithms Based on Nonlinear Conjugate Gradient Directions: Application to Constrained Smooth Convex Optimization
本文研究实Hilbert空间上非扩张映射的不动点问题，提出了新的线搜索不动点算法来加速搜索.线搜索的终止条件是基于众所周知的沃尔夫条件，用于确保无约束优化算法的收敛性和稳定性。利用最速下降方向和传统的无约束优化的非线性共轭梯度方向的思想，产生了搜索不动点的方向。在一定的假设条件下，我们对求解不动点问题的算法进行了收敛性和收敛速度分析。本文的主要贡献是对约束光滑凸优化问题中的一个问题，即能否设计非线性共轭梯度算法来求解约束光滑凸最优化问题做出了具体的回答。我们证明了所提出的不动点算法包括具有非线性共轭梯度方向的不动点算法，这些不动点算法可以求解约束光滑凸优化问题。为了说明算法的实用性，我们将其应用于具体的约束光滑凸最优化问题，如约束二次规划问题和广义凸可行性问题，并将其与以前基于Krasnosel'ski \u-Mann不动点算法的算法进行了数值比较.结果表明，与已有算法相比，本文算法大大减少了求解具体最优化问题的运行时间和迭代次数.
2015-09-18 math.OC
Multi-agent constrained optimization of a strongly convex function over time-varying directed networks
我们认为合作的多智能体共识最优化问题在静态和时变通信网络，只允许本地通信。我们的目标是最小化代理特定的私人圆锥约束集上的代理特定的可能非光滑的复合凸函数的总和，因此，最佳的共识决策应该位于这些私人集合的交集。假设和函数是强凸的，我们提供了收敛速度在次优，不可行性和共识违反，检查底层网络拓扑结构的影响上的收敛速度的建议分散算法。
2017-06-24 math.OC
Continuous and discrete-time accelerated methods for an inequality constrained convex optimization problem
本文利用对数障碍函数和Bregman Lagrangian构造连续时间动力系统，研究不等式约束凸优化问题的加速方法，并推导出具有最优收敛速率的离散时间算法。
2024-11-22 math.OC
A Modification Piecewise Convexification Method for Box-Constrained Non-Convex Optimization Programs
本文提出了一种分段凸化方法来逼近框约束非凸优化问题的整个近似最优解集。在盒子划分的过程中，我们首先对子盒子进行分类，在后续的划分中只继续划分部分子盒子。同时，应用基于$α$的分支定界（{ \rm $α$ BB}）方法，构造了一系列分段凸松弛子问题，统称为原问题的分段凸化问题.然后，我们定义的（近似）解集的分段凸化问题的基础上的分类结果的子盒。随后，我们推导出这些集合可以用来近似全局解集与预定义的质量。最后，提出了一种分段凸化算法，该算法采用了一种新的划分子盒选择规则和两种新的终止性检验。几个实例验证了这些技术有利于提高算法的性能。
2022-06-29 math.OC
Convergence to Second-Order Stationarity for Constrained Non-Convex Optimization
本文研究了一类带约束的非凸优化问题的近似二阶稳定点问题。我们首先表明，与无约束优化的梯度下降法，香草投影梯度下降算法可能会收敛到一个严格的鞍点，即使只有一个单一的线性约束。然后，我们提供了一个硬度的结果表明，检查$(ε_g,ε_H)$ -二阶平稳性是NP难的，即使在存在线性约束。尽管我们的硬度结果，我们确定的问题，检查二阶平稳性可以有效地完成的实例。对于这种情况，我们提出了一个动态的二阶Frank-Wolfe算法，它收敛到（$ε_g, ε_H$）-二阶平稳点的${\mathcal{O}}(\max\{ε_g^{-2}, ε_H^{-3}\})$迭代。只要能有效地求解约束二次子问题，该算法就可用于一般的约束非凸优化。
2020-06-02 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
An augmented Lagrangian method with constraint generation for shape-constrained convex regression problems
形状约束凸回归问题是指在观测数据上拟合一个凸函数，并施加附加的约束条件，如分量单调性和一致Lipschitz连续性。本文提供了一个统一的框架计算多元形状约束凸回归函数的最小二乘估计$\mathbb{R}^d$。通过求解一个含有$(d+1)n$变量、$n(n-1)$线性不等式约束和$n$可能为非多面体不等式约束的本质约束凸二次规划问题，证明了最小二乘估计是可计算的，其中$n$是数据点的个数.为了有效地解决一般非常大规模的凸QP，我们设计了一个近似的增广拉格朗日方法（ERALM），其子问题的半光滑牛顿方法（SSN）解决。为了进一步加快计算时，$n$是巨大的，我们设计了一个实际的实施约束生成方法，使每个减少的问题是有效地解决了我们提出的MATERALM。综合的数值实验，包括在篮子期权定价和经济学中的生产函数估计，表明我们提出的ECOALM优于国家的最先进的算法，所提出的加速技术进一步缩短了计算时间由一个大的利润。
2021-11-20 math.OC
Proximal Alternating Penalty Algorithms for Constrained Convex Optimization
本文提出了两种新的近似交替罚算法来求解一类广泛的约束凸优化问题。我们的方法主要依赖于一个新的组合的经典的二次惩罚，交替最小化，Nesterov的加速，和参数的自适应策略。第一个算法的目的是解决一般的和可能的非光滑约束凸问题，而不需要任何Lipschitz梯度连续性或强凸性，同时实现最著名的$O(\frac{1}{k})$ -收敛速度在非遍历意义上，其中$k$是迭代计数器。第二个算法也被设计来解决非强凸，但半强凸问题。该算法在原始约束问题上能达到最佳的$O(\frac{1}{k^2})$ -收敛速度。这样的速率在两种情况下获得：（i）仅在强凸项的π序列上求平均，或（ii）使用该项的两个邻近算子而不求平均。在这两种算法中，我们允许一个线性化的第二子问题，使用相应的目标项的邻近算子。然后，我们定制我们的方法来解决不同的凸问题，并导致新的变种。作为一个副产品，这些算法保持相同的收敛保证，在我们的主要算法。我们通过不同的数值例子验证我们的理论发展，并比较我们的方法与一些现有的国家的最先进的算法。
2018-09-19 math.OC
Incremental proximal gradient scheme with penalization for constrained composite convex optimization problems
本文研究了凸可微函数的极小元集约束下的凸函数有限和的极小化问题。为了解决这一问题，提出了一种将增量最近梯度法与平滑惩罚技术相结合的算法。我们证明了生成的迭代序列收敛到最优化问题的最优解，只要满足通过约束函数的Fenchel共轭表示的条件。最后，通过数值实验说明了该方法的功能，解决图像修复问题和广义Heron问题与最小二乘约束。
2020-04-20 math.OC
A primal-dual flow for affine constrained convex optimization
针对仿射约束凸优化问题，提出了一种新的原始-对偶流。作为标准鞍点系统的一个改进，我们的原始-对偶流被证明具有指数衰减特性，在一个定制的李雅普诺夫函数。然后通过离散化得到两种原-对偶方法，并通过离散化的李雅普诺夫函数建立了全局非遍历线性收敛速率.而不是解决原始变量的子问题，我们应用半光滑牛顿迭代的子问题的乘数，提供了一些额外的属性，如半光滑性和稀疏性。特别地，对线性约束的$l_1$ - $l_2$最小化和基于全变分的图像去噪模型进行了数值试验。
2022-03-20 math.OC
On Representing Convex Quadratically Constrained Quadratic Programs via Graph Neural Networks
本文提出了一种新的三部图表示法，利用图神经网络表示和解决凸二次约束二次规划问题，展示了GNNs在表示凸QCQPs关键属性方面的潜力。
2025-11-22 math.OC
On the convexification of a bilinearly constrained set with a common variable
Clemson University（克莱姆森大学）
本文研究含公共变量的双线性约束集的凸化，刻画其凸包极点、推导支撑面定义不等式的多面体描述，开发多项式时间分离算法并验证其有效性，为凸包几何提供洞察并提供不等式识别工具。
2026-10-14 math.OC
"Second-Order Primal'' + "First-Order Dual'' Dynamical Systems with Time Scaling for Linear Equality Constrained Convex Optimization Problems
二阶动力系统是求解最优化问题的重要工具，现有的研究主要集中在无约束最优化问题上。针对线性等式约束凸优化问题，提出了一个具有常粘性阻尼和时间尺度的惯性原-对偶动力系统，它由原变量的二阶常微分方程和对偶变量的一阶常微分方程组成.当尺度变换满足一定条件时，在不假设强凸性的情况下，证明了它的收敛性。当缩放指数增长时，甚至收敛速度也可以变成指数。我们还证明了所得到的动力系统的收敛性在小扰动下是保持的。
2022-05-20 math.OC
On the Arrow-Hurwicz differential system for linearly constrained convex minimization
在实希尔伯特空间中，从求解线性约束凸极小化问题的角度出发，重新考虑了经典的Arrow-Hurwicz微分系统.我们研究的微分系统的渐近性质，并提供了条件，其解决方案收敛到一个鞍点的拉格朗日与凸极小化问题。我们的收敛性分析主要依赖于一个“拉格朗日身份”，自然延伸的经典连续最速下降方法的著名的下降属性。此外，我们提出了渐近估计的衰减的解决方案和原始对偶间隙函数的拉格朗日量。这些估计进一步细化到经典阻尼谐振子的凸极小化问题的目标函数的二阶信息提供。最后，我们表明，我们的结果直接转化为解决结构凸极小化问题的情况下。数值实验进一步说明了我们的理论研究结果。
2022-12-31 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知，我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法，一般的随机和有限和最优化问题，具有相同或更高的收敛复杂性相比，目前最好的结果为无约束的问题设置。在一个数值实验中，我们比较我们的算法与当前国家的最先进的确定性算法，并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC
One Mirror Descent Algorithm for Convex Constrained Optimization Problems with non-standard growth properties
本文给出了求解函数约束凸极小化问题的一种特殊镜像下降算法。目标函数可能不满足利普希茨条件，但它必须具有利普希茨连续梯度。我们假设，功能约束可以是非光滑的，但满足利普希茨条件。特别是，这样的泛函出现在著名的桁架拓扑设计问题。此外，我们已经应用了技术的重新启动，在上述版本的镜像下降强凸问题。一些估计的收敛速率被认为是镜像下降算法。
2018-04-15 math.OC
Distributed Continuous-Time Algorithm for Constrained Convex Optimizations via Nonsmooth Analysis Approach
本文研究了具有局部约束的非光滑凸费用函数和的分布式最优化问题。首先，我们提出了一种新的分布式连续时间投影算法，其中每个代理知道其本地费用函数和本地约束集，约束最优化问题。然后证明了算法中的所有智能体在寻找最优解时都能找到相同的最优解，同时保持状态有界。利用非光滑李雅普诺夫函数对微分包含的稳定性进行了全收敛分析。最后，我们提供了一个数值例子来说明。
2016-11-28 math.OC
Outer Approximation Scheme for Weakly Convex Constrained Optimization Problems
本文提出一种基于二次割平面的新型外逼近方法求解弱凸约束优化问题，通过每次迭代求解QCQP问题，证明收敛子序列收敛至全局极小值，并应用于圆形装箱和Neyman-Pearson分类问题。
2024-09-23 math.OC
Convex Trajectory Optimization via Monomial Coordinates Transcription for Cislunar Rendezvous
Polytechnic University of Milan（米兰理工大学）
本文提出了一种基于多项式坐标转录的非线性凸优化方法，用于实现月球轨道会合操作的燃料最优脉冲轨迹。
2026-01-09 math.OC
Almost surely constrained convex optimization
我们提出了一个随机梯度框架来解决随机复合凸优化问题，（可能）无限数量的线性包含约束，需要满足几乎必然。我们使用平滑和同伦技术来处理约束，而不需要矩阵值的投影。我们表明我们的随机梯度算法$\mathcal{O}(\log(k)/\sqrt{k})$收敛速度一般凸目标和$\mathcal{O}(\log(k)/k)$收敛速度的限制强凸目标。这些速率被认为是最佳的对数因子，即使没有约束。我们证明了我们的算法的性能与数值实验的基础上追求，硬保证金支持向量机和投资组合优化，并表明我们的算法达到了最先进的实用性能。
2019-01-31 math.OC
Convexification of box-constrained polynomial optimization problems via monomial patterns
凸化是全局多项式优化的核心技术。目前，在理论和实践中相互竞争的方法主要有两种：非线性规划方法和基于实代数正性证明的方法。从计算的角度来看，前者是比较便宜的，但通常不提供严格的放松相对于原来的问题的界限。后者通常在计算上是昂贵的，但确实提供了严格的松弛。我们将这两种方法嵌入到一个统一的单项松弛框架中。我们开发了一个凸化策略，允许权衡计算费用的边界的质量。计算实验显示了非常令人鼓舞的结果。
2021-09-28 math.OC
