Graver basis and proximity techniques for block-structured separable convex integer minimization problems
考虑N重4块可分解整数规划，它同时推广了N重整数规划和N种情形的两阶段随机整数规划。在以前的工作[R。Hemmecke，M.克普河Weismartel，N重4块可分解整数规划优化的多项式时间算法，Proc. IPCO 2010，计算机科学讲义，第6080卷，Springer，2010，pp. 219- 229]，证明了对于固定的块但变量N，这些整数规划对于任何线性目标都是多项式时间可解的。我们将这一结果推广到可分凸目标函数的极小化问题。我们的算法结合了Graver基技术与邻近结果[D.S. Hochbaum和J.G. Shanthikumar，凸可分离优化不比线性最优化难多少，J. ACM 37（1990），843- 862]，它允许我们使用凸连续优化作为子程序。
2012-07-05 math.OC
Solving Convex Quadratic Optimization with Indicators Over Structured Graphs
University of Michigan（密歇根大学）；University of Southern California（南加州大学）；Northwestern University（西北大学）
本文提出了一种在结构图上求解带有指示符的凸二次优化问题的算法，通过动态规划和结构条件优化，实现线性复杂度，并在预测和异常检测中展示了优越性能。
2026-03-02 math.OC
A full splitting algorithm for structured difference-of-convex programs
本文针对结构化凸差规划提出一种自适应双近端全分裂算法，通过解耦线性算子与非光滑分量，在KL性质下证明全局收敛，并结合非单调线搜索提升实际收敛性能。
2025-05-05 math.OC
Accelerated gradient sliding for structured convex optimization
本文的主要目的是证明梯度下降型方法可以跳过梯度计算，应用于某些结构化凸规划（CP）问题。为此，我们首先提出了一个加速梯度滑动（AGS）方法，用于极小化两个光滑凸函数的总和具有不同的Lipschitz常数。我们表明，AGS方法可以跳过梯度计算这些光滑的组件之一，而不会减慢整体的最佳收敛速率。这个结果比经典的黑盒CP复杂度结果更尖锐，特别是当与这些组件相关联的两个Lipschitz常数之间的差异很大时。然后考虑一类重要的双线性鞍点问题，其目标函数由一个光滑分支和一个具有双线性鞍点结构的非光滑分支之和给出。使用上述用于平滑复合优化的AGS方法和Nesterov的平滑技术，我们表明只需对平滑分量进行${\cal O}(1/\sqrtε)$梯度计算，同时仍然保留最佳的${\cal O}(1/ε)$总体迭代复杂性来解决这些鞍点问题。我们证明了更显着的节省梯度计算可以得到强凸光滑和双线性鞍点问题。
2016-09-16 math.OC
A Note on Complexity for Two Classes of Structured Non-Smooth Non-Convex Compositional Optimization
本文针对两类具有特殊结构的非光滑非凸复合优化问题，分别提出光滑化复合梯度方法和prox-linear方法，并给出其达到稳定点或近似临界点的迭代复杂度上界。
2024-11-21 math.OC
Fast minimization of structured convex quartics
我们提出了更快的方法无约束优化\emph{structured convex quartics}，这是凸函数的形式\begin{equation*} f(x) = c^\top x + x^\top \mathbf{G} x + \mathbf{T}[x,x,x] + \frac{1}{24} \mathopen\| \mathbf{A} x \mathclose\|_4^4 \end{equation*}的$c \in \mathbb{R}^d$，$\mathbf{G} \in \mathbb{R}^{d \times d}$，$\mathbf{T} \in \mathbb{R}^{d \times d \times d}$，和$\mathbf{A} \in \mathbb{R}^{n \times d}$，使$\mathbf{A}^\top \mathbf{A} \succ 0$。特别是，我们展示了如何仅通过$O(n^{1/5}\log^{O(1)}(\mathcal{Z}/ε))$调用梯度预言和线性系统求解器来实现此类函数的$ε$ -最优最小化器，其中$\mathcal{Z}$是一个与问题相关的参数。我们的工作扩展了最近的想法，有效的张量方法和高阶加速技术，开发一个下降的方法来优化相关的四次函数。作为我们的方法的自然结果，我们实现了$O(n^{1/5}\log^{O(1)}(…
2018-12-26 math.OC
A golden ratio primal-dual algorithm for structured convex optimization
设计、分析和测试了一种求解结构凸优化问题的黄金比例原始对偶法（GRPDA），其中目标函数是两个闭正常凸函数之和，其中一个函数包含一个线性变换的复合函数. GRPDA保留了经典原始对偶法（PDA）的所有有利特征，即，原始变量和对偶变量以Gauss-Seidel方式更新，并且每次迭代成本由两个分量函数和两个矩阵-向量乘法的邻近点映射的评估来支配。与传统的PDA相比，GRPDA的新颖之处在于它是基于基本上整个迭代轨迹的凸组合构造的。我们发现，GRPDA收敛在一个更广泛的参数范围内比经典的PDA，只要倒数的凸组合参数是有界的黄金分割比，这解释了算法的名称。基于原始-对偶间隙函数，建立了O（1/N）遍历收敛速度的结果，其中N表示迭代次数。当原问题或对偶问题为强凸问题时，构造了一个加速GRPDA，将遍历收敛速度从O（1/N）提高到O（1/N2）.此外，我们证明了正则化最小二乘和线性等式约束问题的凸组合参数的倒数可以从黄金分割率扩展到2，同时可以采取松弛步骤。通过对LASSO、非负最小二乘和极大极小矩阵对策问题的数值计算，并与现有算法进行比较，验证了本文算法的有效性.
2020-08-29 math.OC
An Alternating Direction Method of Multipliers with the BFGS Update for Structured Convex Quadratic Optimization
乘子交替方向法是求解大范围凸问题的一种有效方法。在每次迭代中，经典的ADMM精确地解决了两个子问题。然而，在许多应用中，获得子问题的精确解是昂贵的或不可能的。为了克服这一困难，在子问题中加入了一些近似项。这类方法通常近似地解决原始子问题，因此需要更多的迭代。这一事实促使我们考虑，一个特殊的近端项可以导致一个更好的结果作为经典的ADMM。在本文中，我们提出了一个近端ADMM的正则化矩阵在近端项是由BFGS更新（或有限内存BFGS）在每次迭代。这些类型的矩阵使用目标函数的二阶信息。在一定的假设条件下证明了该方法的收敛性。数值结果表明，建议的近端ADMM的有效性。
2019-03-06 math.OC
Performance Estimation for Smooth and Strongly Convex Sets
Johns Hopkins University（约翰斯·霍普金斯大学）
针对光滑且强凸集合，通过证明插值定理将性能估计问题转化为结构化数学规划，并应用于分离超平面法和线性优化算法的最优性分析。
2026-06-02 math.OC
On Well-Structured Convex-Concave Saddle Point Problems and Variational Inequalities with Monotone Operators
LJK, Université Grenoble Alpes（洛朗施瓦茨数学与计算机科学实验室，格勒诺布尔阿尔卑斯大学）；ISyE, Georgia Institute of Technology（工业与系统工程学院，佐治亚理工学院）
本文提出K-conic表示法，将凸-凹鞍点问题和变分不等式转化为锥问题，从而扩展了CVX的应用范围。
2026-06-23 math.OC
Solving convex QPs with structured sparsity under indicator conditions
本文研究了由二元指示变量控制且受基数等条件约束的凸优化问题，将其表述为可分凸二次形式，并提出多项式时间近似算法与负面复杂性结果。
2024-11-18 cs.CC cs.DS math.OC
Variable Smoothing for Weakly Convex Composite Functions
本文研究了结构化目标函数的极小化问题，该目标函数是一个光滑函数与一个弱凸函数与一个线性算子的复合函数之和。应用包括图像重建问题的正则化，引入比标准的凸正则化更少的偏见。我们开发了一个可变的平滑算法，基于Moreau包络的平滑参数的递减序列，并证明了一个复杂的$\mathcal{O}(ε^{-3})$实现$ε$ -近似解。该界介于光滑情形的$\mathcal{O}(ε^{-2})$界和次梯度方法的$\mathcal{O}(ε^{-4})$界之间。我们的复杂性界与其他处理弱凸函数的结构非光滑性的工作是一致的。
2021-05-31 math.OC
Generalized Stochastic Frank-Wolfe Algorithm with Stochastic "Substitute" Gradient for Structured Convex Optimization
随机Frank-Wolfe方法最近在统计和机器学习的优化背景下引起了广泛的兴趣，因为它能够与更一般的可行域一起工作。然而，有一个复杂的差距，在保证收敛速度的随机弗兰克-沃尔夫相比，其确定性对应。在这项工作中，我们提出了一种新的广义随机Frank-Wolfe方法，它弥补了统计和机器学习中遇到的结构化最优化问题的这一差距，其特征在于具有某种类型的"线性预测“性质（在本文中正式定义）的经验损失最小化，这是典型的损失最小化问题。我们的方法还引入了“替代梯度”的概念，这是梯度的不一定无偏样本。我们表明，我们的新方法是等价于一个特定的随机坐标镜像下降算法适用于对偶问题，这反过来又提供了一个新的解释随机对偶坐标下降在原始空间。此外，在强凸正则化的特殊情况下，我们的广义随机Frank-Wolfe方法（以及随机对偶坐标下降法）表现出线性收敛。此外，我们提出的计算实验表明，我们的方法优于其他随机Frank-Wolfe方法与本文开发的理论相一致。
2019-11-05 math.OC
Structured Sparsity Promoting Functions
受高维线性回归中基于极小极大凹罚的变量选择方法的启发，提出了一种由凸稀疏促进函数及其Moreau包络构造结构化凸凸稀疏促进函数的简单方法.这些函数的属性是通过利用它们的结构来开发的。特别是，我们提供稀疏性保证的一般家庭的功能。进一步研究了几种特殊函数的邻近算子的性质，包括闭凸集的指示函数、分段二次函数以及它们的线性组合。为了证明这些属性，提出了几个具体的例子和现有的实例作为特殊情况。
2018-09-18 math.OC
Auxiliary Problem Principle of augmented Lagrangian with Varying Core Functions for Large-Scale Structured Convex Problems
由Cohen和Zhu（1984）提出的增广拉格朗日辅助问题原理（APP-AL），旨在通过一系列涉及增广拉格朗日的辅助问题来求解约束最优化问题。这种方法有两个优点。首先，核心函数通常是可分离的，这使得每一步的子问题都是可分解的，对于并行计算特别有吸引力。其次，核心功能的选择相当灵活。因此，通过仔细指定该函数，APP-AL可以简化为一些标准优化算法。在本文中，我们追求提高这种灵活性，允许在算法的每一步的核心功能是不相同的，并命名为可变辅助问题的原则（VAPP-AL）。根据问题结构的不同，VAPP-AL中不同的核心功能可以被用来设计新的灵活的、适用于并行和分布式计算的算法。证明了VAPP-AL算法对具有耦合目标和约束的凸问题的收敛性和O（1/t）收敛速度。此外，如果该函数被专门化为二次函数，则可以建立o（1/t）的收敛速度。有趣的是，新的VAPP框架可以涵盖几种雅可比类型的增广拉格朗日分解方法作为特殊情况。此外，我们的技术适用于具有不可分目标和多块耦合线性约束的凸问题，这通常是不能处理的ADMM。
2017-01-16 math.OC
Inertial primal-dual algorithms for structured convex optimization
Chambolle & Pock（简称CPA）最近提出的结构凸优化的原始对偶法是一种非常有效和流行的算法。Chambolle和Pock在\cite{CP11}中以及Shefi和Teboulle在\cite{ST14}中指出，CPA及其变体与流行的乘子交替方向法（简称ADM）的预处理版本密切相关。在本文中，我们进一步澄清这种连接，并表明，CPAs产生完全相同的点序列与所谓的线性化ADM（简称LADM）适用于原始问题或其拉格朗日对偶，根据不同的更新顺序的原始和对偶变量在CPAs，只要LADM的初始点被适当地选择。LADM对初始点的依赖性可以通过关注算法的循环等价形式来放松。此外，利用这一事实，CPA是一个一般的加权邻近点方法的混合变分不等式制定的KKT系统，其中的权重矩阵是正定的参数条件下的应用程序，我们能够提出和分析的CPA的惯性变量。在一定的条件下，所提出的惯性CPA能保证全局点收敛、非渐近$O(1/k)$和渐近$o(1/k)$收敛速度，其中$k$表示迭代指标.最后，我们通过基于总变分最小化的压缩图像重建实验结果，证明了引入惯性外推步骤所带来的好处。
2014-09-10 math.OC
An Approach for Non-Convex Uniformly Concave Structured Saddle Point Problem
近年来，鞍点问题由于其强大的建模能力而受到广泛关注。这些问题的应用出现在许多应用领域，如鲁棒优化，分布式优化，对策论，以及机器学习中的许多应用，如经验风险最小化和生成对抗网络训练。因此，许多研究人员积极致力于发展数值方法来解决许多不同环境下的鞍点问题。本文致力于发展一种求解非凸一致凹背景下鞍点问题的数值方法。研究了一类具有复合结构和高阶Hölder连续导数的鞍点问题.为了解决所考虑的问题，我们提出了一种方法，在该方法中，我们减少了两个辅助最优化问题分别为每组变量，外部最小化问题w.r.t.原始变量和关于对偶变量的内极大化问题。对于解决外部最小化问题，我们使用的\textit{Adaptive Gradient Method}，这是适用于非凸问题，也与一个不精确的预言，是通过近似解决内部问题。为了解决内部最大化问题，我们使用\textit{Restarted Unified Acceleration Framework}，这是一个框架，统一的高阶加速方法，最小化一个凸函数，具有Hölder连续高阶导数。单独的复杂性界限提供了外部最小化问题和内部最大化问题的高阶预言机的一阶预言机的调用次数。此外，整个所提出的方法的复杂性，然后估计。
2022-02-13 math.OC
A structured L-BFGS method and its application to inverse problems
针对反问题优化中保真项海森矩阵难计算、正则项海森矩阵易做矩阵-向量乘的结构特性，提出一种结构化L-BFGS方法，证明其非凸场景下的全局及线性收敛性，实验验证其在多类问题上的性能优势。
2024-03-08 math.OC
Forward-backward algorithms with different inertial terms for structured non-convex minimization problems
我们研究两个惯性向前向后的算法与最小化的总和的非光滑和可能的非凸和非凸可微函数。该算法是制定在著名的FISTA方法的精神，但设置是非凸的，我们允许不同的惯性项。此外，我们的算法中的惯性参数也可以取负值。我们还治疗的情况下，当非光滑函数是凸的，我们表明，在这种情况下，可以允许一个更好的步长。我们证明了一些抽象的收敛结果，适用于我们的数值方案，使我们能够表明，所产生的序列收敛到一个临界点的目标函数，提供了正则化的目标函数满足Kurdyka-Lojasiewicz属性。此外，我们得到了一个一般的结果，适用于我们的数值方案，确保所产生的序列和目标函数值的正则化的目标函数的KL指数制定的收敛速度。最后，我们将我们的结果应用于图像恢复。
2021-01-19 math.FA math.OC
An Optimal Structured Zeroth-order Algorithm for Non-smooth Optimization
针对非光滑黑箱优化场景下结构化零阶方法研究的空白，提出首个结构化有限差分算法O-ZD，利用平滑近似与随机正交方向实现不同场景下的收敛性保证与最优复杂度，且实际性能优异。
2023-11-06 math.OC
Frank-Wolfe Methods with an Unbounded Feasible Region and Applications to Structured Learning
Frank-Wolfe（FW）方法是解决结构化统计学习中出现的大规模凸优化问题的一种常用算法。然而，传统的Frank-Wolfe方法仅适用于可行域有界的情况，这限制了其在实际中的适用性。基于统计学习中的两个应用，$\ell_1$趋势滤波问题和广义核范数约束下的矩阵最优化问题，研究了一类凸优化问题，其中无界可行域是无界线性子空间和有界约束集的直和.针对这类具有无界可行域的凸优化问题，提出了两种新的Frank-Wolfe方法：无界Frank-Wolfe方法（uFW）和无界Away-Step Frank-Wolfe方法（uAFW）.我们证明了在适当的正则性条件下，无界Frank-Wolfe方法具有$O(1/k)$次线性收敛速度，无界Away-Step Frank-Wolfe方法具有线性收敛速率，当可行域有界时，与著名的Frank-Wolfe方法结果相匹配.此外，计算实验表明，我们提出的方法似乎优于其他解决方案。
2021-10-07 math.OC
Structured Sparsity: Discrete and Convex approaches
压缩感知（CS）利用稀疏性从降维、非自适应感知机制中恢复稀疏或可压缩信号。稀疏性还用于增强机器学习和统计应用中的可解释性：虽然现代数据分析问题中的环境维度很大，但其中的相关信息通常驻留在低得多的维度空间中。然而，现在提出的许多解决方案并没有利用真正的底层结构。最近的结果CS扩展简单的稀疏性的想法，更复杂的{ \em结构}稀疏模型，它描述了信号的非零分量之间的相互依赖性，允许增加结果的可解释性，并导致更好的恢复性能。为了更好地理解结构稀疏性的影响，在本章中，我们分析了离散模型及其凸松弛之间的联系，突出了它们的相对优势。我们从一般的群体稀疏模型开始，然后详细说明两个重要的特殊情况：分散和层次模型。对于每一个，我们提出的模型在其离散的性质，讨论如何解决随后的离散问题，然后描述凸松弛。我们还考虑更一般的结构定义的集函数，并提出他们的凸代理。此外，我们还讨论了结构稀疏性问题的有效优化解决方案，并通过三个应用程序说明了结构稀疏性的作用。
2015-07-20 cs.IT math.IT math.OC
A primal-dual dynamical approach to structured convex minimization problems
在本文中，我们提出了一个原始-对偶动力学的方法来最小化的结构凸函数组成的光滑项，非光滑项，和另一个非光滑项的组合与线性连续算子。在这个范围内，我们引入了一个动力系统，我们证明了它的轨迹渐近收敛到一个鞍点的拉格朗日的基本凸极小化问题的时间趋于无穷大。此外，我们提供率的违反可行性条件的遍历轨迹和收敛的目标函数沿这些遍历轨迹的极小值。显式时间离散的动力系统的结果在一个数值算法，这是一个组合的线性化的邻近方法的乘数和邻近ADMM算法。
2020-07-31 cs.NA math.DS math.NA
Inexact accelerated proximal gradient method with line search and reduced complexity for affine-constrained and bilinear saddle-point structured convex problems
本文的目标是降低两类问题的基于梯度的方法的总复杂度：仿射约束复合凸优化和双线性鞍点结构非光滑凸优化。我们的技术是基于一个双循环不精确加速邻近梯度（APG）方法，用于最小化一个非光滑但可逼近的凸函数和两个光滑凸函数具有不同的光滑常数和计算成本的总和。与标准APG方法相比，不精确APG方法可以减少总的计算成本，如果一个光滑分量具有较高的计算成本，但比其他较小的光滑常数。利用这一性质，非精确APG方法可以近似求解仿射约束复合凸优化的近似增广拉格朗日方法的子问题，以及双线性鞍点结构非光滑凸优化的光滑逼近问题，其中光滑常数较小的光滑函数具有较高的计算代价.因此，它可以降低总的复杂性，找到一个近似的最佳/稳定的解决方案。该技术类似于文献中的梯度滑动技术。不同之处在于，我们的不精确APG方法可以通过使用基于平稳性破坏度量的可计算条件来有效地停止内部循环，而梯度滑动方法需要预先指定内部循环的迭代次数。数值实验表明，显着更高的效率，我们的方法比最佳的原始-对偶一阶方法和梯度滑动方法。
2022-01-04 cs.NA math.NA math.OC
Sequential Convex Programming Methods for A Class of Structured Nonlinear Programming
University of Minnesota（明尼苏达大学）
本文研究一类结构化非线性规划问题，提出序列凸规划方法，并证明生成序列的聚点为KKT点。
2022-06-17 cs.NA math.NA math.OC
An Inexact Accelerated Stochastic ADMM for Separable Convex Optimization
提出了一种求解带线性约束的结构可分凸优化问题的非精确加速随机交替方向法（AS-ADMM）格式。目标函数是一个可能非光滑的凸函数和一个光滑函数的和，光滑函数是许多分量凸函数的平均。具有这种结构的问题经常出现在机器学习和数据挖掘应用中。AS-ADMM结合了ADMM和使用方差缩减技术的随机梯度法的思想。其中一个ADMM子问题采用线性化技术，而类似的线性化可以引入其他子问题。对于一个指定的选择的算法参数，它示出的目标误差和约束违反是$\mathcal{O}(1/k)$相对于外部迭代$k$的数量。在强凸性假设下，期望误差线性收敛到零。还讨论了AS-ADMM的线性化变体和增量采样策略。随机和确定性ADMM算法的数值实验表明，AS-ADMM可以特别有效的大数据应用中出现的结构化优化。
2020-10-24 math.OC
A Stochastic Variance Reduction Algorithm with Bregman Distances for Structured Composite Problems
本文提出了一种新的带Bregman距离的随机原始对偶分裂方法，用于求解非欧几里得空间中包含下确值卷积的结构复合问题.在一般情况下，在较弱的步长条件下，证明了原对偶间隙的期望次线性收敛性。在Bregman函数的强凸性等附加条件下，得到了算法的线性收敛速率.
2021-03-16 math.OC
Proximal methods for structured nonsmooth optimization over Riemannian submanifolds
本文针对黎曼子流形上含DC函数和弱凸项的结构化非光滑优化问题，提出流形邻近梯度-次梯度算法MPGSA及其增强版本，证明其收敛性并验证了数值效率。
2025-11-06 math.OC
Convex Structured Controller Design
University of Washington（华盛顿大学）
本文提出新的控制目标，使在任意凸约束下计算最优线性反馈矩阵的问题变为凸优化问题，应用于去中心化控制、时滞控制和变阻尼控制。
2013-10-25 cs.SY eess.SY math.OC
A convex combination based primal-dual algorithm with linesearch for general convex-concave saddle point problems
本文提出一种基于凸组合与自适应线搜索的原对偶算法，用于求解一般光滑非双线性耦合的凸凹鞍点问题，并给出次线性收敛率及强凸情形下O(1/N^2)的加速版本，数值实验验证了其显著优势。
2024-01-16 math.OC
Convex relaxations for large-scale graphically structured nonconvex problems with spherical constraints: An optimal transport approach
本文利用最优传输、Kantorovich–Rubinstein 对偶与球谐函数，为带球面约束的大规模图形结构非光滑问题提出可扩展矩松弛，并在成像和图基 SLAM 中验证其有效性。
2023-09-26 math.OC
Dynamical systems and forward-backward algorithms associated with the sum of a convex subdifferential and a monotone cocoercive operator
在Hilbert框架下，我们引入了连续和离散动力系统来求解由结构单调算子$A=\partialΦ+B$控制的包含问题，其中$\partialΦ$是凸下连续函数$Φ$的次微分，$B$是单调余算子.我们首先考虑扩展到这个设置的正则化牛顿动态与两个潜在的。然后，我们回顾了一些相关的动力系统，即由$A$生成的压缩半群和连续梯度投影动力系统。通过李雅普诺夫分析，我们证明了这些系统的轨道的收敛性。这些动态的时间离散化给出了各种向前向后分裂方法（一些新的）解决结构单调包含非潜在的条款。在经典的步长限制下，证明了算法的收敛性.展望数值分裂方法的优化领域，和多标准决策过程。
2014-03-25 math.OC
Symmetric separable convex resource allocation problems with structured disjoint interval bound constraints
受电动汽车充电调度启发，提出具有不相交区间界约束的对称可分凸资源分配问题，并设计了在区间数固定时多项式时间内求解的精确算法，且可扩展至整数变量。
2023-07-28 math.OC
Convex relaxations of structured matrix factorizations
Ecole Normale Supérieure（巴黎高等师范学院）
我们考虑将矩形矩阵$X $分解为$u v^\top$形式的秩1因子的正线性组合，其中$u$和$v$属于某些集合$\mathcal{U}$和$\mathcal{V}$，其可以编码关于因子的特定结构，例如正性或稀疏性。在本文中，我们表明，计算的最佳分解是相当于计算一定的规范函数的$X$，我们提供了详细的分析，这些规范函数和他们的极性。由于这些规范函数通常很难计算，我们提出了半定松弛和几种算法，可以恢复近似分解与近似保证。我们说明了我们的结果与模拟发现分解元素在$\{0,1\}$。作为侧的贡献，我们提出了一个详细的分析变分二次表示的规范，以及一个新的迭代基追踪算法，可以处理不精确的一阶神谕。
2013-09-12 cs.LG math.OC
Minimizing Oracle-Structured Composite Functions
我们考虑的问题，最小化的复合凸函数与两种不同的访问方法：预言，我们可以评估的值和梯度，和一个结构化的功能，我们只通过解决一个凸优化问题。我们受到两个相关技术发展的推动。对于Oracle，PyTorch或TensorFlow等系统可以自动有效地计算梯度，给出计算图描述。对于结构化函数，像CVXPY这样的系统接受问题的高级领域特定语言描述，并自动将其转换为标准式以获得有效解。我们开发了一种方法，使最小的假设这两个功能，不需要调整算法参数，并在实践中很好地工作在各种问题。我们的算法结合了一些著名的想法，包括一个低秩拟牛顿近似曲率，分段仿射下界的斗争型方法，和两种类型的阻尼，以确保稳定性。我们举例说明的方法上的随机最优化，效用最大化，和风险规避规划问题，表明我们的方法是更有效的比标准的求解器，当oracle函数包含大量的数据。
2021-11-29 math.OC
Primal-dual algorithms for multi-agent structured optimization over message-passing architectures with bounded communication delays
我们考虑的算法，解决结构凸优化问题的网络与通信延迟的代理。它是假设每个代理执行其本地更新，通过使用可能过时的信息，从它的邻居的假设下，相对于每个邻居的延迟是有界的，但在其他方面是任意的。每个代理的私人目标由两个可能的非光滑函数之和表示，其中一个由线性映射组成。全局最优化问题是局部费用函数和公共Lipschitz可微项的集合。当智能体之间的耦合仅通过公共函数表示时，可以方便地使用Vessels和Condat提出的原始对偶法，而对于更一般的结构，则提出了一种新的算法。此外，提出了一种随机化变体，允许代理随机且彼此独立地唤醒。在不同的强凸性假设下，证明了所提出的算法的收敛性。
2020-09-11 math.OC
Implementation of an Oracle-Structured Bundle Method for Distributed Optimization
针对智能体函数仅能通过次梯度预言机访问、公共函数可用凸优化DSL表述的分布式凸优化问题，本文整合束类算法技术提出了一种可靠、少调参、收敛快的方法，并开源了实现代码。
2023-07-20 math.OC
A Numerical Approach to the Estimation of the Solutions of some Variational Problems with Convexity Costraints
本文给出了一种算法来逼近变分问题的解，其中容许函数的集合由凸函数组成。这种数值方法背后的主要动机是在委托代理框架内估计逆向选择问题的解决方案。产品线设计、最优税收、结构化衍生品设计等问题都可以通过这些模型进行研究。我们开发了一种方法来估计他们的最优定价时间表。
2008-03-06 math.OC
A relaxed version of Ryu's three-operator splitting method for structured nonconvex optimization
本文提出Ryu三算子分裂方法的松弛版本，用于结构化非凸优化，通过修改算法建立包络函数的充分下降性质，证明在步长足够小时全局子序列收敛到临界点。
2025-09-07 math.OC
Retraction-based first-order feasible methods for difference-of-convex programs with smooth inequality and simple geometric constraints
本文研究了具有光滑不等式和简单几何约束的凸差分规划的一阶可行算法。我们的策略，以保持可行性的迭代是基于一个“收缩”的想法，改编自文献的流形优化。当约束条件为凸时，在严格可行条件下，证明了算法生成的序列的全局渐近收敛性，并根据扩展目标的Kurdyka-Lojasiewicz（KL）指数（即，目标和约束集的指示函数之和）。我们还表明，扩展目标的一大类欧几里德范数（更一般地说，组LASSO罚款）正则化凸最优化问题是一个KL函数的指数$\frac12$，因此，我们的算法是局部线性收敛时，应用到这些问题。然后，我们扩展我们的方法来解决一个特殊结构的非凸约束的DC程序。最后，我们讨论了我们的算法如何应用于解决两个具体的最优化问题，即高斯测量噪声下的组结构压缩感知问题和柯西测量噪声下的压缩感知问题，并说明了我们的算法的经验性能。
2022-12-02 math.OC
A derivative-free method for structured optimization problems
结构化最优化问题在数据科学和工程等领域无处不在。结构化优化的目标是使用一组指定的点（称为原子）来建立一个最小化或最大化给定函数的解决方案。在本文中，我们要最小化一个黑盒函数的凸包的一组给定的原子，一个问题，可以用来模拟一些现实世界中的应用。我们专注于解决方案稀疏的问题，即，的解决方案，可以获得作为一个适当的凸组合的几个原子在集合中，并提出了一个合适的导数免费内部近似的方法，很好地利用了给定的问题的结构。这使我们能够正确处理通常与无导数算法相关的维数问题，从而得到一种在问题的维数和原子数方面都具有良好伸缩性的方法。我们分析了整体收敛到稳定点。此外，我们表明，在适当的假设下，所提出的算法确定了一个特定的原子子集，在最终的解决方案中的权重为零，经过多次迭代。最后，我们报告的数值结果表明所提出的方法的有效性。
2021-01-13 math.OC
Disciplined Multi-Convex Programming
多凸优化问题是指当其他变量固定时，变量可以划分为若干个集合，在这些集合上问题是凸的。多凸问题通常使用交替或循环最小化的变化近似地解决。多凸问题出现在许多应用中，例如非负矩阵分解、广义低秩模型和结构控制综合等。在大多数应用中，迄今为止的多凸性是简单的手工验证。本文利用规则凸规划的思想研究了多凸性的自动检测与验证。我们描述了我们所提出的方法，检测和验证多凸性的实现，然后调用一般的解决方案的方法之一。
2016-10-08 math.OC
A Unified Approach to Error Bounds for Structured Convex Optimization Problems
The Chinese University of Hong Kong（香港中文大学）
本文提出一种统一框架，用于建立结构凸优化问题的误差界，涵盖一般约束最小化问题和机器学习中的正则化损失最小化问题，并通过核范数正则化损失问题展示了新误差界的应用。
2015-12-11 cs.LG cs.NA math.NA
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院LTCI研究所）；ENS Paris, CREST-ENSAE, CNRS（巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心）；Mila and DIRO, Université de Montréal（蒙特利尔大学Mila研究所与计算机科学与运筹学系）
随机梯度下降（SGD）通常用于优化非凸函数。然而，标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中，我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题，满足一些额外的结构假设。特别是，我们专注于两个大类的结构化非凸函数：（i）类（强）凸函数（凸函数的推广）和（ii）函数满足Polyak-Lojasiewicz条件（强凸函数的推广）。我们的分析依赖于预期残差条件，我们表明这是一个严格弱于以前使用的增长条件，预期平滑或有界方差假设的假设。我们提供了不同的步长选择，包括常数，减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外，我们所有的分析都适用于任意采样范例，因此，我们深入了解了minibatch的复杂性，并确定了最佳的minibatch大小。最后，我们表明，对于插值训练数据的模型，我们可以免除我们的期望残差条件，并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
Recovering Simultaneously Structured Data via Non-Convex Iteratively Reweighted Least Squares
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Ludwig-Maximilians-Universität München（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
提出非凸IRLS算法恢复同时行稀疏且低秩的矩阵，实现最小样本复杂度下的局部二次收敛，并以更少测量优于现有方法。
2024-01-18 cs.IT cs.LG math.IT
An Inexact Trust-Region Method for Structured Nonsmooth Optimization with Application to Risk-Averse Stochastic Programming
Sandia National Laboratories（桑迪亚国家实验室）
本文提出一种近似信任区域方法，用于解决包含光滑函数、非光滑凸函数及光滑函数与有限值支撑函数的组合的优化问题，并在风险厌恶随机规划中应用。方法允许使用不精确的函数值和导数信息，可解决由偏微分方程等约束的无限维问题，证明了方法的全局收敛性。
2026-10-22 math.OC
A convex relaxation to compute the nearest structured rank deficient matrix
Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的半正定规划松弛方法，用于在Frobenius范数下计算给定仿射空间中最接近秩亏矩阵的问题，并证明该方法在低噪声条件下总能获得非凸问题的全局最优解。
2020-10-09 cs.NA math.NA math.OC
Inertial Proximal Difference-of-Convex Algorithm with Convergent Bregman Plug-and-Play for Nonconvex Imaging
针对现有凸差算法难以处理非凸项、收敛慢的问题，提出带收敛Bregman即插即用的惯性近端凸差算法iBPDCA及其变体，理论保证收敛，在成像任务上性能优于现有最优方法。
2024-09-18 math.OC
Identification of Structured LTI MIMO State-Space Models
Delft University（代尔夫特理工大学）；Weizmann Institute of Science（魏茨曼科学研究所）
本文提出一种基于差分凸规划的算法，通过将双变量优化转换为低秩约束优化问题，以高效求解结构状态空间模型的全局最优解。
2015-09-29 cs.SY eess.SY math.OC
Partially Distributed Outer Approximation
针对一类结构化混合整数凸规划（MICP）问题，提出了一种新的局部分布外逼近算法PaDOA.该方案采用迭代外逼近法求解具有可分离凸目标函数、仿射耦合约束和紧域的耦合混合整数最优化问题。PaDOA通过交替求解大规模结构化混合整数线性规划问题和部分解耦的混合整数非线性规划子问题（包括少得多的整数变量）来进行。我们建立的条件下，PaDOA收敛到全局极小值有限次迭代后，并验证这些属性与应用恒温控制负载。
2019-11-19 math.OC
A Single-loop Proximal Subgradient Algorithm for A Class Structured Fractional Programs
针对一类含线性算子的非凸非光滑结构化分式规划，提出单循环邻近次梯度算法及非单调线搜索变体，证明其全局收敛并在三类应用中验证优越性。
2025-03-15 math.OC
Regularized extragradient method for structured bilevel optimization in continuous and discrete time
University of Vienna（维也纳大学）
本文针对实希尔伯特空间中的结构化双层优化问题，提出正则化外梯度算法，在合适几何条件下证明了内外残差的最后迭代收敛速率及迭代序列的弱收敛性。
2026-09-28 math.OC
A Globally Linearly Convergent Method for Pointwise Quadratically Supportable Convex-Concave Saddle Point Problems
研究了Drori、Sabach和Teboulle最近提出的求解由光滑凸函数、有限个非光滑凸函数和双线性项组成的非光滑结构凸凹鞍点问题的\emph{Proximal Alternating Predictor-Corrector}（PAPC）算法.我们引入逐点二次可支持性的概念，这是一个放松的标准强凸性假设，并允许我们表明，原始序列是R-线性收敛到一个最优解和原始对偶序列是全局Q-线性收敛。我们说明所提出的方法全变差去噪问题和局部自适应估计信号/图像反卷积和去噪与多分辨率统计约束。
2017-02-28 math.OC
Disciplined Convex-Concave Programming
本文将约束凸规划（DCP）和凸-凹规划（CCP）的思想结合起来，提出了约束凸-凹规划（DCCP）.凸-凹规划是一种有组织的启发式算法，用于解决涉及凸项和凹项之和的目标和约束函数的非凸问题。DCP是定义凸优化问题的一种结构化方法，基于一族基本凸和凹函数以及一些组合它们的规则。使用DCP表示的问题可以自动转换为标准式并由通用求解器求解;广泛使用的实现包括YALMIP、CVX、CVXPY和Convex. jl。在本文中，我们提出了一个框架，结合了这两个想法，并包括两个改进以前发表的工作凸-凹规划，特别是处理域的功能，和不可微的边界上的域的问题。我们描述了一个名为DCCP的Python实现，它扩展了CVXPY，并给出了示例。
2016-04-10 math.OC
