A primal-dual fixed-point algorithm for minimization of the sum of three convex separable functions
图像处理和信号恢复中的许多问题都可以归结为三个凸可分函数之和的最小化问题。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原始-对偶不动点（PDFP）计划来解决上述问题。当非光滑函数可以通过其邻近算子（如$\ell_1$型正则化）求解时，该算法是一种完全分裂的对称格式，只涉及显式梯度算子和线性算子，不需要内迭代.我们研究了该算法的收敛性，并通过融合LASSO和图像恢复与非负约束和稀疏正则化的例子来说明它的效率。
2015-12-31 math.OC
Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems
本文研究了两种原-对偶镜像动力学加速算法，分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下，提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法（APDMD），并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后，我们将APDMD扩展为两种分布式动力学方法，分别处理两类分布式光滑最优化问题，即，分布式约束一致性问题（DCCP）和分布式扩展单调优化（DEMO）与加速收敛保证。此外，在非光滑情形下，我们提出了一种光滑加速原对偶镜像动力学方法（SAPDMD），该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数，证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后，我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP，以获得加速和有效解。最后，数值实验证明了所提出的加速镜动力学方法的有效性。
2022-09-14 math.OC
Primal-dual proximal bundle and conditional gradient methods for convex problems
本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题，建立迭代复杂度，发现与条件梯度的对偶性，并验证其优于次梯度方法。
2025-09-25 math.OC
Harnessing structure in composite nonsmooth minimization
针对非光滑函数与光滑映射的复合极小化问题，提出结合邻近步与序列二次规划步的算法，可局部识别最优光滑子结构并实现二次收敛，在两类问题上验证了性能。
2023-03-20 math.OC
Smooth Primal-Dual Coordinate Descent Algorithms for Nonsmooth Convex Optimization
提出了一种新的适用于凸优化模板的随机坐标下降法。我们的分析依赖于一个新的组合的四个想法适用于原始-对偶间隙函数：平滑，加速，同伦和坐标下降与非均匀采样。因此，我们的方法具有第一个收敛速度保证之间的坐标下降法，这是最有名的各种常见的结构假设下的模板。我们提供了数值证据来支持的理论结果与国家的最先进的算法进行比较。
2017-11-09 math.OC stat.ML
Inertial Proximal Alternating Linearized Minimization (iPALM) for Nonconvex and Nonsmooth Problems
本文研究了半代数数据的非凸非光滑最优化问题，其中变量向量被分成若干个变量块。该问题由整个变量向量的一个光滑函数和每个块的非光滑函数之和组成。我们分析了惯性版本的近端交替线性化最小化（PALM）算法，并证明其整体收敛的临界点的目标函数在手。我们说明了我们的理论研究结果，提出的数字实验盲图像反卷积，稀疏非负矩阵分解和字典学习，这表明所提出的方法的可行性和有效性。
2017-02-08 math.OC
A proximal minimization algorithm for structured nonconvex and nonsmooth problems
我们提出了一个最小化的目标函数由三个summands组成的近似算法：一个非光滑函数的组成与一个线性算子，另一个非光滑函数，每个非光滑的summands取决于一个独立的块变量，和一个光滑函数耦合的两个块变量。该算法是一种完全分裂方法，即非光滑函数通过其邻近算子处理，光滑函数通过梯度步长处理，线性算子通过矩阵乘向量处理。给出了生成序列有界性的充分条件，并证明了生成序列的任一聚点都是极小化问题的KKT点。在Kurdyka-Schojasiewicz性质下，证明了迭代的整体收敛，并得到了迭代的收敛速度.
2020-07-31 math.OC
Block-Activated Algorithms for Multicomponent Fully Nonsmooth Minimization
正在考虑的是多组分极小化问题，涉及一个可分离的非光滑凸函数惩罚的组件单独，和非光滑凸耦合项惩罚线性混合物的组件。我们研究块激活的邻近算法来解决这样的问题，即，算法，在每次迭代中，只需要使用底层函数的一个块，而不是标准方法中的所有块。对于光滑耦合函数，存在几种块激活算法，并且它们被很好地理解。相比之下，在完全非光滑的情况下，几块激活的方法是可用的，很少有人致力于评估它们。我们的目标是更多地了解这些算法的实现，功能和行为，比较它们的优点，并提供机器学习和图像恢复实验来说明它们的性能。
2021-08-26 math.OC
Minimization of nonsmooth nonconvex functions using inexact evaluations and its worst-case complexity
针对复合非光滑非凸优化问题，提出了一种基于非精确函数和导数计算的自适应正则化算法。它表明，该算法最多需要$O(|\log(ε)|\,ε^{-2})$评估的问题的功能和他们的衍生物找到一个$ε$ -近似的一阶稳定点。因此，该复杂性界限概括了[Bellavia，Gurioli，Morini和Toint，2018]为光滑非凸问题的不精确方法提供的复杂性界限，并且在具有精确评估的光滑和非光滑非凸最小化已知的最优界限的$|\log(ε)|$因子内。一个实际上更严格的最坏情况下的复杂性$O(|\log(ε)|+ε^{-2})$的算法的变体。
2019-02-27 math.OC
Variable Metric Composite Proximal Alternating Linearized Minimization for Nonconvex Nonsmooth Optimization
本文提出了一个最小化两个块变量的目标函数的近似算法，该目标函数由三项组成：1）光滑函数; 2）非光滑函数，它是一个严格递增的凹可微函数和一个凸非光滑函数的组合; 3）耦合两个块变量的光滑函数。我们提出了一个变尺度复合近似交替线性化极小化（CPALM）来解决这类问题。建立在强大的Kurdyka-Eschojasiewicz属性，我们得到的收敛性分析，并建立由CPALM生成的每个有界序列全局收敛到一个临界点。我们证明了CPALM方法的并行磁共振图像重建问题。数值结果表明了该方法的可行性和有效性。
2022-09-14 math.OC
An Adaptive Primal-Dual Framework for Nonsmooth Convex Minimization
提出了一种新的自适应双环平滑算法来求解复合、非光滑、约束凸优化问题。我们的算法是基于Nesterov的平滑技术，通过一般Bregman距离函数。它自适应地选择内部循环中的迭代次数，以实现所需的复杂度范围，而不需要像增广拉格朗日方法（ALM）的变体那样先验地精确。我们证明了$\BigO{\frac{1}{k}}$ -无约束和约束设置的外序列的最后一个周期上的收敛速度，而遍历率是常见的ALM以及交替方向法的乘数文献。与现有的不精确ALM或二次惩罚方法相比，我们的分析不依赖于由内循环解决的子问题的最坏情况的界限。因此，我们的算法可以被看作是一个重新启动技术应用到ASGARD方法在\cite{TranDinh2015b}，但严格的理论保证或作为一个不精确的ALM明确的内部循环终止规则和自适应参数。我们的算法只需要初始化参数一次，并在迭代过程中自动更新它们，无需调优。我们通过几个例子来说明我们的方法相比，国家的最先进的优越性。
2018-08-14 math.OC
Two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
针对非凸非光滑不可分优化问题，本文结合两步惯性外推与Bregman距离，基于PALM提出新型迭代算法，证明序列收敛性并通过信号恢复等问题验证有效性。
2023-06-13 math.OC
Solving Nonsmooth Nonconvex Compound Stochastic Programs with Applications to Risk Measure Minimization
本文研究了一类由非凸非光滑函数耦合的多期望结构复合随机规划问题。本文提出了一个基于连续凸规划的采样算法，并证明了它的逐次收敛性。我们描述了几类复合SP的极限点的平稳性。我们进一步讨论了基于算法可计算误差界的概率停止规则。我们提出了几个风险度量最小化问题，可以制定为这样一个复合随机规划，这些问题包括广义偏差最优化问题的基础上优化的确定性等价和缓冲概率的不确定性（bPOE），分布鲁棒bPOE最优化问题，和多类分类问题采用成本敏感的错误准则与bPOE风险度量。
2021-05-23 math.OC
Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了结构化非光滑凸有限和优化，它广泛地出现在机器学习应用中，包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式，我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中，\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$，其中$n$表示样本的数量，$d$表示原始变量的维度，并且$ε$表示期望的精度。在非光滑和强凸的情况下，\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计，即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外，这两个复杂性都优于\emph{lower}边界的一般凸有限和，缺乏特定的（共同的）结构，我们认为。我们的理论结果得到了数值实验的支持，证实了\vrpda ~的竞争力的性能相比，国家的最先进的。
2021-04-07 cs.LG cs.NA math.NA
An Operator Learning Approach to Nonsmooth Optimal Control of Nonlinear PDEs
针对非线性PDE非光滑最优控制难题，提出结合原始-对偶思想的算子学习方法，用神经替代模型加速PDE求解，实现无网格、可复用且高效，并在典型问题上验证有效性。
2025-04-24 math.OC
Primal-dual multigrid methods for nonsmooth optimization
MODEMAT Research Center in Mathematical Modeling and Optimization（数学建模与优化模式研究中心）；Department of Mathematics, Escuela Politécnica Nacional (EPN)（国家理工大学数学系）；Department of Mathematics and Statistics, University of Helsinki（赫尔辛基大学数学与统计系）
针对优化领域中非光滑形式的极小化问题，本研究结合原始-对偶算法与多重网格技术，提出非光滑原始-对偶相容条件及部分线性化线搜索程序，在全变分正则化逆成像问题上验证了方法的有效性，可求解前向-后向多重网格方法无法处理的问题。
2026-08-06 cs.NA math.NA math.OC
Smoothing algorithms for nonsmooth and nonconvex minimization over the stiefel manifold
考虑Stiefel流形上一类非光滑非凸最优化问题，其中目标函数是由一个非凸光滑函数和一个由线性映射构成的非光滑Lipschitz连续凸函数之和.我们提出了三个数值算法来解决这个问题，通过结合平滑方法和一些现有的算法光滑优化Stiefel流形。特别地，我们在光滑化方法中用Moreau包络逼近了上述非光滑凸函数，并证明了Moreau包络具有许多有利的性质。由于这一点和计划更新的平滑参数，我们表明，所提出的算法产生的解决方案序列的任何积累点是一个固定点的原始最优化问题。在构建图傅立叶基上的数值实验证明了所提算法的有效性。
2023-03-25 math.OC
A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。
2026-10-09 math.OC
Distributed Nonsmooth Optimization with Coupled Inequality Constraints via Modified Lagrangian Function
本技术说明考虑了一个具有非光滑费用函数和耦合非线性不等式约束的分布式凸优化问题。为了解决这个问题，我们首先提出了一个修改的拉格朗日函数包含局部乘子和一个非光滑的罚函数。然后，我们构造了一个分布式连续时间算法凭借投影原始对偶次梯度动力学。基于非光滑分析和李雅普诺夫函数，我们得到了非光滑算法解的存在性和收敛性。
2017-05-07 math.OC
Convergence Rates for the Alternating Minimization Algorithm in Structured Nonsmooth and Nonconvex Optimization
Federal University of Goiás（戈亚斯联邦大学）；Wayne State University（韦恩州立大学）；Aix Marseille Univ, CNRS, AMSE（艾克斯马赛大学、法国国家科学研究中心、经济与社会研究所）
本文改进了结构非凸优化中交替最小化算法的收敛速率，提出了在低指数PLK条件下实现超线性收敛的方法，并探讨了其在非合作博弈和行为科学中的应用。
2026-01-30 math.OC
RandProx: Primal-Dual Optimization Algorithms with Randomized Proximal Updates
邻近分裂算法非常适合于解决大规模非光滑最优化问题，特别是机器学习中出现的问题。我们提出了一种新的原始对偶法，其中对偶更新是随机的，等价地，在问题中的函数之一的邻近算子被替换为随机预言。例如，在每次迭代中更新一些随机选择的对偶变量，而不是全部。或者，函数的邻近运算符仅以较小的概率被调用。一个非光滑的方差减少技术的实施，使算法找到一个确切的极小化的一般问题，涉及光滑和非光滑的功能，可能与线性算子组成。我们推导出线性收敛结果存在强凸性，这些结果是新的，即使在确定性的情况下，当我们的算法恢复到最近提出的原始-对偶戴维斯-尹算法。文献中的一些随机算法也被恢复为特定情况（例如，Point-SAGA）。但我们的随机化技术是通用的，包括许多超越采样和概率更新的无偏机制，包括压缩。由于收敛速度取决于原始和对偶收缩机制中最慢的一个，因此当使用随机性时，迭代复杂度可能保持不变。另一方面，可以显著降低计算复杂度。总的来说，随机性有助于获得更快的算法。这在随机梯度型算法中早已为人所知，我们的工作表明，这也完全适用于更一般的原始对偶设置。
2023-03-07 math.OC
An Efficient ADMM Method for Ratio-Type Nonconvex and Nonsmooth Minimization in Sparse Recovery
本文针对非凸非光滑的比率型稀疏恢复问题，提出了一种高效的ADMM方法，在理论上证明了收敛性，并通过实验验证了其在稀疏恢复和神经网络稀疏化中的优越性能。
2025-09-26 math.OC
A First-Order Primal-Dual Method for Nonconvex Constrained Optimization Based On the Augmented Lagrangian
非线性约束非凸和非光滑最优化模型在机器学习、统计和数据分析中发挥着越来越重要的作用。本文基于增广拉格朗日函数，提出一种灵活的一阶原-对偶方法，称为增广拉格朗日非凸辅助问题原理（NAPP-AL），用于求解一类非线性约束非凸非光滑最优化问题。我们证明了NAPP-AL收敛到一个固定的解决方案，在o（1/ \sqrt{k}）的速度，其中k是迭代次数。此外，在一个附加的误差界条件下（本文称之为VP-EB），我们进一步证明了该算法的收敛速度实际上是线性的.最后，我们证明了著名的Kurdyka-Lojasiewicz性质和度量次正则性蕴含着上述VP-EB条件。
2020-07-23 math.OC
A stochastic two-step inertial Bregman proximal alternating linearized minimization algorithm for nonconvex and nonsmooth problems
本文提出STiBPALM算法，结合两步惯性与Bregman近端交替线性化及方差缩减随机梯度，用于求解大规模非凸非光滑优化问题，并证明其收敛性，通过稀疏非负矩阵分解和盲图像去模糊实验验证性能。
2023-07-11 math.OC
BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization
Southeast University（东南大学）
本文提出了一种新的原始-对偶邻近分裂算法（Primal-Dual Proximal Splitting Algorithm，简称BALPA），用于求解具有等式约束的复合最优化问题，其中损失函数由光滑项和由线性映射组成的非光滑项组成.在BALPA中，对偶更新被设计为时变二次函数的邻近点，平衡了原始更新和对偶更新的实现，并保留了经典PD-PSA的邻近诱导特性.此外，通过这种平衡，BALPA消除了经典的PD-PSA的复合最优化问题，其中的线性映射或等式约束映射的欧几里德范数是大的效率低下。因此，BALPA不仅继承了经典PD-PSA结构简单、易于实现的优点，而且在范数较大的情况下也能保证快速收敛。此外，我们提出了一个随机版本的BALPA（S-BALPA），并应用开发的BALPA的分布式优化设计一个新的分布式优化算法。此外，全面的收敛性分析的BALPA和S-BALPA分别进行。最后，数值实验验证了算法的有效性.
2022-12-06 cs.LG math.OC
A nonsmooth primal-dual method with interwoven PDE constraint solver
本文提出一种非光滑PDE约束优化的高效一阶原始-对偶方法，将优化迭代与传统线性求解器单步交织执行，避免每步完整求解PDE，并证明其线性收敛性。
2024-05-23 cs.NA math.NA math.OC
An adaptive proximal safeguarded augmented Lagrangian method for nonsmooth DC problems with convex constraints
Institute of Mathematics, University of Würzburg（维尔茨堡大学数学研究所）
本文提出一种自适应近端保护增广拉格朗日方法，用于求解带有凸约束的非光滑DC问题，证明了在修改的Slater约束资格下，原变量和对偶变量收敛到广义KKT点。
2026-03-30 math.OC
Construction and Iteration-Complexity of Primal Sequences in Alternating Minimization Algorithms
在求解原型约束凸优化的交替极小化算法（AMA）中，引入了一种新的加权平均算法，该算法利用“Fenchel型”算子来恢复原始解.我们的方法结合了\cite{Tseng1991}中经典的AMA思想和Nesterov的函数平滑技术，而不需要目标函数的强凸性。我们提出了一种新的非加速的原始-对偶AMA方法，并在目标残差和可行性间隙上估计了它的原始收敛速度。然后，我们将Nesterov的加速步骤到这个算法，并获得一个新的加速原始-对偶AMA变种赋予严格的收敛速度保证。我们证明了该算法的最坏情况下的迭代复杂度是最优的（在一阶黑盒模型的意义上），而不施加充分的强凸性假设的目标。
2020-08-08 math.OC
Subgradient sampling for nonsmooth nonconvex minimization
本文针对非光滑非凸风险最小化问题，提出并分析了一阶次梯度采样（随机次梯度下降）的收敛性，利用保守微积分和ODE方法改进既有结果，并证明在可定义情形下以概率1避免人工临界点，适用于深度学习风险最小化。
2024-07-23 math.OC
On Nonsmooth and Relatively Weakly Convex Minimization
University of Minnesota（明尼苏达大学）
本文研究非光滑非凸复合优化问题，提出满足次梯度上界条件的确定性Bregman邻近次梯度方法，放宽正则项凸性要求，还拓展出随机场景下收敛速率为$\text{O}(\text{ε}^{-4})$的基于模型的最小化方法及随机预言机访问场景的框架。
2026-08-31 math.OC
Smoothing technique for nonsmooth composite minimization with linear operator
介绍并分析了一种由线性算子构成的可微项与可逼近项之和的凸函数的极小化算法。该方法建立在最近开发的平滑间隙技术。除了一个精确的收敛速度的结果，有效的，即使在存在的线性包含约束，这种新方法允许一个明确的治疗梯度的可微函数，可以增强线搜索。我们还研究了在给定频率下重新启动算法加速的后果。这些新的功能是不经典的原始-对偶方法，使我们能够解决困难的大规模凸优化问题。我们数值说明了卓越的性能的算法的基础上追求，TV正则化最小二乘回归和L1回归问题对国家的最先进的。
2017-06-19 math.OC
Parametrization and convergence of a primal-dual block-coordinate approach to linearly-constrained nonsmooth optimization
本文研究了线性约束下非光滑复合凸优化的 Chambolle-Pock 原始-对偶随机块坐标算法，利用矩阵预处理推导出严格次线性收敛速率，并通过服务定价的最优传输实验验证了其鲁棒性。
2024-08-29 cs.DC cs.MA math.OC
A projection-free dynamics for nonsmooth composite optimization
本文提出一种基于镜像下降的无投影原始-对偶动力学，用于求解带等式和不等式约束的非光滑复合优化问题，通过扩展近端增广拉格朗日策略实现指数收敛，并推广了现有收敛结果。
2025-10-25 math.OC
Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；The University of Hong Kong（香港大学）；Nankai University（南开大学）
针对非光滑PDE约束最优控制问题，提出用更大步长或算子学习加速原始-对偶方法，前者保持收敛性，后者用神经网络替代PDE求解，显著降低计算成本，初步实验验证有效。
2023-07-25 cs.LG cs.NA math.NA
A primal-dual majorization-minimization method for large-scale linear programs
提出了一种求解大型线性规划问题的原-对偶优化-极小化方法。针对对偶线性规划问题，导出了一个具有严格凸性的光滑障碍增广拉格朗日函数。自然地引入优化最小化方法来开发SBAL函数的光滑性和凸性。该方法只依赖于常数矩阵的因子分解而不依赖于迭代过程，不需要计算任何步长，因而特别适用于大规模线性规划.该方法与线性规划的一阶方法具有相似的性质，但其收敛性分析建立在SBAL函数的可微性和凸性基础上。在不要求原线性规划或对偶线性规划可行的前提下，分析了算法的整体收敛性。在正则条件下，证明了该方法的全局线性收敛性，并给出了一个新的迭代复杂度结果。
2022-08-07 math.OC
Variable Bregman Majorization-Minimization algorithms for nonconvex nonsmooth optimization, with application to Poisson imaging
Université Paris-Saclay, CentraleSupélec, Inria, Centre pour la Vision Numérique（巴黎萨克雷大学、中央苏佩莱克学院、法国国家信息与自动化研究所、数字视觉中心）；Université Paris-Saclay, Laboratoire BioMaps, CEA（巴黎萨克雷大学、BioMaps实验室、法国原子能和替代能源委员会）
本文提出一种基于Bregman的统一最大最小化框架，用于解决非凸非光滑优化问题，通过可变Bregman散度构建替代函数，并在Kurdyka-Lojasiewicz性质下证明收敛性，应用于PET图像重建。
2026-10-06 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
A Proximal Variable Smoothing for Nonsmooth Minimization Involving Weakly Convex Composite with MIMO Application
针对含弱凸复合函数的非光滑优化问题，提出一种基于Moreau包络的时变前向-后向近端变量平滑算法，提供了平稳点收敛性分析，并应用于MIMO信号检测验证了其有效性。
2025-01-23 math.OC
An implementable proximal-type method for computing critical points to minimization problems with a nonsmooth and nonconvex constraint
本文提出一种可实现的近端型方法，用于求解含非光滑非凸目标及约束的优化问题，通过有限凸模型逐点最小值构建非凸模型，在统一框架下计算满足必要最优性条件的模型临界点。
2024-09-25 math.OC
Efficient Recovery of Low Rank Tensor via Triple Nonconvex Nonsmooth Rank Minimization
最近提出了一种基于张量核范数（TNN）的方法来解决张量恢复问题，并取得了最先进的性能。然而，它可能无法产生高度准确的解决方案，因为它倾向于平等地对待每个正面切片和每个正面切片的每个秩分量。为了得到高精度的恢复，我们提出了一种通用的、灵活的秩松弛函数--双加权非凸非光滑秩（DWNNR）松弛函数，以有效地解决三阶张量恢复问题.通过将权向量设为某个凹函数的超梯度值，从而自适应地选择权向量，可以从三重非凸非光滑秩（TNR）松弛函数导出DWNNR松弛函数.为了加速该模型，我们发展了一般的惯性平滑近似梯度法。进一步证明了生成子序列的任一极限点都是临界点。结合Kurdyka-Lojasiewicz（KL）性质和一些较温和的假设，我们进一步给出了它的整体收敛保证.在一个实际的张量补全问题上的实验结果表明了该算法的有效性和优越性。
2022-05-12 math.OC
Bregman Proximal Gradient Algorithm with Extrapolation for a class of Nonconvex Nonsmooth Minimization Problems
在本文中，我们考虑一个加速方法解决非凸和非光滑极小化问题。我们提出了一个Bregman邻近梯度算法与外推（BPGe）。该算法扩展并加速了Bregman近似梯度算法（BPG），它绕过了近似梯度算法（PG）所需的限制性全局Lipschitz梯度连续性假设。BPGe算法比最近提出的带外推的邻近梯度算法（PGe）具有更高的通用性，并且由于外推步骤的存在，BPGe比BPG算法收敛更快。通过对收敛性的分析，证明了在适当选取参数的情况下，BPGe产生的序列的任何极限点都是问题的平稳点。此外，在Kurdyka-{K}ojasiewicz性质的假设下，证明了BPGe生成的序列整体收敛于一个平稳点.最后，为了说明新方法BPGe的潜力，我们将其应用于两个重要的实际问题，出现在许多基本的应用（不满足全局Lipschitz梯度连续性假设）：泊松线性逆问题和二次逆问题。在测试中，加速的BPGe算法显示出更快的收敛结果，给出了一个有趣的新算法。
2019-04-25 math.OC
Techniques for Gradient Based Bilevel Optimization with Nonsmooth Lower Level Problems
我们提出的技术近似双层最优化问题与非光滑的低级别的问题，可以有一个非唯一的解决方案。为此，我们用一个迭代算法，保证收敛到一个极小的问题的较低级别的最小化问题的极小化的表达。使用合适的非线性邻近距离函数，这种迭代算法的更新映射可以是可微的，尽管最小化问题是非光滑的。
2016-04-26 math.OC
Optimal Primal-Dual Algorithm with Last iterate Convergence Guarantees for Stochastic Convex Optimization Problems
针对带函数约束的复合非光滑随机凸优化，提出基于增广拉格朗日和约束线性化的Aug-ConEx算法，首次在最后迭代上取得无额外log K因子的最优及加速收敛保证。
2024-10-24 math.OC
Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization
本文考虑一种近似线性化交替方向乘子法（PL-ADMM）来求解线性约束非凸和可能的非光滑最优化问题。通过在原始更新中使用变尺度邻近项和在乘子更新中使用超松弛步长，将该算法推广。证明了该方法生成的序列是有界的，其极限点是临界点。在强大的Kurdyka-{Eschojasiewicz}性质下，我们证明了序列具有有限长度从而收敛，并且我们驱动了它的收敛速度。
2021-07-03 math.OC
Fast Primal-Dual Gradient Method for Strongly Convex Minimization Problems with Linear Constraints
本文考虑了一类目标函数为强凸的最优化问题，其可行集由简单凸集与由若干线性等式和不等式约束给出的集的交给出.许多应用中的最优化问题都可以用这种形式表示，例如熵线性规划，岭回归，弹性网，正则化最优输运等。我们将快速梯度法应用于对偶问题，使其成为原始-对偶问题，从而不仅允许解决对偶问题，而且构造原问题的近最优和近可行解。我们还证明了一个定理的收敛速度为所提出的算法的目标函数和线性约束不可行。
2016-05-10 math.OC
Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis
University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对现有梯度下降-上升类算法无法处理非光滑非凸-非凹极小极大问题的局限，提出smoothed PLDA算法，构建基于原始-对偶误差界的分析框架，证明其迭代复杂度上界及部分场景下的最优性，还建立了平稳性概念间的定量关系。
2025-01-15 cs.LG math.OC
Approaching nonsmooth nonconvex minimization through second order proximal-gradient dynamical systems
研究了一类近似梯度型二阶动力系统在非光滑凸函数和（可能非凸）光滑函数之和最小化时所产生的轨迹的渐近性质.如果目标函数的正则化满足Kurdyka-Schojasiewicz性质，则确保所生成的轨迹收敛到目标的临界点。我们还提供了收敛速度的轨迹制定的Chaojasiewicz指数。
2017-11-16 math.DS math.OC
A primal-dual fixed point algorithm for multi-block convex minimization
本文推广了文献[5]中提出的一种原始-对偶不动点算法（PDFP）来求解信号处理和成像科学中出现的两类可分离多块最小化问题。这项工作显示了应用PDFP算法的多块问题的灵活性，并说明如何实际和完全解耦的计划，可以得出，特别是对于大规模问题的并行实现。并与乘子的交替方向法（ADMM）进行了比较。通过带约束的稀疏正则化最小二乘模型的经典算例，我们展示了如何通过不同的方法将问题分解得到不同的算法。特别是，对于一类线性约束问题，这是非常感兴趣的多块ADMM的上下文中，可以解决PDFP的收敛性保证。最后，通过实验验证了PDFP算法所得到的几种方案的性能。
2016-02-01 math.OC
A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization
块坐标下降法（BCD）是求解多个块变量的连续函数f最小值问题的一种常用方法。在该方法的每次迭代中，优化单个变量块，而其余变量保持固定。为了保证BCD方法的收敛性，每次迭代中需要精确求解待优化的子问题，使其具有唯一的最优解。不幸的是，这些要求对于许多实际场景来说往往过于严格。在本文中，我们研究了另一种不精确的BCD方法，该方法通过连续最小化f的一系列逼近来更新可变块，这些逼近要么是f的局部紧上界，要么是f的严格凸局部逼近。我们专注于一个相当广泛的一类这样的方法，特别是对于其中的目标函数是不可微或非凸的情况下，其收敛特性的特征。我们的结果统一和推广了许多经典算法如BCD方法、凸函数差分（DC）方法、期望最大化（EM）算法以及交替邻近最小化算法的收敛性结果.
2012-09-11 math.OC
Primal-Dual Methods for Nonsmooth Nonconvex Optimization with Orthogonality Constraints
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程系）；Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong（香港中文大学系统工程与工程管理系）
本文提出一种无退化对偶方法，用于解决具有正交约束的非光滑非凸优化问题，方法单循环且无需求解子问题，具有O(ε^{-3})的迭代复杂度，并通过数值实验验证其高效性。
2026-04-05 cs.LG cs.NA math.NA
Dual subgradient algorithms for large-scale nonsmooth learning problems
经典的一阶凸优化算法，如镜像下降算法或Nesterov光滑凸优化算法，具有不依赖于问题维数的最优（理论）复杂度估计。然而，为了达到最优，问题的域应该允许一个“好的近似设置”。后者本质上意味着1）问题域应满足“有利几何”的某些几何条件，以及2）这些方法的实际使用取决于我们在每次迭代时以适度成本计算{ \em邻近变换}的能力。在计算学习中出现的最优化问题中，这两个条件往往都得到满足，这就解释了为什么最近近端型FO方法成为解决各种学习问题的首选方法。然而，他们满足他们的限制，在几个重要的问题，如多任务学习与大量的任务，其中的问题域并没有表现出良好的几何形状，和学习和矩阵完成问题与核范数约束，当计算的数值成本接近变换成为大规模的问题。我们提出了一种新的方法来解决非光滑最优化问题中出现的学习应用程序中的Fenchel型表示的目标函数。该方法是基于应用FO算法的对偶问题，并使用{ \em精度证书}的方法来恢复原始的解决方案。虽然次优的准确性，所提出的方法并不依赖于“良好的邻近设置”的原始问题，但需要的问题域承认一个线性最优化预言-的能力，有效地最大限度地提高线性型域的原始问题。
2013-08-26 math.OC
BFGS convergence to nonsmooth minimizers of convex functions
BFGS拟牛顿极小化算法在一定条件下全局收敛于光滑凸函数。鲍威尔在1976年证明了这个结果：我们考虑了它对不光滑函数的影响。特别是，一个类似的收敛结果适用于函数，如欧几里得范数，在最小值处不光滑。
2017-03-20 math.OC
A fast Primal-Dual-Active-Jump method for minimization in $\operatorname{BV}((0,T);\mathbb{R}^d)$
分析了区间$I$上有界变差的$\mathbb{R}^d$值函数空间上极小化问题的求解方法。所提出的方法依赖于分段常数迭代。在每次迭代中，该算法交替提出一个新的点，在该点上允许不连续，并优化其跳跃的幅度以及偏移。在一般情况下，得到了目标函数值的次线性$\mathcal{O}(1/k)$收敛速度。在对偶变量的附加结构假设下，对于某些$ζ<1$，这可以改进为局部线性收敛速率$\mathcal{O}(ζ^k)$。此外，在这种情况下，对于$L^1(I;\mathbb{R}^d)$中的迭代可以预期相同的速率。
2021-06-01 math.OC
A Nonlinear Bregman Primal-Dual Framework for Optimizing Nonconvex Infimal Convolutions
本文研究非凸、非光滑复合最优化问题的优化问题，其目标是一个非线性映射和一个非光滑非凸函数的复合，可以写成一个下卷积（inf-conv）。为了解决这个问题类，我们建议重新制定的问题，利用其inf-conv结构，并推导出一个块坐标下降方案的Bregman增广拉格朗日，可以异步实施。我们证明了我们的计划收敛到固定点的原始模型的特定选择的罚参数。我们的框架包括各种现有的算法作为特殊情况下，如DC-规划，$k$ -均值聚类和ADMM与非线性算子，当一个特定的目标函数和下卷积分解（下反卷积）被选中。在说明性的实验中，我们提供的证据，我们的算法表现良好的低目标值和鲁棒性对初始化，相比DC编程或$k$ -手段算法。
2018-03-27 math.OC
