非光滑凸优化的光滑原始-对偶坐标下降算法

非光滑凸和的原-对偶加速对偶平均方差缩减

Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums

我们研究了结构化非光滑凸有限和优化，它广泛地出现在机器学习应用中，包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式，我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中，\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$，其中$n$表示样本的数量，$d$表示原始变量的维度，并且$ε$表示期望的精度。在非光滑和强凸的情况下，\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计，即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外，这两个复杂性都优于\emph{lower}边界的一般凸有限和，缺乏特定的（共同的）结构，我们认为。我们的理论结果得到了数值实验的支持，证实了\vrpda ~的竞争力的性能相比，国家的最先进的。

一类非凸非光滑优化问题的投影近端梯度下降法：无需 Kurdyka-Lojasiewicz (KL) 性质的快速收敛

Projective Proximal Gradient Descent for A Class of Nonconvex Nonsmooth Optimization Problems: Fast Convergence Without Kurdyka-Lojasiewicz (KL) Property

针对非凸非光滑优化问题，本文提出投影近端梯度下降法（PPGD），在不依赖 Kurdyka-Łojasiewicz (KŁ) 性质的条件下，证明了其能实现局部 $\cO(1/k^2)$ 的快速收敛率，并通过实验验证了方法的有效性。

用于非光滑优化的原始-对偶多重网格方法

Primal-dual multigrid methods for nonsmooth optimization

针对优化领域中非光滑形式的极小化问题，本研究结合原始-对偶算法与多重网格技术，提出非光滑原始-对偶相容条件及部分线性化线搜索程序，在全变分正则化逆成像问题上验证了方法的有效性，可求解前向-后向多重网格方法无法处理的问题。

非光滑复合凸极小化的光滑原始-对偶Optimization框架

A Smooth Primal-Dual Optimization Framework for Nonsmooth Composite Convex Minimization

我们提出了一个新的一阶原始-对偶优化框架的凸优化模板具有广泛的应用。我们的优化算法具有最优收敛保证下的各种常见的结构假设的问题模板。我们的分析依赖于一个新的组合的三个经典的想法适用于原始对偶间隙函数：平滑，加速，同伦。由于新的方法的算法实现了最佳的已知的收敛速度的结果，特别是当模板只包括非光滑函数。我们还概述了一个重启策略的加速显着提高实际性能。我们展示了增广拉格朗日方法的关系，并展示了如何利用强凸目标与严格的收敛速度保证。我们提供了两个例子的数值证据，并说明新的方法可以优于国家的最先进的，包括Chambolle-Pock，和交替方向法的乘法器算法。

一种带有交织偏微分方程约束求解器的非光滑原始-对偶方法

A nonsmooth primal-dual method with interwoven PDE constraint solver

本文提出一种非光滑PDE约束优化的高效一阶原始-对偶方法，将优化迭代与传统线性求解器单步交织执行，避免每步完整求解PDE，并证明其线性收敛性。

一类非光滑变分问题的次微分下降法

The Subdifferential Descent Method in a Nonsmooth Variational Problem

本文研究了泛函的被积函数为非光滑的经典变分问题。被积函数应该是次可微的。在一定的自然条件下，证明了该泛函的次可微性。解决了求次微分下降的问题，并应用次微分下降法求解原问题。最后通过实例验证了该算法的有效性。

BALPA：非光滑最优化的平衡原始对偶法及其在分布式Optimization中的应用

BALPA: A Balanced Primal-Dual Algorithm for Nonsmooth Optimization with Application to Distributed Optimization

本文提出了一种新的原始-对偶邻近分裂算法（Primal-Dual Proximal Splitting Algorithm，简称BALPA），用于求解具有等式约束的复合最优化问题，其中损失函数由光滑项和由线性映射组成的非光滑项组成.在BALPA中，对偶更新被设计为时变二次函数的邻近点，平衡了原始更新和对偶更新的实现，并保留了经典PD-PSA的邻近诱导特性.此外，通过这种平衡，BALPA消除了经典的PD-PSA的复合最优化问题，其中的线性映射或等式约束映射的欧几里德范数是大的效率低下。因此，BALPA不仅继承了经典PD-PSA结构简单、易于实现的优点，而且在范数较大的情况下也能保证快速收敛。此外，我们提出了一个随机版本的BALPA（S-BALPA），并应用开发的BALPA的分布式优化设计一个新的分布式优化算法。此外，全面的收敛性分析的BALPA和S-BALPA分别进行。最后，数值实验验证了算法的有效性.

非光滑约束Optimization的Bregman阻尼分布式镜像下降算法

Distributed Mirror Descent Algorithm with Bregman Damping for Nonsmooth Constrained Optimization

为了有效地解决分布式优化与各种约束和非光滑函数，我们提出了一个分布式镜像下降算法嵌入Bregman阻尼，作为传统的分布式投影算法的推广。事实上，我们的连续时间算法很好地继承了镜像下降方法的良好性能，可以快速计算具有某些特定约束结构的问题的显式解。此外，我们严格证明了我们的算法的收敛性，以及轨迹的有界性和解决方案的准确性。

三个凸可分函数和极小化的原-对偶不动点算法

A primal-dual fixed-point algorithm for minimization of the sum of three convex separable functions

图像处理和信号恢复中的许多问题都可以归结为三个凸可分函数之和的最小化问题。通常，目标函数包括具有Lipschitz连续梯度的光滑函数、线性复合非光滑函数和非光滑函数。在本文中，我们提出了一个原始-对偶不动点（PDFP）计划来解决上述问题。当非光滑函数可以通过其邻近算子（如$\ell_1$型正则化）求解时，该算法是一种完全分裂的对称格式，只涉及显式梯度算子和线性算子，不需要内迭代.我们研究了该算法的收敛性，并通过融合LASSO和图像恢复与非负约束和稀疏正则化的例子来说明它的效率。

加速原始-对偶方法：扩大步长与算子学习用于非光滑最优控制问题

Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems

针对非光滑PDE约束最优控制问题，提出用更大步长或算子学习加速原始-对偶方法，前者保持收敛性，后者用神经网络替代PDE求解，显著降低计算成本，初步实验验证有效。

线性约束非光滑优化原始-对偶块坐标方法的参数化与收敛性

Parametrization and convergence of a primal-dual block-coordinate approach to linearly-constrained nonsmooth optimization

本文研究了线性约束下非光滑复合凸优化的 Chambolle-Pock 原始-对偶随机块坐标算法，利用矩阵预处理推导出严格次线性收敛速率，并通过服务定价的最优传输实验验证了其鲁棒性。

中心化和分布约束凸最优化问题的加速原-对偶镜像动力学

Accelerated Primal-Dual Mirror Dynamics for Centrailized and Distributed Constrained Convex Optimization Problems

本文研究了两种原-对偶镜像动力学加速算法，分别用于求解具有仿射约束和闭凸集约束的光滑和非光滑凸优化问题。在光滑情形下，提出了一种基于加速镜下降和原-对偶框架的加速原-对偶镜动力学方法（APDMD），并利用李雅普诺夫分析方法推导了原-对偶间隙、可行性测度和目标函数值随APDMD轨迹的加速收敛性质.然后，我们将APDMD扩展为两种分布式动力学方法，分别处理两类分布式光滑最优化问题，即，分布式约束一致性问题（DCCP）和分布式扩展单调优化（DEMO）与加速收敛保证。此外，在非光滑情形下，我们提出了一种光滑加速原对偶镜像动力学方法（SAPDMD），该方法利用光滑近似技术和上述APDMD。通过选取适当的光滑逼近参数，证明了SAPDMD的原-对偶间隙、目标函数值和可行性测度具有与APDMD相同的加速收敛性质.之后，我们提出了两个平滑加速分布式动力学方法来处理非光滑DEMO和DCCP，以获得加速和有效解。最后，数值实验证明了所提出的加速镜动力学方法的有效性。

凸问题的原始-对偶近端束方法与条件梯度方法

Primal-dual proximal bundle and conditional gradient methods for convex problems

本文提出原始-对偶近端束方法求解凸非光滑复合优化与鞍点问题，建立迭代复杂度，发现与条件梯度的对偶性，并验证其优于次梯度方法。

希尔伯特空间中基于邻近次微分的非光滑最速下降方法

Nonsmooth Steepest Descent Method by Proximal Subdifferentials in Hilbert Spaces

本文首先研究了定义在希尔伯特空间上的非光滑函数的非光滑最速下降方法，并利用邻近次梯度建立了相应的算法。然后，我们用这个算法来寻找那些满足正则性和利普希茨连续性的函数的驻点。作为一个应用，将所建立的算法用于有限维空间上的下连续凸函数的极小值的搜索。作为对已有的关于二次连续可微凸函数的收敛性结果的推广和改进，文中给出了收敛性定理。

MDP的原始-对偶随机镜像下降

Primal-Dual Stochastic Mirror Descent for MDPs

研究了无限时域马尔可夫决策过程的最优策略学习问题。为此，本文对具有Lipschitz连续泛函的凸规划问题提出了随机镜像下降的一种变形。一个重要的细节是使用函数约束的不精确值和计算对偶变量值的能力。我们分析了这种算法在一般情况下，并获得估计的收敛速度，不积累错误的操作过程中的方法。使用该算法，我们得到了第一个将平均奖励MDP与生成模型混合而不减少折扣MDP的并行算法。所提出的方法的主要特征之一是在分布式集中式设置中的低通信成本，即使是非常大的网络。

非光滑凸极小化的自适应原-对偶框架

An Adaptive Primal-Dual Framework for Nonsmooth Convex Minimization

提出了一种新的自适应双环平滑算法来求解复合、非光滑、约束凸优化问题。我们的算法是基于Nesterov的平滑技术，通过一般Bregman距离函数。它自适应地选择内部循环中的迭代次数，以实现所需的复杂度范围，而不需要像增广拉格朗日方法（ALM）的变体那样先验地精确。我们证明了$\BigO{\frac{1}{k}}$ -无约束和约束设置的外序列的最后一个周期上的收敛速度，而遍历率是常见的ALM以及交替方向法的乘数文献。与现有的不精确ALM或二次惩罚方法相比，我们的分析不依赖于由内循环解决的子问题的最坏情况的界限。因此，我们的算法可以被看作是一个重新启动技术应用到ASGARD方法在\cite{TranDinh2015b}，但严格的理论保证或作为一个不精确的ALM明确的内部循环终止规则和自适应参数。我们的算法只需要初始化参数一次，并在迭代过程中自动更新它们，无需调优。我们通过几个例子来说明我们的方法相比，国家的最先进的优越性。

次梯度正则化：一种面向下降的非光滑优化次梯度方法

Subgradient Regularization: A Descent-Oriented Subgradient Method for Nonsmooth Optimization

本文揭示束方法与梯度采样算法的统一原理，提出次梯度正则化框架以生成稳定下降方向，并证明其收敛性及对 prox-linear 方法的对偶解释。

函数约束随机规划问题的原对偶镜像下降

Primal-dual mirror descent for the stochastic programming problems with functional constraints

针对带函数约束的凸优化问题，提出了原始-对偶随机镜像下降算法。我们得到的收敛速率的大偏差的概率。

非光滑随机最优化的随机块镜像下降法

Stochastic Block Mirror Descent Methods for Nonsmooth and Stochastic Optimization

本文提出了一种新的随机算法，即随机块镜像下降（SBMD）方法，用于求解大规模非光滑和随机最优化问题。该算法的基本思想是将块坐标分解和增量块平均方案结合到经典（随机）镜像下降法中，以显著降低后者的每次迭代代价。我们建立了SBMD方法的收敛速率以及解决一般非光滑和随机最优化问题的相关大偏差结果。我们还介绍了不同的变种，这种方法，并建立他们收敛速率解决强凸，光滑，复合最优化问题，以及某些非凸最优化问题。据我们所知，所有这些发展有关的SBMD方法是新的随机最优化文献。此外，我们的一些结果似乎也是新的块坐标下降法的确定性优化。

非光滑凸优化的通用坐标下降法

A generic coordinate descent solver for nonsmooth convex optimization

我们提出了一个通用的坐标下降求解器的最小化的非光滑凸结构的目标。该方法特别适用于具有线性约束的问题。该实现利用了有效的残差更新，并自动确定哪些对偶变量应该被复制。为了提高效率，预先编译了一系列基本功能原子，Python中的建模语言允许用户在运行时将它们组合起来。因此，该算法可用于解决各种各样的问题，包括Lasso，稀疏多项式逻辑斯谛回归，线性和二次规划。

非光滑非凸Optimization变Bregman随机坐标下降法的线性收敛性

Linear Convergence of Variable Bregman Stochastic Coordinate Descent Method for Nonsmooth Nonconvex Optimization by Level-set Variational Analysis

大规模非凸和非光滑问题在压缩感知、大数据优化和机器学习等领域引起了广泛的关注。探索有效的方法仍然是当今研究的主要挑战。随机坐标下降法已被广泛应用于求解大规模最优化问题。本文证明了变Bregman随机坐标下降法（VBSCD）对一类非光滑非凸最优化问题的收敛性，由VBSCD生成的序列的任何累加几乎肯定是临界点。此外，我们开发了一个新的水平集上的变分方法，旨在对收敛速度分析。如果水平集次微分误差界成立，我们推导出一个线性的收敛速率的期望值的目标函数和期望值的随机变量的VBSCD。

非光滑凸损失下随机梯度下降的稳定性

Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses

一致稳定性是算法稳定性的一个概念，当数据集中的单个数据点被替换时，它限制了算法输出的模型中的最坏情况变化。Hardt等人（2016）的一项有影响力的工作提供了随机梯度下降（SGD）算法在充分光滑凸损失上的一致稳定性的强上界。这些结果导致了重要的进展，在理解的推广性质的SGD和几个应用程序的差异私人凸优化光滑损失。我们的工作是第一个解决的一致稳定性SGD { \em nonsmooth}凸损失。具体来说，我们提供了尖锐的上限和下限的几种形式的SGD和全批GD任意Lipschitz非光滑凸损失。我们的下界表明，在非光滑的情况下，（S）GD可以是固有的稳定性比在光滑的情况下。另一方面，我们的上界表明（S）GD是足够稳定的推导新的和有用的泛化误差的界限。最值得注意的是，我们得到了第一个维度独立的推广界多通SGD在非光滑的情况下。此外，我们的界限允许我们推导出一个新的算法差分私人非光滑随机凸优化与最优超额人口风险。对于非光滑情况，我们的算法比最著名的算法更简单，更有效。Feldman et al.（2020）。

非凸非光滑问题的异步延迟感知加速邻近坐标下降算法

Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems

非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。

对偶、分裂、随机化：快速非光滑最优化算法

Dualize, Split, Randomize: Toward Fast Nonsmooth Optimization Algorithms

考虑三个凸函数之和的极小化问题，其中第一个凸函数F是光滑的，第二个凸函数F是非光滑的且可逼近的，第三个凸函数F是非光滑的可逼近函数与一个线性算子L的复合.这个模板问题有许多应用，例如在图像处理和机器学习中。首先，我们提出了一个新的原始对偶法，我们称之为PDDY，这个问题。它是将Davis-Yin分裂应用于原始-对偶积空间中的单调包含而构造的，其中算子在依赖于L的特定度量下是单调的。我们表明，三个现有的算法（两种形式的Condat-Vu算法和PD 3 O算法）具有相同的结构，使PDDY是第四个缺失的环节，在这个自洽类的原始对偶法。这种表示简化了收敛性分析：它允许我们导出一般的次线性收敛速度，并且线性收敛结果存在强凸性。此外，在我们广泛而灵活的分析框架内，我们提出了算法的新随机概括，其中使用F梯度的方差减少的随机估计，而不是真实梯度。此外，我们得到，作为一个特殊的情况下PDDY，一个线性收敛算法的最小化强凸函数F下的线性约束，我们讨论了它的重要应用分散优化。

非凸非光滑最优化加速随机梯度下降法的线性收敛性

Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization

本文研究了求解非凸非光滑最优化问题的随机梯度下降（SGD）方法，提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外，基于局部误差界条件，我们建立了该方法的线性收敛性，以获得非凸优化的稳定点。特别地，我们证明了不仅生成的序列线性收敛到问题的一个稳定点，而且相应的目标值序列也线性收敛。最后，数值实验验证了该方法的有效性.据我们所知，它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。

非光滑非凸优化中正交约束的对偶方法

Primal-Dual Methods for Nonsmooth Nonconvex Optimization with Orthogonality Constraints

本文提出一种无退化对偶方法，用于解决具有正交约束的非光滑非凸优化问题，方法单循环且无需求解子问题，具有O(ε^{-3})的迭代复杂度，并通过数值实验验证其高效性。

一种用于非光滑凸复合优化的二阶对偶方法

A second order primal-dual method for nonsmooth convex composite optimization

本文提出了一种二阶对偶方法，用于求解目标函数为强凸二次可微项与可能非可微凸正则化项之和的优化问题。通过引入辅助变量，利用非光滑正则化项的近似算子将增强拉格朗日函数转换为一次但非二次连续可微的函数，其鞍点对应于原始优化问题的解。进一步开发了全局收敛的定制算法，利用对偶增强拉格朗日函数作为 merit 函数，并证明了搜索方向可高效计算且具有二次/超线性渐近收敛性。

非线性PDE非光滑最优控制的算子学习方法

An Operator Learning Approach to Nonsmooth Optimal Control of Nonlinear PDEs

针对非线性PDE非光滑最优控制难题，提出结合原始-对偶思想的算子学习方法，用神经替代模型加速PDE求解，实现无网格、可复用且高效，并在典型问题上验证有效性。

关于非光滑非凸Optimization的随机镜像下降的收敛速度

On the Convergence Rate of Stochastic Mirror Descent for Nonsmooth Nonconvex Optimization

本文研究了非凸优化问题的随机镜像下降（SMD）算法的非渐近平稳收敛性。我们专注于一般类的非凸非光滑随机最优化问题，其中的目标可以分解成一个相对弱的凸函数（可能非Lipschitz）和一个简单的非光滑凸正则化。我们证明了SMD，不使用mini-batch，是保证收敛到一个平稳点的收敛速度的$ \mathcal{O}(1/\sqrt{t}) $。效率估计与现有的随机次梯度方法的结果相匹配，但评估下一个更强的平稳性措施。我们的收敛性分析适用于原来的SMD和它的近端版本，以及确定性的变种，解决相对弱凸问题。

一种用于凸非光滑优化的Nesterov加速对偶分裂算法

A Nesterov-Accelerated Primal-Dual Splitting Algorithm for Convex Nonsmooth Optimization

本文提出APAPC算法，通过整合Nesterov动量提升对偶方法的收敛性，实现非光滑优化问题的O(1/t²)次线性收敛及线性收敛。

非光滑非凸-非凹极小极大优化：原始-对偶平衡与迭代复杂度分析

Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis

针对现有梯度下降-上升类算法无法处理非光滑非凸-非凹极小极大问题的局限，提出smoothed PLDA算法，构建基于原始-对偶误差界的分析框架，证明其迭代复杂度上界及部分场景下的最优性，还建立了平稳性概念间的定量关系。

基于修正拉格朗日函数的耦合不等式约束分布式非光滑最优化

Distributed Nonsmooth Optimization with Coupled Inequality Constraints via Modified Lagrangian Function

本技术说明考虑了一个具有非光滑费用函数和耦合非线性不等式约束的分布式凸优化问题。为了解决这个问题，我们首先提出了一个修改的拉格朗日函数包含局部乘子和一个非光滑的罚函数。然后，我们构造了一个分布式连续时间算法凭借投影原始对偶次梯度动力学。基于非光滑分析和李雅普诺夫函数，我们得到了非光滑算法解的存在性和收敛性。

RandProx: Primal-Dual Optimization Algorithms with Randomized Proximal Updates

Proximal splitting algorithms are well suited to solving large-scale nonsmooth optimization problems, in particular those arising in machine learning. We propose a new primal-dual algorithm, in which the dual update is randomized; equivalently, the proximity operator of one of the function in the problem is replaced by a stochastic oracle. For instance, some randomly chosen dual variables, instead of all, are updated at each iteration. Or, the proximity operator of a function is called with some small probability only. A nonsmooth variance-reduction technique is implemented so that the algorit…

非凸约束Optimization基于增广拉格朗日量的一阶原始-对偶方法

A First-Order Primal-Dual Method for Nonconvex Constrained Optimization Based On the Augmented Lagrangian

非线性约束非凸和非光滑最优化模型在机器学习、统计和数据分析中发挥着越来越重要的作用。本文基于增广拉格朗日函数，提出一种灵活的一阶原-对偶方法，称为增广拉格朗日非凸辅助问题原理（NAPP-AL），用于求解一类非线性约束非凸非光滑最优化问题。我们证明了NAPP-AL收敛到一个固定的解决方案，在o（1/ \sqrt{k}）的速度，其中k是迭代次数。此外，在一个附加的误差界条件下（本文称之为VP-EB），我们进一步证明了该算法的收敛速度实际上是线性的.最后，我们证明了著名的Kurdyka-Lojasiewicz性质和度量次正则性蕴含着上述VP-EB条件。

黎曼流形上非光滑多目标优化问题的下降法

A descent method for nonsmooth multiobjective optimization problems on Riemannian manifolds

该研究提出黎曼流形上非光滑多目标优化的下降法，仅需目标函数局部利普希茨连续，通过黎曼ε-次梯度凸包获下降方向结合Armijo线搜索，证明有限步收敛到帕累托最优必要条件点，数值实验验证了方法有效性。

Hilbert空间中非光滑多目标优化的一种下降方法

A Descent Method for Nonsmooth Multiobjective Optimization in Hilbert Spaces

本文提出一种在Hilbert空间中求解非光滑多目标优化问题的下降方法，通过高效近似次微分并计算公共下降方向迭代寻找Pareto临界点，证明了收敛性，并在障碍问题最优控制中验证了效率。

近端梯度下降上升方法用于黎曼流形上的非光滑非凸-非凹极小极大问题

Proximal Gradient Descent Ascent Methods for Nonsmooth Nonconvex-Concave Minimax Problems on Riemannian Manifolds

本文提出两种黎曼流形上的近端梯度下降上升算法，解决非光滑非凸-非凹极小极大问题，证明其能在O(ε⁻³)或O(ε⁻⁴)次迭代内找到ε-游戏 stationary 点和优化 stationary 点。

一种适用于非光滑DC问题的自适应近端保护增广拉格朗日方法

An adaptive proximal safeguarded augmented Lagrangian method for nonsmooth DC problems with convex constraints

本文提出一种自适应近端保护增广拉格朗日方法，用于求解带有凸约束的非光滑DC问题，证明了在修改的Slater约束资格下，原变量和对偶变量收敛到广义KKT点。

大规模复合材料optimization的随机坐标下降惯性原始对偶法

A stochastic coordinate descent inertial primal-dual algorithm for large-scale composite optimization

考虑一种惯性原始对偶法，用于计算两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化。利用坐标下降的思想，设计了一种随机坐标下降惯性原对偶分裂算法。此外，为了证明所提出的惯性算法的收敛性，我们首先构造了随机Krasnosel'skiii-Mann迭代算法的惯性版本，用于逼近非扩张算子的不动点集，并研究了它的收敛性。然后将随机Krasnosel'skiii-Mann迭代的惯性形式应用于邻近算子的合成，得到了随机坐标下降惯性原对偶分裂算法的收敛性.

原始-对偶坐标下降的随机外推

Random extrapolation for primal-dual coordinate descent

我们引入了一种随机外推的原始-对偶坐标下降法，该方法适应于数据矩阵的稀疏性和目标函数的有利结构。我们的方法只更新原始和对偶变量的一个子集与稀疏的数据，它使用大的步长与密集的数据，保留的好处，为每种情况下设计的具体方法。除了适应稀疏性，我们的方法达到快速收敛的保证在有利的情况下\textit{without any modifications}。特别地，我们证明了度量次正则下的线性收敛性，它适用于强凸-强凹问题和分段线性二次函数。在一般的凸-凹情形下，我们证明了序列的几乎必然收敛和原始-对偶间隙和目标值的最佳次线性收敛速度。数值证据证明了我们的方法在稀疏和密集环境中的最先进的经验性能，匹配和改进了现有的方法。

具有非光滑成本函数的分布式最优负荷侧频率控制的算子分裂格式

An Operator Splitting Scheme for Distributed Optimal Load-side Frequency Control with Nonsmooth Cost Functions

针对非光滑成本函数下的负荷侧频率调节问题，提出一种基于算子分裂的分布式近端原始-对偶算法，证明了其全局渐近收敛性，并在IEEE 39节点系统仿真中验证了有效性与鲁棒性。

大规模复合材料optimization的动态步长随机坐标下降原始对偶法

A stochastic coordinate descent primal-dual algorithm with dynamic stepsize for large-scale composite optimization

本文考虑了两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化问题。利用坐标下降的思想，设计了一种具有动态步长的随机坐标下降原对偶分裂算法。基于随机化的修正Krasnosel'skiii-Mann迭代和邻近算子的强非扩张性，我们证明了算法的收敛性.此外，我们给出了我们的方法的两个应用。

非光滑函数光滑极小化的并行坐标下降法

Smooth minimization of nonsmooth functions with parallel coordinate descent methods

研究了一类随机并行坐标下降法在极小化非光滑可分凸函数和问题上的性能。问题类包括作为特殊情况的L1正则化L1回归和指数损失的最小化（“AdaBoost问题”）。我们假设定义损失函数的输入数据包含在稀疏$m\times n$矩阵$A$中，每行中至多具有$ω$非零值。我们的方法需要$O(n β/τ)$迭代以找到具有高概率的近似解，其中$τ$是处理器的数量，$β= 1 + (ω-1)(τ-1)/(n-1)$是最快的变体。该符号隐藏了对诸如所需精度和置信水平以及起始点与最佳点的距离等数量的依赖性。由于$β/τ$是$τ$的递减函数，因此当使用更多处理器时，该方法需要较少的迭代。我们的算法的某些变体在每个处理器的单次迭代期间平均仅执行$O(\nnz(A)/n)$算术运算，并且由于当$ω$减少时$β$减少，因此对于稀疏问题需要较少的迭代。

下降曲线

Curves of Descent

最速下降是变分数学中的核心问题。我们提出了一个新的透明的存在性证明曲线的近最大斜率--一个有影响力的概念，最速下降在非光滑设置。此外，我们表明，半代数函数-原型非病态功能在非光滑最优化-这样的曲线正是次梯度动力系统的解决方案。

一种新的非精确梯度下降法及其在非光滑凸优化中的应用

A New Inexact Gradient Descent Method with Applications to Nonsmooth Convex Optimization

本文提出一种新的非精确梯度法（IGD），在KL性质下保证收敛到稳定点，并将其应用于设计非精确邻近点法和非精确增广拉格朗日法，数值实验表明其优于现有非光滑凸优化算法。

随机坐标下降分裂原始-对偶不动点算法及其在大规模组合optimization中的应用

A stochastic coordinate descent splitting primal-dual fixed point algorithm and applications to large-scale composite optimization

受Chen，Huang和Zhang最近的结果的启发，从基于邻近算子的不动点算法的角度考虑了求两个凸函数之和的极小值以及另一个凸函数与连续线性算子的复合的极小值问题.利用坐标下降的思想，设计了一种随机坐标下降分裂原始-对偶不动点算法.基于随机Krasnosel'skii mann迭代和邻近算子的强非扩张性质，我们证明了算法的收敛性。

非光滑复合凸极小化的自适应光滑算法

Adaptive Smoothing Algorithms for Nonsmooth Composite Convex Minimization

我们提出了一个自适应平滑算法的基础上，Nesterov的平滑技术\cite{Nesterov2005c}解决“完全”非光滑复合凸优化问题。我们的方法结合了Nesterov的加速邻近梯度方案和一个新的同伦策略的光滑参数。通过适当地选择光滑函数，我们提出了一种新的算法，该算法具有$\mathcal{O}\left(\frac{1}{\varepsilon}\right)$ -最坏情况迭代复杂度，同时保持与Nesterov方法相同的每次迭代复杂度，并允许在每次迭代时自动更新光滑参数。然后，我们定制我们的算法来解决涵盖各种应用程序的四种特殊情况。我们还指定我们的算法来解决约束凸优化问题，并显示其收敛性保证的原始序列的迭代。我们通过三个数值例子证明了我们的算法，并与其他相关算法进行了比较。

非光滑复合优化的一种无投影动力学

A projection-free dynamics for nonsmooth composite optimization

本文提出一种基于镜像下降的无投影原始-对偶动力学，用于求解带等式和不等式约束的非光滑复合优化问题，通过扩展近端增广拉格朗日策略实现指数收敛，并推广了现有收敛结果。

测量下降法：非光滑最优化的梯度下降法的多点推广

Survey Descent: A Multipoint Generalization of Gradient Descent for Nonsmooth Optimization

对于光滑的强凸目标，经典的梯度下降理论确保相对于梯度评估的数量的线性收敛。一个类似的非光滑理论是具有挑战性的。即使当目标在每个顶点处是平滑的时，相应的局部模型也是不稳定的，并且传统补救措施所调用的切割平面的数量难以约束，从而导致相对于梯度评估的累积数量是次线性的收敛保证。相反，我们提出了一个多点推广的梯度下降迭代局部最优化。虽然在设计时考虑到了一般目标，但我们的动机是一个“最大平滑”模型，该模型捕获了最优的次微分维度。我们证明了线性收敛时，目标本身是最大的光滑，实验表明一个更普遍的现象。

用于约束双线性鞍点问题的原始-对偶加速镜像下降方法

Primal-dual Accelerated Mirror-Descent Method for Constrained Bilinear Saddle-Point Problems

本文提出一种时变原始-对偶加速镜像下降算法，用于求解约束双线性鞍点问题，实现$O(1/t^2)$收敛率，并衍生出面向分布式优化和零和博弈的两种加速变体。

求解凸优化的一个新的最优迭代率随机原始对偶法

A New Randomized Primal-Dual Algorithm for Convex Optimization with Optimal Last Iterate Rates

针对一类非光滑约束凸优化问题，提出了一种新的统一随机块坐标原始对偶法，该算法涵盖了文献中已有的不同变量和模型设置.我们证明了我们的算法达到最佳的$\mathcal{O}(n/k)$和$\mathcal{O}(n^2/k^2)$收敛速度（直到一个常数因子）在两种情况下：一般凸性和强凸性，分别，其中$k$是迭代计数器和n是块坐标的数量。我们的收敛速度是通过三个标准：原始目标残差和原始可行性违反，双重目标残差，和原始-对偶期望差距。此外，我们对原始问题的速度是在最后一个序列上。我们的对偶收敛保证还需要一个Lipschitz连续性假设。我们指定我们的算法来处理两个重要的特殊情况，我们的利率仍然适用。最后，我们验证了我们的算法在两个研究的数值例子，并比较它与现有的两种方法。我们的结果表明，所提出的方法具有令人鼓舞的性能在不同的实验。

使用Mifflin线搜索的非光滑非凸优化下降次梯度方法

A descent subgradient method using Mifflin line search for nonsmooth nonconvex optimization

提出一种用于局部Lipschitz非光滑非凸优化的下降次梯度算法，通过迭代近似Goldstein次微分并采用Mifflin线搜索两点变体寻找下降方向，证明了全局收敛性且无需算法修改即可处理非凸性。

用于非凸非光滑问题的两步惯性 Bregman 交替结构自适应近端梯度下降算法

Two-step inertial Bregman alternating structure-adapted proximal gradient descent algorithm for nonconvex and nonsmooth problems

针对实 Hilbert 空间中拟非扩张算子的多集分裂公共不动点问题，提出结合惯性技术与自适应步长的原始-对偶加速迭代算法，证明弱收敛并通过数值实验验证性能。

线性等式约束凸优化问题的惯性原-对偶方法

Inertial primal-dual methods for linear equality constrained convex optimization problems

本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。