Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
我们考虑一个一般的凸优化问题与正则化的经验风险最小化的线性预测。问题结构允许我们将其重新表述为一个凹凸鞍点问题。我们提出了一种随机原始-对偶坐标（SPDC）方法，该方法在随机选择的对偶变量上最大化和原始变量上最小化之间交替。对原始变量执行外推步骤以获得加速的收敛速度。我们还开发了一个小批量版本的SPDC方法，便于并行计算，并与加权采样概率的对偶变量，这具有更好的复杂性比均匀采样非归一化数据的扩展。无论是理论上还是经验上，我们都证明了SPDC方法比几种最先进的最优化方法具有相当或更好的性能。
2015-09-09 math.OC stat.ML
A first-order primal-dual method with adaptivity to local smoothness
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Linköping University（林雪平大学）
我们考虑的问题找到一个鞍点的凹凸目标$\min_x \max_y f(x) + \langle Ax, y\rangle - g^*(y)$，其中$f$是一个凸函数的局部Lipschitz梯度和$g$是凸的，可能是不光滑的。我们提出了一个自适应版本的Condat-Vestival算法，它交替原始梯度步骤和双邻近步骤。该方法通过一个简单的规则，涉及$\|A\|$和$f$最近计算的梯度的范数实现步长自适应。在标准假设下，我们证明了一个$\mathcal{O}(k^{-1})$遍历收敛速度。此外，当$f$也是局部强凸和$A$有充分的行秩秩时，我们证明了我们的方法以线性速度收敛。数值实验说明了算法的实用性能。
2021-10-28 cs.LG math.OC
Accelerated Primal-Dual Algorithms for Distributed Smooth Convex Optimization over Networks
Zhejiang University（浙江大学）；Purdue University（普渡大学）
本文提出了一种新的家庭的原始对偶为基础的分布式算法，光滑，凸，多智能体优化网络，只使用梯度信息和八卦通信。该算法还可以在计算和通信上采用加速。我们提供了一个统一的分析，他们的收敛速度，测量的Bregman距离相关的鞍点改造的分布式最优化问题。当采用加速，速率被证明是最佳的，在这个意义上，它匹配（根据建议的度量）现有的复杂性下界的分布式算法适用于这样一类问题，只使用梯度信息和八卦通信。分布式最小二乘回归问题的初步数值结果表明，该算法相比现有的分布式计划毫不逊色。
2020-03-03 cs.DC cs.LG math.OC
Primal-Dual Sequential Subspace Optimization for Saddle-point Problems
Huawei（华为）；Technion, IIT（以色列理工学院）
针对大规模鞍点问题，提出了一种新的序列子空间最优化方法。它迭代地解决了一系列的辅助鞍点问题的低维子空间，跨越的方向来自一阶信息的原始\emph{and}对偶变量。近端正则化被进一步部署以稳定优化过程。实验结果表明，相对于流行的一阶方法显着更好的收敛性。我们分析了子空间对算法收敛性的影响，并评估了其在各种确定性优化场景中的性能，如双线性游戏，基于ADMM的约束优化和生成对抗网络。
2020-08-20 cs.LG math.OC stat.ML
Simultaneous Learning and Optimization via Misspecified Saddle Point Problems
Department of Systems and Industrial Engineering, The University of Arizona（系统与工业工程系，亚利桑那大学）
本研究提出两种基于加速原始-对偶的算法，解决参数未知且需同步学习的错误设定鞍点问题，实现收敛速率保证并在投资组合优化中表现优越。
2025-10-06 cs.LG math.OC
Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文考虑凸-凹鞍点问题$\min_{x}\max_{y} f(x)+y^\top A x-g(y)$，其中$f$是光滑凸的，$g$是光滑强凸的.证明了当耦合矩阵$A$具有满列秩时，即使$f$不是强凸的，vanilla原-对偶梯度法也能达到线性收敛.我们的结果推广了以前的工作，要么要求$f$和$g$是二次函数，或要求$f$和$g$的邻近映射。我们采用了一种新的分析技术，在每次迭代中使用“鬼”更新作为参考，并显示在原始-对偶梯度法的迭代收敛到这个“鬼”序列。利用同样的技巧，我们进一步分析了具有有限和结构的凸凹鞍点问题的原始-对偶随机方差约减梯度（SVRG）方法。
2019-02-03 cs.LG math.OC stat.ML
Differentially Private Algorithms for the Stochastic Saddle Point Problem with Optimal Rates for the Strong Gap
The Ohio State University（俄亥俄州立大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
本文提出一种基于递归正则化的差分隐私算法，在 $(ε,δ)$-差分隐私下以近乎最优的强间隙率解决凸-凹随机鞍点问题，并揭示了算法稳定性与准确性之间的基本权衡。
2023-06-29 cs.CR cs.LG math.OC
A Variance-Reduced Stochastic Accelerated Primal Dual Algorithm
Rutgers Business School（罗格斯商学院）；Penn State University（宾夕法尼亚州立大学）
在这项工作中，我们考虑强凸强凹（SCSC）鞍点（SP）问题$\min_{x\in\mathbb{R}^{d_x}}\max_{y\in\mathbb{R}^{d_y}}f(x,y)$，其中$f$是$L$-光滑的，$f(.,y)$是$μ$-强凸的每个$y$，和$f(x,.)$是$μ$-强凹的每个$x$。在机器学习中，在稳健的经验风险最小化（ERM）的背景下，例如$\textit{distributionally robust}$ ERM，经常出现这样的问题，其中使用小批量数据点来估计部分梯度。假设我们可以访问无偏随机一阶预言，我们认为Zhang等人[2021]最近针对SCSC SP问题引入的随机加速原始对偶（SAPD）算法是一种针对梯度噪声的鲁棒方法。特别地，当动量参数被设置为零时，SAPD恢复众所周知的随机梯度下降上升（SGDA）作为特殊情况，并且当动量参数被适当地调谐时，即，将$κ\triangleq L/μ$依赖性从SGDA的$κ^2$改善为$κ$。我们提出了有效的方差减少战略SAPD的基础上Richardson-Romberg外推，并表明我们的方法在实践中和理论上提高SAPD。
2022-02-19 cs.LG math.OC
Stochastic Parallel Block Coordinate Descent for Large-scale Saddle Point Problems
考虑具有可分结构和非强凸函数的凸凹鞍点问题。我们提出了一个有效的随机块坐标下降方法，使用自适应原始-对偶更新，使灵活的并行优化大规模的问题。我们的方法共享的效率和灵活性块坐标下降方法的原始-对偶方法的简单性，并利用可分离的凹凸鞍点问题的结构。它能够解决广泛的机器学习应用，包括强大的主成分分析，Lasso，和特征选择组Lasso等理论和经验，我们证明了显着更好的性能比国家的最先进的方法在所有这些应用程序。
2015-11-23 stat.ML
A Stochastic Bregman Primal-Dual Splitting Algorithm for Composite Optimization
研究了求解实自反巴拿赫空间上凸凹鞍点问题的随机一阶原始-对偶方法，该方法利用Bregman发散和相对光滑性假设，在算法中考虑了梯度项计算的随机误差.证明了在较弱的假设下，遍历序列的每一个几乎必然弱簇点都是期望中的一个鞍点，且收敛速度为O（1/k）.在稍微严格的假设下，我们证明了逐点迭代几乎必然弱收敛到一个鞍点。在对目标函数作较强的凸性假设和对Bregman发散熵作全凸性假设的条件下，我们建立了逐点迭代几乎必然强收敛于一个鞍点的定理.我们的框架是通用的，并不需要强凸性的熵诱导Bregman分歧的算法。数值应用被认为包括熵正则化Wasserstein重心问题和正则化反问题的单纯形。
2021-12-22 math.OC stat.ML
Multi-Agent Reinforcement Learning via Double Averaging Primal-Dual Optimization
Chinese University of Hong Kong（香港中文大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of Minnesota（明尼苏达大学）
尽管单智能体强化学习取得了成功，但由于智能体之间的复杂交互，多智能体强化学习（MARL）仍然具有挑战性。受传感器网络、群机器人和电网等分散式应用的启发，我们研究了MARL中的策略评估，在MARL中，具有联合观察状态-动作对和私有局部奖励的代理合作学习给定策略的值。在本文中，我们提出了一个双平均方案，每个代理迭代执行平均在空间和时间，分别将相邻的梯度信息和本地奖励信息。我们证明了该算法以全局几何速度收敛到最优解。特别是，这样的算法是建立在原始-对偶的均方投影贝尔曼误差最小化问题，这引起了一个分散的凸-凹鞍点问题的重新制定。据我们所知，提出的双重平均原始-对偶优化算法是第一个实现快速有限时间收敛的分散凹凸鞍点问题。
2019-01-09 cs.LG math.OC stat.ML
A Primal-Dual-Critic Algorithm for Offline Constrained Reinforcement Learning
University of Michigan（密歇根大学）
本文提出PDCA算法，通过在评论家估计的拉格朗日函数上运行原始-对偶算法解决离线约束强化学习问题，仅需可集中性和可实现性假设即可实现样本高效学习并找到近似最优鞍点。
2023-10-19 cs.LG stat.ML
Training Generative Adversarial Networks via Primal-Dual Subgradient Methods: A Lagrangian Perspective on GAN
Northwestern University（西北大学）；Google Inc.（谷歌公司）
我们将生成对抗网络（GANs）的极大极小博弈与寻找凸优化问题的拉格朗日函数的鞍点联系起来，其中生成器输出和生成器输出的分布分别扮演原始变量和对偶变量的角色。该公式显示了标准GAN训练过程和凸优化的原始-对偶次梯度方法之间的联系。这种内在联系不仅为在函数空间中训练GANs提供了理论上的收敛性证明，而且还启发了一种新的训练目标函数。修正后的目标函数迫使发电机输出的分布根据原始-对偶次梯度方法沿方向更新。一个玩具的例子表明，所提出的方法是能够解决模式坍塌，在这种情况下，不能避免的标准GAN或Wasserstein GAN。在高斯混合合成数据和真实图像数据集上的实验证明了该方法在生成不同样本时的性能。
2018-02-06 cs.LG stat.ML
Auto-conditioned primal-dual hybrid gradient method and alternating direction method of multipliers
Georgia Institute of Technology（佐治亚理工学院）
本文提出自调节原始-对偶混合梯度法 AC-PDHG 和自调节交替方向乘子法 AC-ADMM，通过自适应估计线性算子范数消除线搜索，并结合加速方案在单预言机设置下达到最优迭代复杂度。
2024-10-02 cs.LG math.OC stat.ML
A Fully Stochastic Primal-Dual Algorithm
提出了一种新的求解复合最优化问题的随机原始对偶法。假设进入最优化问题的所有函数/运算符都作为统计期望给出。这些期望是未知的，但通过i.i.d.随着时间的推移而揭示。实现。证明了该算法收敛于拉格朗日函数的一个鞍点。在单调算子理论的框架下，收敛性证明依赖于最近的结果随机向前向后算法涉及随机单调算子。考虑了随机线性约束下的凸优化问题。
2020-06-22 math.OC stat.ML
Efficient Primal-Dual Algorithms for Large-Scale Multiclass Classification
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们开发了有效的算法来训练$\ell_1$ -正则化线性分类器与大维度$d$的特征空间，类数$k$，和样本量$n$。我们的重点是一类特殊的损失，其中包括，特别是，多类铰链和物流损失。我们的方法结合了几个想法：（i）传递到等价的鞍点问题与准双线性目标;（ii）应用随机镜像下降与适当的选择几何，保证了良好的精度界;（iii）设计非均匀采样计划近似的矩阵产品。特别是，对于多类铰链损失，我们提出了一个\textit{sublinear}算法，在$O(d+n+k)$算术运算中进行迭代。
2019-02-11 cs.LG math.OC stat.ML
Stochastic Variance Reduction Methods for Policy Evaluation
本文提出基于线性函数逼近的策略评估方法，通过将经验策略评估问题转化为二次凸-凹鞍点问题，并设计了双变量批量梯度方法及两种随机方差缩减算法，实现线性缩放和线性收敛。
2017-06-09 cs.AI cs.LG cs.SY
Fast Saddle-Point Algorithm for Generalized Dantzig Selector and FDR Control with the Ordered l1-Norm
本文基于一种新的凸凹鞍点（SP）重构，提出了一种求解广义Dantzig选择器（GDS）估计问题的原始-对偶近似外梯度算法。我们的新配方，使人们有可能采用鞍点优化的最新发展，以实现最佳的$O(1/k)$收敛速度。与最优非SP算法相比，我们不需要指定影响算法性能或解决方案质量的敏感参数。我们还提供了一个新的分析表明，在特殊情况下，即使没有强凸性或强光滑性的可能性，局部加速，以实现率的$O(1/k^2)$。作为应用，我们提出了一个GDS配备有序$\ell_1$ -范数，显示其错误发现率控制变量选择的属性。算法性能比较我们和其他替代品，包括线性ADMM，Nesterov的平滑，Nemirovski的镜像近端，和加速混合近端extragradiation技术。
2016-06-02 math.OC stat.ML
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization
使用大数据的机器学习通常涉及大型最优化模型。对于机器集群上的分布式优化，所有模型参数（优化变量）的频繁通信和同步可能非常昂贵。一个有前途的解决方案是使用参数服务器来存储模型参数的不同子集，并使用本地数据集在不同的机器上异步更新它们。本文研究了具有凸损失函数的大型线性模型的分布式优化问题，提出了一类特别适合于参数服务器异步分布式实现的随机原-对偶块协调算法.特别是，我们的工作与鞍点制定这样的问题，它允许同时数据和模型分区，并利用其结构的双随机坐标优化与方差减少（DSCOVR）。与其他一阶分布式算法相比，我们表明，DSCOVR可能需要更少的整体计算和通信量，和更少或没有同步。我们讨论了DSCOVR算法的实现细节，并在工业分布式计算系统上进行了数值实验。
2017-10-13 math.OC stat.ML
Saddle Networks: Structure-Preserving Architectures for Convex-Concave Functions
EDF Lab Paris-Saclay（法国电力集团巴黎萨克雷实验室）；FiMe, Laboratoire de Finance des Marchés de l’Energie（能源市场金融研究所）
提出一种结构保持的分离分解方法，并基于混合Monge型凸性条件证明一维逼近定理，进而设计出通过构造保持凸-凹几何的实用鞍点网络架构，在光滑、非光滑和高秩凸-凹测试函数上实现高精度。
2026-05-27 math.OC stat.ML
Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出混合雅可比和高斯-塞德尔块坐标更新方法，用于解决线性约束多块结构凸规划问题，通过选择合适的仿射混合矩阵实现理论收敛性，并在数值上优于随机对偶块坐标更新方法。
2018-01-03 cs.NA math.NA math.OC
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
