Momentum via Primal Averaging: Theoretical Insights and Learning Rate Schedules for Non-Convex Optimization
Facebook AI Research（脸书人工智能研究院）
动量方法现在在机器学习社区中广泛使用，用于训练非凸模型，例如深度神经网络。从经验上讲，它们优于传统的随机梯度下降（SGD）方法。在这项工作中，我们开发了一个李雅普诺夫分析的SGD与动量（SGD+M），利用等效重写的方法称为随机原始平均（SPA）的形式。在非凸情况下，这种分析比以前的理论要严格得多，因此，我们能够精确地了解SGD+M何时可能优于SGD，以及什么超参数计划将起作用以及为什么。
2021-06-01 cs.LG math.OC stat.ML
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory（阿贡国家实验室）；Wayne State University（韦恩州立大学）
在分布式机器学习中，跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器，实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中，我们解决了强凸，凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法，（加速）梯度上升多随机梯度下降（GA-MSGD），适用于分布式优化的拉格朗日固有地包含本地更新，因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是，对于强凸目标，（加速）GA-MSGD在通信轮次中实现线性收敛，尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质，使得对偶问题是强凹的。当与Catalyst框架集成时，我们的方法在各种设置中实现了接近最佳的通信复杂性，而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Duality between subgradient and conditional gradient methods
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）
给定一个凸优化问题及其对偶，有许多可能的一阶算法。在本文中，我们证明了镜像下降算法和推广条件梯度法的算法之间的等价性。这是通过凸对偶完成的，并且特别地意味着对于某些问题，例如对于具有非光滑损失的监督机器学习问题或由非光滑正则化器正则化的问题，原始次梯度方法和对偶条件梯度方法在形式上是等价的。对偶解释导致了一种镜像下降的线搜索形式，以及原始-对偶证书的收敛保证。
2013-10-18 cs.LG math.OC stat.ML
On the Implicit Bias of Gradient Descent for Temporal Extrapolation
Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
当使用递归神经网络（RNN）时，通常的做法是将训练模型应用于比训练中看到的更长的序列。这种“外推”用法偏离了传统的统计学习设置，在传统的统计学习设置中，在假设训练和测试分布相同的情况下提供保证。在这里，我们开始了解RNN何时可以外推，重点关注一个简单的情况，即数据生成分布是无记忆的。我们首先证明，即使有无限的训练数据，也存在完美插值的RNN模型（即，它们适合训练数据），但对于较长的序列外推很差。然后，我们表明，如果梯度下降用于训练，学习将收敛到完美的外推在某些假设的初始化。我们的研究结果补充了最近关于梯度下降的隐式偏差的研究，表明它在学习时间预测模型时在外推中起着关键作用。
2022-03-24 cs.LG
Momentum and Stochastic Momentum for Stochastic Gradient, Newton, Proximal Point and Subspace Descent Methods
The University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）
本文研究了几类具有重球动量的随机最优化算法。其中研究的方法有：随机梯度下降，随机牛顿，随机邻近点和随机对偶子空间上升。这是第一次研究这些方法中的几个动量变量。我们选择在上述所有方法都等效的环境中进行分析。我们证明了全局非渐近线性收敛速率的所有方法和各种措施的成功，包括原始函数值，原始迭代（在L2意义上），和对偶函数值。我们还表明，原始迭代收敛在L1意义上的加速线性速率。这是随机重球方法第一次显示线性速率（即，具有动量随机梯度下降法）。在较弱的条件下，我们建立了原始迭代的Cesaro平均的次线性收敛速度。此外，我们提出了一个新的概念，我们称之为随机动量，旨在减少执行动量步骤的成本。我们证明了线性收敛的随机方法与随机动量，并表明，在一些稀疏的数据制度和足够小的动量参数，这些方法享有更好的整体复杂性比方法与确定性动量。最后，我们对人工和真实数据集进行了广泛的数值测试，包括来自平均共识问题的数据。
2018-03-28 cs.LG cs.NA math.NA
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们解决的问题，使用小批量随机优化的支持向量机。我们发现，相同的数量，谱范数的数据，控制的并行化加速获得原始随机次梯度下降（SGD）和随机双坐标上升（SCDA）的方法，并使用它来获得新的变种的小批量SDCA。我们的保证，这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation
HSE University（俄罗斯高等经济大学）；Duisburg-Essen University（杜伊斯堡-埃森大学）；CMAP, UMR 7641, Ecole Polytechnique（巴黎高等理工学院CMAP研究所）；Mohamed Bin Zayed University of AI（马尔代夫人工智能大学）；Skolkovo Institute of Science and Technology（斯克尔科沃科技研究院）；Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯克洛夫数学研究所）
本文对常数步长SGD结合Richardson-Romberg外推的估计器进行非渐近分析，给出均方误差的展开，主项阶为n^{-1/2}，二阶项阶为n^{-3/4}，并推广到高阶矩，基于马尔可夫链的几何遍历性。
2025-08-07 cs.LG math.OC stat.ML
Anderson acceleration of coordinate descent
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；University of Genova（热那亚大学）
一阶方法的加速主要通过Nesterov惯性技术或通过非线性外推获得。后者已经知道最近的兴趣激增，成功应用于梯度和近端梯度技术。在多个机器学习问题上，坐标下降的性能明显优于全梯度方法。在实践中加速坐标下降并不容易：惯性加速的坐标下降在理论上是加速的，但可能并不总是导致实际的加速。我们提出了一个加速版本的坐标下降使用外推，在实践中表现出相当大的速度，惯性加速坐标下降和外推（近端）梯度下降相比。在最小二乘、Lasso、弹性网和逻辑斯谛回归上的实验验证了该方法的有效性。
2021-10-28 cs.LG stat.ML
NESTT: A Nonconvex Primal-Dual Splitting Method for Distributed and Stochastic Optimization
Iowa State University（爱荷华州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Princeton University（普林斯顿大学）
我们研究了一个随机和分布式算法的非凸问题，其目标包括一个总和的$N$非凸$L_i/N$ -光滑函数，加上一个非光滑正则化。提出的NonconvEx原始-对偶分裂（NESTT）算法将问题分解为$N$子问题，并利用基于增广拉格朗日的原始-对偶方案以分布式和随机的方式求解。通过特殊的非均匀采样，NESTT的一个版本使用$\mathcal{O}((\sum_{i=1}^N\sqrt{L_i/N})^2/ε)$梯度评估来实现$ε$ -稳态解，其可以比（邻近的）梯度下降方法好$\mathcal{O}(N)$倍。对于带多面体约束的非凸二次$\ell_1$惩罚问题，也达到了Q-线性收敛速率.此外，我们揭示了原始对偶的方法和一些原始的方法，如IAG/SAG/SAGA之间的根本联系。
2016-11-07 cs.LG math.OC stat.ML
What is a Good Metric to Study Generalization of Minimax Learners?
Massachusetts Institute of Technology（麻省理工学院）
极大极小优化已经成为许多机器学习（ML）问题的核心。虽然优化算法的收敛行为在极大极小设置中已经被广泛研究，但是它们在随机极大极小优化问题中的推广保证，即，在经验数据上训练的解决方案如何在看不见的测试数据上执行，已经相对地探索不足。一个基本的问题仍然是难以捉摸的：什么是一个很好的指标来研究推广的极大极小学习者？在本文中，我们的目的是回答这个问题，首先表明，原始风险，一个普遍的度量研究推广的最小化问题，最近也被采用研究推广的极大极小的，失败在简单的例子。因此，我们提出了一个新的度量来研究推广的极小极大学习者：原始差距，定义为原始风险之间的差异，其最小的所有模型，以规避问题。接下来，我们推导出非凹凸设置的原始间隙的推广误差界。作为我们分析的副产品，我们还解决了两个悬而未决的问题：建立原始风险和原始-对偶风险的泛化误差界，另一个现有的度量只有在全局鞍点存在时才有明确的定义，在强意义上，即，没有强约束或假设最大化和期望可以互换，而文献中需要这两个假设之一。最后，我们利用这个新的度量比较两个流行的算法-梯度下降上升（GDA）和梯度下降最大（GDMax）在随机极大极小优化的泛化行为。
2022-06-20 cs.LG math.OC stat.ML
Riemannian accelerated gradient methods via extrapolation
University of Sydney（悉尼大学）；Microsoft India（微软印度）
本文提出了一种简单的黎曼梯度法的加速格式，它是通过在流形上外推迭代来实现的。我们证明了当迭代由黎曼梯度下降法产生时，加速格式渐近地达到最优收敛速度，并且在计算上比最近提出的黎曼Nesterov加速梯度法更有利.我们的实验验证了新的加速策略的实际效益。
2022-08-13 cs.LG math.OC stat.ML
PDPGD: Primal-Dual Proximal Gradient Descent Adversarial Attack
Nanyang Technological University（南洋理工大学）
最先进的深度神经网络对小的输入扰动很敏感。自从发现这个有趣的漏洞以来，已经提出了许多防御方法，试图提高对抗性噪声的鲁棒性。需要快速准确的攻击来比较各种防御方法。然而，评估对抗鲁棒性已被证明是极具挑战性的。现有的范数最小化对抗攻击需要数千次迭代（例如Carlini和Wagner攻击），限于特定的范数（例如快速自适应边界），或者产生次优结果（例如Brendel和Bethge攻击）。另一方面，PGD攻击，这是快速，通用和准确的，忽略了范数最小化惩罚，并解决了一个更简单的扰动约束问题。在这项工作中，我们引入了一种快速，通用和准确的对抗攻击，优化了原来的非凸约束最小化问题。我们将优化对抗攻击优化问题的拉格朗日量解释为两个玩家的游戏：第一个玩家最小化对抗噪声的拉格朗日量;第二个玩家最大化正则化惩罚的拉格朗日量。我们的攻击算法同时优化原始和对偶变量，以找到最小的对抗扰动。此外，对于非光滑$l_p$ -范数最小化，如$l_{\infty}$ -，$l_1$ -和$l_0$ -范数，我们引入原始-对偶近端梯度下降攻击。我们在实验中表明，我们的攻击优于当前最先进的$l_{\infty}$ -，$l_2$ -，$l_1$-和$l_0$ -攻击MNIST，CIFAR-10和限制ImageNet数据集对非正则化和对抗训练模型。
2021-06-03 cs.CR cs.CV cs.LG
Extrapolation-based Prediction-Correction Methods for Time-varying Convex Optimization
KTH Royal Institute of Technology（KTH皇家理工学院）；University of Padova（帕多瓦大学）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
针对信号处理等领域的流式数据在线优化问题，提出基于外推的定制化预测-校正算法，通过算子理论分析收敛性并推导跟踪误差显式界，验证了其在多领域问题的实证性能。
2023-05-04 cs.LG cs.NA math.NA
The Stochastic Gradient Descent for the Primal L1-SVM Optimization Revisited
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
我们重新考虑随机（次）梯度方法的无约束原始L1-SVM优化。我们观察到，如果学习率与步数成反比，即，任何训练模式被提供给算法的次数，更新规则可以被转换成经典的具有容限的感知器中的一个，其中容限阈值随着步骤的数目线性地增加。此外，如果我们通过可能随机排列的训练集重复循环，则通过权重向量的扩展自然定义的对偶变量作为其上产生裕度误差的模式的线性组合，在每个完整循环结束时自动服从对偶优化中产生的框约束。这使得双拉格朗日运行下界的主要目标趋于它在最佳状态，并提供了一个上限的相对精度实现，这提供了一个有意义的停止标准。此外，我们提出了一种机制，重复呈现相同的模式，以保持上述性质的算法。最后，我们给出了实验证据，沿着这些线路构造的算法表现出显着改善的性能。
2014-01-25 cs.AI cs.LG
Robust Gradient Descent via Heavy-Ball Momentum with Predictive Extrapolation
Columbia University, Irving Medical Center（哥伦比亚大学，伊文斯医疗中心）
HB-SGE通过结合重力球动量与预测梯度外推，提供了一种在不良条件和非凸问题上更稳健的梯度下降方法，兼具稳定性与效率。
2025-12-10 cs.LG
Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems
Southern Methodist University（南卫理公会大学）
针对凸-强凹鞍点问题，提出单循环加速线性化原始-对偶方法（ALPD）及其非精确版本，通过结合加速梯度下降特性克服次优依赖，在半线性和一般非线性耦合下实现最优或显著改善的梯度复杂度。
2023-05-18 cs.LG math.OC
Dual Extrapolation for Sparse Generalized Linear Models
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；Institut de Mathématiques de Bourgogne（勃艮第数学研究所）；Univ Montpellier（蒙彼利埃大学）；IMAG（蒙彼利埃数学与建模研究所）
广义线性模型（GLM）形成了广泛的一类回归和分类模型，其中预测是输入变量的线性组合的函数。对于高维的统计推断，稀疏诱导正则化已被证明是有用的，同时提供统计保证。然而，解决由此产生的优化问题可能具有挑战性：即使是像坐标下降这样流行的迭代算法，也需要循环大量的变量。为了缓解这种情况，被称为筛选规则和工作集的技术可以通过逐步删除变量或解决一系列更小的问题来减少手头的优化问题的大小。对于这两种技术，显着的变量被确定由于凸对偶参数。在本文中，我们表明，对偶迭代的GLM表现出向量自回归（VAR）的行为后，符号识别，当原始问题的解决与邻近梯度下降或循环坐标下降。利用这种规律性，人们可以构建对偶点，提供更严格的最优性证书，提高筛选规则的性能，并帮助设计有竞争力的工作集算法。
2022-08-24 cs.LG stat.ML
Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA Paris（法国国家信息与自动化研究所巴黎分所）；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；IP Paris（巴黎理工学院）
机器学习中的许多问题都可以表述为在测度的向量空间上优化凸泛函。本文研究了无限维情形下镜像下降算法的收敛性。定义Bregman发散通过方向导数，我们推导出该计划的相对光滑和凸的泛函对的收敛性。这样的假设允许处理非光滑泛函，如Kullback-Leibler（KL）分歧。应用我们的结果到联合分布和KL，我们证明了连续情形下熵最优输运的Sinkhorn原迭代对应于镜像下降，并得到了它的（次）线性收敛的新证明.我们还表明，期望最大化（EM）总是可以正式书面作为一个镜像下降。当只优化的潜在分布，而固定的混合物参数-这对应于Richardson-露西反卷积方案在信号处理-我们得到次线性收敛率。
2022-10-11 cs.LG math.OC stat.ML
On the Convergence of A Family of Robust Losses for Stochastic Gradient Descent
Centre for Quantum Computation and Intelligent Systems（量子计算与智能系统中心）；University of Technology Sydney（悉尼科技大学）
采用凸损失函数的随机梯度下降（SGD）算法的收敛性已被广泛研究。然而，使用凸损失的普通SGD方法不能很好地执行噪声标签，这对SGD方法中原始变量的更新产生不利影响。不幸的是，噪声标签在现实世界的应用中无处不在，例如众包。为了处理噪声标签，在本文中，我们提出了一个家庭的SGD方法的鲁棒损失。通过采用我们的鲁棒损失，SGD方法成功地减少了噪声标签对原始变量每次更新造成的负面影响。我们不仅证明了采用鲁棒损失的SGD方法的收敛速度为O（1/T），而且给出了两种典型鲁棒损失的鲁棒性分析。在6个真实数据集上的综合实验结果表明，在大多数情况下，使用鲁棒损失的SGD方法比其他基线方法具有更好的鲁棒性，并且收敛速度更快。
2016-05-05 cs.LG
Probabilistic Rollouts for Learning Curve Extrapolation Across Hyperparameter Settings
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们提出了概率模型，可以基于具有可变长度学习曲线的训练数据外推迭代机器学习算法的学习曲线，例如用于训练深度网络的随机梯度下降。我们研究这个框架的基础上随机森林和贝叶斯循环神经网络的实例。我们的实验表明，当外推使用不同超参数设置训练的神经网络的性能时，这些模型比来自超参数优化文献的最新模型产生更好的预测。
2019-10-10 cs.LG stat.ML
Faster Coordinate Descent via Adaptive Importance Sampling
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
坐标下降法采用随机部分更新的决策变量，以解决大规模的凸优化问题。在这项工作中，我们引入了新的自适应规则，随机选择他们的更新。所谓自适应，我们的意思是我们的选择规则是基于对偶残差或原始-对偶间隙估计，并且可以在每次迭代时改变。我们从理论上描述了我们的选择规则的性能，并证明了最先进的改进，并将我们的理论和算法扩展到一般的凸目标。用铰链损失支持向量机和Lasso的数值实验证实了理论与实践的一致性。
2017-03-07 cs.CV cs.LG math.OC
Beyond Short Steps in Frank-Wolfe Algorithms
Zuse Institute Berlin（柏林Zuse研究所）；Carlos III University（卡洛斯三世大学）；Technische Universität Berlin（柏林工业大学）
本文通过利用函数平滑性提出新技术以增强 Frank-Wolfe 算法，引入结合原始对偶保证的乐观框架与广义短步长策略，并证明其具有更紧的收敛速率和更优的实际性能。
2025-01-30 cs.LG math.OC
A Variance-Reduced Stochastic Accelerated Primal Dual Algorithm
Rutgers Business School（罗格斯商学院）；Penn State University（宾夕法尼亚州立大学）
在这项工作中，我们考虑强凸强凹（SCSC）鞍点（SP）问题$\min_{x\in\mathbb{R}^{d_x}}\max_{y\in\mathbb{R}^{d_y}}f(x,y)$，其中$f$是$L$-光滑的，$f(.,y)$是$μ$-强凸的每个$y$，和$f(x,.)$是$μ$-强凹的每个$x$。在机器学习中，在稳健的经验风险最小化（ERM）的背景下，例如$\textit{distributionally robust}$ ERM，经常出现这样的问题，其中使用小批量数据点来估计部分梯度。假设我们可以访问无偏随机一阶预言，我们认为Zhang等人[2021]最近针对SCSC SP问题引入的随机加速原始对偶（SAPD）算法是一种针对梯度噪声的鲁棒方法。特别地，当动量参数被设置为零时，SAPD恢复众所周知的随机梯度下降上升（SGDA）作为特殊情况，并且当动量参数被适当地调谐时，即，将$κ\triangleq L/μ$依赖性从SGDA的$κ^2$改善为$κ$。我们提出了有效的方差减少战略SAPD的基础上Richardson-Romberg外推，并表明我们的方法在实践中和理论上提高SAPD。
2022-02-19 cs.LG math.OC
Empirical Risk Minimization with Shuffled SGD: A Primal-Dual Perspective and Improved Bounds
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对洗牌SGD理论界过于悲观的问题，从原始-对偶视角分析线性预测器的经验风险最小化，提出依赖数据矩阵的细粒度复杂度界，预测收敛速度更快且实验验证更紧。
2024-02-07 cs.LG math.OC
Variational Principles for Mirror Descent and Mirror Langevin Dynamics
Columbia University（哥伦比亚大学）；University of Illinois（伊利诺伊大学）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
镜像下降法是由Nemirovski和Yudin在20世纪70年代提出的一种原始-对偶凸优化方法，它可以通过选择强凸势函数来适应当前最优化问题的几何形状。它在各种应用中作为基本的原语出现，包括大规模优化，机器学习和控制。本文提出了一种变分形式的镜像下降及其随机变量，镜像朗之万动力学。受Brezis和Ekeland关于梯度流的变分原理的经典工作的启发，本文的主要思想是证明镜像下降是作为某个最优控制问题的闭环解出现的，而Bellman值函数是由初始条件和目标函数的全局极小值之间的Bregman发散给出的。
2023-03-16 cs.LG math.OC
Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文定义了随机复合极小极大优化问题，提出带复合校正的下降上升算法CODA及其方差缩减版CODA+，在原变量、对偶变量及双变量复合的多类凸凹设定下证明了收敛速率，为领域自适应等场景提供理论指导。
2024-08-22 cs.LG math.OC
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech（加泰罗尼亚理工大学-巴塞罗那理工大学）；University of Minnesota（明尼苏达大学）
矩阵完成和外推（MCEX）在这里处理再生核希尔伯特空间（RKHS），以考虑现有数据中的先验信息。针对快速和低复杂度的求解器，该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现，而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明，该方法比交替最小二乘（ALS）或随机梯度下降（SGD）等广泛使用的方法执行得更快，并且恢复误差减少，特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Linear Convergence of Accelerated Stochastic Gradient Descent for Nonconvex Nonsmooth Optimization
本文研究了求解非凸非光滑最优化问题的随机梯度下降（SGD）方法，提出了一种结合方差缩减技术和Nesterov外推技术的加速SGD方法。此外，基于局部误差界条件，我们建立了该方法的线性收敛性，以获得非凸优化的稳定点。特别地，我们证明了不仅生成的序列线性收敛到问题的一个稳定点，而且相应的目标值序列也线性收敛。最后，数值实验验证了该方法的有效性.据我们所知，它首先证明了加速SGD方法线性收敛到非凸优化的局部极小值。
2019-02-14 cs.LG math.OC stat.ML
The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization
Command and Control Engineering College, Army Engineering University of PLA（中国人民解放军陆军工程大学指挥与控制工程学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Army Academy Of Artillery and Air Defense（陆军防空兵学院）
Nesterov提出的外推策略，在处理光滑凸目标时，可以使梯度下降方法的收敛速度提高几个数量级，在训练机器学习任务中取得了巨大的成功。本文基于Nesterov外推理论，研究了求解非光滑凸优化问题的投影次梯度（PSG）方法的个别迭代的收敛性，称之为个别收敛性。我们证明了Nesterov的外推有实力使PSG的个别收敛最佳的非光滑问题。鉴于这一考虑，一个直接修改的次梯度评估足以实现最佳的个人收敛的强凸问题，这可以被视为一个有趣的一步，向开放的问题随机梯度下降（SGD）由Shamir提出。此外，我们给出了一个扩展的派生算法来解决正则化的学习任务，在随机设置的非光滑损失。与其他国家的最先进的非光滑方法相比，派生的算法可以作为一种替代的基本SGD，特别是在应对机器学习问题，其中需要一个单独的输出，以保证正则化结构，同时保持最佳的收敛速度。通常情况下，我们的方法是适用于解决大规模的$l$ 1正则铰链损失学习问题的有效工具。几个比较实验表明，我们的个人输出不仅达到了最佳的收敛速度，但也保证了更好的稀疏性比平均的解决方案。
2020-06-08 cs.LG stat.ML
Nonsmooth Nonconvex-Nonconcave Minimax Optimization: Primal-Dual Balancing and Iteration Complexity Analysis
University of British Columbia（不列颠哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）；The Chinese University of Hong Kong（香港中文大学）
针对现有梯度下降-上升类算法无法处理非光滑非凸-非凹极小极大问题的局限，提出smoothed PLDA算法，构建基于原始-对偶误差界的分析框架，证明其迭代复杂度上界及部分场景下的最优性，还建立了平稳性概念间的定量关系。
2025-01-15 cs.LG math.OC
PDNet: Semantic Segmentation integrated with a Primal-Dual Network for Document binarization
Uppsala University（乌普萨拉大学）
数字文档的二值化是将文档图像中的每个像素分类为属于背景（羊皮纸/纸张）或前景（文本/墨水）的任务。历史文献经常受到破坏，这使得这项任务具有挑战性。在当前的工作中，提出了一种深度神经网络架构，该架构将完全卷积网络与展开的原始-对偶网络相结合，可以端到端训练该网络，以在七个数据集中的四个数据集上实现最先进的二值化。文档二值化被公式化为能量最小化问题。训练全卷积神经网络用于像素的语义分割，其提供与每个像素相关联的标记成本。该成本估计沿着边缘被细化，以使用原始-对偶方法来补偿前景类的任何过高或过低的估计。我们提供了必要的概述近端操作，有利于理论基础所需的训练使用梯度下降算法的原始-对偶网络。由于原始对偶方法的经常性遇到的数值不稳定性处理。我们提供了在文档二值化竞争数据集上的实验结果，以及网络稳定性和性能所需的网络变化和超参数调整。根据竞争指标，在合成数据集上进行预训练的网络表现更好。
2018-05-17 cs.LG stat.ML
Constrained Sampling with Primal-Dual Langevin Monte Carlo
University of Stuttgart（斯图加特大学）；ETH Zürich（苏黎世联邦理工学院）；CREST, ENSAE, IP Paris（CREST、ENSAE、巴黎理工学院）
针对带非线性期望统计约束的分布采样问题，提出离散时间原始-对偶 PD-LMC 算法，并在凸性与对数 Sobolev 不等式假设下证明其收敛性。
2025-01-07 cs.LG math.OC stat.ML
On the Effectiveness of Richardson Extrapolation in Machine Learning
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
理查森外推法是数值分析中的经典技术，它可以通过线性组合从其超参数之一的不同值获得的多个估计来改善估计方法的逼近误差，而无需详细了解原始估计方法的内部结构。本文的主要目标是研究Richardson外推法何时可以用于机器学习，超越现有的应用程序步长适应随机梯度下降。我们确定两种情况下，理查森插值可以是有用的：（1）当超参数是现有迭代优化算法的迭代次数时，应用于平均梯度下降和Frank-Wolfe算法（其中我们获得多面体上$O(1/k^2)$的渐近速率，其中$k$是迭代次数），以及（2）当它是正则化参数时，应用Nesterov平滑技术最小化非光滑函数（其中我们获得渐近率接近$O(1/k^2)$的非光滑函数），和岭回归。在所有这些情况下，我们表明，外推技术的性能没有显着的损失，但有时具有很强的收益，我们提供了理论依据的渐近发展，这种收益的基础上，以及经验说明经典问题的机器学习。
2020-07-17 cs.LG cs.NA math.NA
Stochastic Variance Reduced Primal Dual Algorithms for Empirical Composition Optimization
University of Florida（佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
我们考虑一个一般的经验组合最优化问题，其中存在存在的非线性损失函数内外的经验平均值。这样的问题在各种机器学习应用中都很有趣，并且不能通过标准方法（如随机梯度下降）直接解决。我们采取了一种新的方法来解决这个问题，通过重新制定原来的最小化目标到一个等效的最小-最大目标，它带来了所有的经验平均值，原来的非线性损失函数内。我们利用重组问题的丰富结构，并开发了一个随机的原始对偶法，SVRPDA-I，有效地解决问题。我们对该算法进行了广泛的理论分析，得到了该算法的收敛速度、计算复杂度和存储复杂度。特别是，该算法收敛于线性速率时，问题是强凸的。此外，我们还开发了一个近似版本的算法，命名为SVRPDA-II，这进一步降低了内存需求。最后，我们评估我们提出的算法在几个现实世界的基准，实验结果表明，所提出的算法显着优于现有的技术。
2019-10-31 cs.LG math.OC
Faster Acceleration for Steepest Descent
Purdue University（普渡大学）
针对非欧光滑凸优化问题，提出一种基于$\textit{differing}$范数下原对偶序列与插值参数耦合的新型加速一阶方法，突破了最速下降的维度依赖障碍，显著降低了迭代复杂度。
2025-06-17 cs.LG math.OC stat.ML
Linear Coupling: An Ultimate Unification of Gradient and Mirror Descent
Institute for Advanced Study（高等研究院）；Boston University（波士顿大学）
本文提出线性耦合方法，通过结合梯度下降和镜像下降，统一了两种优化算法，重新解释了Nesterov加速梯度方法，并扩展至其他无法应用Nesterov方法的场景。
2016-11-07 cs.DS cs.LG cs.NA
Stochastic Smoothed Primal-Dual Algorithms for Nonconvex Optimization with Linear Inequality Constraints
University of British Columbia（不列颠哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出单循环随机平滑原始-对偶算法求解带线性不等式约束的非凸优化问题，基于 Moreau 包络的非精确梯度下降框架，达到最优 O(ε⁻⁴) 样本复杂度，并可借助方差缩减改进至 O(ε⁻³)，避免子问题和大批量。
2025-04-10 cs.LG math.OC
Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency
The Pennsylvania State University（宾夕法尼亚州立大学）
局部SGD是一种很有前途的方法，以克服分布式学习中的通信开销，减少工作节点之间的同步频率。尽管局部SGD在经验风险最小化方面取得了最新的理论进展，但其在极大极小优化中的效率仍然未被探索。受大规模极小极大学习问题的启发，例如对抗鲁棒学习和训练生成对抗网络（GANs），我们提出了局部随机梯度下降Ascent（局部SGDA），其中原始变量和对偶变量可以在本地进行训练并定期平均，以显着减少通信次数。我们表明，本地SGDA可以证明优化分布式极大极小问题的同质和异构数据，减少通信数量，并建立强凸-强凹和非凸-强凹设置下的收敛速度。此外，我们提出了一种新的变体局部SGDA+，解决非凸-非凹问题。我们给佐证不同的分布式极大极小问题的经验证据。
2021-02-25 cs.LG math.OC
An Efficient Primal-Dual Prox Method for Non-Smooth Optimization
Michigan State University（密歇根州立大学）；NEC Labs America（美国电气股份有限公司实验室）
研究了机器学习中的非光滑优化问题，其中损失函数和正则化函数都是非光滑函数。以往关于有效经验损失最小化的研究假设了光滑损失函数或强凸正则化子，使得它们不适合非光滑优化。我们开发了一个简单而有效的方法，为家庭的非光滑优化问题的对偶形式的损失函数是双线性的原始和对偶变量。我们铸造一个非光滑的优化问题到一个极大极小优化问题，并开发了一个原始的对偶prox方法，解决极大极小优化问题的速度$O(1/T)$ {假设的近端步骤可以有效地解决}，显着快于一个标准的次梯度下降法，具有$O(1/\sqrt{T})$收敛速度。我们的实证研究验证了所提出的方法的各种非光滑优化问题，无处不在的机器学习通过比较它的国家的最先进的一阶方法的效率。
2013-07-26 cs.LG
Universal Gradient Descent Ascent Method for Nonconvex-Nonconcave Minimax Optimization
CUHK（香港中文大学）；Stanford University（斯坦福大学）
本文提出双重平滑梯度下降上升方法（DS-GDA），以统一超参数求解具有单侧KŁ性质的非凸-非凹极小极大问题，并在无正则性条件下也能避免极限环，是首个在多个挑战性问题上收敛的一阶算法。
2023-10-30 cs.LG math.OC stat.ML
Interpolatron: Interpolation or Extrapolation Schemes to Accelerate Optimization for Deep Neural Networks
Peking University（北京大学）；Megvii（旷视科技）
在本文中，我们探讨了大规模非凸优化问题的加速技术，特别关注深度神经网络。外推法是求解凸优化问题的一种经典的加速随机梯度下降方法，但它在非凸优化问题中的表现并不理想。或者，我们提出了一个插值方案，以加速非凸优化和调用的方法Interpolatron。我们解释Interpolatron背后的动机，并进行彻底的实证分析。深度DNN的经验结果（例如，98-在CIFAR-10和ImageNet上进行的两个实验（200层ResNet和200层ResNet）表明，Interpolatron可以比最先进的方法（如带有动量的SGD和Adam）更快地收敛。此外，安德森的加速，其中的混合系数的最小二乘估计计算，也可以用来提高性能。Interpolatron和Anderson的加速都很容易实现和调整。在一定的正则性假设下，证明了插值算法具有线性收敛速度.
2018-05-17 cs.AI cs.LG math.OC
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method
NYU（纽约大学）；Rutgers University（罗格斯大学）；MIT（麻省理工学院）
我们介绍了一个框架下的分散优化设置，局部函数是光滑的，强凸的设计原始方法。我们的方法包括近似求解加速增广拉格朗日方法引起的一系列子问题，从而提供了一种系统的方法来推导几个著名的分散算法，包括EXTRA arXiv：1404.6264和SSDA arXiv：1702.08704。当与加速梯度下降相结合时，我们的框架产生了一种新的原始算法，其收敛速度是最佳的，并且与最近导出的下界相匹配。我们提供的实验结果表明，所提出的算法对高度病态的问题的有效性。
2020-06-11 cs.LG math.OC
A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
Laboratoire J.A. Dieudonné（拉格朗日J.A.迪乌多夫实验室）；Université Côte d'Azur（蔚蓝海岸大学）
本文提出了一种通用的块坐标下降框架，用于解决非凸复合优化问题，并应用于稀疏精度矩阵估计，提供收敛保证和加速迭代次数。
2026-01-29 cs.LG math.OC
Fast Margin Maximization via Dual Acceleration
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Toyota Technical Institute of Chicago（芝加哥丰田技术研究所）
我们提出并分析了一种基于动量的梯度方法，用于训练具有指数尾损失的线性分类器（例如，指数或逻辑损失），其以$\widetilde{\mathcal{O}}(1/t^2)$的速率最大化可分离数据的分类裕度。这与标准梯度下降的速率$\mathcal{O}(1/\log(t))$和归一化梯度下降的速率$\mathcal{O}(1/t)$形成对比。这种基于动量的方法是通过最大边际问题的凸对偶导出的，特别是通过将Nesterov加速应用于该对偶，从而在原始中产生简单直观的方法。这种对偶视图也可以用于导出随机变量，其通过对偶变量执行自适应非均匀采样。
2021-08-22 cs.LG math.OC stat.ML
Smooth Primal-Dual Coordinate Descent Algorithms for Nonsmooth Convex Optimization
提出了一种新的适用于凸优化模板的随机坐标下降法。我们的分析依赖于一个新的组合的四个想法适用于原始-对偶间隙函数：平滑，加速，同伦和坐标下降与非均匀采样。因此，我们的方法具有第一个收敛速度保证之间的坐标下降法，这是最有名的各种常见的结构假设下的模板。我们提供了数值证据来支持的理论结果与国家的最先进的算法进行比较。
2017-11-09 math.OC stat.ML
Policy-based Primal-Dual Methods for Concave CMDP with Variance Reduction
Department of Industrial Engineering and Operations Research, UC Berkeley（加州大学伯克利分校工业工程与运筹学系）；Department of Mechanical Engineering, UC Berkeley（加州大学伯克利分校机械工程系）
针对凹约束马尔可夫决策过程，提出方差缩减的原始-对偶策略梯度算法，利用隐藏凹性实现全局收敛，并证明其收敛速率与样本复杂度，通过悲观项实现零约束违反。
2024-05-26 cs.LG math.OC
A theory of independent mechanisms for extrapolation in generative models
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；ENS Rennes（雷恩高等师范学校）
生成模型可以被训练来模拟复杂的经验数据，但它们对于在以前未观察到的环境中进行预测有用吗？促进这种外推能力的直观想法是使这种模型的架构反映真实数据生成过程的因果图，使得可以独立于其他节点对每个节点进行干预。然而，该图的节点通常是不可观察的，导致过度参数化和缺乏因果结构的可识别性。我们开发了一个理论框架，以解决这一具有挑战性的情况下，通过定义一个较弱的形式的可识别性，基于机制的独立性原则。我们在玩具示例上证明，经典的随机梯度下降会阻碍模型的外推能力，这表明在训练过程中应明确执行机制的独立性。在真实世界数据上训练的深度生成模型上的实验支持了这些见解，并说明了如何利用这些模型的外推功能。
2021-12-31 cs.CV cs.LG stat.ML
Primal-dual mirror descent for the stochastic programming problems with functional constraints
针对带函数约束的凸优化问题，提出了原始-对偶随机镜像下降算法。我们得到的收敛速率的大偏差的概率。
2017-07-30 math.OC
Primal-dual extrapolation methods for monotone inclusions under local Lipschitz continuity
University of Minnesota（明尼苏达大学）
针对一个极大单调算子与一个局部Lipschitz连续算子之和的单调包含问题，提出带回溯线搜索的原始-对偶外推方法，将非强单调情形的运算复杂度从O(ε^{-2})提升至O(ε^{-1}log ε^{-1})，并推广至凸锥优化、鞍点与变分不等式问题。
2024-08-31 cs.LG cs.NA math.NA
Extrapolation for Large-batch Training in Deep Learning
EPFL（洛桑联邦理工学院）
深度学习网络通常通过随机梯度下降（SGD）方法来训练，该方法通过估计训练数据的非常小的部分上的梯度来迭代地改进模型参数。当将批量大小增加到训练数据的相当大一部分以改善训练时间时，面临的主要障碍是性能的持续下降（泛化间隙）。为了解决这个问题，最近的工作建议在计算随机梯度时向模型参数添加小扰动，并报告由于平滑效应而提高的泛化性能。然而，人们对这种方法知之甚少;它通常需要特定于模型的噪声和微调。为了减轻这些缺点，我们建议使用计算效率高的外推（extragradiation）来稳定优化轨迹，同时仍然受益于平滑，以避免尖锐的最小值。从优化的角度来看，这种原则性的方法是有充分依据的，我们表明，在我们提出的统一框架中可以涵盖许多变化。我们证明了这种新方案的收敛性，并严格评估了其在ResNet，LSTM和Transformer上的经验性能。我们证明，在各种实验中，该计划允许扩展到比以前更大的批量，同时达到或超过SOTA的准确性。
2020-06-10 cs.LG stat.ML
Unrolled Neural Networks for Constrained Optimization
Department of Electrical and Systems Engineering, University of Pennsylvania（电气与系统工程系，宾夕法尼亚大学）
本文提出了一种基于展开神经网络的约束优化方法，通过约束学习实现对偶上升动力学，有效解决混合整数二次规划和无线网络功率分配问题。
2026-10-14 cs.LG
On the Complexity of a Practical Primal-Dual Coordinate Method
UW-Madison（威斯康星大学麦迪逊分校）；EPFL（洛桑联邦理工学院）
我们证明了随机外推和坐标下降的原始对偶法（PURE-CD）的复杂性界，该算法已被证明在求解具有双线性耦合的凸-凹Min-Max问题时具有良好的实际性能。我们的复杂性界限匹配或改善文献中最知名的结果，密集和稀疏（强）凸（强）凹问题。
2022-01-19 cs.LG math.OC stat.ML
On the asymptotic behavior of a higher-order extrapolation primal-dual interior-point method for nonlinear programming
本文研究非线性规划原始-对偶内点法中利用高阶导数信息进行轨迹外推的渐近收敛行为，证明足够高阶时仅靠外推即可达到障碍参数减小速率，并给出二次规划数值验证。
2025-07-02 math.OC
Quantifying Model Uncertainty in Inverse Problems via Bayesian Deep Gradient Descent
University College London（伦敦大学学院）
逆问题重建方法的最新进展利用了强大的数据驱动模型，例如，深度神经网络。这些技术已经证明了几个成像任务的最先进的性能，但他们往往不提供所获得的重建的不确定性。在这项工作中，我们开发了一个可扩展的，数据驱动的，知识辅助的计算框架，通过贝叶斯神经网络来量化模型的不确定性。该方法建立在深度梯度下降（最近开发的贪婪迭代训练方案）的基础上，并对其进行了扩展，并在概率框架内对其进行了重铸。可扩展性是通过混合架构实现的：只有每个块的最后一层是贝叶斯的，而其他层仍然是确定性的，并且在训练中是贪婪的。该框架在一种代表性的医学成像模式上展示，即具有稀疏视图或有限视图数据的计算机断层扫描，并且相对于最先进的基准表现出有竞争力的性能，例如，全变分、深度梯度下降和学习的原始-对偶。
2020-10-19 cs.CV cs.LG eess.IV
