Blockwise Adaptivity: Faster Training and Better Generalization in Deep Learning
Hong Kong University of Science and Technology（香港科技大学）
具有坐标方向自适应步长的随机方法（如RMSprop和Adam）已广泛用于训练深度神经网络。尽管它们的收敛速度很快，但它们的泛化能力比随机梯度下降差。在本文中，通过重新审视Adagrad的设计，我们建议将网络参数分成块，并使用分块自适应步长。直观地说，分块自适应比对单个坐标的自适应更不积极，并且可以在自适应和泛化之间取得更好的平衡。我们从理论上表明，提出的块自适应梯度下降具有可比的收敛速度，其对应的坐标明智的自适应步长，但更快的一些常数。我们还研究了它的一致稳定性，并表明，分块自适应可以导致较低的泛化误差比坐标式自适应。实验结果表明，分块自适应梯度下降收敛速度快，提高了Nesterov的加速梯度和亚当的泛化性能。
2019-05-23 cs.LG math.OC stat.ML
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond
KAIST（韩国科学技术院）；MIT（麻省理工学院）
在分布式学习中，局部SGD（也称为联邦平均）及其简单的基线小批量SGD是广泛研究的优化方法。这些方法的大多数现有的分析假设独立和无偏的梯度估计通过与替换抽样。相比之下，我们研究了基于洗牌的变体：minibatch和local Random Reshuffling，它们在没有替换的情况下绘制随机梯度，因此更接近实践。对于光滑函数满足Polyak-Jesojasiewicz条件，我们得到的收敛界（在大时代制度），这表明这些洗牌为基础的变种收敛速度比他们的替换同行。此外，我们证明了匹配下界表明我们的收敛性分析是紧的。最后，我们提出了一种算法修改称为同步洗牌，导致收敛速度快于我们的下限在近均匀设置。
2022-03-23 cs.LG math.OC stat.ML
Faster Activity and Data Detection in Massive Random Access: A Multi-armed Bandit Approach
ShanghaiTech University（上海科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文研究了大规模物联网设备的免授权随机接入问题。通过在签名序列中嵌入数据符号，可以实现联合设备活动检测和数据解码，然而，这显著增加了计算复杂性。坐标下降算法，享受一个低的每次迭代的复杂性已被用来解决检测问题，但以前的作品通常采用随机坐标选择策略，导致收敛速度慢。在本文中，我们开发了多臂强盗的方法，通过坐标下降，这使得一个微妙的平衡之间的探索和开发坐标选择更有效的检测。具体来说，我们首先提出了一个基于强盗的策略，即，Bernoulli采样，通过学习哪些坐标将导致目标函数的更积极的下降来加快坐标下降的收敛速度。为了进一步提高算法的收敛速度，建立了一个多臂内强盗问题来学习Bernoulli采样的探索策略。收敛速度分析和仿真结果表明，所提出的基于强盗算法享有更快的收敛速度与更低的时间复杂度相比，国家的最先进的算法。此外，我们提出的算法适用于不同的场景，例如，低精度模数转换器（ADC）的大规模随机访问。
2020-01-28 cs.LG eess.SP stat.ML
Stagewise Training Accelerates Convergence of Testing Error Over SGD
The University of Iowa（爱荷华大学）；Alibaba Group（阿里巴巴集团）
逐步训练策略广泛用于学习神经网络，其运行随机算法（例如，SGD）以相对较大的步长（也称为学习率）开始，并在多次迭代后以几何方式减小步长。已经观察到，在训练误差和测试误差方面，逐阶段SGD比具有多项式衰减步长的香草SGD具有快得多的收敛。{ \it但如何解释这一现象在很大程度上被现有的研究所忽视。}本文为解释这种快速收敛提供了一些理论依据。特别是，我们考虑了一个阶段式的训练策略，以最大限度地减少经验风险，满足Polyak-Jasojasiewicz（PL）条件，这已被观察/证明为神经网络，也适用于一个广泛的家庭的凸函数。对于凸损失函数和两类接近凸函数的“良好行为”非凸目标，我们在PL条件下建立了比香草SGD更快的阶段训练收敛，无论是训练误差还是测试误差。对深度残差网络的阶段式学习的实验表明，它满足一种非凸性假设，因此可以用我们的理论来解释。独立的利益，所考虑的非凸损失函数的测试误差界的维数和范数独立。
2019-02-02 cs.LG math.OC stat.ML
On the convergence properties of a $K$-step averaging stochastic gradient descent algorithm for nonconvex optimization
Georgia Institute of Technology（佐治亚理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
尽管异步随机梯度下降方法（ASGD）在解决大规模机器学习问题中很受欢迎，但其实际性能并不像理论结果所表明的那样好。我们采用并分析了一种同步K步平均随机梯度下降算法，我们称之为K-AVG。我们建立了非凸目标的K-AVG的收敛结果，并解释了为什么K步延迟是必要的，并导致更好的性能比传统的并行随机梯度下降，这是一个特殊的情况下，K-AVG与$K=1$。我们还表明，K-AVG规模优于ASGD。K-AVG相对于ASGD的另一个优点是它允许更大的步长。在$128$ GPU集群上，K-AVG比ASGD实现更快，并为\cifar数据集实现更好的精度和更快的收敛。
2018-05-16 cs.DC cs.LG stat.ML
Permutation-Based SGD: Is Random Optimal?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近一系列基于置换的SGD的突破性结果证实了一个广泛观察到的现象：随机置换比置换采样提供更快的收敛速度。然而，随机是最优的吗？我们表明，这在很大程度上取决于我们正在优化的函数，最佳和随机排列之间的收敛差距可以从指数变化到不存在。我们首先表明，对于1维强凸函数，光滑的二阶导数，存在排列，提供指数更快的收敛速度相比，随机。然而，对于一般的强凸函数，随机置换是最优的。最后，我们表明，对于二次，强凸函数，有容易构造的排列，导致加速收敛相比，随机。我们的研究结果表明，一般的收敛特性的最佳排列不能捕捉个别函数类的细微差别，并可能错误地表明，一个不能做得比随机更好。
2021-11-25 cs.LG math.OC stat.ML
FedCluster: Boosting the Convergence of Federated Learning via Cluster-Cycling
University of Utah（犹他大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
本研究提出新型联邦学习框架FedCluster，通过集群循环多轮元更新提升收敛效率，理论和实验均证明其在设备数据异质场景下收敛速度优于传统FedAvg算法。
2020-09-22 cs.LG math.OC stat.ML
On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
循环块坐标下降型（CBCD型）方法，它执行迭代更新的几个坐标（块）同时在整个过程中，已显示出显着的计算性能，解决强凸极小化问题。典型的应用包括许多流行的统计机器学习方法，如弹性网络回归，岭惩罚逻辑斯谛回归和稀疏加法回归。现有的优化文献已经表明，对于强凸最小化，CBCD型方法达到$\mathcal{O}(p\log(1/ε))$的迭代复杂度，其中$ε$是目标值的预定精度，并且$p$是块的数量。然而，这样的迭代复杂度明确地取决于$p$，并且因此比梯度下降（GD）方法的复杂度$\mathcal{O}(\log(1/ε))$至少差$p$倍。为了弥合这一理论差距，我们提出了一个改进的CBCD型方法的收敛性分析。特别是，我们首先表明，对于一个家庭的二次最小化问题，迭代复杂性$\mathcal{O}(\log^2(p)\cdot\log(1/ε))$的CBCD型方法相匹配的GD方法在$p$的依赖，高达$\log^2 p$的因素。因此，我们的复杂性边界比现有的边界至少清晰$p/\log^2(p)$的一个因素。我们还提供了一个下界，以确认我们的改进的复杂性边界是紧的（高达$\log^2 (p)$因子），假设Hessian矩阵的最大和最小特征值不与$p$缩放。最后，我们将我们的分析推广到其他强凸极小化问题以外的二次。
2017-11-22 cs.LG math.OC stat.ML
Faster SGD training by minibatch persistency
University of Padova（帕多瓦大学）
众所周知，对于大多数数据集，使用大尺寸的minibatch进行随机梯度下降（SGD）通常会导致收敛速度慢和泛化能力差。另一方面，大的小批量具有很大的实际意义，因为它们允许更好地利用现代GPU。以前的文献集中在如何调整主要的SGD参数（特别是，学习率）时，使用大的小批量。在这项工作中，我们引入了一个额外的功能，我们称之为minibatch持久化，它包括在重复使用相同的minibatch为K个连续的SGD迭代。这里的计算推测是，一个大的小批量包含了训练集的一个重要样本，所以人们可以稍微过拟合它，而不会使泛化性能恶化太多。该方法旨在加速SGD收敛，并且还具有减少与内部GPU存储器上的数据加载相关的开销的优点。我们目前的计算结果CIFAR-10与AlexNet架构，表明即使是小的持久性值（K=2或5）已经导致一个显着更快的收敛和可比（甚至更好）的泛化比标准的“一次性minibatch”的方法（K=1），特别是当使用大型minibatch。从中得到的教训是，小批量持久化可以是处理大型小批量的一种简单而有效的方法。
2018-06-19 cs.LG stat.ML
Faster Asynchronous SGD
异步分布式随机梯度下降法由于梯度失效而难以收敛。如果用于计算梯度的参数已经在服务器上更新，则由客户端发送到参数服务器的梯度更新是陈旧的。已经提出了一些方法来规避这个问题，这些方法根据经过的更新的数量来量化陈旧性。在这项工作中，我们提出了一种新的方法，量化陈旧的梯度统计的移动平均值。我们表明，这种方法优于以前的方法在收敛速度和可扩展性，许多客户端。我们还讨论了如何扩展这种方法可以用来大大降低带宽成本的分布式训练环境。特别是，我们的方法可以减少总带宽使用的一个因素，5成本收敛的影响很小。我们还描述了（和链接到）一个软件库，我们已经用来模拟这些算法确定性在一台机器上。
2016-01-15 cs.LG stat.ML
Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
以往的研究随机原始对偶算法求解极小极大问题的收敛速度更快，严重依赖于双线性结构的问题，这限制了他们的适用范围狭窄的问题。本文的主要贡献是设计和分析新的随机原始对偶算法，使用混合的随机梯度更新和对数数量的确定性的双重更新解决一个家庭的凹凸问题，没有双线性结构假设。在原变量和对偶变量上所涉及的函数满足一定条件的情况下，得到了比随机梯度更新次数为$T$的$O(1/\sqrt{T})$更快的收敛速度.例如，对于一类原变量具有弱强凸性且对偶变量具有强凹函数的问题，算法的收敛速度为$O(1/T)$ .我们还研究了所提出的算法学习鲁棒模型和经验AUC最大化的有效性。
2019-12-18 cs.LG math.OC stat.ML
Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates
National University of Singapore（新加坡国立大学）；Fudan University（复旦大学）
本文针对有限和强凸优化问题，提出将对称秩1更新与块更新融入增量拟牛顿框架，实现与条件数无关的局部超线性收敛，且数值实验显著优于基线方法。
2024-02-04 cs.LG math.OC
On a Faster $R$-Linear Convergence Rate of the Barzilai-Borwein Method
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Barzilai-Borwein（BB）方法在非线性最优化中已经证明了巨大的经验成功。然而，BB方法的收敛速度并没有得到很好的理解，因为已知的BB方法对二次问题的收敛速度比最速下降（SD）方法差得多。因此，理论和实践之间存在很大的差异。为了缩小这一差距，我们证明了BB方法收敛$R$ -线性的速度为$1-1/κ$，其中$κ$是条件数，强凸二次问题。最后，给出了一个具有理论收敛速率的例子，说明了我们的界的紧性。
2021-01-22 cs.LG math.OC
Time-dependent unidirectional communication in multi-agent systems
我们研究了一个简单的，但令人信服的模型$n$互动代理商通过不定常，单向通信。该模型在同步、群集和分布式决策等领域有着广泛的应用。在该模型中，每个智能体根据从其他智能体接收到的当前信息更新其当前状态。给出了个体个体状态收敛到一个公共值的充要条件充分条件，推广了文献中的结果.与以前的相关研究不同，本文的方法不依赖于代数图论，是一个完全非线性的性质。这是相当令人惊讶的是，这些非线性工具，扩展可能会获得，甚至在文献中讨论的线性情况。证明技术包括一个混合的图论和系统理论的工具集成在一个正式的框架集值李雅普诺夫理论，可能是独立的利益。此外，还观察到，更多的沟通并不一定会导致更好的收敛，最终甚至可能导致收敛的损失，即使是在本文件中讨论的简单模型。
2003-06-30 math-ph math.MP math.OC
The rate of convergence of Nesterov's accelerated forward-backward method is actually faster than $1/k^{2}$
{ \it forward-backward algorithm}是求解具有{ \it可加可分}和{ \it smooth} + { \it nonsmooth}结构的最优化问题的有力工具。在凸设置中，Nesterov开发的一个简单但巧妙的加速方案已被证明是有用的，以提高从标准$\mathcal O(k^{-1})$到$\mathcal O(k^{-2})$的函数值的理论收敛速率。在这篇简短的论文中，我们证明了Nesterov的加速向前向后方法的一个轻微的变体的收敛速度收敛速率，它产生{ \it收敛}序列，实际上是$o(k^{-2})$，而不是$\mathcal O(k^{-2})$。我们的论点依赖于该算法和二阶微分包含与消失阻尼之间的联系。
2017-05-17 math.OC
An Adaptive Symplectic Proximal Point Algorithm: Faster Convergence and Improved Numerical Performance
Yunnan Normal University（云南师范大学）；Yunnan Key Laboratory of Modern Analytical Mathematics and Applications（现代分析数学及其应用云南省重点实验室）
本文提出自适应辛近端点算法（ASPPA），证明其平方范数项收敛率达O(1/k^2)，强单调情形下具指数收敛率，数值实验验证性能优异。
2026-10-05 math.OC
Let's Make Block Coordinate Descent Converge Faster: Faster Greedy Rules, Message-Passing, Active-Set Complexity, and Superlinear Convergence
块坐标下降法（BCD）因其迭代费用低、内存需求小、易于并行化和利用问题结构的能力而被广泛应用于大规模数值优化。三个主要的算法选择影响BCD方法的性能：块划分策略，块选择规则和块更新规则。在本文中，我们将探索所有这三个构建块，并为每个构建块提出变体，这些变体可以显着提高每次BCD迭代的进度。我们（i）提出了新的贪婪块选择策略，保证每次迭代比Gauss-Southwell规则有更多的进展;（ii）探索了实际问题，如如何在使用"可变"块时实现新规则;（iii）探索了使用消息传递来计算变量之间稀疏依赖问题的巨大块上的矩阵或牛顿更新;以及（iv）考虑最优活动流形识别，这导致BCD方法的"活动集复杂性"上的界限，并且导致具有稀疏解的某些问题的超线性收敛（并且在某些情况下有限终止于最优解）。我们支持我们所有的研究结果与经典的机器学习问题的最小二乘，逻辑斯谛回归，多类逻辑斯谛回归，标签传播和L1正则化的数值结果。
2022-07-31 math.OC
The convergence rate of the accelerated proximal gradient algorithm for Multiobjective Optimization is faster than $O(1/k^2)$
针对多目标优化，本文改进 Tanabe 等人的加速近似梯度算法，利用新的外推项将收敛速率从 $O(1/k^2)$ 提升至 $o(1/k^2)$，并给出同速率的非精确版本。
2023-12-12 math.OC
Faster convergence rates of relaxed Peaceman-Rachford and ADMM under regularity assumptions
分裂格式是一类求解复杂单调包含和凸优化问题的强有力的算法。它们产生了算法，其中分解的简单片段被单独处理。这导致易于实现和高度并行化的算法，往往获得接近国家的最先进的性能。在本文中，我们提供了一个全面的收敛速度分析的道格拉斯-Rachford分裂（DRS），Escheman-Rachford分裂（PRS），和交替方向法的乘法器（ADMM）算法在各种正则性假设，包括强凸性，Lipschitz可微性，和有界线性正则性。这项工作的主要结果是，放松的PRS和ADMM自动适应的规律性的问题，并实现收敛速度，提高（紧）最坏情况下的利率，在没有这样的规律性。所有的结果都是使用简单的技术获得的。
2015-05-01 math.OC
Faster and Non-ergodic O(1/K) Stochastic Alternating Direction Method of Multipliers
研究了线性等式约束下的随机凸优化问题。传统的乘子随机交替方向法及其Nesterov加速方案只能达到O（1/ \sqrt{K}）的收敛速度，其中K为迭代次数.通过引入方差缩减（VR）技术，使算法的收敛速度提高到O（1/K）。在本文中，我们提出了一个新的随机ADMM精心集成Nesterov的外推和VR技术。我们证明了我们的算法可以达到非遍历的O（1/K）收敛速度，这是可分线性约束非光滑凸问题的最优收敛速度，而基于VR的ADMM方法的收敛速度实际上是非遍历意义下的紧O（1/ \sqrt{K}）.据我们所知，这是第一个工作，实现了真正的加速，随机收敛速度的约束凸问题。实验结果表明，我们的算法是显着的速度比现有的国家的最先进的随机ADMM方法。
2017-04-22 math.OC
Faster Subgradient Methods for Functions with Hölderian Growth
Rutgers University（罗格斯大学）；University of Illinois（伊利诺伊大学）
本文的目的是导出几种次梯度法用于极小化具有Hölderian增长的非光滑凸函数的新的收敛结果。增长条件在许多应用中得到满足，包括具有二次增长和弱尖锐极小值的函数作为特殊情况。为此，有三个主要贡献。首先，对于一个常数和足够小的步长，我们表明，次梯度法实现线性收敛到一定的区域，包括最佳的设置，与错误的顺序的步长。第二，如果适当的问题参数是已知的，我们得到一个衰减步长，得到一个更快的收敛速度比所建议的经典$O(1/\sqrt{k})$结果的次梯度法。第三，我们提出了一种新的“下降阶梯”步长，它不仅获得了更快的收敛速度，而且对于弱尖锐函数的特殊情况也获得了线性收敛。我们还开发了一个自适应的“下降楼梯”的步长，实现了相同的收敛速度，而不需要一个误差界常数，这是很难在实践中估计的变化。
2018-04-30 cs.LG cs.NA math.NA
Non-Stationary First-Order Primal-Dual Algorithms with Faster Convergence Rates
本文提出了两种新的非平稳一阶原始对偶法来求解非光滑复合凸优化问题。与现有的原始-对偶方案的参数往往是固定的，我们的方法使用预定义的和动态的参数序列。我们证明了我们的第一个算法可以实现$\mathcal{O}(1/k)$收敛速度上的原始-对偶间隙，原始和对偶目标残差，其中$k$是迭代计数器。我们的速率是非遍历的（即，原始问题的最后一个序列和遍历（即，平均）序列的对偶问题，我们称之为半遍历率。通过修改步长更新规则，可以在原始目标残差上更快地提高该速率。当问题是强凸的，我们开发了第二个原始对偶法，表现出$\mathcal{O}(1/k^2)$收敛速度相同的三种类型的保证。再次通过修改步长更新规则，该速率在原始目标残差上变得更快。我们的原始对偶法是第一个实现这种快速的收敛速度保证温和的假设相比，现有的作品，尽我们所知。作为副产品，我们应用我们的算法来解决约束凸优化问题，并证明了相同的收敛速度的目标残差和可行性违反。我们仍然获得至少$\mathcal{O}(1/k^2)$率，即使当问题是“半强”凸。我们通过两个著名的数值例子验证我们的理论结果。
2020-07-10 math.OC
Faster Convergence of a Randomized Coordinate Descent Method for Linearly Constrained Optimization Problems
线性耦合约束下可分凸函数的极小化问题在经济系统、分布式控制、网络流等领域都有广泛的应用。解决这个问题的主要挑战是，数据的大小是非常大的，这使得通常的基于梯度的方法不可行。最近，Necoara，Nesterov和Glineur [Journal of Optimization Theory and Applications，173（2017）227-2254]提出了一种有效的随机坐标下降法来解决这种类型的最优化问题，并给出了一个吸引人的收敛性分析。在本文中，我们开发了新的技术来分析这种算法的收敛性，这是能够大大改善的结果。这个精炼的结果是通过扩展Nesterov开发的Nesterov的第二种技术[SIAM J. Optim. 22（2012）341-362]中描述的方法应用于具有线性耦合约束的一般最优化问题。在我们的分析中，一个新的技术是建立线性约束的子空间的基向量。
2017-09-04 math.OC
Accelerated Gradient Dynamics on Riemannian Manifolds: Faster Rate and Trajectory Convergence
本文研究黎曼流形上带 $α/t$ 渐近阻尼的二阶加速梯度动力学，依据流形曲率给出目标值更快收敛速率及轨迹收敛条件，并通过实验验证理论结果。
2023-12-11 math.DS math.OC
D-SPIDER-SFO: A Decentralized Optimization Algorithm with Faster Convergence Rate for Nonconvex Problems
University of Science and Technology of China（中国科学技术大学）；Infinia ML, Inc.（Infinia ML公司）
分散优化算法由于其均衡的通信模式，特别是在解决大规模机器学习问题时，引起了人们的广泛兴趣。随机路径积分微分估计随机一阶方法（SPIDER-SFO）在某些区域几乎达到了非凸问题的算法下限。然而，我们是否能找到一个分散的算法，实现类似的收敛速度SPIDER-SFO仍然不清楚。为了解决这个问题，我们提出了一个分散的变体SPIDER-SFO，称为分散的SPIDER-SFO（D-SPIDER-SFO）。我们发现，D-SPIDER-SFO实现了类似的梯度计算成本-也就是说，$\mathcal{O}(ε^{-3})$找到一个$ε$ -近似一阶平稳点-其集中的对应。据我们所知，D-SPIDER-SFO在计算成本方面实现了在分散网络上解决非凸优化问题的最先进性能。在不同网络配置下的实验结果表明了该方法的有效性。
2019-11-28 cs.LG math.OC stat.ML
Adaptive Trust Region Policy Optimization: Global Convergence and Faster Rates for Regularized MDPs
Technion - Israel Institute of Technology（以色列理工学院）
信赖域策略优化（TRPO）是强化学习（RL）中一种流行的、经验上成功的策略搜索算法。然而，TRPO一直被认为是一个启发式算法的启发式保守策略迭代（CPI）。我们表明，TRPO中使用的自适应缩放机制实际上是凸分析中传统信赖域方法的自然“RL版本”。我们首先在规划设置中分析TRPO，在规划设置中，我们可以访问模型和整个状态空间。然后，我们考虑基于样本的TRPO和建立$\tilde O(1/\sqrt{N})$收敛速度的全局最优。重要的是，自适应缩放机制使我们能够分析TRPO正则化的MDPs，我们证明了快速的$\tilde O(1/N)$，很像凸优化的结果。这是RL在正则化瞬时成本或奖励时的第一个结果。
2019-12-12 cs.LG math.OC stat.ML
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法，提出改进的导航子问题解决方法，实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
Direction-Magnitude Decomposition for Low-Rank Matrix Optimization: Faster Convergence and Saddle-to-saddle Dynamics
Department of Mathematics, ETH Zurich（苏黎世联邦理工学院数学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
提出方向-幅度分解（DMD）框架，将优化变量分解以提升效率，开发过参数化和递归两种方法，在矩阵分解中实现指数级加速收敛。
2026-07-01 cs.LG math.OC
Faster Rates for the Frank-Wolfe Algorithm Using Jacobi Polynomials
Indian Institute of Science（印度科学学院）
Frank Wolfe算法（FW）是求解大规模约束最优化问题的一种流行的无投影算法。然而，FW算法在最小化紧致凸集上的光滑凸函数时具有次线性收敛速度。因此，探索产生更快收敛速度的技术变得至关重要。获得更快速率的经典方法是组合先前的迭代以获得下一个迭代。在这项工作中，我们将这种方法扩展到FW设置，并表明，最佳的方式来结合过去的迭代是使用一组正交的雅可比多项式。我们还提出了一种基于多项式的加速技术，称为雅可比多项式加速的FW，它使用与雅可比递归相关的组合权重将当前递归与过去递归相结合。通过仔细选择雅可比多项式的参数，我们获得了更快的次线性收敛速度。我们提供了真实数据集上的数值实验，以证明所提出的算法的有效性。
2021-10-19 cs.LG math.OC
Sharpened Quasi-Newton Methods: Faster Superlinear Rate and Larger Local Convergence Neighborhood
非渐近分析的拟牛顿法获得牵引最近。特别是，一些工作已经建立了一个非渐近超线性率$\mathcal{O}((1/\sqrt{t})^t)$的（经典）BFGS方法，利用这一事实，其牛顿方向近似的误差接近零。此外，最近提出了BFGS的贪婪变体，其通过直接逼近Hessian而不是Newton方向来加速其收敛，并且实现了快速的局部平方收敛速率。唉，与BFGS为局部超线性速率所需的迭代次数相比，Greedy-BFGS的局部平方收敛需要更多的更新。这是由于在Greedy-BFGS中，Hessian被直接近似，并且牛顿方向近似可能不如BFGS的方向近似准确。在本文中，我们关闭这一差距，并提出了一种新的BFGS方法，具有两全其美，因为它利用了BFGS和贪婪BFGS的近似思想，以适当的近似牛顿方向和黑塞矩阵同时。我们的理论结果表明，我们的方法在收敛速度方面优于BFGS和Greedy-BFGS，而它达到了它的平方收敛速率与Greedy-BFGS相比，更少的步骤。各种数据集上的数值实验也证实了我们的理论发现。
2022-06-16 math.OC
Sampling without Replacement Leads to Faster Rates in Finite-Sum Minimax Optimization
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）
我们分析了光滑有限和极大极小优化的随机梯度算法的收敛速度，并表明，对于许多这样的算法，采样的数据点没有更换导致更快的收敛速度相比，放回抽样更换。对于光滑和强凸-强凹的设置，我们考虑梯度下降上升和近点方法，并提出了一个统一的分析两个流行的无替换采样策略，即随机重排（RR），洗牌的数据，每一个时代，和单洗牌或洗牌一次（SO），洗牌只在开始。我们获得了紧收敛速度RR和SO，并证明这些策略导致更快的收敛速度比均匀采样。超越凸性，我们得到了类似的结果，光滑的非凸非凹目标满足双边Polyak-Jasojasiewicz不等式。最后，我们证明了我们的技术是足够一般的数据排序攻击，其中对手操纵数据点提供给优化器的顺序的影响进行分析。我们的分析还恢复了增量梯度法的紧速率，其中数据点根本不混洗。
2022-10-10 cs.GT cs.LG math.OC
A Communication-Efficient Decentralized Newton's Method with Provably Faster Convergence
本文研究了分散网络上的强凸有限和极小化问题，提出了一种通信效率高的分散牛顿法来求解该问题，首先采用动态平均一致性（DAC），使得每个节点能够分别使用局部梯度逼近和局部Hessian逼近来跟踪全局梯度和Hessian.第二，由于交换Hessian近似值远没有通信效率，因此我们要求节点交换压缩的近似值，然后应用错误补偿机制来校正压缩噪声。第三，我们引入多步共识来交换局部变量和局部梯度近似，以平衡计算和通信。为了避免每个节点传输整个本地Hessian近似，我们设计了一个压缩过程中的误差补偿估计的全球Hessian在通信有效的方式。通过新的分析，我们建立了全局线性（分别为，渐近超线性）的收敛速度（分别地，趋于无穷大），其中m是共识内部步骤的数量。据我们所知，这是第一个超线性收敛结果的通信效率分散牛顿法。此外，我们建立的速度是证明比一阶方法更快。我们在各种应用程序的数值结果证实了理论研究结果。
2022-10-01 math.OC
Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation
Stanford University（斯坦福大学）；University of British Columbia（不列颠哥伦比亚大学）；Amii（阿米研究院）
本文提出广义随机Nesterov加速方法的新收敛分析，在插值条件下将强增长常数依赖从ρ降至√ρ，加速任意期望充分进展的随机梯度方法。
2025-01-23 cs.LG math.OC
On Faster Convergence of Scaled Sign Gradient Descent
Tongji University（同济大学）
通信一直被视为大规模网络上工业应用的重要瓶颈。为了减轻通信负担，基于符号的优化算法近年来在工业界和学术界得到了广泛的应用，这与自适应梯度法（如Adam）密切相关。沿着这条线，本文研究了更快的收敛性的一种变体的基于符号的梯度下降，称为缩放signGD，在三种情况下：1）的目标函数是强凸的; 2）的目标函数是非凸的，但满足Polyak-Lojasiewicz（PL）不等式; 3）梯度是随机的，在这种情况下称为缩放signGD。对于前两种情况，可以表明，缩放的signGD以线性速率收敛。对于情况3），当采用恒定学习率时，算法线性收敛到最优值的邻域;当采用递减学习率时，算法以$O(1/k)$的速率收敛，其中$k$是迭代次数.结果还扩展到分布式设置中的参数服务器框架中的多数表决。最后，通过对逻辑斯谛回归的数值实验，验证了理论分析的正确性。
2021-09-04 cs.LG math.OC
Faster Computation of Entropic Optimal Transport via Stable Low Frequency Modes
针对熵最优输运基准算法Sinkhorn在正则化减弱时收敛指数变慢的问题，本文基于Hessian谱分析提出谱热启动策略，实现了更快的收敛速度并经数值实验验证。
2025-05-23 cs.NA math.NA math.OC
Towards faster first order methods: A continuous-time model to interpolate between speed and function value restart
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机与人工智能研究所）
本文提出了一种新的重启方案，用于连续惯性动力学中的Hessian驱动阻尼，建立了函数值沿重启轨迹的线性收敛率。该方案无需知道强凸性参数，是现有速度重启方案的推广，通过在速度和函数值重启之间插值，显著延迟重启时间，同时保持收敛性和函数值下降。
2026-04-10 math.OC
Policy Optimization for Markov Games: Unified Framework and Faster Convergence
Harvard University（哈佛大学）；Princeton University（普林斯顿大学）；Salesforce Research（赛富时研究院）
研究了多智能体强化学习的策略优化算法。首先，我们提出了一个算法框架，两个球员零和马尔可夫游戏在全信息设置，其中每次迭代包括一个策略更新步骤，在每个状态下使用一定的矩阵游戏算法，并与一定的学习率的值更新步骤。该框架统一了许多现有的和新的策略优化算法。我们表明，该算法的状态明智的平均政策收敛到一个近似的纳什均衡（NE）的游戏，只要矩阵游戏算法实现低加权遗憾在每个状态，相对于由值更新的速度确定的权重。接下来，我们表明，这个框架实例化的乐观跟随正则化领导者（OFTRL）算法在每个状态（和平滑值更新）可以找到一个$\mathcal{\widetilde{O}}(T^{-5/6})$近似NE在$T$迭代，和一个类似的算法略有修改的值更新规则实现了更快的$\mathcal{\widetilde{O}}(T^{-1})$收敛速度。这些改进了对称策略优化型算法的当前最佳$\mathcal{\widetilde{O}}(T^{-1/2})$速率。我们还将该算法扩展到多人一般和马尔可夫博弈，并证明了$\mathcal{\widetilde{O}}(T^{-3/4})$收敛到粗相关均衡（CCE）的速度。最后，我们提供了一个数值例子来验证我们的理论和调查的重要性，光滑的值更新，并发现使用“渴望”的值更新，而不是（相当于独立的自然策略梯度算法）可能会显着减慢收敛，即使在一个简单的游戏与$H=2$层。
2022-07-22 cs.GT cs.LG cs.MA
A Robbins--Monro Sequence That Can Exploit Prior Information For Faster Convergence
University of Cambridge（剑桥大学）
提出一种将目标点先验信息融入Robbins-Monro迭代的新方法，无需依赖可能错误的回归模型即可加速收敛，并证明了其在多种先验分布下的收敛性及参数选择规则。
2024-01-06 cs.LG cs.NA math.NA
Enhancing Stochastic Gradient Descent: A Unified Framework and Novel Acceleration Methods for Faster Convergence
The University of Washington（华盛顿大学）；Adobe Research（奥多比研究院）；Sun Yat-sen University（中山大学）
针对现有SGD变体算法非凸条件下收敛分析困难的问题，提出统一的一阶方法收敛分析框架，并据此发现两种可直接提升收敛速率的即插即用加速方法。
2024-02-02 cs.AI cs.LG math.OC
Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多智能体强化学习（MARL）--多个智能体学习在共享的动态环境中进行交互--渗透到广泛的关键应用中。虽然在理解单智能体强化学习中策略优化方法的全局收敛性方面取得了实质性进展，但在MARL环境中设计和分析有效的策略优化算法提出了重大挑战，不幸的是，现有理论仍然高度不足。在本文中，我们专注于竞争性多智能体RL的最基本的设置，即两个玩家零和马尔可夫游戏，并研究在无限时域折扣设置和有限时域情节设置的均衡发现算法。我们提出了一个单循环的策略优化方法与对称更新从两个代理，其中的政策是通过熵正则化的乐观乘性权重更新（OMWU）的方法更新和更新的值在一个较慢的时间尺度。我们表明，在全信息表格设置中，所提出的方法实现了有限时间的最后一个线性收敛到正则化问题的量子响应平衡，这转化为一个次线性最后一个收敛到纳什均衡通过控制正则化量。我们的收敛结果提高了最知名的迭代复杂性，并导致更好地理解竞争性马尔可夫博弈中的策略优化。
2022-10-04 cs.AI cs.GT cs.LG
Faster Asynchronous Nonconvex Block Coordinate Descent with Locally Chosen Stepsizes
分布式非凸最优化问题在学习和自治中有着广泛的应用，而这类问题在Agent的计算和通信中常常面临着困难。当这些操作中的延迟有界时，它们被称为部分异步。在本文中，我们提出了一个不协调的步长选择规则的部分异步块坐标下降，只需要局部信息来实现，它会导致更快的收敛速度为一类非凸问题比现有的步长规则，这需要以某种形式的全局信息。我们考虑的问题满足误差界条件，我们提出的步长规则只需要每个代理知道（i）一定类型的Lipschitz常数的块的梯度的目标和（ii）它和它的邻居之间经历的通信延迟。这种提法需要更少的信息提供给每个代理比现有的方法，通常允许代理使用更大的步长，并消除了掉队者的影响，同时仍然保证收敛到一个固定的点。仿真结果提供了比较和验证的步长规则，我们开发的更快的收敛速度。
2022-03-21 math.OC
Faster Riemannian Newton-type Optimization by Subsampling and Cubic Regularization
University of Manchester（曼彻斯特大学）
这项工作是约束大规模非凸优化的约束集意味着一个流形结构。解决这些问题在许多基础机器学习任务中非常重要。黎曼最优化的最新进展使方便的恢复解决方案，适应流形上的无约束优化算法。然而，扩大规模，同时保持稳定的收敛速度和处理鞍点仍然具有挑战性。提出了一种新的二阶黎曼优化算法，旨在提高收敛速度和减少计算量。它增强了黎曼信赖域算法，该算法通过子采样和立方正则化技术的混合来探索曲率信息以逃离鞍点。我们进行了严格的分析来研究所提出算法的收敛行为。我们还进行了大量的实验，以评估它的基础上两个一般的机器学习任务，使用多个数据集。所提出的算法表现出改进的计算速度和收敛行为相比，一个大的国家的最先进的黎曼优化算法。
2023-02-22 cs.LG math.OC
Faster Lagrangian-Based Methods in Convex Optimization
针对凸优化中基于拉格朗日方法的收敛分析，本文提出良好原始算法映射与通用 FLAG 框架，证明多种经典方案可获得新的非遍历次线性收敛速率。
2023-06-06 cs.NA math.NA math.OC
Faster Gradient-Free Proximal Stochastic Methods for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Pittsburgh（匹兹堡大学）
最近梯度法在解决许多机器学习问题，特别是非光滑问题中发挥着重要作用。然而，在一些机器学习问题中，如强盗模型和黑盒学习问题，近端梯度法可能会失败，因为这些问题的显式梯度是困难的或不可行的。无梯度（零阶）方法可以解决这些问题，因为在优化中只需要目标函数值。最近，第一个零阶邻近随机算法被提出来解决非凸非光滑问题。然而，它的收敛速度是$O(\frac{1}{\sqrt{T}})$的非凸问题，这是显着低于零阶随机算法的最佳收敛速度$O(\frac{1}{T})$，其中$T$是迭代次数。为了填补这一空白，在本文中，我们提出了一类更快的零阶近似随机方法与SVRG和SAGA的方差减少技术，这是表示为ZO-ProxSVRG和ZO-ProxSAGA，分别。在理论分析中，我们解决的主要挑战，真正的梯度的无偏估计不持有在零阶的情况下，这是需要在以前的理论分析SVRG和SAGA。证明了ZO-ProxSVRG和ZO-ProxSAGA算法都具有$O(\frac{1}{T})$收敛速度。最后，实验结果表明，我们的算法具有更快的收敛速度比现有的零阶邻近随机算法。
2019-02-16 cs.LG math.OC stat.ML
Restarting Frank-Wolfe: Faster Rates Under Hölderian Error Bounds
条件梯度算法（又称Frank-Wolfe算法）由于其简单性、不需要投影步骤和具有竞争力的数值性能而形成了一组经典的约束光滑凸最小化方法。虽然香草Frank-Wolfe算法只能确保最坏情况下的速度为$\mathcal{O}(1/ε)$，但最近的各种结果表明，对于多面体上的强凸函数，该方法可以稍微修改以实现线性收敛。然而，这仍然在次线性$\mathcal{O}(1/ε)$收敛和线性$\mathcal{O}(\log 1/ε)$收敛之间留下了巨大的差距，以达到$ε$ -近似解。在这里，我们提出了一个新的变体的条件梯度算法，可以动态地适应函数的几何属性，使用重新启动和平滑插值之间的次线性和线性制度。当最优化问题满足一种新的误差界时，我们称之为\textit{strong Wolfe primal bounds}。它们将约束集上的几何信息与目标函数上的Hölderian误差界相结合。
2021-10-19 math.OC
Relaxed Linearized Algorithms for Faster X-Ray CT Image Reconstruction
University of Michigan（密歇根大学）
统计图像重建（SIR）方法被广泛研究用于X射线计算机断层扫描（CT），因为它具有在保持图像质量的同时降低X射线剂量的潜力。然而，SIR方法的重建时间较长，阻碍了它们在X射线CT中的实际应用。为了加速统计方法，已经研究了许多优化技术。超松弛是一种常用的加速迭代算法收敛的技术。例如，在乘法器的交替方向法（ADMM）中使用接近于2的松弛因子已被示出显著地加速收敛。本文提出了一种松弛线性化增广拉格朗日（AL）方法，该方法具有更快的收敛速度，并将其应用于X射线CT图像重建问题。仿真和真实CT扫描数据的实验结果表明，所提出的松弛算法（有序子集[OS]加速）的速度约为现有的非松弛快速算法的两倍，计算和内存开销可以忽略不计。
2015-12-14 cs.LG math.OC stat.ML
The Power of Normalization: Faster Evasion of Saddle Points
ETH Zürich（苏黎世联邦理工学院）
在非凸优化中常用的启发式算法是归一化梯度下降（NGD）-梯度下降的一种变体，其中仅考虑梯度的方向而忽略其大小。我们分析了这种启发式，并表明，精心选择的参数和噪声注入，这种方法可以证明规避鞍点。我们建立了NGD收敛到局部最小值，并证明了由于Ge等人（2015）而改进的最快已知一阶算法的速度。我们的方法的有效性证明通过应用到在线张量分解的问题，鞍点规避已知的任务，导致收敛到全局最小值。
2016-11-15 cs.LG math.OC stat.ML
Faster Convergence with Multiway Preferences
Apple（苹果公司）；Tel Aviv University（特拉维夫大学）；Google Tel Aviv（谷歌特拉维夫）
该研究首次探究带多路偏好的凸优化问题，设计了批量与多路比较场景下的高效算法，推导了对应收敛速度及强凸性下的提升结果，并通过下界分析证明了收敛速度关于m的最优性。
2023-12-19 cs.LG math.OC
Policy Optimization for Constrained MDPs with Provable Fast Global Convergence
Texas A&M University（得克萨斯农工大学）
我们解决的问题，找到一个有约束的马尔可夫决策过程（CMDP）使用梯度下降为基础的算法的最优策略。以前的结果表明，原始-对偶方法可以实现$\mathcal{O}(1/\sqrt{T})$全局收敛速度的最优性差距和约束违反。我们提出了一种新的算法称为策略镜像下降原始对偶（PMD-PD）算法，可以证明实现更快的$\mathcal{O}(\log(T)/T)$收敛速度的最优性差距和约束违反。对于原始（策略）更新，PMD-PD算法利用修改的价值函数并执行自然的策略梯度步骤，其等效于具有适当正则化的镜像下降步骤。对于双重更新，PMD-PD算法使用修改的拉格朗日乘子，以确保更快的收敛速度。我们还提出了这种方法的两个扩展的设置与零约束违反和基于样本的估计。实验结果表明，与现有的基于策略梯度的算法相比，PMD-PD算法具有更快的收敛速度和更好的性能。
2022-02-03 cs.AI cs.LG math.OC
Harder, Better, Faster, Stronger Convergence Rates for Least-Squares Regression
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机系）
我们考虑优化的二次目标函数的梯度只能通过随机预言机，返回梯度在任何给定的点加上零均值有限方差随机误差。我们提出的第一个算法，实现联合最小二乘回归的最佳预测差错率，无论是在遗忘的初始条件在O（1/n 2），并在依赖于噪声和尺寸d的问题，O（d/n）。我们的新算法基于平均加速正则化梯度下降，并且还可以通过对初始条件和黑塞矩阵的更精细假设来分析，从而导致无量纲量可能仍然很小，而“最优“项很大。为了表征这些新的界限的紧密性，我们考虑应用到非参数回归和使用已知的下界的统计性能（没有计算限制），这恰好匹配我们的边界从一个单一的数据通过，从而显示我们的算法在各种各样的特定的权衡偏差和方差的最优性。
2016-02-24 cs.LG math.OC stat.ML
Coordinate Descent Converges Faster with the Gauss-Southwell Rule Than Random Selection
University of British Columbia（不列颠哥伦比亚大学）；University of California, Davis（加州大学戴维斯分校）；Dato
最近在随机坐标下降算法的理论和应用方面已经有了重要的工作，开始于Nesterov [SIAM J. Optim.，22（2），2012]，其示出了随机坐标选择规则实现与高斯-索斯韦尔选择规则相同的收敛速度。这个结果表明，我们不应该使用高斯-索斯韦尔规则，因为它通常比随机选择昂贵得多。然而，这些算法的经验行为与这一理论结果相矛盾：在选择规则的计算成本相当的应用中，高斯-索斯韦尔选择规则往往比随机坐标选择表现得更好。我们给出了一个简单的分析高斯Southwell规则显示-除了在极端情况下-其收敛速度是快于选择随机坐标。此外，在这项工作中，我们（i）表明，精确的坐标优化提高了某些稀疏问题的收敛速度，（ii）提出了一个高斯-Southwell-Lipschitz规则，给出了一个更快的收敛速度给定知识的Lipschitz常数的偏导数，（iii）分析近似高斯-Southwell规则的效果，（iv）分析近似梯度的高斯-Southwell规则的变体。
2018-10-28 cs.LG math.OC stat.CO
Faster saddle-point optimization for solving large-scale Markov decision processes
Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑平均报酬马尔可夫决策过程中计算最优策略的问题。这个经典问题可以被公式化为直接服从鞍点最优化方法的线性规划，尽管具有在状态数上是线性的多个变量。为了解决这个问题，最近的工作已经考虑了一个线性松弛的版本所产生的鞍点问题。我们的工作旨在实现更好地理解这个放松的最优化问题的特征收敛到最优策略的必要条件，并设计一个优化算法享受快速的收敛速度，是独立的状态空间的大小。值得注意的是，我们的表征指出了以前工作的一些潜在问题。
2020-01-10 cs.LG math.OC stat.ML
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality
Tata Consultancy Services Research（塔塔咨询服务研究中心）；Indian Institute of Technology（印度理工学院）
本文证明AdaGrad和Adam在光滑且满足PL不等式的代价函数下线性收敛，提出统一理论框架，适用于批量和随机梯度。
2024-07-17 cs.AI cs.LG math.OC
Faster Randomized Block Sparse Kaczmarz by Averaging
标准随机稀疏Kaczmarz（RSK）方法是计算方程的线性系的稀疏解的算法，并且使用顺序更新，并且因此不利用并行计算。在这项工作中，我们介绍了一个并行（小批量）版本的RSK平均几个Kaczmarz步骤的基础上。自然，这种方法允许并行化，我们表明，它也可以利用大的过度松弛。我们证明了线性预期收敛，并表明，由于并行计算可以利用，该方法可证明提供更快的收敛速度比标准方法。这种方法也可以被看作是一个变种的线性化Bregman算法，一个随机双块坐标下降更新，一个随机镜像下降更新，或一个放松版本的RSK和我们恢复标准RSK方法时，批量大小等于1。我们还提供了不一致的系统的估计，并表明，迭代收敛到一个错误的顺序的噪声水平。最后，数值例子说明了新算法的好处。
2022-10-17 cs.NA math.NA math.OC
