Accelerating the Distributed Kaczmarz Algorithm by Strong Over-relaxation
BERRY COLLEGE（贝里学院）；BUTLER UNIVERSITY（巴特勒大学）；IOWA STATE UNIVERSITY（爱荷华州立大学）；PURDUE UNIVERSITY（普渡大学）；WHEATON COLLEGE（惠顿学院）
分布式Kaczmarz算法是标准Kaczmarz算法的一种适应，适用于数据分布在由树表示的整个网络中的情况。我们隔离子结构的网络和研究收敛性的分布式Kazmarz算法相对较大的松弛因子与这些子结构。如果系统是一致的，那么算法收敛到最小范数的解;然而，如果系统是不一致的，那么算法收敛到依赖于参数和网络拓扑的近似最小二乘解。我们发现，在这种情况下，松弛因子可能大于文献中的标准上限，并提供数值实验来支持我们的结果。
2020-06-02 cs.NA math.NA math.OC
A Study on Accelerating Average Consensus Algorithms Using Delayed Feedback
在本文中，我们研究了加速基于拉普拉斯的动态平均共识算法通过分裂传统的无延迟的分歧反馈为加权求和的当前和过时的条款。我们确定什么样的加权和存在一个范围的时间延迟，导致算法的收敛速度更高。对于这样的权值，利用LambertW函数，得到了时延的速率增长范围和最大可达速率，并给出了相应的最大化时延的值。我们还研究了使用过时的反馈对代理的控制努力的影响，并表明，只有对于一些特定的仿射组合的即时和过时的反馈的代理的控制努力不超越无延迟算法。此外，我们证明，使用过时的反馈不增加稳态跟踪误差的平均共识算法。最后，我们确定了当前和过时的反馈权重的最佳组合，以实现最大限度地提高收敛速度，而不增加控制努力的代理。我们通过一个数值例子来证明我们的结果。
2019-12-10 cs.MA math.OC
Accelerating a Linear Programming Algorithm on AMD GPUs
本文针对CPU求解器在动态高维工业场景中的性能瓶颈，在AMD GPU上基于ROCm和PyTorch实现了开源PDHG算法，并通过SCED等实例调优，在大规模LP问题上取得最高36倍加速。
2025-08-22 math.OC
A Unified Primal-Dual Recipe for Accelerating Three-Operator Splitting Methods
KAUST（阿卜杜拉国王科技大学）
提出一种统一的Bregman原对偶框架，通过Chambolle-Pock算法导出四种加速变体（ACV-I/II和APDTR-I/II），并利用Lyapunov分析建立光滑和非光滑情形下的迭代复杂度，消除了先前工作的限制性假设。
2026-05-26 math.OC
Accelerating Stochastic Sequential Quadratic Programming for Equality Constrained Optimization using Predictive Variance Reduction
在本文中，我们提出了一个随机方法来解决等式约束最优化问题，利用预测方差减少。具体来说，我们开发了一种方法的基础上的顺序二次规划范例，采用方差减少梯度近似。在合理的假设下，我们证明了一阶平稳性评估的措施，我们所提出的算法产生的迭代收敛到零的期望从任意的起点，恒定和自适应步长的战略。最后，我们证明了我们提出的算法在机器学习中出现的约束二进制分类问题的实际性能。
2023-03-25 math.OC
Accelerating Nesterov's Method for Strongly Convex Functions with Lipschitz Gradient
本文对Nesterov的书中描述的具有Lipschitz连续梯度的强凸函数的常步长梯度法进行了修正。Nesterov表明，对于所有$k$，$f(x_k) - f^* \leq L \prod_{i=1}^k (1 - α_k) \| x_0 - x^* \|_2^2$与$α_k = \sqrtρ$，其中$L$是Lipschitz梯度常数，$ρ$是$f(x)$的倒数条件数。因此，收敛速率为$1-\sqrtρ$。在这项工作中，我们试图加快Nesterov的方法，自适应搜索$α_k > \sqrtρ$在每次迭代。该方法每次迭代最多计算两次梯度函数，并具有一些额外的1级BLAS操作。理论上，在最坏的情况下，它需要与Nesterov方法相同的迭代次数，但梯度调用加倍。然而，在实践中，所提出的方法有效地加快收敛速度的许多问题，包括平滑基追踪去噪问题。
2011-09-27 math.OC
Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation
Peking University（北京大学）
由于求解大规模最优化问题的迫切需求，异步算法近年来受到了广泛的关注。然而，异步算法的加速版本很少被研究。在本文中，我们提出了“动量补偿”技术来加速凸问题的异步算法。具体来说，我们首先加速普通的异步梯度下降，这实现了更快的$O(1/\sqrtε)$（与$O(1/ε)$）收敛速度，以及$O(\sqrtκ\log(1/ε))$（v.s. $O(κ\log(1/ε))$），使强凸函数达到条件数为$κ$的$ε$ -近似极小元.我们进一步应用该技术来加速现代随机异步算法，如异步随机坐标下降和异步随机梯度下降。这两种实用算法都比现有的算法快。据我们所知，我们是第一个考虑加速算法，允许更新延迟梯度，是第一个提出真正的加速异步算法。最后，在共享内存系统上的实验结果表明，加速可以导致显着的性能增益病态问题。
2018-02-27 cs.LG math.OC
A multilevel framework for accelerating uSARA in radio-interferometric imaging
本文提出一种在观测空间构建近似层级的多层算法，用于加速求解射电干涉成像中的uSARA问题，并与重加权前向-后向方法进行了比较。
2024-03-20 astro-ph.IM math.OC
Accelerating the Sinkhorn algorithm for sparse multi-marginal optimal transport by fast Fourier transforms
利用Sinkhorn算法研究了离散多边际最优输运问题的数值解。在一般情况下，Sinkhorn算法遭受的边缘数的维数灾难。如果MOT费用函数按照树或圆进行迭代，则其复杂度与边际测度的数量成线性关系。在这种情况下，我们通过非均匀快速傅立叶方法加快了Sinkhorn算法中所需的径向核的卷积。所提出的具有树结构费用函数的加速Sinkhorn算法的每个步骤具有$\mathcal O(K N)$的复杂度，而不是用于直接矩阵向量运算的经典$\mathcal O(K N^2)$，其中$K$是边缘的数量，并且每个边缘测量在最多$N$点上被支持。在圆形结构费用函数的情况下，复杂度从$\mathcal O(K N^3)$提高到$\mathcal O(K N^2)$。数值实验证实了这一点。
2023-02-21 cs.NA math.NA math.OC
Accelerating Optimization via Differentiable Stopping Time
Beijing International Center for Mathematical Research（北京国际数学研究中心）；Peking University（北京大学）；Department of Industrial Engineering（工业工程系）；Tsinghua University（清华大学）；School of Mathematics Science（数学科学学院）
本文提出了一种基于微分方程的可微停止时间方法，解决了最小化达到目标损失时间的不可微问题，并设计了高效反向传播算法，在在线超参数调优等应用中展现出优越性能。
2026-10-21 cs.LG math.OC
Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates
J.P. Morgan AI Research（摩根大通AI研究）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
本文提出用强化学习策略替代割生成中的 NP-hard 环节，在保持最优性保证的同时，将 Benders decomposition 与迭代损失近似的平均收敛速度最高提升 45%。
2024-02-27 cs.AI cs.LG math.OC
Accelerating Nonnegative Matrix Factorization Algorithms using Extrapolation
Faculté Polytechnique, Université de Mons（蒙斯大学理工学院）；Department of Mathematics and Operational Research（数学与运筹学系）
本文提出了一种通用框架，用于显著加速非负矩阵因子分解（NMF）算法。该框架灵感来源于用于加速凸优化中梯度方法的外推方案以及平行切线法。然而，在处理非凸NMF问题的双块精确坐标下降算法中使用外推是新颖的。我们通过合成、图像和文档数据集，展示了该方法在两个最先进的NMF算法（加速层次交替最小二乘法（A-HALS）和交替非负最小二乘法（ANLS））上的性能。
2018-07-12 cs.NA math.NA math.OC
Accelerating Block Coordinate Descent for Nonnegative Tensor Factorization
Université de Mons（蒙斯大学）；Université de Rennes（雷恩大学）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（雷恩第一大学计算机科学研究所）
研究了改进块坐标下降算法的经验收敛速度问题。我们提出了一个外推策略之间的块更新，称为启发式外推与重启（HER）。HER显着加快了大多数现有的块坐标算法的经验收敛速度密集NTF，特别是具有挑战性的计算场景，同时需要一个可以忽略不计的额外的计算预算。
2020-11-20 cs.LG cs.NA math.NA
Accelerating Domain Propagation: an Efficient GPU-Parallel Algorithm over Sparse Matrices
线性约束的快速域传播已经成为当今最好的混合整数规划和伪布尔优化算法和求解器的关键组成部分，以实现峰值求解性能。输入数据中的动态算法行为、依赖结构和稀疏模式形式的干扰使得在GPU上以及更一般地在并行架构上有效实现域传播具有挑战性。这就是为什么最先进的求解器中的域传播仅是单线程的主要原因之一。在本文中，我们提出了一种新的算法域传播（a）避免了这些问题，并允许在GPU上的有效实现，是（b）能够运行传播轮完全在GPU上，而不需要任何同步或与CPU的通信。我们提出了大量的计算结果，证明了我们的方法的有效性，并表明在实际相关的问题上有可能实现充分的加速：在最先进的GPU上，我们对合理大的实例的几何平均加速约为10倍至20倍，在相当大的实例上可以高达180倍。
2021-08-25 cs.DC cs.DM cs.DS
Feature Clustering for Accelerating Parallel Coordinate Descent
University of Michigan（密歇根大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
大规模L1正则化损失最小化问题出现在高维应用中，例如压缩感知和高维监督学习，包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题，我们引入了一个新的家庭的算法称为块贪婪坐标下降，包括，作为特殊情况下，现有的几种算法，如SCD，贪婪CD，猎枪，线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明，块贪婪坐标下降可以更好地利用并行性，如果特征被聚类，使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持，使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展，而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。
2012-12-17 cs.DC cs.LG math.OC
A Block Lanczos with Warm Start Technique for Accelerating Nuclear Norm Minimization Algorithms
Microsoft Research Asia（微软亚洲研究院）；Zhejiang University（浙江大学）
提出块Lanczos热启动（BLWS）技术，利用前次迭代的主奇异子空间初始化块Lanczos过程以加速核范数最小化算法中的部分SVD计算，实验表明可加速2-3倍。
2010-12-26 cs.AI cs.NA math.NA
