An Accelerated Communication-Efficient Primal-Dual Optimization Framework for Structured Machine Learning
Lehigh University（理海大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
分布式优化算法对于在超大规模数据集上训练机器学习模型至关重要。然而，他们经常遇到通信瓶颈。针对这一问题，提出了一种通信效率高的原始-对偶坐标上升框架（CoCoA）及其改进的CoCoA+，在求解Lipschitz连续损失的经验风险最小化问题时，其收敛速度达到了$\mathcal{O}(1/t)$.在本文中，CoCoA+的一个加速变体，提出并证明具有收敛速度$\mathcal{O}(1/t^2)$方面减少次优。该速率的分析也值得注意，因为收敛速度界限涉及的常数（除极端情况外）与之前为CoCoA+提供的常数相比显著降低。数值实验的结果表明，加速可以导致显着的性能增益。
2017-11-14 cs.LG math.OC
Fast Algorithms for Computational Optimal Transport and Wasserstein Barycenter
UC Berkeley（加州大学伯克利分校）
我们提供了理论复杂性分析的新算法来计算两个离散的概率分布之间的最佳运输（OT）的距离，并证明其良好的实际性能比国家的最先进的原始-对偶算法和他们的能力，在解决其他问题的大规模，如Wasserstein重心问题的多个概率分布。首先，我们介绍了计算OT距离的\emph{accelerated primal-dual randomized coordinate descent}（APDRCD）算法。我们提供了它的复杂性上界$\bigOtil(\frac{n^{5/2}}{\varepsilon})$，其中$n$代表这些概率测度的原子数，$\varepsilon > 0$是所需的精度。这个复杂性界匹配OT问题的原始-对偶算法的最佳已知复杂性，包括自适应原始-对偶加速梯度下降（APDGD）和自适应原始-对偶加速镜像下降（APDAMD）算法。然后，通过大量的实验研究，证明了APDRCD算法优于APDAGD和APDAMD算法，并提出了一种贪婪算法\emph{accelerated primal-dual greedy coordinate descent}（APDGCD），进一步提高了算法的实际性能.最后，我们将APDRCD和APDGCD算法推广到分布式算法，用于计算多个概率分布的Wasserstein重心。
2020-06-15 cs.DS cs.LG stat.ML
Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了结构化非光滑凸有限和优化，它广泛地出现在机器学习应用中，包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式，我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中，\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$，其中$n$表示样本的数量，$d$表示原始变量的维度，并且$ε$表示期望的精度。在非光滑和强凸的情况下，\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计，即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外，这两个复杂性都优于\emph{lower}边界的一般凸有限和，缺乏特定的（共同的）结构，我们认为。我们的理论结果得到了数值实验的支持，证实了\vrpda ~的竞争力的性能相比，国家的最先进的。
2021-04-07 cs.LG cs.NA math.NA
A Variance-Reduced Stochastic Accelerated Primal Dual Algorithm
Rutgers Business School（罗格斯商学院）；Penn State University（宾夕法尼亚州立大学）
在这项工作中，我们考虑强凸强凹（SCSC）鞍点（SP）问题$\min_{x\in\mathbb{R}^{d_x}}\max_{y\in\mathbb{R}^{d_y}}f(x,y)$，其中$f$是$L$-光滑的，$f(.,y)$是$μ$-强凸的每个$y$，和$f(x,.)$是$μ$-强凹的每个$x$。在机器学习中，在稳健的经验风险最小化（ERM）的背景下，例如$\textit{distributionally robust}$ ERM，经常出现这样的问题，其中使用小批量数据点来估计部分梯度。假设我们可以访问无偏随机一阶预言，我们认为Zhang等人[2021]最近针对SCSC SP问题引入的随机加速原始对偶（SAPD）算法是一种针对梯度噪声的鲁棒方法。特别地，当动量参数被设置为零时，SAPD恢复众所周知的随机梯度下降上升（SGDA）作为特殊情况，并且当动量参数被适当地调谐时，即，将$κ\triangleq L/μ$依赖性从SGDA的$κ^2$改善为$κ$。我们提出了有效的方差减少战略SAPD的基础上Richardson-Romberg外推，并表明我们的方法在实践中和理论上提高SAPD。
2022-02-19 cs.LG math.OC
XGBoost: Scalable GPU Accelerated Learning
H2O.ai；University of Waikato（怀卡托大学）；Nvidia Corporation（英伟达公司）
我们描述了在XGBoost库（https：//github.com/dmlc/xgboost）中实现的多GPU梯度提升算法。我们的算法允许在多GPU系统上进行快速，可扩展的训练，具有XGBoost库的所有功能。我们采用数据压缩技术，以尽量减少稀缺的GPU内存的使用，同时仍然允许高效的实施。使用我们的算法，我们可以在三分钟内在公开的云计算实例上处理1.15亿个训练实例。该算法使用端到端GPU并行性实现，预测，梯度计算，特征量化，决策树构造和评估阶段都在设备上计算。
2018-06-29 cs.LG stat.ML
RAMA: A Rapid Multicut Algorithm on GPU
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了一个高度并行的原始-对偶算法的multicut（又名。相关聚类）问题，这是一个广泛应用于机器学习和计算机视觉的经典图聚类问题。我们的算法包括三个步骤递归执行：（1）找到冲突的循环，对应于违反的不平等的基础multicut松弛，（2）执行消息传递之间的边缘和循环，以优化拉格朗日松弛来自发现违反循环产生减少的成本和（3）收缩边缘通过矩阵矩阵乘法降低成本高。我们的算法产生原始的解决方案和下界估计的距离最优。我们实现我们的算法在GPU上，并显示产生一到两个数量级的执行速度的改善，而不牺牲解决方案的质量相比，传统的顺序算法在CPU上运行。我们可以解决非常大规模的基准问题，高达$\mathcal{O}(10^8)$变量在几秒钟内与小的原始-对偶差距。我们的代码可在https://github.com/pawelswoboda/RAMA上获得。
2022-03-11 cs.CV cs.DC cs.DS
GATSPI: GPU Accelerated Gate-Level Simulation for Power Improvement
NVIDIA Corporation（英伟达公司）
在本文中，我们提出了GATSPI，一种新的GPU加速逻辑门模拟器，使超快速功耗估计的工业规模的ASIC设计与数百万门。GATSPI是用PyTorch编写的，带有定制的CUDA内核，便于编码和维护。与运行在单个CPU内核上的商用门级仿真器相比，它在单GPU系统上实现了高达1668倍的仿真内核加速比，在多GPU系统上实现了高达7412倍的仿真内核加速比。GATSPI支持一系列简单到复杂的单元类型，包括行业标准单元库和SDF条件延迟语句，而无需预先校准运行，并通过延迟感知门级仿真生成行业标准SAIF文件。最后，我们部署GATSPI在毛刺优化流程，实现了1.4%的节能与449倍的加速比，在周转时间相比，类似的流程使用商业模拟器。
2022-03-11 cs.DC cs.LG
Accelerated nonlinear primal-dual hybrid gradient methods with applications to supervised machine learning
Brown University（布朗大学）
线性原-对偶混合梯度法（PDHG）是一种将具有鞍点结构的凸优化问题分解为更小的子问题的一阶方法。与大多数分裂方法不同，这些子问题通常可以有效地解决，因为它们涉及简单的操作，如矩阵向量乘法或邻近映射，这些操作可以快速进行数值计算。这一优点的代价是，线性PDHG方法需要精确的步长参数的问题在手边，以实现最佳的收敛速度。不幸的是，这些步长参数对于计算大规模最优化问题（例如机器学习中的那些）来说通常是非常昂贵的。这个问题使得简单的线性PDHG方法不适合于此类问题，并且它也被大多数一阶最优化方法所共享。为了解决这个问题，我们介绍了加速非线性PDHG方法，实现了最佳的收敛速度与步长参数，是简单而有效的计算。我们证明了严格的收敛结果，包括结果的强凸或光滑的问题上的无限维自反巴拿赫空间。我们说明了我们的方法的效率上$\ell_{1}$约束逻辑斯谛回归和熵正则化矩阵对策。我们的数值实验表明，非线性PDHG方法是相当快的竞争方法。
2022-04-03 cs.LG math.OC math.ST
IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method
NYU（纽约大学）；Rutgers University（罗格斯大学）；MIT（麻省理工学院）
我们介绍了一个框架下的分散优化设置，局部函数是光滑的，强凸的设计原始方法。我们的方法包括近似求解加速增广拉格朗日方法引起的一系列子问题，从而提供了一种系统的方法来推导几个著名的分散算法，包括EXTRA arXiv：1404.6264和SSDA arXiv：1702.08704。当与加速梯度下降相结合时，我们的框架产生了一种新的原始算法，其收敛速度是最佳的，并且与最近导出的下界相匹配。我们提供的实验结果表明，所提出的算法对高度病态的问题的有效性。
2020-06-11 cs.LG math.OC
Newton-ADMM: A Distributed GPU-Accelerated Optimizer for Multiclass Classification Problems
Purdue Univ.（普渡大学）；Univ. of Queensland（昆士兰大学）；ICSI（国际计算机科学研究所）；Univ. of California at Berkeley（加州大学伯克利分校）
诸如随机梯度下降（SGD）及其变体的一阶优化方法由于其简单性和低的每次迭代成本而广泛用于机器学习应用中。然而，它们通常需要大量的迭代，在分布式环境中具有相关的通信成本。相比之下，牛顿型方法虽然具有较高的每次迭代成本，但通常需要显著较少的迭代次数，这直接转化为降低的通信成本。在本文中，我们提出了一种新的分布式优化分类问题，它集成了一个GPU加速牛顿型求解器的全局共识制定交替方向的方法乘数（ADMM）。通过利用ADMM的通信效率，GPU加速的不精确牛顿求解器和有效的谱惩罚参数选择策略，我们表明我们提出的方法（i）在几个分类问题上产生更好的泛化性能;（ii）在分布式求解时间上显着优于最先进的方法;（iii）在大型分布式平台上提供更好的扩展性。
2020-02-04 cs.LG stat.ML
GPU-Accelerated Synthesis of Mixed-Boolean Arithmetic: Beyond Caching
CNRS（法国国家科学研究中心）；LaBRI（拉普拉ia实验室）；University of Bordeaux（波尔多大学）
本文提出SIMBA，一种基于GPU的混合布尔算术综合工具，通过无缓存的自底向上枚举方法，实现更高效的大规模规格处理和复杂目标的综合。
2026-05-07 cs.DC cs.LG cs.PL
Scalable GPU-Accelerated Euler Characteristic Curves: Optimization and Differentiable Learning for PyTorch
本文提出优化GPU内核与可微PyTorch层，实现欧拉特征曲线计算16-2000倍加速，支持端到端学习，并探讨下游应用与扩展。
2025-10-23 cs.LG
GPU-Accelerated Bregman Douglas-Rachford Splitting for Discrete Optimal Transport
Rice University（莱斯大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出GPU加速的Bregman Douglas-Rachford分裂算法，针对三种输入格式的离散最优传输问题，通过硬件感知设计提升数值稳定性与运行速度，并在统一度量下超越八个基线求解器，达到最先进性能。
2026-10-30 cs.LG math.OC
