发表机构
Stanford University（斯坦福大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
本文提出 rlaopt，一个基于 PyTorch 的 GPU 加速优化包，利用随机线性代数加速共轭梯度、算子分裂和随机梯度方法，支持自然语法建模和微分，实验显示显著加速。
AI 中文摘要
本文介绍了 rlaopt，一个基于 PyTorch 的软件包，用于利用随机数值线性代数（RandNLA）进行大规模优化和科学计算。尽管基于 RandNLA 的算法取得了实质性进展，但很少有实现能将 GPU 加速与用于指定优化问题的简单接口相结合。rlaopt 通过提供用于正定线性系统和带约束及正则化项的凸经验风险最小化的 GPU 求解器来填补这一空白。这些求解器利用 RandNLA 加速共轭梯度法（NystromPCG）、算子分裂法（NysADMM）和随机梯度法（SAPPHIRE）。此外，rlaopt 包含一个建模语言，允许用户使用自然的数学语法来指定问题。rlaopt 自动检查与所选求解器的兼容性，并执行所需的问题分解。求解器还支持在其迭代过程中进行微分，从而实现超参数调优等应用。在岭回归、有界多项逻辑回归和有界弹性网上的实验确定了随机预条件何时能提高性能，并展示了 GPU 执行带来的显著加速。该软件包在 Apache 许可证下开源，源代码位于此 https URL，版本 0.1.0 可在 PyPI 上获取。
英文摘要
This paper introduces rlaopt, a PyTorch-based package for large-scale optimization and scientific computing using randomized numerical linear algebra (RandNLA). Despite substantial progress in RandNLA-based algorithms, few implementations combine GPU acceleration with a simple interface for specifying optimization problems. rlaopt addresses this gap by providing GPU-enabled solvers for positive-definite linear systems and convex empirical risk minimization with constraints and regularizers. These solvers use RandNLA to accelerate conjugate gradient (NystromPCG), operator splitting (NysADMM), and stochastic gradient methods (SAPPHIRE). Moreover, rlaopt includes a modeling language that lets users specify problems using natural mathematical syntax. rlaopt automatically checks compatibility with the selected solver and performs the required problem decomposition. The solvers also support differentiation through their iterations, enabling applications such as hyperparameter tuning. Experiments on ridge regression, bounded multinomial logistic regression, and bounded elastic net identify when randomized preconditioning improves performance and demonstrate substantial speedups from GPU execution. The package is open-source under an Apache license, with source code at https://github.com/udellgroup/rlaopt and version 0.1.0 available on PyPI.
Comments32 pages, 16 figures
