A Fast Method for Lasso and Logistic Lasso
HKUST（香港科技大学）
提出一种基于主动集迭代的快速方法，显著加速压缩感知、Lasso和Logistic Lasso求解，与GPSR、lassoglm和glmnet混合后分别获得最高31.41倍、30.67倍、11.95倍和1.40倍的平均加速。
2024-02-04 cs.LG stat.ML
Parallel and Communication Avoiding Least Angle Regression
University of California Berkeley（加州大学伯克利分校）；University of Waterloo（滑铁卢大学）；INRIA Paris（法国国家信息与自动化研究所巴黎中心）；International Computer Science Institute（国际计算机科学研究所）
我们感兴趣的是并行化的最小角度回归（LARS）算法拟合线性回归模型的高维数据。我们考虑两个并行和通信避免版本的基本LARS算法。这两种算法具有不同的渐近代价和实际性能。一个提供更多的加速，另一个产生更准确的输出。第一个是bLARS，LARS算法的块版本，我们在每次迭代时更新b列。假设数据是行分区的，bLARS将算术运算的数量、延迟和带宽减少了b倍。第二个是锦标赛-bLARS（T-bLARS），LARS的锦标赛版本，处理器通过并行运行几个LARS计算来竞争，以选择b个新列添加到解决方案中。假设数据是按列分区的，T-bLARS将延迟降低了b倍。与LARS类似，我们提出的方法生成一系列线性模型。我们提出了广泛的数值实验，说明加速高达4倍相比，LARS没有任何妥协的解决方案的质量。
2020-09-12 cs.LG stat.ML
An Efficient Pseudo-likelihood Method for Sparse Binary Pairwise Markov Network Estimation
伪似然方法是学习稀疏二进制两两马尔可夫网络的最流行的算法之一。在本文中，我们制定了$L_1$正则化的伪似然问题作为一个稀疏的多重逻辑斯谛回归问题。通过这种方式，稀疏逻辑斯谛回归的许多见解和优化过程可以应用于离散马尔可夫网络的学习。具体来说，我们使用坐标下降算法的广义线性模型与凸罚，结合强筛选规则，解决伪似然问题与$L_1$正则化。因此，可以在不损失任何精度的情况下实现显著的加速。此外，该方法是更稳定的节点方式的逻辑斯谛回归的方法对不平衡的高维数据时，由小的正则化参数惩罚。通过对模拟数据和真实数据的数值实验，验证了该方法的优越性。
2017-04-07 stat.ML
Scaling Multidimensional Inference for Structured Gaussian Processes
精确高斯过程（GP）回归对于数据大小N具有O（N^3）的运行时间，使得它对于大N是难以处理的。许多改进GP尺度的算法都是用低秩矩阵来逼近协方差。其他工作已经利用了特定协方差函数中固有的结构，包括具有隐含马尔可夫结构的GP和等间隔输入（两者都使O（N）运行时间）。然而，这些GP的进步还没有扩展到多维输入设置，尽管多维应用程序的优势。本文介绍和测试新的结构化GP多维输入的扩展。我们提出了新的方法添加剂GP，经典的回拟合方法和贝叶斯框架之间的一种新的连接。为了实现最佳的精度和复杂性的权衡，我们扩展了这个模型的投影寻踪回归的一个新的变种。我们的主要结果--投影寻踪高斯过程回归--在保持高精度的同时显示了数量级的加速。自然的第二步和第三步包括非高斯观测和高维等间距网格方法。我们引入新的技术来解决这两个必要的方向。我们在几个数据集上彻底说明了这三个进步的力量，以更低的成本实现了与幼稚全GP接近的性能。
2012-09-21 stat.ML
Learning with Optimized Random Features: Exponential Speedup by Quantum Machine Learning without Sparsity and Low-Rank Assumptions
The University of Tokyo（东京大学）；Austrian Academy of Sciences（奥地利科学院）；University of Cambridge（剑桥大学）；University of Warwick（华威大学）；RIKEN AIP（日本理化学研究所）
增加随机特征的核方法为从大数据中学习提供了可扩展的算法。但是，根据针对数据优化的概率分布对随机特征进行采样，以便最小化用于实现学习到期望精度所需的特征数量，在计算上是困难的。在这里，我们开发了一个量子算法，用于从这个优化的分布在功能上进行采样，在运行时$O(D)$是线性的维度$D$的输入数据。我们的算法在$D$中实现了指数加速比，与任何已知的经典算法相比，该采样任务。与现有的量子机器学习算法相比，我们的算法避免了稀疏性和低秩假设，因此具有广泛的适用性。我们还表明，采样特征可以通过随机梯度下降与回归相结合，以实现学习，而不会抵消我们的指数加速。我们的算法基于采样优化的随机特征，为利用量子计算机的机器学习提供了一个加速框架。
2020-11-09 cs.LG quant-ph stat.ML
Interaction Hard Thresholding: Consistent Sparse Quadratic Regression in Sub-quadratic Time and Space
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
二次回归涉及将响应建模为不仅是特征$x^{j_1}$而且是二次项$x^{j_1}x^{j_2}$的（广义）线性函数。在回归中包含这样的高阶“交互作用项”通常提供了一种简单的方法来提高已经高维问题的精度。然而，这将问题维度从线性$O(p)$扩展到二次$O(p^2)$，并且通常会寻找稀疏交互（通常通过解析法）。在本文中，我们提供了一个新的算法-交互硬约束保持（IntHT），这是第一个可证明准确地解决这个问题的次二次时间和空间。它是迭代硬控制的一个变体;它使用特殊的二次结构来设计一种新的方法来（近似）。在亚$p^2$时间和空间中提取$p^2$尺寸梯度的顶部元素。我们的主要结果是从理论上证明，尽管有许多加速相关的近似，IntHT线性收敛到一个一致的估计标准的高维稀疏恢复假设。我们还通过合成实验证明了它的价值。此外，我们数值表明，IntHT可以扩展到高阶回归问题，并从理论上分析了SVRG的IntHT的变种。
2019-11-08 cs.LG stat.ML
Quantum-assisted Gaussian process regression using random Fourier features
针对经典高斯过程回归随训练数据增长计算复杂度过高的问题，提出基于随机傅里叶特征核近似的量子辅助算法，通过量子编码、谱分解及检验操作实现多项式阶计算加速。
2025-07-30 quant-ph stat.CO stat.ML
TorchKM: A GPU-Oriented Library for Kernel Learning and Model Selection
University of Iowa（爱荷华大学）；University of Minnesota（明尼苏达大学）；Individual Researcher（独立研究者）；AIScientists, Inc. (MorphMind)（AIScientists公司（MorphMind））；Department of Statistics and Actuarial Science, University of Iowa（爱荷华大学统计与精算科学系）
提出GPU加速的核学习库TorchKM，通过智能复用矩阵运算加速SVM、核逻辑回归等模型的训练与模型选择，性能优于标准基线。
2026-06-09 cs.LG stat.ML
Sparse Regression at Scale: Branch-and-Bound rooted in First-Order Optimization
Massachusetts Institute of Technology（麻省理工学院）
我们考虑最小二乘回归问题，惩罚与组合的$\ell_{0}$和平方$\ell_{2}$惩罚函数（a.k.a. $\ell_0 \ell_2$正则化）。最近的工作表明，由此产生的估计是非常重要的，在许多高维统计设置。然而，这些估计的精确计算仍然是一个重大挑战。事实上，现代精确的方法，混合整数规划（MIP）的基础上，面临的困难时，功能的数量$p \sim 10^4$。在这项工作中，我们提出了一个新的确切的MIP框架$\ell_0\ell_2$ -正则化回归，可以扩展到$p \sim 10^7$，实现加速至少$5000$ x，相比国家的最先进的精确方法。不像最近的工作，它依赖于现代商业MIP求解器，我们设计了一个专门的非线性分支定界（BNB）框架，通过严格利用问题结构。在我们的框架中，一个关键的区别在于有效地解决节点松弛使用专门的一阶方法，基于坐标下降（CD）。我们基于CD的方法通过使用热启动、活动集和梯度筛选，有效地利用了BnB节点上的信息。此外，我们设计了一种新的方法，从原始CD解决方案，证明工程高维的对偶界限。在合成和真实高维数据集上的实验表明，我们的框架不仅比现有技术要快得多，而且还可以为现有方法无法处理的具有统计挑战性的实例提供可证明的最佳解决方案。我们通过我们的工具包L0 BnB开源实现。
2021-04-14 cs.LG math.OC stat.CO
Variational Inference for Bayesian MIDAS Regression
Independent Researcher（独立研究者）
本文提出了一种针对贝叶斯MIDAS回归的变分推断算法，通过双线性结构和闭合形式解实现高效推断，相较于通用ADVI方法，CAVI在速度和精度上表现更优。
2026-02-23 cs.LG stat.CO stat.ME
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Online Adaptive Machine Learning Based Algorithm for Implied Volatility Surface Modeling
Northwestern University（西北大学）
在这项工作中，我们设计了一个基于机器学习的方法，在线自适应原始支持向量回归（SVR），隐含波动率表面（IVS）建模。该算法是在线原始核支持向量机的首次推导和实现。它具有增强功能，允许有效的在线自适应学习，通过嵌入本地适应度和预算维护的思想，在模式漂移时动态更新支持向量。对于算法加速，我们在现场可编程门阵列硬件中实现了其计算最密集的部分，在在线预测期间实现了CPU的132倍加速。使用E-mini S&P 500期权市场的日内报价数据，我们表明高斯核在调节支持向量的大小方面优于线性核，并且我们的经验IVS算法在模型复杂度和回归误差方面优于两种竞争的在线方法（我们的算法的平均绝对百分比误差高达13%）。在IVS网格的中心处获得最佳结果，因为其相邻支持向量的数量大于网格的边缘。敏感性分析也展示了如何超参数影响的错误率和模型的复杂性。
2018-06-07 cs.LG q-fin.CP stat.ML
Efficient Dataset Distillation Using Random Feature Approximation
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
数据集蒸馏将大型数据集压缩成较小的合成核心集，这些核心集保持性能，目的是减少处理整个数据集的存储和计算负担。当今性能最好的算法，\textit{Kernel Inducing Points}（KIP），它利用了无限宽神经网络和核岭回归之间的对应关系，由于神经切线核矩阵的精确计算，缩放$O(|S|^2)$，$|S|$是coreset大小，速度非常慢。为了改善这一点，我们提出了一种新的算法，使用随机特征近似（RFA）的神经网络高斯过程（NNGP）内核，这减少了内核矩阵计算$O(|S|)$。我们的算法提供了至少100倍的KIP加速，可以在一个单一的GPU上运行。我们的新方法称为RFA蒸馏（RFAD），在一系列大规模数据集上，无论是在核回归还是有限宽度网络训练中，其准确性都与KIP和其他数据集浓缩算法具有竞争力。我们证明了我们的方法在涉及模型可解释性和隐私保护的任务上的有效性。
2022-10-21 cs.AI cs.LG cs.NE
Quantum Algorithms for the Pathwise Lasso
Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子技术中心）；University of Latvia（拉脱维亚大学）；School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学物理与数学科学学院）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
我们提出了一种基于LARS路径算法的量子Lasso算法，利用量子最小值查找实现特征数和观测数上的二次加速，并证明其对误差具有鲁棒性，同时给出经典和量子算法的查询下界。
2025-03-20 cs.LG math.OC quant-ph
