ISLET: Fast and Optimal Low-rank Tensor Regression via Importance Sketching
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Columbia University(哥伦比亚大学)
在本文中,我们开发了一种新的程序,即\emph{\underline{I}mportance \underline{S}ketching \underline{L}ow-rank \underline{E}stimation for \underline{T}ensors}(ISLET)的低秩张量回归。ISLET背后的中心思想是\emph{importance sketching},即,基于感兴趣的参数的响应和低维结构精心设计的草图。我们表明,所提出的方法是急剧minimax最优的均方误差低秩Tucker假设下,随机高斯系综设计。此外,如果一个张量是低秩的组稀疏,我们的程序也实现了极大极小最优性。此外,我们通过数值研究表明,ISLET实现可比或更好的均方误差性能,现有的最先进的方法,同时具有大量的存储和运行时的优势,包括并行和分布式计算的能力。特别是,我们的程序进行可靠的估计与张量的尺寸$p = O(10^8)$和$1$或$2$数量级快于基线方法。
2020-05-08 cs.LG cs.NA math.NA
Factor Augmented Sparse Throughput Deep ReLU Neural Networks for High Dimensional Regression
本文提出因子增强稀疏吞吐(FAST)模型,结合潜在因子与稀疏成分进行非参数回归,并构建FAR-NN和FAST-NN深度ReLU网络估计量,证明了其非渐近极小化极大速率,为神经网络理论提供了新逼近结果。
2023-10-11 math.ST stat.ME stat.TH
Fast Conformal Prediction using Conditional Interquantile Intervals
本文提出CIR和CIR+方法,通过改进的分位数区间构建技术,实现高效且准确的符合预测,适用于处理偏斜分布和提高计算效率。
2026-01-06 cs.LG stat.ML
Fast Algorithms for the Quantile Regression Process
分位数回归方法的广泛使用关键取决于快速算法的存在。尽管有许多算法的改进,计算时间仍然是不可忽略的,因为研究人员经常估计许多分位数回归,并使用引导推理。本文提出了两种新的快速算法,用于估计多个分位指数下的分位数回归序列。第一种算法应用Portnoy和Koenker(1997)的预处理思想,但利用先前估计的分位数回归来猜测残差的符号。这一步骤可以减少有效样本量。第二种算法从以前估计的分位数回归在一个类似的分位数指数,并更新它使用一个单一的牛顿-拉夫森迭代。第一种算法是精确的,而第二种算法只是渐近等价于传统的分位数回归估计。我们还将预处理的思想应用到自助样本中,通过使用样本估计来猜测自助样本中残差的符号。仿真结果表明,我们的新算法提供了非常大的改进,在计算时间没有显着的(如果有的话)成本的估计质量。例如,我们将估计99个分位数回归所需的时间除以100,其中包含20个回归变量和50,000个观测值。
2020-04-06 econ.EM stat.CO stat.ME
How Fast Do Signatures Learn? Statistical Theory and Applications for Path Regression
Mathematical Institute, University of Oxford(牛津大学数学研究所);Center for Data Science, Peking University(北京大学数据科学中心);School of Mathematical Sciences, Peking University(北京大学数学科学学院);Oxford Man Institute, University of Oxford(牛津大学牛津人学研究所);Center for Statistical Science, Peking University(北京大学统计科学中心)
研究路径值协变量下基于签名的路径回归,建立伊藤扩散光滑泛函的\(L^2\)逼近率并证明其最优,通过三种统计学习程序传播截断误差并建立一致性,三个实际应用显示签名可改善预测。
2026-08-25 math.ST stat.ME stat.ML
Fast Partial Quantile Regression
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);uc3m-Santander Big Data Institute(uc3m-桑坦德大数据研究所);Universitat Politècnica de València(瓦伦西亚理工大学)
研究将多元PLS扩展到分位数回归框架,提出快速偏分位数回归(fPQR)方法,通过理论公式实现稳健降维,经模拟实验和实际数据集验证其性能。
2026-07-14 stat.CO stat.ME
Fast calibrated additive quantile regression
我们提出了一种新的框架,用于拟合添加剂分位数回归模型,它提供了良好的校准推断的条件分位数和快速自动估计的平滑参数,模型结构不同的分布GAM,同时保持相同的数值效率和稳定性。所提出的方法在统计上是严格的,在计算上是有效的,因为它们是基于Bissiri et al.(2016)的一般信念更新框架,以基于损失的推理,但通过调整Wood et al.(2016)的稳定拟合方法来计算。我们展示了弹球损失是如何统计次优相对于一个新的平滑概括,这也提供了快速估计方法。此外,我们提供了一种新的校准方法,有效地选择“学习率”平衡损失与平滑先验在推理过程中,从而获得可靠的分位数不确定性估计。我们的工作是出于概率电力负荷预测的应用程序,在这里使用,以证明所提出的方法。这里描述的方法由qgam R包实现,该包可在Comprehensive R Archive Network(CRAN)上获得。
2020-03-12 stat.AP stat.CO stat.ME
The Fast Cauchy Transform and Faster Robust Linear Regression
我们提供了快速算法的过约束$\ell_p$回归和相关问题:对于一个$n\times d$输入矩阵$A$和矢量$b\in\mathbb{R}^n$,在$O(nd\log n)$时间,我们减少了问题$\min_{x\in\mathbb{R}^d} \|Ax-b\|_p$到相同的问题与输入矩阵$\tilde A$的尺寸$s \times d$和相应的$\tilde b$的尺寸$s\times 1$。这里,$\tilde A$和$\tilde b$是问题的核心集,由$A$和$b$的采样和重新缩放的行组成; $s$独立于$n$和$d$中的多项式。我们的研究结果改善了以前最好的算法时,$n\gg d$,所有$p\in[1,\infty)$除了$p=2$。我们还提供了一套改进的结果,通过椭圆舍入找到良好的条件基地,说明运行时间和空调质量之间的权衡,包括一般$\ell_p$问题的一个通过空调算法。我们还提供了一个实证评估我们的算法$p=1$的实现,比较它们与相关算法。我们的实证结果表明,在渐近制度,理论是一个很好的指导这些算法的实际性能。我们的算法使用我们更快的构造$\ell_p$空间的良好条件基,对于$p=1$,我们称之为快速柯西变换的独立兴趣的快速子空间嵌入:矩阵$Π:\mathbb{R}^n\mapsto \mathbb{R}^{O(d\log d)}$上的分布,发现与$A$无关,近似保持$…
2014-04-05 cs.DS stat.ML
Robust Inference for Seemingly Unrelated Regression Models
看似不相关的回归模型通过考虑由同时相关的扰动连接的多元回归方程来推广线性回归模型。考虑了看似不相关回归模型的鲁棒推断。MM-估计的引入,以获得估计,具有高崩溃点和高的正常效率。一个快速和强大的自助程序的开发,以获得这些估计的鲁棒推断。构造了相依回归模型参数的置信区间以及回归系数线性约束的假设检验。此外,为了评估一个看似无关的回归模型的需要,提出了一个强大的程序来测试干扰之间的相关性的存在。快速和强大的自助推断的性能进行评估经验,在模拟研究和实际数据上说明。
2018-05-14 stat.ME
A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression
本文提出大规模多元线性回归的自适应收缩先验经验贝叶斯方法,利用变分推断实现与 Lasso 相当的速度和竞争力精度,并揭示其后验均值对应数据驱动的惩罚回归。
2024-06-12 stat.ME stat.ML
Fast and stable multivariate kernel density estimation by fast sum updating
核密度估计和核回归是功能强大但计算昂贵的技术:给定$N$输入样本点,在$M$评估点处直接评估核密度估计需要二次$\mathcal{O}(MN)$运算,这对于大规模问题是禁止的。为此,已经提出了诸如利用快速傅立叶变换或快速高斯变换的分箱的近似方法来加速核密度估计。在这些快速方法中,快速求和更新方法是一种有吸引力的替代方案,因为它是一种精确的方法,并且其速度与输入样本和带宽无关。不幸的是,这种基于数据排序的方法在很大程度上仅限于单变量的情况。在本文中,我们重新审视的快速总和更新方法,并在几个方面进行了扩展。我们的主要贡献是将其扩展到一般输入数据和直线评估网格的一般多变量情况。其他贡献包括其扩展到更广泛的内核类,包括三角形,余弦和西尔弗曼内核,其与简约的加性多变量内核的组合,以及其与多变量数据集的快速近似k-近邻带宽的组合。多元回归和密度估计的数值试验证实了该方法的速度、精度和稳定性。我们希望这篇文章能重新引起人们对快速和更新方法的兴趣,并有助于解决大规模实际的密度估计和回归问题。
2018-10-22 stat.CO
Fast Inference for Quantile Regression with Tens of Millions of Observations
本文针对数千万观测值下的线性分位数回归,提出基于随机次梯度下降和Polyak-Ruppert平均的在线快速推断框架,无需重抽样即可构造枢轴统计量,并在大规模数值实验和美国大学工资溢价性别差距分析中验证了其计算优势。
2023-10-31 econ.EM stat.CO
Efficient Computation for Centered Linear Regression with Sparse Inputs
稀疏输入的回归是大规模模型的常见主题。针对稀疏输入优化底层线性代数允许更快地估计此类模型。与此同时,集中输入有利于改善模型的解释和收敛。然而,将数据居中自然会使稀疏数据变得密集,从而限制了优化的机会。我们提出了一种有效的策略,估计中心回归,同时利用稀疏结构的数据,提高计算性能和减少内存占用的估计。
2019-10-29 stat.CO
Mixability made efficient: Fast online multiclass logistic regression
INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);LJK(约瑟夫·傅立叶实验室)
可混性已被证明是一个强大的工具,以获得最佳的遗憾算法。然而,所得到的方法通常遭受高计算复杂性,这降低了它们的实用性。例如,在多类逻辑回归的情况下,聚合预测器(Foster et al.(2018))实现了$O(\log(Bn))$的遗憾,而在线牛顿步骤实现了$O(e^B\log(n))$,获得了$B$的双指数增益(比较函数的范数的界限)。然而,这种高统计性能是以过高的计算复杂性$O(n^{37})$为代价的。
2021-10-08 cs.LG math.ST stat.ML
Fast Ridge Regression with Randomized Principal Component Analysis and Gradient Descent
提出了一种新的求解大规模回归问题的两阶段算法LING。在固定设计设置下,LING与众所周知的岭回归具有相同的风险,并且可以更快地计算。我们的实验表明,与其他大规模回归算法(如梯度下降,随机梯度下降和主成分回归)相比,LING在模拟和真实数据集上的预测精度和计算效率方面都表现良好。
2014-05-15 stat.ML
Fast multi-output relevance vector regression
Adam Smith Business School, University of Glasgow(格拉斯哥大学亚当·斯密商学院)
将多输出相关向量回归的时间复杂度从O(VM^3)降低到O(V^3+M^3),其中V是输出维数,M是基函数个数,V<M.实验结果表明,该方法是更有竞争力的比现有的方法,在计算时间方面。MATLAB代码可在http://www.mathworks.com/matlabcentral/fileexchange/49131上获得。
2017-04-17 cs.LG stat.ML
Fast Generalized Matrix Regression with Applications in Machine Learning
Shenzhen Research Institute of Big Data(深圳大数据研究院);Stevens Institute of Technology(斯蒂文斯理工学院);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
快速矩阵算法已成为大数据时代机器学习的基本工具。广义矩阵回归问题广泛应用于CUR分解、核矩阵逼近、流奇异值分解等矩阵逼近中,本文提出了一种快速广义矩阵回归算法(Fast GMR),该算法利用草图技术有效地解决了GMR问题。给定误差参数$0<ε<1$,快速GMR算法可以实现$(1+ε)$相对误差,对于大组GMR问题,草图尺寸为$\cO(ε^{-1/2})$阶。本文将快速GMR算法应用于对称正定矩阵逼近和单遍奇异值分解,取得了比传统算法更好的性能。我们的实证研究也验证了我们提出的算法的有效性和效率。
2019-12-27 cs.LG stat.ML
Fast and Scalable Estimator for Sparse and Unit-Rank Higher-Order Regression Models
Southeast University(东南大学)
由于张量数据越来越频繁地出现在各种科学研究和实际应用中,分析张量特征与单变量结果之间的关系成为许多领域的一项基本任务。为了解决这个问题,我们提出了基于单位秩CANDECOMP/PARAFAC分解的\underline{Fa} st \underline{S} parse \underline{T} ensor \underline{R} egression model(FasTR). FasTR首先将张量系数分解为分量向量,然后使用$\ell_1$正则化回归估计每个向量。由于各分量向量的独立性,FasTR能够并行求解,其时间复杂度优于以往的模型。我们评估了几个模拟数据集和真实世界的fMRI数据集上的性能。实验结果表明,与四种基线模型相比,在每种情况下,FasTR都能在更短的时间内计算出更好的解。
2019-11-29 cs.LG stat.ML
Very fast Bayesian Additive Regression Trees on GPU
unifi(乌尼维斯大学);Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)(统计与计算机科学应用系(DISIA))
针对BART运行慢的问题,提出GPU加速实现,速度提升高达200倍,与XGBoost竞争,并开源在bartz包中。
2026-11-10 cs.LG stat.ML
Fast Sparse Least-Squares Regression with Non-Asymptotic Guarantees
本文研究了{ \it大规模高维}稀疏最小二乘回归问题的一种快速逼近方法,该方法利用Johnson-Lindenstrauss(JL)变换将一组高维向量嵌入到低维空间中.特别是,我们建议将JL变换应用到数据矩阵和目标向量,然后用{ \it稍大的正则化参数}解决压缩数据上的稀疏最小二乘问题。在理论上,我们建立了两种不同稀疏诱导正则化器的学习模型的优化误差界,即,弹性网和$\ell_1$范数。与以往的相关工作相比,我们的分析是{ \it非渐近的,并展示了更多的见解}上界,样本复杂性和正则化。作为示例,我们还提供了{ \it Dantzig选择器}在JL变换下的误差界。
2015-07-18 cs.CC math.ST stat.ML
Correlated random features for fast semi-supervised learning
ETH Zürich(苏黎世联邦理工学院)
本文提出了相关Nystrom视图(XNV),一个快速的半监督算法的回归和分类。该算法借鉴了两个主要思想。首先,它生成两个视图组成的计算成本低廉的随机功能。其次,XNV应用多视图回归,使用典型相关分析(CCA)对未标记的数据进行回归,使回归偏向有用的特征。已经表明,如果视图包含准确的估计量,CCA回归可以在偏差增加最小的情况下大大减少方差。最近的理论和实证工作表明,随机功能的回归非常接近核回归,这意味着随机视图可以预期包含准确的估计,随机视图是合理的。我们表明,XNV始终优于最先进的半监督学习算法:大大提高了预测性能,降低了各种真实世界数据集上的性能变化,同时还减少了运行时间的数量级。
2013-11-05 cs.LG stat.ML
Fast Computation of Leave-One-Out Cross-Validation for $k$-NN Regression
EURECOM(欧洲电信研究与教育中心)
本文提出 $k$-NN 回归 LOOCV 的闭式快速算法,证明其可由一次 $(k+1)$-NN 拟合乘以缩放因子得到,避免逐样本重复训练。
2024-12-04 cs.DS cs.LG stat.CO
Randomized sketches for kernels: Fast and optimal non-parametric regression
University of California, Berkeley(加州大学伯克利分校)
核岭回归(KRR)是在再生核希尔伯特空间上执行非参数回归的标准方法。给定$n$样本,计算KRR估计尺度分别为$\mathcal{O}(n^3)$和$\mathcal{O}(n^2)$的时间和空间复杂度在许多情况下是禁止的。我们提出了基于$m$维随机草图的核矩阵的KRR近似,并研究了如何小的投影尺寸$m$可以选择,同时仍然保持极小极大最优的近似KRR估计。对于各类随机草图,包括那些基于高斯和随机Hadamard矩阵,我们证明,它足以选择草图尺寸$m$成比例的统计尺寸(模对数因子)。因此,我们得到快速和极小极大最佳逼近的KRR估计的非参数回归。
2015-01-25 cs.DS cs.LG stat.CO
Fast Fair Regression via Efficient Approximations of Mutual Information
Gradient Institute(梯度研究所)
迄今为止,大多数关于算法公平性的工作都集中在离散的结果上,比如决定是否给某人贷款。在这些分类设置中,群体公平标准,如独立性,分离和充分性,可以直接通过比较子群体之间的结果率来衡量。然而,许多重要的问题需要预测实际值的结果,例如风险评分或保险费。在这样的回归设置中,测量组公平性标准在计算上是具有挑战性的,因为它需要估计条件概率密度函数之间的信息理论分歧。本文介绍了快速近似的独立性,分离性和充分性组的公平性标准的回归模型,从他们的(条件)互信息定义,并使用这种近似作为正则化的风险最小化框架内执行公平性。在真实世界的数据集上的实验表明,尽管其优越的计算效率,我们的算法仍然显示出最先进的准确性/公平性权衡。
2020-02-14 cs.LG stat.ML
Fractional ridge regression: a fast, interpretable reparameterization of ridge regression
The University of Washington eScience Institute(华盛顿大学电子科学研究所);University of Washington(华盛顿大学);Center for Magnetic Resonance Research(磁共振研究中心);University of Minnesota(明尼苏达大学)
岭回归(RR)是一种正则化技术,它惩罚线性回归中系数的L2范数。使用RR的挑战之一是需要设置一个控制正则化量的超参数($α$)。交叉验证通常用于从一组候选中选择最佳的$α$。然而,有效和适当地选择$α$可能具有挑战性,特别是在分析大量数据的情况下。由于所选的$α$取决于数据和预测因子的规模,因此无法直接解释。在这里,我们建议根据正则化和非正则化系数的L2范数之间的比率$γ$来重新参数化RR。这种称为分数RR(FRR)的方法有几个好处:保证为不同的$γ$获得的解决方案是不同的,防止浪费计算,并自动跨越正则化的相关范围,避免需要费力的手动探索。我们提供了一个解决FRR的算法,以及Python和MATLAB中的开源软件实现(https://github.com/nrdg/fracridge)。我们表明,所提出的方法是快速和可扩展的大规模数据问题,并提供了直接解释和比较模型和数据集的结果。
2020-05-07 cs.LG stat.ME stat.ML
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany(以人为中心的人工智能,慕尼黑海德堡研究所)
metabeta是一种快速的神经网络模型,用于贝叶斯混合效应回归,通过预训练时间优化计算,实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
Fast OSCAR and OWL Regression via Safe Screening Rules
University of Pittsburgh(匹兹堡大学);JD Finance America Corporation(京东金融美国公司)
有序加权$L_{1}$(OWL)正则化回归是一种新的高维稀疏学习回归分析方法。近似梯度方法被用作解决OWL回归的标准方法。然而,它仍然是一个紧迫的问题,以解决OWL回归由于相当大的计算成本和内存使用时,功能或样本大小是大的。本文提出了OWL回归的第一个安全筛选规则,通过迭代策略探索具有未知序结构的原始解的序,克服了处理不可分离正则化子的困难。该方法有效地避免了在学习过程中对系数必须为零的参数进行更新。更重要的是,建议的筛选规则可以很容易地应用到标准和随机邻近梯度方法。此外,我们证明了我们的筛选规则的算法是保证有相同的结果与原来的算法。在各种数据集上的实验结果表明,与现有的竞争算法相比,我们的筛选规则导致了显着的计算增益,而没有任何准确性的损失。
2021-10-19 cs.LG stat.ME stat.ML
Fast Bayesian Feature Selection for High Dimensional Linear Regression in Genomics via the Ising Approximation
Boston University(波士顿大学)
识别与预测响应相关的变量子集的特征选择是统计学和机器学习中许多方法的重要且具有挑战性的组成部分。当变量的数量接近或超过样本的数量时,特征选择特别困难且计算密集,这通常是许多基因组数据集的情况。在这里,我们介绍了一种新的方法-贝叶斯伊辛近似(BIA)-快速计算后验概率的特征相关性L2惩罚线性回归。在该制度的回归问题是强正规化的先验,我们表明,计算边际后验概率的功能是等价于计算的伊辛模型的磁化。使用平均场近似,我们表明,它是可以快速计算的后验概率作为L2惩罚的函数所描述的特征选择路径。我们目前的模拟和分析结果说明了一些简单的回归问题的BIA的准确性。最后,我们通过分析具有近30,000个特征的基因表达数据集,证明了BIA对高维回归的适用性。
2014-07-30 cs.LG q-bio.QM stat.ML
PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse Multinomial Logistic Regression
多项逻辑斯谛回归是一种被广泛研究的分类工具,并且已经广泛用于图像处理、计算机视觉和生物信息学等领域。在监督分类场景下,多项逻辑斯谛回归模型通过优化似然目标来学习权重向量以区分任何两个类别。随着大数据时代的到来,数据的泛滥导致了权向量的高维化,也导致了大量的类,这使得经典的模型估计方法在计算上变得不可行。针对这一问题,本文提出了一种并行迭代算法:多元逻辑斯谛回归并行迭代算法(PIANO)。该算法基于优化最小化过程,能够并行更新权向量的每个元素。此外,我们还表明,PIANO可以很容易地扩展到解决稀疏多项式逻辑斯谛回归问题-一个广泛研究的问题,因为它有吸引力的特征选择属性。特别地,我们将PIANO扩展到求解具有l1和l0正则化的稀疏多项逻辑斯谛回归问题。我们还证明了PIANO收敛到多项式和稀疏多项式逻辑斯谛回归问题的一个平稳点。仿真结果表明,该算法在收敛速度上优于现有方法。
2020-02-21 cs.LG math.OC stat.ML
A Fast Method for Lasso and Logistic Lasso
HKUST(香港科技大学)
提出一种基于主动集迭代的快速方法,显著加速压缩感知、Lasso和Logistic Lasso求解,与GPSR、lassoglm和glmnet混合后分别获得最高31.41倍、30.67倍、11.95倍和1.40倍的平均加速。
2024-02-04 cs.LG stat.ML
Fast Function to Function Regression
Carnegie Mellon University(卡内基梅隆大学)
我们分析了当输入协变量和输出响应都是来自非参数函数类的函数时的回归问题。函数到函数回归(FFR)涵盖了大量有趣的应用,包括时间序列预测问题,以及更一般的任务,如研究两种不同类型的分布之间的映射。然而,以前的FFR类型问题的非参数估计量在计算上与数据集中的输入/输出对的数量成比例。考虑到一般函数之间映射的复杂性,可能有必要考虑大型数据集,以实现低估计风险。为了解决这个问题,我们开发了一种新的可扩展的非参数估计,三重基估计(3BE),这是能够操作的数据集与许多实例。据我们所知,3BE是第一个可以扩展到大规模数据集的非参数FFR估计器。我们分析了3BE的风险,并得出一个上限率。此外,我们在预测速度和减少误差方面显示了几个数量级的改进,在各种现实世界的数据集,比以前的估计。
2014-10-27 cs.LG stat.ML
A Fast and Easy Regression Technique for k-NN Classification Without Using Negative Pairs
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文提出了一种廉价的方法来学习一个有效的相异度函数用于$k$ -最近邻($k$ -NN)分类。与通过单个变换将查询(未标记)对象和标记对象映射到新坐标的Mahalanobis度量学习方法不同,我们的方法学习标记对象到特征空间中的新点的变换,而查询对象保持在其原始坐标中。该方法与现有的距离度量学习方法相比具有几个优点:(i)在大型文档和图像数据集的实验中,它实现了比最先进的度量学习方法更好或至少可与之媲美的$k$ -NN分类精度。(ii)可以通过解决标准岭回归问题来有效地学习转换。对于文档和图像数据集,训练通常比测试的最快度量学习方法快两个数量级以上。这种加速也是由于所提出的方法消除了对“负”对象对的优化,即,类标签不同的对象。(iii)该公式在减少数据集中度方面具有理论上的合理性。
2020-08-28 cs.LG stat.ML
Fast kernel methods: Sobolev, physics-informed, and additive models
LPSM(概率与统计建模实验室);INRIA Paris(法国国家信息与自动化研究所巴黎中心);LMO(奥赛数学实验室)
针对核方法立方复杂度难以处理大规模数据的问题,提出基于核傅里叶表示与NUFFT的O(n log n)可扩展核回归框架,在三类场景下验证了其统计最优性与百亿级样本的高效处理能力。
2025-09-02 cs.LG math.ST stat.ME
Fast Nonparametric Conditional Independence Testing via Two-Stage Regression
Department of Biomedical Informatics, University of Pittsburgh(生物医学信息学系,匹兹堡大学)
提出BLITZ方法,通过两阶段回归(低阶多项式+浅层树)快速消除条件集影响,实现校准良好的非参数条件独立性检验,适用于因果发现。
2026-06-23 cs.LG stat.ME stat.ML
Fast gradient descent for drifting least squares regression, with application to bandits
Oxford University(牛津大学);INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
在线学习算法需要经常重新计算参数的最小二乘回归估计。我们研究提高计算复杂性,这样的算法,使用随机梯度下降(SGD)型计划,在经典的回归求解器。我们表明,SGD计划有效地跟踪真正的解决方案的回归问题,即使在存在漂移。这一发现加上$O(d)$在复杂性方面的改进,其中$d$是数据的维度,使它们在大数据环境中的实施具有吸引力。在强凸性的回归问题的情况下,保证,我们提供的预期和高概率(后者往往是需要提供理论保证更高层次的算法),尽管漂移的最小二乘解决方案的错误的界限。作为这种情况的一个例子,我们证明了PEGE线性强盗算法的SGD版本[Rusmevichientong和Tsitsiklis 2010]的遗憾性能比PEGE本身差,仅差$O(\log^4 n)$的一个因子。当回归问题的强凸性不能得到保证时,我们使用自适应正则化进行研究。我们在新闻文章推荐应用程序中对自适应正则化的SGD版本LinUCB [Li et al. 2010]进行了实证研究,该应用程序使用Yahoo!头版。这些实验表明,在计算复杂性方面有很大的增益,具有一致的低跟踪误差和接近$75\%$的点击率(CTR)性能。
2014-11-20 cs.LG stat.ML
SparseChem: Fast and accurate machine learning model for small molecules
KU Leuven(鲁汶大学)
SparseChem为生化应用提供快速准确的机器学习模型。特别地,该包支持非常高维的稀疏输入,例如,数百万的特征和数百万的化合物。可以从命令行训练分类、回归和删失回归模型,或它们的组合。此外,该库可以直接从Python访问。源代码和文档在GitHub上的MIT许可证下免费提供。
2022-03-09 cs.LG stat.ML
Fast Bayesian Variable Selection in Binomial and Negative Binomial Regression
贝叶斯变量选择是数据分析的一个强大工具,因为它提供了一种考虑先验信息和不确定性的变量选择原则性方法。然而,贝叶斯变量选择的广泛采用受到计算挑战的阻碍,特别是在具有大量协变量或非共轭似然的困难制度中。计数数据的广义线性模型在生物学、生态学、经济学等领域中很普遍,它是一个重要的特例。在这里,我们介绍了一种有效的MCMC方案,用于二项式和负二项式回归中的变量选择,该方案利用了Tempered吉布斯抽样(Zanella and Roberts,2019),并将逻辑斯谛回归作为特例。在实验中,我们证明了我们的方法的有效性,包括癌症数据与一万七千协变量。
2022-09-12 stat.CO stat.ME stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Nyström近似是一种快速随机化方法,通过对目标函数中出现的n乘n经验核矩阵进行子采样,快速解决核岭回归(KRR)问题。然而,这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数,这可能与求解原始KRR一样昂贵。在这项工作中,我们提出了一个线性时间(模poly-log项)算法,以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地,通过分析KRR目标的一阶条件,我们推导出一个解析公式,该公式取决于输入分布和平稳核的谱密度,用于捕获统计杠杆分数的非均匀性。数值实验表明,在相同的预测精度,我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出KRR的等价目标函数,利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归,并将其分别与符号梯度下降和坐标下降的早停解建立联系,提出高效计算方法,在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
Algorithms and Scientific Software for Quasi-Monte Carlo, Fast Gaussian Process Regression, and Scientific Machine Learning
Illinois Institute of Technology(伊利诺伊理工学院)
本论文提出三种高效算法与软件:QMC用于高维积分,GP用于高维插值与不确定性量化,sciML用于PDEs建模,涵盖误差估计、多任务学习和多级方法等创新技术。
2025-11-26 cs.LG math.PR stat.ML
Fast Gaussian Process Regression for Big Data
Chennai Mathematical Institute(金奈数学研究所);Indian Statistical Institute(印度统计研究所)
高斯过程广泛用于回归任务。高斯过程应用于回归任务的一个已知限制是解的计算需要执行矩阵求逆。该解决方案还需要在存储器中存储大型矩阵。这些因素限制了高斯过程回归在中小规模数据集上的应用。我们提出了一种算法,结合使用的方式类似的引导获得的数据的子集开发的模型的估计。样本量是该算法的关键参数。在详细的实验研究的基础上,为算法参数的合理选择提供了指导。已经提出了各种技术来将高斯过程扩展到大规模回归任务。最合适的选择取决于问题的上下文。所提出的方法是最适合的问题,其中添加剂模型工作良好,响应依赖于少量的功能。这种问题的极小极大收敛速度是有吸引力的,我们可以用一小部分数据建立有效的模型。随机变分高斯过程和稀疏高斯过程也是这类问题的合适选择。这些方法基于理论考虑选择数据的子集。该算法使用装袋和随机抽样。作为本研究的一部分进行的实验结果表明,在这项工作中提出的算法可以作为有效的这些方法。模型堆叠可用于将用所提出的方法开发的模型与来自用于大规模回归的其他方法(例如梯度提升树)的模型相结合。这可以产生性能增益。
2017-08-19 cs.LG stat.ML
OccamNet: A Fast Neural Model for Symbolic Regression at Scale
Massachusetts Institute of Technology(麻省理工学院)
本文提出OccamNet,一种通过概率分布采样函数并结合强化学习交叉熵匹配训练的神经符号回归模型,能以低内存开销快速找到紧凑可解释的符号拟合,并在多种任务上超越现有方法。
2023-11-28 cs.LG cs.NE stat.ML
Random Bits Regression: a Strong General Predictor for Big Data
Fudan University(复旦大学);University of Texas Houston Health Sciences Center(德克萨斯大学休斯顿健康科学中心)
为了提高回归和分类的精度和速度,我们提出了一种基于数据的预测方法,随机位回归(RBR)。该方法首先基于原始输入矩阵生成大量随机二进制中间/派生特征,然后对这些中间/派生特征进行正则化线性/逻辑斯谛回归来预测结果。对模拟数据集、UCI机器学习存储库数据集和GWAS数据集的基准分析表明,RBR在准确性和鲁棒性方面优于其他流行方法。RBR(可在https://sourceforge.net/projects/rbr/上获得)非常快,需要合理的内存,因此,在大数据时代提供了强大,强大和快速的预测器。
2015-01-13 cs.LG stat.ML
Factorized Structured Regression for Large-Scale Varying Coefficient Models
LMU Munich(慕尼黑大学);RWTH Aachen(亚琛工业大学);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心);Flatiron Institute(熨斗研究院);University of St.Gallen(圣加仑大学)
推荐系统(RS)渗透到我们日常数字生活的许多方面。建议大规模工作,最先进的RS允许对数千个交互进行建模,并促进高度个性化的建议。从概念上讲,许多RS可以被视为统计回归模型的实例,这些模型包含复杂的特征效应和潜在的非高斯结果。然而,这种结构化的回归模型,包括时间感知的变系数模型,在其适用性方面受限于分类效应和包含大量的相互作用。在这里,我们提出了可扩展的变系数模型的因子化结构回归(FaStR)。FaStR通过在基于神经网络的模型实现中结合结构化加法回归和因子分解方法,克服了大规模数据的一般回归模型的局限性。这种融合为在以前不可行的数据设置中估计统计模型提供了一个可扩展的框架。实证结果证实,我们的方法的不同系数的估计是与国家的最先进的回归技术,而缩放显着更好,也与其他时间感知RS的预测性能方面的竞争力。我们说明了FaStR的性能和可解释性的大规模行为研究与智能手机用户数据。
2022-05-25 cs.LG stat.CO stat.ML
Fast and Robust Sparsity Learning over Networks: A Decentralized Surrogate Median Regression Approach
Shanghai Jiao Tong University(上海交通大学);Iowa State University(爱荷华州立大学)
分散稀疏学习由于其快速增长的应用,最近吸引了大量的关注。为了得到鲁棒的稀疏估计,一个自然的想法是采用非光滑中值损失结合$\ell_1$稀疏正则化。然而,大多数现有的方法遭受由{ \em double}非光滑目标引起的慢收敛性能。为了加快计算速度,本文提出了一种分散代理中值回归(deSMR)方法,有效地解决了分散稀疏学习问题。我们表明,我们提出的算法具有线性收敛速度与一个简单的实现。我们还研究了统计保证,它表明,我们提出的估计实现了近预言收敛速度,而没有任何限制的网络节点的数量。此外,我们建立了稀疏支持恢复的理论结果。数值实验和实际数据的研究证明了该方法的有效性。
2022-02-11 cs.LG stat.ME stat.ML
Fast Instrument Learning with Faster Rates
Tsinghua University(清华大学)
本文研究了高维工具下的非线性工具变量(IV)回归问题。我们提出了一个简单的算法,它结合了核IV方法和任意的,自适应回归算法,作为一个黑盒访问。我们的算法具有更快的收敛速度,并适应信息的潜在特征的维数,同时避免了昂贵的极大极小优化过程,这是必要的建立类似的保证。它进一步将灵活的机器学习模型的优点引入准贝叶斯不确定性量化、基于似然的模型选择和模型平均。仿真研究表明,我们的方法的竞争力的性能。
2022-10-22 cs.LG econ.EM stat.ML
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick(华威大学)
可扩展的算法来解决优化和回归任务,甚至近似,需要与大型数据集一起工作。在本文中,我们研究有效的技术,从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”(IHS),并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下,同时大大提高了时间成本。其结果是,我们获得了显着更快的算法约束回归,稀疏和密集的输入。我们的经验结果表明,对于稀疏数据,我们可以以大约100倍的速度汇总数据,而令人惊讶的是,对于密集数据,我们可以以10倍的速度汇总数据!因此,可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
Scalable Sparse Regression for Model Discovery: The Fast Lane to Insight
School of Physics, Georgia Institute of Technology(佐治亚理工学院物理学院)
针对动力学系统数据充足但数学描述不足的问题,提出通用稀疏回归算法SPRINT,通过带解析界的二分法加速零向量最优秩1修正识别,大幅提升模型发现效率。
2024-05-14 cs.LG physics.data-an stat.ML
Fast cross-validation for multi-penalty ridge regression
具有多种数据类型的高维预测需要考虑预测信号中潜在的强烈差异。岭回归是一种简单的高维数据模型,它挑战了许多更复杂的模型和学习器的预测性能,并且允许包含数据类型特定的惩罚。多惩罚岭的最大挑战是在交叉验证(CV)设置中有效地优化这些惩罚,特别是对于GLM和Cox岭回归,其需要通过迭代加权最小二乘(IWLS)进行额外的估计循环。我们的主要贡献是一个计算上非常有效的公式的多罚,样本加权帽矩阵,在IWLS算法中使用。因此,几乎所有的计算都是在低维空间中进行的,从而使速度提高了几个数量级。我们开发了一个灵活的框架,促进多种类型的响应,未惩罚的协变量,几个性能标准和重复CV。扩展配对和优惠的数据类型,包括和说明几个癌症基因组生存预测问题。此外,我们提出了类似的计算最大边际似然和贝叶斯概率回归的捷径。相应的R包multiridge是一个通用的独立工具,也是其他更复杂模型和多视图学习器的快速基准。
2021-04-01 stat.CO stat.ME stat.ML
Fast Gaussian Process Approximations for Autocorrelated Data
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, GA 30339(佐治亚理工学院H.Milton Stewart工业与系统工程学院);Department of Statistics, University of Wisconsin–Madison, Madison, WI 53706(威斯康星大学麦迪逊分校统计系)
本文提出一种快速高斯过程近似方法,通过分块处理自相关数据以加速计算并保持模型预测性能。
2025-12-02 cs.LG stat.ML
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech(加泰罗尼亚理工大学-巴塞罗那理工大学);University of Minnesota(明尼苏达大学)
矩阵完成和外推(MCEX)在这里处理再生核希尔伯特空间(RKHS),以考虑现有数据中的先验信息。针对快速和低复杂度的求解器,该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现,而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明,该方法比交替最小二乘(ALS)或随机梯度下降(SGD)等广泛使用的方法执行得更快,并且恢复误差减少,特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
Regression Trees for Fast and Adaptive Prediction Intervals
Federal University of São Carlos(圣卡洛斯联邦大学);Institute of Mathematical Sciences and Computation, University of São Paulo(圣保罗大学数学与计算科学研究所);Institute of Mathematics and Statistics, University of São Paulo(圣保罗大学数学与统计研究所)
本文提出一种模型无关的方法,通过在 conformity scores 上训练回归树和 Random Forests 来划分特征空间,从而为回归问题校准预测区间,提供局部覆盖保证,并在可扩展性和性能上优于基线。
2024-02-13 cs.LG stat.ML
FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions
本文提出FAStEN方法,结合函数数据、优化与机器学习技术,在稀疏高维函数回归中同时进行特征选择与参数估计,显著降低计算成本并提升选择性能,且不牺牲系数估计质量。
2024-10-17 stat.CO stat.ME stat.ML
Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations
Booz Allen Hamilton(博兹艾伦汉密尔顿公司)
本文针对稀疏输入数据上的差分隐私回归训练问题,提出一种能感知稀疏性的 Frank-Wolfe 算法,显著降低 LASSO 正则化逻辑回归的训练时间,最高可加速 2200 倍。
2023-10-30 cs.LG stat.CO stat.ML