Correlated random features for fast semi-supervised learning
ETH Zürich(苏黎世联邦理工学院)
本文提出了相关Nystrom视图(XNV),一个快速的半监督算法的回归和分类。该算法借鉴了两个主要思想。首先,它生成两个视图组成的计算成本低廉的随机功能。其次,XNV应用多视图回归,使用典型相关分析(CCA)对未标记的数据进行回归,使回归偏向有用的特征。已经表明,如果视图包含准确的估计量,CCA回归可以在偏差增加最小的情况下大大减少方差。最近的理论和实证工作表明,随机功能的回归非常接近核回归,这意味着随机视图可以预期包含准确的估计,随机视图是合理的。我们表明,XNV始终优于最先进的半监督学习算法:大大提高了预测性能,降低了各种真实世界数据集上的性能变化,同时还减少了运行时间的数量级。
2013-11-05 cs.LG stat.ML
Fast Ridge Regression with Randomized Principal Component Analysis and Gradient Descent
提出了一种新的求解大规模回归问题的两阶段算法LING。在固定设计设置下,LING与众所周知的岭回归具有相同的风险,并且可以更快地计算。我们的实验表明,与其他大规模回归算法(如梯度下降,随机梯度下降和主成分回归)相比,LING在模拟和真实数据集上的预测精度和计算效率方面都表现良好。
2014-05-15 stat.ML
Fast local linear regression with anchor regularization
ENS Paris-Saclay(巴黎萨克雷高等师范学院);RIKEN AIP(理化学研究所先进智能项目中心);Kyoto University(京都大学)
回归是机器学习和数据采掘中的一项重要任务。它在金融、生物医学和计算机视觉等各个领域都有应用。最近,提出了网络Lasso,它通过使用网络信息进行聚类来估计局部模型,并证明了其优越的性能。在这项研究中,我们提出了一种简单而有效的局部模型训练算法,称为快速锚正则化局部线性方法(FALL)。更具体地说,我们训练每个样本的本地模型,通过正则化它与预先计算的锚模型。该算法的主要优点是,我们可以得到一个封闭的形式的解决方案,只有矩阵乘法,此外,该算法是易于解释,快速计算和并行化。通过对合成和真实世界数据集的实验,我们证明了FALL在准确性方面与最先进的网络Lasso算法相比具有更小的训练时间(两个数量级)。
2020-02-21 cs.LG stat.ML
Fast Fair Regression via Efficient Approximations of Mutual Information
Gradient Institute(梯度研究所)
迄今为止,大多数关于算法公平性的工作都集中在离散的结果上,比如决定是否给某人贷款。在这些分类设置中,群体公平标准,如独立性,分离和充分性,可以直接通过比较子群体之间的结果率来衡量。然而,许多重要的问题需要预测实际值的结果,例如风险评分或保险费。在这样的回归设置中,测量组公平性标准在计算上是具有挑战性的,因为它需要估计条件概率密度函数之间的信息理论分歧。本文介绍了快速近似的独立性,分离性和充分性组的公平性标准的回归模型,从他们的(条件)互信息定义,并使用这种近似作为正则化的风险最小化框架内执行公平性。在真实世界的数据集上的实验表明,尽管其优越的计算效率,我们的算法仍然显示出最先进的准确性/公平性权衡。
2020-02-14 cs.LG stat.ML
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany(以人为中心的人工智能,慕尼黑海德堡研究所)
metabeta是一种快速的神经网络模型,用于贝叶斯混合效应回归,通过预训练时间优化计算,实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
A Fast Method for Lasso and Logistic Lasso
HKUST(香港科技大学)
提出一种基于主动集迭代的快速方法,显著加速压缩感知、Lasso和Logistic Lasso求解,与GPSR、lassoglm和glmnet混合后分别获得最高31.41倍、30.67倍、11.95倍和1.40倍的平均加速。
2024-02-04 cs.LG stat.ML
A Fast and Easy Regression Technique for k-NN Classification Without Using Negative Pairs
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文提出了一种廉价的方法来学习一个有效的相异度函数用于$k$ -最近邻($k$ -NN)分类。与通过单个变换将查询(未标记)对象和标记对象映射到新坐标的Mahalanobis度量学习方法不同,我们的方法学习标记对象到特征空间中的新点的变换,而查询对象保持在其原始坐标中。该方法与现有的距离度量学习方法相比具有几个优点:(i)在大型文档和图像数据集的实验中,它实现了比最先进的度量学习方法更好或至少可与之媲美的$k$ -NN分类精度。(ii)可以通过解决标准岭回归问题来有效地学习转换。对于文档和图像数据集,训练通常比测试的最快度量学习方法快两个数量级以上。这种加速也是由于所提出的方法消除了对“负”对象对的优化,即,类标签不同的对象。(iii)该公式在减少数据集中度方面具有理论上的合理性。
2020-08-28 cs.LG stat.ML
Fast gradient descent for drifting least squares regression, with application to bandits
Oxford University(牛津大学);INRIA Lille - Nord Europe(法国国家信息与自动化研究所里尔-北欧中心)
在线学习算法需要经常重新计算参数的最小二乘回归估计。我们研究提高计算复杂性,这样的算法,使用随机梯度下降(SGD)型计划,在经典的回归求解器。我们表明,SGD计划有效地跟踪真正的解决方案的回归问题,即使在存在漂移。这一发现加上$O(d)$在复杂性方面的改进,其中$d$是数据的维度,使它们在大数据环境中的实施具有吸引力。在强凸性的回归问题的情况下,保证,我们提供的预期和高概率(后者往往是需要提供理论保证更高层次的算法),尽管漂移的最小二乘解决方案的错误的界限。作为这种情况的一个例子,我们证明了PEGE线性强盗算法的SGD版本[Rusmevichientong和Tsitsiklis 2010]的遗憾性能比PEGE本身差,仅差$O(\log^4 n)$的一个因子。当回归问题的强凸性不能得到保证时,我们使用自适应正则化进行研究。我们在新闻文章推荐应用程序中对自适应正则化的SGD版本LinUCB [Li et al. 2010]进行了实证研究,该应用程序使用Yahoo!头版。这些实验表明,在计算复杂性方面有很大的增益,具有一致的低跟踪误差和接近$75\%$的点击率(CTR)性能。
2014-11-20 cs.LG stat.ML
SparseChem: Fast and accurate machine learning model for small molecules
KU Leuven(鲁汶大学)
SparseChem为生化应用提供快速准确的机器学习模型。特别地,该包支持非常高维的稀疏输入,例如,数百万的特征和数百万的化合物。可以从命令行训练分类、回归和删失回归模型,或它们的组合。此外,该库可以直接从Python访问。源代码和文档在GitHub上的MIT许可证下免费提供。
2022-03-09 cs.LG stat.ML
Fast Conformal Prediction using Conditional Interquantile Intervals
本文提出CIR和CIR+方法,通过改进的分位数区间构建技术,实现高效且准确的符合预测,适用于处理偏斜分布和提高计算效率。
2026-01-06 cs.LG stat.ML
Fractional ridge regression: a fast, interpretable reparameterization of ridge regression
The University of Washington eScience Institute(华盛顿大学电子科学研究所);University of Washington(华盛顿大学);Center for Magnetic Resonance Research(磁共振研究中心);University of Minnesota(明尼苏达大学)
岭回归(RR)是一种正则化技术,它惩罚线性回归中系数的L2范数。使用RR的挑战之一是需要设置一个控制正则化量的超参数($α$)。交叉验证通常用于从一组候选中选择最佳的$α$。然而,有效和适当地选择$α$可能具有挑战性,特别是在分析大量数据的情况下。由于所选的$α$取决于数据和预测因子的规模,因此无法直接解释。在这里,我们建议根据正则化和非正则化系数的L2范数之间的比率$γ$来重新参数化RR。这种称为分数RR(FRR)的方法有几个好处:保证为不同的$γ$获得的解决方案是不同的,防止浪费计算,并自动跨越正则化的相关范围,避免需要费力的手动探索。我们提供了一个解决FRR的算法,以及Python和MATLAB中的开源软件实现(https://github.com/nrdg/fracridge)。我们表明,所提出的方法是快速和可扩展的大规模数据问题,并提供了直接解释和比较模型和数据集的结果。
2020-05-07 cs.LG stat.ME stat.ML
Fast Gaussian Process Regression for Big Data
Chennai Mathematical Institute(金奈数学研究所);Indian Statistical Institute(印度统计研究所)
高斯过程广泛用于回归任务。高斯过程应用于回归任务的一个已知限制是解的计算需要执行矩阵求逆。该解决方案还需要在存储器中存储大型矩阵。这些因素限制了高斯过程回归在中小规模数据集上的应用。我们提出了一种算法,结合使用的方式类似的引导获得的数据的子集开发的模型的估计。样本量是该算法的关键参数。在详细的实验研究的基础上,为算法参数的合理选择提供了指导。已经提出了各种技术来将高斯过程扩展到大规模回归任务。最合适的选择取决于问题的上下文。所提出的方法是最适合的问题,其中添加剂模型工作良好,响应依赖于少量的功能。这种问题的极小极大收敛速度是有吸引力的,我们可以用一小部分数据建立有效的模型。随机变分高斯过程和稀疏高斯过程也是这类问题的合适选择。这些方法基于理论考虑选择数据的子集。该算法使用装袋和随机抽样。作为本研究的一部分进行的实验结果表明,在这项工作中提出的算法可以作为有效的这些方法。模型堆叠可用于将用所提出的方法开发的模型与来自用于大规模回归的其他方法(例如梯度提升树)的模型相结合。这可以产生性能增益。
2017-08-19 cs.LG stat.ML
Randomized sketches for kernels: Fast and optimal non-parametric regression
University of California, Berkeley(加州大学伯克利分校)
核岭回归(KRR)是在再生核希尔伯特空间上执行非参数回归的标准方法。给定$n$样本,计算KRR估计尺度分别为$\mathcal{O}(n^3)$和$\mathcal{O}(n^2)$的时间和空间复杂度在许多情况下是禁止的。我们提出了基于$m$维随机草图的核矩阵的KRR近似,并研究了如何小的投影尺寸$m$可以选择,同时仍然保持极小极大最优的近似KRR估计。对于各类随机草图,包括那些基于高斯和随机Hadamard矩阵,我们证明,它足以选择草图尺寸$m$成比例的统计尺寸(模对数因子)。因此,我们得到快速和极小极大最佳逼近的KRR估计的非参数回归。
2015-01-25 cs.DS cs.LG stat.CO
Random Bits Regression: a Strong General Predictor for Big Data
Fudan University(复旦大学);University of Texas Houston Health Sciences Center(德克萨斯大学休斯顿健康科学中心)
为了提高回归和分类的精度和速度,我们提出了一种基于数据的预测方法,随机位回归(RBR)。该方法首先基于原始输入矩阵生成大量随机二进制中间/派生特征,然后对这些中间/派生特征进行正则化线性/逻辑斯谛回归来预测结果。对模拟数据集、UCI机器学习存储库数据集和GWAS数据集的基准分析表明,RBR在准确性和鲁棒性方面优于其他流行方法。RBR(可在https://sourceforge.net/projects/rbr/上获得)非常快,需要合理的内存,因此,在大数据时代提供了强大,强大和快速的预测器。
2015-01-13 cs.LG stat.ML
Fast OSCAR and OWL Regression via Safe Screening Rules
University of Pittsburgh(匹兹堡大学);JD Finance America Corporation(京东金融美国公司)
有序加权$L_{1}$(OWL)正则化回归是一种新的高维稀疏学习回归分析方法。近似梯度方法被用作解决OWL回归的标准方法。然而,它仍然是一个紧迫的问题,以解决OWL回归由于相当大的计算成本和内存使用时,功能或样本大小是大的。本文提出了OWL回归的第一个安全筛选规则,通过迭代策略探索具有未知序结构的原始解的序,克服了处理不可分离正则化子的困难。该方法有效地避免了在学习过程中对系数必须为零的参数进行更新。更重要的是,建议的筛选规则可以很容易地应用到标准和随机邻近梯度方法。此外,我们证明了我们的筛选规则的算法是保证有相同的结果与原来的算法。在各种数据集上的实验结果表明,与现有的竞争算法相比,我们的筛选规则导致了显着的计算增益,而没有任何准确性的损失。
2021-10-19 cs.LG stat.ME stat.ML
Fast Computation of Leave-One-Out Cross-Validation for $k$-NN Regression
EURECOM(欧洲电信研究与教育中心)
本文提出 $k$-NN 回归 LOOCV 的闭式快速算法,证明其可由一次 $(k+1)$-NN 拟合乘以缩放因子得到,避免逐样本重复训练。
2024-12-04 cs.DS cs.LG stat.CO
Fast Bayesian Feature Selection for High Dimensional Linear Regression in Genomics via the Ising Approximation
Boston University(波士顿大学)
识别与预测响应相关的变量子集的特征选择是统计学和机器学习中许多方法的重要且具有挑战性的组成部分。当变量的数量接近或超过样本的数量时,特征选择特别困难且计算密集,这通常是许多基因组数据集的情况。在这里,我们介绍了一种新的方法-贝叶斯伊辛近似(BIA)-快速计算后验概率的特征相关性L2惩罚线性回归。在该制度的回归问题是强正规化的先验,我们表明,计算边际后验概率的功能是等价于计算的伊辛模型的磁化。使用平均场近似,我们表明,它是可以快速计算的后验概率作为L2惩罚的函数所描述的特征选择路径。我们目前的模拟和分析结果说明了一些简单的回归问题的BIA的准确性。最后,我们通过分析具有近30,000个特征的基因表达数据集,证明了BIA对高维回归的适用性。
2014-07-30 cs.LG q-bio.QM stat.ML
Fast Gaussian Process Approximations for Autocorrelated Data
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, GA 30339(佐治亚理工学院H.Milton Stewart工业与系统工程学院);Department of Statistics, University of Wisconsin–Madison, Madison, WI 53706(威斯康星大学麦迪逊分校统计系)
本文提出一种快速高斯过程近似方法,通过分块处理自相关数据以加速计算并保持模型预测性能。
2025-12-02 cs.LG stat.ML
Matrix completion and extrapolation via kernel regression
Universitat Politècnica de Catalunya-Barcelona Tech(加泰罗尼亚理工大学-巴塞罗那理工大学);University of Minnesota(明尼苏达大学)
矩阵完成和外推(MCEX)在这里处理再生核希尔伯特空间(RKHS),以考虑现有数据中的先验信息。针对快速和低复杂度的求解器,该任务被制定为一个核心岭回归。由此产生的MCEX算法也可以提供在线实现,而类的核函数也包括现有的方法MC与先验信息。对合成数据集和真实数据集的数值测试表明,该方法比交替最小二乘(ALS)或随机梯度下降(SGD)等广泛使用的方法执行得更快,并且恢复误差减少,特别是在处理噪声数据时。
2019-03-28 cs.LG stat.ML
PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse Multinomial Logistic Regression
多项逻辑斯谛回归是一种被广泛研究的分类工具,并且已经广泛用于图像处理、计算机视觉和生物信息学等领域。在监督分类场景下,多项逻辑斯谛回归模型通过优化似然目标来学习权重向量以区分任何两个类别。随着大数据时代的到来,数据的泛滥导致了权向量的高维化,也导致了大量的类,这使得经典的模型估计方法在计算上变得不可行。针对这一问题,本文提出了一种并行迭代算法:多元逻辑斯谛回归并行迭代算法(PIANO)。该算法基于优化最小化过程,能够并行更新权向量的每个元素。此外,我们还表明,PIANO可以很容易地扩展到解决稀疏多项式逻辑斯谛回归问题-一个广泛研究的问题,因为它有吸引力的特征选择属性。特别地,我们将PIANO扩展到求解具有l1和l0正则化的稀疏多项逻辑斯谛回归问题。我们还证明了PIANO收敛到多项式和稀疏多项式逻辑斯谛回归问题的一个平稳点。仿真结果表明,该算法在收敛速度上优于现有方法。
2020-02-21 cs.LG math.OC stat.ML
Regression Trees for Fast and Adaptive Prediction Intervals
Federal University of São Carlos(圣卡洛斯联邦大学);Institute of Mathematical Sciences and Computation, University of São Paulo(圣保罗大学数学与计算科学研究所);Institute of Mathematics and Statistics, University of São Paulo(圣保罗大学数学与统计研究所)
本文提出一种模型无关的方法,通过在 conformity scores 上训练回归树和 Random Forests 来划分特征空间,从而为回归问题校准预测区间,提供局部覆盖保证,并在可扩展性和性能上优于基线。
2024-02-13 cs.LG stat.ML
Mixability made efficient: Fast online multiclass logistic regression
INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);LJK(约瑟夫·傅立叶实验室)
可混性已被证明是一个强大的工具,以获得最佳的遗憾算法。然而,所得到的方法通常遭受高计算复杂性,这降低了它们的实用性。例如,在多类逻辑回归的情况下,聚合预测器(Foster et al.(2018))实现了$O(\log(Bn))$的遗憾,而在线牛顿步骤实现了$O(e^B\log(n))$,获得了$B$的双指数增益(比较函数的范数的界限)。然而,这种高统计性能是以过高的计算复杂性$O(n^{37})$为代价的。
2021-10-08 cs.LG math.ST stat.ML
Negative binomial regression and inference using a pre-trained transformer
Tahoe Therapeutics(塔霍制药公司)
针对大规模比较中负二项回归参数估计的计算难题,提出用预训练Transformer从计数数据估计参数,虽优于最大似然且快20倍,但矩估计更快更准,成为最优方案。
2025-08-06 cs.LG stat.ML
Fast Nonparametric Conditional Independence Testing via Two-Stage Regression
Department of Biomedical Informatics, University of Pittsburgh(生物医学信息学系,匹兹堡大学)
提出BLITZ方法,通过两阶段回归(低阶多项式+浅层树)快速消除条件集影响,实现校准良好的非参数条件独立性检验,适用于因果发现。
2026-06-23 cs.LG stat.ME stat.ML
OKRidge: Scalable Optimal k-Sparse Ridge Regression
Duke University(杜克大学)
本文提出OKRidge算法,通过鞍点下界计算与ADMM近端算子高效求解稀疏岭回归问题,用于识别非线性动力系统的稀疏控制方程,实验表明其运行时间比Gurobi求解的MIP方法快数个数量级。
2024-01-11 cs.LG stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Nyström近似是一种快速随机化方法,通过对目标函数中出现的n乘n经验核矩阵进行子采样,快速解决核岭回归(KRR)问题。然而,这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数,这可能与求解原始KRR一样昂贵。在这项工作中,我们提出了一个线性时间(模poly-log项)算法,以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地,通过分析KRR目标的一阶条件,我们推导出一个解析公式,该公式取决于输入分布和平稳核的谱密度,用于捕获统计杠杆分数的非均匀性。数值实验表明,在相同的预测精度,我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Fast Approximate Multi-output Gaussian Processes
University of Waterloo(滑铁卢大学);Monash University(莫纳什大学)
高斯过程回归模型是一种有吸引力的机器学习方法,因为它们从样本数据中学习表达性的非线性模型,具有最小的参数调整,并估计未知点的均值和协方差。然而,随着训练样本数量的指数计算复杂性增长一直是一个长期存在的挑战。在训练过程中,必须在每次迭代时计算和求逆$N \times N$核矩阵。回归需要计算$m \times N$内核,其中$N$和$m$分别是训练点和测试点的数量。在这项工作中,我们将展示如何使用特征值和函数近似协方差核,从而导致近似高斯过程,并显着降低训练和回归复杂性。用所提出的方法进行训练只需要计算$N \times n$特征函数矩阵和$n \times n$逆,其中$n$是所选择的特征值数目。此外,回归现在只需要一个$m \times n$矩阵。最后,在特殊情况下,超参数优化与训练样本的数目完全无关。该方法可以对多个输出进行回归,估计任意阶回归量的导数,并学习它们之间的相关性。在仿真示例中演示了计算复杂性降低、回归功能和多输出相关学习。
2020-08-22 cs.LG stat.ML
Algorithms and Scientific Software for Quasi-Monte Carlo, Fast Gaussian Process Regression, and Scientific Machine Learning
Illinois Institute of Technology(伊利诺伊理工学院)
本论文提出三种高效算法与软件:QMC用于高维积分,GP用于高维插值与不确定性量化,sciML用于PDEs建模,涵盖误差估计、多任务学习和多级方法等创新技术。
2025-11-26 cs.LG math.PR stat.ML
OccamNet: A Fast Neural Model for Symbolic Regression at Scale
Massachusetts Institute of Technology(麻省理工学院)
本文提出OccamNet,一种通过概率分布采样函数并结合强化学习交叉熵匹配训练的神经符号回归模型,能以低内存开销快速找到紧凑可解释的符号拟合,并在多种任务上超越现有方法。
2023-11-28 cs.LG cs.NE stat.ML
Factorized Structured Regression for Large-Scale Varying Coefficient Models
LMU Munich(慕尼黑大学);RWTH Aachen(亚琛工业大学);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心);Flatiron Institute(熨斗研究院);University of St.Gallen(圣加仑大学)
推荐系统(RS)渗透到我们日常数字生活的许多方面。建议大规模工作,最先进的RS允许对数千个交互进行建模,并促进高度个性化的建议。从概念上讲,许多RS可以被视为统计回归模型的实例,这些模型包含复杂的特征效应和潜在的非高斯结果。然而,这种结构化的回归模型,包括时间感知的变系数模型,在其适用性方面受限于分类效应和包含大量的相互作用。在这里,我们提出了可扩展的变系数模型的因子化结构回归(FaStR)。FaStR通过在基于神经网络的模型实现中结合结构化加法回归和因子分解方法,克服了大规模数据的一般回归模型的局限性。这种融合为在以前不可行的数据设置中估计统计模型提供了一个可扩展的框架。实证结果证实,我们的方法的不同系数的估计是与国家的最先进的回归技术,而缩放显着更好,也与其他时间感知RS的预测性能方面的竞争力。我们说明了FaStR的性能和可解释性的大规模行为研究与智能手机用户数据。
2022-05-25 cs.LG stat.CO stat.ML
Faster Algorithms for Learning Convex Functions
Boston University(波士顿大学)
近似任意凸函数的任务出现在几个学习问题中,例如凸回归,学习凸(DC)函数的差异,以及学习Bregman或$f$ -发散。在本文中,我们开发并分析了一种解决各种凸函数学习问题的方法,该方法比最先进的方法更快。我们的方法是基于一个2块ADMM方法,每个块可以计算在封闭的形式。对于凸Lipschitz回归的任务,我们建立了我们提出的算法收敛的迭代复杂度为$ O(n\sqrt{d}/ε)$的数据集$\bm X \in \mathbb R^{n\times d}$和$ε> 0$。结合每次迭代的计算复杂度,我们的方法以$O(n^3 d^{1.5}/ε+n^2 d^{2.5}/ε+n d^3/ε)$的速度收敛。如果是$d = o( n^4)$,则该新速率提高了$O(n^5d^2/ε)$的最新速率。此外,我们还为DC回归和Bregman发散学习提供了类似的求解器。与以前的方法不同,我们的方法适合使用GPU。我们在回归和度量学习实验中证明,我们的方法在某些数据集上比现有方法快100倍以上,并且产生的结果与最先进的方法相当。
2022-06-19 cs.LG stat.ML
Fast and Robust Sparsity Learning over Networks: A Decentralized Surrogate Median Regression Approach
Shanghai Jiao Tong University(上海交通大学);Iowa State University(爱荷华州立大学)
分散稀疏学习由于其快速增长的应用,最近吸引了大量的关注。为了得到鲁棒的稀疏估计,一个自然的想法是采用非光滑中值损失结合$\ell_1$稀疏正则化。然而,大多数现有的方法遭受由{ \em double}非光滑目标引起的慢收敛性能。为了加快计算速度,本文提出了一种分散代理中值回归(deSMR)方法,有效地解决了分散稀疏学习问题。我们表明,我们提出的算法具有线性收敛速度与一个简单的实现。我们还研究了统计保证,它表明,我们提出的估计实现了近预言收敛速度,而没有任何限制的网络节点的数量。此外,我们建立了稀疏支持恢复的理论结果。数值实验和实际数据的研究证明了该方法的有效性。
2022-02-11 cs.LG stat.ME stat.ML
bartMachine: Machine Learning with Bayesian Additive Regression Trees
我们在R中提出了一个新的包,实现了贝叶斯加性回归树(BART)。该软件包引入了许多新的功能,数据分析使用BART,如变量选择,相互作用检测,模型诊断图,纳入缺失数据和能力,以保存树为未来的预测。它比当前的R实现快得多,并行化,并且能够处理大样本量和高维数据。
2014-11-24 cs.LG stat.ML
Fast Instrument Learning with Faster Rates
Tsinghua University(清华大学)
本文研究了高维工具下的非线性工具变量(IV)回归问题。我们提出了一个简单的算法,它结合了核IV方法和任意的,自适应回归算法,作为一个黑盒访问。我们的算法具有更快的收敛速度,并适应信息的潜在特征的维数,同时避免了昂贵的极大极小优化过程,这是必要的建立类似的保证。它进一步将灵活的机器学习模型的优点引入准贝叶斯不确定性量化、基于似然的模型选择和模型平均。仿真研究表明,我们的方法的竞争力的性能。
2022-10-22 cs.LG econ.EM stat.ML
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick(华威大学)
可扩展的算法来解决优化和回归任务,甚至近似,需要与大型数据集一起工作。在本文中,我们研究有效的技术,从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”(IHS),并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下,同时大大提高了时间成本。其结果是,我们获得了显着更快的算法约束回归,稀疏和密集的输入。我们的经验结果表明,对于稀疏数据,我们可以以大约100倍的速度汇总数据,而令人惊讶的是,对于密集数据,我们可以以10倍的速度汇总数据!因此,可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
Scalable Sparse Regression for Model Discovery: The Fast Lane to Insight
School of Physics, Georgia Institute of Technology(佐治亚理工学院物理学院)
针对动力学系统数据充足但数学描述不足的问题,提出通用稀疏回归算法SPRINT,通过带解析界的二分法加速零向量最优秩1修正识别,大幅提升模型发现效率。
2024-05-14 cs.LG physics.data-an stat.ML
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出KRR的等价目标函数,利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归,并将其分别与符号梯度下降和坐标下降的早停解建立联系,提出高效计算方法,在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
Fast Bayesian Variable Selection in Binomial and Negative Binomial Regression
贝叶斯变量选择是数据分析的一个强大工具,因为它提供了一种考虑先验信息和不确定性的变量选择原则性方法。然而,贝叶斯变量选择的广泛采用受到计算挑战的阻碍,特别是在具有大量协变量或非共轭似然的困难制度中。计数数据的广义线性模型在生物学、生态学、经济学等领域中很普遍,它是一个重要的特例。在这里,我们介绍了一种有效的MCMC方案,用于二项式和负二项式回归中的变量选择,该方案利用了Tempered吉布斯抽样(Zanella and Roberts,2019),并将逻辑斯谛回归作为特例。在实验中,我们证明了我们的方法的有效性,包括癌症数据与一万七千协变量。
2022-09-12 stat.CO stat.ME stat.ML
Efficient Sparse Least Absolute Deviation Regression with Differential Privacy
Shanghai Jiao Tong University(上海交通大学);Zhongnan University of Economics and Law(中南财经政法大学);Iowa State University(爱荷华州立大学)
针对强凸和平滑假设无法覆盖鲁棒损失的问题,提出一种快速且隐私保护的稀疏最小绝对偏差回归算法FRAPPE,通过将问题转化为惩罚最小二乘估计并采用三阶段噪声注入,实现了更优的隐私与统计精度权衡。
2024-01-02 cs.LG stat.ME stat.ML
Fast Distribution To Real Regression
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题,分布到实值回归,其中一个的目的是回归映射$f$,需要在一个分布输入协变量$P\in \mathcal{I}$(对于一个非参数的家庭分布$\mathcal{I}$)和输出一个实值响应$Y=f(P) + ε$。最近研究了这种设置,并引入了“核-核”估计,并证明具有多项式收敛速度。但是,使用核-核估计量评估新预测时,尺度为$Ω(N)$。这导致困难的情况,其中大量的数据可能是必要的低估计风险,但估计的计算成本变得不可行时,数据集太大。为此,我们提出了双基估计器,它希望从两个方面缓解这个大数据问题:首先,当在训练后评估新的预测时,双基估计器的计算复杂度与实例$N$的数量无关;其次,双基估计器对于一般映射类$f\in\mathcal{F}$具有快速收敛速度。
2014-03-09 cs.LG math.ST stat.ML
Leverage Score Sampling for Faster Accelerated Regression and ERM
Computer Science, Princeton University(普林斯顿大学计算机科学系);University of Washington, Seattle(华盛顿大学西雅图分校);Microsoft Research, India(微软研究院印度);Stanford University(斯坦福大学)
给定一个矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$和一个向量$b \in\mathbb{R}^{d}$,我们展示了如何计算一个$ε$ -近似解的回归问题$ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $在时间$ \tilde{O} ((n+\sqrt{d\cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1}) $,其中$κ_{\text{sum}}=\mathrm{tr}\left(\mathbf{A}^{\top}\mathbf{A}\right)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$和$s$是最大数量的非零条目中的一行$\mathbf{A}$。我们的算法改进了以前的最佳运行时间的$ \tilde{O} ((n+\sqrt{n \cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1})$。我们通过杠杆分数抽样技术,近点方法和加速坐标下降的精心组合来实现我们的结果。我们的方法不仅匹配以前的方法的性能,但进一步提高时,杠杆分数的行是小的(多对数因子)。我们还提供了一个非线性推广这些结果,提高了运行时间解决更广泛的一类ERM问题。
2017-11-22 cs.LG math.OC stat.ML
A Nearly-Optimal Bound for Fast Regression with $\ell_\infty$ Guarantee
Adobe Research(奥多比研究院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Boston University(波士顿大学);MIT(麻省理工学院)
给定一个矩阵$A\in \mathbb{R}^{n\times d}$和一个向量$b\in \mathbb{R}^n$,我们考虑具有$\ell_\infty$保证的回归问题:找到一个向量$x'\in \mathbb{R}^d$使得$ \|x'-x^*\|_\infty \leq \fracε{\sqrt{d}}\cdot \|Ax^*-b\|_2\cdot \|A^\dagger\|$,其中$x^*=\arg\min_{x\in \mathbb{R}^d}\|Ax-b\|_2$ .一种解决这种$\ell_2$回归问题的流行方法是通过草图:选择一个结构化的随机矩阵$S\in \mathbb{R}^{m\times n}$与$m\ll n$和$SA$可以快速计算,解决"草图“回归问题$\arg\min_{x\in \mathbb{R}^d} \|SAx-Sb\|_2$。在本文中,我们表明,为了获得这样的$\ell_\infty$保证$\ell_2$回归,必须使用草图矩阵是密集的。据我们所知,这是第一个需要密集草图矩阵的用户案例。在算法方面,我们证明了存在一个分布密集的草图矩阵与$m=ε^{-2}d\log^3(n/δ)$,使解决草图回归问题给出了$\ell_\infty$保证,概率至少$1-δ$。此外,可以在时间$O(nd\log n)$中计算矩阵$SA$。我们的行计数是接近最佳的对数…
2023-02-01 cs.DS cs.LG stat.ML
Fast Sparse Least-Squares Regression with Non-Asymptotic Guarantees
本文研究了{ \it大规模高维}稀疏最小二乘回归问题的一种快速逼近方法,该方法利用Johnson-Lindenstrauss(JL)变换将一组高维向量嵌入到低维空间中.特别是,我们建议将JL变换应用到数据矩阵和目标向量,然后用{ \it稍大的正则化参数}解决压缩数据上的稀疏最小二乘问题。在理论上,我们建立了两种不同稀疏诱导正则化器的学习模型的优化误差界,即,弹性网和$\ell_1$范数。与以往的相关工作相比,我们的分析是{ \it非渐近的,并展示了更多的见解}上界,样本复杂性和正则化。作为示例,我们还提供了{ \it Dantzig选择器}在JL变换下的误差界。
2015-07-18 cs.CC math.ST stat.ML
A Unified Framework for Sparse Relaxed Regularized Regression: SR3
University of Washington(华盛顿大学)
正则化回归问题普遍存在于统计建模、信号处理和机器学习中。稀疏回归在科学模型发现中尤其重要,包括压缩传感应用、变量选择和高维分析。我们提出了一个广泛的框架稀疏松弛正则化回归,称为SR 3。关键思想是解决正则化问题的松弛,这与最先进的方法相比有三个优点:(1)松弛问题的解在误差、假阳性和条件方面是优越的,(2)松弛允许用于凸和非凸公式的极快算法,以及(3)该方法适用于复合正则化子,例如全变差(TV)及其非凸变体。我们证明了SR3的优势(计算效率,更高的精度,更快的收敛速度,更大的灵活性)在一系列的正则化回归问题的合成和真实的数据,包括压缩感知,LASSO,矩阵完成,电视正则化,和组稀疏的应用。为了促进可重复的研究,我们还提供了一个配套的MATLAB软件包来实现这些示例。
2018-11-08 cs.LG math.OC stat.ML
Fast cross-validation for multi-penalty ridge regression
具有多种数据类型的高维预测需要考虑预测信号中潜在的强烈差异。岭回归是一种简单的高维数据模型,它挑战了许多更复杂的模型和学习器的预测性能,并且允许包含数据类型特定的惩罚。多惩罚岭的最大挑战是在交叉验证(CV)设置中有效地优化这些惩罚,特别是对于GLM和Cox岭回归,其需要通过迭代加权最小二乘(IWLS)进行额外的估计循环。我们的主要贡献是一个计算上非常有效的公式的多罚,样本加权帽矩阵,在IWLS算法中使用。因此,几乎所有的计算都是在低维空间中进行的,从而使速度提高了几个数量级。我们开发了一个灵活的框架,促进多种类型的响应,未惩罚的协变量,几个性能标准和重复CV。扩展配对和优惠的数据类型,包括和说明几个癌症基因组生存预测问题。此外,我们提出了类似的计算最大边际似然和贝叶斯概率回归的捷径。相应的R包multiridge是一个通用的独立工具,也是其他更复杂模型和多视图学习器的快速基准。
2021-04-01 stat.CO stat.ME stat.ML
Bypassing the Monster: A Faster and Simpler Optimal Algorithm for Contextual Bandits under Realizability
Massachusetts Institute of Technology(麻省理工学院)
我们考虑在可实现性假设下的一般(随机)上下文强盗问题,即,作为上下文和动作的函数的期望回报属于通用函数类$\mathcal{F}$。我们设计了一个快速而简单的算法,实现了统计上最优的遗憾,只有${O}(\log T)$调用离线回归oracle在所有$T$轮。如果预先知道$T$,则可以将oracle调用的数量进一步减少到$O(\log\log T)$。我们的结果提供了从上下文强盗到离线回归的第一个普遍且最佳的简化,解决了上下文强盗文献中一个重要的开放问题。我们的研究结果的一个直接后果是,离线回归的任何进步都会立即转化为统计和计算上的上下文强盗。这导致更快的算法和改进的遗憾保证更广泛的类上下文强盗问题。
2021-07-10 cs.LG math.ST stat.ML
FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions
本文提出FAStEN方法,结合函数数据、优化与机器学习技术,在稀疏高维函数回归中同时进行特征选择与参数估计,显著降低计算成本并提升选择性能,且不牺牲系数估计质量。
2024-10-17 stat.CO stat.ME stat.ML
ISLET: Fast and Optimal Low-rank Tensor Regression via Importance Sketching
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Columbia University(哥伦比亚大学)
在本文中,我们开发了一种新的程序,即\emph{\underline{I}mportance \underline{S}ketching \underline{L}ow-rank \underline{E}stimation for \underline{T}ensors}(ISLET)的低秩张量回归。ISLET背后的中心思想是\emph{importance sketching},即,基于感兴趣的参数的响应和低维结构精心设计的草图。我们表明,所提出的方法是急剧minimax最优的均方误差低秩Tucker假设下,随机高斯系综设计。此外,如果一个张量是低秩的组稀疏,我们的程序也实现了极大极小最优性。此外,我们通过数值研究表明,ISLET实现可比或更好的均方误差性能,现有的最先进的方法,同时具有大量的存储和运行时的优势,包括并行和分布式计算的能力。特别是,我们的程序进行可靠的估计与张量的尺寸$p = O(10^8)$和$1$或$2$数量级快于基线方法。
2020-05-08 cs.LG cs.NA math.NA
The Fast Cauchy Transform and Faster Robust Linear Regression
我们提供了快速算法的过约束$\ell_p$回归和相关问题:对于一个$n\times d$输入矩阵$A$和矢量$b\in\mathbb{R}^n$,在$O(nd\log n)$时间,我们减少了问题$\min_{x\in\mathbb{R}^d} \|Ax-b\|_p$到相同的问题与输入矩阵$\tilde A$的尺寸$s \times d$和相应的$\tilde b$的尺寸$s\times 1$。这里,$\tilde A$和$\tilde b$是问题的核心集,由$A$和$b$的采样和重新缩放的行组成; $s$独立于$n$和$d$中的多项式。我们的研究结果改善了以前最好的算法时,$n\gg d$,所有$p\in[1,\infty)$除了$p=2$。我们还提供了一套改进的结果,通过椭圆舍入找到良好的条件基地,说明运行时间和空调质量之间的权衡,包括一般$\ell_p$问题的一个通过空调算法。我们还提供了一个实证评估我们的算法$p=1$的实现,比较它们与相关算法。我们的实证结果表明,在渐近制度,理论是一个很好的指导这些算法的实际性能。我们的算法使用我们更快的构造$\ell_p$空间的良好条件基,对于$p=1$,我们称之为快速柯西变换的独立兴趣的快速子空间嵌入:矩阵$Π:\mathbb{R}^n\mapsto \mathbb{R}^{O(d\log d)}$上的分布,发现与$A$无关,近似保持$…
2014-04-05 cs.DS stat.ML
Regularized Laplacian Estimation and Fast Eigenvector Approximation
最近,Mahoney和Orecchia证明了流行的基于扩散的程序来计算数据图Laplacian \emph{exactly}的第一个非平凡特征向量的快速\emph{approximation}可以解决某些正则化的半定规划(SDP)。在本文中,我们通过提供一个统计解释他们的近似程序,扩展了这一结果。我们的解释将类似于其中$\ell_2$ -正则化或$\ell_1$ -正则化$\ell_2$ -回归(通常分别称为岭回归和拉索回归)可以分别根据回归问题的系数向量的高斯先验或拉普拉斯先验来解释的方式。我们的框架意味着Mahoney-Orecchia正则化SDP的解可以被解释为图拉普拉斯算子的伪逆的正则化估计。相反,这将意味着可以通过运行例如,快速扩散为基础的PageRank程序计算近似的第一个非平凡的特征向量的图形拉普拉斯。还提供了经验结果来说明近似特征向量计算\emph{implicitly}执行统计正则化的方式,相对于运行相应的精确算法。
2011-10-11 cs.DS stat.ML
Fast kernel methods: Sobolev, physics-informed, and additive models
LPSM(概率与统计建模实验室);INRIA Paris(法国国家信息与自动化研究所巴黎中心);LMO(奥赛数学实验室)
针对核方法立方复杂度难以处理大规模数据的问题,提出基于核傅里叶表示与NUFFT的O(n log n)可扩展核回归框架,在三类场景下验证了其统计最优性与百亿级样本的高效处理能力。
2025-09-02 cs.LG math.ST stat.ME
Sparse High-Dimensional Regression: Exact Scalable Algorithms and Phase Transitions
我们提出了一种新的二元凸重构稀疏回归问题,构成了一个新的对偶的角度来看。我们设计了一种新的割平面法,并提供证据表明,它可以解决可证明的最优性的稀疏回归问题的样本量n和数量的回归p在100,000秒,这是两个数量级优于目前的最先进的,在秒。解决非常高维问题的能力使我们能够观察到新的相变现象。传统的复杂性理论认为问题的难度随着问题的大小而增加,与此相反,稀疏回归问题具有这样的性质,即随着样本个数$n$的增加,问题变得更容易,因为解决方案恢复了100%的真实信号,并且我们的方法非常快地解决了问题(实际上比Lasso更快),而对于小的样本个数n,我们的方法需要更长的时间来解决问题,但重要的是,最优解提供了统计上更相关的回归量。我们认为,我们的精确稀疏回归方法提出了一个更好的替代启发式方法目前可用。
2017-09-28 math.OC stat.ML
Deep P-Spline: Theory, Fast Tuning, and Application
University1(大学1);University2(大学2);University3(大学3)
本文提出 Deep P-Spline(DPS),用差分惩罚将 DNN 神经元选择转化为自动节点选择,并基于 ECM 算法实现有理论保证的快速结构调参,可缓解维数灾难并适用于高维非线性回归。
2025-01-02 stat.CO stat.ML
A Pathwise Coordinate Descent Algorithm for LASSO Penalized Quantile Regression
针对高维 LASSO 惩罚分位数回归,本文提出快速逐路径坐标下降算法,给出非光滑损失的精确逐坐标解并用随机扰动避免路径停滞,实验显示其速度显著提升且精度不变。
2025-02-17 stat.CO stat.ME stat.ML