One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning
Amazon.com Inc（亚马逊公司）；ByteDance Inc（字节跳动公司）；University of Pittsburgh（匹兹堡大学）；Snap Inc（Snap公司）
大规模机器学习系统中的深度学习模型通常使用来自生产环境的大量数据进行持续训练。流传输训练数据的绝对量对实时训练子系统构成了重大挑战，并且ad-hoc采样是标准实践。我们的关键见解是，这些部署的ML系统在推理过程中不断地对数据实例执行正向传递，但是ad-hoc采样并没有利用这种大量的计算工作。因此，我们建议从这些向前传递中记录每个实例的恒定信息量。额外的信息可测量地改进了哪些数据实例应该参与向前和向后传递的选择。提出了一种新的优化框架来分析这个问题，我们提供了一个有效的近似算法的框架下的小批量梯度下降作为一个实用的解决方案。我们还证明了我们的框架和算法在几个大规模的分类和回归任务的有效性，与广泛用于工业的竞争性基线相比。
2021-04-27 cs.LG
Optimal Nonparametric Inference with Two-Scale Distributional Nearest Neighbors
University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）；University of Southern California（南加州大学）
加权最近邻（WNN）估计作为一种灵活且易于实现的非参数均值回归估计工具已被广泛应用。装袋技术是一种优雅的方法来形成WNN估计器，其权重自动生成到最近邻居;我们将所得估计器命名为分布最近邻居（DNN），以便于参考。然而，这种估计量缺乏分布结果，限制了它在统计推断中的应用。此外，当均值回归函数具有高阶光滑性时，DNN不能达到最佳非参数收敛速度，主要是因为偏差问题。在这项工作中，我们对DNN进行了深入的技术分析，在此基础上，我们通过线性组合两个具有不同子采样尺度的DNN估计器，提出了DNN估计器的偏倚减少方法，从而产生了新的双尺度DNN（TDNN）估计器。双尺度DNN估计器具有WNN的等价表示，其权重允许显式形式，并且一些权重为负。我们证明，由于使用负权重，双尺度DNN估计享有最佳的非参数收敛速度估计的回归函数下的四阶光滑条件。我们进一步超越估计，并建立DNN和双尺度DNN都是渐近正态的子采样尺度和样本量发散到无穷大。对于实际的实现，我们还提供了方差估计和分布估计使用刀切和自举技术的双尺度DNN。这些估计量可以用来构造有效的置信区间，用于回归函数的非参数推断。理论结果和吸引人的有限样本性能的建议的两尺度DNN方法与几个数值例子说明。
2022-07-18 cs.LG stat.ML
Optimal Rates for Learning with Nyström Stochastic Gradient Methods
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
在非参数回归的背景下，我们提出并研究了一种随机梯度方法与Nyström子采样的组合，允许多次通过数据和小批量。所研究的算法的推广误差界。特别是，最佳的学习率得出考虑不同的可能选择的步长，小批量大小，迭代/通过的数量，和子采样水平。与经典的随机梯度法和Nyström核岭回归等算法相比，该算法在获得相同最优学习率的同时，在计算复杂度上具有优势.此外，我们的研究结果表明，使用小批量可以降低总的计算成本，同时实现相同的最佳统计结果。
2017-10-21 cs.LG math.FA math.OC
Analysis of regularized Nyström subsampling for regression functions of low smoothness
Fudan University（复旦大学）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Medical University of Innsbruck（因斯布鲁克医科大学）
本文研究了一种Nyström型欠采样方法在错误指定情况下的大核学习方法，其中目标函数不被假设为属于由底层核生成的再生核Hilbert空间.尽管这一案件具有重要的实际意义，但人们对它的了解却较少。为了模拟这样的情况下，目标函数的平滑度描述的一般源条件。令人惊讶的是，几乎对于整个范围的源条件，描述错误指定的情况下，相应的学习率界可以实现只有一个值的正则化参数。这种观察允许制定温和的条件下，平原Nyström子采样可以实现次二次成本保持保证的学习率。
2018-06-03 cs.LG stat.ML
L1 Regression with Lewis Weights Subsampling
UT Austin（德克萨斯大学奥斯汀分校）
我们考虑的问题，找到一个近似的解决方案，$\ell_1$回归，而只观察到少量的标签。给定一个$n \times d$未标记的数据矩阵$X$，我们必须选择一个小的$m \ll n$行集合来观察其标记，然后输出一个估计$\widehatβ$，其对原始问题的误差在最优的$1 + \varepsilon$因子内。我们表明，从$X$根据其刘易斯权重和输出的经验极小成功概率$1-δ$为$m > O(\frac{1}{\varepsilon^2} d \log \frac{d}{\varepsilon δ})$。这类似于根据$\ell_2$回归的杠杆分数进行采样的性能，但对$δ$的依赖性指数更好。我们也给出了相应的$Ω(\frac{d}{\varepsilon^2} + (d + \frac{1}{\varepsilon^2}) \log\frac{1}δ)$的下界。
2021-05-19 cs.LG stat.ML
The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题，找到最好的插值从一类未知的超参数的内核，假设只有噪音是平方可积的。我们提供有限样本保证的问题，表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类（例如，平方指数内核与未知的长度尺度），我们的研究结果表明，超参数优化增加了样本的复杂性只有一个对数因子，在设置中，最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证，结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
Efficient Tensor Kernel methods for sparse regression
最近，经典的核方法已经通过引入合适的张量核来扩展，以便在底层回归问题的解决方案中促进稀疏性。实际上，他们解决了一个lp范数正则化问题，p=m/（m-1），m是偶数，这恰好接近套索问题。然而，该方法的一个主要缺点是存储张量需要大量的内存，最终限制了其适用性。在这项工作中，我们解决这个问题，提出两个进步。首先，我们通过引入一种新的、更有效的数据存储布局，直接降低了内存需求。其次，我们使用Nystrom类型的子采样方法，该方法允许训练阶段使用较少数量的数据点，从而降低计算成本。在人工数据集和读数据集上的实验表明了所提改进的有效性。最后，我们以C++实现cose为例，以进一步加快计算速度。
2020-03-23 cs.LG cs.PF stat.ML
Structural randomised selection
高维组学数据分析中的一个重要问题是识别与感兴趣的表型相关的分子变量的子集。这需要解决高维数、强多重共线性和模型不确定性的挑战。我们提出了一种新的集成学习方法，用于提高稀疏惩罚回归方法的性能，称为结构随机选择（STRANDS）。该方法建立并改进了随机套索方法，包括两个步骤。在这两个步骤中，我们通过对变量进行重复子采样来降低维度。我们将惩罚回归方法应用于每个子采样数据集并对结果进行平均。在第一步中，通过可变相关结构通知子采样，并且在第二步中，通过来自第一步的可变重要性度量通知子采样。STRANDS可以与任何稀疏惩罚回归方法一起使用，作为“基本学习者”。使用合成数据和真实的生物数据集，我们证明了STRANDS通常会改进其基础学习者，并且在第一步中考虑相关结构可以帮助提高模型空间探索的效率。
2022-04-02 stat.ME
Poisson Subsampling Algorithms for Large Sample Linear Regression in Massive Data
大样本量给现代数据分析带来了计算瓶颈。子采样是解决这一问题的有效策略之一。在以往的研究中，研究者们更多地关注带替换的二次抽样（SSR），而不是不带替换的二次抽样（SSWR）。本文研究了一种用于普通最小二乘问题的快速算法--泊松子采样（PSS）。我们建立了非渐近性质，即相应子样估计的误差界，它提供了计算成本和逼近效率之间的折衷。除了非渐近结果，我们还给出了子样本估计的渐近相合性和正态性。在方法上，我们提出了一个两步子采样算法，这是有效的统计目标和独立的线性模型假设。合成和真实数据被用来实证研究我们提出的子采样策略。实验结果表明：（1）当假设的线性模型不准确时，本文提出的两步算法具有明显的优势;（2）当子采样率增大时，PSS策略的性能明显优于SSR。
2015-11-23 stat.ML
Optimal Subsampling for Large Sample Logistic Regression
对于海量数据，二次抽样算法族是一种常用的算法，可以减小数据量，减少计算负担。现有的研究主要集中在线性回归中普通最小二乘估计的近似，其中统计杠杆分数通常用于定义子采样概率。在本文中，我们提出了快速子采样算法，有效地逼近逻辑斯谛回归的最大似然估计。我们首先建立一致性和渐近正态性的估计从一般的子采样算法，然后推导出最佳子采样概率，最小化的渐近均方误差的估计。另一种最小化准则也提出了进一步降低计算成本。最优子采样概率依赖于全数据估计，因此我们开发了一个两步算法来近似最优子采样过程。该算法计算效率高，与全数据方法相比，计算时间显著减少。本文还建立了两步算法估计量的相合性和渐近正态性。合成和真实数据集被用来评估所提出的方法的实际性能。
2018-03-07 stat.CO stat.ME stat.ML
Fast variable selection for distributional regression with application to continuous glucose monitoring data
本研究提出了一种快速稀疏分布回归算法，用于分析连续葡萄糖监测数据，发现磺酰脲类药物与葡萄糖波动显著相关，同时夜间血氧饱和度波动对葡萄糖调节影响更明显。
2024-03-01 stat.AP
Optimal Subsampling Approaches for Large Sample Linear Regression
分析大样本数据的一个重要障碍是缺乏有效的统计计算和推断方法。子采样是一种新兴的分析大样本数据的强大方法，它从原始全样本中随机抽取子样本，并将其用作后续计算和估计的替代。本文研究了两种情形下的二次抽样方法：全样本最小二乘（OLS）估计的逼近和线性回归中系数的估计。给出了加权估计和非加权估计两种算法，并在一般条件下分析了其子样本估计的渐近性质。对于加权估计算法，我们利用渐近结果提出了一个选择最优抽样概率的准则。在此基础上，提出了两种新的子采样方法：最优子采样方法和预测子采样方法。预测因子长度子采样方法基于预测因子的L2范数，而不是杠杆分数。其计算成本是可伸缩的。对于未加权估计算法，我们证明了它的子样本估计与全样本OLS估计不一致。然而，它具有更好的性能比加权估计算法估计的系数。仿真研究和实际数据的例子来证明我们提出的子采样方法的有效性。
2015-11-23 stat.ME stat.ML
Efficient Benchmarking Is Just Feature Selection and Multiple Regression
Cohere；University of Bristol（布里斯托大学）
将高效基准测试重新定义为带特征选择的多元回归问题，使用核岭回归预测和mRMR特征选择算法，在降低计算成本的同时提高预测精度和排名相关性。
2026-10-26 cs.AI cs.CL cs.LG
Nonlinear Bayesian Update via Ensemble Kernel Regression with Clustering and Subsampling
本研究提出基于集成核回归、结合子采样与聚类的非线性贝叶斯更新方法，拓展集成卡尔曼滤波至非高斯先验与非线性测量场景，实验验证其在强非线性下比标准线性更新的估计误差更低。
2025-03-19 math.PR math.ST stat.ML
On Principal Components Regression, Random Projections, and Column Subsampling
主成分回归（PCR）是传统的线性回归降维方法，一直受到批评和辩护。关于PCR的一个问题是，对于大型数据集，获得领先的主成分往往需要计算。虽然随机投影不具备领先主子空间的最优性，但它们在计算上很吸引人，因此近年来越来越受欢迎。在本文中，我们提出了一个分析表明，随机投影满足Johnson-Lindenstrauss嵌入属性，在随后的回归的预测误差接近PCR，在需要比主成分随机投影的数量稍大的代价。列子采样构成了Johnson-Lindenstrauss变换类之外的一种更便宜的随机降维方法。我们提供基于合成和真实数据的数值结果以及基本理论，揭示统计性能方面的差异和共性。
2017-10-08 math.ST stat.ML stat.TH
SuRF: a New Method for Sparse Variable Selection, with Application in Microbiome Data Analysis
在本文中，我们提出了一个新的变量选择方法的回归和分类的目的。我们的方法，称为子采样排名向前选择（SuRF），是基于LASSO惩罚回归，子采样和向前选择方法。SuRF在所选模型的稀疏性和模型推理方面都比现有的变量选择方法具有重大优势。我们提供了一个R包，可以实现我们的方法的广义线性模型。我们将我们的方法应用于微生物组数据的分类问题，使用一种新的聚集方法来处理变量的特殊树状相关结构。现有的方法在进行分析之前任意选择一个先验的分类学水平，而通过将SuRF与这些聚集的变量相结合，我们能够在适当的分类学水平上识别关键的生物标志物，如数据所示。我们提出了在多个稀疏设置的模拟，以证明我们的方法比其他几个常用的现有方法在恢复真实的变量。我们将SuRF应用于两个微生物组数据集：一个关于结肠袋炎的预测，另一个用于识别来自两个健康个体的样本。我们发现，SuRF可以提供一个更好的或可比的预测与其他方法，同时控制假阳性率的变量选择。
2019-09-13 stat.ME
Efficient Two-Stage Gaussian Process Regression Via Automatic Kernel Search and Subsampling
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）
针对高斯过程回归中均值、核函数和超参数设定错误的问题，提出两阶段框架、自动核搜索和子采样热启动策略，以低计算成本实现稳健精确的预测与不确定性量化。
2024-09-19 cs.AI cs.LG math.PR
SubTSBR to tackle high noise and outliers for data-driven discovery of differential equations
Purdue University（普渡大学）
数据驱动的微分方程发现是一个新兴的研究课题。提出了一种新的基于子采样的阈值稀疏贝叶斯回归（SubTSBR）算法来处理高噪声和离群值。子采样技术用于提高贝叶斯学习算法的准确性。它有两个参数：子采样大小和子采样数。当二次抽样的大小增加，总样本量固定时，我们的算法的精度先上升后下降。当子样本的数量增加时，我们的算法的精度不断上升。我们演示了如何使用我们的算法一步一步，并比较我们的算法与阈值稀疏贝叶斯回归（TSBR）的发现微分方程。我们表明，我们的算法产生更好的结果。我们还讨论了从数据中发现微分方程的优点，并演示了如何发现具有随机初始和边界条件的模型以及具有分支的模型。数值示例为：（1）带噪声的捕食者-食饵模型，（2）带野值的浅水方程，（3）带随机初边值的热扩散，（4）带分支的捕鱼问题。
2020-10-27 cs.LG stat.ML
Data subsampling for Poisson regression with pth-root-link
TU Dortmund University（多特蒙德工业大学）
该研究针对带ID和平方根链接的泊松回归，提出基于新复杂度参数与域偏移的亚线性核心集方法，证明相关下界及参数依赖关系，并给出Lambert W0函数主分支的改进界。
2024-10-30 cs.DS cs.LG stat.ML
On the Pointwise Behavior of Recursive Partitioning and Its Implications for Heterogeneous Causal Effect Estimation
Princeton University（普林斯顿大学）；Two Sigma Investments, LP（Two Sigma投资公司）
本文证明自适应递归划分的决策树在一致范数下可能无法达到多项式收敛速率，而随机森林通过子采样和随机特征选择机制可实现接近最优的逐点推断性能。
2024-02-07 cs.LG math.ST stat.ML
High-dimensional regression in practice: an empirical study of finite-sample prediction, variable selection and ranking
惩罚似然方法被广泛用于高维回归。虽然已经提出了许多方法，相关的理论现在也很发达，但在实践中遇到的有限样本环境中不同方法的相对功效仍然不完全清楚。因此，有必要在这一领域进行实证调查，为用户提供实际的见解和指导。在本文中，我们提出了一个大规模的惩罚回归方法的比较。我们区分三个相关的目标：预测，变量选择和变量排名。我们的结果涵盖了2,300多个数据生成场景，包括合成和半合成数据（真实协变量和模拟响应），使我们能够系统地考虑各种因素（样本量，维度，稀疏性，信号强度和多重共线性）的影响。我们考虑几种广泛使用的方法（Lasso，自适应Lasso，弹性网，岭回归，SCAD，Dantzig回归和稳定性选择）。我们发现方法之间的性能有相当大的差异。我们的研究结果支持一个“没有万能药”的观点，没有明确的赢家在所有的场景或目标，即使在这个有限的设置，所有的数据都符合基本的假设方法。这项研究使我们能够提出一些建议，哪些方法可能是最适合（或最不适合）给定的目标和一些数据特征。我们的实证结果补充了现有的理论，并提供了一个资源来比较各种方案和指标的方法。
2020-01-28 stat.ME stat.ML
Error Propagation in Dynamic Programming: From Stochastic Control to American Option Pricing
EPFL - Swiss Finance Institute (SFI)（瑞士联邦理工学院-瑞士金融研究所）
本文提出离散时间随机最优控制中值函数估计的误差分解与逐时间步控制方法，并分析误差从到期日向初始阶段的反向传播，最终应用于美式期权定价。
2026-10-05 cs.LG q-fin.CP q-fin.PR
A Coreset Learning Reality Check
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
子采样算法是在大规模数据集上拟合模型之前减少数据大小的自然方法。近年来，一些作品已经提出了从数据矩阵中对行进行二次采样的方法，同时保持用于分类的相关信息。虽然这些工作的理论和有限的实验支持，迄今为止还没有一个全面的评价这些方法。在我们的工作中，我们直接比较了多个方法的逻辑回归得出的coreset和最优子采样文献，并发现其有效性的不一致。在许多情况下，方法并不比简单的均匀子采样更好。
2023-01-15 cs.AI cs.LG stat.ML
Generalized equivalences between subsampling and ridge regularization
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
本文为集成岭估计器建立了子采样与岭正则化间的结构与风险等价性，证明二者在特定路径上渐近等价，并据此解决了最优岭回归预测风险单调性的开放问题。
2023-10-18 cs.LG math.ST stat.ML
Revisiting Randomization in Greedy Model Search
Department of Operations Research and Financial Engineering, Princeton University（运筹学与金融工程系，普林斯顿大学）；Department of Statistics and Data Science, National University of Singapore（统计与数据科学系，新加坡国立大学）
本文研究了特征子采样对贪心前向选择模型的影响，揭示了其在减少偏差和方差方面的独特作用，不同于传统收缩方法。
2026-01-04 cs.LG stat.ML
A Tutorial on Libra: R package for the Linearized Bregman Algorithm in High Dimensional Statistics
R包Libra代表高维统计中的线性化Bregman Al-出租m。线性化Bregman算法是一种简单的迭代过程，用于生成模型估计的稀疏正则化路径，最早在图像恢复应用数学中发现，特别适合大规模问题的并行实现。这种算法的极限是一个稀疏限制的梯度下降流，称为逆尺度空间，沿着稀疏模型的parsimonious路径从零模型发展到过度的。在稀疏线性回归中，早停正则化的动态在与LASSO几乎相同的条件下可以证明满足无偏Oracle估计，而后者是有偏的。尽管它们的成功应用，统计一致性理论的动态算法仍然在很大程度上开放，除了最近的一些进展线性回归。在本教程中，将讨论软件包中的算法实现，用于统计学中几种广泛使用的稀疏模型，包括线性回归、逻辑回归和几种图形模型（高斯、伊辛和波茨）。除了仿真实例之外，还展示了各种应用案例，包括来自糖尿病的真实世界数据集，COPSS获奖者的出版物，以及两部中国经典小说《西游记》和《红楼梦》的社交网络。
2016-04-20 stat.AP
The Implicit Regularization of Ordinary Least Squares Ensembles
Rice University（莱斯大学）
在一组独立预测器上求平均的包围方法，每个独立预测器都限于训练数据的示例和特征的子采样，这在机器学习中占有重要地位，例如一直流行的随机森林，但子采样效应的性质，特别是特征的性质，还没有得到很好的理解。我们研究的情况下，合奏的线性预测，其中每个单独的预测是适合使用普通最小二乘法的数据矩阵的随机子矩阵。我们发现，在标准高斯假设下，当为每个预测器选择的特征数量被最佳调整时，大集合的渐近风险等于渐近岭回归风险，这是已知的线性预测器中的最佳设置。除了引出这种由子采样产生的隐式正则化之外，我们还将这种集成与训练深度（神经）网络中使用的dropout技术联系起来，这是另一种已被证明具有脊状正则化效果的策略。
2020-03-24 cs.LG stat.ML
Fast and Robust Least Squares Estimation in Corrupted Linear Models
最近提出了二次抽样方法，以加快最小二乘估计在大规模设置。然而，这些算法通常对观察到的协变量中的离群值或损坏不鲁棒。影响的概念，回归诊断可以用来检测这种损坏的观察，如本文所示。这种属性的影响-我们也开发了一个随机近似-激励我们提出的子采样算法的大规模损坏的线性回归，限制了数据点的影响，因为高影响力的点贡献最大的残差。在损坏的观测的一般模型下，我们在各种模拟和真实数据集上从理论和经验上证明，我们的算法比当前最先进的普通最小二乘近似方案有所改进。
2014-06-19 stat.ML
Local case-control sampling: Efficient subsampling in imbalanced data sets
对于具有显著类不平衡的分类问题，二次抽样可以以估计模型参数的方差膨胀为代价来降低计算成本。我们提出了一种有效的二次抽样方法逻辑斯谛回归调整类平衡的局部特征空间通过接受拒绝计划。我们的方法概括了标准的病例对照抽样，使用试点估计优先选择的例子，其响应是有条件的罕见的功能。有偏二次抽样是通过事后分析调整参数来校正的。该方法是简单的，需要一个并行扫描整个数据集。在群体风险最小化系数$θ^*$的模型误设下，标准病例对照抽样不一致。相比之下，我们的估计是一致的$θ^*$提供的导频估计。此外，在正确的规范和一致的，独立的试点估计，我们的估计有完全两倍的渐近方差的全样本MLE -即使选定的子样本包括一个极小的部分，完整的数据集，发生时，原始数据严重不平衡。如果我们将基线接受概率乘以$c>1$（以及接受概率大于1的权重点），则因子2改进为$1+\frac{1}{c}$，将大约$\frac{1+c}{2}$倍的数据点纳入子样本。模拟和真实数据的实验表明，我们的方法可以大大优于标准的情况下，控制子采样。
2014-09-23 stat.CO stat.ML
Scalable MCMC for Large Data Problems using Data Subsampling and the Difference Estimator
我们提出了一个通用的马尔可夫链蒙特卡罗（MCMC）算法，以加快计算的数据集与许多观察。我们的方法的一个关键特点是使用高效的差异估计从调查抽样文献估计的对数似然准确地使用只有一小部分的数据。我们的算法改进了常规MCMC的$O(n)$复杂性，在计算似然时，通过在局部数据簇而不是全样本上操作。在伪边缘框架中使用似然估计，从扰动后验中采样，该扰动后验在真实后验的$O(m^{-1/2})$范围内，其中$m$是子样本量。该方法被应用到一个逻辑斯谛回归模型预测公司破产的一个大的数据集。我们记录了一个显着的速度相比，标准MCMC的完整数据集。
2017-08-02 stat.CO stat.ME stat.ML
$p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets
TU Dortmund University（多特蒙德工业大学）；Dortmund Data Science Center（多特蒙德数据科学中心）
本文研究了$p$ -广义概率单位回归模型，它是一个二元响应的广义线性模型。它扩展了标准的概率单位模型，用$p$-$p\in[1, \infty)$的广义正态分布替换其链接函数，标准正态cdf。$p$ -广义正态分布\citep{Sub23}在统计建模中具有特殊意义，因为它们更灵活地拟合数据。它们的尾部行为可以通过选择参数$p$来控制，该参数影响模型对离群值的敏感性。特殊情况包括拉普拉斯分布、高斯分布和均匀分布。我们进一步展示了如何最大似然估计$p$ -广义概率回归可以有效地近似到$(1+\varepsilon)$的大数据的一个因素，通过结合草图技术与重要性子采样，以获得一个小的数据摘要称为coreset。
2022-03-25 cs.DS cs.LG stat.ML
Local Uncertainty Sampling for Large-Scale Multi-Class Logistic Regression
Tencent AI Lab（腾讯人工智能实验室）；University of Minnesota（明尼苏达大学）；Rutgers University（罗格斯大学）
大数据时代构建统计模型的一大挑战是可用数据量远远超过计算能力。解决这个问题的一种常见方法是采用可以由可用计算资源处理的二次采样数据集。在本文中，我们提出了一个一般的子抽样方案的大规模多类逻辑斯谛回归和检查所得的估计量的方差。我们表明，渐近，所提出的方法总是实现一个较小的方差比均匀随机抽样。此外，当类是有条件的不平衡，显着改善均匀采样可以实现。在模拟和真实数据集上将该方法的经验性能与其他方法进行了比较，这些结果与我们的理论分析相匹配并证实了我们的理论分析。
2018-09-13 cs.LG stat.CO stat.ML
Logistic regression models for aggregated data
逻辑斯谛回归模型是预测分类响应数据概率的一种流行而有效的方法。然而，对于大型数据集，这些模型的推理可能在计算上变得难以实现。在这里，我们采用符号数据分析的思想，将预测变量的集合汇总为直方图形式，并在此汇总数据集上进行推理。我们开发的想法的基础上，复合似然率，以获得一个有效的一对休息的近似复合似然模型的直方图为基础的随机变量，从低维边缘直方图从完整的直方图。我们证明，这种程序可以实现可比的分类率相比，标准的全数据多项式分析和对国家的最先进的二次抽样算法的逻辑斯谛回归，但在一个显着降低计算成本。通过模拟示例以及对大型超对称性和卫星作物分类数据集的分析来探索性能。
2020-08-24 stat.CO stat.ME stat.ML
Extended Comparisons of Best Subset Selection, Forward Stepwise Selection, and the Lasso
在令人兴奋的新工作中，Bertsimas等人（2016）表明，回归建模中的经典最佳子集选择问题可以用公式表示为混合整数优化（MIO）问题。利用MIO算法的最新进展，他们证明了最佳子集选择现在可以在统计界认为可能的更大的问题规模上得到解决。他们提出了最佳子集选择与其他流行的变量选择程序，特别是套索和向前逐步选择的实证比较。令人惊讶的是，他们的模拟表明，最佳子集选择在预测准确性方面始终优于这两种方法。在这里，我们提出了一个扩展的模拟集，以揭示更多的这些比较。总结大致如下：（a）最佳子集选择和套索都不均匀地支配另一个，最佳子集选择通常在高信噪比（SNR）状态下表现得更好，套索在低SNR状态下表现得更好;（b）最佳子集选择和前向逐步始终表现得非常相似;（三）放松套索（实际上，Meinshausen，2007年定义的原始松弛估计器的简化版本）是总的赢家，在低SNR场景中表现得与套索一样好，以及在高SNR情况下的最佳子集选择。
2017-07-29 stat.CO stat.ME
Scalable Gaussian-process regression and variable selection using Vecchia approximations
高斯过程（GP）回归是一种灵活的非参数回归方法，可以自然量化不确定性。在许多应用中，响应和协变量的数量都很大，目标是选择与响应相关的协变量。对于这种设置，我们提出了一种新的，可扩展的算法，创造VGPR，它优化了惩罚GP对数似然的基础上的Vecchia GP近似，有序的条件近似从空间统计学，这意味着一个稀疏的Cholesky因子的精度矩阵。我们遍历正则化路径从强到弱的惩罚，依次添加候选协变量的对数似然梯度的基础上，并通过一个新的二次约束坐标下降算法取消选择无关的协变量。我们提出了基于Vecchia的小批量子采样，它提供了无偏梯度估计。由此产生的过程是可扩展的数百万个响应和数千个协变量。理论分析和数值研究表明，相对于现有的方法，改进的可扩展性和准确性。
2022-10-10 stat.ME stat.ML
Concentration of measure bounds for matrix-variate data with missing values
我们考虑下面的数据扰动模型，其中协变量产生乘法误差。对于两个$n \times m$随机矩阵$U, X$，我们用$U \circ X$表示Hadamard或Schur乘积，定义为$(U \circ X)_{ij} = (U_{ij}) \cdot (X_{ij})$。本文研究了亚高斯矩阵变量模型，其中我们通过随机掩码$U$观察矩阵变量数据$X$：$$ {\mathcal X} = U \circ X \; \; \; \text{ where} \; \; \;X = B^{1/2} {\mathbb{Z}} A^{1/2}, $$其中${\mathbb{Z}}$是具有独立亚高斯元素的随机矩阵，$U$是具有零或正元素的掩码矩阵，其中${\mathbb E} U_{ij} \in [0, 1]$和所有元素相互独立.行或列中的二次抽样或$X$条目的随机抽样是此模型的特殊情况。在$U$和$X$相互独立的假设下，引入了估计协方差$A$和$B$的分量无偏估计，并证明了当数据矩阵$X$的列以不同的采样率采样时，在保证约束特征值（$\textsf{RE}$）条件的意义下，$B$的无偏估计保持测度界的集中性.我们进一步发展多元回归方法估计逆$B$和统计收敛速度。我们的研究结果提供了洞察稀疏恢复实体（样本，位置，项目）之间的关系时，功能（变量，时间点，用户评级）存在于所观察到的数据矩阵${\math…
2022-12-06 math.ST stat.TH
Exogenous Randomness Empowering Random Forests
University of Southern California（南加州大学）
本文探讨了外生随机性对随机森林的影响，识别出特征子采样和平局打破两类随机性，推导了均方误差的非渐近展开与一致性条件，并发现特征子采样能平衡偏差与方差，甚至使噪声特征成为提升性能的“祝福”。
2024-11-12 cs.LG math.ST stat.ML
Turnstile $\ell_p$ leverage score sampling with applications
Dortmund Data Science Center（多特蒙德数据科学中心）；Faculties of Statistics and Computer Science, TU Dortmund University（多特蒙德工业大学统计与计算机科学学院）；Lamarr-Institute for Machine Learning and Artificial Intelligence, TU Dortmund University（多特蒙德工业大学拉马尔机器学习与人工智能研究所）
针对转门数据流模型，提出一种新颖的$\ell_p$范数行采样算法，扩展至$\ell_p$ leverage score采样，使coresets子采样构造能低开销运行，并在logistic regression上实现首个$(1+\varepsilon)$近似。
2024-06-01 cs.DS cs.LG stat.ML
Boulevard: Regularized Stochastic Gradient Boosted Trees and Their Limiting Distribution
本文研究了一种新的梯度提升回归框架。我们正则化梯度提升树，通过引入子采样，并采用修改后的收缩算法，使在每个提升阶段的估计是由树的平均值。由此产生的算法，名为林荫大道，收敛的树木数量的增长。我们还证明了这个限制的中心极限定理，允许的不确定性预测的表征。模拟研究和现实世界的例子提供支持的预测精度的模型和其限制行为。
2019-09-13 math.ST stat.ME stat.ML
Subdata Selection for Measurement-Constrained Linear Regression under Model Misspecification
University of Illinois at Chicago（芝加哥伊利诺伊大学）
针对测量受限且常存在模型误设的线性回归场景，提出无需响应观测的ELOS方法，其在模拟与真实数据中预测性能优于现有方法。
2026-10-15 stat.ME stat.ML
Supervised Kernel Thinning
Cornell Tech, Cornell University（康奈尔科技学院，康奈尔大学）
本研究将核压缩（KT）算法推广至有监督核学习场景，结合Nadaraya-Watson回归与核岭回归实现训练推理的二次加速，证明其兼具更优计算与统计效率，并给出新的乘法误差保证，经实验验证有效。
2025-01-15 cs.LG math.ST stat.ML
Comunication-Efficient Algorithms for Statistical Optimization
University of California, Berkeley（加州大学伯克利分校）
我们分析了两个通信效率的算法，用于大规模数据集的分布式统计优化。第一种算法是一种标准的平均方法，它将$N$数据样本均匀分布到$\nummac$机器，对每个子集执行单独的最小化，然后对估计值求平均。我们提供了一个尖锐的分析，这种平均混合算法，表明在一组合理的条件下，组合参数达到均方误差衰减为$\order(N^{-1}+(N/m)^{-2})$。每当$m \le \sqrt{N}$时，该保证与可访问所有$\totalnumobs$样本的集中式算法可实现的最佳可能速率相匹配。第二种算法是一种新的方法，基于适当形式的自助抽样。它只需要一轮通信，具有衰减为$\order(N^{-1} + (N/m)^{-3})$的均方误差，因此对并行化量更鲁棒。此外，我们表明，一个随机的基于梯度的方法达到衰减为$O(N^{-1} + (N/ m)^{-3/2})$的均方误差，减轻计算的代价罚款的收敛速度。我们还提供了我们的方法的实验评估，调查他们的性能模拟数据和大规模的回归问题，从互联网搜索域。特别是，我们表明，我们的方法可以用来有效地解决广告预测问题，从中国SoSo搜索引擎，其中涉及逻辑斯谛回归与$N \approx 2.4 \times 10^8$样本和$d \approx 740,000$协变量。
2013-10-11 cs.LG stat.CO stat.ML
V-fold cross-validation improved: V-fold penalization
本文从非渐近的角度研究了V-fold cross-validation（VFCV）在模型选择中的有效性，并提出了一种改进方法，称之为“V-fold penalization”。考虑到一个特定的（虽然简单）回归问题，我们证明了VFCV与有界V是次优的模型选择，因为它“overpenalizes”的所有更多的V是大的。因此，渐近最优性要求V趋于无穷大。然而，当信噪比低时，似乎过度惩罚是必要的，使得最佳V不总是较大的V，尽管存在可变性问题。一些模拟数据证实了这一点。为了提高VFCV的预测性能，我们定义了一个新的模型选择过程，称为“V倍惩罚”（penVF）。它是Efron自举惩罚的V倍子采样版本，因此它具有与VFCV相同的计算成本，同时更灵活。在异方差回归框架下，假设模型具有特定的结构，证明了当样本量趋于无穷大时，penVF满足一个前导常数趋于1的非渐近预言不等式.特别是，这意味着自适应平滑的回归函数，即使具有高度异方差噪声。此外，penVF很容易过度惩罚，与V参数无关。仿真研究表明，在非渐近的情况下，这导致VFCV的显着改善。
2008-02-07 math.ST stat.ML stat.TH
LOCO Feature Importance Inference without Data Splitting via Minipatch Ensembles
Department of Statistics, Rice University（理查德·伊尔·米勒大学统计系）；Department of Statistics, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计系）；Department of Statistics, Columbia University（哥伦比亚大学统计系）
本文提出一种无需数据分割的特征重要性推断框架，通过minipatch集成实现高效且分布无关的模型解释，解决了传统方法的分布假设和数据分割问题。
2026-03-23 cs.LG stat.ME stat.ML
