Efficient Two-Stage Gaussian Process Regression Via Automatic Kernel Search and Subsampling
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）
针对高斯过程回归中均值、核函数和超参数设定错误的问题，提出两阶段框架、自动核搜索和子采样热启动策略，以低计算成本实现稳健精确的预测与不确定性量化。
2024-09-19 cs.AI cs.LG math.PR
A Subsampling Based Neural Network for Spatial Data
本文提出一种基于子采样的局部化两层深度神经网络用于空间数据回归，证明其一致性并具有更快的渐近收敛速度，应用于美国城市月均温度估计。
2024-11-06 cs.LG stat.ML
Online Lewis Weight Sampling
Carnegie Mellon University（卡内基梅隆大学）
Cohen和Peng的开创性工作将Lewis加权抽样引入了理论计算机科学界，产生了快速行抽样算法，用于近似$\ell_p$的$d$维子空间，误差高达$(1+ε)$。一些作品已经将这个重要的原语扩展到其他设置，包括在线coreset和滑动窗口模型。但是，这些结果仅适用于$p\in\{1,2\}$，而$p=1$的结果需要次优的$\tilde O(d^2/ε^2)$样本。在这项工作中，我们设计了第一个接近最佳的$\ell_p$子空间嵌入的所有$p\in(0,\infty)$在线coreset和滑动窗口模型。在这两个模型中，我们的算法存储$\tilde O(d^{1\lor(p/2)}/ε^2)$行。这回答了[BDMMUWZ 2020]的主要开放问题的实质性推广，并给出了所有$p\notin\{1,2\}$的第一个结果。对于我们的结果，我们给出了第一次分析的“一次出手”的刘易斯重量抽样的抽样行的比例，其刘易斯重量，与样本复杂度$\tilde O(d^{p/2}/ε^2)$的$p>2$。以前，该方案仅已知具有样本复杂度$\tilde O(d^{p/2}/ε^5)$，而如果使用更复杂的递归采样，则已知$\tilde O(d^{p/2}/ε^2)$。递归抽样不能在线实现，因此需要分析一次刘易斯加权抽样。我们的分析使用了一个新的连接到在线数值线性代数。作为应用，我们获得了第一个单遍流coreset…
2022-12-17 cs.DS cs.LG stat.ML
Data subsampling for Poisson regression with pth-root-link
TU Dortmund University（多特蒙德工业大学）
该研究针对带ID和平方根链接的泊松回归，提出基于新复杂度参数与域偏移的亚线性核心集方法，证明相关下界及参数依赖关系，并给出Lambert W0函数主分支的改进界。
2024-10-30 cs.DS cs.LG stat.ML
One-shot Active Learning Based on Lewis Weight Sampling for Multiple Deep Models
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）
针对多深度模型主动学习中迭代训练成本高的问题，提出基于跨表示最大Lewis权重采样与重加权的一次性$\ell_p$回归方法，并给出样本数上界，在11个基准上性能可比最先进方法。
2024-10-02 cs.LG
Frank-Wolfe with Subsampling Oracle
École Normale Supérieure（巴黎高等师范学院）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）；CNRS（法国国家科学研究中心）
我们分析了两个新的随机化的弗兰克-沃尔夫（FW）或条件梯度算法的变种。经典的FW算法需要在每次迭代时求解域上的线性最小化问题，而所提出的方法只需要在原始域的小\emph{subset}上求解线性最小化问题。我们提出的第一个算法是一个随机变量的原始FW算法，并实现了$\mathcal{O}(1/t)$次线性收敛速度的确定性对应。第二算法是离开步骤FW算法的随机化变体，并且再次作为其确定性对应物，达到线性（即，指数）收敛速度，使其成为第一个可证明收敛的随机变量的离开步骤FW。在这两种情况下，虽然子采样以恒定因子降低了收敛速度，但是线性最小化步骤可以是确定性版本的成本的一小部分，特别是当数据被流式传输时。我们说明了回归问题的算法的计算收益，涉及$\ell_1$和潜在的组套索处罚。
2018-03-20 cs.LG math.OC stat.ML
Optimal bounds for $\ell_p$ sensitivity sampling via $\ell_2$ augmentation
TU Dortmund University（多特蒙德工业大学）；Dortmund Data Science Center（多特蒙德数据科学中心）；Lamarr-Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）
本文通过用 $\ell_2$ 敏感度增广 $\ell_p$ 敏感度，将 $p\in[1,2]$ 时的 $\ell_p$ 子空间嵌入采样复杂度改进至最优的线性界限，并应用于逻辑回归问题。
2024-06-01 cs.DS cs.LG stat.ML
One Backward from Ten Forward, Subsampling for Large-Scale Deep Learning
Amazon.com Inc（亚马逊公司）；ByteDance Inc（字节跳动公司）；University of Pittsburgh（匹兹堡大学）；Snap Inc（Snap公司）
大规模机器学习系统中的深度学习模型通常使用来自生产环境的大量数据进行持续训练。流传输训练数据的绝对量对实时训练子系统构成了重大挑战，并且ad-hoc采样是标准实践。我们的关键见解是，这些部署的ML系统在推理过程中不断地对数据实例执行正向传递，但是ad-hoc采样并没有利用这种大量的计算工作。因此，我们建议从这些向前传递中记录每个实例的恒定信息量。额外的信息可测量地改进了哪些数据实例应该参与向前和向后传递的选择。提出了一种新的优化框架来分析这个问题，我们提供了一个有效的近似算法的框架下的小批量梯度下降作为一个实用的解决方案。我们还证明了我们的框架和算法在几个大规模的分类和回归任务的有效性，与广泛用于工业的竞争性基线相比。
2021-04-27 cs.LG
Optimal Rates for Learning with Nyström Stochastic Gradient Methods
Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
在非参数回归的背景下，我们提出并研究了一种随机梯度方法与Nyström子采样的组合，允许多次通过数据和小批量。所研究的算法的推广误差界。特别是，最佳的学习率得出考虑不同的可能选择的步长，小批量大小，迭代/通过的数量，和子采样水平。与经典的随机梯度法和Nyström核岭回归等算法相比，该算法在获得相同最优学习率的同时，在计算复杂度上具有优势.此外，我们的研究结果表明，使用小批量可以降低总的计算成本，同时实现相同的最佳统计结果。
2017-10-21 cs.LG math.FA math.OC
AdaSelection: Accelerating Deep Learning Training through Data Subsampling
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；The Ohio State University（俄亥俄州立大学）；Stanford University（斯坦福大学）
AdaSelection是一种自适应子采样方法，通过结合方法级和样本级重要性选择最具信息量的子样本，加速深度学习训练而不损失性能，在图像、语言分类和回归任务上优于行业基线。
2023-06-19 cs.LG
Local Uncertainty Sampling for Large-Scale Multi-Class Logistic Regression
Tencent AI Lab（腾讯人工智能实验室）；University of Minnesota（明尼苏达大学）；Rutgers University（罗格斯大学）
大数据时代构建统计模型的一大挑战是可用数据量远远超过计算能力。解决这个问题的一种常见方法是采用可以由可用计算资源处理的二次采样数据集。在本文中，我们提出了一个一般的子抽样方案的大规模多类逻辑斯谛回归和检查所得的估计量的方差。我们表明，渐近，所提出的方法总是实现一个较小的方差比均匀随机抽样。此外，当类是有条件的不平衡，显着改善均匀采样可以实现。在模拟和真实数据集上将该方法的经验性能与其他方法进行了比较，这些结果与我们的理论分析相匹配并证实了我们的理论分析。
2018-09-13 cs.LG stat.CO stat.ML
The Statistical Cost of Robust Kernel Hyperparameter Tuning
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）
本文研究了对抗性噪声下主动回归核超参数调整的统计复杂性。我们考虑的问题，找到最好的插值从一类未知的超参数的内核，假设只有噪音是平方可积的。我们提供有限样本保证的问题，表征如何增加内核类的复杂性增加学习内核超参数的复杂性。对于常见的内核类（例如，平方指数内核与未知的长度尺度），我们的研究结果表明，超参数优化增加了样本的复杂性只有一个对数因子，在设置中，最佳参数是已知的提前。我们的结果是基于多重设计矩阵下线性回归的子采样保证，结合离散化核参数化的ε-net参数。
2020-06-14 cs.LG stat.ML
Nearly Linear Row Sampling Algorithm for Quantile Regression
Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Duke University（杜克大学）
本文给出了分位数损失函数的行抽样算法，该算法的抽样复杂度与数据的维数近似成线性关系，改进了以往的最佳算法，其抽样复杂度至少与维数成立方关系。基于我们的行抽样算法，我们给出了已知的最快的分位数回归算法和平衡有向图的图稀疏化算法。我们的主要技术贡献是表明，刘易斯权重采样，这已被用于行采样算法的$\ell_p$规范，也可以应用于行采样算法的各种损失函数。我们补充我们的理论结果通过实验来证明我们的方法的实用性。
2020-06-15 cs.DS cs.LG
Efficient Tensor Kernel methods for sparse regression
最近，经典的核方法已经通过引入合适的张量核来扩展，以便在底层回归问题的解决方案中促进稀疏性。实际上，他们解决了一个lp范数正则化问题，p=m/（m-1），m是偶数，这恰好接近套索问题。然而，该方法的一个主要缺点是存储张量需要大量的内存，最终限制了其适用性。在这项工作中，我们解决这个问题，提出两个进步。首先，我们通过引入一种新的、更有效的数据存储布局，直接降低了内存需求。其次，我们使用Nystrom类型的子采样方法，该方法允许训练阶段使用较少数量的数据点，从而降低计算成本。在人工数据集和读数据集上的实验表明了所提改进的有效性。最后，我们以C++实现cose为例，以进一步加快计算速度。
2020-03-23 cs.LG cs.PF stat.ML
Turnstile $\ell_p$ leverage score sampling with applications
Dortmund Data Science Center（多特蒙德数据科学中心）；Faculties of Statistics and Computer Science, TU Dortmund University（多特蒙德工业大学统计与计算机科学学院）；Lamarr-Institute for Machine Learning and Artificial Intelligence, TU Dortmund University（多特蒙德工业大学拉马尔机器学习与人工智能研究所）
针对转门数据流模型，提出一种新颖的$\ell_p$范数行采样算法，扩展至$\ell_p$ leverage score采样，使coresets子采样构造能低开销运行，并在logistic regression上实现首个$(1+\varepsilon)$近似。
2024-06-01 cs.DS cs.LG stat.ML
Iterative Sketching for Secure Coded Regression
University of Michigan（密歇根大学）；Northeastern University（东北大学）；Stanford University（斯坦福大学）
本文提出一种分布式迭代随机方法，通过随机旋转基和块子采样同时实现信息安全与降维，从而加速异步系统中的分布式线性回归。
2024-03-31 cs.CR cs.DC cs.IT
Active Linear Regression for $\ell_p$ Norms and Beyond
UMass Amherst（马萨诸塞大学阿默斯特分校）；NYU（纽约大学）；CMU（卡内基梅隆大学）
我们研究了线性回归的主动抽样算法，其目的是只查询一个目标向量$b\in\mathbb R^n$的几个条目，并输出一个接近极小值的$\min_{x\in\mathbb R^d} \|Ax-b\|$，设计矩阵$A\in\mathbb R^{n \times d}$和损失$\|\cdot\|$。对于任何$0<p<\infty$的$p$范数回归，我们给出了一个基于Lewis权重采样的算法，该算法仅使用$\tilde O(d/ε^2)$查询来输出$(1+ε)$近似解，$b$用于$p\in(0,1)$，$\tilde{O}(d/ε)$查询用于$1<p<2$，以及$\tilde{O}(d^{p/2}/ε^p)$查询用于$2<p<\infty$。对于$0<p<2$，我们的边界是最佳的对数因子，解决了这个范围内的查询复杂性。对于$2<p<\infty$，我们对$d$的依赖性是最优的，而我们对$ε$的依赖性最多偏离$ε$，达到对数因子。我们的结果解决了[CD 21]的一个悬而未决的问题，他给出了$1$范数的接近最优的界限，但需要$d^2/ε^2$样本进行$\ell_p$回归与$1<p<2$，并且没有给出$2<p<\infty$或$0<p<1$的界限。我们还给出了$O(d^{\max\{1,p/2\}}\log^2n)$对$p$次多项式增长损失函数的第一全灵敏度界，改进了[TMF 20]的一个结果.通过…
2022-09-26 cs.DS cs.LG stat.ML
Angular upsampling in diffusion MRI using contextual HemiHex sub-sampling in q-space
University of Rochester（罗切斯特大学）
人工智能（深度学习（DL）/机器学习（ML））技术被广泛用于解决和克服医学成像中的各种不适定问题，这些问题过去或实际上似乎是不可能的。降低梯度方向但利用MR中保留临床特征的高角分辨率（HAR）扩散数据是该领域中重要且具有挑战性的问题。虽然DL/ML方法很有前途，但重要的是要为数据引入相关的上下文，以确保为AI模型提供最大的先验信息来推断后验。在本文中，我们引入了半十六进制（HH）子采样来解决q空间几何上的训练数据采样，然后在HH样本上进行最近邻回归训练，最终对dMRI数据进行上采样。早期的研究尝试使用回归对dMRI数据进行上采样，但由于无法提供结构化的几何测量来进行推断，因此会产生性能问题。我们提出的方法是一个几何优化的回归技术，推断未知的q空间，从而解决了早期研究中的局限性。
2022-11-01 cs.CV cs.LG eess.IV
