Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University（浙江大学）；Rutgers University（罗格斯大学）；Shanghai Jiao Tong University（上海交通大学）
低秩矩阵完备化是一个重要的问题，有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时，现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想，在最近的几项工作中提出的，我们的主要贡献是一个实用的方法来计算加权矩阵，使杠杆得分加权后变得更加均匀。在适当的条件下，我们能够推导出理论结果，表明我们的方法的有效性。在合成数据上的实验表明，该方法能够以高精度恢复高度相干的矩阵，而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling
Google Research（谷歌研究院）；Georgia Tech（佐治亚理工学院）
低秩张量分解推广了低秩矩阵近似，是发现高维数据中低维结构的有力技术。在本文中，我们研究了塔克分解，并使用随机数值线性代数的工具，称为岭杠杆分数，以加速核心张量更新步骤中广泛使用的交替最小二乘（ALS）算法。更新核心张量是ALS中的一个严重瓶颈，是一个高度结构化的岭回归问题，其中设计矩阵是因子矩阵的克罗内克积。我们展示了如何使用近似的岭杠杆分数来构造任何岭回归问题的草图实例，使得草图问题的解向量是原始实例的$(1+\varepsilon)$近似。此外，我们表明，经典的杠杆分数足以作为近似值，这使我们能够利用克罗内克结构并及时更新核心张量，这主要取决于秩和草图参数（即，在输入张量的大小上是次线性的）。我们还给出了脊杠杆分数的上限，因为行从设计矩阵中删除（例如，如果张量有丢失的条目），我们证明了我们的近似岭回归算法的有效性大，低秩塔克分解合成和真实世界的数据。
2021-07-22 cs.DS cs.LG math.ST
Learning Sampling and Model-Based Signal Recovery for Compressed Sensing MRI
Philips Research（飞利浦研究院）
压缩感知（CS）MRI依赖于k空间的充分欠采样来加速采集，而不会影响图像质量。因此，这些k-空间系数的最佳采样模式的设计受到了极大的关注，许多CS MRI方法利用可变密度概率分布。意识到最佳采样模式可能取决于下游任务（例如图像重建、分割或分类），我们在这里提出了任务自适应k空间采样和后续基于模型的邻近梯度恢复网络的联合学习。前者是通过概率生成模型实现的，该模型利用Gumbel-softmax松弛来在可训练的信念之间进行采样，同时保持可微性。所提出的高度灵活的采样模型和基于模型的（采样自适应）图像重建网络的组合促进了探索和有效的训练，与其他采样基线相比，产生了改进的MR图像质量。
2020-04-22 cs.LG eess.IV stat.ML
Completing Any Low-rank Matrix, Provably
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
矩阵完备化，即，从其元素的一个小子集中精确且可证明地恢复低秩矩阵，目前已知仅当矩阵在其行和列空间上满足限制性结构约束--称为{ \em不相干性}时才是可能的。在这些情况下，元素的子集被随机均匀地采样。在本文中，我们表明，{ \em任何}秩- $ r $ $ n$ -由- $ n $矩阵可以完全恢复从尽可能少的$O(nr \log^2 n)$随机选择的元素，提供这种随机选择是根据一个{ \em特定的偏置分布}：任何元素被采样的概率应该是成比例的相应行和列的杠杆分数的总和。也许同样重要的是，我们表明，这种特定形式的抽样几乎是必要的，在一个自然的精确意义上，这意味着其他可能更直观的抽样方案失败。我们进一步建立了三种方法，在杠杆分数未知时将上述结果用于设置\textit{a priori}：（a）用于只有一个行或列空间不相干的情况的采样策略，（b）用于一般矩阵的双重抽样过程，首先采样以估计杠杆分数，然后采样以精确恢复，以及（c）分析显示了在非均匀采样的情况下加权核/迹范数最小化相对于香草未加权公式化的优点。
2014-07-21 cs.IT cs.LG math.IT
Learning Parameters for Weighted Matrix Completion via Empirical Estimation
最近，理论上的保证已经获得了矩阵完成在非均匀采样制度。特别是，如果抽样分布与底层矩阵的杠杆分数一致，那么核范数最小化将以高概率精确地恢复低秩矩阵。在本文中，我们分析了非均匀抽样分布可能与基础矩阵的杠杆分数一致或不一致的情况。在这里，我们探索学习加权核范数最小化的经验抽样分布的参数。我们为这些学习的权重提供了一个充分条件，为加权核范数最小化提供了一个精确的恢复保证。它已经建立了一个具体的选择的权重，在真实的采样分布不仅允许加权核范数最小化，以准确地恢复低秩矩阵，但也允许在精确的恢复条件的量化放松。在这篇文章中，我们扩展了这种可量化的放松，在确切的恢复条件下，定义类似的经验分布，而不是真正的抽样分布的权重的具体选择。为了实现这一点，我们采用了浓度的测量界和大偏差界。我们还提出了健康的鲁棒性的加权核范数最小化算法的经验学习的权重的选择的数值证据。这些数值实验表明，对于各种易于计算的经验权重，加权核范数最小化优于非加权核范数最小化在非均匀采样制度。
2015-04-02 stat.ML
Efficient Data Reduction Via PCA-Guided Quantile Based Sampling
Institute of Statistical Science, Academia Sinica（中央研究院统计科学研究所）
PCA-QS通过主成分分析与分位数采样结合，实现高效数据降维，降低均方误差并保留关键数据特征。
2026-01-10 stat.AP stat.CO
Generalized Leverage Score Sampling for Neural Networks
Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）；Institute for Advanced Study（高等研究院）；Columbia University（哥伦比亚大学）
杠杆分数抽样是一种源于理论计算机科学的强有力的技术，它可以用来加速大量的基本问题，如线性回归、线性规划、半定规划、割平面法、图稀疏化、最大匹配和最大流等。最近，已经表明，利用分数采样有助于加速内核方法[Avron，Kapralov，Musco，Musco，Velingker和Zandieh 17]。在这项工作中，我们将[Avron，Kapralov，Musco，Musco，Velingker和Zandieh 17]中的结果推广到更广泛的一类内核。我们进一步将杠杆分数抽样引入到深度学习理论领域。$\bullet$我们展示了神经网络训练的初始化和用随机特征逼近神经切线核之间的联系。$\bullet$我们证明了正则化神经网络和神经切线核岭回归在经典随机高斯和杠杆分数采样初始化下的等价性。
2020-09-21 cs.LG stat.ML
Random Fourier Features via Fast Surrogate Leverage Weighted Sampling
KU Leuven（鲁汶大学）；Shanghai Jiao Tong University（上海交通大学）；Cornell University（康奈尔大学）
在本文中，我们提出了一种快速代理杠杆加权采样策略，以产生细化的随机傅立叶特征的核近似。与目前使用杠杆加权方案的最先进方法[Li-ICML 2019]相比，我们的新策略更简单，更有效。该算法利用核对齐来指导采样过程，并且在计算杠杆函数时避免了矩阵求逆运算。给定n个观测值和s个随机特征，我们的策略可以将时间复杂度从O（ns^2+s^3）降低到O（ns^2），同时在应用于核岭回归（KRR）时实现相当（甚至略好）的预测性能。此外，我们提供了理论上的保证，我们的方法的泛化性能，特别是表征所需的随机特征的数量，以实现统计保证KRR。在几个基准数据集上的实验表明，与[Li-ICML 2019]相比，我们的算法实现了相当的预测性能，并且花费的时间更少。
2019-11-20 cs.LG stat.ML
Leverage Score Sampling for Complete Mode Coverage in Generative Adversarial Networks
KU Leuven（鲁汶大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
通常，机器学习模型最小化经验期望。因此，经过训练的模型通常对大多数数据表现良好，但在数据集的密度较低的区域中性能可能会恶化。这个问题也出现在生成建模中。生成模型可能会忽略在经验数据分布中不太频繁的代表性不足的模式。这个问题被称为完全模式覆盖。我们提出了一种基于岭杠杆分数的采样过程，与标准方法相比，该方法显着提高了模式覆盖率，并且可以很容易地与任何GAN相结合。脊杠杆分数通过使用与GAN神经网络或预训练网络的倒数第二层相关联的显式特征图，或者通过使用与高斯核相对应的隐式特征图来计算。对最近的方法的完整模式覆盖的多个评价显示了明显的改善时，使用建议的采样策略。
2021-07-21 cs.LG stat.ML
On Fast Leverage Score Sampling and Optimal Learning
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Istituto Italiano di Tecnologia（意大利理工学院）；MIT（麻省理工学院）；Università degli Studi di Genova（热那亚大学）
利用分数抽样提供了一种吸引人的方法来执行大型矩阵的近似计算。事实上，它允许获得忠实的近似与适应手头的问题的复杂性。然而，执行杠杆分数抽样本身就是一个挑战，需要进一步的近似。本文研究了由核定义的正定矩阵的杠杆分数抽样问题。我们的贡献是双重的。首先，我们提供了一种新的算法，利用分数采样，其次，我们利用所提出的方法在统计学习，推导出一种新的求解器内核岭回归。我们的主要技术贡献是表明，所提出的算法是目前最有效和准确的这些问题。
2019-01-24 cs.DS cs.LG stat.ML
On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees
Texas A&M University（得克萨斯农工大学）；HRL Laboratories, LLC.（HRL实验室有限责任公司）
随机特征为大规模核近似和监督学习提供了一个实用的框架。已经表明，使用杠杆分数的随机特征的数据相关采样可以显着减少实现最佳学习边界所需的特征数量。杠杆分数引入了基于无限维积分算子（取决于输入分布）的优化特征分布，这是不切实际的采样。在本文中，专注于经验杠杆分数，我们建立了一个样本外的性能界，揭示了一个有趣的权衡近似内核和另一个内核的特征值衰减的随机特征定义的基础上，数据分布的域。我们的实验验证了经验算法始终优于香草蒙特卡罗采样，并且通过微小的修改，该方法甚至可以与监督数据依赖的内核学习竞争，而无需使用输出（标签）信息。
2019-03-20 cs.AI cs.LG stat.ML
Continual Learning via Online Leverage Score Sampling
Neuri
为了模仿人类在各种任务中持续获取和转移知识的能力，学习系统需要持续学习的能力，有效地利用先前获得的技能。因此，关键的挑战是将从一项任务中学到的知识转移和概括到其他任务中，避免遗忘和干扰以前的知识，并提高整体绩效。在本文中，在持续学习范式，我们介绍了一种方法，有效地忘记了不太有用的数据样本连续，并允许有益的信息，以保持后续任务的训练，在网上的方式。该方法使用统计杠杆得分信息来衡量数据样本在每个任务中的重要性，并采用频繁方向方法来实现持续或终身学习特性。这有效地在所有任务中保持恒定的训练规模。我们首先提供了数学直观的方法，然后证明其有效性，在避免灾难性遗忘和计算效率的持续学习的分类任务时，与现有的最先进的技术相比。
2019-08-01 cs.LG stat.ML
Improved Active Learning via Dependent Leverage Score Sampling
New York University（纽约大学）
本文提出一种基于关键采样的非独立杠杆分数采样主动学习方法，通过增强空间覆盖在对抗噪声下将所需样本数最多减少50%，并给出线性函数和多项式回归的理论样本复杂度保证。
2024-05-04 cs.LG
Leverage Score Sampling for Faster Accelerated Regression and ERM
Computer Science, Princeton University（普林斯顿大学计算机科学系）；University of Washington, Seattle（华盛顿大学西雅图分校）；Microsoft Research, India（微软研究院印度）；Stanford University（斯坦福大学）
给定一个矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$和一个向量$b \in\mathbb{R}^{d}$，我们展示了如何计算一个$ε$ -近似解的回归问题$ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $在时间$ \tilde{O} ((n+\sqrt{d\cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1}) $，其中$κ_{\text{sum}}=\mathrm{tr}\left(\mathbf{A}^{\top}\mathbf{A}\right)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$和$s$是最大数量的非零条目中的一行$\mathbf{A}$。我们的算法改进了以前的最佳运行时间的$ \tilde{O} ((n+\sqrt{n \cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1})$。我们通过杠杆分数抽样技术，近点方法和加速坐标下降的精心组合来实现我们的结果。我们的方法不仅匹配以前的方法的性能，但进一步提高时，杠杆分数的行是小的（多对数因子）。我们还提供了一个非线性推广这些结果，提高了运行时间解决更广泛的一类ERM问题。
2017-11-22 cs.LG math.OC stat.ML
Leveraged volume sampling for linear regression
University of California at Santa Cruz（加州大学圣克鲁兹分校）；Columbia University（哥伦比亚大学）
假设给定了线性回归问题中的一个$n \times d$设计矩阵，但除非明确要求，否则每个点的响应都是隐藏的。目标是仅对少量$k \ll n$响应进行采样，然后生成一个权重向量，该向量在所有点上的平方损失之和最多为最小值的$1+ε$倍。当$k$非常小时（例如，$k=d$），联合采样点的不同子集至关重要。其中一种称为体积抽样的方法具有独特和理想的性质，即它产生的权重向量是最优值的无偏估计。因此，很自然地会问，这种方法是否提供了最佳的无偏估计的响应数$k$需要达到$1+ε$损失近似。令人惊讶的是，当我们需要非常精确的近似值时，我们发现体积采样的性能很差--实际上比一些i.i.d.更差。估计值有偏差的抽样技术，如杠杆分数抽样。然后，我们开发了一个新的重新缩放变量的体积抽样，产生无偏估计，避免这种不良行为，并至少有一个良好的尾部约束杠杆得分抽样：样本量$k=O(d\log d + d/ε)$足以保证总损失最多$1+ε$倍的最小概率。因此，我们改进了以前已知的最好的无偏估计，$k=O(d^2/ε)$的样本量。我们的重新缩放过程导致一个新的高效的算法，体积采样，这是基于一个决定性的拒绝采样技术，具有潜在的更广泛的应用，以决定性的点过程。其他贡献包括引入重新缩放体积采样所需的组合学，以及为该过程中出现的相关随机矩阵之和制定尾界。
2018-09-05 cs.LG
Importance Sampling for Nonlinear Models
University of Queensland（昆士兰大学）
该研究针对非线性模型缺乏重要数据点识别工具的问题，引入非线性映射伴随算子概念，将范数和杠杆得分重要性采样推广到非线性场景，兼具理论支撑与实验验证，可提升训练效率并助力可解释性和异常检测。
2025-05-18 cs.AI cs.LG stat.ML
Turnstile $\ell_p$ leverage score sampling with applications
Dortmund Data Science Center（多特蒙德数据科学中心）；Faculties of Statistics and Computer Science, TU Dortmund University（多特蒙德工业大学统计与计算机科学学院）；Lamarr-Institute for Machine Learning and Artificial Intelligence, TU Dortmund University（多特蒙德工业大学拉马尔机器学习与人工智能研究所）
针对转门数据流模型，提出一种新颖的$\ell_p$范数行采样算法，扩展至$\ell_p$ leverage score采样，使coresets子采样构造能低开销运行，并在logistic regression上实现首个$(1+\varepsilon)$近似。
2024-06-01 cs.DS cs.LG stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nyström近似是一种快速随机化方法，通过对目标函数中出现的n乘n经验核矩阵进行子采样，快速解决核岭回归（KRR）问题。然而，这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数，这可能与求解原始KRR一样昂贵。在这项工作中，我们提出了一个线性时间（模poly-log项）算法，以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地，通过分析KRR目标的一阶条件，我们推导出一个解析公式，该公式取决于输入分布和平稳核的谱密度，用于捕获统计杠杆分数的非均匀性。数值实验表明，在相同的预测精度，我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Recursive Sampling for the Nyström Method
MIT（麻省理工学院）
我们给出了核Nyström近似的第一个算法，该算法在训练点数量 * 的线性时间内运行，并且对所有核矩阵都是可证明准确的，而不依赖于正则性或不相干条件。该算法将内核投影到一组$s$界标点上，这些界标点通过它们的 * 脊杠杆分数 * 进行采样，仅需要$O(ns)$内核评估和$O(ns^2)$额外的运行时间。虽然杠杆分数采样一直被认为是Nyström近似的强有力的理论保证，通过采用快速递归采样方案，我们的算法是第一个使该方法可扩展的。从经验上讲，我们发现，它更准确，更低的秩核近似在更短的时间比流行的技术，如均匀采样Nyström近似和随机傅立叶特征的方法。
2017-11-03 cs.DS cs.LG stat.ML
Input Sparsity Time Low-Rank Approximation via Ridge Leverage Score Sampling
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个新的算法，寻找一个接近最佳的低秩近似矩阵$A$在$O(nnz(A))$时间。我们的方法是基于一个递归的抽样计划计算的一个代表性子集的$A$的列，然后用它来找到一个低秩近似。这种方法与现有的$O(nnz(A))$时间算法有很大不同，这些算法都是基于快速Johnson-Lindenstrauss随机投影的。它与这些方法的保证相匹配，同时提供许多优点。采样算法不仅对稀疏和结构化数据更快，而且还可以应用于随机投影无法应用的环境中。例如，我们给出了新的单通道流算法的列子集选择和投影成本保持样本问题。我们的方法也被用来给出可证明近似核矩阵的最快算法[MM 16]。
2016-10-06 cs.DS cs.LG
Max-plus statistical leverage scores
复矩阵$A\in\mathbb{C}^{n\times d}$的统计杠杆分数记录了列$(A)$与$\mathbb{C}^n$中的坐标轴之间的对齐程度。这些分数用于解决某些数值线性代数问题的随机抽样算法。在本文中，我们提出了一个最大加代数模拟统计杠杆得分。我们表明，最大加统计杠杆得分可以用来计算普列普列的一般矩阵的常规统计杠杆得分的精确渐近行为，也提供了一种新的方法来近似固定或复杂矩阵的常规统计杠杆得分。用max-plus分数近似复杂矩阵分数的优点是可以非常快速地计算max-plus分数。这种近似通常精确到一个数量级或数量级内，并且在已知真实分数变化很大的实际问题中应该有用。
2016-09-29 cs.LG stat.ML
Relating Leverage Scores and Density using Regularized Christoffel Functions
IRIT-AOC；Université Toulouse 3（图卢兹第三大学）；Paul Sabatier（保罗·萨巴蒂埃）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（PSL研究大学）；Google Brain（谷歌大脑）；CBIO Mines ParisTech（巴黎矿业学院计算生物学中心）
统计杠杆分数作为矩阵素描和列采样的基本工具出现，并应用于低秩近似、回归、随机特征学习和求积。然而，这个数量的本质几乎没有被理解。借用正交多项式文献的思想，我们引入了正则化的Christoffel函数与一个正定核。这揭示了一个变分制定的核方法的杠杆分数，并允许阐明它们与所选择的内核以及人口密度的关系。我们的主要结果定量地描述了一个广泛的一类核在欧几里得空间的杠杆分数和人口密度之间的关系递减。数值模拟支持了我们的发现。
2018-11-21 cs.LG stat.ML
Optimal Sampling Designs for Multi-dimensional Streaming Time Series with Application to Power Grid Sensor Data
Department of Statistics（统计系）；Data Science, University of Central Florida, Orlando, FL 32826 USA（数据科学系，中央佛罗里达大学）；Department of Statistics, University of Georgia, Athens, GA 30602 USA（统计系，佐治亚大学）
针对多维流式时间序列在线分析的计算成本问题，提出基于D-最优性准则的混合伯努利与杠杆得分采样方法，在电网数据上优于基准方法。
2023-03-14 cs.LG stat.AP stat.ML
Uniform Sampling for Matrix Approximation
Massachusetts Institute of Technology（麻省理工学院）
随机抽样已成为解决大规模矩阵问题的重要工具。对于线性回归，可以随机选择一个小的、可管理的数据行集来近似一个高而瘦的数据矩阵，从而显著缩短处理时间。对于理论上的性能保证，必须以与其统计杠杆得分成比例的概率对每一行进行采样。不幸的是，杠杆分数很难计算。一个简单的替代方法是随机对行进行均匀采样。虽然这通常有效，但均匀采样将消除许多自然实例的关键行信息。我们重新审视均匀抽样，看看它保留了什么信息。具体来说，我们表明，均匀采样产生一个矩阵，在某种意义上说，以及近似的原始的一个大部分。虽然这种弱形式的近似不足以直接求解线性回归，但它足以计算更好的近似。这一观察导致简单的迭代行采样算法的矩阵近似，运行在输入稀疏时间和保留行结构和稀疏在所有中间步骤。除了提高对均匀采样的理解，我们的主要证明还引入了一个独立感兴趣的结构结果：我们证明了每个矩阵都可以通过重新加权其行的一个小子集来获得低相干性。
2014-08-21 cs.DS cs.LG stat.ML
Provably Accurate Shapley Value Estimation via Leverage Score Sampling
New York University（纽约大学）
本文提出Leverage SHAP，通过杠杆分数采样将Shapley值估计与主动学习结合，仅需O(n log n)次模型评估即可获得可证明准确的估计，并实验证明其优于Kernel SHAP。
2026-10-12 cs.AI cs.LG
Gradient Coding with Iterative Block Leverage Score Sampling
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
本文提出一种迭代块杠杆分数采样方法，将随机数值线性代数与近似编码计算统一，用于分布式线性回归，以应对掉队节点故障，并通过均匀采样和加权实现高效近似求解。
2024-06-25 cs.DC cs.IR cs.IT
SGD with Coordinate Sampling: Theory and Practice
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信巴黎）；Ecole Nationale de la Statistique et de l’Analyse de l’Information (ENSAI)（法国国立统计与信息分析学院）
虽然经典形式的随机梯度下降算法以相同的方式处理不同的坐标，但开发了一个允许自适应（非均匀）坐标采样的框架，以利用数据中的结构。在非凸条件下，在零阶梯度估计的条件下，得到了几乎处处收敛性和非渐近界。在所提出的框架内，我们开发了一种算法，MUSKETEER，基于强化策略：在收集噪声梯度的信息后，它对最有希望的坐标进行采样（全部为一）;然后它沿着一个方向移动，产生目标的重要减少（全部为一）。模拟和实际数据的数值实验证实了MUSKETEER在大规模问题中的有效性。
2022-10-15 cs.LG stat.ML
Leverage Score Sampling for Tensor Product Matrices in Input Sparsity Time
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种输入稀疏时间采样算法，可以频谱近似的Gram矩阵对应的$q$倍列的$q$矩阵的张量积使用一个接近最佳的样本数，改善了所有以前已知的方法，聚$(q)$因素。此外，对于数据集的$q$折叠自张量的重要特殊情况，这是度$q$多项式核的特征矩阵，我们的方法的运行时间的前导项与输入数据集的大小成比例，并且不依赖于$q$。先前的技术要么在其运行时引起多边形$(q)$减速，要么以具有次优目标维度为代价去除对$q$的依赖性，并且在其运行时二次依赖于数据点的数量。我们的采样技术依赖于$q$部分相关的随机投影的集合，其可以在仅取决于$X$的大小的总时间中同时应用于数据集$X$，并且同时它们的$q$倍克罗内克积充当$X^{\otimes q}$的列跨度中的任何固定向量的近等距。我们还表明，我们的采样方法推广到其他类别的内核超出多项式，如高斯和神经切线核。
2022-06-24 cs.DS cs.LG
Score-Based Diffusion meets Annealed Importance Sampling
DeepMind（深度思维）
退火重要性抽样（Annealed Importance Sampling，AIS）在提出二十多年后，仍然是最有效的边缘似然估计方法之一。它依赖于一系列的分布之间的一个听话的初始分布和目标分布的兴趣，我们模拟从近似使用非齐次马尔可夫链。为了获得边缘似然的重要性抽样估计，AIS引入扩展的目标分布来重新加权马尔可夫链建议。虽然已经投入了大量的努力来改善AIS所使用的建议分布，但一个未被充分认识的问题是AIS使用了方便但次优的扩展目标分布。在这里，我们利用最近的进展，基于分数的生成建模（SGM）近似的最佳扩展目标分布最小化的方差的边缘似然估计AIS建议对应的离散化的朗之万和汉密尔顿动力学。我们证明了这些新的，可微的，AIS程序的一些合成基准分布和变分自动编码器。
2022-10-24 cs.LG stat.ML
Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation
Wenzhou University（温州大学）
针对大规模网络时延估计计算开销大的问题，提出融合改进张量杠杆率采样、CSVD-QR、L_{2,1} 范数与张量 QR 分解 ADMM 的张量补全方法，在保持精度的同时显著提升速度。
2023-06-27 cs.LG cs.NA cs.NI
Efficient Numerical Integration in Reproducing Kernel Hilbert Spaces via Leverage Scores Sampling
Istituto Italiano di Tecnologia（意大利技术研究院）
针对仅能通过观测访问目标分布的RKHS数值积分问题，提出基于均匀或近似杠杆得分的小子采样方法，证明其能达到最优收敛速率并大幅降低计算成本，可应用于核均值嵌入、最大平均差异计算及核检验。
2025-06-16 cs.LG cs.NA math.NA
Asymptotic Analysis of Sampling Estimators for Randomized Numerical Linear Algebra Algorithms
The University of Georgia（佐治亚大学）；University of California at San Diego（加利福尼亚大学圣地亚哥分校）；Harvard University（哈佛大学）；Central University of Finance and Economics（中央财经大学）；International Computer Science Institute（国际计算机科学研究所）；University of California at Berkeley（加利福尼亚大学伯克利分校）
随机数值线性代数（RandNLA）算法在过去几年中的统计分析主要集中在它们作为点估计的性能。然而，这不足以进行统计推断，例如，构造置信区间和假设检验，因为缺乏估计量的分布。在这篇文章中，我们开发了一个渐近分析，以获得分布的RandNLA抽样估计的最小二乘问题。特别地，我们得到了任意抽样概率下一般抽样估计量的渐近分布。分析是在两个互补的环境中进行的，即，当感兴趣的目标是近似全样本估计器或者是推断潜在的地面实况模型参数时。对于每一种设置，我们表明，抽样估计是渐近正态分布在温和的正则性条件下。此外，在这两种情况下，抽样估计量是渐近无偏的。基于我们的渐近分析，我们使用两个标准，渐近均方误差（AMSE）和预期渐近均方误差（EAMSE），以确定最佳的抽样概率。这些最佳抽样概率分布中的几个对于文献是新的，例如，根杠杆抽样估计器和预测器长度抽样估计器。我们的理论结果澄清了杠杆在抽样过程中的作用，我们的实证结果表明，现有的方法的改进。
2020-02-24 cs.LG math.ST stat.ML
Generative diffusion posterior sampling for informative likelihoods
Division of Statistics and Machine Learning（统计与机器学习系）
本文提出一种新的扩散后验SMC采样器，通过构建与扩散模型相关的观测路径来提升异常值和高信息量似然条件下的采样统计效率。
2025-08-22 cs.LG cs.SY eess.SY
Distributed Sketching Methods for Privacy Preserving Regression
Stanford University（斯坦福大学）
在这项工作中，我们研究了大规模回归问题的分布式草图绘制方法。我们利用多个随机草图，减少问题的尺寸，以及保护隐私和提高离散弹性异步分布式系统。我们得到新的近似保证经典的草图绘制方法和分析的精度分布草图的参数平均。我们考虑的随机矩阵，包括高斯，随机Hadamard，均匀抽样和杠杆分数抽样分布设置。此外，我们提出了一个混合的方法相结合的采样和快速随机投影更好的计算效率。我们说明了分布式草图的性能在无服务器计算平台与大规模的实验。
2020-06-20 cs.CR cs.DC cs.LG
Context-aware surrogate modeling for balancing approximation and sampling costs in multi-fidelity importance sampling and Bayesian inverse problems
New York University（纽约大学）
多保真度方法利用低成本的代理模型来加速计算，并偶尔求助于昂贵的高保真模型来建立准确性保证。由于替代模型和高保真模型一起使用，因此替代模型的不良预测可以通过频繁求助于高保真模型来补偿。因此，在投资计算资源以提高代理模型的准确性与简单地更频繁地求助于昂贵的高保真模型之间存在权衡;然而，这种权衡被传统建模方法所忽略，传统建模方法构建的代理模型旨在取代高保真模型，而不是与高保真模型一起使用。这项工作认为，多保真度的重要性采样和理论和计算权衡增加替代模型的保真度，以构建更准确的偏置密度和样本的数量，需要从高保真模型，以补偿穷人的偏置密度。数值例子表明，这样的上下文感知的代理模型的多保真度的重要性采样具有较低的保真度比通常被设置为传统的模型约简中的容限，导致运行时加速高达一个数量级的数量级在所提出的例子。
2021-09-12 cs.LG cs.NA math.NA
Targeted Image Reconstruction by Sampling Pre-trained Diffusion Model
Lehigh University（理海大学）
经训练的神经网络模型包含关于训练数据的信息。给定这样的模型，恶意方可以利用该模型中的“知识”，并设计方法来打印出任何可用的信息（称为模型反演攻击）。因此，探讨如何进行这种攻击并证明其严重性是有价值的。在这项工作中，我们提出了通过使用预先训练的扩散模型来生成目标类的数据点的方法，而无需确切的目标分布的先验知识。
2023-01-18 cs.AI cs.CR cs.LG
Briding Diffusion Posterior Sampling and Monte Carlo methods: a survey
Institute of Foundation Models Paris, MBZUAI（基础模型研究所巴黎，MBZUAI）；KTH Royal Institute of Technology（皇家理工学院）；Ecole polytechnique（巴黎高等理工学院）；MBZUAI
本综述系统梳理了利用预训练扩散模型与蒙特卡洛方法结合，通过扭曲机制引导采样以求解贝叶斯逆问题而无需额外训练的方法。
2025-10-15 cs.LG
Ridge Leverage Score Sampling for $\ell_p$ Subspace Approximation
Carnegie Mellon University（卡内基梅隆大学）；The Voleon Group（沃利安集团）
本文提出基于根岭杠杆得分采样的算法，构建了适用于 $\ell_p$ 子空间近似的强核心集，在 $k$ 和 $\epsilon$ 依赖性上取得改进，并导出了首个几乎最优的在线强核心集。
2025-04-03 cs.DS cs.LG
FedGrAINS: Personalized SubGraph Federated Learning with Adaptive Neighbor Sampling
University of Southern California（南加州大学）；Emory University（埃默里大学）；University of Birmingham（伯明翰大学）
本文提出FedGrAINS，一种基于生成流网络的自适应邻居采样正则化方法，用于解决个性化子图联邦学习中的客户端异质性挑战，实验证明其能持续提升联邦学习性能。
2025-01-23 cs.AI cs.DC cs.IR
Total Variation Guarantees for Sampling with Stochastic Localization
Weierstrass Institute Berlin（柏林魏尔斯特拉斯研究所）
本文提出通过总变分距离保证SLIPS算法的收敛性，证明其在最小假设下所需步骤数与维度线性相关，揭示了离散化点选择的理论依据。
2026-03-31 cs.LG math.PR
Randomized Algorithms for Symmetric Nonnegative Matrix Factorization
School of Computational Science and Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；Dept. of Computer Science, Wake Forest University（维克森林大学计算机科学系）
针对对称非负矩阵分解（SymNMF）的效率问题，提出两种随机算法：基于随机矩阵草图的初始近似算法和基于随机杠杆得分采样的约束最小二乘求解算法，理论证明其有效性并通过图聚类实验验证，实现解质量近似保持与显著加速。
2024-11-28 cs.LG cs.NA math.NA
Privacy Amplification Via Bernoulli Sampling
UC San Diego（加州大学圣迭戈分校）
平衡隐私和准确性是设计差异隐私机器学习算法的主要挑战。一种免费改善这种权衡的方法是利用已经使用随机性的常见数据操作中的噪声。这样的操作包括噪声SGD和数据子采样。这些操作中的额外噪声可能会放大整个算法的隐私保证，这种现象称为隐私放大。在本文中，我们分析了隐私放大的抽样从多维伯努利分布族给定的参数，从一个私人的算法。这种设置可应用于贝叶斯推理和数据压缩。我们提供了一个算法来计算放大因子，我们建立上界和下界这个因素。
2021-10-18 cs.CR cs.IT cs.LG
Less Data, Faster Training: repeating smaller datasets speeds up learning via sampling biases
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；Harvard University（哈佛大学）
研究探讨了'小数据与大数据差距'现象，即使用更少样本重复训练比使用更大数据集更节省计算资源，通过层间增长和采样偏差机制实现加速，为优化提供了新的归纳偏差。
2026-09-07 cs.AI cs.LG
MSR-NV: Neural Vocoder Using Multiple Sampling Rates
rinna Co., Ltd.（Rinna株式会社）
神经声码器（NVs）的发展导致了高质量和快速生成波形。然而，常规NV以单个采样率为目标，并且在应用于不同采样率时需要重新训练。由于语音质量和生成速度之间的权衡，合适的采样率因应用而异。在这项研究中，我们提出了一种方法来处理多个采样率在一个单一的NV，称为MSR-NV。通过从低采样率开始逐步生成波形，MSR-NV可以有效地学习每个频段的特性，并以多个采样率合成高质量的语音。它可以被看作是以前提出的NVs的扩展，在这项研究中，我们扩展了并行WaveGAN（PWG）的结构。实验结果表明，该方法在不增加推理时间的前提下，显著提高了在16、24和48 kHz下训练的PWG的主观质量。我们还表明，MSR-NV可以利用语音与较低的采样率，以进一步提高合成语音的质量。
2022-06-24 cs.LG cs.SD eess.AS
MEET: A Monte Carlo Exploration-Exploitation Trade-off for Buffer Sampling
Infineon Technologies AG（英飞凌科技股份公司）；Technical University of Munich（慕尼黑工业大学）；Johannes Kepler University Linz（约翰开普勒林茨大学）；University of Michigan（密歇根大学）
本文提出了一种基于蒙特卡洛探索-利用权衡的经验回放缓冲区采样策略MEET，通过Q值不确定性估计指导采样，在密集奖励环境中收敛性和峰值性能平均提升26%。
2023-04-17 cs.AI cs.LG
High-Throughput SAT Sampling
University of California, Berkeley（加利福尼亚大学伯克利分校）；NVIDIA（英伟达公司）
提出一种GPU加速布尔可满足性（SAT）采样新技术，将CNF分解为简化布尔函数，通过梯度优化引导搜索，实现并行学习，在60个基准实例上较启发式采样器提速33.6-523.6倍。
2025-02-12 cs.AI cs.LG
Prior-aware and Context-guided Group Sampling for Active Probabilistic Subsampling
Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea（人工智能系，韩国大学，首尔，大韩民国）
研究针对主动概率子采样方法不足，提出先验感知和上下文引导分组主动DPS（PGA-DPS），整合先验信息采样模式与基于组的top-k采样，经理论分析和实证验证，在多任务中表现优于其他方法。
2026-07-09 cs.LG cs.SY eess.SY
