Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University（浙江大学）；Rutgers University（罗格斯大学）；Shanghai Jiao Tong University（上海交通大学）
低秩矩阵完备化是一个重要的问题，有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时，现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想，在最近的几项工作中提出的，我们的主要贡献是一个实用的方法来计算加权矩阵，使杠杆得分加权后变得更加均匀。在适当的条件下，我们能够推导出理论结果，表明我们的方法的有效性。在合成数据上的实验表明，该方法能够以高精度恢复高度相干的矩阵，而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
Binary Hypothesis Testing for Softmax Models and Leverage Score Models
Institute for Advanced Study（高等研究院）；University of California Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
本文将LLM中的注意力单元抽象为softmax模型，研究其二元假设检验问题，证明样本复杂度渐近为$O(ε^{-2})$，并将该分析方法类比推广至线性代数中的leverage score模型，获得相似结论。
2025-05-30 cs.LG stat.ML
On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees
Texas A&M University（得克萨斯农工大学）；HRL Laboratories, LLC.（HRL实验室有限责任公司）
随机特征为大规模核近似和监督学习提供了一个实用的框架。已经表明，使用杠杆分数的随机特征的数据相关采样可以显着减少实现最佳学习边界所需的特征数量。杠杆分数引入了基于无限维积分算子（取决于输入分布）的优化特征分布，这是不切实际的采样。在本文中，专注于经验杠杆分数，我们建立了一个样本外的性能界，揭示了一个有趣的权衡近似内核和另一个内核的特征值衰减的随机特征定义的基础上，数据分布的域。我们的实验验证了经验算法始终优于香草蒙特卡罗采样，并且通过微小的修改，该方法甚至可以与监督数据依赖的内核学习竞争，而无需使用输出（标签）信息。
2019-03-20 cs.AI cs.LG stat.ML
SALSA: Sequential Approximate Leverage-Score Algorithm with Application in Analyzing Big Time Series Data
Johns Hopkins University（约翰斯·霍普金斯大学）；International Computer Science Institute（国际计算机科学研究所）；University of Newcastle（纽卡斯尔大学）；Deakin University（迪肯大学）；University of Queensland（昆士兰大学）；University of California at Berkeley（加利福尼亚大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出高效序列近似杠杆得分算法SALSA，利用随机数值线性代数方法提升计算复杂度与精度，并据此开发LSARMA算法以高效拟合大规模时间序列ARMA模型，在大数据场景下显著优于现有方法。
2023-12-30 cs.LG stat.ML
Continual Learning via Online Leverage Score Sampling
Neuri
为了模仿人类在各种任务中持续获取和转移知识的能力，学习系统需要持续学习的能力，有效地利用先前获得的技能。因此，关键的挑战是将从一项任务中学到的知识转移和概括到其他任务中，避免遗忘和干扰以前的知识，并提高整体绩效。在本文中，在持续学习范式，我们介绍了一种方法，有效地忘记了不太有用的数据样本连续，并允许有益的信息，以保持后续任务的训练，在网上的方式。该方法使用统计杠杆得分信息来衡量数据样本在每个任务中的重要性，并采用频繁方向方法来实现持续或终身学习特性。这有效地在所有任务中保持恒定的训练规模。我们首先提供了数学直观的方法，然后证明其有效性，在避免灾难性遗忘和计算效率的持续学习的分类任务时，与现有的最先进的技术相比。
2019-08-01 cs.LG stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nyström近似是一种快速随机化方法，通过对目标函数中出现的n乘n经验核矩阵进行子采样，快速解决核岭回归（KRR）问题。然而，这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数，这可能与求解原始KRR一样昂贵。在这项工作中，我们提出了一个线性时间（模poly-log项）算法，以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地，通过分析KRR目标的一阶条件，我们推导出一个解析公式，该公式取决于输入分布和平稳核的谱密度，用于捕获统计杠杆分数的非均匀性。数值实验表明，在相同的预测精度，我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Inverting the Leverage Score Gradient: An Efficient Approximate Newton Method
Fuzhou University（福州大学）；Adobe Research（奥多比研究院）；Wuhan University（武汉大学）；Boston University（波士顿大学）
本文提出一种基于子采样杠杆分数分布的近似牛顿迭代算法，用于高效反转杠杆分数梯度，恢复模型参数，显著降低计算复杂度，兼顾数据隐私与对抗安全。
2024-08-21 cs.LG
Leverage Score Sampling for Faster Accelerated Regression and ERM
Computer Science, Princeton University（普林斯顿大学计算机科学系）；University of Washington, Seattle（华盛顿大学西雅图分校）；Microsoft Research, India（微软研究院印度）；Stanford University（斯坦福大学）
给定一个矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$和一个向量$b \in\mathbb{R}^{d}$，我们展示了如何计算一个$ε$ -近似解的回归问题$ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $在时间$ \tilde{O} ((n+\sqrt{d\cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1}) $，其中$κ_{\text{sum}}=\mathrm{tr}\left(\mathbf{A}^{\top}\mathbf{A}\right)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$和$s$是最大数量的非零条目中的一行$\mathbf{A}$。我们的算法改进了以前的最佳运行时间的$ \tilde{O} ((n+\sqrt{n \cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1})$。我们通过杠杆分数抽样技术，近点方法和加速坐标下降的精心组合来实现我们的结果。我们的方法不仅匹配以前的方法的性能，但进一步提高时，杠杆分数的行是小的（多对数因子）。我们还提供了一个非线性推广这些结果，提高了运行时间解决更广泛的一类ERM问题。
2017-11-22 cs.LG math.OC stat.ML
An Empirical Evaluation of Sketched SVD and its Application to Leverage Score Ordering
Carnegie Mellon University（卡内基梅隆大学）
数值方法中的随机算法的强大功能已经导致了使用奇异值分解（SVD）作为核心例程的快速解决方案。然而，考虑到modern的数据量很大，而SVD的运行时间很短，大多数实际算法在运行SVD时都需要某种形式的近似，比如草图。虽然这些近似方法满足许多理论保证，我们提供了第一个算法实现草图和解决SVD问题的真实世界，大规模的数据集。我们对这些算法进行了全面的实证评估，并提供了如何确保准确部署到真实世界数据的指导方针。作为草图SVD的一个应用，我们提出了草图杠杆分数排序，一种用于确定神经网络训练中数据排序的技术。我们的技术是基于使用随机预测的杠杆分数的分布式计算。这些计算的杠杆分数提供了一种灵活且有效的方法来确定训练数据的最佳排序，而无需人工干预或注释。我们提出了一个广泛的实验横跨图像分类，语言情感分析，多模态情感分析的实证结果。我们的方法是更快的标准随机投影算法相比，并显示出改进的收敛性和结果。
2018-12-19 cs.AI cs.DS cs.LG
Generalized Leverage Scores: Geometric Interpretation and Applications
Queen Mary University of London（伦敦玛丽女王大学）；Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
在涉及矩阵计算的问题中，杠杆的概念有大量的应用。特别是，杠杆分数，它将矩阵的列与其前导奇异向量所跨越的子空间相关联，有助于揭示列子集以近似分解具有质量保证的矩阵。因此，它们为各种机器学习方法提供了坚实的基础。在本文中，我们扩展了杠杆分数的定义，将矩阵的列与奇异向量的任意子集相关联。我们建立了一个精确的列和奇异向量子集之间的连接，通过关联的杠杆分数和子空间之间的主要角度的概念。我们采用这个结果来设计近似算法与可证明的保证两个著名的问题：广义列子集选择和稀疏典型相关分析。我们运行数值实验，以提供进一步的见解所提出的方法。新的界限，我们得到提高我们的理解矩阵近似的基本概念。此外，我们的见解可以作为进一步贡献的基石。
2022-06-16 cs.DS cs.LG
Estimating leverage scores via rank revealing methods and randomization
IBM Research Zurich（IBM苏黎世研究院）；University of Patras（帕特雷大学）
我们研究算法估计的统计杠杆得分的矩形稠密或稀疏矩阵的任意秩。我们的方法是基于结合排名揭示方法与密集和稀疏随机降维变换的组合物。我们首先开发了一套快速的新算法的秩估计，列子集选择和最小二乘预处理。然后，我们描述了杠杆分数估计器的设计和实现基于这些原语。这些估计器对于排名不足的输入也是有效的，这在数据分析应用中经常发生。我们提供了详细的复杂性分析，以及有意义的近似边界和比较与国家的最先进的。我们进行了广泛的数值实验，以评估我们的算法，并说明其属性和性能使用合成和真实世界的数据集。
2021-05-23 cs.DS cs.LG cs.NA
Para-active learning
Microsoft Research（微软研究院）
训练样本并不是所有的信息都是一样的。主动学习策略利用这一观察结果，以大量减少需要标记的示例数量。我们利用相同的观察，建立一个通用的策略并行学习算法。这种策略是有效的，因为搜索信息丰富的例子是高度并行化的，因为我们表明，它的性能不会恶化时，筛选过程依赖于一个稍微过时的模型。并行主动学习对于训练具有非线性表示的非线性模型特别有吸引力，因为对于此类模型几乎没有实用的并行学习算法。我们报告的初步实验，使用内核支持向量机和SGD训练的神经网络。
2013-10-30 cs.LG stat.ML
How to Inverting the Leverage Score Distribution?
Huazhong Agricultural University（华中农业大学）；Adobe Research（奥多比研究中心）；JHU（约翰斯·霍普金斯大学）；Boston University（波士顿大学）；Alibaba Inc.（阿里巴巴集团）
本文提出并研究了“逆转杠杆分数”这一新问题，通过构建非凸优化模型并利用梯度和Hessian矩阵性质，提出具有全局收敛保证的一阶和二阶算法来恢复模型参数，为模型解释、数据恢复与安全研究开辟了新途径。
2024-04-21 cs.LG
Dissimilar Nodes Improve Graph Active Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在许多实际场景中，图嵌入算法的训练标签可能是昂贵的。主动学习（AL）算法非常有助于获得最有用的标签进行训练，同时将标签查询的总数保持在一定的预算之下。现有的主动图嵌入框架提出使用中心度分数、密度分数和熵分数来评估未标记节点的价值，并且已经被证明能够对图卷积网络的节点分类任务带来一些改进。然而，在评估未标记节点的重要性时，它没有考虑现有标记节点对未标记节点价值的影响。换句话说，给定相同的未标记节点，计算出的信息分数总是相同的，并且对标记节点集是不可知的。为了解决这个问题，在这项工作中，我们引入了3个基于差异的信息分数的主动学习：特征差异分数（FDS），结构差异分数（SDS），和嵌入差异分数（EDS）。我们发现，这三个分数能够考虑标记集对未标记候选值的影响，从而提高我们的AL性能。实验结果表明，新算法的分类准确率平均提高了2.1%，并且能够推广到不同的图神经网络结构。
2022-12-05 cs.AI cs.LG
Analysis of Nystrom method with sequential ridge leverage scores
SequeL team INRIA Lille - Nord Europe（INRIA里尔-北欧分部SequeL团队）
本文研究了大规模核岭回归问题中的顺序Nystrom方法，提出INK-ESTIMATE算法，通过增量计算岭杠杆分数估计，实现高效近似解。
2026-10-06 cs.LG stat.ML
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India（施乐印度研究中心）
我们考虑的问题，通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现，任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目，从而匹配所需的条目数的下限（在自由度方面），与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限，我们观察每个条目的概率与相应的行和列杠杆分数之和成比例，减去它们的乘积。我们表明，这种放宽抽样概率（与Chen et al，2014中的杠杆分数之和相反）可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al，2014获得的（最知名的）样本量，用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外，$(a)$非相干矩阵（具有受限的杠杆分数）和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样，经由核范数最小化，而无需先验地知道杠杆分数。在这种情况下，我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
Improved Active Learning via Dependent Leverage Score Sampling
New York University（纽约大学）
本文提出一种基于关键采样的非独立杠杆分数采样主动学习方法，通过增强空间覆盖在对抗噪声下将所需样本数最多减少50%，并给出线性函数和多项式回归的理论样本复杂度保证。
2024-05-04 cs.LG
Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling
Google Research（谷歌研究院）；Georgia Tech（佐治亚理工学院）
低秩张量分解推广了低秩矩阵近似，是发现高维数据中低维结构的有力技术。在本文中，我们研究了塔克分解，并使用随机数值线性代数的工具，称为岭杠杆分数，以加速核心张量更新步骤中广泛使用的交替最小二乘（ALS）算法。更新核心张量是ALS中的一个严重瓶颈，是一个高度结构化的岭回归问题，其中设计矩阵是因子矩阵的克罗内克积。我们展示了如何使用近似的岭杠杆分数来构造任何岭回归问题的草图实例，使得草图问题的解向量是原始实例的$(1+\varepsilon)$近似。此外，我们表明，经典的杠杆分数足以作为近似值，这使我们能够利用克罗内克结构并及时更新核心张量，这主要取决于秩和草图参数（即，在输入张量的大小上是次线性的）。我们还给出了脊杠杆分数的上限，因为行从设计矩阵中删除（例如，如果张量有丢失的条目），我们证明了我们的近似岭回归算法的有效性大，低秩塔克分解合成和真实世界的数据。
2021-07-22 cs.DS cs.LG math.ST
Active Sampling for Pairwise Comparisons via Approximate Message Passing and Information Gain Maximization
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
成对比较数据出现在许多领域的主观评估实验中，例如在图像和视频质量评估中。在这些实验中，观察者被要求在两种条件之间表达偏好。然而，许多成对比较协议需要大量的比较来推断准确的分数，当每次比较都是耗时的（例如视频）或昂贵的（例如医学成像）时，这可能是不可行的。这促使使用主动采样算法，该算法仅选择信息量最大的对进行比较。在本文中，我们提出了ASAP，主动采样算法的基础上近似消息传递和期望信息增益最大化。与大多数现有方法不同，这些方法依赖于后验分布的部分更新，我们能够执行完全更新，因此大大提高了推断分数的准确性。该算法依赖于三种技术来降低计算成本：基于近似消息传递的推断，信息增益的选择性评估，以及在一批中选择对，形成信息增益的逆的最小生成树。我们证明，真实的和合成数据，ASAP提供了最高的准确性推断分数相比，现有的方法。我们还提供了一个开源的GPU实现的ASAP的大规模实验。
2020-04-12 cs.LG stat.ML
Feedback Coding for Active Learning
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
主动机器学习中用于标记的示例的迭代选择在概念上类似于信息论中的反馈信道编码：在这两个任务中，目标都是在存在噪声的情况下寻求最小的动作序列来编码信息。虽然之前已经注意到这种高级别的重叠，但如何最好地将主动学习作为一种通信系统来利用反馈编码中的现有分析和算法，仍然存在一些悬而未决的问题。在这项工作中，我们正式确定和利用这两个问题之间的结构共性，包括编码器和噪声通道组件的特性，设计一个新的算法。具体而言，我们开发了一个最佳的基于运输的反馈编码方案称为近似后验匹配（APM）的任务，积极的例子选择和探索其应用贝叶斯逻辑斯谛回归，一个流行的模型在主动学习。我们在各种数据集上评估了APM，并以更低的计算成本展示了与现有主动学习方法相当的学习性能。这些结果表明，直接部署的反馈信道编码的概念，设计有效的主动学习策略的潜力。
2021-02-28 cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University（隆德大学）；University of Freiburg（弗莱堡大学）；Stanford University（斯坦福大学）；DBtune
提出SAL和SCoreBO两种采集函数，通过贝叶斯主动学习优化高斯过程超参数，在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Geometric Data Valuation via Leverage Scores
Isotropic
针对Shapley数据估值在大规模计算时不可行的问题，提出基于统计杠杆分数的几何替代方案，证明其满足公理且能保证模型性能，并在主动学习实验中优于基线。
2025-11-03 cs.AI cs.LG cs.NA
Turnstile $\ell_p$ leverage score sampling with applications
Dortmund Data Science Center（多特蒙德数据科学中心）；Faculties of Statistics and Computer Science, TU Dortmund University（多特蒙德工业大学统计与计算机科学学院）；Lamarr-Institute for Machine Learning and Artificial Intelligence, TU Dortmund University（多特蒙德工业大学拉马尔机器学习与人工智能研究所）
针对转门数据流模型，提出一种新颖的$\ell_p$范数行采样算法，扩展至$\ell_p$ leverage score采样，使coresets子采样构造能低开销运行，并在logistic regression上实现首个$(1+\varepsilon)$近似。
2024-06-01 cs.DS cs.LG stat.ML
Active Adaptive Experimental Design for Treatment Effect Estimation with Covariate Choices
Mizuho-DL Financial Technology Co., Ltd.（瑞穗数字金融科技有限公司）
针对平均处理效应估计，本文提出在自适应实验中同时优化协变量密度与倾向得分，并构造达到最小半参数效率界的估计量。
2024-06-18 cs.LG econ.EM stat.ME
Importance Sampling for Nonlinear Models
University of Queensland（昆士兰大学）
该研究针对非线性模型缺乏重要数据点识别工具的问题，引入非线性映射伴随算子概念，将范数和杠杆得分重要性采样推广到非线性场景，兼具理论支撑与实验验证，可提升训练效率并助力可解释性和异常检测。
2025-05-18 cs.AI cs.LG stat.ML
Provably Accurate Shapley Value Estimation via Leverage Score Sampling
New York University（纽约大学）
本文提出Leverage SHAP，通过杠杆分数采样将Shapley值估计与主动学习结合，仅需O(n log n)次模型评估即可获得可证明准确的估计，并实验证明其优于Kernel SHAP。
2026-10-12 cs.AI cs.LG
John Ellipsoids via Lazy Updates
Carnegie Mellon University（卡内基梅隆大学）
本文提出通过采样延迟高精度杠杆分数计算并结合快速矩形矩阵乘法，加速 d 维 n 点近似约翰椭球的构造，同时给出低空间流式算法。
2025-01-03 cs.DS cs.LG
Fourier Sparse Leverage Scores and Approximate Kernel Learning
Texas A&M University（德克萨斯农工大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；New York University（纽约大学）
我们证明了新的明确的上界的杠杆分数的傅立叶稀疏函数下的高斯和拉普拉斯措施。特别是，我们研究$s$ -稀疏函数的形式$f(x) = \sum_{j=1}^s a_j e^{i λ_j x}$的系数$a_j \in \mathbb{C}$和频率$λ_j \in \mathbb{R}$。在各种度量下的傅立叶稀疏杠杆分数在近似理论中具有纯数学意义，我们的工作扩展了统一度量的现有结果[Erd 17，CP 19 a]。实际上，我们的边界是由两个重要的应用在机器学习的动机：1。核近似他们产生一个新的随机傅立叶特征算法近似高斯和柯西（有理二次）核矩阵。对于低维数据，我们的方法使用一个接近最佳数量的功能，其运行时间是多项式的近似核矩阵的$statistical\ dimension$。这是第一个“不经意的素描方法”，除了多项式核之外，任何核都具有此属性，解决了[AKM+17，AKK+20 b]的公开问题。2.主动学习。当数据服从高斯或拉普拉斯分布时，它们可以用作鲁棒主动学习的非均匀采样分布。使用[AKM+19]的框架，我们为带限和多带插值以及高斯过程回归提供了基本上最优的结果。这些结果推广了现有的工作，只适用于均匀分布的数据。
2021-07-08 cs.DS cs.LG math.CA
Input Sparsity Time Low-Rank Approximation via Ridge Leverage Score Sampling
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个新的算法，寻找一个接近最佳的低秩近似矩阵$A$在$O(nnz(A))$时间。我们的方法是基于一个递归的抽样计划计算的一个代表性子集的$A$的列，然后用它来找到一个低秩近似。这种方法与现有的$O(nnz(A))$时间算法有很大不同，这些算法都是基于快速Johnson-Lindenstrauss随机投影的。它与这些方法的保证相匹配，同时提供许多优点。采样算法不仅对稀疏和结构化数据更快，而且还可以应用于随机投影无法应用的环境中。例如，我们给出了新的单通道流算法的列子集选择和投影成本保持样本问题。我们的方法也被用来给出可证明近似核矩阵的最快算法[MM 16]。
2016-10-06 cs.DS cs.LG
Leveraged Matrix Completion with Noise
Nanjing University of Science and Technology（南京理工大学）；Wuhan University（武汉大学）；University of Sydney（悉尼大学）
本文提出利用杠杆分数刻画元素重要性并设计非均匀采样过程，在放宽非相干性和均匀观测假设的条件下，仅需约 $\mathcal{O}(nr\log^2 n)$ 个含噪条目即可可证明地恢复低秩矩阵。
2023-08-14 cs.LG stat.ML
Bayesian Estimate of Mean Proper Scores for Diversity-Enhanced Active Learning
Monash University（莫纳什大学）；VinUniversity（文大大学）
针对主动学习采集函数采样效率问题，提出BEMPS方法估计严格恰当分数提升量，配套多样性增强批量算法，结合深度集成等技术，在文本图像任务上性能优于现有方法。
2023-12-15 cs.CV cs.LG
Evaluating Zero-cost Active Learning for Object Detection
University of Applied Sciences（应用科学大学）；Hasty GmbH（Hasty有限责任公司）
目标检测需要大量的标记工作来学习鲁棒模型。主动学习可以通过智能地选择要注释的相关示例来减少这种努力。然而，正确地选择这些示例而不引入对泛化性能产生负面影响的采样偏差并不简单，并且大多数主动学习技术不能在真实世界的基准上保持其承诺。在我们的评估论文中，我们关注的是除了推理之外没有计算开销的主动学习技术，我们称之为零成本主动学习。特别是，我们表明，一个关键的成分不仅是分数的限界框水平，但也用于聚合的排名图像的分数的技术。我们概述了我们的实验设置，并讨论了使用主动学习进行目标检测时的实际考虑因素。
2022-12-08 cs.CV cs.LG
Fast approximation of matrix coherence and statistical leverage
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Stanford University（斯坦福大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
矩阵$A$的统计杠杆分数是包含其（顶部）左奇异向量的矩阵的平方行范数，并且相干性是最大的杠杆分数。这些数量感兴趣的最近流行的问题，如矩阵完成和Nyström为基础的低秩矩阵近似，以及在大规模的统计数据分析应用程序更普遍;此外，他们的兴趣，因为他们定义的关键结构的非均匀性，必须处理在开发快速随机矩阵算法。我们的主要结果是一个随机算法，作为输入的任意$n \times d$矩阵$A$，与$n \gg d$，并返回作为输出的相对误差近似所有$n$的统计杠杆分数。所提出的算法在$O(n d \log n)$时间内运行（在$n$和$d$的精确值的假设下），与涉及计算$A$范围的正交基的朴素算法所需的$O(nd^2)$时间相反。我们的分析可以看作是计算一个欠约束的最小二乘近似问题的相对误差近似，或者，相关地，它可以被看作是一个应用程序的约翰逊-林登施特劳斯类型的想法。我们的基本结果的几个实际重要的扩展也被描述，包括所谓的交叉杠杆分数的近似，这些想法的扩展矩阵与$n \approx d$，和扩展到流媒体环境。
2012-12-05 cs.DM cs.DS cs.LG
MLIP Detective: Active Failure Mode Discovery Beyond Benchmark Scores for Machine-Learning Interatomic Potentials
Preferred Networks
本文提出MLIP Detective智能体框架，通过物理信息搜索主动发现机器学习原子间势的隐藏失效模式，并在MACE-MPA-0中识别出吸附物-表面体系能量异常及其训练数据来源。
2026-09-09 cond-mat.mtrl-sci cs.LG physics.chem-ph
Gradient Coding with Iterative Block Leverage Score Sampling
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
本文提出一种迭代块杠杆分数采样方法，将随机数值线性代数与近似编码计算统一，用于分布式线性回归，以应对掉队节点故障，并通过均匀采样和加权实现高效近似求解。
2024-06-25 cs.DC cs.IR cs.IT
Efficient Numerical Integration in Reproducing Kernel Hilbert Spaces via Leverage Scores Sampling
Istituto Italiano di Tecnologia（意大利技术研究院）
针对仅能通过观测访问目标分布的RKHS数值积分问题，提出基于均匀或近似杠杆得分的小子采样方法，证明其能达到最优收敛速率并大幅降低计算成本，可应用于核均值嵌入、最大平均差异计算及核检验。
2025-06-16 cs.LG cs.NA math.NA
Diversity Enhanced Active Learning with Strictly Proper Scoring Rules
Monash University（莫纳什大学）
本文研究了文本分类中主动学习的获取函数。预期损失减少（ELR）方法侧重于分类错误减少的贝叶斯估计，最近更新了不确定性的平均客观成本（MOCU）。我们将ELR框架转换为估计（严格正确）分数的增加，如对数概率或负均方误差，我们称之为平均正确分数的贝叶斯估计（BEMPS）。我们还证明了与MOCU借用技术的收敛结果。为了让更好的实验与新的采集功能，我们开发了一个互补的批量AL算法，它鼓励多样性的向量的预期变化的分数为未标记的数据。为了实现高性能的文本分类器，我们在预训练的语言模型上结合了集成和动态验证集的构建。广泛的实验评估，然后探讨这些不同的采集功能如何执行。结果表明，使用均方误差和对数概率与BEMPS产生强大的捕获功能，始终优于其他测试。
2021-10-27 cs.AI cs.CL cs.LG
Targeted Review for AI-Assisted Biodiversity Surveys: Active Continuous-Score Occupancy Modeling
MIT（麻省理工学院）；Google Research（谷歌研究院）；The Institute for Bird Populations（鸟类种群研究所）
提出ACORN方法，将ML预测融入占用模型并定向选择样本供专家审查，在相机陷阱和生物声学数据上以更少审查恢复接近全人工标注的生态结论。
2026-09-23 cs.CE cs.LG
Learning in Unlabeled Networks - An Active Learning and Inference Approach
Bournemouth University（伯恩茅斯大学）
基于网络结构和节点的某个训练子集的标签的知识来确定所有网络节点的标签的任务被称为网络内分类。可能发生的是，节点的标签都是未知的，并且另外没有关于节点可以被分配到的类的数量的信息。在这种情况下，必须选择节点的子集用于初始标签获取。由此产生的问题是：“应该收集哪些节点的标签并用于学习，以便为整个网络提供最佳的分类精度？".主动学习和推理是研究这一问题的一个实用框架。提出并验证了一套网络内分类的主动学习和推理方法。基于网络结构的每个节点的效用得分计算是该过程中的第一步。分数使得能够对节点进行排名。基于排名，选择为其获取标签的一组节点（例如，通过从排名中取顶部或底部N）。本文提出的新的测量邻居方法建议不从排名中获得节点的标签，而是获取其邻居的标签。本文研究了29个不同的配方的效用分数和选择方法报告其影响的结果，两个集体分类算法：迭代分类算法和循环的信念传播。我们主张，所提出的方法的准确性取决于所检查的网络的结构特性。我们声称，测量邻居的方法将工作更好地比常规方法的网络具有较高的聚类系数和比常规方法的网络具有较低的聚类系数。根据我们的假设，基于聚类系数，我们能够推荐合适的主动学习和推理方法。
2015-10-05 cs.LG cs.SI stat.ML
Leverage Score Sampling for Tensor Product Matrices in Input Sparsity Time
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种输入稀疏时间采样算法，可以频谱近似的Gram矩阵对应的$q$倍列的$q$矩阵的张量积使用一个接近最佳的样本数，改善了所有以前已知的方法，聚$(q)$因素。此外，对于数据集的$q$折叠自张量的重要特殊情况，这是度$q$多项式核的特征矩阵，我们的方法的运行时间的前导项与输入数据集的大小成比例，并且不依赖于$q$。先前的技术要么在其运行时引起多边形$(q)$减速，要么以具有次优目标维度为代价去除对$q$的依赖性，并且在其运行时二次依赖于数据点的数量。我们的采样技术依赖于$q$部分相关的随机投影的集合，其可以在仅取决于$X$的大小的总时间中同时应用于数据集$X$，并且同时它们的$q$倍克罗内克积充当$X^{\otimes q}$的列跨度中的任何固定向量的近等距。我们还表明，我们的采样方法推广到其他类别的内核超出多项式，如高斯和神经切线核。
2022-06-24 cs.DS cs.LG
Generative Flow Networks for Precise Reward-Oriented Active Learning on Graphs
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）
提出 GFlowGNN，将图主动学习建模为生成流过程，通过流节点、流特征和奖励驱动的策略网络实现与奖励成比例的采样，提升探索与迁移性能。
2023-04-24 cs.LG
Fire-EnSF: Wildfire Spread Data Assimilation using Ensemble Score Filter
H. Milton Stewart School of Industrial and Systems Engineering（H. Milton Stewart工业与系统工程学院）；School of Earth and Atmospheric Sciences（地球与大气科学学院）；Georgia Institute of Technology（佐治亚理工学院）
本文研究将基于扩散模型的 Ensemble Score Filter（EnSF）用于实时野火蔓延的数据同化，并通过数值实验验证其在精度、稳定性和计算效率上的优势。
2025-10-10 cs.CE cs.LG stat.AP
An effective potential for generative modelling with active matter
School of Mathematical Sciences, Queen Mary University of London（伦敦女王学院数学科学学院）
本研究提出一种基于有限关联时间活性粒子过程的生成扩散模型实现方法，通过施加含时有效势实现时间反转，经数值实验验证有效，为活性系统涨落用于生成式AI开辟新路径。
2025-09-02 cond-mat.soft cond-mat.stat-mech cs.LG
Agnostic Active Learning of Single Index Models with Linear Sample Complexity
New York University（纽约大学）；Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）
针对单指标模型的不可知主动学习需求，提出基于统计杠杆得分采样的方法，在f已知和未知的Lipschitz场景下均实现$\tilde{O}(d)$的线性样本复杂度，较现有结果有二次方级提升。
2024-07-09 cs.LG
MF-LAL: Drug Compound Generation Using Multi-Fidelity Latent Space Active Learning
Department of Computer Science and Engineering（计算机科学与工程系）；Department of Chemistry and Biochemistry（化学与生物化学系）；Skaggs School of Pharmacy and Pharmaceutical Sciences（斯卡格斯药学与药学科学学校）
本文提出MF-LAL框架，通过主动学习联合训练生成模型与多保真度代理模型，融合不同成本和准确性的活性预言机，在两种疾病相关蛋白上使结合自由能分数平均提升约50%。
2025-06-09 cs.LG q-bio.QM
To Be Multimodal or Not to Be: Query-Adaptive Audio-Visual Person Retrieval via Active Modality Detection
University of Cambridge（剑桥大学）；Queen's University Belfast（贝尔法斯特女王大学）；University of Surrey（萨里大学）；Cisco（思科）；Southwest Jiaotong University（西南交通大学）；Teesside University（泰赛德大学）
提出一种查询自适应框架，通过跨模态分数一致性检测主动模态，在BBC Rewind语料库上达到94.2%的P@1，优于单模态和固定融合方法。
2026-06-04 cs.AI cs.CL cs.CV
Identifying Influential Entries in a Matrix
本文提出一种概率分布，用于识别矩阵中最关键的条目，并通过理论证明在采样少量条目后可精确重建矩阵，且无需假设矩阵的无相干性。
2013-12-14 cs.LG cs.NA math.NA
Beyond Averaging in John Ellipsoid Approximation: High-Accuracy Algorithms in the Leverage-Score Model
University of New South Wales（新南威尔士大学）；University of California, Berkeley（加州大学伯克利分校）；University of Sydney（悉尼大学）
本文分离了John椭球逼近算法中的认证、识别和精度三种成本，证明精度依赖仅为双对数，并提出了加速方法和阻尼牛顿法，在杠杆分数模型中实现了高精度逼近。
2026-06-19 cs.DS cs.LG math.OC
AvAtar: Learning to Align via Active Optimal Transport
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Florida（佛罗里达大学）；Arizona State University（亚利桑那州立大学）
提出AvAtar框架，利用主动学习策略通过熵正则化最优输运的梯度影响量化候选点信息量，并采用伴随状态法高效求解，以提升对齐性能。
2026-07-16 cs.LG
Low-Shot Validation: Active Importance Sampling for Estimating Classifier Performance on Rare Categories
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；Argo AI
对于用有限的标记训练数据训练的机器学习模型，验证将成为降低整体注释成本的主要瓶颈。我们提出了一种统计验证算法，可以准确估计稀有类别的二进制分类器的F分数，其中找到相关的例子进行评估是特别具有挑战性的。我们的关键见解是，即使在低样本状态（< 300个样本）下，同步校准和重要性采样也能实现准确的估计。重要的是，我们还推导出了我们方法方差的准确单次试验估计量，并证明了该估计量在低样本数下凭经验是准确的，使从业者能够知道他们可以信任给定的低样本估计值。在ImageNet和iNaturalist 2017上验证最先进的半监督模型时，我们的方法实现了相同的模型性能估计，标签数量比竞争方法少10倍。特别是，我们可以使用少至100个标签来估计方差为0.005的模型F1得分。
2021-09-13 cs.CV cs.LG
Ridge Leverage Score Sampling for $\ell_p$ Subspace Approximation
Carnegie Mellon University（卡内基梅隆大学）；The Voleon Group（沃利安集团）
本文提出基于根岭杠杆得分采样的算法，构建了适用于 $\ell_p$ 子空间近似的强核心集，在 $k$ 和 $\epsilon$ 依赖性上取得改进，并导出了首个几乎最优的在线强核心集。
2025-04-03 cs.DS cs.LG
Deep learning probability flows and entropy production rates in active matter
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
本文提出基于生成模型的深度学习框架，利用空间局部transformer估计高维概率密度分数，从而计算活性物质的概率流、熵产生率及单粒子局部贡献，并在多达32768粒子的MIPS系统中验证可扩展性。
2024-06-17 cond-mat.soft cond-mat.stat-mech cs.LG
PowerEvaluationBALD: Efficient Evaluation-Oriented Deep (Bayesian) Active Learning with Stochastic Acquisition Functions
University of Oxford（牛津大学）；OATML；Department of Computer Science（计算机科学系）
我们开发了BatchEvaluationBALD，这是一种用于深度贝叶斯主动学习的新获取函数，作为BatchBALD的扩展，它考虑了未标记数据的评估集，例如池集。我们还为非贝叶斯设置开发了一个变体，我们称之为评估信息增益。为了减少计算要求，并允许这些方法扩展到更大的收购批量大小，我们引入随机收购功能，使用重要性采样的回火收购分数。我们将此方法称为PowerEvaluationBALD。我们在一些初步实验中表明，PowerEvaluationBALD与BatchEvaluationBALD的工作原理相当，后者在重复MNIST（MNISTx2）上的性能优于BatchBALD，同时与BatchBALD或BatchEvaluationBALD相比，大大降低了计算要求。
2021-05-10 cs.LG math.OC
Cold-start Active Learning through Self-supervised Language Modeling
University of Maryland（马里兰大学）；National Taiwan University（台湾大学）
主动学习通过选择最关键的示例进行标记来努力降低注释成本。通常，主动学习策略取决于分类模型。例如，不确定性抽样依赖于校准不良的模型置信度得分。在冷启动设置中，由于模型不稳定和数据稀缺，主动学习是不切实际的。幸运的是，现代NLP提供了额外的信息源：预先训练的语言模型。预训练损失可以找到令模型惊讶的例子，并且应该标记为有效的微调。因此，我们将语言建模损失视为分类不确定性的代理。使用BERT，我们开发了一个简单的策略，基于掩蔽语言建模损失，最大限度地减少标签成本的文本分类。与其他基线相比，我们的方法在更少的采样迭代和计算时间内达到更高的精度。
2020-10-22 cs.CL cs.LG
