Relating Leverage Scores and Density using Regularized Christoffel Functions
IRIT-AOC；Université Toulouse 3（图卢兹第三大学）；Paul Sabatier（保罗·萨巴蒂埃）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（PSL研究大学）；Google Brain（谷歌大脑）；CBIO Mines ParisTech（巴黎矿业学院计算生物学中心）
统计杠杆分数作为矩阵素描和列采样的基本工具出现，并应用于低秩近似、回归、随机特征学习和求积。然而，这个数量的本质几乎没有被理解。借用正交多项式文献的思想，我们引入了正则化的Christoffel函数与一个正定核。这揭示了一个变分制定的核方法的杠杆分数，并允许阐明它们与所选择的内核以及人口密度的关系。我们的主要结果定量地描述了一个广泛的一类核在欧几里得空间的杠杆分数和人口密度之间的关系递减。数值模拟支持了我们的发现。
2018-11-21 cs.LG stat.ML
Fast Low-Rank Tensor Decomposition by Ridge Leverage Score Sampling
Google Research（谷歌研究院）；Georgia Tech（佐治亚理工学院）
低秩张量分解推广了低秩矩阵近似，是发现高维数据中低维结构的有力技术。在本文中，我们研究了塔克分解，并使用随机数值线性代数的工具，称为岭杠杆分数，以加速核心张量更新步骤中广泛使用的交替最小二乘（ALS）算法。更新核心张量是ALS中的一个严重瓶颈，是一个高度结构化的岭回归问题，其中设计矩阵是因子矩阵的克罗内克积。我们展示了如何使用近似的岭杠杆分数来构造任何岭回归问题的草图实例，使得草图问题的解向量是原始实例的$(1+\varepsilon)$近似。此外，我们表明，经典的杠杆分数足以作为近似值，这使我们能够利用克罗内克结构并及时更新核心张量，这主要取决于秩和草图参数（即，在输入张量的大小上是次线性的）。我们还给出了脊杠杆分数的上限，因为行从设计矩阵中删除（例如，如果张量有丢失的条目），我们证明了我们的近似岭回归算法的有效性大，低秩塔克分解合成和真实世界的数据。
2021-07-22 cs.DS cs.LG math.ST
Inverting the Leverage Score Gradient: An Efficient Approximate Newton Method
Fuzhou University（福州大学）；Adobe Research（奥多比研究院）；Wuhan University（武汉大学）；Boston University（波士顿大学）
本文提出一种基于子采样杠杆分数分布的近似牛顿迭代算法，用于高效反转杠杆分数梯度，恢复模型参数，显著降低计算复杂度，兼顾数据隐私与对抗安全。
2024-08-21 cs.LG
An Empirical Evaluation of Sketched SVD and its Application to Leverage Score Ordering
Carnegie Mellon University（卡内基梅隆大学）
数值方法中的随机算法的强大功能已经导致了使用奇异值分解（SVD）作为核心例程的快速解决方案。然而，考虑到modern的数据量很大，而SVD的运行时间很短，大多数实际算法在运行SVD时都需要某种形式的近似，比如草图。虽然这些近似方法满足许多理论保证，我们提供了第一个算法实现草图和解决SVD问题的真实世界，大规模的数据集。我们对这些算法进行了全面的实证评估，并提供了如何确保准确部署到真实世界数据的指导方针。作为草图SVD的一个应用，我们提出了草图杠杆分数排序，一种用于确定神经网络训练中数据排序的技术。我们的技术是基于使用随机预测的杠杆分数的分布式计算。这些计算的杠杆分数提供了一种灵活且有效的方法来确定训练数据的最佳排序，而无需人工干预或注释。我们提出了一个广泛的实验横跨图像分类，语言情感分析，多模态情感分析的实证结果。我们的方法是更快的标准随机投影算法相比，并显示出改进的收敛性和结果。
2018-12-19 cs.AI cs.DS cs.LG
Active Learning Methods based on Statistical Leverage Scores
Bilkent University（比尔肯特大学）；Sabanci University（萨班哲大学）
在许多现实世界的机器学习应用中，未标记的数据是丰富的，而类标签是昂贵和稀缺的。主动学习器的目标是通过有效地选择有用的示例进行标记，以尽可能少的标记实例获得高精度的模型。我们提出了一个新的选择标准，这是基于统计杠杆分数，并提出了两个新的主动学习方法基于这个标准：ALEVS查询单个例子在每次迭代和DBALEVS查询一批的例子。为了评估池中示例的代表性，ALEVS和DBALEVS使用对每个类的示例计算的核矩阵的统计杠杆分数。此外，DBALEVS通过最大化使用统计杠杆分数和在示例池上计算的核矩阵定义的子模块集函数来选择具有高度代表性但与已经标记的示例不同的一组示例。集合评分函数的子模块属性使我们能够以有效的方式识别具有近似于最优批次的恒定因子的批次。我们在不同数据集上的实验表明，基于杠杆分数的查询是主动学习的一种强大策略。
2018-12-06 cs.LG stat.ML
On Sampling Random Features From Empirical Leverage Scores: Implementation and Theoretical Guarantees
Texas A&M University（得克萨斯农工大学）；HRL Laboratories, LLC.（HRL实验室有限责任公司）
随机特征为大规模核近似和监督学习提供了一个实用的框架。已经表明，使用杠杆分数的随机特征的数据相关采样可以显着减少实现最佳学习边界所需的特征数量。杠杆分数引入了基于无限维积分算子（取决于输入分布）的优化特征分布，这是不切实际的采样。在本文中，专注于经验杠杆分数，我们建立了一个样本外的性能界，揭示了一个有趣的权衡近似内核和另一个内核的特征值衰减的随机特征定义的基础上，数据分布的域。我们的实验验证了经验算法始终优于香草蒙特卡罗采样，并且通过微小的修改，该方法甚至可以与监督数据依赖的内核学习竞争，而无需使用输出（标签）信息。
2019-03-20 cs.AI cs.LG stat.ML
Estimating leverage scores via rank revealing methods and randomization
IBM Research Zurich（IBM苏黎世研究院）；University of Patras（帕特雷大学）
我们研究算法估计的统计杠杆得分的矩形稠密或稀疏矩阵的任意秩。我们的方法是基于结合排名揭示方法与密集和稀疏随机降维变换的组合物。我们首先开发了一套快速的新算法的秩估计，列子集选择和最小二乘预处理。然后，我们描述了杠杆分数估计器的设计和实现基于这些原语。这些估计器对于排名不足的输入也是有效的，这在数据分析应用中经常发生。我们提供了详细的复杂性分析，以及有意义的近似边界和比较与国家的最先进的。我们进行了广泛的数值实验，以评估我们的算法，并说明其属性和性能使用合成和真实世界的数据集。
2021-05-23 cs.DS cs.LG cs.NA
Fourier Sparse Leverage Scores and Approximate Kernel Learning
Texas A&M University（德克萨斯农工大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；New York University（纽约大学）
我们证明了新的明确的上界的杠杆分数的傅立叶稀疏函数下的高斯和拉普拉斯措施。特别是，我们研究$s$ -稀疏函数的形式$f(x) = \sum_{j=1}^s a_j e^{i λ_j x}$的系数$a_j \in \mathbb{C}$和频率$λ_j \in \mathbb{R}$。在各种度量下的傅立叶稀疏杠杆分数在近似理论中具有纯数学意义，我们的工作扩展了统一度量的现有结果[Erd 17，CP 19 a]。实际上，我们的边界是由两个重要的应用在机器学习的动机：1。核近似他们产生一个新的随机傅立叶特征算法近似高斯和柯西（有理二次）核矩阵。对于低维数据，我们的方法使用一个接近最佳数量的功能，其运行时间是多项式的近似核矩阵的$statistical\ dimension$。这是第一个“不经意的素描方法”，除了多项式核之外，任何核都具有此属性，解决了[AKM+17，AKK+20 b]的公开问题。2.主动学习。当数据服从高斯或拉普拉斯分布时，它们可以用作鲁棒主动学习的非均匀采样分布。使用[AKM+19]的框架，我们为带限和多带插值以及高斯过程回归提供了基本上最优的结果。这些结果推广了现有的工作，只适用于均匀分布的数据。
2021-07-08 cs.DS cs.LG math.CA
How to Inverting the Leverage Score Distribution?
Huazhong Agricultural University（华中农业大学）；Adobe Research（奥多比研究中心）；JHU（约翰斯·霍普金斯大学）；Boston University（波士顿大学）；Alibaba Inc.（阿里巴巴集团）
本文提出并研究了“逆转杠杆分数”这一新问题，通过构建非凸优化模型并利用梯度和Hessian矩阵性质，提出具有全局收敛保证的一阶和二阶算法来恢复模型参数，为模型解释、数据恢复与安全研究开辟了新途径。
2024-04-21 cs.LG
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nyström近似是一种快速随机化方法，通过对目标函数中出现的n乘n经验核矩阵进行子采样，快速解决核岭回归（KRR）问题。然而，这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数，这可能与求解原始KRR一样昂贵。在这项工作中，我们提出了一个线性时间（模poly-log项）算法，以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地，通过分析KRR目标的一阶条件，我们推导出一个解析公式，该公式取决于输入分布和平稳核的谱密度，用于捕获统计杠杆分数的非均匀性。数值实验表明，在相同的预测精度，我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
Leverage Score Sampling for Complete Mode Coverage in Generative Adversarial Networks
KU Leuven（鲁汶大学）；Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
通常，机器学习模型最小化经验期望。因此，经过训练的模型通常对大多数数据表现良好，但在数据集的密度较低的区域中性能可能会恶化。这个问题也出现在生成建模中。生成模型可能会忽略在经验数据分布中不太频繁的代表性不足的模式。这个问题被称为完全模式覆盖。我们提出了一种基于岭杠杆分数的采样过程，与标准方法相比，该方法显着提高了模式覆盖率，并且可以很容易地与任何GAN相结合。脊杠杆分数通过使用与GAN神经网络或预训练网络的倒数第二层相关联的显式特征图，或者通过使用与高斯核相对应的隐式特征图来计算。对最近的方法的完整模式覆盖的多个评价显示了明显的改善时，使用建议的采样策略。
2021-07-21 cs.LG stat.ML
Improved Active Learning via Dependent Leverage Score Sampling
New York University（纽约大学）
本文提出一种基于关键采样的非独立杠杆分数采样主动学习方法，通过增强空间覆盖在对抗噪声下将所需样本数最多减少50%，并给出线性函数和多项式回归的理论样本复杂度保证。
2024-05-04 cs.LG
Leverage Score Sampling for Tensor Product Matrices in Input Sparsity Time
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种输入稀疏时间采样算法，可以频谱近似的Gram矩阵对应的$q$倍列的$q$矩阵的张量积使用一个接近最佳的样本数，改善了所有以前已知的方法，聚$(q)$因素。此外，对于数据集的$q$折叠自张量的重要特殊情况，这是度$q$多项式核的特征矩阵，我们的方法的运行时间的前导项与输入数据集的大小成比例，并且不依赖于$q$。先前的技术要么在其运行时引起多边形$(q)$减速，要么以具有次优目标维度为代价去除对$q$的依赖性，并且在其运行时二次依赖于数据点的数量。我们的采样技术依赖于$q$部分相关的随机投影的集合，其可以在仅取决于$X$的大小的总时间中同时应用于数据集$X$，并且同时它们的$q$倍克罗内克积充当$X^{\otimes q}$的列跨度中的任何固定向量的近等距。我们还表明，我们的采样方法推广到其他类别的内核超出多项式，如高斯和神经切线核。
2022-06-24 cs.DS cs.LG
ALEVS: Active Learning by Statistical Leverage Sampling
Bilkent University（比尔肯大学）
与通过选择有效查询的被动学习相比，主动学习旨在通过使用更少的标签请求来获得高精度的分类器。在过去的二十年中，已经开发了许多主动学习方法，这些方法基于未标记数据点的信息性或代表性对查询进行采样。在这项工作中，我们探索了一种基于统计杠杆分数的新型查询标准。矩阵中的行的统计杠杆分数是包含其（顶部）左奇异向量的矩阵的平方行范数，并且是行对矩阵的影响的度量。杠杆分数已被用于检测回归诊断中的高影响力点，最近已被证明是有用的数据分析和随机低秩矩阵近似算法。我们探讨如何采样数据实例与高统计杠杆分数执行主动学习。我们在几个二元分类数据集上的实证比较表明，查询高杠杆点是一种有效的策略。
2015-07-15 cs.LG stat.ML
Adjusting Leverage Scores by Row Weighting: A Practical Approach to Coherent Matrix Completion
Zhejiang University（浙江大学）；Rutgers University（罗格斯大学）；Shanghai Jiao Tong University（上海交通大学）
低秩矩阵完备化是一个重要的问题，有着广泛的实际应用。当观测值是从底层矩阵元素中均匀采样时，现有的方法都要求矩阵是不相干的。本文给出了标准均匀采样模型下相干矩阵完备化的第一种工作方法。我们的方法是基于加权核范数最小化的思想，在最近的几项工作中提出的，我们的主要贡献是一个实用的方法来计算加权矩阵，使杠杆得分加权后变得更加均匀。在适当的条件下，我们能够推导出理论结果，表明我们的方法的有效性。在合成数据上的实验表明，该方法能够以高精度恢复高度相干的矩阵，而标准的未加权方法即使在无噪声数据上也会失败。
2015-02-10 cs.LG stat.ML
Binary Hypothesis Testing for Softmax Models and Leverage Score Models
Institute for Advanced Study（高等研究院）；University of California Berkeley（加州大学伯克利分校）；Boston University（波士顿大学）
本文将LLM中的注意力单元抽象为softmax模型，研究其二元假设检验问题，证明样本复杂度渐近为$O(ε^{-2})$，并将该分析方法类比推广至线性代数中的leverage score模型，获得相似结论。
2025-05-30 cs.LG stat.ML
Fast approximation of matrix coherence and statistical leverage
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Stanford University（斯坦福大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
矩阵$A$的统计杠杆分数是包含其（顶部）左奇异向量的矩阵的平方行范数，并且相干性是最大的杠杆分数。这些数量感兴趣的最近流行的问题，如矩阵完成和Nyström为基础的低秩矩阵近似，以及在大规模的统计数据分析应用程序更普遍;此外，他们的兴趣，因为他们定义的关键结构的非均匀性，必须处理在开发快速随机矩阵算法。我们的主要结果是一个随机算法，作为输入的任意$n \times d$矩阵$A$，与$n \gg d$，并返回作为输出的相对误差近似所有$n$的统计杠杆分数。所提出的算法在$O(n d \log n)$时间内运行（在$n$和$d$的精确值的假设下），与涉及计算$A$范围的正交基的朴素算法所需的$O(nd^2)$时间相反。我们的分析可以看作是计算一个欠约束的最小二乘近似问题的相对误差近似，或者，相关地，它可以被看作是一个应用程序的约翰逊-林登施特劳斯类型的想法。我们的基本结果的几个实际重要的扩展也被描述，包括所谓的交叉杠杆分数的近似，这些想法的扩展矩阵与$n \approx d$，和扩展到流媒体环境。
2012-12-05 cs.DM cs.DS cs.LG
Geometric Data Valuation via Leverage Scores
Isotropic
针对Shapley数据估值在大规模计算时不可行的问题，提出基于统计杠杆分数的几何替代方案，证明其满足公理且能保证模型性能，并在主动学习实验中优于基线。
2025-11-03 cs.AI cs.LG cs.NA
SALSA: Sequential Approximate Leverage-Score Algorithm with Application in Analyzing Big Time Series Data
Johns Hopkins University（约翰斯·霍普金斯大学）；International Computer Science Institute（国际计算机科学研究所）；University of Newcastle（纽卡斯尔大学）；Deakin University（迪肯大学）；University of Queensland（昆士兰大学）；University of California at Berkeley（加利福尼亚大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出高效序列近似杠杆得分算法SALSA，利用随机数值线性代数方法提升计算复杂度与精度，并据此开发LSARMA算法以高效拟合大规模时间序列ARMA模型，在大数据场景下显著优于现有方法。
2023-12-30 cs.LG stat.ML
LS-Tree: Model Interpretation When the Data Are Linguistic
University of California, Berkeley（加州大学伯克利分校）
我们研究了在语言数据集的设置中解释训练的分类模型的问题。利用分析树，我们建议分配最小二乘为基础的重要性分数的实例，每个字，利用句法选区结构。我们建立了一个公理化的表征，这些重要性分数与联盟博弈论中的Banzhaf值。基于这些重要性分数，我们开发了一种原则性的方法来检测和量化句子中单词之间的相互作用。我们证明，所提出的方法可以帮助几个广泛使用的语言模型的可解释性和诊断。
2019-02-11 cs.AI cs.CL cs.LG
Continual Learning via Online Leverage Score Sampling
Neuri
为了模仿人类在各种任务中持续获取和转移知识的能力，学习系统需要持续学习的能力，有效地利用先前获得的技能。因此，关键的挑战是将从一项任务中学到的知识转移和概括到其他任务中，避免遗忘和干扰以前的知识，并提高整体绩效。在本文中，在持续学习范式，我们介绍了一种方法，有效地忘记了不太有用的数据样本连续，并允许有益的信息，以保持后续任务的训练，在网上的方式。该方法使用统计杠杆得分信息来衡量数据样本在每个任务中的重要性，并采用频繁方向方法来实现持续或终身学习特性。这有效地在所有任务中保持恒定的训练规模。我们首先提供了数学直观的方法，然后证明其有效性，在避免灾难性遗忘和计算效率的持续学习的分类任务时，与现有的最先进的技术相比。
2019-08-01 cs.LG stat.ML
Leverage Score Sampling for Faster Accelerated Regression and ERM
Computer Science, Princeton University（普林斯顿大学计算机科学系）；University of Washington, Seattle（华盛顿大学西雅图分校）；Microsoft Research, India（微软研究院印度）；Stanford University（斯坦福大学）
给定一个矩阵$\mathbf{A}\in\mathbb{R}^{n\times d}$和一个向量$b \in\mathbb{R}^{d}$，我们展示了如何计算一个$ε$ -近似解的回归问题$ \min_{x\in\mathbb{R}^{d}}\frac{1}{2} \|\mathbf{A} x - b\|_{2}^{2} $在时间$ \tilde{O} ((n+\sqrt{d\cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1}) $，其中$κ_{\text{sum}}=\mathrm{tr}\left(\mathbf{A}^{\top}\mathbf{A}\right)/λ_{\min}(\mathbf{A}^{T}\mathbf{A})$和$s$是最大数量的非零条目中的一行$\mathbf{A}$。我们的算法改进了以前的最佳运行时间的$ \tilde{O} ((n+\sqrt{n \cdotκ_{\text{sum}}})\cdot s\cdot\logε^{-1})$。我们通过杠杆分数抽样技术，近点方法和加速坐标下降的精心组合来实现我们的结果。我们的方法不仅匹配以前的方法的性能，但进一步提高时，杠杆分数的行是小的（多对数因子）。我们还提供了一个非线性推广这些结果，提高了运行时间解决更广泛的一类ERM问题。
2017-11-22 cs.LG math.OC stat.ML
Turnstile $\ell_p$ leverage score sampling with applications
Dortmund Data Science Center（多特蒙德数据科学中心）；Faculties of Statistics and Computer Science, TU Dortmund University（多特蒙德工业大学统计与计算机科学学院）；Lamarr-Institute for Machine Learning and Artificial Intelligence, TU Dortmund University（多特蒙德工业大学拉马尔机器学习与人工智能研究所）
针对转门数据流模型，提出一种新颖的$\ell_p$范数行采样算法，扩展至$\ell_p$ leverage score采样，使coresets子采样构造能低开销运行，并在logistic regression上实现首个$(1+\varepsilon)$近似。
2024-06-01 cs.DS cs.LG stat.ML
Provably Accurate Shapley Value Estimation via Leverage Score Sampling
New York University（纽约大学）
本文提出Leverage SHAP，通过杠杆分数采样将Shapley值估计与主动学习结合，仅需O(n log n)次模型评估即可获得可证明准确的估计，并实验证明其优于Kernel SHAP。
2026-10-12 cs.AI cs.LG
Language Semantics Interpretation with an Interaction-based Recurrent Neural Networks
Columbia University（哥伦比亚大学）
文本分类是自然语言处理中的一项基本语言任务。各种序列模型都能做出很好的预测，但语言语义和预测结果之间缺乏联系。本文提出了一种新的影响分数（I-score），一个贪婪的搜索算法称为向后丢弃算法（BDA），和一个新的特征工程技术称为“匕首技术”。首先，本文提出了一种新的影响分数（I-score）检测和搜索文本文档中的重要语言语义，有助于在文本分类任务中做出良好的预测。接下来，提出了一种称为向后丢弃算法的贪婪搜索算法来处理数据集中的长期依赖关系。此外，本文提出了一种新的工程技术，称为“匕首技术”，充分保留解释变量和响应变量之间的关系。所提出的技术可以进一步推广到任何前馈人工神经网络（ANN）和卷积神经网络（CNN），以及任何神经网络。在互联网电影数据库（IMDB）上的一个实际应用中，所提出的方法被应用于提高预测性能，与其他流行的同行相比，如果I-评分和“匕首技术”没有实现的错误减少了81%。
2021-11-02 cs.CL cs.LG
Relaxed Leverage Sampling for Low-rank Matrix Completion
Xerox Research Center India（施乐印度研究中心）
我们考虑的问题，通过标准的核范数最小化框架的任何$m\times n$矩阵的秩$\varrho$从少量的观察到的条目的精确恢复。这种低秩矩阵具有自由度$(m+n)\varrho - \varrho^2$。我们发现，任何任意低秩矩阵可以完全恢复从一个$Θ\left(((m+n)\varrho - \varrho^2)\log^2(m+n)\right)$随机采样的条目，从而匹配所需的条目数的下限（在自由度方面），与一个额外的因素$O(\log^2(m+n))$。为了达到样本大小的这个界限，我们观察每个条目的概率与相应的行和列杠杆分数之和成比例，减去它们的乘积。我们表明，这种放宽抽样概率（与Chen et al，2014中的杠杆分数之和相反）可以为我们提供$O(\varrho^2\log^2(m+n))$附加改进Chen et al，2014获得的（最知名的）样本量，用于核范数最小化。实际数据的实验证实了理论上的样本容量的改善。此外，$(a)$非相干矩阵（具有受限的杠杆分数）和仅具有一个行或列空间的$(b)$矩阵的精确恢复可以使用我们的放松杠杆分数采样，经由核范数最小化，而无需先验地知道杠杆分数。在这种情况下，我们也可以提高样本量。
2016-04-07 cs.IT cs.LG math.IT
Interpretation Quality Score for Measuring the Quality of interpretability methods
针对可解释性方法缺乏统一评价指标的问题，本文提出解释质量分数（IQS），并在三个 NLP 任务上用六种方法验证其有效性。
2022-05-24 cs.CL cs.LG
Ridge Leverage Score Sampling for $\ell_p$ Subspace Approximation
Carnegie Mellon University（卡内基梅隆大学）；The Voleon Group（沃利安集团）
本文提出基于根岭杠杆得分采样的算法，构建了适用于 $\ell_p$ 子空间近似的强核心集，在 $k$ 和 $\epsilon$ 依赖性上取得改进，并导出了首个几乎最优的在线强核心集。
2025-04-03 cs.DS cs.LG
Gradient Coding with Iterative Block Leverage Score Sampling
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
本文提出一种迭代块杠杆分数采样方法，将随机数值线性代数与近似编码计算统一，用于分布式线性回归，以应对掉队节点故障，并通过均匀采样和加权实现高效近似求解。
2024-06-25 cs.DC cs.IR cs.IT
Analysis of Nystrom method with sequential ridge leverage scores
SequeL team INRIA Lille - Nord Europe（INRIA里尔-北欧分部SequeL团队）
本文研究了大规模核岭回归问题中的顺序Nystrom方法，提出INK-ESTIMATE算法，通过增量计算岭杠杆分数估计，实现高效近似解。
2026-10-06 cs.LG stat.ML
Importance Sampling for Nonlinear Models
University of Queensland（昆士兰大学）
该研究针对非线性模型缺乏重要数据点识别工具的问题，引入非线性映射伴随算子概念，将范数和杠杆得分重要性采样推广到非线性场景，兼具理论支撑与实验验证，可提升训练效率并助力可解释性和异常检测。
2025-05-18 cs.AI cs.LG stat.ML
Interpretation of machine learning predictions for patient outcomes in electronic health records
University of Pennsylvania（宾夕法尼亚大学）；Biomedical and Translational Informatics Institute/Geisinger（生物医学与转化信息学研究所/盖辛格）
电子健康记录是了解患者健康，环境和临床决策之间相互作用的越来越重要的资源。在本文中，我们报告了一项实证研究的预测建模的几个病人的结果，使用三个国家的最先进的机器学习方法。我们的主要目标是通过解释预测因子在最终模型中的重要性来验证模型。解释的核心是使用特征重要性分数，这取决于基本的方法。为了评估特征的重要性，我们比较了单变量统计检验、信息理论测量、排列检验和多变量逻辑回归模型的归一化系数。在一般情况下，我们发现他们的评估功能的重要性的方法之间的相关性差，即使他们的表现是可比的，相对较好。然而，应用于随机森林和梯度提升模型的排列检验显示出最大的一致性，并且重要性分数最常与临床解释匹配。
2019-03-14 cs.CY cs.LG stat.ML
Beyond Averaging in John Ellipsoid Approximation: High-Accuracy Algorithms in the Leverage-Score Model
University of New South Wales（新南威尔士大学）；University of California, Berkeley（加州大学伯克利分校）；University of Sydney（悉尼大学）
本文分离了John椭球逼近算法中的认证、识别和精度三种成本，证明精度依赖仅为双对数，并提出了加速方法和阻尼牛顿法，在杠杆分数模型中实现了高精度逼近。
2026-06-19 cs.DS cs.LG math.OC
A Bayesian Interpretation of Adaptive Low-Rank Adaptation
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本研究针对AdaLoRA的敏感度重要性评分问题，提出结合SNR指标与IVON优化器的贝叶斯版自适应低秩适配方法，性能更优且速度更快，还揭示了两类指标的关联及参数重要性的主导因素。
2025-01-11 cs.CL cs.LG stat.ML
Trust Aware Federated Learning for Secure Bone Healing Stage Interpretation in e-Health
London South Bank University（伦敦南银行大学）；Instituto de Telecomunicações（电信研究所）
本文提出一种可信联邦学习框架，用于通过频谱特征解释骨愈合阶段，通过自适应信任评分机制提升模型稳定性和预测性能。
2026-02-27 cs.AI cs.LG
Efficient Numerical Integration in Reproducing Kernel Hilbert Spaces via Leverage Scores Sampling
Istituto Italiano di Tecnologia（意大利技术研究院）
针对仅能通过观测访问目标分布的RKHS数值积分问题，提出基于均匀或近似杠杆得分的小子采样方法，证明其能达到最优收敛速率并大幅降低计算成本，可应用于核均值嵌入、最大平均差异计算及核检验。
2025-06-16 cs.LG cs.NA math.NA
Multiclass threshold-based classification
本文提出一种多类分类的阈值框架，通过多维阈值调节提升分类性能，并引入基于分数的损失函数。
2025-12-01 cs.LG
Leveraged Matrix Completion with Noise
Nanjing University of Science and Technology（南京理工大学）；Wuhan University（武汉大学）；University of Sydney（悉尼大学）
本文提出利用杠杆分数刻画元素重要性并设计非均匀采样过程，在放宽非相干性和均匀观测假设的条件下，仅需约 $\mathcal{O}(nr\log^2 n)$ 个含噪条目即可可证明地恢复低秩矩阵。
2023-08-14 cs.LG stat.ML
Ordering-based Causal Discovery via Generalized Score Matching
Monash University（墨尔本大学）；CSIRO’s Data61（CSIRO的数据61）
本文提出了一种基于通用分数匹配的因果发现方法，通过引入离散分数函数的叶判别准则，实现了对离散数据中真实因果顺序的准确推断，并提升了现有因果发现方法的准确性。
2026-07-28 cs.AI cs.LG
GCI: A (G)raph (C)oncept (I)nterpretation Framework
The University of Cambridge（剑桥大学）；Tenyks
可解释人工智能（XAI）最近在概念提取方面的研究激增，重点是从深度神经网络中提取人类可解释的概念。概念提取方法面临的一个重要挑战是难以解释和评估发现的概念，特别是对于复杂的任务，如分子性质预测。我们通过提出GCI来应对这一挑战：一个（G）概念（C）概念（I）解释框架，用于定量测量从图神经网络（GNN）发现的概念与其相应的人类解释之间的一致性。GCI将概念解释编码为函数，可用于定量测量给定解释与概念定义之间的一致性。我们展示了GCI的四个应用：（i）定量评估概念提取器，（ii）测量概念提取器和人类解释之间的对齐，（iii）测量关于最终任务的解释的完整性，以及（iv）GCI在分子性质预测中的实际应用，其中我们演示了如何使用化学官能团来解释在分子性质预测任务上训练的GNN，并以0.76的AUCROC完整性评分进行解释。
2023-02-09 cs.LG
Interpreting diffusion score matching using normalizing flow
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
评分匹配（SM）及其相关的Stein差异（SD）在模型训练和评估方面取得了巨大的成功。然而，最近的研究表明，它们在处理某些类型的分布时存在局限性。一种可能的解决方案是将原始分数匹配（或Stein差异）与扩散矩阵合并，这被称为扩散分数匹配（DSM）（或扩散Stein差异（DSD））。然而，缺乏对扩散的解释限制了其在简单分布和手动选择矩阵中的使用。在这项工作中，我们计划通过使用归一化流解释扩散矩阵来填补这一空白。具体来说，我们从理论上证明，DSM（或DSD）是等价于原始的分数匹配（或斯坦差异）的归一化流，其中的扩散矩阵是流的雅可比矩阵的逆定义的变换空间中评估。此外，我们还建立了它与黎曼流形的联系，并进一步将其推广到连续流，其中DSM的变化由一个常微分方程表征。
2021-07-21 cs.LG stat.ML
Geometry of Score Based Generative Models
Northeastern University（东北大学）
在这项工作中，我们从几何角度来看待基于得分的生成模型（也称为扩散生成模型）。从一个新的角度证明了在概率测度空间中，加噪声和由噪声生成的前向过程和后向过程都是Wasserstein梯度流。我们是第一个证明这种联系的人。我们对基于分数（和扩散）的生成模型的理解已经成熟，并通过借鉴贝叶斯推理，控制理论，随机微分方程和薛定谔桥等不同领域的思想变得更加完整。然而，许多悬而未决的问题和挑战依然存在。例如，一个问题是如何减少采样时间？我们证明，从几何的角度来看，使我们能够回答许多这些问题，并提供新的解释，一些已知的结果。此外，几何角度使我们能够设计一个直观的几何解决方案的问题，更快的采样。通过对传统的基于得分的生成模型增加投影步骤，我们证明了我们可以用更少的采样步骤生成高质量的图像。
2023-02-09 cs.AI cs.LG
Beyond Importance Scores: Interpreting Tabular ML by Visualizing Feature Semantics
Stanford University（斯坦福大学）；Demystify AI
随着机器学习（ML）模型越来越广泛地用于做出关键决策，可解释性正在成为一个活跃的研究课题。表格数据是医疗保健和金融等各种应用中最常用的数据模式之一。大多数用于表格数据的现有可解释性方法仅报告特征重要性分数-局部（每个示例）或全局（每个模型）-但它们不提供特征如何相互作用的解释或可视化。我们通过引入特征向量来解决这个限制，这是一种为表格数据集设计的新的全局可解释性方法。除了提供特征重要性之外，特征向量还通过直观的特征可视化技术发现特征之间的内在语义关系。我们的系统实验证明了这种新方法的经验效用，将其应用到几个真实世界的数据集。我们还为特征向量提供了一个易于使用的Python包。
2021-11-30 cs.LG stat.ML
Retrieval-Augmented Score Distillation for Text-to-3D Generation
Korea Univeristy（韩国大学）；Runway（Runway公司）
本文提出ReDream框架，通过检索语义相关的三维资产并将其几何先验融入分数蒸馏优化过程，同时利用二维扩散模型的表达能力，显著提升了文本到三维生成的几何一致性和保真度。
2024-05-02 cs.CV cs.LG
Identifying Influential Entries in a Matrix
本文提出一种概率分布，用于识别矩阵中最关键的条目，并通过理论证明在采样少量条目后可精确重建矩阵，且无需假设矩阵的无相干性。
2013-12-14 cs.LG cs.NA math.NA
