Score Centering Stabilizes Off-policy Reinforcement Learning
Together AI
本文针对大型语言模型强化学习中的训练-推理不匹配问题,提出加性分数中心化校正项以消除漂移,稳定训练,并在0.6B至30B参数规模下匹配或超越重要性采样方法。
2026-09-18 cs.LG
Triplot: model agnostic measures and visualisations for variable importance in predictive models that take into account the hierarchical correlation structure
预测模型的解释性分析的关键要素之一是评估单个变量的重要性。预测模型探索领域的快速发展(也称为可解释的人工智能或可解释的机器学习)已经导致了用于本地学习的方法的普及。(实例级别)和全局(数据集级别)方法,例如置换变量重要性、Shapley值(SHAP)、局部可解释模型解释(LIME)、分解等。这些方法不使用关于特征之间的相关性的信息,这显著降低了模型行为的可解释性。在这项工作中,我们提出了新的方法来支持模型分析,利用变量之间的相关性的信息。数据集级别的方面重要性度量受块排列过程的启发,而实例级别的方面重要性度量受LIME方法的启发。我们展示了如何分析组的变量(方面)时,他们提出的用户和当他们应该自动确定的变量之间的相关性的层次结构的基础上。此外,我们提出了新类型的模型可视化,三标图,它利用层次结构的变量分组产生高信息密度的模型可视化。这种可视化为本地或全局模型和数据探索提供了一致的说明。我们还展示了一个真实世界数据的例子,其中有5k个实例和37个特征,变量之间的显著相关性影响了变量重要性效应的解释。据我们所知,所提出的方法是第一个允许直接使用探索性模型分析中变量之间的相关性。
2021-04-07 cs.LG
Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning
Department of Computer Science and Engineering, Korea University, Seoul, South Korea(计算机科学与工程系,韩国大学,首尔,韩国);School of Software, Soongsil University, Seoul, South Korea(软件学院,顺天大学,首尔,韩国)
本文提出HIES剪枝方法,结合头部重要性评分与注意力熵,提升Transformer模型的压缩效率和稳定性。
2026-02-02 cs.AI cs.CL cs.LG
Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score
Yonsei University(延世大学)
提出一种无需训练的维度级结构化剪枝方法DIET,通过跨任务激活幅度多数投票构建全局掩码,在保持任务感知能力的同时避免高昂训练成本,在Gemma-2模型上显著提升剪枝后准确率。
2026-10-20 cs.LG
Variable Importance Clouds: A Way to Explore Variable Importance for the Set of Good Models
Department of Economics, Duke University(杜克大学经济学系);Departments of Computer Science, Electrical and Computer Engineering, and Statistical Science, Duke University(杜克大学计算机科学系、计算机与电子工程系和统计科学系);Duke University(杜克大学)
变量重要性是科学研究的核心,包括社会科学和因果推断,医疗保健和其他领域。然而,当前变量重要性的概念通常与特定的预测模型相关联。这是有问题的:如果有多个表现良好的预测模型,并且某个特定变量对其中一些模型很重要,而对另一些模型不重要,那会怎么样?在这种情况下,我们可能无法从一个表现良好的模型中判断一个变量在预测结果时是否总是重要的。与其依赖于单个预测模型的变量重要性,我们希望探索所有近似相等准确的预测模型的变量重要性。这项工作引入了变量重要性云的概念,它将每个变量映射到每个良好预测模型的重要性。我们展示了变量重要性云的属性,并绘制了与其他统计领域的连接。我们引入可变重要性图作为可变重要性云到两个维度的投影,用于可视化目的。刑事司法、营销数据和图像分类任务的实验说明了变量如何在近似相等准确的预测模型中显著改变重要性
2020-02-10 cs.LG stat.ML
Importance Weighted Score Matching for Diffusion Samplers with Enhanced Mode Coverage
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);The School of Statistics and Data Science, LPMC & KLMDASR, Nankai University(南开大学统计与数据科学学院)
本文提出重要性加权分数匹配方法,通过重加权分数匹配损失优化前向KL目标,训练扩散采样器以增强模式覆盖,在复杂多模态分布上取得最优性能。
2025-05-26 cs.LG
Beyond Importance Scores: Interpreting Tabular ML by Visualizing Feature Semantics
Stanford University(斯坦福大学);Demystify AI
随着机器学习(ML)模型越来越广泛地用于做出关键决策,可解释性正在成为一个活跃的研究课题。表格数据是医疗保健和金融等各种应用中最常用的数据模式之一。大多数用于表格数据的现有可解释性方法仅报告特征重要性分数-局部(每个示例)或全局(每个模型)-但它们不提供特征如何相互作用的解释或可视化。我们通过引入特征向量来解决这个限制,这是一种为表格数据集设计的新的全局可解释性方法。除了提供特征重要性之外,特征向量还通过直观的特征可视化技术发现特征之间的内在语义关系。我们的系统实验证明了这种新方法的经验效用,将其应用到几个真实世界的数据集。我们还为特征向量提供了一个易于使用的Python包。
2021-11-30 cs.LG stat.ML
Measuring Variable Importance in Heterogeneous Treatment Effects with Confidence
Roche Pharma Research \& Early Development, Roche Innovation Center Basel, F. Hoffmann-La Roche Ltd, Basel, Switzerland;Université Paris-Saclay, Inria, CEA, Palaiseau, France
本文提出PermuCATE算法,用于在估计条件平均处理效应时进行统计严谨的全局变量重要性评估,通过理论分析和实证研究证明其比LOCO方法具有更低的方差,从而提高统计功效,适用于生物医学应用中的有限数据环境。
2025-07-08 cs.LG
Shapley variable importance cloud for machine learning models
Duke-NUS Medical School(杜克-新加坡国立大学医学院);Singapore Health Services(新加坡保健服务集团);National University of Singapore(新加坡国立大学)
可解释的机器学习的当前实践通常集中在解释从数据训练的最终模型,例如,Shapley加法解释(SHAP)方法。最近开发的Shapley变量重要性云(ShapleyVIC)将当前的实践扩展到一组“接近最优模型”,以提供全面和强大的变量重要性评估,并估计不确定性区间,以便更全面地了解变量对预测的贡献。ShapleyVIC最初是为传统回归模型的应用而开发的,ShapleyVIC推理的好处已经在使用逻辑回归模型的实际预测任务中得到了证明。然而,作为一种与模型无关的方法,ShapleyVIC应用程序并不限于这些场景。在这项工作中,我们扩展了ShapleyVIC实现机器学习模型,使更广泛的应用,并提出它作为一个有用的补充,目前的SHAP分析,使这些黑盒模型的更值得信赖的应用。
2022-12-16 cs.LG
Score-Based Diffusion meets Annealed Importance Sampling
DeepMind(深度思维)
退火重要性抽样(Annealed Importance Sampling,AIS)在提出二十多年后,仍然是最有效的边缘似然估计方法之一。它依赖于一系列的分布之间的一个听话的初始分布和目标分布的兴趣,我们模拟从近似使用非齐次马尔可夫链。为了获得边缘似然的重要性抽样估计,AIS引入扩展的目标分布来重新加权马尔可夫链建议。虽然已经投入了大量的努力来改善AIS所使用的建议分布,但一个未被充分认识的问题是AIS使用了方便但次优的扩展目标分布。在这里,我们利用最近的进展,基于分数的生成建模(SGM)近似的最佳扩展目标分布最小化的方差的边缘似然估计AIS建议对应的离散化的朗之万和汉密尔顿动力学。我们证明了这些新的,可微的,AIS程序的一些合成基准分布和变分自动编码器。
2022-10-24 cs.LG stat.ML
Doctor Rashomon and the UNIVERSE of Madness: Variable Importance with Unobserved Confounding and the Rashomon Effect
Duke University(杜克大学);Bocconi University(博科尼大学)
本研究针对存在未观测混淆和拉什莫顿效应时的变量重要性估计问题,提出UNIVERSE方法,通过适配拉什莫顿集生成真实VI边界,经半合成模拟和信用风险任务验证了其有效性。
2026-08-24 cs.LG
From SHAP Scores to Feature Importance Scores
IRIT(IRIT研究所);University of Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);ICREA(ICREA机构);University of Lleida(莱里达大学)
本文揭示特征归因与先验投票权力指数的本质联系,提出特征重要性分数应满足的新性质及新型 FIS,并据此严格分析经典权力指数。
2024-05-20 cs.AI cs.LG
Optimal Variance Control of the Score Function Gradient Estimator for Importance Weighted Bounds
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学);Rigshospitalet, Copenhagen University Hospital(哥本哈根大学医院国立医院)
本文介绍了重要加权变分界(IWAE)的得分函数梯度估计的新结果。我们证明,在大的$K$(重要性样本数)的限制,可以选择控制变量,使信号噪声比(SNR)的估计增长为$\sqrt{K}$。这与标准路径梯度估计器相反,在标准路径梯度估计器中,SNR随着$1/\sqrt{K}$而减小。基于我们的理论研究结果,我们开发了一种新的控制变量,扩展到VIMCO。经验上,对于连续和离散生成模型的训练,所提出的方法产生优异的方差减小,从而导致IWAE的SNR随着$K$而增加,而不依赖于重新参数化技巧。在训练生成模型时,新的估计器与最先进的无重新参数化梯度估计器(如重新加权唤醒-睡眠(RWS)和热力学变分目标(TVO))具有竞争力。
2020-12-08 cs.LG stat.ML
Attention Score is not All You Need for Token Importance Indicator in KV Cache Reduction: Value Also Matters
Nara Institute of Science and Technology(奈良科学技术研究所)
针对 KV 缓存 token 剪枝仅依赖注意力分数的问题,本文提出 VATP,联合注意力分数与 value 向量 $\ell_1$ 范数评估重要性,并在 16 项 LongBench 任务中验证其优势。
2024-10-02 cs.CL cs.LG
Variable Importance in High-Dimensional Settings Requires Grouping
Inria(法国国家信息与自动化研究所);Universite Paris Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);Roche Pharma Research and Early Development, Neuroscience and Rare Diseases, Roche Innovation Center Basel, F. Hoffmann La Roche Ltd.(罗氏制药研究与早期开发、神经科学与罕见病、罗氏巴塞尔创新中心、豪夫迈·罗氏有限公司)
针对高维场景下变量重要性评估因变量相关性失效、计算成本高的问题,提出具备统计保证的BCPI分组评估框架及适配分组的DNN堆叠方法,在基准测试和医学数据集验证中表现优异。
2023-12-18 cs.LG
Bi-level Score Matching for Learning Energy-based Latent Variable Models
Tsinghua University(清华大学)
分数匹配(SM)提供了一种引人注目的方法来学习基于能量的模型(EBM),通过避免计算分区函数。然而,它仍然在很大程度上是开放的学习基于能量的潜变量模型(EBLVMs),除了一些特殊情况。本文提出了一种双层得分匹配(BiSM)方法来学习EBLVMs的一般结构,通过将SM转化为一个双层优化问题。高层引入隐变量的变分后验,并优化修改后的SM目标,和低层优化变分后验,以适应真正的后验。为了有效地求解BiSM,我们开发了一个带有梯度展开的随机优化算法。在理论上,我们分析了BiSM的相容性和随机算法的收敛性。从经验上讲,我们在高斯限制玻尔兹曼机和深度卷积神经网络参数化的高度非结构EBLVMs中展示了BiSM的前景。BiSM在适用时可与广泛采用的对比发散和SM方法相媲美;并且可以学习具有难以处理的后验的复杂EBLVM以生成自然图像。
2020-10-16 cs.LG
A novel interpretable machine learning system to generate clinical risk scores: An application for predicting early mortality or unplanned readmission in a retrospective cohort study
Duke-NUS Medical School(杜克-新加坡国立大学医学院);Singapore Health Services(新加坡保健服务集团);Singapore General Hospital(新加坡中央医院);National University of Singapore(新加坡国立大学);Duke University(杜克大学);Singapore Eye Research Institute(新加坡眼科研究所);Singapore National Eye Centre(新加坡国家眼科中心)
本文提出基于ShapleyVIC的可解释变量选择方法,结合AutoScore自动生成临床风险评分,在预测早期死亡或非计划再入院研究中仅用6个变量即达到与16变量模型相当的性能。
2022-01-10 cs.LG
Fair Feature Importance Scores via Feature Occlusion and Permutation
Rice University(里士大学);Columbia University(哥伦比亚大学)
本文提出两种模型无关方法,通过特征遮蔽和排列评估特征对公平性的贡献,为公平性评估提供新的可解释工具。
2026-02-09 cs.LG stat.ML
Fair Feature Importance Scores for Interpreting Tree-Based Methods and Surrogates
Rice University(莱斯大学)
针对现有ML解释方法较少关注公平性的问题,提出基于群体偏见平均变化量的公平特征重要性评分,以树为可解释代理模型,经模拟和基准数据集验证可有效解释树集成及代理模型的公平性相关特征贡献。
2023-10-06 cs.LG stat.ML
TRIP: A Nonparametric Test to Diagnose Biased Feature Importance Scores
Wesleyan University(韦斯利安大学)
针对依赖特征下排列特征重要性评分不可靠的问题,提出TRIP非参数检验,以最少假设检测模型外推导致的不可靠评分,并扩展至高维场景,实验验证其有效性。
2025-07-09 cs.LG stat.ME stat.ML
Score-Regularized Joint Sampling with Importance Weights for Flow Matching
University of California San Diego(加州大学圣地亚哥分校)
针对流匹配模型在有限采样预算下估计函数期望难的问题,提出非IID采样框架,用分数正则化平衡多样性与质量,还开发非IID流样本重要性加权方法,提升了流匹配模型输出的可靠表征。
2026-07-07 cs.AI cs.CV cs.LG
Feature importance scores and lossless feature pruning using Banzhaf power indices
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
理解机器学习中特征的影响对于解释模型和选择最佳特征进行分类至关重要。在这项工作中,我们提出了使用的原则,从联盟博弈论的原因功能的重要性。特别是,我们建议使用的Banzhaf功率指数作为衡量的功能对分类器的结果的影响。我们表明,具有Banzhaf功率指数为零的功能可以losslightly修剪而不损害分类器的准确性。计算功率指数不需要访问数据样本。然而,如果有样本,指数可以根据经验估计。我们计算Banzhaf功率指数的神经网络分类器在现实生活中的数据,并比较结果与基于梯度的特征显着性,和系数的逻辑斯谛回归模型与$L_1$正则化。
2017-12-03 cs.LG stat.ML
Correcting Variable Importance Scored by Random Forests
Computer and Information Science(计算机与信息科学);Mathematics and Data Science(数学与数据科学);University of Massachusetts, Dartmouth, MA(马萨诸塞大学达特茅斯分校);The Rivers School, Weston, MA(韦斯特on学校的河流学校)
针对随机森林变量重要性受变量间相关性影响的问题,提出基于条件相关性的分组方法进行修正,实验证明两种计算高效方案均能有效校正变量重要性。
2026-08-25 cs.AI cs.LG stat.ME
Unbiased variable importance for random forests
Berlin School of Economics and Law(柏林经济与法律学院)
随机森林中的默认变量重要性度量,基尼重要性,已被证明受到潜在的基尼增益分裂标准的偏见。虽然替代排列重要性通常被接受为变量重要性的可靠度量,但它在计算上也是苛刻的,并且具有其他缺点。我们提出了一个简单的解决方案,误导/不可信的基尼重要性,可以被视为一个过拟合问题:我们计算的损失减少袋外,而不是袋内的训练样本。
2020-03-09 cs.LG stat.AP stat.ML
Splines-Based Feature Importance in Kolmogorov-Arnold Networks: A Framework for Supervised Tabular Data Dimensionality Reduction
Research Group(研究组);African Institute for Mathematical Sciences, Research and Innovation Centre (AIMSRIC)(非洲数学科学研究所、研究与创新中心(AIMSRIC))
本文提出基于Kolmogorov-Arnold网络的特征选择方法,通过样条参数化特征变换并计算特征重要性,对比LASSO、随机森林等传统方法,在多个数据集上展示其在分类和回归任务中的竞争力。
2026-03-19 cs.LG
Mitigating Long-Tailed Anomaly Score Distributions with Importance-Weighted Loss
R\&D Division ELROILAB Inc. Seoul, Republic of Korea
本文提出了一种重要加权损失方法,用于缓解长尾异常分数分布问题,通过重要性采样对齐分布,提升异常检测性能。
2026-01-05 cs.AI cs.LG stat.ML
Random Forest Variable Importance-based Selection Algorithm in Class Imbalance Problem
University of Washington(华盛顿大学);University of Miami Miller School of Medicine(迈阿密大学米勒医学院)
针对类别不平衡场景下随机森林变量重要性研究不足的问题,本文分析了类别平衡技术的影响,提出结合随机森林变量重要性与置信区间的特征选择算法,可高效选最优特征集以提升不平衡场景的预测性能。
2023-12-17 cs.LG stat.ME stat.ML
Disentangling Interactions and Dependencies in Feature Attribution
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对现有全局特征重要性方法易混淆特征个体贡献与交互、依赖协同效应的问题,提出可唯一分解的DIP数学框架,将特征重要性拆分为独立、交互、依赖三类贡献,并给出实际估计方法与配套可视化方案。
2024-10-31 cs.LG stat.ML
Importance Sampling for Nonlinear Models
University of Queensland(昆士兰大学)
该研究针对非线性模型缺乏重要数据点识别工具的问题,引入非线性映射伴随算子概念,将范数和杠杆得分重要性采样推广到非线性场景,兼具理论支撑与实验验证,可提升训练效率并助力可解释性和异常检测。
2025-05-18 cs.AI cs.LG stat.ML
Score-Based Causal Discovery of Latent Variable Causal Models
Carnegie Mellon University(卡内基梅隆大学);University of California, San Diego(加州大学圣地亚哥分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出了一种基于得分的方法,用于识别包含因果相关潜在变量的因果结构,并提供了可识别性保证,同时通过实验验证了方法的有效性。
2026-05-19 cs.LG stat.ML
From global to local MDI variable importances for random forests and when they are Shapley values
University of Liège(列日大学)
随机森林因其提供所谓的重要性度量的能力而被广泛使用,这些度量在全球(每个数据集)水平上提供了对输入变量的相关性的洞察力,以预测特定的输出。另一方面,引入了基于Shapley值的方法,将基于树的模型中的特征相关性分析细化到局部(每个实例)级别。在这种情况下,我们首先表明,全球平均减少杂质(MDI)变量的重要性得分对应于Shapley值在某些条件下。然后,我们推导出一个局部MDI变量相关性的重要性度量,它与全局MDI度量有着非常自然的联系,并且可以与局部特征相关性的新概念相关联。我们进一步链接本地MDI的重要性与Shapley值,并讨论他们在文献中的相关措施。通过对几个分类和回归问题的实验说明了这些措施。
2021-11-03 cs.LG stat.ML
The XAISuite framework and the implications of explanatory system dissonance
Adrian C. Wilcox High School(阿德里安·C·威尔科克斯高中);UC Santa Cruz(加州大学圣克鲁兹分校)
本文通过比较SHAP和LIME在多种模型与数据集上的重要性分数,发现重要性大小不决定解释一致性且解释相似性无法预测准确率,并提出XAISuite开源库与通用解释优化框架。
2023-04-15 cs.AI cs.LG
MMD-based Variable Importance for Distributional Random Forest
Safran Tech(赛峰科技);Inria(法国国家信息与自动化研究所);University of Montpellier(蒙彼利埃大学)
本文为分布随机森林(DRF)提出一种基于丢弃并重新学习原则和MMD距离的变量重要性算法,能检测影响输出分布的变量,具有一致性且优于竞争方法,可通过递归特征消除高效选择少量变量以准确估计条件输出分布。
2024-02-14 cs.LG stat.ME stat.ML
Rashomon effect in Educational Research: Why More is Better Than One for Measuring the Importance of the Variables?
Humboldt-Universität zu Berlin(柏林洪堡大学);Eskisehir Technical University(埃斯基谢希尔技术大学)
本研究利用Rashomon集(多种简单准确模型)在教育数据挖掘中分析变量重要性,发现其提升预测精度2-6%,并揭示不同模型对变量重要性排序的影响,强调模型选择与谨慎泛化的重要性。
2024-12-02 cs.CY cs.LG
Cooperative effects in feature importance of individual patterns: application to air pollutants and Alzheimer disease
Cuban Center for Neuroscience(古巴神经科学中心)
本文提出一种基于LOCO的Hi-Fi框架,将特征重要性分解为唯一、冗余和协同分数并应用于个体模式,发现O3、NO2及城市绿地密度与阿尔茨海默病死亡率存在协同关联,展示了其在XAI中的广泛适用性。
2025-07-30 cs.LG physics.data-an
Importance Sampling via Local Sensitivity
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);UMass Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院)
给定可以被写为大量输入$a_1,\ldots, a_n$上的损失之和的损失函数$F:\mathcal{X} \rightarrow \R^+$,通常期望通过对输入点进行二次采样来近似$F$。强有力的理论保证要求考虑每个点的重要性,通过其单个损失对$F(x)$的贡献来衡量。在所有$x \in \mathcal{X}$上最大化该重要性产生$a_i$的\emph{sensitivity score}。以与这些分数成比例的概率进行采样提供了强有力的保证,允许仅使用二次采样点来近似地最小化$F$。不幸的是,敏感性抽样很难应用,因为(1)不清楚如何有效地计算敏感性分数,(2)所需的样本量通常不切实际地大。为了克服这两个障碍,我们引入了\emph{local sensitivity},它测量围绕某个中心$x_0$的球中的数据点的重要性。我们表明,局部灵敏度可以有效地估计使用的二次近似$F$的\emph{leverage scores}和近似$F$周围$x_0$所需的样本大小可以是有界的。本文提出了一种局部灵敏度采样的迭代优化方法,并分析了当$F$光滑且凸时该方法的收敛性。
2020-03-19 cs.LG math.OC stat.ML
The Rashomon Importance Distribution: Getting RID of Unstable, Single Model-based Variable Importance
Duke University(杜克大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出罗生门重要性分布框架,在所有等效好模型集合上量化变量重要性并保证数据分布稳定性,通过实验和理论验证其准确性,并在HIV基因重要性案例中发现了新关联基因。
2024-04-01 cs.LG q-bio.GN stat.ML
Measuring Variable Importance Using Proportional Inclusive Marginal Effects
H. Milton Stewart School of Industrial and Systems Engineering(H. 米尔顿·斯图尔特工业与系统工程学校);Georgia Institute of Technology(佐治亚理工学院)
本文针对现有变量重要性度量的缺陷,提出PRIME度量,采用无模型变量选择技术识别活跃变量,可准确可靠量化含噪数据的变量重要性。
2026-11-17 cs.LG stat.ME stat.ML
Evaluating Local Model-Agnostic Explanations of Learning to Rank Models with Decision Paths
KTH Royal Institute of Technology(瑞典皇家理工学院)
学习排名(LTR)模型的局部解释被认为是提取最重要的特征,这些特征有助于LTR模型对单个数据点预测的排名。评估这种解释的准确性是具有挑战性的,因为地面实况特征重要性分数对于大多数现代LTR模型是不可用的。在这项工作中,我们提出了一个系统的评价技术的解释LTR模型。而不是使用黑盒模型,如神经网络,我们建议专注于基于树的LTR模型,从中我们可以提取地面实况特征重要性分数使用决策路径。一旦被提取,我们就可以直接将地面实况特征重要性得分与使用解释技术生成的特征重要性得分进行比较。在MQ2008数据集上使用决策树和梯度提升模型时,我们比较了两种最近提出的LTR模型解释技术。我们表明,在这些技术的解释精度可以在很大程度上取决于解释模型,甚至哪个数据点解释。
2022-03-16 cs.LG stat.ML
Hierarchical Variable Importance with Statistical Control for Medical Data-Based Prediction
Roche Pharma Research \& Early Development, F. Hoffmann-La Roche Ltd, Basel, Switzerland Université Paris-Saclay, Inria, CEA, Paris, Palaiseau, France Correspondance
提出模型无关的变量重要性度量 Hierarchical-CPI,通过分层树探索变量组并控制族错误率,解决高相关数据下条件重要性消失问题,在神经影像数据集中识别出生物学合理的变量。
2025-08-12 cs.LG stat.ML
Just add noise: Debiasing tree-based variable importance in mixed data
Duke University(杜克大学)
针对树模型变量重要性偏向连续变量的问题,提出添加噪声的简单去偏方法,并结合稳定性选择实现混合数据变量选择与错误发现控制。
2026-09-15 cs.LG stat.ME stat.ML
Selective Cascade of Residual ExtraTrees
Vanderbilt University(范德堡大学);University of Notre Dame(圣母大学);Department of Psychology and Human Development(心理与人类发展系);Department of Applied and Computational Mathematics & Statistics(应用与计算数学及统计学系);Nashville, TN(纳什维尔,田纳西州);Notre Dame, IN(圣母大学,印第安纳州)
我们提出了一种新的基于树的集成方法命名为选择性级联的剩余额外树(SCORE)。SCORE从表示学习中汲取灵感,将正则化回归与变量选择特征相结合,并利用boosting来改善预测并减少泛化误差。我们还开发了一个变量的重要性措施,以增加SCORE的可解释性。我们的计算机实验表明,SCORE提供了相当或优越的性能预测对ExtraTrees,随机森林,梯度提升机,和神经网络和SCORE的变量重要性措施是可比的研究基准方法。最后,SCORE的预测性能在超参数值之间保持稳定,表明对超参数规范的潜在鲁棒性。
2020-09-29 cs.LG stat.ML
Lazy Estimation of Variable Importance for Large Neural Networks
University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of Chicago(芝加哥大学)
随着不透明的预测模型越来越多地影响现代生活的许多领域,量化给定输入变量对做出特定预测的重要性的兴趣已经增长。最近,已经出现了大量的模型不可知方法来测量变量重要性(VI),这些方法分析了在所有变量上训练的完整模型和排除感兴趣变量的简化模型之间的预测能力差异。这些方法的一个共同瓶颈是估计每个变量(或变量子集)的简化模型,这是一个昂贵的过程,通常没有理论保证。在这项工作中,我们提出了一个快速和灵活的方法来近似的减少模型与重要的推理保证。我们取代了需要充分重新训练一个广泛的神经网络的线性化初始化在完整的模型参数。通过增加一个脊状惩罚,使问题凸,我们证明了当脊惩罚参数是足够大的,我们的方法估计变量的重要性措施的错误率为$O(\frac{1}{\sqrt{n}})$,其中$n$是训练样本的数量。我们还表明,我们的估计是渐近正态的,使我们能够提供VI估计的置信区间。我们通过模拟证明,我们的方法是快速和准确的几个数据生成制度下,我们证明了其在季节性气候预测的例子在现实世界中的适用性。
2022-07-19 cs.LG stat.ML
ELBD: Efficient score algorithm for feature selection on latent variables of VAE
Zhejiang University(浙江大学)
在本文中,我们开发的证据下界差(ELBD)的概念,在此基础上,一个有效的得分算法来实现VAE及其变种的潜变量的特征选择。此外,我们提出了弱收敛近似算法来优化VAE相关的模型,通过加权的“更重要”的潜变量选择,并相应地增加证据下限。我们讨论了两种不同的高斯后验,均值场和全协方差,为潜变量,并作出相应的理论分析,以支持算法的有效性。在7个公共数据集上对我们的算法和其他9种特征选择方法进行了大量的对比实验,以解决生成任务。实验结果证明了算法的有效性。最后,我们将ELBD扩展到它的推广版本,并将后者应用于5个新的公共数据集的分类任务,取得了令人满意的实验结果。
2022-10-10 cs.LG stat.ML
Unrestricted Permutation forces Extrapolation: Variable Importance Requires at least One More Model, or There Is No Free Variable Importance
University of California, Berkeley(加州大学伯克利分校);University of Pittsburgh(匹兹堡大学)
本文回顾并反对使用置换和预测(PaP)方法来解释黑盒函数。诸如为随机森林提出的变量重要性度量、部分依赖图和个体条件期望图等方法仍然很受欢迎,因为它们都是模型不可知的,并且只依赖于预先训练的模型输出,这使得它们在计算上很高效,并且在软件中广泛使用。然而,许多研究发现,这些工具可以产生高度误导的诊断,特别是当特征之间存在强烈依赖性时。我们在这里的工作的目的是(i)回顾这一不断增长的文献,(ii)提供这些缺点的进一步证明,以及它们发生的原因的详细解释,以及(iii)倡导涉及额外建模的替代措施。特别是,我们描述了如何打破保持数据中的特征之间的依赖关系,通过迫使原始模型外推到几乎没有数据的区域来过度强调特征空间的稀疏区域。我们探索这些影响在不同的模型设置,并找到支持以前的索赔文献中,PaP指标可以大大过分强调变量的重要性措施和部分依赖图的相关功能。作为一种替代方案,我们讨论并推荐更直接的方法,涉及测量模型性能的变化后,静音的功能正在调查的影响。
2021-10-07 cs.LG stat.ME stat.ML
Comparing interpretability and explainability for feature selection
Interpretable AI(可解释人工智能机构);Cambridge, MA 02142(剑桥,马萨诸塞州 02142)
特征选择的一种常见方法是检查机器学习模型的变量重要性分数,作为了解哪些特征与预测最相关的一种方式。考虑到特征选择的重要性,计算的重要性分数反映现实是至关重要的。错误地高估不相关特征的重要性可能导致错误的发现,而低估相关特征的重要性可能导致我们丢弃重要特征,从而导致模型性能低下。此外,像XGBoost这样的黑盒模型提供了最先进的预测性能,但人类无法轻松理解,因此我们依赖于可变重要性分数或SHAP等可解释性方法来深入了解它们的行为。在本文中,我们调查的性能变量的重要性作为一个特征选择方法在各种黑盒和可解释的机器学习方法。我们比较了CART,最优树,XGBoost和SHAP在多个实验中正确识别相关变量子集的能力。结果表明,无论我们使用本地变量重要性方法还是SHAP,XGBoost都无法清楚区分相关和不相关的特征。另一方面,可解释的方法能够正确和有效地识别不相关的特征,从而为特征选择提供显著更好的性能。
2021-05-11 cs.LG stat.ML
Parameter Inference via Differentiable Diffusion Bridge Importance Sampling
University of Copenhagen(哥本哈根大学);Globe Institute(地球研究所)
提出一种基于可微扩散桥重要性采样的参数推断方法,利用分数匹配近似扩散桥以估计对数似然,并通过梯度上升实现参数推断与扩散均值估计,在生物形态测量数据上验证了有效性。
2024-11-13 cs.LG stat.ML
Variational (Gradient) Estimate of the Score Function in Energy-based Latent Variable Models
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
没有任何结构假设的基于能量的隐变量模型(EBLVMs)的学习和评估具有很大的挑战性,因为这种模型中的真后验和配分函数通常是难以处理的。本文给出了一般EBLVM中得分函数及其梯度关于模型参数的变分估计,分别称为VaES和VaGES。训练变分后验以最小化与真实模型后验的一定发散,并且理论上两种估计的偏差可以由发散限制。在最小模型假设的情况下,VaES和VaGES可以应用于基于核化Stein差异(KSD)和分数匹配(SM)的方法来学习EBLVM。此外,VaES还可以用来估计数据和一般EBLVMs之间的Fisher散度。
2021-06-06 cs.LG stat.ML
Shapley variable importance clouds for interpretable machine learning
Duke-NUS Medical School(杜克-新加坡国立大学医学院);Singapore Health Services(新加坡保健服务集团);Singapore General Hospital(新加坡中央医院);National University of Singapore(新加坡国立大学);Duke University(杜克大学)
可解释的机器学习一直专注于解释优化性能的最终模型。目前最先进的是Shapley加法解释(SHAP),它局部解释了变量对个体预测的影响,最近它被扩展到整个数据集的全局评估。最近,Dong和Rudin提出将调查扩展到与最终模型“足够好”的同类模型,并确定了先前基于单个模型的变量重要性的过度声明。然而,这种方法并不直接集成与现有的Shapley为基础的解释。我们通过提出一个Shapley变量重要性云来缩小这一差距,该云将良好模型中的信息汇集在一起,以避免在最终模型的SHAP分析中进行有偏见的评估,并通过新颖的可视化来传达研究结果。我们证明了额外的见解增益相比,传统的解释和董和鲁丁的方法,使用刑事司法和电子病历数据。
2021-10-06 cs.HC cs.LG
SigVIC: Spatial Importance Guided Variable-Rate Image Compression
Beijing Jiaotong University(北京交通大学);University of Science and Technology Beijing(北京科技大学)
可变速率机制提高了基于学习的图像压缩的灵活性和效率,该机制针对不同的率失真折衷训练多个模型。可变速率的最常见方法之一是按通道或空间均匀地缩放内部特征。然而,空间重要性的多样性对图像压缩的比特分配具有指导意义。在本文中,我们介绍了一个空间重要性导向的可变速率图像压缩(SigVIC),其中的空间门控单元(SGU)的设计用于自适应学习的空间重要性掩模。然后,一个空间缩放网络(SSN)的空间重要性掩模,以指导特征缩放和比特分配的可变速率。此外,为了提高解码图像的质量,Top-K浅层特征被选择通过浅层特征融合模块(SFFM)细化解码特征。实验表明,该方法优于其他基于学习的方法(无论是可变速率还是非可变速率)和传统的编解码器,具有存储节省和高度的灵活性。
2023-03-16 cs.AI cs.LG cs.MM
Statistically Valid Variable Importance Assessment through Conditional Permutations
Inria(法国国家信息与自动化研究所);Universite Paris Saclay(巴黎萨克雷大学);CEA(法国原子能委员会);Roche Pharma Research and Early Development(罗氏制药研究与早期开发部);Neuroscience and Rare Diseases(神经科学与罕见病部门);Roche Innovation Center Basel(罗氏巴塞尔创新中心);F. Hoffmann–La Roche Ltd.(豪夫迈·罗氏有限公司)
本文提出条件置换重要性(CPI)方法,通过理论分析和实验证明其能在协变量相关时准确控制I型错误,并在深度神经网络及大规模医学数据上实现更简约且准确的变量选择,可直接替代传统置换方法。
2023-10-25 cs.AI cs.LG stat.ML
Challenges in Variable Importance Ranking Under Correlation
Princeton University(普林斯顿大学);Merck & Co., Inc.(默克公司)
本研究通过模拟和理论证明,揭示了特征相关性对变量重要性排序的挑战,特别是条件预测影响(CPI)方法在高相关特征下的局限性,强调需理解方法效用与局限。
2024-02-05 cs.LG stat.ME stat.ML
Adaptive-lambda Subtracted Importance Sampled Scores in Machine Unlearning for DDPMs and VAEs
本文提出适应性lambda SISS方法,通过动态推断lambda实现更优的机器无学习,适用于DDPMs和VAEs,实验显示其在移除遗忘类和保留生成质量方面表现更佳。
2025-12-15 cs.AI cs.LG
An Automatic Relevance Determination Prior Bayesian Neural Network for Controlled Variable Selection
University of Johannesburg(约翰内斯堡大学)
我们提出了一个自动相关性确定先验贝叶斯神经网络(BNN-ARD)的权重l2范数测量作为模型x敲除过滤器的特征重要性统计。我们在模拟数据和挪威风电场数据集上表明,相对于现实世界数据集上的变量选择能力和预测性能,所提出的特征重要性统计量在统计上都有显着改善。
2020-01-06 cs.LG stat.ML