TRIP: A Nonparametric Test to Diagnose Biased Feature Importance Scores
Wesleyan University(韦斯利安大学)
针对依赖特征下排列特征重要性评分不可靠的问题,提出TRIP非参数检验,以最少假设检测模型外推导致的不可靠评分,并扩展至高维场景,实验验证其有效性。
2025-07-09 cs.LG stat.ME stat.ML
Understanding the role of importance weighting for deep learning
Walmart Labs(沃尔玛实验室);University of California, Berkeley(加州大学伯克利分校);Instacart
Byrd & Lipton(2019)最近的论文基于实证观察,提出了对过度参数化深度学习模型的重要性权重影响的主要担忧。他们观察到,只要模型可以分离训练数据,重要性加权的影响就会随着训练的进行而减少。然而,对这一现象缺乏严格的定性。在本文中,我们提供了正式的刻画和理论的理由的作用,重要性加权相对于隐式偏见的梯度下降和边缘为基础的学习理论。我们揭示了深度学习模型下的优化动态和泛化性能。我们的工作不仅解释了在深度学习中观察到的重要性加权的各种新现象,而且还扩展到权重作为模型的一部分进行优化的研究,这适用于正在积极研究的许多主题。
2021-03-28 cs.LG
Maximum Impact with Fewer Features: Efficient Feature Selection for Cold-Start Recommenders through Collaborative Importance Weighting
AIRI, HSE University(AIRI,俄罗斯伏尔加格勒国立大学)
提出基于协同重要性加权的特征选择策略,通过混合矩阵分解和最大体积算法排序特征,在冷启动推荐中以最少特征实现高准确度与高效率。
2025-08-08 cs.IR cs.LG
Nonparametric Variable Screening with Optimal Decision Stumps
Princeton University(普林斯顿大学)
决策树及其集成具有丰富的诊断工具集,用于在预测模型中对变量进行排名和筛选。尽管基于树的变量重要性度量方法得到了广泛的应用,但确定它们的理论性质一直是一个挑战,因此在很大程度上尚未探索。为了解决理论和实践之间的差距,我们得出有限样本的性能保证变量选择非参数模型使用单级CART决策树(决策树桩)。在变量筛选文献中的标准操作假设下,我们发现每个变量和环境维度的边际信号强度可以分别比最先进的非参数变量选择方法弱得多和高得多。此外,与试图通过截断基扩展直接估计每个边缘投影的先前边缘筛选方法不同,这里使用的拟合模型是一个简单的、简约的决策树桩,从而消除了调整基项数量的需要。因此,令人惊讶的是,即使决策树对于估计目的是高度不准确的,它们仍然可以用于执行一致的模型选择。
2020-12-11 cs.LG stat.ML
Structure Discovery in Nonparametric Regression through Compositional Kernel Search
U. Cambridge(剑桥大学);MIT(麻省理工学院)
尽管它的重要性,在非参数回归的内核的结构形式的选择仍然是一个黑色的艺术。我们定义了一个空间的内核结构,这是由添加和乘以少量的基本内核组成。我们提出了一种方法来搜索这个空间的结构,反映了科学发现的过程。学习的结构通常可以将函数分解为可解释的组件,并在时间序列数据集上进行长距离外推。我们的结构搜索方法在各种预测任务上优于许多广泛使用的内核和内核组合方法。
2013-05-13 cs.LG stat.ME stat.ML
Nonparametric sparsity and regularization
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genova(热那亚大学)
在这项工作中,我们感兴趣的监督学习和变量选择的问题时,输入-输出依赖性描述的非线性函数依赖于几个变量。我们的目标是考虑一个稀疏的非参数模型,从而避免线性或加性模型。其关键思想是利用偏导数来衡量模型中每个变量的重要性。基于这种直觉,我们提出了一个新的非参数稀疏性的概念和相应的最小二乘正则化方案。利用再生核希尔伯特空间和近似方法理论的概念和结果,我们表明,所提出的学习算法对应于一个最小化问题,可以证明解决的迭代过程。所得到的估计的一致性性质的研究,无论是在预测和选择性能。一个广泛的实证分析表明,所提出的方法表现良好,相对于国家的最先进的方法。
2012-08-13 cs.LG math.OC stat.ML
Importance Weighting Approach in Kernel Bayes' Rule
Gatsby Unit(盖茨比计算神经科学中心);DeepMind(深度思维)
我们研究了一种非参数方法贝叶斯计算通过功能的手段,在先验特征的期望更新,以产生预期的内核后验特征,从学习的神经网络或内核功能的观察回归的基础上。贝叶斯更新中涉及的所有量都是从观测数据中学习的,使得该方法完全无模型。由此产生的算法是一个新的核贝叶斯规则(KBR)的基础上的重要性加权的情况下。这导致优越的数值稳定性,原来的方法KBR,这需要运营商反演。我们使用一种新的一致性分析的重要性加权估计在无穷范数的估计的收敛性。我们评估KBR具有挑战性的合成基准,包括一个过滤问题的状态空间模型,涉及高维图像观测。重要性加权KBR产生均匀更好的经验性能比原来的KBR,和其他竞争方法的竞争性能。
2022-08-10 cs.LG stat.ML
Nonparametric regression using needlet kernels for spherical data
Wenzhou University(温州大学)
针状体由于其在空间域和频域上的优良局部化特性,已被公认为是处理球形数据的最先进的工具。本文考虑发展核方法与needlet核的非参数回归问题的预测变量定义在一个球体上。由于在频域中的局部化性质,我们证明了与针状核相关的核岭回归的正则化参数可以任意快速地减小。一个自然的结果是核岭回归的正则化项在速率最优性的意义上是不必要的。基于其在空间域上的优良局部化性质,我们还证明了所有与needlet核相关的$l^{q}$ $(01\leq q < \infty)$核正则化估计,包括核lasso估计和核桥估计,在速率最优意义下,对大范围的正则化参数具有几乎相同的推广能力.这一发现初步表明,如果针内核被利用,那么选择$q$可能不会有很大的影响,在某些建模环境中的泛化能力。从这个角度来看,$q$可以被任意指定,或者仅由其他非泛化标准(如平滑度、计算复杂性、稀疏性等)指定。
2015-09-10 cs.LG stat.ML
Deep Learning with Nonparametric Clustering
聚类是机器学习和数据采掘中的一个基本问题。影响聚类性能的一个重要因素是如何学习或设计数据表示(或功能)。幸运的是,深度学习的最新进展可以有效地学习无监督特征,并在许多分类问题中取得了最先进的性能,例如字符识别,对象识别和文档分类。然而,人们很少关注深度学习在无监督聚类问题中的潜力。在本文中,我们提出了一个具有非参数聚类的深度信念网络。作为一种无监督方法,我们的模型首先利用了深度学习的优势进行特征表示和降维。然后,它执行非参数聚类下的最大间隔框架-判别聚类模型,可以有效地在线训练的代码空间。最后在深度信念网络中对模型参数进行优化。因此,该模型可以在一个统一的框架中学习用于聚类的特征并推断模型的复杂性。实验结果表明,我们的方法的优势,竞争力的基线。
2015-01-13 cs.LG
IMPACT: Importance Weighted Asynchronous Architectures with Clipped Target Networks
UC Berkeley(加州大学伯克利分校)
强化学习代理的实际使用经常受到训练时间持续时间的影响。为了加速训练,实践者经常转向分布式强化学习架构来并行化和加速训练过程。然而,用于可扩展强化学习(RL)的现代方法经常在RL代理可以学习的样本的吞吐量(样本吞吐量)和从每个样本学习的质量(样本效率)之间进行权衡。在这些可扩展的RL架构中,随着样本吞吐量的增加(即,增加IMPALA中的并行化),样本效率显著下降。为了解决这个问题,我们提出了一个新的分布式强化学习算法,IMPACT。IMPACT扩展IMPALA有三个变化:一个目标网络稳定的代理目标,一个循环缓冲区,截断重要性采样。在离散的动作空间环境中,我们表明,IMPACT获得更高的奖励,同时,实现了高达30%的减少训练墙时间比IMPALA。对于连续控制环境,IMPACT的训练速度比现有的可扩展代理更快,同时保持同步PPO的样本效率。
2020-01-23 cs.LG stat.ML
IMPACT: Importance-Aware Activation Space Reconstruction
Department of Computer Science, Iowa State University, United States(爱荷华州立大学计算机科学系);Meta, United States(Meta公司)
本文提出IMPACT框架,通过结合激活结构与梯度重要性,实现低秩压缩优化,实验显示在保持准确性的同时,模型大小可减少55.4%。
2026-04-20 cs.LG stat.ML
What is the Effect of Importance Weighting in Deep Learning?
Carnegie Mellon University(卡内基梅隆大学)
重要性加权风险最小化是许多机器学习算法中的关键成分,用于因果推理,领域自适应,类不平衡和离线强化学习。虽然重要性加权的效果对于低容量错误指定模型的特征很好,但关于它如何影响过度参数化的深度神经网络却知之甚少。这项工作的灵感来自于最近的理论结果,这些理论结果表明,在(线性)可分离的数据上,SGD优化的深度线性网络学习权重不可知的解决方案,这促使我们问,对于现实的深度网络,许多实际的数据集是可分离的,重要性加权的效果是什么?我们提出了令人惊讶的发现,虽然重要性加权在训练早期会影响模型,但其影响会随着时间的推移而减弱。此外,虽然L2正则化和批量归一化(但不是dropout)恢复了重要性加权的一些影响,但它们通过(似乎)错误的抽象来表达效果:为什么从业者要调整L2正则化,以及调整多少,以产生正确的加权效果?我们的实验在一系列架构和数据集上证实了这些发现。
2019-06-13 cs.LG stat.ML
Determination of class-specific variables in nonparametric multiple-class classification
随着技术的进步,通过自动收集设备收集数据变得流行,因此我们通常会面临具有冗长变量的数据集,特别是当这些数据集事先没有特定的研究目标时。已有文献指出,高维分类问题的困难本质上是由太多的噪声变量造成的,这些噪声变量对减少分类误差毫无用处,从而减少了决策的益处,并增加了模型解释的复杂性和混乱。因此,一个好的变量选择策略是很好地使用这类数据的必要条件;特别是当我们希望将其结果用于后续应用/研究时,模型解释能力至关重要。因此,传统的分类措施,如准确度,灵敏度,精度,不能是唯一的性能任务。本文提出了一种基于概率的非参数多类分类方法,并将其与识别单个类的高影响变量的能力相结合,使我们能够更多地了解其分类规则和每个类的特征。所提出的方法可以使其预测能力近似等于贝叶斯规则,并仍然保留了“模型解释”的能力。“我们报告了所提出的方法的渐近性质,并使用合成和真实数据集来说明其在不同分类情况下的性质。我们还分别讨论了变量识别,和训练样本量确定,并总结这些程序的算法,使用户可以很容易地实现他们与不同的计算语言。
2022-05-07 cs.LG stat.CO stat.ME
Transfer learning for nonparametric Bayesian networks
Aingura IIoT;Universidad Politécnica de Madrid, Departamento de Inteligencia Artificial(马德里理工大学人工智能系)
本文提出两种非参数贝叶斯网络迁移学习方法,PC-stable-transfer学习和hill climbing transfer学习,通过约束和评分方法提升模型性能,同时引入特定指标解决负迁移问题,最终通过统计检验证明方法有效性。
2026-04-03 cs.AI cs.LG
Random Forest Regression Feature Importance for Climate Impact Pathway Detection
Sandia National Laboratories(桑迪亚国家实验室)
本文提出一种基于随机森林回归和SHAP特征重要性的新工作流程,将特征重要性转化为加权有向路径网络,用于发现和排序气候扰动的时空下游影响路径,并在合成方程和皮纳图博火山喷发模拟上验证了其准确性。
2024-12-25 cs.LG
The impact of feature importance methods on the interpretation of defect classifiers
Huawei(华为);Queen’s University(女王大学);University of Manitoba(曼尼托巴大学);Kyushu University(九州大学)
分类器特定(CS)和分类器不可知(CA)的特征重要性方法被广泛使用(通常可互换)由现有的研究,从缺陷分类器获得特征重要性排名。然而,即使对于相同的数据集和分类器,不同的特征重要性方法也可能计算不同的特征重要性排名。因此,这种可互换使用的特征重要性的方法可能会导致结论不稳定,除非有一个很强的协议之间的不同的方法。因此,在本文中,我们通过对18个软件项目和6个常用分类器的案例研究,评估与所研究的分类器相关的特征重要性等级之间的协议。我们发现:1)CA和CS方法计算的特征重要性排名并不总是完全一致。2)所研究的CA方法计算的特征重要性排名表现出很强的一致性,包括在给定的数据集和分类器的前1名和前3名的排名报告的功能,而即使是常用的CS方法产生截然不同的特征重要性排名。这些发现引起了人们对重复研究结论稳定性的担忧。我们进一步观察到,常用的缺陷数据集充满了特征交互,这些特征交互影响CS方法(而不是CA方法)的计算特征重要性排名。我们表明,删除这些功能的相互作用,即使是简单的方法,如CFS提高CA和CS方法的计算特征的重要性等级之间的协议。根据我们的研究结果,我们为利益相关者和从业者提供了进行模型解释的指导方针,并为未来的研究提供了方向,例如,未来的研究需要调查高级特征交互去除方法对不同CS方法的计算特征重要性等级的影响。
2022-02-04 cs.AI cs.LG cs.SE
A Deep Bayesian Nonparametric Framework for Robust Mutual Information Estimation
University of Alberta(阿尔伯塔大学);University of Hong Kong(香港大学)
本文提出基于狄利克雷过程后验有限表示的深度贝叶斯非参数互信息估计框架,通过正则化损失降低方差并提升收敛稳定性,在变分自编码器及三维CT图像生成中验证了其有效性。
2025-03-11 cs.LG stat.AP stat.CO
Variable Importance Matching for Causal Inference
Duke University(杜克大学)
提出Model-to-Match框架,利用变量重要性构建距离度量进行匹配,结合LASSO实现高维因果推断,兼顾可审计性、准确性与可扩展性。
2023-06-28 cs.LG econ.EM stat.ME