Rethinking the Design Space of Reinforcement Learning for Diffusion Models: On the Importance of Likelihood Estimation Beyond Loss Design
Georgia Institute of Technology(佐治亚理工学院);National University of Singapore(新加坡国立大学);Nanjing university(南京大学)
本文研究了扩散模型强化学习设计空间中的关键问题,通过分解策略梯度目标、似然估计器和回放采样方案三个因素,发现基于证据下界(ELBO)的模型似然估计器是实现有效、高效和稳定强化学习优化的主要因素,优于特定策略梯度损失函数的影响。
2026-09-18 cs.AI cs.LG
Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning
Eindhoven University of Technology (TU/e)(埃因霍温理工大学);Wayve Technologies Ltd(Wayve科技有限公司)
本文研究多模态信息整合对缓解深度神经网络灾难性遗忘的作用,提出多模态持续学习基准及基于关系结构相似性的模态对齐方法,并验证其能显著提升持续学习鲁棒性。
2024-05-04 cs.AI cs.CV cs.LG
Beyond Effective Sample Size: Effective Number of Proposals for Adaptive Importance Sampling
Islamic Azad University, Neyshabur Branch(伊斯兰阿扎大学内沙布尔分校);University of Edinburgh(爱丁堡大学)
该研究针对自适应重要性采样,提出有效提议数量(ENP)指标,可检测标准有效样本量遗漏的提议崩溃与重复,还可用于提议更新的反馈。
2026-08-18 cs.LG stat.ML
Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs
University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
LSTM最近成功背后的驱动力是它们学习复杂和非线性关系的能力。因此,我们无法描述这些关系,导致LSTM被描述为黑箱。为此,我们引入了上下文分解(CD),这是一种解释算法,用于分析标准LSTM做出的单个预测,而无需对底层模型进行任何更改。通过分解LSTM的输出,CD捕获单词或变量的组合对LSTM最终预测的贡献。在使用Yelp和SST数据集进行情感分析的任务中,我们展示了CD能够可靠地识别对比情感的单词和短语,以及如何将它们组合起来产生LSTM的最终预测。使用SST中的短语级标签,我们还证明了CD能够成功地从LSTM中提取正负否定,这是以前没有做过的。
2018-04-27 cs.CL cs.LG stat.ML
Beyond Feature Importance: Feature Interactions in Predicting Post-Stroke Rigidity with Graph Explainable AI
Yale University(耶鲁大学)
本研究利用Graphormer和图注意力网络等图模型捕捉特征交互,在519K条卒中住院记录上预测卒中后僵硬,AUROC达0.75,优于传统模型,并识别出NIH卒中量表等关键预测因子。
2025-04-10 cs.LG
Neural expressiveness for beyond importance model compression
School of Electrical and Computer Engineering (ECE)(电气与计算机工程学院);National Technical University of Athens (NTUA)(雅典国家技术大学)
本文提出了一种基于神经表达性的模型压缩方法,通过强调信息资源的有效重新分配能力,实现了比传统方法更高的压缩效率和性能提升。
2025-12-06 cs.LG
Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components
St. Jude Children’s Research Hospital(圣犹大儿童研究医院);The University of Hong Kong(香港大学)
提出互换组Sobol分解(IGSD),通过配对干预区分组件的内容传输与计算退化角色,在事实回忆任务中发现标准方法低估的早期层内容通道。
2026-06-23 cs.LG stat.ME stat.ML
Deployment of a Robust and Explainable Mortality Prediction Model: The COVID-19 Pandemic and Beyond
Cooper University Hospital(库珀大学医院);University of Pennsylvania Perelman School of Medicine(宾夕法尼亚大学佩雷尔曼医学院);Moffitt Cancer Center(莫菲特癌症中心)
本研究首次系统考察了COVID-19期间部署的AI死亡率预测模型,证明贝叶斯神经网络结合智能训练技术可在数据偏移下保持稳健性能,并强调可解释性与不确定性量化对临床决策的价值。
2023-11-28 cs.AI cs.LG
Provable benefits of annealing for estimating normalizing constants: Importance Sampling, Noise-Contrastive Estimation, and beyond
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);University of Helsinki(赫尔辛基大学);Carnegie-Mellon University(卡内基梅隆大学)
该研究针对退火法估计归一化常数的设计选择缺乏效率理论的问题,通过渐近误差分析对比估计器与分布路径的性能,证明算术路径的最优性并提出高效逼近最优路径的两步估计器。
2023-10-09 cs.LG stat.ML
Complexity Analysis of Normalizing Constant Estimation: from Jarzynski Equality to Annealed Importance Sampling and beyond
Georgia Institute of Technology(佐治亚理工学院)
本文研究了归一化常数估计问题,提出了一种非渐近分析方法,推导了退火重要性采样估计归一化常数的复杂度,并提出了一种新的算法以处理多模态问题。
2026-05-19 cs.LG cs.NA math.NA
When Features Beat Noise: A Noise-Driven Hypothesis Testing Method for Feature Selection
本文提出了一种基于噪声假设检验的特征选择方法,通过非参数自助法建立理论基础,有效提升特征选择的可靠性与性能。
2026-11-19 cs.LG stat.ML
Layer-Wise Quantization: A Pragmatic and Effective Method for Quantizing LLMs Beyond Integer Bit-Levels
ServiceNow Research(ServiceNow研究院);University of Arizona(亚利桑那大学);Università di Bologna(博洛尼亚大学)
本文提出独立于底层技术的 LLM 逐层混合比特量化方法,通过两种层重要性指标分配精度,在显著压缩模型的同时保持性能,并验证其与动态量化互补及在大模型上的优势。
2024-10-28 cs.AI cs.CL cs.LG
Beyond Token Eviction: Mixed-Dimension Budget Allocation for Efficient KV Cache Compression
Peking University(北京大学)
本文提出混合维度KV缓存压缩方法,通过更细粒度的维度分配提升效率,实验显示其在长上下文任务中表现优于现有方法,仅用6.25%的缓存即可达到全注意力性能。
2026-03-21 cs.LG
Diffusion Alignment Beyond KL: Variance Minimisation as Effective Policy Optimiser
Imperial College London(帝国理工学院伦敦分校);Samsung R&D Institute UK(三星英国研发中心)
本文提出方差最小化策略优化方法,通过最小化对数重要权重的方差来实现扩散对齐,超越传统KL优化,提供新的设计方向。
2026-02-12 cs.LG
Explainable AI for Cancer Drug Response Prediction: Beyond Univariate Feature Attributions
University of Pisa(比萨大学);EMBL-EBI(欧洲分子生物学实验室-欧洲生物信息学研究所);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
提出ILLUME+框架,通过多形式解释超越单基因重要性评分,提高基因重要性稳定性,恢复已知药物-基因关联并发现新分子信号。
2026-07-02 cs.LG
Relative Feature Importance
LMU Munich(慕尼黑大学);University of Vienna(维也纳大学)
可解释的机器学习(IML)方法用于深入了解感兴趣特征与模型性能的相关性。常用的IML方法的不同之处在于它们是否孤立地考虑感兴趣的特征,例如,置换特征重要性(PFI),或者与所有剩余的特征变量相关,例如,条件特征重要性(CFI)。因此,PFI和CFI固有的扰动机制代表了极端的参考点。我们引入了相对特征重要性(RFI),PFI和CFI的推广,允许一个更细致入微的特征重要性计算超出PFI与CFI二分法。使用RFI,可以评估特征相对于任何其他特征子集的重要性,包括在训练时不可用的变量。我们推导出一般的解释规则RFI的基础上,详细的理论分析的影响,相对功能的相关性,并证明了该方法的实用性模拟的例子。
2020-07-16 cs.LG stat.ML
Conditional Local Importance by Quantile Expectations
Department of Mathematics & Statistics(数学与统计学系)
提出模型无关的局部变量重要性方法CLIQUE,通过分位数期望捕获局部依赖关系,提升稳定性并直接适用于多类分类问题。
2026-06-17 cs.LG stat.CO stat.ML
Feature Importance Estimation with Self-Attention Networks
Jožef Stefan Institute(约泽夫·斯蒂芬研究所);International Postgraduate School Jožef Stefan(约泽夫·斯蒂芬国际研究生院)
黑箱神经网络模型广泛应用于工业和科学领域,但难以理解和解释。最近,注意力机制被引入,提供了对神经语言模型内部工作的见解。本文探讨了使用基于注意力的神经网络机制来估计特征的重要性,作为解释从命题(表格)数据中学习的模型的手段。特征的重要性估计,评估所提出的自注意力网络(SAN)架构,建立ReliefF,互信息和随机森林为基础的估计,这是广泛用于在实践中的模型解释进行比较。我们第一次在10个真实和合成数据集上对不同算法的特征重要性估计进行无尺度比较,以研究所得到的特征重要性估计的相似性和差异,表明SAN识别类似的高排名特征。我们证明,SAN识别功能的相互作用,在某些情况下,产生更好的预测性能比基线,这表明注意力超出了几个关键功能的相互作用,并检测较大的功能子集相关的考虑学习任务。
2020-02-11 cs.LG stat.ML
Decomposing and Interpreting Image Representations via Text in ViTs Beyond CLIP
University of Maryland, College Park(马里兰大学帕克分校)
本文提出一个通用框架,通过将ViT各组件贡献线性映射到CLIP空间并用文本解释,结合新评分函数识别组件重要性,从而在CLIP之外理解ViT组件与图像特征的关系,并应用于图像检索、热图可视化和虚假相关性缓解。
2024-10-21 cs.CV cs.LG
ECG Feature Importance Rankings: Cardiologists vs. Algorithms
Heinrich Hertz Institute(海因里希·赫兹研究所);Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);National Physical Laboratory(英国国家物理实验室);Institute of Metrology of Bosnia and Herzegovina(波黑计量研究所);University of Edinburgh(爱丁堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Oldenburg(奥尔登堡大学);University of Surrey(萨里大学)
本研究在心脏病领域的真实ECG数据上测试特征重要性方法,以心脏病学家的决策规则特征作为真实基准,评估并比较了多种算法在区分特定病理与健康受试者时的表现。
2023-04-05 cs.LG eess.SP physics.med-ph
Transformation Importance with Applications to Cosmology
UC Berkeley(加州大学伯克利分校);LBNL(劳伦斯伯克利国家实验室);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);Chan Zuckerberg Biohub(陈·扎克伯格生物中心)
机器学习是科学发现、知识生成和人工智能的新可能性的核心。它对这些领域的潜在好处需要超越预测的准确性,并专注于可解释性。特别是,许多科学问题需要在特定于域的可解释特征空间(例如频域)中进行解释,而对原始特征(例如像素空间)的归因可能是不可理解的甚至是误导的。为了应对这一挑战,我们提出了TRIM(transformationimportance),这是一种新的方法,它将重要性归因于变换空间中的特征,并且可以事后应用于经过充分训练的模型。TRIM的动机是在模拟数据上使用深度神经网络(DNN)的宇宙学参数估计问题,但它通常适用于跨域/模型,并且可以与任何局部解释方法相结合。在我们的宇宙学示例中,将TRIM与上下文分解相结合显示出识别DNN使用哪些频率的有希望的结果,帮助宇宙学家理解和验证模型学习适当的物理特征,而不是模拟伪影。
2021-06-14 astro-ph.IM cs.LG stat.ML
Binary Stochastic Filtering: feature selection and beyond
特征选择是理解数据和机器学习模型的最具决定性的工具之一。在其他方法中,由$L^{1}$惩罚引起的稀疏性是解决这个问题的最简单和最好的研究方法之一。虽然这种正则化经常用于神经网络以实现权重或单元激活的稀疏性,但尚不清楚如何将其用于特征选择问题。这项工作的目的是扩展神经网络的能力,自动选择功能,重新思考如何稀疏正则化可以使用,即,通过随机惩罚功能的参与,而不是层的权重。所提出的方法已经证明了优越的效率相比,一些经典的方法,实现了最小或没有计算开销,并可以直接应用到任何现有的架构。此外,该方法是很容易推广的神经元修剪和光谱数据的重要区域的选择。
2020-07-08 cs.LG stat.ML
Knowledge Discovery from Atomic Structures using Feature Importances
在分子水平上理解原子结构组分之间的相互作用对于在各种应用中设计新材料是必不可少的。这种需要超出了原子的数量和类型,它们的化学组成以及化学相互作用的性质的基本知识。更大的图像发生在量子水平上,可以通过使用密度泛函理论(DFT)来解决。然而,DFT的使用是一个计算繁重的过程,其结果不容易提供容易解释的原子相互作用的洞察力,这将是有用的信息,在材料设计。解决原子相互作用的另一种方法是使用可解释的机器学习方法,其中构建和分析预测DFT替代。本文的目的是提出这样一个程序,使用最近出版的可解释的距离为基础的回归方法的修改。我们的测试具有代表性的基准集的分子和一个复杂的混合纳米粒子证实了所提出的方法的可行性和实用性。
2023-02-28 cond-mat.mtrl-sci cs.LG
Challenges in Variable Importance Ranking Under Correlation
Princeton University(普林斯顿大学);Merck & Co., Inc.(默克公司)
本研究通过模拟和理论证明,揭示了特征相关性对变量重要性排序的挑战,特别是条件预测影响(CPI)方法在高相关特征下的局限性,强调需理解方法效用与局限。
2024-02-05 cs.LG stat.ME stat.ML
Maximum Impact with Fewer Features: Efficient Feature Selection for Cold-Start Recommenders through Collaborative Importance Weighting
AIRI, HSE University(AIRI,俄罗斯伏尔加格勒国立大学)
提出基于协同重要性加权的特征选择策略,通过混合矩阵分解和最大体积算法排序特征,在冷启动推荐中以最少特征实现高准确度与高效率。
2025-08-08 cs.IR cs.LG