Dynamic Memory for Interpretable Sequential Optimisation
Apple（苹果公司）
强化学习在推荐和实验中的实际应用面临着一个实际的挑战：不同强盗武器的相对奖励可以在学习代理的生命周期中演变。为了处理这些非平稳的情况下，代理必须忘记一些历史知识，因为它可能不再相关，以尽量减少遗憾。我们提出了一个解决方案来处理非平稳性，适合大规模部署，为业务运营商提供自动化自适应优化。我们的解决方案旨在提供人类可以信任的可解释学习，同时响应非平稳性以最大限度地减少遗憾。为此，我们开发了一个自适应贝叶斯学习代理，采用了一种新的形式的动态记忆。它通过统计假设检验实现可解释性，通过在比较奖励时瞄准统计功率的设定点并动态调整其记忆以实现此功率。通过设计，代理对不同类型的非平稳性是不可知的。使用数值模拟，我们将其性能与现有的建议进行比较，并表明，在多个非平稳的情况下，我们的代理正确地适应真实奖励的真实变化。在所有的bandit解决方案中，在学习和实现最大性能之间存在明确的权衡。与另一种类似的鲁棒方法相比，我们的解决方案在这种权衡上处于不同的位置：我们优先考虑可解释性，这依赖于更多的学习，以一些遗憾为代价。我们描述了一个大规模部署的自动优化作为一种服务，我们的代理实现可解释性，同时适应不断变化的情况下的架构。
2022-06-28 cs.AI cs.LG stat.ML
A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Guangdong Institute of Smart Education, Jinan University（暨南大学广东智慧教育研究院）；Halicioglu Data Science Institute, University of California, San Diego（加州大学圣地亚哥分校哈利奇奥格鲁数据科学学院）
针对深度知识追踪中问题个体信息建模不足和预测结果缺乏可解释性的问题，本文提出以问题为中心的多专家对比学习框架Q-MCKT，以提升知识追踪的准确性与可解释性。
2024-07-05 cs.AI cs.CY cs.LG
Increasing the Interpretability of Recurrent Neural Networks Using Hidden Markov Models
Harvard University（哈佛大学）
随着深度神经网络不断革新各种应用领域，人们越来越有兴趣使这些强大的模型更容易理解和解释，并缩小好的和坏的预测的原因。我们专注于循环神经网络，语音识别和翻译中的最先进模型。我们提高可解释性的方法是将长短期记忆（LSTM）模型与隐马尔可夫模型（HMM）相结合，这是一种更简单，更透明的模型。我们将HMM状态概率添加到LSTM的输出层，然后依次或联合训练HMM和LSTM。LSTM可以利用来自HMM的信息，并在HMM表现不佳时填补空白。小型混合模型通常比相同大小的独立LSTM性能更好，特别是在较小的数据集上。我们在文本数据和医学时间序列数据上测试了这些算法，发现LSTM和HMM学习了关于文本中特征的互补信息。
2016-11-18 cs.LG stat.ML
A Framework for Interpretability in Machine Learning for Medical Imaging
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；Weill Cornell Medical School（威尔康奈尔医学院）；Harvard Medical School（哈佛医学院）；MIT（麻省理工学院）
本文针对医学影像机器学习中可解释性概念模糊的问题，提炼五项核心要素并提出分步框架，以指导方法设计、实际应用与未来研究。
2024-04-16 cs.LG
Interpretability of machine learning based prediction models in healthcare
University of Maribor（马里博尔大学）；Harvard University（哈佛大学）；KU Leuven（鲁汶大学）
需要确保可解释的机器学习模型。模型的可解释性更高意味着最终用户更容易理解和解释未来的预测。此外，可解释的机器学习模型允许医疗保健专家做出合理的和数据驱动的决策，以提供个性化的决策，最终可以在医疗保健中实现更高的服务质量。一般来说，我们可以将可解释性方法分为两组，第一组侧重于个性化解释（局部可解释性），而第二组总结了人口水平上的预测模型（全局可解释性）。或者，我们可以将可解释性方法分为模型特定技术和模型不可知方法，模型特定技术旨在解释由特定模型（如神经网络）生成的预测，模型不可知方法为任何机器学习模型所做的预测提供易于理解的解释。在这里，我们概述了可解释性方法，并提供了机器学习在不同医疗保健领域的实际可解释性示例，包括预测健康相关结果，优化治疗或提高特定条件的筛选效率。此外，我们概述了可解释的机器学习的未来发展方向，并强调了开发算法解决方案的重要性，这些解决方案可以在高风险的医疗保健问题中实现机器学习驱动的决策。
2020-08-14 cs.LG stat.ML
1st ICLR International Workshop on Privacy, Accountability, Interpretability, Robustness, Reasoning on Structured Data (PAIR^2Struct)
Rutgers University（罗格斯大学）；Hong Kong Polytechnic University（香港理工大学）；Massachusetts Institute of Technology（麻省理工学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Columbia University（哥伦比亚大学）；Peking University（北京大学）
近年来，与人工智能（AI）的负责任和道德使用有关的原则和指导在全球范围内取得了进展。具体而言，数据隐私、问责制、可解释性、鲁棒性和推理已被广泛认为是在决策关键和/或隐私敏感应用程序上使用机器学习（ML）技术的基本原则。另一方面，在大量的现实世界应用中，数据本身可以很好地表示为各种结构化的形式主义，例如图结构数据（例如，网络），网格结构数据（例如，图像），顺序数据（例如，通过利用固有的结构化知识，人们可以设计合理的方法来识别和使用更相关的变量来做出可靠的决策，从而促进现实世界的部署。
2022-10-07 cs.AI cs.CR cs.CV
DeepLogit: A sequentially constrained explainable deep learning modeling approach for transport policy analysis
Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（高性能计算研究所（IHPC）、科技研究局（A*STAR））；Department of Physics, National University of Singapore（新加坡国立大学物理系）
本研究提出 DeepLogit 模型，通过顺序约束方法结合线性 CNN 与高级深度学习架构，在保留离散选择模型参数可解释性的同时提升预测准确度，为交通政策分析提供理论驱动与数据驱动相统一的建模方案。
2025-09-17 cs.AI cs.LG
Beyond Components: Singular Vector-Based Interpretability of Transformer Circuits
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎浦尔（IIT坎浦尔））
本文提出基于奇异向量的Transformer电路可解释性方法，揭示了模型内部更分布、结构化和组合化的计算特性。
2025-11-25 cs.AI cs.CL cs.LG
On Interpretability of Artificial Neural Networks: A Survey
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
以人工深度神经网络（DNN）为代表的深度学习在处理文本、图像、视频、图形等重要领域取得了巨大成功，但DNN的黑箱性质已成为其在医疗诊断和治疗等关键任务应用中被广泛接受的主要障碍之一。由于深度学习的巨大潜力，解释神经网络最近吸引了许多研究关注。在本文中，我们全面的分类的基础上，我们系统地回顾了最近的研究在理解神经网络的机制，描述了可解释性的应用，特别是在医学中，并讨论了未来的可解释性研究的方向，如与模糊逻辑和脑科学。
2021-09-27 cs.AI cs.LG stat.ML
Mechanistic Interpretability of Code Correctness in LLMs via Sparse Autoencoders
College of Computer Studies（计算机科学学院）
本研究利用稀疏自编码器分解大语言模型表征，识别代码正确性相关方向并分析其机制，发现测试用例注意力对代码生成的关键作用，提出了提示优化、错误警报和选择性引导三项实际应用。
2025-10-03 cs.LG cs.SE
High-Dimensional Online Change Point Detection with Adaptive Thresholding and Interpretability
Federal Institute for Occupational Safety and Health, Dresden（德累斯顿联邦职业安全与健康研究所）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Sapienza University of Rome（罗马第一大学）
本文提出基于切片Wasserstein距离的高维在线变点检测框架，结合自适应阈值和对比解释，显著降低误报率并提升可解释性。
2026-09-22 cs.LG
Towards interpretability of Mixtures of Hidden Markov Models
KTH Royal Institute of Technology（瑞典皇家理工学院）
隐马尔可夫模型的混合（MHMM）经常用于序列数据的聚类。与任何聚类方法一样，MHALK的一个重要方面是它们可以解释，允许从数据中获得新的见解。然而，如果没有一个适当的方法来衡量可解释性，评价新的贡献是困难的，它变得几乎不可能设计的技术，直接优化这一属性。在这项工作中，提出了一个信息论度量（熵）的MHSTRY解释性，并在此基础上，提出了一种新的方法来提高模型的解释性，即，熵正则化期望最大化（EM）算法。新方法旨在减少MHMM中马尔可夫链（涉及状态转移矩阵）的熵，即，在聚类期间将更高的权重分配给公共状态转换。有人认为，这种熵的减少，在一般情况下，导致改善的可解释性，因为最有影响力的和重要的状态转换的集群可以更容易地确定。实证调查表明，它是可能的，以提高MHALGOT的可解释性，如熵测量，而不牺牲（而是改善）聚类性能和计算成本，如测量的V-措施和EM迭代次数，分别。
2021-03-23 cs.AI cs.LG
Temporally Interpretable Differentiable Decision Trees
Purdue University（普渡大学）；University of Southern California（南加州大学）
本文提出时间可解释性概念，通过动作分块和新型策略梯度算法及树重构算法，使可微决策树在序列决策中匹配神经网络性能，参数减少80%。
2026-10-08 cs.LG cs.RO
Deep Sequential Models for Suicidal Ideation from Multiple Source Data
UC3M（马德里卡洛斯三世大学）；Health Research Institute Gregorio Marañón（格雷戈里奥·马拉尼翁健康研究所）；Lapeyronie Hospital（拉佩罗尼医院）；University of Montpellier（蒙彼利埃大学）；Universidad Autónoma de Madrid（马德里自治大学）
本文提出了一种新的方法来预测自杀意念的电子健康记录（EHR）和生态瞬时评估（EMA）数据使用深度序贯模型。EHR纵向数据和EMA问题形式都是由异步、可变长度、随机采样的数据序列定义的。在我们的方法中，我们用递归神经网络（RNN）对它们中的每一个进行建模，并且通过使用时间标记连接它们中的每一个的隐藏状态来对齐这两个序列。此外，我们将注意力计划，以提高在长序列和时间无关的预训练计划，以应付非常短的序列的性能。使用1023例患者的数据库，我们的实验结果表明，EMA记录的增加提高了系统召回预测自杀意念诊断从48.13%完全从基于电子病历的国家的最先进的方法获得67.78%。此外，我们的方法通过潜在空间的t-SNE表示提供了可解释性。此外，最相关的输入特征被医学地识别和解释。
2019-11-06 cs.LG stat.ML
TSInsight: A local-global attribution framework for interpretability in time-series data
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；TU Kaiserslautern（凯泽斯劳滕工业大学）
随着深度学习方法在安全关键场景中的应用越来越多，可解释性比以往任何时候都更加重要。虽然已经探索了许多不同的方向，关于可解释性的视觉模态，时间序列数据已被忽略，只有少数的方法测试，由于其较差的可理解性。我们通过提出TSInsight以一种新的方式来解决可解释性问题，在TSInsight中，我们将自动编码器附加到分类器上，在其输出上具有稀疏诱导范数，并根据分类器的梯度和重建惩罚对其进行微调。TSInsight学习保留对分类器预测重要的特征，并抑制那些不相关的特征，即作为一种特征归因方法来提高可解释性。与大多数其他归因框架相比，TSInsight能够生成基于实例和基于模型的解释。我们在8个不同的时间序列数据集上评估了TSInsight以及其他9种常用的归因方法，以验证其有效性。评估结果表明，TSInsight自然实现了输出空间收缩，因此，是一个有效的工具，深度时间序列模型的可解释性。
2020-04-06 cs.AI cs.LG stat.ML
Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability
IISER Bhopal（印度博帕尔科学教育与研究所）；IBM Research（IBM研究院）
本研究提出机制可解释性的谱可识别性定理，利用Koopman算子构建模型内在指纹，在GPT-2 small等模型上验证了谱的收敛性及相关性质，为机制可解释性的基础组件提供了首个可识别性理论。
2026-08-12 cs.LG
Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers
IMT School for Advanced Studies（IMT高等研究学院）
本文提出了一种新的算法，用于从输入/输出训练数据集训练非线性动力系统的递归神经网络模型。任意凸和二次可微的损失函数和正则化项处理的顺序最小二乘和线搜索（LS）或Levenberg-Marquardt（LM）型的信赖域方法，以确保收敛。此外，为了处理非光滑正则化项，如$\ell_1$，$\ell_0$，和组Lasso正则化，以及施加可能的非凸约束，如整数和混合整数约束，我们结合顺序最小二乘法与交替方向乘法（ADMM）。我们呼吁由此产生的算法NAILS（非凸ADMM迭代和最小二乘）的情况下使用线搜索（LS），或NAILM，如果采用信赖域方法（LM）。训练方法，这也是适用于前馈神经网络作为一个特殊的情况下，在三个非线性系统辨识问题进行了测试。
2022-10-15 cs.LG cs.SY eess.SY
Interpretability and Explainability: A Machine Learning Zoo Mini-tour
ETH Zurich（苏黎世联邦理工学院）
在这篇综述中，我们研究了设计可解释和可解释的机器学习模型的问题。可解释性和可解释性是医学、经济学、法律和自然科学中许多机器学习和统计应用的核心。虽然可解释性和可解释性已经逃脱了一个明确的通用定义，但在最近30年中，这些属性激发了许多技术的发展，目前的焦点转向了深度学习方法。在这篇评论中，我们强调可解释性和可解释性之间的划分，并说明这两个不同的研究方向与具体的例子，国家的最先进的。审查的目的是为一般机器学习观众有兴趣探索的问题，解释和解释超越逻辑回归或随机森林变量的重要性。本书并非详尽的文献调查，而是一本有选择地侧重于作者认为有趣或信息丰富的某些研究领域的入门书。
2023-03-01 cs.LG
Nonlinear Causal Discovery through a Sequential Edge Orientation Approach
Department of Statistics and Data Science University of California, Los Angeles（统计与数据科学系 加州大学洛杉矶分校）
针对现有非线性因果发现方法的局限，提出序贯边定向程序，利用成对加性噪声模型定向CPDAG中的无向边，证明其在受限ANM下可恢复真实DAG，开发约束基算法，实验显示其高效鲁棒且性能更优。
2025-11-12 cs.LG stat.ML
Natively Interpretable Machine Learning and Artificial Intelligence: Preliminary Results and Future Directions
Diveplane Corporation（Diveplane公司）
为了更好地逼近复杂函数，机器学习模型已经变得越来越复杂。虽然在许多领域卓有成效，但增加的复杂性是以模型可解释性为代价的。曾经流行的k-最近邻（kNN）方法，它发现并使用最相似的数据进行推理，在最近几十年里受到的关注要少得多，因为与其他技术相比存在许多问题。我们表明，许多这些历史问题与kNN可以克服，我们的贡献不仅在机器学习，而且在在线学习，数据合成，异常检测，模型压缩和强化学习中的应用，而不牺牲可解释性。我们介绍了kNN和信息论之间的综合，我们希望将提供一个清晰的路径，模型是天生的可解释和可审计的。通过这项工作，我们希望将kNN与信息论结合起来，作为完全可审计的机器学习和人工智能的一条有前途的道路。
2019-01-18 cs.AI cs.LG stat.ML
Certified Interpretability Robustness for Class Activation Mapping
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
解释机器学习模型具有挑战性，但对于确保自动驾驶系统中深度网络的安全至关重要。由于基于深度学习的感知模型在自动驾驶汽车中的流行，准确解释其预测至关重要。虽然已经提出了各种这样的方法，但大多数都缺乏鲁棒性。然而，几乎没有做什么来提供可解释性鲁棒性的证书。朝着这个方向迈出一步，我们提出了CORGI，可证明的可解释性映射的鲁棒性保证的缩写。CORGI是一种算法，它接受输入图像并为其CAM可解释性图的前k个像素的鲁棒性给出可证明的下限。我们通过对交通标志数据的案例研究证明了CORGI的有效性，证明了最小对抗扰动的下限与最先进的攻击方法相差不远（4- 5倍）。
2023-01-26 cs.LG
Speeding-Up Convergence via Sequential Subspace Optimization: Current State and Future Directions
Technion—Israel Institute of Technology（以色列理工学院）
本文综述了顺序子空间优化框架在大规模无约束优化中的应用，探讨了其与并行坐标下降法的结合，以及如何通过改进方法提升求解效率。
2013-12-31 cs.LG cs.NA math.NA
Predicting Legal Proceedings Status: Approaches Based on Sequential Text Data
University of São Paulo（圣保罗大学）；Tikal Tech（蒂卡尔科技）
本文的目的是开发预测模型，将巴西的法律程序分为三类：（一）存档的程序，（二）积极的程序，和（三）暂停的程序。解决这一问题的目的是协助公共和私营机构管理大量的法律诉讼，在规模和效率方面取得进展。在本文中，法律程序是由一系列被称为"动议"的简短文本组成的。"我们结合了几种自然语言处理（NLP）和机器学习技术来解决这个问题。虽然使用葡萄牙语NLP，由于缺乏资源，这可能具有挑战性，但我们的方法在分类任务中表现非常出色，实现了0.93的最高准确度和0.89（宏观）和0.93（加权）的最高平均F1得分。此外，除了量化这些模式与分类任务的关系之外，我们还可以提取和解释我们的模型所学习的模式。可解释性步骤在机器学习法律应用中非常重要，它让我们对黑盒模型如何做出决策有了令人兴奋的了解。
2021-06-23 cs.CL cs.LG stat.ML
Compositional Function Networks: A High-Performance Alternative to Deep Neural Networks with Built-in Interpretability
Fang Li（法利）
针对深度神经网络黑箱特性限制高风险领域部署的问题，提出具备完全可微性、支持多组合模式的组合函数网络，兼具可解释性与竞争力性能，为高要求场景提供新框架。
2025-07-31 cs.AI cs.LG
A Survey on Neural Network Interpretability
Guangdong Key Laboratory of Brain-Inspired Intelligent Computation（广东省脑启发智能计算重点实验室）；Southern University of Science and Technology（南方科技大学）；Research Institute of Trust-worthy Autonomous Systems（可信自主系统研究所）；School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院）
随着深度神经网络的巨大成功，人们对其黑匣子性质的担忧也越来越多。可解释性问题影响人们对深度学习系统的信任。它还涉及许多伦理问题，例如，算法识别此外，可解释性是深度网络成为其他研究领域（例如，药物发现和基因组学。本文对神经网络的可解释性研究进行了综述。我们首先澄清解释性的定义，因为它已经在许多不同的情况下使用。然后，我们详细阐述了可解释性的重要性，并提出了一个新的分类法组织沿三个维度：参与类型（被动与主动的解释方法），解释的类型，和重点（从本地到全球的可解释性）。这种分类法提供了一个有意义的3D视图，从相关文献的论文分布的两个维度不是简单的分类，但允许顺序子类别。最后，我们总结了现有的可解释性评估方法，并提出了可能的研究方向启发我们的新分类。
2021-07-15 cs.AI cs.LG
Deep Model Merging: The Sister of Neural Network Interpretability -- A Survey
University of Chicago（芝加哥大学）；Colorado School of Mines（科罗拉多矿业学院）；Argonne National Laboratory（阿贡国家实验室）
该综述从损失景观几何视角梳理模型融合研究，提炼出损失景观的四大几何特征，指出模型融合对表征结构的洞见可服务于可解释性与鲁棒性，并提出交叉研究新方向。
2025-03-21 cs.AI cs.LG
KAN vs LSTM Performance in Time Series Forecasting
Department of Mathematics, Swinburne University of Technology（斯威本理工大学数学系）
研究通过PyKAN实现的基线Kolmogorov-Arnold网络（KAN）与长短期记忆（LSTM）网络对随机非平稳金融时间序列预测进行比较，评估预测准确性等，结果支持LSTM用于关键金融预测，为KAN建立基线。
2026-07-07 cs.AI cs.LG
Beyond Transcription: Mechanistic Interpretability in ASR
本文将logit lens、线性探测和激活修补等可解释性方法系统应用于ASR，揭示重复幻觉的编解码交互及声学表征中的深层语义偏差，为提升ASR透明度和鲁棒性提供新方向。
2025-08-21 cs.CL cs.LG cs.SD
Patterning: The Dual of Interpretability
Timaeus
通过模式化方法，利用敏感性分析确定训练数据以实现特定泛化形式，展示了在语言模型和合成任务中对模型结构的控制与优化。
2026-01-20 cs.LG
Human Factors in Model Interpretability: Industry Practices, Challenges, and Needs
New York University（纽约大学）；Northwestern University（西北大学）
随着机器学习（ML）模型在产品开发和数据驱动决策过程中的应用在许多领域变得越来越普遍，人们对构建性能良好的模型的关注已经越来越多地转移到了解他们的模型是如何工作的。虽然在HCI，ML等研究社区中，对模型可解释性的学术兴趣迅速增长，但对于从业者如何感知并旨在在现有工作流程的背景下提供可解释性，人们知之甚少。这种对可解释性缺乏理解的做法可能会阻止可解释性研究解决重要的需求，或导致不切实际的解决方案。为了弥合这一差距，我们对行业从业者进行了22次半结构化访谈，以了解他们在规划、构建和使用模型时如何构思和设计可解释性。基于对结果的定性分析，我们区分了大量使用ML模型的组织中存在的可解释性角色、流程、目标和策略。从我们的分析中出现的可解释性工作的特征表明，模型的可解释性经常涉及不同角色的人之间的合作和心理模型比较，通常旨在建立信任，不仅在人与模型之间，而且在组织内的人之间。我们提出了设计的影响，讨论了从业者在实践中面临的可解释性挑战和文献中提出的方法之间的差距，突出了可以更好地满足现实世界需求的可能的研究方向。
2020-05-30 cs.CY cs.HC cs.LG
Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability
The Pennsylvania State University（宾夕法尼亚州立大学）
针对稀疏自编码器将特征假设为一维导致特征分裂的问题，提出子空间感知稀疏自编码器（SASA），通过学习解码器子空间、块稀疏门控和核范数正则化，在GPT-2和Mistral-7B上减少特征分裂和吸收，提高单义性和可解释性。
2026-06-04 cs.AI cs.LG
Explaining Explanations: An Overview of Interpretability of Machine Learning
Massachusetts Institute of Technology（麻省理工学院）
最近，解释性人工智能（XAI）的工作激增。该研究领域解决了复杂机器和算法通常无法提供对其行为和思维过程的见解的重要问题。XAI允许用户和内部系统的部分更加透明，以某种程度的细节解释他们的决定。这些解释对于确保算法公平性、识别训练数据中的潜在偏差/问题以及确保算法按预期执行是重要的。然而，这些系统产生的解释既没有标准化，也没有系统地评估。为了创建最佳实践并确定开放的挑战，我们提供了可解释性的定义，并展示了如何使用它来对现有文献进行分类。我们讨论了为什么目前的解释方法，特别是深度神经网络的方法是不够的。最后，基于我们的调查，我们得出结论，解释性人工智能的未来研究方向的建议。
2019-02-03 cs.AI cs.LG stat.ML
Interpretability of Machine Learning: Recent Advances and Future Prospects
Toronto Metropolitan University（多伦多都会大学）
本文针对机器学习黑箱特性阻碍表征学习的问题，综述了机器学习可解释性的最新进展与未来展望，结合多媒体计算领域的多个应用实例，指出该方向是值得深入投入的重要研究方向。
2023-04-30 cs.CY cs.LG cs.MM
Attacks Meet Interpretability: Attribute-steered Detection of Adversarial Samples
Purdue University（普渡大学）
对抗性样本攻击会干扰良性输入，从而导致DNN的错误行为。最近的研究表明，这类攻击的广泛存在和破坏性后果。现有的防御技术要么假设特定攻击的先验知识，要么由于其基本假设而无法在复杂模型上很好地工作。我们认为，对抗性样本攻击与DNN模型的可解释性深深纠缠在一起：虽然良性输入的分类结果可以根据人类可感知的特征/属性进行推理，但对抗性样本的结果很难解释。因此，我们提出了一种新的对抗性样本检测技术的人脸识别模型，基于可解释性。它具有一种新的属性和内部神经元之间的双向对应推理，以识别对单个属性至关重要的神经元。关键神经元的激活值被增强以放大计算的推理部分，而其他神经元的值被减弱以抑制不可解释部分。将变换后的分类结果与原模型的分类结果进行比较，从而检测出攻击者。结果表明，我们的技术对7种不同类型的攻击可以达到94%的检测准确率，对良性输入的误报率为9.91%。相比之下，最先进的特征挤压技术只能达到55%的准确率，23.3%的误报率。
2018-10-27 cs.AI cs.CR cs.LG
Transparency of Deep Neural Networks for Medical Image Analysis: A Review of Interpretability Methods
Maastricht University（马斯特里赫特大学）；Maastricht University Medical Centre+（马斯特里赫特大学医学中心+）
人工智能已经成为诊断和治疗决策的许多临床应用的有用辅助工具。由于可用数据和计算能力的快速增长，深度神经网络在许多任务中表现出与临床医生相同或更好的性能。为了符合可信人工智能的原则，人工智能系统必须透明，强大，公平并确保问责制。目前的深度神经解决方案被称为黑盒，因为缺乏对决策过程细节的理解。因此，在将深度神经网络纳入常规临床工作流程之前，需要确保其可解释性。在这篇叙述性综述中，我们利用系统的关键词搜索和领域专业知识，根据生成的解释类型和技术相似性，确定了九种不同类型的可解释性方法，用于理解医学图像分析应用的深度学习模型。此外，我们报告的进展，对各种解释性方法产生的解释进行评估。最后，我们讨论了局限性，提供了使用可解释性方法的指导方针，以及关于深度神经网络在医学成像分析中的可解释性的未来方向。
2021-11-01 cs.AI cs.CV cs.LG
A systematic review of biologically-informed deep learning models for cancer: fundamental trends for encoding and interpreting oncology data
University of Manchester（曼彻斯特大学）；CRUK Manchester Institute（英国癌症研究中心曼彻斯特研究所）；Idiap Research Institute（Idiap研究所）
人们越来越关注使用基于深度学习（DL）的方法作为肿瘤学的支持分析框架。然而，DL的大多数直接应用将提供有限的透明度和可解释性的模型，这限制了它们在生物医学环境中的部署。这篇系统综述讨论了用于支持癌症生物学推断的DL模型，特别强调多组学分析。它侧重于现有的模型如何解决需要更好地对话与先验知识，生物可解释性和可解释性，在生物医学领域的基本属性。为此，我们检索和分析了42项研究，重点是新兴的架构和方法的进步，生物领域知识的编码和可解释性方法的整合。我们讨论了最近的进化拱DL模型的方向，整合以前的生物关系和网络知识，以支持更好的概括（例如，途径或蛋白质-蛋白质相互作用网络）和可解释性。这代表了一个基本的功能转移到模型，可以集成机械和统计推理方面。我们引入了生物中心的可解释性的概念，并根据其分类，我们讨论了在这样的模型中的领域先验知识的集成表示方法。本文提供了一个批判性的前景到当代方法的解释性和可解释性用于癌症的DL。分析点之间的收敛编码先验知识和改进的可解释性的方向。我们引入生物为中心的可解释性，这是对DL模型的生物可解释性的形式化和开发方法，是较少的问题或应用程序特定的重要一步。
2023-01-24 cs.AI cs.LG q-bio.QM
Enhancing Interpretability of AR-SSVEP-Based Motor Intention Recognition via CNN-BiLSTM and SHAP Analysis on EEG Data
School of Control Science（控制科学学院）；Engineering Shandong University Jinan, Shandong（山东大学工程学院济南山东）；Shandong Inspur Science Research Institute Co., Ltd. Jinan, Shandong（山东 Inspur 科研院有限公司济南山东）
本文提出基于AR-SSVEP的运动意图识别系统，结合CNN-BiLSTM与SHAP分析提升模型可解释性，以改善康复训练中的患者参与度和治疗师工作效率。
2025-12-07 cs.CV cs.LG
Short-Term Load Forecasting using Bi-directional Sequential Models and Feature Engineering for Small Datasets
本文提出基于双向序列模型与特征工程的DeepDeFF架构，用于小数据集下的短期电力负荷预测，在五国数据集上优于现有最先进方法。
2020-11-28 cs.IR cs.LG cs.NE
This looks like what? Challenges and Future Research Directions for Part-Prototype Models
Marburg University（马堡大学）；Jagiellonian University（雅盖隆大学）
本文综述了2019-2025年间部分原型模型的研究，分析了其面临的挑战，指出原型质量和数量、跨任务泛化能力及方法论缺陷等问题，并提出五个研究方向以推动内在可解释模型的发展。
2026-03-19 cs.LG
Towards Unified Attribution in Explainable AI, Data-Centric AI, and Mechanistic Interpretability
Harvard University（哈佛大学）
本文提出统一视角，指出可解释AI、以数据为中心的AI和机制可解释性中的特征、数据与组件归因方法在技术上具有根本相似性，该视角能增强现有方法理解并开辟模型编辑等新研究方向。
2025-05-29 cs.AI cs.LG
Post-hoc Interpretability based Parameter Selection for Data Oriented Nuclear Reactor Accident Diagnosis System
Nuclear Power Institute of China（中国核动力研究设计院）
在应用面向数据的诊断系统对核电厂初始事件进行类型判别和严重性评价时，确定哪些参数作为系统输入至关重要。然而，尽管一些诊断系统在诊断精度和速度方面已经取得了令人满意的性能，但研究人员很少讨论监测点的选择和布局方法。为此，使用冗余测量数据来训练诊断模型，导致分类的高不确定性、额外的训练时间消耗以及训练时过拟合的较高概率。在这项研究中，提出了一种选择核电站热工水力参数的方法，使用深度学习中的事后解释理论。首先，一种新的时序残差卷积神经网络（TRES-CNN）诊断模型被引入到LOCA的位置和流体动力学直径的识别，使用HPR 1000经验手动选择的38个参数。然后，采用事后可解释性方法对诊断模型的输出属性进行评价，确定哪15个参数对LOCA细节的诊断更具决定性。结果表明，基于TRES-CNN的诊断模型通过HPR 1000的15个参数成功地预测了LOCA中断裂的位置和大小，与使用总共38个参数的过程相比，训练模型的时间消耗为25%。此外，与使用经验选择的参数的模型相比，诊断准确性的相对误差在1.5%以内，这可以被视为诊断可靠性的相同量。
2022-08-27 cs.AI cs.LG cs.SY
From Density Matrices to Phase Transitions in Deep Learning: Spectral Early Warnings and Interpretability
本文提出2-数据点约化密度矩阵，用于高效检测训练中的相变，通过谱热容量和参与比揭示相变特征，并通过四个场景验证其有效性。
2026-04-01 cs.AI cs.LG
Quanda: An Interpretability Toolkit for Training Data Attribution Evaluation and Beyond
Fraunhofer HHI（弗劳恩霍夫HHI研究所）；UMI Lab（UMI实验室）；ATB Potsdam（波茨坦农业与生物研究中心）；TU Berlin（柏林工业大学）；BIFOLD（柏林大数据中心）
针对训练数据归因（TDA）评估缺乏统一框架的问题，提出Python工具包Quanda，提供全面的评估指标和统一接口，实现跨存储库的无缝集成与系统基准测试，促进TDA方法的广泛采用。
2024-10-10 cs.AI cs.LG
Deep Learning for Sequential Recommendation: Algorithms, Influential Factors, and Evaluations
Shanghai University of Finance and Economics（上海财经大学）；Northeastern University（东北大学）
在顺序推荐领域，基于深度学习（DL）的方法在过去几年中受到了很多关注，并超过了基于马尔可夫链和基于因子分解的传统模型。然而，很少有系统的研究，特别是关于如何设计一个有效的DL模型的顺序推荐。因此，本文针对上述问题，重点研究了基于DL的顺序推荐系统。具体来说，我们说明了顺序推荐的概念，提出了一个现有的算法分类的三种类型的行为序列，总结了影响基于DL的模型的性能的关键因素，并进行相应的评估，以证明这些因素的影响。我们通过系统地概述这一领域的未来方向和挑战来结束这一调查。
2020-10-10 cs.IR cs.LG
Robustly Improving LLM Fairness in Realistic Settings via Interpretability
Anthropic
针对真实招聘场景下现有反偏见提示失效的问题，提出通过识别模型激活中敏感属性方向并进行仿射概念编辑的内部偏见缓解方法，可稳健降低LLM招聘偏见且基本不影响性能。
2025-06-12 cs.AI cs.CL cs.LG
Tensorization is a powerful but underexplored tool for compression and interpretability of neural networks
Donostia International Physics Center（Donostia国际物理中心）；Multiverse Computing
本文探讨张量化神经网络（TNNs）作为压缩与可解释性工具，指出其潜力未被充分挖掘，并强调键索引带来的新潜在空间及未来研究方向。
2026-09-15 cs.AI cs.LG quant-ph
