Interpretable Graph Convolutional Neural Networks for Inference on Noisy Knowledge Graphs
BenevolentAI(仁爱AI)
在这项工作中,我们提供了一个新的配方图卷积神经网络(GCNN)的链接预测的图形数据,解决了生物医学知识图谱(KG)的共同挑战。我们将正则化的注意力机制引入GCNN,不仅提高了干净数据集的性能,而且还有利地适应KG中的噪声,这是现实世界应用中普遍存在的问题。此外,我们探索了可解释建模的新可视化方法,并说明了如何利用学习的表示来自动化数据集去噪。结果显示在一个合成数据集,共同的基准数据集FB 15 k-237,和一个大型的生物医学知识图谱来自噪声和干净的数据源的组合。使用这些改进,我们可视化了一个学习模型的疾病囊性纤维化的代表性,并演示了如何询问神经网络,以显示PPARG作为类风湿性关节炎的候选治疗靶点的潜力。
2018-12-01 cs.LG stat.ML
Interpretable Neural Networks for Panel Data Analysis in Economics
Princeton University(普林斯顿大学);Penn State University(宾州州立大学)
缺乏可解释性和透明度阻碍了经济学家在实证研究中使用神经网络等先进工具。在本文中,我们提出了一类可解释的神经网络模型,可以实现高的预测精度和可解释性。该模型可以被编写为正则化的可解释特征数量的简单函数,这些特征是神经网络中编码的可解释函数的结果。研究人员可以根据任务的性质设计不同形式的可解释功能。特别是,我们在神经网络中编码了一类名为持续变化过滤器的可解释函数来研究时间序列横截面数据。我们应用该模型预测个人的每月就业状况使用高维行政数据。我们在测试集中实现了94.5%的准确率,这与表现最好的传统机器学习方法相当。此外,模型的可解释性使我们能够理解预测的机制:个人的就业状况与她是否支付不同类型的保险密切相关。我们的工作是克服神经网络黑箱问题的有益一步,并为经济学家研究管理和专有大数据提供了新的工具。
2020-11-29 cs.AI cs.LG econ.EM
MinimalRNN: Toward More Interpretable and Trainable Recurrent Neural Networks
Google(谷歌)
我们介绍了MinimalRNN,一种新的递归神经网络架构,其性能与结构简化的流行门控RNN相当。它在RNN中使用最少的更新,这不仅可以实现有效的学习和测试,更重要的是更好的可解释性和可训练性。我们证明,通过支持更严格的更新规则,MinimalRNN学习解开RNN状态。我们使用输入-输出雅可比矩阵进一步研究了不同RNN结构的学习动态,并表明MinimalRNN能够捕获比现有RNN架构更长的范围依赖关系。
2018-06-20 cs.LG stat.ML
Automated, predictive, and interpretable inference of C. elegans escape dynamics
蛔虫C.线虫对迅速上升的温度表现出强烈的逃避行为。这种行为持续几秒钟,表现出历史依赖性,涉及感觉和运动系统,并且太复杂,无法使用现有知识进行机械建模。相反,我们从现象学的角度对这个过程进行建模,我们使用艾萨克爵士的动态推理平台,直接从实验数据中以完全自动化的方式推断模型。推断的模型需要纳入一个未观察到的动态变量,是生物学解释。该模型对蠕虫行为的动力学做出了准确的预测,它可以用来描述逃逸反应背后的动力学系统的功能逻辑。这项工作说明了现代人工智能的力量,以帮助发现复杂自然系统的准确和可解释的模型。
2018-09-25 q-bio.NC q-bio.QM stat.ML
How Interpretable Are Interpretable Graph Neural Networks?
Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出 SubMT 理论框架分析可解释图神经网络的子图学习局限,并设计 GMT 架构以更准确近似 SubMT,在 12 个基准上显著提升可解释性与泛化性。
2024-06-12 cs.LG stat.ML
Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery
University of Washington(华盛顿大学)
循环神经网络(RNN)是处理连续数据的强大而有效的方法。然而,RNN通常被认为是“黑箱”模型,其内部结构和学习参数是不可解释的。在本文中,我们提出了一个可解释的RNN的顺序迭代软阈值算法(SISTA)的基础上解决顺序稀疏恢复问题,该模型与稀疏的潜在向量序列的相关观测序列。由此产生的SISTA-RNN的架构是由SISTA的计算结构隐式定义的,这导致了一种新的堆叠RNN架构。此外,SISTA-RNN的权重完全可以解释为原则性统计模型的参数,在这种情况下,包括稀疏化字典,迭代步长和正则化参数。此外,在特定的顺序压缩感知任务中,SISTA-RNN比传统的最先进的黑盒RNN(包括长短期记忆(LSTM)RNN)训练得更快,性能更好。
2016-11-22 cs.LG stat.ML
An interpretable LSTM neural network for autoregressive exogenous model
ETH Zurich(苏黎世联邦理工学院);EPFL Lausanne(洛桑联邦理工学院);TalkingData Co., Ltd.(北京腾云天下科技有限公司)
在本文中,我们提出了一个可解释的LSTM递归神经网络,即,多变量LSTM,用于具有外生变量的时间序列。目前,递归神经网络中广泛使用的注意力机制主要关注数据的时间方面,缺乏对变量重要性的表征。为此,我们开发了配备张量化隐藏状态的多变量LSTM,以学习变量特定的表示,这会引起时间和变量级别的注意。初步实验表明,多变量LSTM的预测性能相当w.r.t.基于编码器-解码器的基线。更有趣的是,以变量注意力为特征的真实数据集中的变量重要性与统计Granger因果检验所确定的变量重要性高度一致,这展示了多变量LSTM作为预测和知识发现的简单统一的端到端框架的前景。
2018-04-14 cs.LG stat.ML
Interpretable Disentanglement of Neural Networks by Extracting Class-Specific Subnetwork
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学)
我们提出了一个新的视角来理解深层神经网络的可解释的解纠缠形式。对于每个语义类,我们从原始完整模型中提取一个类特定的功能子网络,压缩结构,同时保持可比的预测性能。所提取的子网络的结构表示显示出与其对应的类语义相似性的相似性。我们还将提取的子网络应用于视觉解释和对抗性示例检测任务,只需将原始完整模型替换为特定于类的子网络。实验表明,这种直观的操作可以有效提高基于梯度的解释方法的解释显著性准确率,提高基于置信度的对抗性示例检测方法的检测率。
2019-10-07 cs.LG stat.ML
InterpNET: Neural Introspection for Interpretable Deep Learning
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
人类能够解释他们的推理。相反,深度神经网络不是。本文试图通过引入一种新的方法来设计可解释的神经网络分类,人类视觉系统的内部工作的生理证据的启发,以弥合这一差距。本文提出了一种神经网络设计范式,称为InterpNET,它可以与任何现有的分类体系结构相结合,产生自然语言的分类解释。该模块的成功依赖于网络的计算和推理在其内部层激活中表示的假设。虽然原则上InterpNET可以应用于任何现有的分类体系结构,它是通过一个图像分类和解释任务进行评估。在CUB鸟类分类和解释数据集上的实验表明,该模型能够定性和定量地生成高质量的解释。虽然目前该数据集的最新METEOR评分为29.2,但InterpNET的METEOR评分要高得多,为37.9。
2017-11-16 cs.LG stat.ML
Exploring Interpretable LSTM Neural Networks over Multi-Variable Data
ETH(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
对于在具有目标和外生变量的时间序列上训练的递归神经网络,除了准确的预测之外,还期望提供对数据的可解释的见解。在本文中,我们探索了LSTM递归神经网络的结构,以学习变量方面的隐藏状态,目的是捕捉多变量时间序列中的不同动态,并区分变量对预测的贡献。利用这些可变的隐藏状态,提出了一种混合注意力机制来模拟目标的生成过程。然后,我们开发了相关的训练方法来共同学习网络参数,变量和时间重要性w.r.t的目标变量的预测。在真实数据集上进行的大量实验表明,通过捕获不同变量的动态,增强了预测性能。同时,对解释结果进行了定性和定量评价。它展示了作为多变量数据预测和知识提取的端到端框架的前景。
2019-05-28 cs.LG stat.ML
XAI Beyond Classification: Interpretable Neural Clustering
Sichuan University(四川大学)
在本文中,我们研究了可解释人工智能(XAI)和数据聚类中的两个具有挑战性的问题。第一个是如何直接设计一个具有内在可解释性的神经网络,而不是对黑箱模型进行事后解释。第二个是实现离散的$k$ -意味着一个可微的神经网络,包括并行计算,在线聚类,聚类有利的表示学习的优点。为了解决这两个挑战,我们设计了一个新的神经网络,这是一个可微的香草$k$ -手段,称为inInterpretable nEuraL cLustering(TELL)的重新制定。我们的贡献是三方面的。首先,据我们所知,大多数现有的XAI作品都集中在监督学习范式上。这项工作是XAI对无监督学习的少数研究之一,特别是数据聚类。第二,TELL是一个可解释的,或者说是所谓的内在可解释和透明的模型。相比之下,大多数现有的XAI研究采取各种手段来理解具有事后解释的黑箱模型。第三,从数据聚类的角度来看,TELL具有$k$ -means所期望的许多特性,包括但不限于在线聚类、即插即用模块、并行计算和可证明收敛性。大量的实验表明,我们的方法取得了优越的性能相比,14聚类方法在三个具有挑战性的数据集。可在\url{www.pengxi.me}访问源代码。
2022-04-22 cs.LG stat.ML
N-BEATS: Neural basis expansion analysis for interpretable time series forecasting
Element AI(元素人工智能公司);Mila(米拉人工智能研究所)
我们专注于使用深度学习解决单变量时间序列点预测问题。我们提出了一种基于向后和向前残差链接的深度神经架构,以及一个非常深的全连接层堆栈。该体系结构具有许多理想的属性,是可解释的,适用于广泛的目标域,无需修改,快速训练。我们测试了几个著名的数据集,包括M3,M4和TOURISM竞争数据集包含来自不同领域的时间序列的建议架构。我们为所有数据集展示了N-BEATS两种配置的最新性能,将预测准确性提高了11%,比去年的M4竞赛冠军提高了3%,M4竞赛是神经网络和统计时间序列模型之间的领域调整手工制作的混合体。我们模型的第一种配置不使用任何时间序列特定的组件,其在异构数据集上的性能强烈表明,与公认的智慧相反,深度学习原语(如残差块)本身足以解决广泛的预测问题。最后,我们演示了如何增强所提出的体系结构,以提供可解释的输出,而不会在准确性上造成相当大的损失。
2020-02-20 cs.LG stat.ML
Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean
Clausthal University of Technology(克劳斯塔尔工业大学);University of Göttingen(哥廷根大学)
针对 NAMs 仅预测均值、无法刻画响应分布其他性质的问题,本文提出 NAMLSS 框架,在保留加性模型可解释性的同时实现分布回归。
2024-02-29 cs.LG stat.ML
HARMONIA: Interpretable Graph Learning through Mixtures of Neural Bases
Center for AI Research, VinUniversity(文大人工智能研究中心);University of Florida(佛罗里达大学);Posts and Telecommunications Institute of Technology(邮电技术学院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
HARMONIA提出神经基元混合与稀疏RRWP聚合,实现可解释且可扩展的图加性模型,兼顾特征特化与结构分解,在解释恢复和预测性能上优于基线。
2026-09-29 cs.AI cs.LG stat.ML
GraphLIME: Local Interpretable Model Explanations for Graph Neural Networks
Jilin University(吉林大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
图结构化数据在诸如物理、化学、生物、计算机视觉和社交网络等各种领域中具有广泛的适用性。最近,图神经网络(GNN)被证明是成功的,有效地表示图结构的数据,因为它们的良好的性能和泛化能力。GNN是一种基于深度学习的方法,它通过将特定节点与图的结构/拓扑信息相结合来学习节点表示。然而,与其他深度模型一样,解释GNN模型的有效性是一项具有挑战性的任务,因为在迭代过程中进行了复杂的非线性变换。在本文中,我们提出了GraphLIME,一个本地可解释的模型解释图使用希尔伯特-施密特独立准则(HSIC)拉索,这是一种非线性特征选择方法。GraphLIME是一个通用的GNN模型解释框架,它在被解释节点的子图中局部学习非线性可解释模型。更具体地说,为了解释一个节点,我们从它的$N$ -hop邻域生成一个非线性可解释模型,然后使用HSIC Lasso计算K个最具代表性的特征作为其预测的解释。通过在两个真实数据集上的实验,发现GraphLIME的解释程度非常高,与现有的解释方法相比更具描述性。
2020-09-27 cs.LG stat.ML
Parsimonious neural networks learn interpretable physical laws
Purdue University(普渡大学)
机器学习在物理科学中发挥着越来越重要的作用,并且在将领域知识嵌入模型方面取得了重大进展。较少探索的是它用于从数据中发现可解释的物理定律。我们提出了简约的神经网络(PNN),结合神经网络与进化优化,以找到平衡精度与简约的模型。通过开发经典力学模型和从基本性质预测材料的熔化温度,证明了该方法的强大功能和多功能性。在第一个例子中,所得到的PNN很容易解释为牛顿第二定律,表示为一个非平凡的时间积分器,表现出时间可逆性和节约能源,其中的简约性是至关重要的,从数据中提取潜在的对称性。在第二种情况下,PNN不仅发现了著名的林德曼熔化定律,而且发现了在Pareto意义上的简约与准确性的新关系。
2020-12-16 cs.CE cs.LG physics.comp-ph
Identifying Interpretable Visual Features in Artificial and Biological Neural Systems
Stanford University(斯坦福大学);UC Santa Barbara(加州大学圣巴巴拉分校);SLAC National Accelerator Laboratory(SLAC国家加速器实验室)
提出量化视觉可解释性的自动化方法和寻找网络激活空间有意义方向的途径,发现比单个神经元更直观的特征方向,并验证了大脑可能采用叠加表示。
2023-10-18 cs.LG stat.ML
Interpretable Neural Networks based classifiers for categorical inputs
École Polytechnique Féderale de Lausanne (EPFL)(洛桑联邦理工学院)
由于神经网络在人类敏感应用中的广泛使用,其可解释性正在成为机器学习中越来越重要的主题。在这项工作中,我们介绍了一种简单的方法来解释的输出功能的神经网络分类器,作为输入的分类变量。通过利用一个神经网络分类器和一个物理能量模型之间的映射,我们表明,在这些情况下,网络的每一层,特别是logits层,可以扩展为一个项的总和,占每个输入模式的分类的贡献。例如,在第一阶,扩展仅考虑输入特征和输出之间的线性关系,而在第二阶,还考虑了输入特征之间的成对依赖关系。每个模式的贡献的分析,经过适当的规范变换,在两种情况下,该方法的有效性可以理解。
2021-02-05 cs.LG stat.ML
Interpretable Architecture Neural Networks for Function Visualization
Northwestern University(西北大学)
在许多科学研究领域,理解和可视化的黑箱函数的所有输入变量的影响是非常重要的。现有的可视化工具不允许同时可视化所有输入变量的影响。虽然可以选择一个或两个输入变量通过2D或3D图进行可视化,同时保持其他变量固定,但这呈现了模型的过度简化和不完整的画面。为了克服这一缺点,我们提出了一种新的可视化方法,使用可解释的架构神经网络(IANN)直接和同时可视化的所有输入变量的影响。我们提出了两个可解释的结构,其中每一个可以方便地表示一个特定的IANN,我们讨论了一些可能的扩展。我们还提供了一个Python包来实现我们提出的方法。补充材料可在网上查阅。
2023-03-03 cs.HC cs.LG stat.ME
Interpretable Deep Neural Networks for Dimensional and Categorical Emotion Recognition in-the-wild
Imperial College London(帝国理工学院)
情绪在人们的生活中起着重要的作用。理解和识别不仅在人际交往中起着重要作用,而且在人机交互、汽车安全和医学研究等方面有着广阔的应用前景。本课题的研究重点是扩展情感识别数据库,并训练具有情感类别表征和情感唤醒表征的CNN + RNN情感识别神经网络。通过同时训练两种表示来构建组合模型。对这三种模型进行了比较分析。研究了两种情绪表征之间的内在联系和神经网络的可解释性。研究结果表明,分类情绪识别性能可以受益于组合模型的训练。情绪类别与效价-唤醒值的映射可以解释这一现象。
2019-12-13 cs.CV cs.LG stat.ML
Neural Additive Models: Interpretable Machine Learning with Neural Nets
Google Research(谷歌研究院);Microsoft Research(微软研究院);Cohere;University of Wisconsin-Madison(威斯康星大学麦迪逊分校);MIT(麻省理工学院)
深度神经网络(DNN)是强大的黑盒预测器,在各种任务上都取得了令人印象深刻的性能。然而,他们的准确性是以可理解性为代价的:通常不清楚他们是如何做出决定的。这阻碍了它们在高风险决策领域(如医疗保健)的适用性。我们提出了神经加性模型(NAM),它将DNN的一些表达能力与广义加性模型的固有可理解性相结合。NAM学习神经网络的线性组合,每个神经网络关注单个输入特征。这些网络是联合训练的,可以学习它们的输入特征和输出之间的任意复杂关系。我们在回归和分类数据集上的实验表明,NAM比广泛使用的可理解模型(如逻辑回归和浅决策树)更准确。它们在准确性上与现有的最先进的广义加法模型相似,但更灵活,因为它们基于神经网络而不是提升树。为了证明这一点,我们展示了NAM如何因其可组合性而用于合成数据和COMPAS累犯数据的多任务学习,并证明NAM的可微性使其能够训练更复杂的COVID-19可解释模型。
2021-10-24 cs.AI cs.LG stat.ML
IPAD: Stable Interpretable Forecasting with Knockoffs Inference
University of Southern California(南加州大学);Tohoku University(东北大学)
可解释性和稳定性是经济和金融领域中许多当代大数据应用所期望的两个重要特征。虽然许多现有的预测方法在某种程度上都喜欢前者,但在计量经济学环境中,后者在控制错误发现的特征的比例方面仍然很不发达,这可以大大提高可解释性。为此,在本文中,我们利用了最近在Candès,Fan,Janson和Lv(2018)中引入的模型X仿制品的一般框架,这对于可再现的大规模推理来说是非常规的,因为该框架完全不使用p值进行显著性检验,并提出了一种新的交织概率因素解耦(iPad)方法,用于稳定的可解释预测,并在高水平上进行仿冒推断。维度模型。该方法的秘诀是通过假设一个在经济学和金融学中广泛使用的协变量关联结构的潜在因素模型来构造敲除变量。我们的方法和工作是不同于现有的文献中,我们估计的协变量分布的数据,而不是假设它是已知的构建敲除变量时,我们的程序不需要任何样本分裂,我们提供了理论上的理由渐近错误发现率控制,和功率分析的理论也成立。仿真实例和实际数据分析进一步表明,与一些常用的预测方法相比,该方法具有良好的有限样本性能,并具有良好的可解释性和稳定性。
2018-09-06 cs.LG math.ST stat.ML
The Self-Simplifying Machine: Exploiting the Structure of Piecewise Linear Neural Networks to Create Interpretable Models
Carnegie Mellon University(卡内基梅隆大学)
如今,用户对他们使用的模型的信任比以往任何时候都更加重要。随着机器学习模型受到越来越多的监管审查,并开始在高风险情况下看到更多的应用,解释我们的模型变得至关重要。具有ReLU激活函数的分段线性神经网络(PLNN)由于许多吸引人的特性而迅速成为非常受欢迎的模型;然而,它们在鲁棒性和解释方面仍然存在许多挑战。为此,我们引入了新的方法来简化和增加分段线性神经网络的分类任务的可解释性。我们的方法包括使用经过训练的深度网络来生成性能良好的单隐藏层网络,而无需进一步的随机训练,此外还使用一种算法将平面网络减少到更小,更可解释的大小,同时性能损失最小。在这些方法中,我们进行了初步的研究模型的性能,以及富国银行的家庭贷款数据集的案例研究,连同可视化模型解释。
2020-12-02 cs.AI cs.LG stat.ML
Interpretable Almost Matching Exactly for Causal Inference
Duke University(杜克大学)
我们的目标是为潜在结果框架中的分类数据创建尽可能高质量的治疗-对照匹配。匹配方法由于其可解释性而在社会科学中大量使用,但大多数匹配方法都不能通过基本的健全性检查:当引入不相关的变量时,它们会失败,并且往往要么计算缓慢,要么产生低质量的匹配。在这项工作中提出的方法的目的是匹配加权汉明距离的单位,考虑到协变量的相对重要性;该算法的目的是匹配尽可能多的相关变量的单位。为此,该算法创建了一个协变量组合的层次结构,在此基础上进行匹配(类似于向下闭包),在此过程中为每个单元解决一个优化问题,以构建最佳匹配。该算法使用一个单一的动态程序来解决所有的优化问题同时进行。我们的方法比现有的匹配程序显着的优点是其高质量的匹配,在处理不同的数据分布,可能有不相关的变量,并能够处理缺失数据尽可能多的可用协变量匹配。
2019-06-08 cs.LG stat.ME stat.ML
An interpretable neural network-based non-proportional odds model for ordinal regression
The Institute of Statistical Mathematics(统计数理研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Tokyo Medical University(东京医科大学)
本研究提出用于有序回归的可解释神经网络非比例优势模型N$^3$POM,兼具灵活性与可解释性,建立了局部单调性充分条件并给出保单调性训练算法,可应用于多类真实数据集。
2024-03-11 cs.LG stat.ME stat.ML
Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering
Facebook AI Research(脸书人工智能研究院);Georgia Tech(佐治亚理工学院)
我们提出了一类新的概率神经符号模型,具有符号功能程序作为一个潜在的,随机变量。实例化的背景下,视觉问答,我们的概率公式提供了两个关键的概念优势,比以前的神经符号模型VQA。首先,我们的模型生成的程序更容易理解,而需要较少的教学实例。其次,我们表明,一个可以提出反事实的情况下,该模型,探测其信念的程序,可能导致一个指定的答案给定的图像。我们在CLEVR和SHAPES数据集上的结果验证了我们的假设,表明该模型即使在低数据状态下也能获得更好的程序(和答案)预测准确性,并允许人们探索推理的连贯性和一致性。
2019-06-27 cs.AI cs.CV cs.LG
Quantum-chemical insights from interpretable atomistic neural networks
University of Luxembourg(卢森堡大学);Korea University(高丽大学)
随着量子化学应用的深度神经网络的兴起,迫切需要一种架构,除了提供准确的化学性质预测外,还可以由研究人员轻松解释。在这里,我们以Behler-Parrinello网络和端到端模型SchNet为例描述原子神经网络的解释技术。这两种模型通过聚集原子贡献来获得化学性质的预测。这些潜在变量可以作为预测的局部解释,并且在训练期间获得而无需额外成本。由于它们与原子能和部分电荷等众所周知的化学概念相对应,这些原子层面的解释不仅能够洞察模型,更重要的是能够洞察潜在的量子化学过程。我们从原子的解释推广到三维空间,从而获得空间分辨的可视化,进一步提高可解释性。最后,我们分析了学习嵌入的化学元素,表现出类似于周期表的顺序的偏序。由于所研究的神经网络与化学知识非常吻合,因此所提出的技术为化学,物理和材料科学的数据驱动研究开辟了新的途径。
2018-06-27 cs.LG physics.chem-ph physics.comp-ph
Causal Rule Ensemble: Interpretable Discovery and Inference of Heterogeneous Treatment Effects
本文提出因果规则集成(CRE)方法,通过树集成实现异质性处理效应的可解释发现与估计,兼具稳定性,并在3530万医保人群的空气污染健康效应分析中验证其有效性。
2024-05-27 stat.ME stat.ML
Programmatically Interpretable Reinforcement Learning
Rice University(莱斯大学);Google Brain(谷歌大脑);Deepmind(深度思维)
我们提出了一个强化学习框架,称为程序可解释的强化学习(PIRL),旨在生成可解释和可验证的代理政策。与流行的深度强化学习(DRL)范式不同,它通过神经网络来表示策略,PIRL使用高级的、特定于领域的程序设计语言来表示策略。这种程序化策略的好处是比神经网络更容易解释,并且可以通过符号方法进行验证。我们提出了一种新的方法,称为神经导向程序搜索(NDPS),解决具有挑战性的非光滑优化问题,找到一个最大的奖励计划的政策。NDPS的工作原理是首先使用DRL学习神经策略网络,然后在编程策略上执行本地搜索,以最大限度地减少与这个神经“oracle”的距离。我们评估NDPS的任务,学习驾驶模拟汽车在TORCS赛车环境。我们证明,NDPS是能够发现人类可读的政策,通过一些显着的性能酒吧。我们还表明,PIRL政策可以有更平滑的轨迹,可以更容易地转移到训练过程中没有遇到的环境,比DRL发现相应的政策。
2019-04-10 cs.AI cs.LG cs.PL
Consensus-based Interpretable Deep Neural Networks with Application to Mortality Prediction
Florida State University(佛罗里达州立大学);Tallahassee Memorial Hospital(塔拉哈西纪念医院)
深度神经网络在各种具有挑战性的任务中取得了显著的成功。然而,这种网络的黑盒性质对于关键应用(例如医疗保健)是不可接受的。特别是,对抗性例子的存在及其对不相关的、高置信度的分布外输入的过度泛化使得很难(如果不是不可能的话)解释这种网络的决策。在本文中,我们分析了深度神经网络泛化的底层机制,并提出了一种($n$,$k$)共识算法,该算法对对抗性样本不敏感,可以可靠地拒绝分布外的样本。此外,共识算法能够通过使用多个训练的深度神经网络来提高分类准确性。为了处理深度神经网络的复杂性,我们对单个模型的线性近似进行聚类,并识别不同模型之间高度相关的聚类,以鲁棒地捕获特征重要性,从而提高可解释性。出于建立准确和可解释的医疗保健预测模型的重要性,我们在ICU数据集上的实验结果表明,我们的算法在提高深度神经网络模型对一年患者死亡率预测的预测准确性和可解释性方面是有效的。特别是,虽然所提出的方法保持了与传统的浅层模型(如逻辑回归)相似的可解释性,但它显着提高了预测精度。
2019-09-11 cs.AI cs.CV cs.LG
Interpretable global minima of deep ReLU neural networks on sequentially separable data
Department of Mathematics, University of Texas at Austin(德克萨斯大学奥斯汀分校数学系)
本文通过构造零损失分类器,利用累积参数确定截断映射,研究了在小且分离的簇数据及依次线性可分等价类情况下,深度ReLU网络的全局极小值描述。
2025-06-22 cs.AI cs.LG math-ph
Biophysical models of cis-regulation as interpretable neural networks
深度学习技术在基因组学中的采用受到了难以机械解释这些技术产生的模型的阻碍。近年来,已经提出了各种事后归因方法来解决基因调控背景下的神经网络可解释性问题。在这里,我们描述了一个互补的方式来解决这个问题。我们的策略是基于这样的观察,即顺式调节机制的两大类生物物理模型可以表示为深层神经网络,其中节点和权重具有明确的理化解释。我们还展示了如何使用现代深度学习框架,从某些类型的大规模并行报告分析(MPRA)产生的数据中快速推断出这种生物物理网络。这些结果表明,一个可扩展的策略,使用MPRA系统地表征生物物理基础的基因调控在广泛的生物背景。他们还强调,基因调控是开发可科学解释的深度学习方法的一个有前途的场所。
2020-02-07 cs.LG physics.bio-ph q-bio.MN
Co-Supervised Tree Synthesis for Interpretable Subgroup Identification and Honest Treatment Effect Inference in Randomized Trials
The Pennsylvania State University(宾夕法尼亚州立大学);Florida State University(佛罗里达州立大学)
提出CausalSynthTree,用黑盒因果估计器指导可解释树构建,实现亚组识别与诚实推断,在模拟和真实试验中优于现有方法。
2026-10-06 stat.ME stat.ML