Computational principles of intelligence: learning and reasoning with neural networks
Dataveras
尽管在机器学习和人工智能方面取得了重大成就和当前的兴趣,但对智能理论的探索,允许通用和有效的问题解决,几乎没有取得进展。这项工作试图通过提出一个基于三个原则的智能新框架来为这一方向做出贡献。第一,学习到的输入表征的生成和镜像性质。第二,一个接地的,内在动机和迭代的学习,解决问题和想象力的过程。第三,使用抑制规则对因果组合表征的推理机制进行特别调整。这些原则共同创造了一种系统方法,提供可解释性,持续学习,常识等等。这个框架是从以下几个方面发展起来的:作为一个通用的问题解决方法,作为一个以人为本的工具,最后,作为大脑中信息处理的模型。
2020-12-17 cs.AI cs.LG
DeepTracker: Visualizing the Training Process of Convolutional Neural Networks
Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院)
深度卷积神经网络(CNN)在各个领域都取得了显著的成功。然而,训练一个优秀的CNN实际上是一个反复试验的过程,消耗了大量的时间和计算机资源。为了加快训练过程并减少试验次数,专家需要了解训练过程中发生了什么,以及为什么产生的CNN会这样。然而,目前流行的训练平台,如TensorFlow,只提供很少和一般的信息,如训练/验证错误,这远远不足以达到这一目的。为了弥合这一差距,并帮助领域专家在实际环境中完成训练任务,我们提出了一个可视化分析系统DeepTracker,以促进对CNN训练过程的丰富动态的探索,并识别隐藏在大量训练日志背后的不寻常模式。具体来说,我们结合了分层索引机制和一组分层小倍数,帮助专家从不同的细节层次探索整个训练日志。我们还引入了一种新的立方体风格的可视化来揭示多种类型的异构训练数据,包括神经元权重,验证图像和训练迭代之间的复杂相关性。进行了三个案例研究,以展示DeepTracker如何在行业级CNN训练过程中为其用户提供有价值的知识,即在我们的案例中,在ImageNet数据集上训练ResNet-50。我们表明,我们的方法可以很容易地应用到其他国家的最先进的“非常深”的CNN模型。
2018-08-26 cs.AI cs.CV cs.HC
Visualizing Uncertainty: Spatial Maps of Missing and Conflicting Evidence in Deep Learning
University of the District of Columbia(哥伦比亚特区大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Virginia Tech(弗吉尼亚理工大学);U.S. Army DEVCOM Army Research Laboratory(美国陆军DEVCOM陆军研究实验室);University of Oslo(奥斯陆大学);Bowie State University(鲍伊州立大学)
提出不确定性激活图(UAM)框架,结合证据深度学习与全梯度类激活映射,生成空间不确定性激活图,区分缺乏证据的空虚和假设冲突的不和谐,填补不确定性量化与可解释性之间的空白。
2026-06-16 cs.AI cs.LG
ExpertLens: Visualizing Embedding Spaces for Post-Hoc Explainability in MoE Enhanced Retrievers
University of Milano-Bicocca(米兰比可卡大学);Bielefeld University(比勒费尔德大学)
ExpertLens提出一种针对MoE增强密集检索器的事后可解释框架,通过嵌入空间可视化和概念激活向量,揭示专家路由对检索效果的影响,实验验证其能改善嵌入空间结构。
2026-09-09 cs.AI cs.IR
Statistical Mechanics and Artificial Neural Networks: Principles, Models, and Applications
Frankfurt School of Finance and Management(法兰克福金融管理学院)
本章概述了人工神经网络的原理、模型与应用,探讨其与统计力学及统计学习理论的联系,并重点研究深度神经网络损失景观的几何性质量化与可视化以优化其性能。
2024-04-05 cond-mat.dis-nn cond-mat.stat-mech cs.AI
Neural Networks and Denotation
Acrisure Technology Group(Acrisure科技集团)
我们介绍了一个框架,用于推理什么意义是由一个训练有素的神经网络中的神经元捕获。我们提供了一种通过训练第二个模型(称为观察者模型)来发现意义的策略,以将其观察到的模型(对象模型)的状态与底层数据集的属性进行分类。我们在一组特定的分类问题的上下文中实现和评估观察者模型,采用热图在线性观察者模型的上下文中可视化对象模型的组件的相关性,并使用这些可视化来提取关于神经网络识别其输入的显著特征的方式的见解。我们确定了重要的属性捕获决定性的训练神经网络,这些属性中的一些表示由单个神经元。最后,我们观察到由神经元表示的属性的标签比例取决于神经元在网络中的深度;我们分析了这些依赖关系,并提供了对它们的解释。
2021-03-15 cs.AI cs.LG
Chi-square Loss for Softmax: an Echo of Neural Network Structure
Beihang University(北京航空航天大学)
Softmax与交叉熵一起工作广泛用于分类,它评估两个离散分布列(预测和真实标签)之间的相似性。受卡方检验的启发,我们设计了一个新的损失函数,称为卡方损失,这也适用于Softmax。卡方损失具有统计学背景。我们证明了它在最优化中是无偏的,并阐明了它的使用条件(它的公式决定了它必须与标号平滑一起工作)。另外,我们通过可视化的方法研究了这种损失函数的样本分布,发现这种分布与神经网络的结构有关,与交叉熵相比有明显的区别。在过去,结构的影响往往被忽视时,可视化。卡方损失可以注意到神经网络结构的变化,因为它非常严格,我们解释了这种严格的原因。研究了标签平滑对训练结果的影响,讨论了标签平滑与训练精度和稳定性的关系。由于卡方损失是非常严格的,当处理非常多类的样本时,性能会下降。
2021-08-31 cs.AI cs.LG
Learning to Coordinate via Multiple Graph Neural Networks
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);School of Artificial Intelligence(人工智能学院)
Agent之间的协作逐渐成为多Agent系统中的一个重要课题。关键是如何有效地解决信用分配问题。本文介绍了MGAN协作多智能体强化学习,一种新的算法,结合了图卷积网络和值分解方法。MGAN通过多个图网络从不同的角度学习Agent的表示,并实现所有Agent之间的注意力合理分配。我们通过可视化图网络的输出,展示了图网络在表示学习中的惊人能力,从而提高了多智能体系统中每个智能体动作的可解释性。
2021-04-08 cs.AI cs.LG cs.MA
Sentence Ordering and Coherence Modeling using Recurrent Neural Networks
University of Michigan(密歇根大学);Yale University(耶鲁大学)
连贯文本的结构建模是自然语言处理的一个关键问题。连贯地组织一组给定句子的任务通常用于构建和评估理解这种结构的模型。我们提出了一种基于集合序列框架的端到端无监督深度学习方法来解决这个问题。我们的模型在顺序判别任务和排序科学文章摘要的新任务中的性能明显优于先前的方法。此外,我们的工作表明,有用的文本表示可以通过学习排序句子。可视化学习的句子表示表明,该模型捕捉段落中的高级逻辑结构。我们的表示在句子相似性和释义检测任务上执行最先进的预训练方法。
2017-12-22 cs.AI cs.CL cs.LG
Towards Efficient Visual Simplification of Computational Graphs in Deep Neural Networks
Zhejiang University(浙江大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
深度神经网络(DNN)中的计算图表示由许多张量和运算符组成的特定数据流图(DFD)。用于可视化计算图的现有工具包在结构高度复杂和大规模(例如,BERT [1])。为了解决这个问题,我们建议利用一套视觉简化技术,包括循环删除方法,基于模块的边缘修剪算法,和同构子图堆叠策略。我们设计并实现了一个交互式可视化系统,它适用于多达一万个元素的计算图。实验结果和使用场景表明,我们的工具平均减少了60%的元素,从而提高了识别和诊断DNN模型的性能。我们的贡献被集成到开源DNN可视化工具包中,即MindInsight [2]。
2022-12-21 cs.AI cs.HC cs.LG
RNNbow: Visualizing Learning via Backpropagation Gradients in Recurrent Neural Networks
Tufts University(塔夫茨大学);Microsoft Research(微软研究院)
我们提出了RNNbow,一个交互式工具,用于在循环神经网络的反向传播训练过程中可视化梯度流。RNNbow是一个Web应用程序,它显示来自序列元素邻域中的递归神经网络(RNN)单元的相对梯度贡献。我们描述了时间反向传播(BPTT)的计算,该计算跟踪逐项梯度,或从序列的一个元素到序列的先前元素的梯度贡献。通过可视化梯度,而不是激活,RNNbow提供了对网络如何学习的洞察。我们用它来探索RNN的学习,RNN被训练成用C程序设计语言生成代码。我们展示了它如何揭示对消失梯度的洞察以及RNN在语料库中工作时训练的演变。
2019-07-29 cs.LG cs.NE
Visualizing Information Bottleneck through Variational Inference
New York University(纽约大学)
信息瓶颈理论为寻找近似最小充分统计量提供了一个理论和计算框架。对一个玩具问题的神经网络的随机梯度下降(SGD)训练的分析表明,存在两个阶段,拟合和压缩。在这项工作中,我们分析了深度神经网络在MNIST分类上的SGD训练过程,并确认了SGD训练的两个阶段的存在。我们还提出了一种通过变分推理估计深度神经网络的互信息的设置。
2022-12-24 cs.LG
Explainable Graph Neural Networks for Observation Impact Analysis in Atmospheric State Estimation
Korea Institute of Atmospheric Prediction Systems(韩国大气预测系统研究所);The Catholic University of Korea(韩国天主教大学)
本文提出结合图神经网络和基于梯度的可解释性方法,通过构建气象图并提取$k$-跳子图来估计大气状态,量化不同观测的重要性,从而优化天气预报中的观测数据。
2024-03-26 cs.AI cs.CY
Visualizing and Understanding Deep Neural Networks in CTR Prediction
Alibaba Group(阿里巴巴集团)
尽管深度学习技术已经成功应用于许多任务,但解释深度神经网络模型对我们来说仍然是一个很大的挑战。近年来,在图像处理和自然语言处理领域,对深度神经网络的机制进行了可视化和分析。在本文中,我们提出了可视化和理解深度神经网络的方法,用于非常重要的商业任务-CTR(点击率)预测。我们进行实验的生产数据,从我们的在线广告系统每天不同的分布。为了理解模型的机制和性能,我们在神经元水平上考察了模型的内部状态。此外,探针的方法来衡量逐层的模型的性能。此外,为了衡量输入特征的影响,我们根据反向传播的梯度计算显着性分数。还讨论了实际应用,例如,在理解,监测,诊断和完善模型和算法。
2018-06-22 cs.LG stat.ML
Visualizing Convolutional Neural Network Protein-Ligand Scoring
University of Pittsburgh(匹兹堡大学)
蛋白质配体评分是基于结构的药物设计流程中的重要步骤。选择正确的结合姿势和预测蛋白质-配体复合物的结合亲和力使得能够进行有效的虚拟筛选。机器学习技术可以利用越来越多的结构化数据,这些数据正变得公开可用。卷积神经网络(CNN)评分函数特别地在蛋白质-配体复合物的姿态选择和亲和力预测中显示出前景。神经网络以难以解释而闻名。了解特定网络的决策可以帮助调整参数和训练数据,以最大限度地提高性能。神经网络的可视化有助于将复杂的评分函数分解成更容易被人类解析的图片。在这里,我们提出了三种方法来可视化如何通过3D卷积神经网络解释单个蛋白质-配体复合物。我们还提供了卷积滤波器及其权重的可视化。我们描述了这些可视化提供的直觉如何帮助网络设计。
2018-03-06 cs.LG q-bio.BM stat.ML
Predicting and visualizing psychological attributions with a deep neural network
Radboud University Nijmegen(拉德堡德大学奈梅亨分校)
基于面部外观的人格判断是社会决策的强大影响力,并且已知对从总统选举到陪审团决定的领域产生影响。最近的工作表明,它是可能的,以预测感知的可记忆性,可信度,智力和其他属性的人脸图像。这些方法中最成功的方法需要用关键的面部标志熟练地注释面部图像。我们展示了一个卷积神经网络(CNN)模型,该模型能够执行相同的任务,而不需要地标特征,从而大大提高了效率。该模型具有高准确性,在某些情况下超过了人类水平的性能。此外,我们使用去卷积的方法来可视化的重要功能的感知22个属性,并展示了一种新的方法,分别可视化的积极和消极的功能。
2016-12-24 cs.CV cs.LG cs.NE
Visualizing Deep Neural Networks for Speech Recognition with Learned Topographic Filter Maps
University of Potsdam(波茨坦大学);Research Focus Cognitive Science(认知科学研究中心);Otto von Guericke University Magdeburg(奥托·冯·格里克马格德堡大学);Artificial Intelligence Lab(人工智能实验室)
深度神经网络中人工神经元的无信息排序使更深层的可视化激活变得复杂。这就是为什么这些模型的内部结构非常不直观的原因之一。在神经科学中,真实大脑的活动可以通过突出活动区域来可视化。受这些技术的启发,我们训练了一个卷积语音识别模型,其中滤波器排列在2D网格中,相邻的滤波器彼此相似。我们展示了这些地形滤波图如何更直观地显示人工神经元激活。此外,我们调查,这是否会导致音素反应神经元被分组在某些地区的地形图。
2019-12-06 cs.LG cs.SD eess.AS
Facial Landmark Visualization and Emotion Recognition Through Neural Networks
Unidad Profesional Interdisciplinaria de Ingeniería Campus Tlaxcala IPN(工程院tlaxcala校区ippn)
针对面部情绪识别中数据集分析不足的问题,提出面部关键点箱线图以识别异常值,并比较绝对位置与位移特征,发现神经网络优于随机森林。
2025-06-20 cs.AI cs.CV
Visualizing Convolutional Neural Networks to Improve Decision Support for Skin Lesion Classification
Ghent University(根特大学);imec(比利时微电子研究中心)
由于其在计算机视觉中的最先进性能,CNN在包括医学在内的各个领域越来越受欢迎。然而,由于神经网络是黑箱函数逼近器,因此医学专家很难(如果不是不可能)推理它们的输出。这可能会导致专家在不同意其输出时不信任网络。在这种情况下,解释CNN为什么做出某个决定就成为有价值的信息。在本文中,我们试图通过检查和可视化学习的特征图,在皮肤病学领域打开CNN的黑盒子。我们表明,在某种程度上,CNN关注的特征与皮肤科医生用于诊断的特征相似。然而,需要更多的研究来充分解释其产出。
2018-09-11 cs.CV cs.LG
Visualizing Uncertainty and Saliency Maps of Deep Convolutional Neural Networks for Medical Imaging Applications
Ryerson University(瑞尔森大学)
深度学习模型现在被用于许多不同的行业,而在某些领域,安全性并不是医疗领域的关键问题,而是一个巨大的问题。我们不仅希望模型能够很好地泛化,而且还想知道模型对其决策的置信度,以及哪些特征最重要。我们的团队旨在开发一个完整的管道,不仅显示模型决策的不确定性,而且还显示显着图,以显示输入图像的哪些像素集对预测贡献最大。
2019-07-05 cs.CV cs.LG eess.IV
DeepView: Visualizing Classification Boundaries of Deep Neural Networks as Scatter Plots Using Discriminative Dimensionality Reduction
Bielefeld University(比勒费尔德大学)
使用深度架构的机器学习算法已经能够实现越来越强大和成功的模型。然而,它们也变得越来越复杂,更难理解,更容易被愚弄。到目前为止,文献中的大多数方法都是针对单个给定的输入数据来研究模型的决策。在本文中,我们提出了可视化的一部分决策功能的深度神经网络与一部分的数据集在两个维度与歧视性降维。这使我们能够检查模型如何处理数据的不同属性,例如离群值,对手或中毒数据。此外,所提出的方法是对文献中提到的解释方法的补充,因此与这些方法结合可能更有用。代码可在https://github.com/LucaHermes/DeepView上获得。
2020-08-19 cs.LG stat.ML
Visualizing Loss Functions as Topological Landscape Profiles
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Arizona State University(亚利桑那州立大学);University of California, Davis(加利福尼亚大学戴维斯分校);Dartmouth College(达特茅斯学院);ICSI(国际计算机科学研究所);UC Berkeley(加利福尼亚大学伯克利分校)
本文提出基于拓扑数据分析的拓扑景观剖面表示,用于可视化高维损失景观,揭示模型性能与学习动态,并发现性能越好损失景观拓扑越简单、性能转变附近形状变化更大。
2024-11-19 cs.AI cs.LG
Wheelchair Behavior Recognition for Visualizing Sidewalk Accessibility by Deep Neural Networks
Sophia University(上智大学);The University of Tokyo(东京大学)
本文介绍了我们的方法来估计人行道无障碍轮椅的行为,通过三轴加速度计安装在轮椅座椅下的智能手机。我们的方法认识到人行道通道的环境因素,如梯度,遏制,和差距,影响轮椅机构,并成为一个负担的人行动不便。本文开发并评估了一个原型系统,该系统通过使用深度神经网络从轮椅加速度中提取知识来可视化人行道可达性信息。首先,我们创建了一个监督卷积神经网络模型,使用轮椅加速度数据对路面状况进行分类。其次,我们采用了弱监督的方法来提取路面状况的表示,而无需手动注释。最后,我们开发了一个自我监督的变分自编码器,以评估轮椅使用者的人行道障碍。结果表明,该方法从轮椅加速度估计人行道可达性,并提取弱监督和自监督的方法可达性的知识。
2021-01-11 cs.LG
Grad-CAM for Visualizing Attention Regions of PCA and SVM Layers in Convolutional Neural Networks
Nihon University(日本大学)
本文针对有限训练样本下CNN中PCA层和SVM层无法直接使用Grad-CAM的问题,提出PCA-Grad-CAM和SVM-Grad-CAM可视化方法,并推导出从最后卷积层到这些层的闭式雅可比,在多个主要数据集上验证了白盒可视化效果。
2026-10-06 cs.LG
A General Framework for Visualizing Embedding Spaces of Neural Survival Analysis Models Based on Angular Information
Carnegie Mellon University(卡内基梅隆大学)
提出一种基于锚定方向与角度信息的通用框架,用于可视化神经生存分析模型的嵌入空间,支持表格与图像数据,并处理信息损失问题。
2023-05-11 cs.HC cs.LG stat.ML
Visualizing the Loss Landscape of Neural Nets
University of Maryland, College Park(马里兰大学帕克分校);United States Naval Academy(美国海军学院);Cornell University(康奈尔大学)
神经网络训练依赖于我们找到高度非凸损失函数的“好”最小化器的能力。众所周知,某些网络架构设计(例如,跳过连接)产生损失函数,训练更容易,且精心选择的训练参数(批量大小、学习率、优化器)产生更好概括的最小值。然而,这些差异的原因及其对基本损失状况的影响尚不清楚。在本文中,我们探讨了神经损失函数的结构,损失景观泛化的影响,使用一系列的可视化方法。首先,我们介绍了一个简单的“滤波器归一化”方法,它可以帮助我们可视化损失函数曲率,并在损失函数之间进行有意义的并排比较。然后,使用各种可视化,我们探索网络架构如何影响损失景观,以及训练参数如何影响最小化器的形状。
2018-11-07 cs.CV cs.LG stat.ML
Visualizing Graph Neural Networks with CorGIE: Corresponding a Graph to Its Embedding
University of British Columbia(不列颠哥伦比亚大学);Facebook Inc.(Facebook公司)
本文提出CorGIE交互式可视化界面,通过K-hop图布局将输入图与其节点嵌入相对应,帮助GNN开发者理解模型是否真正学到图的特征,并通过案例研究验证其功能性与可用性。
2021-11-08 cs.HC cs.LG
Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks
Lamda.nju.edu.cn(南京大学)
本文研究 DNN 损失景观的局部几何,系统分类一维损失曲线并提出挖掘复杂扰动方向的算法,进而可视化鞍面等二维结构并用 Hessian 矩阵加以解释。
2025-06-06 cs.LG
Visualizing the Loss Landscape of Winning Lottery Tickets
Oregon State University(俄勒冈州立大学)
深度神经网络的潜在损失景观对其训练有很大的影响,但由于计算限制,它们主要在理论上进行研究。这项工作大大减少了计算这种损失景观所需的时间,并使用它们来研究通过迭代幅度修剪发现的中奖彩票。我们还分享了与先前声称的某些损失景观投影方法与模型可训练性和泛化误差之间的相关性相矛盾的结果。
2021-12-16 cs.CV cs.LG
A Neural Ordinary Differential Equation Model for Visualizing Deep Neural Network Behaviors in Multi-Parametric MRI based Glioma Segmentation
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学);North Carolina State University(北卡罗来纳州立大学)
目的:开发一种神经常微分方程(ODE)模型,用于在基于多参数MRI(mp-MRI)的胶质瘤分割过程中可视化深度神经网络(DNN)行为,作为增强深度学习可解释性的方法。研究方法:通过假设深度特征提取可以建模为时空连续过程,我们设计了一种新的深度学习模型,神经ODE,其中深度特征提取由没有显式表达式的ODE控制。1)与DNN交互后的MR图像的动态和2)分割形成可以在求解ODE后可视化。设计了累积贡献曲线(ACC),以定量评估DNN对最终分割结果的每个MRI的利用率。使用369名胶质瘤患者使用4种模态mp-MRI方案证明了所提出的神经ODE模型:T1,对比增强T1(T1-Ce),T2和FLAIR。训练三个神经ODE模型以分割增强肿瘤(ET)、肿瘤核心(TC)和整个肿瘤(WT)。根据ACC分析,确定了DNN显著利用的关键MR模式。将仅使用关键MR模态的DNN分割结果与使用所有4种MR模态的分割结果进行比较。结果:所有的神经ODE模型成功地说明了图像动力学的预期。ACC分析确定T1-Ce是ET和TC分割的唯一关键模态,而FLAIR和T2都是WT分割的关键模态。与使用所有4种MR模式的U-Net结果相比,使用关键模式的ET(0.784->0.775),TC(0.760->0.758)和WT(0.841->0.837)的Dice系数仅具有最小差异,无显著性。结论:神经ODE模型为优化深度学习模型…
2022-03-23 cs.LG eess.IV q-bio.QM
Visualizing Representational Dynamics with Multidimensional Scaling Alignment
Zuckerman Mind Brain Behavior Institute, Columbia University, New York, NY, USA 10027(美国纽约州纽约市哥伦比亚大学祖克曼心智脑行为研究所)
表征相似性分析(RSA)已被证明是一个有效的框架,表征脑活动概况和深层神经网络激活作为表征几何,通过计算成对的反应模式的距离作为一个表征相异性矩阵(RDM)。然而,如何正确地分析和可视化的代表性的几何动态的时间过程中,从刺激开始到偏移还没有得到很好的理解。在这项工作中,我们制定了管道,以了解与RDM电影和Procrustes-aligned多维标度(pMDS)的表征动力学,并将其应用于猴子IT皮层的神经记录。我们的研究结果表明,多维缩放对齐可以真正捕捉到动态的类别特定的表示空间与多种可视化的可能性,对象分类可能是分层的,多阶段的,和振荡(或循环)。
2019-07-28 cs.AI cs.LG cs.NE
Visualizing the PHATE of Neural Networks
Yale University(耶鲁大学);Princeton University(普林斯顿大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
理解某些神经网络为什么以及如何优于其他网络是指导网络架构和优化方法未来发展的关键。为此,我们引入了一种新的可视化算法,揭示了这种网络的内部几何结构:Multislice PHATE(M-PHATE),这是第一种明确设计用于可视化神经网络隐藏的数据表示在整个训练过程中如何演变的方法。我们证明,我们的可视化提供了直观的,详细的总结学习动态超越简单的全球措施(即,验证损失和准确性),而无需访问验证数据。此外,与基于标准降维方法(例如,ISOMAP,t-SNE)。我们用两个小插曲来演示M-PHATE:持续学习和泛化。在前者中,M-PHATE可视化显示了“灾难性遗忘“的机制,这是任务切换背景下学习的一个主要挑战。在后者中,我们的可视化揭示了隐藏单元之间增加的异质性如何与提高的泛化性能相关。M-PHATE的一个实现,以及复制本文中的图形的脚本,可以在https://github.com/scottgigante/M-PHATE上找到。
2019-08-07 cs.LG cs.NE stat.ML
Visualizing Deep Similarity Networks
George Washington University(乔治·华盛顿大学);Temple University(天普大学)
对于优化图像嵌入的卷积神经网络模型,我们提出了一种方法来突出对成对相似性贡献最大的图像区域。这项工作是为分类网络开发的可视化工具的必然结果,但适用于更适合相似性学习的问题域。可视化显示了经过微调的相似性网络如何学习专注于不同的特征。我们还将我们的方法推广到使用不同池化策略的嵌入网络,并提供一种简单的机制来支持对查询图像中的对象或子区域进行图像相似性搜索。
2019-01-02 cs.CV cs.LG
Visualizing Deep Neural Networks with Topographic Activation Maps
Otto-von-Guericke-University Magdeburg(马格德堡奥托·冯·格里克大学);MOTOR Ai GmbH(MOTOR Ai有限公司)
本研究借鉴神经科学的地形图思路,提出并比较多种DNN层神经元地形布局方法,生成地形激活图以识别错误、偏差及可视化训练过程,提升DNN决策系统的可解释性与透明度。
2023-06-14 cs.CV cs.HC cs.LG
Visualizing the loss landscapes of physics-informed neural networks
Aerospace Engineering University of Colorado Boulder(科罗拉多大学波得尔分校航空航天工程学院);Applied Mathematics University of Colorado Boulder(科罗拉多大学波得尔分校应用数学系)
本文研究了物理信息神经网络的损失景观,比较了深度Ritz和强形式损失,揭示了其景观的平滑性和良好条件性。
2026-02-05 cs.LG
Deep Motif Dashboard: Visualizing and Understanding Genomic Sequences Using Deep Neural Networks
University of Virginia(弗吉尼亚大学)
深度神经网络(DNN)模型最近已经获得了用于转录因子结合(TFBS)位点分类任务的最先进的预测精度。然而,目前尚不清楚这些方法如何识别有意义的DNA序列信号,并提供关于为什么TF结合到某些位置的见解。在本文中,我们提出了一个工具包,称为深基序仪表板(DeMo仪表板),它提供了一套可视化策略,提取基序,或序列模式从深神经网络模型TFBS分类。我们演示了如何可视化和理解三个重要的DNN模型:卷积网络、递归网络和卷积-递归网络。我们的第一个可视化方法是找到一个测试序列的显着性图,它使用一阶导数来描述每个核苷酸在最终预测中的重要性。其次,考虑到递归模型以时间方式进行预测(从TFBS序列的一端到另一端),我们引入时间输出分数,表示模型随时间推移对顺序输入的预测分数。最后,类特定的可视化策略通过随机梯度优化找到给定TFBS正类的最佳输入序列。我们的实验结果表明,一个卷积递归架构执行最好的三种架构。可视化技术表明,CNN-RNN通过对两个基序以及它们之间的依赖关系进行建模来进行预测。
2016-10-18 cs.CV cs.LG cs.NE
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech(佐治亚理工学院)
深度学习越来越多地用于决策任务。然而,理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的,这些权重是在数百万张图像上优化的,因此这种解释很容易错过更大的画面。我们介绍了Summit,这是一个交互式系统,可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术:(1)激活聚合发现重要的神经元,(2)神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来,创建了新颖的归因图,揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据,例如包含120万张图像的ImageNet数据集,并利用神经网络特征可视化和数据集示例,帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案,其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解,并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行,并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
Coloring the Black Box: Visualizing neural network behavior with a self-introspective model
Universidad de Cantabria(坎塔布里亚大学);Instituto de Investigación Valdecilla (IDIVAL)(瓦尔迪西利亚研究所(IDIVAL));CIBER-BBN(生物工程、生物材料与纳米医学生物医学研究网络中心);Dartmouth College(达特茅斯学院)
下面的工作介绍了如何自动编码给定问题的网络的所有可能的隐藏激活,可以提供有关其结构,行为和漏洞的见解。该方法被称为自我反省,可以表明,当显示属于同一类别的数据时,经过训练的模型显示出类似的激活模式(尽管由于初始化而随机分布),并且分类错误发生在激活没有明确定义的边缘区域,这表明在深度网络中发生了某种形式的随机,缓慢变化的隐式编码,可以用这种表示法观察到。此外,获得所有激活的低维表示允许(1)在多类分类问题的背景下进行实时模型评估,(2)根据所有隐藏层在获得特定输出时的相关性对所有隐藏层进行重新排列,以及(3)获得一个框架,其中研究可能的针对噪音和对抗攻击的对策是可能的。自我反省可以显示受损的输入数据如何修改隐藏的激活,从而产生错误的响应。一些示例是针对前馈和卷积模型以及MNIST和CIFAR-10数据集实现的,展示了其作为模型评估框架的能力。
2019-10-15 cs.CV cs.LG cs.NE
Neural Storyboard Artist: Visualizing Stories with Coherent Image Sequences
Renmin University of China(中国人民大学);Microsoft Research Asia(微软亚洲研究院);Microsoft XiaoIce(微软小冰);Beijing Film Academy(北京电影学院)
故事板是一系列图像,用于说明包含多个句子的故事,这是创建不同故事产品的关键过程。在本文中,我们解决了一个新的多媒体任务的自动故事板创建,以促进这一过程,并激发人类艺术家。受我们对语言的理解是基于我们过去经验的启发,我们提出了一个新颖的灵感和创造框架,该框架具有故事到图像检索器,该检索器选择相关的电影图像以获得灵感,并且故事板创建者进一步细化和渲染图像以提高相关性和视觉一致性。该检索器动态地采用上下文信息的故事与层次的关注,并应用密集的视觉语义匹配,准确地检索和地面图像。然后,创建者采用三个渲染步骤,以增加检索图像的灵活性,这包括删除无关区域,统一的图像风格和替换一致的字符。我们在域内和域外视觉故事数据集上进行了广泛的实验。所提出的模型实现了更好的定量性能比国家的最先进的故事板创建基线。定性可视化和用户研究进一步验证了我们的方法可以创建高质量的故事板,即使是在野外的故事。
2019-11-24 cs.CL cs.CV cs.LG
Visualizing CoAtNet Predictions for Aiding Melanoma Detection
Carebot s.r.o.(Carebot有限责任公司)
黑色素瘤被认为是最具侵略性的皮肤癌。由于恶性和良性癌性病变的形状相似,医生在诊断这些发现时花费了相当多的时间。目前,恶性肿瘤的评估主要是通过对可疑病变进行侵入性组织学检查来进行的。开发一个准确的分类器,用于早期和有效的检测,可以最大限度地减少和监测皮肤癌的有害影响,并提高患者的生存率。本文提出了一种使用CoAtNet架构的多类分类任务,CoAtNet架构是一种混合模型,它将传统卷积神经网络的深度卷积矩阵运算与Transformer模型和自注意力机制的优势相结合,以实现更好的泛化能力和容量。所提出的多类分类器实现了0.901的整体精度,召回率0.895,和AP 0.923,表明高性能相比,其他国家的最先进的网络。
2022-05-21 cs.CV cs.LG eess.IV
Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles
Colorado State University(科罗拉多州立大学)
多样性是构造鲁棒神经网络集成的重要考虑因素。如果一组经过良好训练的模型在响应的模式和做出的预测方面是多样的,那么它们的泛化能力会更好。多样性对于低成本集成方法尤其重要,因为成员通常共享网络结构,以避免从头开始训练几个独立的模型。多样性传统上是通过测量模型输出之间的差异来分析的。然而,这给了小的洞察力如何知识表示不同的合奏成员。本文介绍了几种可用于定性分析多样性的解释性方法。我们通过比较两种低成本集成算法(快照集成和修剪和调谐集成)子网络之间的特征表示的多样性来演示这些技术。我们使用相同的预先训练的父网络作为这两种方法的起点,这使我们能够探索特征表示如何随着时间的推移而演变。这种多样性分析方法可以为我们如何衡量和促进集成方法的多样性带来有价值的见解和新的视角。
2023-02-12 cs.LG
Visualizing and Understanding Recurrent Networks
Stanford University(斯坦福大学)
循环神经网络(RNN),特别是具有长短期记忆(LSTM)的变体,由于在涉及序列数据的广泛机器学习问题中的成功应用而重新受到关注。然而,尽管长期短期措施在实践中取得了非凡的成果,但人们对其性能的来源及其局限性仍然知之甚少。使用字符级语言模型作为可解释的测试平台,我们的目标是通过分析它们的表示,预测和错误类型来弥合这一差距。特别是,我们的实验揭示了可解释的细胞的存在,跟踪长范围的依赖关系,如行的长度,引号和括号。此外,我们与有限水平n-gram模型的比较分析将LSTM改进的来源追溯到了长程结构依赖关系。最后,我们分析了剩余的错误,并提出了进一步研究的领域。
2015-11-17 cs.CL cs.LG cs.NE
Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training
Boston University(波士顿大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Johns Hopkins University(约翰霍普金斯大学);University of California San Diego(加州大学圣地亚哥分校)
MM-PHATE通过多维分析RNN隐藏状态演变,揭示训练过程中表示几何变化,提供直观方法理解RNN架构与性能关系。
2026-03-24 cs.LG
Understanding Neural Networks Through Deep Visualization
Cornell University(康奈尔大学);University of Wyoming(怀俄明大学);Jet Propulsion Laboratory, California Institute of Technology(加州理工学院喷气推进实验室)
近年来,在训练大型深度神经网络(DNN)方面取得了巨大进展,包括在训练卷积神经网络(convnets)以识别自然图像方面取得了显著成功。然而,我们对这些模型如何工作的理解,特别是它们在中间层执行的计算,已经落后了。通过开发更好的可视化和解释神经网络的工具,该领域的进展将进一步加速。我们在这里介绍两个这样的工具。第一个是一个工具,它可以可视化经过训练的convnet在处理图像或视频(例如实时网络摄像头流)时在每一层上产生的激活。我们发现,查看响应用户输入而变化的实时激活有助于建立有关convnet如何工作的宝贵直觉。第二个工具可以通过图像空间中的正则化优化来可视化DNN每层的特征。由于这种想法的以前版本产生的图像识别度较低,因此在这里我们引入了几种新的正则化方法,这些方法结合起来可以产生更清晰,更可解释的可视化效果。这两个工具都是开源的,并在预先训练的convnet上工作,只需最少的设置。
2015-06-22 cs.CV cs.LG cs.NE
IgNet. A Super-precise Convolutional Neural Network
卷积神经网络(CNN)是一种有效的图像检测和分析方法。它们的功能本质上是基于提取出图像共同特征的能力。然而,存在着涉及独特的、不规则的特征或细节的图像。这是一个不寻常的儿童绘画反映孩子们的想象力和个性的集合。这些图纸通过由Keras-TensorFlow构建的CNN进行分析。同样的问题-在一个显着更高的水平上-解决了新开发的网络家族称为IgNet,这是本文所描述的。它被证明能够100%地学习图纸的所有分类特征。在回归任务(学习年轻艺术家的年龄)的情况下,IgNet的误差不超过0.4%。IgNet设计的原则进行了讨论,使人们有可能达到这样的实质性成果,而简单的网络拓扑结构。
2021-09-21 cs.CV cs.LG
Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention
University of California, Berkeley(加州大学伯克利分校)
深度神经感知和控制网络可能是自动驾驶汽车的关键组成部分。这些模型需要是可解释的--它们应该为自己的行为提供易于解释的理由--以便乘客、保险公司、执法部门、开发人员等,能理解是什么触发了特定的行为在这里,我们探索视觉解释的使用。这些解释采取图像的实时突出显示区域的形式,这些区域会影响网络的输出(转向控制)。我们的方法分两个阶段。在第一阶段,我们使用视觉注意力模型来训练从图像到转向角度的端到端卷积网络。注意力模型突出了可能影响网络输出的图像区域。其中有些是真正的影响,但有些是虚假的。然后,我们应用因果过滤步骤来确定哪些输入区域实际上影响输出。这会产生更简洁的视觉解释,并更准确地揭示网络的行为。我们证明了我们的模型在三个数据集上的有效性,总共16个小时的驾驶。我们首先证明,注意力训练不会降低端到端网络的性能。然后,我们展示了网络对人类在驾驶时使用的各种功能的因果线索。
2017-03-30 cs.CV cs.LG
In situ TensorView: In situ Visualization of Convolutional Neural Networks
University of New Mexico(新墨西哥大学);Kent State University(肯特州立大学);US Army Research Laboratory(美国陆军研究实验室);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
卷积神经网络(CNN)是一种复杂的系统。它们经过训练,可以调整内部连接来识别图像、文本等。将这种深层人工神经网络内的动态可视化既有趣又有帮助,这样人们就可以理解这些人工网络是如何学习和做出预测的。在科学模拟领域,像Paraview这样的可视化工具长期以来一直被用来提供见解和理解。我们提出了原位TensorView来可视化CNN的训练和功能,就好像它们是科学模拟系统一样。In situ TensorView是一个松散耦合的原位可视化开放框架,提供多个查看器来帮助用户可视化和理解他们的网络。它利用Paraview的协同处理功能,在训练和预测阶段提供实时可视化。这避免了可视化大型动态系统的繁重I/O开销。在TensorFlow框架中只注入了少量的代码行。可视化可以为调整网络结构或压缩预训练网络提供指导。我们展示了使用原位TensorView可视化LeNet-5和VGG 16的训练。
2018-06-16 cs.CV cs.HC cs.LG
Efficient Cloth Simulation using Miniature Cloth and Upscaling Deep Neural Networks
Yonsei University(延世大学)
织物模拟需要一种快速、稳定的方法来使用计算机图形学交互地、逼真地可视化织物材料。我们提出了一种高效的布料模拟方法,使用微型布料模拟和升级深度神经网络(DNN)。放大的DNN从具有与目标布料的物理属性相似的物理属性的微型布料的基于物理的模拟的结果生成目标布料模拟。我们已经通过实验验证了所提出的方法的实用性,结果表明,它是可能的,在各种条件下生成快速和稳定的布料模拟。
2019-07-09 cs.GR cs.LG
Motor Imagery Classification of Single-Arm Tasks Using Convolutional Neural Network based on Feature Refining
Korea University(高丽大学)
脑机接口(BCI)解码大脑信号以理解用户意图和状态。由于其简单、安全的数据采集过程,脑电图(EEG)被广泛应用于无创脑机接口。运动想象(MI)是脑电的一种范式,由于其信号来源,常用于运动功能的恢复或康复。然而,EEG信号是振荡的和非平稳的信号,这使得难以准确地收集和分类MI。在这项研究中,我们提出了一个频带功率特征细化卷积神经网络(BFR-CNN),它是由两个卷积块,以实现高的分类精度。通过采集脑电信号建立包含单臂运动想象的MI数据集,该模型在4类MI任务分类中优于传统方法。因此,我们证明了使用BFR-CNN仅使用具有鲁棒性能的EEG信号就可以解码用户意图。
2020-02-04 cs.HC cs.LG eess.SP
G-NeuroDAVIS: A Neural Network model for generalized embedding, data visualization and sample generation
Indian Statistical Institute(印度统计研究所)
本文提出生成模型 G-NeuroDAVIS,通过广义嵌入实现高维数据可视化与样本生成,在嵌入质量、分类性能和样本生成上显著优于 VAE。
2024-10-18 cs.LG
Visualizing and Understanding Sum-Product Networks
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Bari(巴里大学)
和积网络(SPN)是最近引入的深度易处理的概率模型,通过它可以在易处理的时间内准确地回答多种推理查询。到目前为止,它们主要被用作黑箱密度估计器,仅通过比较它们的可能性得分来评估。在本文中,我们将探索和利用SPN学习的内部表示。我们这样做有三个目的:首先,我们希望更好地了解SPN的内部工作原理;其次,我们寻求其他方法来评估一个SPN模型,并将其与其他概率模型进行比较,为从业者提供诊断工具;最后,我们希望根据经验评估提取的表示有多好和有意义,就像在经典的表示学习框架中一样。为了做到这一点,我们修改了他们的解释为深神经网络,我们建议利用几种可视化技术,在不同类型的推理查询下,他们的节点激活和网络输出。为了研究这些模型作为特征提取器,我们将一些在图像数据集上以贪婪的无监督方式学习的SPN插入监督分类学习任务中。我们提取几个嵌入类型的节点激活过滤节点的类型,其相关的功能抽象级别和范围。在一个彻底的实证比较中,我们证明了它们对那些从流行的特征提取器作为限制玻尔兹曼机产生的竞争力。最后,我们研究随机概率边际查询生成的嵌入,作为比较其他易处理的概率模型的一个共同点,扩展我们的实验混合树。
2018-08-24 cs.LG stat.ML
LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics
Arizona State University(亚利桑那州立大学);Dartmouth College(达特茅斯学院);University of California, Davis(加州大学戴维斯分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
本文提出多尺度损失景观可视分析框架 LossLens,整合全局与局部指标以增强模型诊断,并通过 ResNet-20 和物理信息神经网络案例验证其有效性。
2024-12-17 cs.LG
Bluff: Interactively Deciphering Adversarial Attacks on Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究院)
深度神经网络(DNN)现在通常用于许多领域。然而,它们很容易受到对抗攻击:精心设计的数据输入扰动,可以欺骗模型做出错误的预测。尽管在开发DNN攻击和防御技术方面进行了大量研究,但人们仍然缺乏对此类攻击如何渗透模型内部的理解。我们提出了Bluff,一个交互式系统,用于可视化,表征和破译基于视觉的神经网络上的对抗攻击。Bluff允许人们灵活地可视化和比较良性和受攻击图像的激活路径,揭示对抗攻击对模型造成伤害的机制。Bluff是开源的,可以在现代的Web浏览器中运行。
2020-09-08 cs.CR cs.LG
Automatic Text Scoring Using Neural Networks
University of Cambridge(剑桥大学)
自动文本评分(ATS)为人工标记提供了一种具有成本效益且一致的替代方案。然而,为了实现良好的性能,系统的预测功能需要由人类专家手动设计。我们引入了一个模型,通过学习特定单词对文本分数的贡献程度来形成单词表示。使用长短期记忆网络来表示文本的含义,我们证明了一个完全自动化的框架能够在类似的方法上取得优异的结果。为了使我们的结果更具可解释性,并受到可视化神经网络的最新进展的启发,我们引入了一种新的方法来识别模型发现更具歧视性的文本区域。
2016-06-16 cs.CL cs.LG cs.NE