Visualizing Convolutional Neural Network Protein-Ligand Scoring
University of Pittsburgh（匹兹堡大学）
蛋白质配体评分是基于结构的药物设计流程中的重要步骤。选择正确的结合姿势和预测蛋白质-配体复合物的结合亲和力使得能够进行有效的虚拟筛选。机器学习技术可以利用越来越多的结构化数据，这些数据正变得公开可用。卷积神经网络（CNN）评分函数特别地在蛋白质-配体复合物的姿态选择和亲和力预测中显示出前景。神经网络以难以解释而闻名。了解特定网络的决策可以帮助调整参数和训练数据，以最大限度地提高性能。神经网络的可视化有助于将复杂的评分函数分解成更容易被人类解析的图片。在这里，我们提出了三种方法来可视化如何通过3D卷积神经网络解释单个蛋白质-配体复合物。我们还提供了卷积滤波器及其权重的可视化。我们描述了这些可视化提供的直觉如何帮助网络设计。
2018-03-06 cs.LG q-bio.BM stat.ML
Predicting and visualizing psychological attributions with a deep neural network
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
基于面部外观的人格判断是社会决策的强大影响力，并且已知对从总统选举到陪审团决定的领域产生影响。最近的工作表明，它是可能的，以预测感知的可记忆性，可信度，智力和其他属性的人脸图像。这些方法中最成功的方法需要用关键的面部标志熟练地注释面部图像。我们展示了一个卷积神经网络（CNN）模型，该模型能够执行相同的任务，而不需要地标特征，从而大大提高了效率。该模型具有高准确性，在某些情况下超过了人类水平的性能。此外，我们使用去卷积的方法来可视化的重要功能的感知22个属性，并展示了一种新的方法，分别可视化的积极和消极的功能。
2016-12-24 cs.CV cs.LG cs.NE
Visualizing Deep Neural Networks for Speech Recognition with Learned Topographic Filter Maps
University of Potsdam（波茨坦大学）；Research Focus Cognitive Science（认知科学研究中心）；Otto von Guericke University Magdeburg（奥托·冯·格里克马格德堡大学）；Artificial Intelligence Lab（人工智能实验室）
深度神经网络中人工神经元的无信息排序使更深层的可视化激活变得复杂。这就是为什么这些模型的内部结构非常不直观的原因之一。在神经科学中，真实大脑的活动可以通过突出活动区域来可视化。受这些技术的启发，我们训练了一个卷积语音识别模型，其中滤波器排列在2D网格中，相邻的滤波器彼此相似。我们展示了这些地形滤波图如何更直观地显示人工神经元激活。此外，我们调查，这是否会导致音素反应神经元被分组在某些地区的地形图。
2019-12-06 cs.LG cs.SD eess.AS
Visualizing Uncertainty and Saliency Maps of Deep Convolutional Neural Networks for Medical Imaging Applications
Ryerson University（瑞尔森大学）
深度学习模型现在被用于许多不同的行业，而在某些领域，安全性并不是医疗领域的关键问题，而是一个巨大的问题。我们不仅希望模型能够很好地泛化，而且还想知道模型对其决策的置信度，以及哪些特征最重要。我们的团队旨在开发一个完整的管道，不仅显示模型决策的不确定性，而且还显示显着图，以显示输入图像的哪些像素集对预测贡献最大。
2019-07-05 cs.CV cs.LG eess.IV
A General Framework for Visualizing Embedding Spaces of Neural Survival Analysis Models Based on Angular Information
Carnegie Mellon University（卡内基梅隆大学）
提出一种基于锚定方向与角度信息的通用框架，用于可视化神经生存分析模型的嵌入空间，支持表格与图像数据，并处理信息损失问题。
2023-05-11 cs.HC cs.LG stat.ML
Visualizing the Loss Landscape of Neural Nets
University of Maryland, College Park（马里兰大学帕克分校）；United States Naval Academy（美国海军学院）；Cornell University（康奈尔大学）
神经网络训练依赖于我们找到高度非凸损失函数的“好”最小化器的能力。众所周知，某些网络架构设计（例如，跳过连接）产生损失函数，训练更容易，且精心选择的训练参数（批量大小、学习率、优化器）产生更好概括的最小值。然而，这些差异的原因及其对基本损失状况的影响尚不清楚。在本文中，我们探讨了神经损失函数的结构，损失景观泛化的影响，使用一系列的可视化方法。首先，我们介绍了一个简单的“滤波器归一化”方法，它可以帮助我们可视化损失函数曲率，并在损失函数之间进行有意义的并排比较。然后，使用各种可视化，我们探索网络架构如何影响损失景观，以及训练参数如何影响最小化器的形状。
2018-11-07 cs.CV cs.LG stat.ML
Visualizing Information Bottleneck through Variational Inference
New York University（纽约大学）
信息瓶颈理论为寻找近似最小充分统计量提供了一个理论和计算框架。对一个玩具问题的神经网络的随机梯度下降（SGD）训练的分析表明，存在两个阶段，拟合和压缩。在这项工作中，我们分析了深度神经网络在MNIST分类上的SGD训练过程，并确认了SGD训练的两个阶段的存在。我们还提出了一种通过变分推理估计深度神经网络的互信息的设置。
2022-12-24 cs.LG
Visualizing Representational Dynamics with Multidimensional Scaling Alignment
Zuckerman Mind Brain Behavior Institute, Columbia University, New York, NY, USA 10027（美国纽约州纽约市哥伦比亚大学祖克曼心智脑行为研究所）
表征相似性分析（RSA）已被证明是一个有效的框架，表征脑活动概况和深层神经网络激活作为表征几何，通过计算成对的反应模式的距离作为一个表征相异性矩阵（RDM）。然而，如何正确地分析和可视化的代表性的几何动态的时间过程中，从刺激开始到偏移还没有得到很好的理解。在这项工作中，我们制定了管道，以了解与RDM电影和Procrustes-aligned多维标度（pMDS）的表征动力学，并将其应用于猴子IT皮层的神经记录。我们的研究结果表明，多维缩放对齐可以真正捕捉到动态的类别特定的表示空间与多种可视化的可能性，对象分类可能是分层的，多阶段的，和振荡（或循环）。
2019-07-28 cs.AI cs.LG cs.NE
Visualizing Neural Network Imagination
Google（谷歌）；University of Toronto（多伦多大学）；Satalia（萨塔利亚公司）；University of Oxford（牛津大学）
本文通过在RNN末端接入解码器来可视化隐藏激活所表示的环境状态，并提出定量可解释性指标，结合自编码器与对抗技术验证隐藏状态的高可解释性。
2024-05-10 cs.AI cs.LG
Visualizing Movement Control Optimization Landscapes
Aalto University（阿尔托大学）；Stanford University（斯坦福大学）
大量的动画研究集中在动作控制的优化上，无论是动作序列还是策略参数。然而，由于目标函数的封闭形式的表达式往往是不可用的，我们对优化问题的理解是有限的。在最近分析神经网络训练的基础上，我们提供了高维控制优化景观的新可视化;这有助于深入了解为什么控制优化很难，以及为什么像提前终止和基于样条的动作参数化这样的常见做法使优化更容易。例如，我们的实验显示了轨迹优化如何随着较长的轨迹而变得越来越病态，但是将控制参数化为部分目标状态-例如，使用PD控制器将目标角度转换为扭矩-可以作为有效的预处理器。我们的可视化和定量经验数据也表明，神经网络策略优化的规模比轨迹优化长期规划的视野。我们的工作推进了对运动优化的理解，我们的可视化也应该在教育用途中提供价值。
2020-08-22 cs.LG stat.ML
Visualizing Convolutional Neural Networks to Improve Decision Support for Skin Lesion Classification
Ghent University（根特大学）；imec（比利时微电子研究中心）
由于其在计算机视觉中的最先进性能，CNN在包括医学在内的各个领域越来越受欢迎。然而，由于神经网络是黑箱函数逼近器，因此医学专家很难（如果不是不可能）推理它们的输出。这可能会导致专家在不同意其输出时不信任网络。在这种情况下，解释CNN为什么做出某个决定就成为有价值的信息。在本文中，我们试图通过检查和可视化学习的特征图，在皮肤病学领域打开CNN的黑盒子。我们表明，在某种程度上，CNN关注的特征与皮肤科医生用于诊断的特征相似。然而，需要更多的研究来充分解释其产出。
2018-09-11 cs.CV cs.LG
Deep Motif Dashboard: Visualizing and Understanding Genomic Sequences Using Deep Neural Networks
University of Virginia（弗吉尼亚大学）
深度神经网络（DNN）模型最近已经获得了用于转录因子结合（TFBS）位点分类任务的最先进的预测精度。然而，目前尚不清楚这些方法如何识别有意义的DNA序列信号，并提供关于为什么TF结合到某些位置的见解。在本文中，我们提出了一个工具包，称为深基序仪表板（DeMo仪表板），它提供了一套可视化策略，提取基序，或序列模式从深神经网络模型TFBS分类。我们演示了如何可视化和理解三个重要的DNN模型：卷积网络、递归网络和卷积-递归网络。我们的第一个可视化方法是找到一个测试序列的显着性图，它使用一阶导数来描述每个核苷酸在最终预测中的重要性。其次，考虑到递归模型以时间方式进行预测（从TFBS序列的一端到另一端），我们引入时间输出分数，表示模型随时间推移对顺序输入的预测分数。最后，类特定的可视化策略通过随机梯度优化找到给定TFBS正类的最佳输入序列。我们的实验结果表明，一个卷积递归架构执行最好的三种架构。可视化技术表明，CNN-RNN通过对两个基序以及它们之间的依赖关系进行建模来进行预测。
2016-10-18 cs.CV cs.LG cs.NE
Exploring the Manifold of Neural Networks Using Diffusion Geometry
Pomona College（波莫纳学院）；Yale University（耶鲁大学）；Amherst College（阿默斯特学院）；Bates College（贝茨学院）；Vassar College（瓦萨学院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；New York University（纽约大学）
本研究受流形假设启发，通过定义神经网络隐藏层表示距离并结合PHATE算法构建神经网络流形，发现高性能网络呈聚类分布，且该方法可指导超参数优化与神经架构搜索。
2024-12-06 cs.LG
Visualizing Neural Network Developing Perturbation Theory
Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Collaborative Innovation Center of Quantum Matter（量子物质协同创新中心）
在这封信中，基于神经网络对数据的经验拟合是否能产生相同结构的物理定律的问题，我们将神经网络应用于一个简单的具有短程势的量子力学两体散射问题，该问题本身在物理学的许多分支中也起着重要的作用。我们训练一个神经网络，以准确地预测$ s $ -波散射长度，这支配着低能散射物理，直接从散射势，而无需求解薛定谔方程或获得波函数。通过对神经网络的分析表明，随着势函数的增大，神经网络逐步发展微扰理论。这为机器辅助物理研究甚至自动机器学习物理定律提供了重要的基准。
2018-03-08 cond-mat.dis-nn cond-mat.quant-gas cs.AI
Coloring the Black Box: Visualizing neural network behavior with a self-introspective model
Universidad de Cantabria（坎塔布里亚大学）；Instituto de Investigación Valdecilla (IDIVAL)（瓦尔迪西利亚研究所（IDIVAL））；CIBER-BBN（生物工程、生物材料与纳米医学生物医学研究网络中心）；Dartmouth College（达特茅斯学院）
下面的工作介绍了如何自动编码给定问题的网络的所有可能的隐藏激活，可以提供有关其结构，行为和漏洞的见解。该方法被称为自我反省，可以表明，当显示属于同一类别的数据时，经过训练的模型显示出类似的激活模式（尽管由于初始化而随机分布），并且分类错误发生在激活没有明确定义的边缘区域，这表明在深度网络中发生了某种形式的随机，缓慢变化的隐式编码，可以用这种表示法观察到。此外，获得所有激活的低维表示允许（1）在多类分类问题的背景下进行实时模型评估，（2）根据所有隐藏层在获得特定输出时的相关性对所有隐藏层进行重新排列，以及（3）获得一个框架，其中研究可能的针对噪音和对抗攻击的对策是可能的。自我反省可以显示受损的输入数据如何修改隐藏的激活，从而产生错误的响应。一些示例是针对前馈和卷积模型以及MNIST和CIFAR-10数据集实现的，展示了其作为模型评估框架的能力。
2019-10-15 cs.CV cs.LG cs.NE
Visualizing Deep Neural Networks with Topographic Activation Maps
Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学）；MOTOR Ai GmbH（MOTOR Ai有限公司）
本研究借鉴神经科学的地形图思路，提出并比较多种DNN层神经元地形布局方法，生成地形激活图以识别错误、偏差及可视化训练过程，提升DNN决策系统的可解释性与透明度。
2023-06-14 cs.CV cs.HC cs.LG
Wheelchair Behavior Recognition for Visualizing Sidewalk Accessibility by Deep Neural Networks
Sophia University（上智大学）；The University of Tokyo（东京大学）
本文介绍了我们的方法来估计人行道无障碍轮椅的行为，通过三轴加速度计安装在轮椅座椅下的智能手机。我们的方法认识到人行道通道的环境因素，如梯度，遏制，和差距，影响轮椅机构，并成为一个负担的人行动不便。本文开发并评估了一个原型系统，该系统通过使用深度神经网络从轮椅加速度中提取知识来可视化人行道可达性信息。首先，我们创建了一个监督卷积神经网络模型，使用轮椅加速度数据对路面状况进行分类。其次，我们采用了弱监督的方法来提取路面状况的表示，而无需手动注释。最后，我们开发了一个自我监督的变分自编码器，以评估轮椅使用者的人行道障碍。结果表明，该方法从轮椅加速度估计人行道可达性，并提取弱监督和自监督的方法可达性的知识。
2021-01-11 cs.LG
Grad-CAM for Visualizing Attention Regions of PCA and SVM Layers in Convolutional Neural Networks
Nihon University（日本大学）
本文针对有限训练样本下CNN中PCA层和SVM层无法直接使用Grad-CAM的问题，提出PCA-Grad-CAM和SVM-Grad-CAM可视化方法，并推导出从最后卷积层到这些层的闭式雅可比，在多个主要数据集上验证了白盒可视化效果。
2026-10-06 cs.LG
Visualizing the Diversity of Representations Learned by Bayesian Neural Networks
Machine Learning Group（机器学习研究组）；Technical University of Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD – 柏林学习与数据基础研究所）；Understandable Machine Intelligence Lab（可理解机器智能实验室）；Leibniz Institute for Agriculture and Bioeconomy (ATB)（莱布尼茨农业与生物经济研究所（ATB））；RIKEN Center for AIP（理化学研究所人工智能创新中心）
本研究利用可解释AI方法可视化和量化贝叶斯神经网络的表征多样性，发现MC Dropout比MultiSWAG更具多样性，且多样性随网络宽度变化，与深度网络理论一致。
2023-11-14 cs.AI cs.CV cs.LG
Visualizing Graph Neural Networks with CorGIE: Corresponding a Graph to Its Embedding
University of British Columbia（不列颠哥伦比亚大学）；Facebook Inc.（Facebook公司）
本文提出CorGIE交互式可视化界面，通过K-hop图布局将输入图与其节点嵌入相对应，帮助GNN开发者理解模型是否真正学到图的特征，并通过案例研究验证其功能性与可用性。
2021-11-08 cs.HC cs.LG
Neural FIM for learning Fisher Information Metrics from point cloud data
Yale University（耶鲁大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；FAIR, Meta AI（Meta人工智能基础研究实验室（FAIR））
针对离散扩散嵌入的局限性，提出Neural FIM方法从点云数据计算Fisher信息度量以构建连续流形模型，可用于PHATE参数选择及流形特征提取。
2023-06-12 cs.CV cs.LG
Visualizing Representations of Adversarially Perturbed Inputs
University of Pittsburgh（匹兹堡大学）
研究表明，深度学习模型容易受到对抗攻击的攻击。我们试图进一步理解这种攻击对神经网络中间激活的后果。我们提出了一个评价指标，POP-N，得分的有效性投影数据到N维的上下文中的可视化表示的不利扰动输入。我们在CIFAR-10上进行实验，比较几种降维算法在各种对抗攻击中的POP-2得分。最后，我们利用对应于高POP-2分数的2D数据来生成示例可视化。
2021-05-28 cs.HC cs.LG
Visualizing the Loss Landscape of Winning Lottery Tickets
Oregon State University（俄勒冈州立大学）
深度神经网络的潜在损失景观对其训练有很大的影响，但由于计算限制，它们主要在理论上进行研究。这项工作大大减少了计算这种损失景观所需的时间，并使用它们来研究通过迭代幅度修剪发现的中奖彩票。我们还分享了与先前声称的某些损失景观投影方法与模型可训练性和泛化误差之间的相关性相矛盾的结果。
2021-12-16 cs.CV cs.LG
Visualizing, Rethinking, and Mining the Loss Landscape of Deep Neural Networks
Lamda.nju.edu.cn（南京大学）
本文研究 DNN 损失景观的局部几何，系统分类一维损失曲线并提出挖掘复杂扰动方向的算法，进而可视化鞍面等二维结构并用 Hessian 矩阵加以解释。
2025-06-06 cs.LG
A Neural Ordinary Differential Equation Model for Visualizing Deep Neural Network Behaviors in Multi-Parametric MRI based Glioma Segmentation
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）；North Carolina State University（北卡罗来纳州立大学）
目的：开发一种神经常微分方程（ODE）模型，用于在基于多参数MRI（mp-MRI）的胶质瘤分割过程中可视化深度神经网络（DNN）行为，作为增强深度学习可解释性的方法。研究方法：通过假设深度特征提取可以建模为时空连续过程，我们设计了一种新的深度学习模型，神经ODE，其中深度特征提取由没有显式表达式的ODE控制。1）与DNN交互后的MR图像的动态和2）分割形成可以在求解ODE后可视化。设计了累积贡献曲线（ACC），以定量评估DNN对最终分割结果的每个MRI的利用率。使用369名胶质瘤患者使用4种模态mp-MRI方案证明了所提出的神经ODE模型：T1，对比增强T1（T1-Ce），T2和FLAIR。训练三个神经ODE模型以分割增强肿瘤（ET）、肿瘤核心（TC）和整个肿瘤（WT）。根据ACC分析，确定了DNN显著利用的关键MR模式。将仅使用关键MR模态的DNN分割结果与使用所有4种MR模态的分割结果进行比较。结果：所有的神经ODE模型成功地说明了图像动力学的预期。ACC分析确定T1-Ce是ET和TC分割的唯一关键模态，而FLAIR和T2都是WT分割的关键模态。与使用所有4种MR模式的U-Net结果相比，使用关键模式的ET（0.784->0.775），TC（0.760->0.758）和WT（0.841->0.837）的Dice系数仅具有最小差异，无显著性。结论：神经ODE模型为优化深度学习模型…
2022-03-23 cs.LG eess.IV q-bio.QM
Visualizing and Understanding Recurrent Networks
Stanford University（斯坦福大学）
循环神经网络（RNN），特别是具有长短期记忆（LSTM）的变体，由于在涉及序列数据的广泛机器学习问题中的成功应用而重新受到关注。然而，尽管长期短期措施在实践中取得了非凡的成果，但人们对其性能的来源及其局限性仍然知之甚少。使用字符级语言模型作为可解释的测试平台，我们的目标是通过分析它们的表示，预测和错误类型来弥合这一差距。特别是，我们的实验揭示了可解释的细胞的存在，跟踪长范围的依赖关系，如行的长度，引号和括号。此外，我们与有限水平n-gram模型的比较分析将LSTM改进的来源追溯到了长程结构依赖关系。最后，我们分析了剩余的错误，并提出了进一步研究的领域。
2015-11-17 cs.CL cs.LG cs.NE
Visualizing Deep Similarity Networks
George Washington University（乔治·华盛顿大学）；Temple University（天普大学）
对于优化图像嵌入的卷积神经网络模型，我们提出了一种方法来突出对成对相似性贡献最大的图像区域。这项工作是为分类网络开发的可视化工具的必然结果，但适用于更适合相似性学习的问题域。可视化显示了经过微调的相似性网络如何学习专注于不同的特征。我们还将我们的方法推广到使用不同池化策略的嵌入网络，并提供一种简单的机制来支持对查询图像中的对象或子区域进行图像相似性搜索。
2019-01-02 cs.CV cs.LG
Visualizing the loss landscapes of physics-informed neural networks
Aerospace Engineering University of Colorado Boulder（科罗拉多大学波得尔分校航空航天工程学院）；Applied Mathematics University of Colorado Boulder（科罗拉多大学波得尔分校应用数学系）
本文研究了物理信息神经网络的损失景观，比较了深度Ritz和强形式损失，揭示了其景观的平滑性和良好条件性。
2026-02-05 cs.LG
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech（佐治亚理工学院）
深度学习越来越多地用于决策任务。然而，理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的，这些权重是在数百万张图像上优化的，因此这种解释很容易错过更大的画面。我们介绍了Summit，这是一个交互式系统，可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术：（1）激活聚合发现重要的神经元，（2）神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来，创建了新颖的归因图，揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据，例如包含120万张图像的ImageNet数据集，并利用神经网络特征可视化和数据集示例，帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案，其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解，并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行，并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
Learning and Visualizing Localized Geometric Features Using 3D-CNN: An Application to Manufacturability Analysis of Drilled Holes
Iowa State University（爱荷华州立大学）
3D卷积神经网络（3D-CNN）已经用于基于对象的体素化形状的对象识别。然而，解释这些3D-CNN的决策过程仍然是一项不可行的任务。在本文中，我们提出了一种独特的基于3D-CNN的加权类激活映射方法（3D-GradCAM），用于视觉解释对象内感兴趣的不同局部几何特征。为了能够有效地学习3D几何形状，我们使用对象边界的表面法线来增强体素数据。然后，我们用这个增强的数据训练3D-CNN，并使用3D GradCAM识别对决策至关重要的局部特征。该特征识别框架的一个应用是识别复杂CAD几何形状中难以制造的钻孔特征。该框架可以扩展到在多个空间尺度上识别难以制造的特征，从而实现可制造性决策支持系统的实时设计。
2018-03-28 cs.CV cs.LG stat.ML
Understanding Neural Networks Through Deep Visualization
Cornell University（康奈尔大学）；University of Wyoming（怀俄明大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
近年来，在训练大型深度神经网络（DNN）方面取得了巨大进展，包括在训练卷积神经网络（convnets）以识别自然图像方面取得了显著成功。然而，我们对这些模型如何工作的理解，特别是它们在中间层执行的计算，已经落后了。通过开发更好的可视化和解释神经网络的工具，该领域的进展将进一步加速。我们在这里介绍两个这样的工具。第一个是一个工具，它可以可视化经过训练的convnet在处理图像或视频（例如实时网络摄像头流）时在每一层上产生的激活。我们发现，查看响应用户输入而变化的实时激活有助于建立有关convnet如何工作的宝贵直觉。第二个工具可以通过图像空间中的正则化优化来可视化DNN每层的特征。由于这种想法的以前版本产生的图像识别度较低，因此在这里我们引入了几种新的正则化方法，这些方法结合起来可以产生更清晰，更可解释的可视化效果。这两个工具都是开源的，并在预先训练的convnet上工作，只需最少的设置。
2015-06-22 cs.CV cs.LG cs.NE
Neural Storyboard Artist: Visualizing Stories with Coherent Image Sequences
Renmin University of China（中国人民大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft XiaoIce（微软小冰）；Beijing Film Academy（北京电影学院）
故事板是一系列图像，用于说明包含多个句子的故事，这是创建不同故事产品的关键过程。在本文中，我们解决了一个新的多媒体任务的自动故事板创建，以促进这一过程，并激发人类艺术家。受我们对语言的理解是基于我们过去经验的启发，我们提出了一个新颖的灵感和创造框架，该框架具有故事到图像检索器，该检索器选择相关的电影图像以获得灵感，并且故事板创建者进一步细化和渲染图像以提高相关性和视觉一致性。该检索器动态地采用上下文信息的故事与层次的关注，并应用密集的视觉语义匹配，准确地检索和地面图像。然后，创建者采用三个渲染步骤，以增加检索图像的灵活性，这包括删除无关区域，统一的图像风格和替换一致的字符。我们在域内和域外视觉故事数据集上进行了广泛的实验。所提出的模型实现了更好的定量性能比国家的最先进的故事板创建基线。定性可视化和用户研究进一步验证了我们的方法可以创建高质量的故事板，即使是在野外的故事。
2019-11-24 cs.CL cs.CV cs.LG
Visualizing Loss Functions as Topological Landscape Profiles
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Arizona State University（亚利桑那州立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；Dartmouth College（达特茅斯学院）；ICSI（国际计算机科学研究所）；UC Berkeley（加利福尼亚大学伯克利分校）
本文提出基于拓扑数据分析的拓扑景观剖面表示，用于可视化高维损失景观，揭示模型性能与学习动态，并发现性能越好损失景观拓扑越简单、性能转变附近形状变化更大。
2024-11-19 cs.AI cs.LG
Visualizing Image Content to Explain Novel Image Discovery
Columbia University（哥伦比亚大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
对任何大型数据集的初步分析可分为两个阶段：（1）确定共同趋势或模式;（2）确定偏离这些趋势的异常或离群值。我们专注于检测具有新内容的观察结果的目标，这可以提醒我们数据集中的伪影，或者潜在地发现以前未知的现象。为了帮助解释和诊断这些选定的观察结果的新方面，我们建议使用产生解释的新颖性检测方法。在大型图像数据集的背景下，这些解释应该强调给定图像的哪些方面是新的（颜色，形状，纹理，内容）以人类可理解的形式。我们提出了DEMUD-VIS，第一种通过采用卷积神经网络（CNN）提取图像特征来提供新颖图像内容的视觉解释的方法，一种使用重建误差来检测新颖内容的方法，以及一种将CNN特征表示转换回图像空间的上卷积网络。我们在来自ImageNet、淡水流和火星表面的各种图像上演示了这种方法。
2022-09-12 cs.CV cs.LG stat.ML
Penzai + Treescope: A Toolkit for Interpreting, Visualizing, and Editing Models As Data
Google DeepMind（谷歌DeepMind）；University of Toronto（多伦多大学）
本文提出 Penzai 与 Treescope 工具包，通过将神经网络模型表示为可编辑的数据结构并支持交互式可视化，使模型解释、修改和干预无需额外钩子即可实现。
2024-08-01 cs.LG
Visualizing and Understanding Sum-Product Networks
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Bari（巴里大学）
和积网络（SPN）是最近引入的深度易处理的概率模型，通过它可以在易处理的时间内准确地回答多种推理查询。到目前为止，它们主要被用作黑箱密度估计器，仅通过比较它们的可能性得分来评估。在本文中，我们将探索和利用SPN学习的内部表示。我们这样做有三个目的：首先，我们希望更好地了解SPN的内部工作原理;其次，我们寻求其他方法来评估一个SPN模型，并将其与其他概率模型进行比较，为从业者提供诊断工具;最后，我们希望根据经验评估提取的表示有多好和有意义，就像在经典的表示学习框架中一样。为了做到这一点，我们修改了他们的解释为深神经网络，我们建议利用几种可视化技术，在不同类型的推理查询下，他们的节点激活和网络输出。为了研究这些模型作为特征提取器，我们将一些在图像数据集上以贪婪的无监督方式学习的SPN插入监督分类学习任务中。我们提取几个嵌入类型的节点激活过滤节点的类型，其相关的功能抽象级别和范围。在一个彻底的实证比较中，我们证明了它们对那些从流行的特征提取器作为限制玻尔兹曼机产生的竞争力。最后，我们研究随机概率边际查询生成的嵌入，作为比较其他易处理的概率模型的一个共同点，扩展我们的实验混合树。
2018-08-24 cs.LG stat.ML
DeepTracker: Visualizing the Training Process of Convolutional Neural Networks
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
深度卷积神经网络（CNN）在各个领域都取得了显著的成功。然而，训练一个优秀的CNN实际上是一个反复试验的过程，消耗了大量的时间和计算机资源。为了加快训练过程并减少试验次数，专家需要了解训练过程中发生了什么，以及为什么产生的CNN会这样。然而，目前流行的训练平台，如TensorFlow，只提供很少和一般的信息，如训练/验证错误，这远远不足以达到这一目的。为了弥合这一差距，并帮助领域专家在实际环境中完成训练任务，我们提出了一个可视化分析系统DeepTracker，以促进对CNN训练过程的丰富动态的探索，并识别隐藏在大量训练日志背后的不寻常模式。具体来说，我们结合了分层索引机制和一组分层小倍数，帮助专家从不同的细节层次探索整个训练日志。我们还引入了一种新的立方体风格的可视化来揭示多种类型的异构训练数据，包括神经元权重，验证图像和训练迭代之间的复杂相关性。进行了三个案例研究，以展示DeepTracker如何在行业级CNN训练过程中为其用户提供有价值的知识，即在我们的案例中，在ImageNet数据集上训练ResNet-50。我们表明，我们的方法可以很容易地应用到其他国家的最先进的“非常深”的CNN模型。
2018-08-26 cs.AI cs.CV cs.HC
Multi-Region Neural Representation: A novel model for decoding visual stimuli in human brains
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
多变量模式（MVP）分类具有巨大的潜力解码视觉刺激在人类大脑中采用基于任务的功能磁共振成像数据集。MVP技术面临着广泛的挑战，即降低噪声和稀疏性，定义有效的感兴趣区域（ROI），可视化结果以及大脑研究的成本。为了克服这些挑战，本文提出了一种新的神经表征模型，它可以自动检测每个视觉刺激的活动区域，然后利用这些解剖区域进行可视化和分析的功能活动。因此，该模型为神经科学家提供了一个机会来问这个问题：刺激对每个检测到的区域的影响是什么，而不仅仅是研究手动选择的ROI中体素的波动。此外，我们的方法引入了分析大脑图像的快照，而不是使用整个fMRI时间序列来降低稀疏性。在此基础上，提出了一种新的高斯平滑方法，用于在感兴趣区水平上去除体素噪声。所提出的方法使我们能够结合不同的fMRI数据集，以减少大脑研究的成本。对4个视觉类别（单词，辅音，物体和无意义的照片）的实验研究证实，所提出的方法实现了优于国家的最先进的方法的性能。
2016-12-26 cs.LG q-bio.NC stat.ML
Visualizing CoAtNet Predictions for Aiding Melanoma Detection
Carebot s.r.o.（Carebot有限责任公司）
黑色素瘤被认为是最具侵略性的皮肤癌。由于恶性和良性癌性病变的形状相似，医生在诊断这些发现时花费了相当多的时间。目前，恶性肿瘤的评估主要是通过对可疑病变进行侵入性组织学检查来进行的。开发一个准确的分类器，用于早期和有效的检测，可以最大限度地减少和监测皮肤癌的有害影响，并提高患者的生存率。本文提出了一种使用CoAtNet架构的多类分类任务，CoAtNet架构是一种混合模型，它将传统卷积神经网络的深度卷积矩阵运算与Transformer模型和自注意力机制的优势相结合，以实现更好的泛化能力和容量。所提出的多类分类器实现了0.901的整体精度，召回率0.895，和AP 0.923，表明高性能相比，其他国家的最先进的网络。
2022-05-21 cs.CV cs.LG eess.IV
Interpretable Diversity Analysis: Visualizing Feature Representations In Low-Cost Ensembles
Colorado State University（科罗拉多州立大学）
多样性是构造鲁棒神经网络集成的重要考虑因素。如果一组经过良好训练的模型在响应的模式和做出的预测方面是多样的，那么它们的泛化能力会更好。多样性对于低成本集成方法尤其重要，因为成员通常共享网络结构，以避免从头开始训练几个独立的模型。多样性传统上是通过测量模型输出之间的差异来分析的。然而，这给了小的洞察力如何知识表示不同的合奏成员。本文介绍了几种可用于定性分析多样性的解释性方法。我们通过比较两种低成本集成算法（快照集成和修剪和调谐集成）子网络之间的特征表示的多样性来演示这些技术。我们使用相同的预先训练的父网络作为这两种方法的起点，这使我们能够探索特征表示如何随着时间的推移而演变。这种多样性分析方法可以为我们如何衡量和促进集成方法的多样性带来有价值的见解和新的视角。
2023-02-12 cs.LG
Sparse bottleneck neural networks for exploratory non-linear visualization of Patch-seq data
Institute for Ophthalmic Research, University of Tübingen（蒂宾根大学眼科研究所）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
Patch-seq是最近发展起来的一种实验技术，它允许神经科学家从相同的神经元中获得转录组和电生理信息。然而，有效地分析和可视化这种配对的多变量数据，以提取生物学上有意义的解释，仍然是一个挑战。在这里，我们使用稀疏的深神经网络，有和没有一个二维的瓶颈预测电生理功能的转录组的使用组套索惩罚，产生简洁和生物学上可解释的二维可视化。在两个大型示例数据集中，这种可视化显示了已知的神经类及其标记基因，而无需生物先验知识。我们还证明了我们的方法适用于其他类型的多模态数据，如CITE-seq提供的配对转录组学和蛋白质组学测量。
2022-01-25 cs.LG stat.ML
A Short Tutorial on The Weisfeiler-Lehman Test And Its Variants
Johns Hopkins University（约翰斯·霍普金斯大学）
图神经网络被设计为学习图上的函数。通常，相关目标函数相对于置换的动作是不变的。因此，一些图神经网络结构的设计受到图同构算法的启发。经典的Weisfeiler-Lehman算法（WL）--一种基于颜色细化的图同构测试--与图神经网络的研究相关。WL测试可以推广到高阶测试的层次结构，称为$k$ -WL。这种层次结构已被用来表征图神经网络的表达能力，并启发图神经网络架构的设计。WL等级的一些变体出现在文献中。这篇短文的目的是教学和实用：我们解释了WL和民间传说WL公式之间的差异，并指出了文献中现有的讨论。我们照亮的配方之间的差异，通过可视化的例子。
2022-11-01 cs.LG stat.ML
Automatic Text Scoring Using Neural Networks
University of Cambridge（剑桥大学）
自动文本评分（ATS）为人工标记提供了一种具有成本效益且一致的替代方案。然而，为了实现良好的性能，系统的预测功能需要由人类专家手动设计。我们引入了一个模型，通过学习特定单词对文本分数的贡献程度来形成单词表示。使用长短期记忆网络来表示文本的含义，我们证明了一个完全自动化的框架能够在类似的方法上取得优异的结果。为了使我们的结果更具可解释性，并受到可视化神经网络的最新进展的启发，我们引入了一种新的方法来识别模型发现更具歧视性的文本区域。
2016-06-16 cs.CL cs.LG cs.NE
Visualizing Automatic Speech Recognition -- Means for a Better Understanding?
Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Technical University Munich（慕尼黑工业大学）
自动语音识别（ASR）在模仿人类语音处理方面不断改进。然而，ASR的功能在很大程度上仍然被它们所基于的深度神经网络（DNN）的复杂结构所混淆。在本文中，我们展示了所谓的归因方法，即我们从图像识别中导入并适当地适应处理音频数据的方法，可以帮助澄清ASR的工作。以ASR的端到端模型DeepSpeech为例，我们展示了这些技术如何帮助可视化输入的哪些特征对确定输出最有影响。我们专注于三种可视化技术：逐层相关传播（LRP），显着性地图和Shapley加法解释（SHAP）。我们比较了这些方法，并讨论了潜在的进一步应用，如在检测对抗性的例子。
2022-02-01 cs.AI cs.CL cs.HC
Deep Dreams Are Made of This: Visualizing Monosemantic Features in Diffusion Models
本文提出通过优化的潜在可视化（LVO）技术，扩展了用于卷积神经网络的特征可视化方法至潜在扩散模型。通过稀疏自编码器（SAEs）将多义层表示分解为单义特征，展示了在Stable Diffusion 1.5模型上可视化可识别概念的效果，相比基线方法更清晰且具有相关性。
2026-05-06 cs.CV cs.LG
Deep Relevance Regularization: Interpretable and Robust Tumor Typing of Imaging Mass Spectrometry Data
University of Bremen（不来梅大学）；SCiLS, Bruker Daltonik GmbH（布鲁克道尔顿公司SCiLS部门）；Proteopath GmbH（Proteopath公司）；Center for Histology Cytology and Molecular Diagnostic, Trier（特里尔组织学、细胞学与分子诊断中心）
神经网络最近已被建立为用于肿瘤分型的成像质谱数据的可行分类方法。然而，对于多实验室场景，某些混杂因素可能会严重阻碍其性能。在这项工作中，我们引入了深度相关正则化，这是一种限制神经网络在分类过程中可以关注的内容的方法，以提高分类性能。我们展示了深度相关正则化如何在由乳腺癌和卵巢癌组成的具有挑战性的实验室间数据集上增强神经网络对混杂因素的鲁棒性。我们进一步表明，这使得相关性图-一种可视化质谱中有区别的部分的方式-更稀疏，从而使分类器更容易解释
2019-12-10 cs.LG stat.ML
Learning a binary search with a recurrent neural network. A novel approach to ordinal regression analysis
CépiDc Inserm；Paris Saclay University（巴黎萨克雷大学）
深度神经网络是一系列计算模型，其自然地适合于使用递归神经网络来分析分层数据，例如顺序数据。另一方面，序数回归是一个众所周知的预测建模问题，用于从心理测量到基于深度神经网络的语音建模等不同领域。它们的特殊性在于其结果变量的属性，通常被认为是具有自然排序属性的分类变量，通常允许不同状态之间的比较（“一点”小于“有点”，“有点”本身小于“很多”，允许传递性）。本文研究了深度学习框架提供的序列到序列学习方法在有序回归中的应用，通过将有序回归问题公式化为顺序二分搜索。提出了一种根据有序目标变量可视化模型解释变量的方法，该方法与线性判别分析有一定的相似性。该方法相比，传统的有序回归方法在一些基准数据集，并显示出具有可比或显着更好的预测能力。
2021-01-07 cs.LG stat.ML
Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention
University of California, Berkeley（加州大学伯克利分校）
深度神经感知和控制网络可能是自动驾驶汽车的关键组成部分。这些模型需要是可解释的--它们应该为自己的行为提供易于解释的理由--以便乘客、保险公司、执法部门、开发人员等，能理解是什么触发了特定的行为在这里，我们探索视觉解释的使用。这些解释采取图像的实时突出显示区域的形式，这些区域会影响网络的输出（转向控制）。我们的方法分两个阶段。在第一阶段，我们使用视觉注意力模型来训练从图像到转向角度的端到端卷积网络。注意力模型突出了可能影响网络输出的图像区域。其中有些是真正的影响，但有些是虚假的。然后，我们应用因果过滤步骤来确定哪些输入区域实际上影响输出。这会产生更简洁的视觉解释，并更准确地揭示网络的行为。我们证明了我们的模型在三个数据集上的有效性，总共16个小时的驾驶。我们首先证明，注意力训练不会降低端到端网络的性能。然后，我们展示了网络对人类在驾驶时使用的各种功能的因果线索。
2017-03-30 cs.CV cs.LG
In situ TensorView: In situ Visualization of Convolutional Neural Networks
University of New Mexico（新墨西哥大学）；Kent State University（肯特州立大学）；US Army Research Laboratory（美国陆军研究实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
卷积神经网络（CNN）是一种复杂的系统。它们经过训练，可以调整内部连接来识别图像、文本等。将这种深层人工神经网络内的动态可视化既有趣又有帮助，这样人们就可以理解这些人工网络是如何学习和做出预测的。在科学模拟领域，像Paraview这样的可视化工具长期以来一直被用来提供见解和理解。我们提出了原位TensorView来可视化CNN的训练和功能，就好像它们是科学模拟系统一样。In situ TensorView是一个松散耦合的原位可视化开放框架，提供多个查看器来帮助用户可视化和理解他们的网络。它利用Paraview的协同处理功能，在训练和预测阶段提供实时可视化。这避免了可视化大型动态系统的繁重I/O开销。在TensorFlow框架中只注入了少量的代码行。可视化可以为调整网络结构或压缩预训练网络提供指导。我们展示了使用原位TensorView可视化LeNet-5和VGG 16的训练。
2018-06-16 cs.CV cs.HC cs.LG
Neural Networks as Paths through the Space of Representations
University of Pennsylvania（宾夕法尼亚大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）；McGill University（麦吉尔大学）
深度神经网络实现了一系列逐层操作，每个操作都相对容易理解，但最终的整体计算通常难以理解。我们考虑一个简单的假设来解释有用表示的逐层构造：也许每一层的作用是重新格式化信息，以减少到所需输出的“距离”。通过这个框架，由深度神经网络实现的逐层计算可以被视为通过高维表示空间的路径。我们正式这个直观的想法，“路径”，利用最近的进展 * 度量 * 代表相似性。我们通过计算测地线，角度和投影的表示，超越单纯的层距离扩展现有的代表性的距离方法。然后，我们通过可视化和比较ResNet和VGG架构在CIFAR-10上采用的路径来演示这些工具。最后，我们概述了这种代表性几何可用于理解和解释网络训练的其他方法，并描述了不同模型之间的新型相似性。
2022-11-27 cs.LG cs.NE
Revealing Fundamental Physics from the Daya Bay Neutrino Experiment using Deep Neural Networks
Lawrence Berkeley Lab（劳伦斯伯克利实验室）；Seoul National University（首尔大学）；University of California, Irvine（加州大学尔湾分校）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
粒子物理学实验产生了大量的数据，这些数据必须由物理学家团队进行分析和解释。这种分析通常是探索性的，科学家在进行实验之前无法列举可能的信号类型。因此，对高维数据进行汇总、聚类、可视化和分类的工具至关重要。在这项工作中，我们表明，有意义的物理内容可以通过使用深神经网络将原始数据转换为学习的高级表示来揭示，并以大亚湾中微子实验的测量为例进行研究。我们进一步展示了卷积深度神经网络如何提供有效的分类过滤器，在不同类别的物理事件中的准确率超过97%，明显优于其他机器学习方法。
2016-12-06 cs.LG physics.data-an stat.ML
Automatic Sleep Stage Scoring with Single-Channel EEG Using Convolutional Neural Networks
Imperial College London（帝国理工学院）
我们使用卷积神经网络（CNN）进行基于单通道脑电图（EEG）的自动睡眠阶段评分，以在不使用先验领域知识的情况下学习用于分类的任务特定过滤器。我们使用了来自20名健康年轻人的公开数据集进行评估，并应用了20倍交叉验证。我们在CNN的随机梯度下降（SGD）优化中使用了类平衡随机采样，以避免偏向最具代表性的睡眠阶段的性能。我们在所有受试者中实现了较高的平均F1评分（81%，范围79-83%），各个睡眠阶段的平均准确率（82%，范围80-84%）和总体准确率（74%，范围71-76%）。通过分析和可视化我们的CNN学习的过滤器，我们发现过滤器学习的规则与人类专家遵循的美国睡眠医学学会（AASM）手册中的睡眠评分标准相对应。我们的方法的性能是跨类平衡，我们的结果是与手工设计的功能的最先进的方法相媲美。我们表明，在不使用先验领域知识的情况下，CNN可以自动学习区分不同的正常睡眠阶段。
2016-10-05 cs.LG stat.ML
Statistical Mechanics and Artificial Neural Networks: Principles, Models, and Applications
Frankfurt School of Finance and Management（法兰克福金融管理学院）
本章概述了人工神经网络的原理、模型与应用，探讨其与统计力学及统计学习理论的联系，并重点研究深度神经网络损失景观的几何性质量化与可视化以优化其性能。
2024-04-05 cond-mat.dis-nn cond-mat.stat-mech cs.AI
t-SNE-CUDA: GPU-Accelerated t-SNE and its Applications to Modern Data
University of California, Berkeley（加州大学伯克利分校）
众所周知，现代数据集和模型由于其固有的高维性和大量样本而难以探索和分析。现有的可视化方法，采用降维到两个或三个维度往往是低效和/或无效的这些数据集。本文介绍了t-SNE-CUDA，这是一种GPU加速的t-分布式对称邻居嵌入（t-SNE）实现，用于可视化数据集和模型。t-SNE-CUDA在CIFAR-10和MNIST数据集上具有50- 700倍的加速比，明显优于当前的实现。这些加速第一次实现了整个ImageNet数据集上神经网络激活的可视化-这是一项以前在计算上难以实现的壮举。我们还通过可视化GloVe嵌入向量来展示NLP域中的可视化性能。从这些可视化中，我们可以得出关于在这些嵌入空间中使用L2度量的有趣结论。t-SNE-CUDA可通过以下网址公开获取：https：github.com/CannyLab/tsne-cuda
2018-07-31 cs.LG cs.PF stat.ML
