IGNIS: A Robust Neural Network Framework for Constrained Parameter Estimation in Archimedean Copulas
Department of Mathematics University of Louisiana at Lafayette（数学系路易斯安那州立大学拉弗雷特分校）
IGNIS是一种用于阿基米德累积分布函数约束参数估计的稳健神经网络框架，通过学习数据驱动的依赖度量到参数θ的映射，解决传统方法在复杂依赖模型中的失效问题。
2026-02-02 cs.LG stat.ML
Neural Gaussian Copula for Variational Autoencoder
University of California Santa Barbara（加州大学圣巴巴拉分校）
变分语言模型寻求用近似的变分后验估计潜变量的后验。该模型通常假设变分后验被分解，即使真正的后验不是。在此假设下学习的变分后验并没有捕捉到潜在变量之间的依赖关系。我们认为，这将导致一个典型的训练问题，称为后崩溃观察到所有其他变语言模型。我们提出高斯Copula变分自编码器（VAE）来避免这个问题。Copula被广泛用于高维随机变量的相关性和依赖性建模，因此它有助于维护VAE中丢失的依赖关系。实证结果表明，通过使用神经参数copula显式地对潜变量的相关性进行建模，我们可以避免这种训练困难，同时获得与所有其他VAE方法相比具有竞争力的结果。
2019-09-09 cs.CL cs.LG cs.NE
Neural Mutual Information Estimation with Vector Copulas
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）；Alan Turing Institute（艾伦·图灵研究所）；University of Edinburgh（爱丁堡大学）
本文提出基于向量连接函数的神经互信息估计器，在灵活性与简化性之间取得平衡，并在合成及真实数据上验证其优势。
2025-10-23 cs.LG
Generative Archimedean Copulas
Duke University（杜克大学）
我们提出了一种新的生成式建模技术，用于学习copula形式的多维累积分布函数（CDF）。具体来说，我们认为某些类的Copula被称为阿基米德和层次阿基米德copula，流行的简约表示和能力，以模拟不同的尾部依赖关系。我们认为他们的表示为混合模型与拉普拉斯变换的潜在随机变量的生成神经网络。这种替代表示可以提高计算效率并轻松采样，尤其是在高维情况下。我们描述了优化网络参数的多种方法。最后，我们提出的实证结果表明，我们所提出的方法在学习多维CDF和现有的方法相比，其计算效率的有效性。
2021-06-10 cs.LG stat.ML
Capturing Multivariate Dependencies of EV Charging Events: From Parametric Copulas to Neural Density Estimation
Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）
本文提出利用Vine copulas和CODINE框架建模电动汽车充电事件的多变量依赖性，通过实验证明其在捕捉尾部行为和相关结构方面优于传统方法。
2026-03-31 cs.LG
NN-Copula-CD: A Copula-Guided Interpretable Neural Network for Change Detection in Heterogeneous Remote Sensing Images
Tsinghua University（清华大学）；The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Syracuse University（雪城大学）
针对异质遥感图像变化检测中深度神经网络可解释性不足的问题，提出以 copula 数学特性作为损失约束的 NN-Copula-CD，并在三个数据集上验证其有效性。
2024-09-19 cs.CV cs.LG eess.IV
Deep Generative Quantile-Copula Models for Probabilistic Forecasting
Amazon（亚马逊）
我们介绍了一类新的多变量条件生成模型，并证明其性能和通用性的概率时间序列预测和模拟。具体地说，分位数回归网络的输出通过从潜在均匀分布到目标分布的单变量映射从一组固定分位数扩展到整个分位数函数。然后，通过学习每个维度的边缘分布的分位数函数，然后估计条件Copula来关联这些潜在的均匀随机变量，来解决多变量的情况。分位数函数和copula一起定义联合预测分布，可以通过单个隐式生成深度神经网络来参数化。
2019-07-24 cs.LG stat.ML
Learning Vine Copula Models For Synthetic Data Generation
MIT（麻省理工学院）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）
藤copula模型是一种灵活的高维依赖模型，它只使用二元构建块。然而，随着变量数量的增加，藤蔓连接的可能配置数量呈指数级增长，使得模型选择成为开发中的一个主要挑战。在这项工作中，我们制定了向量和强化学习表示的藤蔓结构学习问题。我们使用神经网络来找到最好的葡萄树模型的嵌入，并生成一个结构。在整个合成和真实世界的数据集上的实验中，我们表明我们提出的方法在对数似然方面更适合数据。此外，我们证明了该模型能够在各种应用中生成高质量的样本，使其成为合成数据生成的良好候选者。
2018-12-04 cs.LG stat.ML
A2 Copula-Driven Spatial Bayesian Neural Network For Modeling Non-Gaussian Dependence: A Simulation Study
Department of Mathematics, University of Louisiana at Lafayette（数学系，路易斯安那州立大学拉斐特分校）；Department of Physical Sciences & Mathematics, West Liberty University（物理科学与数学系，韦斯特利比大学）；Department of Mathematics and Statistics, Minnesota State University（数学与统计学系，明尼苏达州立大学）；Department of Statistics, formerly of Presidency College, Kolkata, India（统计学系，原加尔各答 Presidency College）；Department of Kinesiology, University of Louisiana at Lafayette（运动科学系，路易斯安那州立大学拉斐特分校）；Department of Mathematics and Statistics, Texas Tech University（数学与统计学系，德克萨斯技术大学）；The Office of Vice President for Research, Innovation, and Economic Development, University of Louisiana at Lafayette（研究、创新与经济发展副总监办公室，路易斯安那州立大学拉斐特分校）
本文提出A2 Copula空间贝叶斯神经网络（A2-SBNN），通过将A2 copula嵌入权重初始化并采用校准驱动训练，有效建模空间极端依赖性，为非高斯空间数据提供高精度预测方案。
2025-05-29 cs.LG stat.ME stat.ML
CAWI: Copula-Aligned Weight Initialization for Randomized Neural Networks
Indian Institute of Technology Indore（印度理工学院印度尔）
CAWI通过数据拟合的皮尔逊模型对齐输入-隐藏层权重，以捕捉特征间依赖关系，提升随机神经网络的预测性能。
2026-05-12 cs.LG
Quasi-random sampling for multivariate distributions via generative neural networks
University of Waterloo（滑铁卢大学）
为了计算方差约减下的估计，引入了生成矩匹配网络（GMMN），用于从具有任何底层copula的多变量模型中生成准随机样本。到目前为止，多元分布的准随机抽样需要仔细设计，利用隐含参数copula或基础准蒙特卡罗（QMC）点集的特定属性（例如条件分布），并且仅适用于少数模型。利用GMMN允许一个构建准随机样本的多变量分布的种类要多得多，没有这样的限制，包括经验的依赖结构，没有很好地捕捉参数copula的真实数据。一旦在来自参数模型的伪随机样本上或在真实数据上训练，这些神经网络仅需要多变量标准均匀随机化QMC点集作为输入，并且因此在方差减少的依赖下快速估计感兴趣的期望。数值例子被认为是证明的方法，包括应用程序的风险管理实践的启发。所有结果都可以通过演示GMMN_QMC_paper、GMMN_QMC_data和GMMN_QMC_timing作为R包gnn的一部分重现。
2020-04-02 cs.LG stat.ML
Copula Variational LSTM for High-dimensional Cross-market Multivariate Dependence Modeling
School of Computer Science, University of Technology Sydney, Australia（澳大利亚悉尼科技大学计算机科学学院）
针对跨市场金融指标的高维依赖建模难题，提出WPVC-VLSTM，融合变分LSTM与正则藤copula，刻画非正态多变量间的动态依赖，在跨市场投资组合预测中优于多种基准模型。
2023-05-09 cs.AI cs.LG q-fin.ST
Retrospective Uncertainties for Deep Models using Vine Copulas
Prescient Design, Genentech（基因泰克Prescient Design部门）；Swiss Data Science Center（瑞士数据科学中心）；EPFL（洛桑联邦理工学院）；ETHZ（苏黎世联邦理工学院）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
尽管深度模型作为学习机器取得了重大进展，但不确定性估计仍然是一个重大挑战。现有的解决方案依赖于修改的损失函数或架构改变。我们建议通过补充任何网络来弥补缺乏内置的不确定性估计，回顾性地，在一个整体复合中，我们称之为Vine-Copula神经网络（VCNN）。通过合成和真实数据实验，我们表明VCNN可以是任务（回归/分类）和架构（循环，完全连接）不可知的，同时提供可靠和更好的校准不确定性估计，与最先进的内置不确定性解决方案相当。
2023-02-24 cs.LG
Deep Archimedean Copulas
Carnegie Mellon University（卡内基梅隆大学）
机器学习和统计学中的一个中心问题是从数据中建模随机变量的联合密度。Copula是具有均匀边缘分布的联合累积分布函数，用于捕获与边缘隔离的相互依赖性。Copula在统计学中被广泛使用，但在现代深度学习的背景下还没有获得牵引力。在本文中，我们介绍ACNet，一种新的可微神经网络架构，强制执行结构特性，使人们能够学习一类重要的Copula-阿基米德Copula。与直接学习密度或生成过程的生成对抗网络、变分自编码器或归一化流方法不同，ACNet学习copula的生成器，它隐含地定义了联合分布的累积分布函数。我们给出了ACNet的网络参数的概率解释，并使用它来推导出一个简单但有效的采样算法。我们的实验表明，ACNet既能近似常见的阿基米德Copula，又能生成新的Copula，这可能会提供更好的拟合数据。
2020-12-05 cs.AI cs.LG
Inverting the Feature Visualization Process for Feedforward Neural Networks
Technical University of Munich（慕尼黑工业大学）
这项工作揭示了神经网络中特征可视化的可逆性。由于使用激活最大化的特征可视化生成的输入一般不会产生它被优化的特征目标，因此我们研究优化产生此输入的特征目标。给定用于激活最大化的目标函数，该目标函数测量给定输入与特征目标的相似程度，我们利用该函数的梯度w.r.t.输入在目标中是线性的。该观察结果用于通过计算最小化梯度的封闭形式解决方案来找到最佳特征目标。通过逆向特征可视化，我们打算提供一个替代的观点，对网络的敏感性，考虑某些输入的功能目标，而不是激活。
2020-07-21 cs.LG stat.ML
Sparse bottleneck neural networks for exploratory non-linear visualization of Patch-seq data
Institute for Ophthalmic Research, University of Tübingen（蒂宾根大学眼科研究所）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）
Patch-seq是最近发展起来的一种实验技术，它允许神经科学家从相同的神经元中获得转录组和电生理信息。然而，有效地分析和可视化这种配对的多变量数据，以提取生物学上有意义的解释，仍然是一个挑战。在这里，我们使用稀疏的深神经网络，有和没有一个二维的瓶颈预测电生理功能的转录组的使用组套索惩罚，产生简洁和生物学上可解释的二维可视化。在两个大型示例数据集中，这种可视化显示了已知的神经类及其标记基因，而无需生物先验知识。我们还证明了我们的方法适用于其他类型的多模态数据，如CITE-seq提供的配对转录组学和蛋白质组学测量。
2022-01-25 cs.LG stat.ML
Multivariate time-series modeling with generative neural networks
University of Waterloo（滑铁卢大学）
提出了一种基于生成矩匹配网络的多变量时间序列联合新息分布相关模型。针对MTS数据相关性建模的Copula-Gestival方法，提出了一种基于GMMN-Gestival方法的建模框架。首先，ARMA-GARCH模型被用来捕捉每个单变量边际时间序列内的序列相关性。其次，如果边缘时间序列的数量是大的，主成分分析（PCA）被用作降维步骤。最后，其余的横截面依赖性是通过GMMN建模，这项工作的主要贡献。GMMN是高度灵活的，易于模拟，这是一个主要的优势，copula-Gesthem方法。涉及收益率曲线建模和外汇汇率收益率分析的应用表明了GMMN-Gestern方法的实用性，特别是在产生更好的经验预测分布和做出更好的概率预测方面。
2021-10-01 cs.LG stat.ME stat.ML
Data2Vis: Automatic Generation of Data Visualizations Using Sequence to Sequence Recurrent Neural Networks
IBM Research（IBM研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Fitnescity Labs（Fitnescity实验室）
对于在统计和数据可视化方面时间有限、技能有限的用户来说，使用表达性语法快速创建有效的可视化是一项挑战。即使是高级的专用可视化工具，也经常需要用户手动选择数据属性，决定要应用哪些转换，并指定可视化编码变量与原始或转换后的属性之间的映射。在本文中，我们介绍了Data 2 Vis，这是一个神经翻译模型，用于从给定的数据集自动生成可视化。我们制定可视化生成作为一个序列到序列的翻译问题，数据规范映射到可视化规范的声明性语言（Vega-Lite）。为此，我们在可视化规范的语料库上训练一个具有长短期记忆（LSTM）单元的多层基于注意力的递归神经网络（RNN）。定性结果表明，我们的模型学习了有效的可视化规范的词汇和语法，适当的转换（计数，箱，平均值）以及如何使用数据可视化中出现的常见数据选择模式。Data 2 Vis可以在很短的时间内生成与手动创建的可视化效果相当的可视化效果，并有可能大规模学习更复杂的可视化策略。
2018-11-02 cs.AI cs.HC cs.LG
Full-Gradient Representation for Neural Network Visualization
Idiap Research Institute（Idiap 研究所）；EPFL（洛桑联邦理工学院）
我们引入了一种新的工具来解释神经网络的响应，即全梯度，它将神经网络的响应分解为输入灵敏度和每个神经元的灵敏度分量。这是第一个提出的表示，它满足两个关键属性：完整性和弱依赖性，这是可以证明的，不能满足任何显着图为基础的可解释性方法。对于卷积网络，我们还提出了一种近似显着图表示，称为FullGrad，通过聚合全梯度分量获得。我们通过实验评估了FullGrad在解释模型行为方面的有用性，其中包括两个定量测试：像素扰动和删除和重新训练。我们的实验表明，我们的方法解释模型的行为正确，更全面地比其他方法在文献中。视觉检查还表明，我们的显着性图比其他方法更清晰，更紧密地局限于对象区域。
2019-12-03 cs.CV cs.LG stat.ML
Interpretable Architecture Neural Networks for Function Visualization
Northwestern University（西北大学）
在许多科学研究领域，理解和可视化的黑箱函数的所有输入变量的影响是非常重要的。现有的可视化工具不允许同时可视化所有输入变量的影响。虽然可以选择一个或两个输入变量通过2D或3D图进行可视化，同时保持其他变量固定，但这呈现了模型的过度简化和不完整的画面。为了克服这一缺点，我们提出了一种新的可视化方法，使用可解释的架构神经网络（IANN）直接和同时可视化的所有输入变量的影响。我们提出了两个可解释的结构，其中每一个可以方便地表示一个特定的IANN，我们讨论了一些可能的扩展。我们还提供了一个Python包来实现我们提出的方法。补充材料可在网上查阅。
2023-03-03 cs.HC cs.LG stat.ME
NeuroViz: Real-time Interactive Visualization of Forward and Backward Passes in Neural Network Training
Boston University（波士顿大学）
提出NeuroViz交互式可视化工具，通过实时展示全连接神经网络训练中的激活值、权重更新和损失变化，以及逐神经元方程，显著提升训练透明度和可解释性。
2026-05-23 cs.LG
V-CNN: When Convolutional Neural Network encounters Data Visualization
Northwestern Polytechnical University（西北工业大学）
近年来，深度学习在几乎所有领域都带来了深刻的技术革命，引起了工业界和学术界的极大关注。特别是卷积神经网络（CNN）作为深度学习的代表模型，在计算机视觉和自然语言处理领域取得了巨大的成功。然而，简单地或盲目地将CNN应用于其他领域会导致较低的训练效果或使得调整模型参数变得非常困难。在这张海报中，我们提出了一个通用的方法命名为V-CNN通过介绍数据可视化的CNN。V-CNN在CNN建模之前引入了一个数据可视化模型，以确保处理后的数据适合图像的特征以及CNN建模。我们将V-CNN应用于基于著名的实用数据集AWID的网络入侵检测问题。仿真结果表明，V-CNN显著优于其他研究，每个入侵类别的召回率均超过99.8%。
2018-06-12 cs.HC cs.LG stat.ML
Mixing autoencoder with classifier: conceptual data visualization
Chukyo University（中京大学）
在这篇简短的论文中，神经网络，是能够形成一个低维的拓扑隐藏表示进行说明。神经网络可以被训练为自动编码器、分类器或两者的混合，并且为它们中的每一个产生不同的低维拓扑图。当它被训练成自动编码器时，数据的固有拓扑结构可以被可视化，而当它被训练成分类器时，拓扑结构进一步受到概念的约束，例如数据的标签，因此可视化不仅是结构性的，而且是概念性的。所提出的神经网络显着不同于许多降维模型，主要是在其执行监督和无监督降维的能力。神经网络允许数据的多视角可视化，从而在数据分析中给予更多的灵活性。本文是支持初步的，但直观的可视化实验。
2020-02-21 cs.CV cs.LG cs.NE
Compressive Modeling and Visualization of Multivariate Scientific Data using Implicit Neural Representation
Indian Institute of Technology Kanpur (IIT Kanpur)（印度理工学院坎浦尔学院）
本文提出利用隐式神经表示和参数共享的单一网络，对含数十至数百变量的多变量科学数据进行压缩建模，实现最先进的数据压缩，并在重建质量、可视化效果、依赖保持和存储效率上表现优越。
2025-10-17 cs.GR cs.LG
Deep Generative Neural Embeddings for High Dimensional Data Visualization
Siemens Medical Solutions USA（美国西门子医疗系统公司）
我们提出了一种可视化技术，利用神经网络嵌入和生成网络重建原始数据。该方法允许通过其非参数结构独立操作各个图像嵌入，比传统的自动编码器方法提供更大的灵活性。我们已经评估了这种技术在数据可视化中的有效性，并将其与t-SNE和VAE方法进行了比较。此外，我们还通过ImageNet数据集上的可视化展示了我们方法的可扩展性。我们的技术在人在环训练中具有潜在的应用，因为它允许独立编辑嵌入位置而不影响优化过程。
2023-01-25 cs.CV cs.HC cs.LG
Understanding Neural Networks via Feature Visualization: A survey
Auburn University（奥本大学）；Uber AI Labs（优步人工智能实验室）；University of Wyoming（怀俄明大学）
了解大脑的神经科学方法是寻找和研究高度激活单个细胞或细胞群的首选刺激。机器学习的最新进展使一系列方法能够合成优选的刺激，这些刺激导致人工或生物大脑中的神经元强烈放电。这些方法被称为激活最大化（AM）或通过优化的特征可视化。在本章中，我们（1）回顾现有的AM技术在文献中;（2）讨论AM的概率解释;（3）回顾AM在调试和解释网络中的应用。
2019-04-18 cs.AI cs.CV cs.LG
Net2Vis -- A Visual Grammar for Automatically Generating Publication-Tailored CNN Architecture Visualizations
Ulm University（乌尔姆大学）
为了在出版物中传达神经网络架构，适当的可视化非常重要。虽然目前大多数深度学习论文都包含这样的可视化，但这些通常是在出版前手工制作的，这导致缺乏通用的视觉语法，大量的时间投入，错误和歧义。当前的自动网络可视化工具专注于调试网络本身，对于生成发布可视化并不理想。因此，我们提出了一种方法，通过将Keras中指定的网络架构转换为可以直接嵌入到任何出版物中的可视化来自动化这个过程。为此，我们提出了一种卷积神经网络（CNN）的视觉语法，该语法来自对2013年至2019年期间发表的所有ICCV和CVPR论文中提取的此类数字的分析。建议的语法结合视觉编码，网络布局，层聚合，和图例生成。我们进一步实现了我们的方法，在一个在线系统提供给社区，我们已经通过专家反馈和定量研究进行了评估。它不仅减少了为出版物生成网络可视化所需的时间，而且还实现了统一和明确的可视化设计。
2021-02-10 cs.HC cs.LG stat.ML
Visualizing the PHATE of Neural Networks
Yale University（耶鲁大学）；Princeton University（普林斯顿大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
理解某些神经网络为什么以及如何优于其他网络是指导网络架构和优化方法未来发展的关键。为此，我们引入了一种新的可视化算法，揭示了这种网络的内部几何结构：Multislice PHATE（M-PHATE），这是第一种明确设计用于可视化神经网络隐藏的数据表示在整个训练过程中如何演变的方法。我们证明，我们的可视化提供了直观的，详细的总结学习动态超越简单的全球措施（即，验证损失和准确性），而无需访问验证数据。此外，与基于标准降维方法（例如，ISOMAP，t-SNE）。我们用两个小插曲来演示M-PHATE：持续学习和泛化。在前者中，M-PHATE可视化显示了“灾难性遗忘“的机制，这是任务切换背景下学习的一个主要挑战。在后者中，我们的可视化揭示了隐藏单元之间增加的异质性如何与提高的泛化性能相关。M-PHATE的一个实现，以及复制本文中的图形的脚本，可以在https://github.com/scottgigante/M-PHATE上找到。
2019-08-07 cs.LG cs.NE stat.ML
Deep learning with convolutional neural networks for decoding and visualization of EEG pathology
University of Freiburg（弗赖堡大学）
我们将卷积神经网络（ConvNets）应用于天普大学医院EEG异常语料库中区分病理和正常EEG记录的任务。我们使用两个基本的，浅层和深层的ConvNet架构最近显示，至少从EEG解码任务相关的信息，以及为此目的而设计的既定算法。在解码EEG病理学时，两个ConvNets都达到了比该数据集唯一公布的结果更好的准确率（约6%，约85% vs.约79%），并且在每次记录仅使用1分钟进行训练和每次记录仅使用6秒进行测试时仍然更好。我们使用自动化方法来优化架构超参数，并发现了有趣的不同ConvNet架构，例如，最大池化作为唯一的非线性。ConvNet解码行为的可视化显示，他们使用了delta（0-4 Hz）和theta（4-8 Hz）频率范围内的频谱功率变化，可能还有其他特征，这与从EEG数据的频谱分析和文本医疗报告中得出的预期一致。对文本医疗报告的分析还强调了通过整合上下文信息（如受试者的年龄）来提高准确性的潜力。总之，本研究中使用的ConvNets和可视化技术构成了临床上有用的自动EEG诊断的下一步，并为该主题的未来工作建立了新的基线。
2018-01-11 cs.LG cs.NE stat.ML
Visualization Regularizers for Neural Network based Image Recognition
IIT Kharagpur（印度理工学院克勒格布尔分校）
深度神经网络的成功主要归功于它们从数据中学习有意义特征的能力。在计算机视觉任务中训练的深层神经网络的隐藏层中学习的特征已被证明与中级视觉特征相似。在这项工作中，我们利用这一事实，并提出了图像任务的可视化正则化。所提出的正则化技术加强了隐藏节点学习的特征的平滑性，并且是Tikhonov正则化的一个特例。与现有的正则化器（如L2范数正则化器和dropout）相比，我们在基准数据集上实现了更高的分类精度，而不会改变训练计算复杂性。
2017-01-03 cs.CV cs.LG cs.NE
Interpretable Visualizations with Differentiating Embedding Networks
Yale University（耶鲁大学）
我们提出了一种可视化算法的基础上，一种新的无监督连体神经网络的训练制度和损失函数，称为差分嵌入网络（DEN）。Siamese神经网络在数据集中的特定样本对之间找到差异或相似的特征，并使用这些特征将数据集嵌入到可以可视化的低维空间中。与现有的可视化算法（如UMAP或$t$ -SNE）不同，DEN是参数化的，这意味着它可以通过SHAP等技术进行解释。为了解释DEN，我们在可视化之上创建了一个端到端的参数聚类算法，然后利用SHAP分数来确定样本空间中的哪些特征对于基于发现的聚类来理解可视化中显示的结构是重要的。我们将DEN可视化与各种数据集上的现有技术进行了比较，包括图像和scRNA-seq数据。然后，我们表明，我们的聚类算法执行类似的最先进的，尽管没有事先知道的集群的数量，并设置一个新的国家的最先进的FashionMNIST。最后，我们演示了如何找到数据集的差异化特征。代码可在https://github.com/isaacrob/DEN获得
2020-06-11 cs.CV cs.LG stat.ML
Visualizing Convolutional Neural Network Protein-Ligand Scoring
University of Pittsburgh（匹兹堡大学）
蛋白质配体评分是基于结构的药物设计流程中的重要步骤。选择正确的结合姿势和预测蛋白质-配体复合物的结合亲和力使得能够进行有效的虚拟筛选。机器学习技术可以利用越来越多的结构化数据，这些数据正变得公开可用。卷积神经网络（CNN）评分函数特别地在蛋白质-配体复合物的姿态选择和亲和力预测中显示出前景。神经网络以难以解释而闻名。了解特定网络的决策可以帮助调整参数和训练数据，以最大限度地提高性能。神经网络的可视化有助于将复杂的评分函数分解成更容易被人类解析的图片。在这里，我们提出了三种方法来可视化如何通过3D卷积神经网络解释单个蛋白质-配体复合物。我们还提供了卷积滤波器及其权重的可视化。我们描述了这些可视化提供的直觉如何帮助网络设计。
2018-03-06 cs.LG q-bio.BM stat.ML
Coloring black boxes: visualization of neural network decisions
School of Computer Engineering, Nanyang Technological University（南洋理工大学计算机工程学院）；& Dept. of Informatics, Nicolaus Copernicus University（哥白尼大学信息学系）
神经网络通常被认为是执行不可理解功能的黑匣子。对于分类问题，网络提供从高维特征空间到K维图像空间的映射。将训练向量的图像投影到多边形顶点上，提供了网络函数的可视化。这样的可视化可以示出学习的动态，允许不同网络的比较，显示可能出现潜在问题的训练向量，示出由于正则化和优化过程引起的差异，调查在原始向量的扰动下网络分类的稳定性，以及相对于训练数据放置新的数据样本，允许估计给定样本的分类置信度。描述了三类Wine数据和五类Satimage数据的说明性示例。这里提出的可视化方法适用于任何提供连续输出的黑盒系统。
2018-02-23 cs.AI cs.LG cs.NE
Pruning AMR: Efficient Visualization of Implicit Neural Representations via Weight Matrix Analysis
Center for Applied Mathematics, Cornell University（应用数学中心，康奈尔大学）；Center for Applied Scientific Computing, Lawrence Livermore National Laboratory（应用科学计算中心，劳伦斯·利弗莫尔国家实验室）
PruningAMR通过权重矩阵分析，实现隐式神经表示的高效可视化，减少内存消耗并自适应生成网格。
2025-12-02 cs.LG cs.NA math.NA
Analysis and Visualization of Deep Neural Networks in Device-Free Wi-Fi Indoor Localization
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Electronics, National Chiao Tung University（国立交通大学电子研究所）
无设备Wi-Fi室内定位作为许多物联网（IoT）应用的关键使能技术受到了极大的关注。基于机器学习的位置估计器（例如，深度神经网络（DNN））在通过从噪声无线信号测量自动学习辨别特征来实现高精度定位性能方面具有经证实的潜力。然而，DNN的内部工作是不透明的，并且没有被充分理解，特别是在室内定位应用中。在本文中，我们为DNN学习过程以及DNN在此过程中学习的关键特征提供了定量和可视化的解释。为此，我们建议使用几种可视化技术，包括：1）降维可视化，将高维特征空间投影到2D空间，以便于可视化和解释，以及2）可视化分析和信息可视化，量化每个特征的相对贡献与建议的特征操作程序。这些结果提供了DNN在使用信道状态信息（CSI）指纹的无设备Wi-Fi室内定位中的有见地的观点和合理的解释。
2019-05-22 cs.LG cs.NI
Neural Surveillance: Live-Update Visualization of Latent Training Dynamics
National University of Singapore School of Computing（新加坡国立大学计算机学院）
提出实时可视化框架SentryCam，通过高保真、低延迟跟踪隐藏表示演变，结合基于几何的自动审计系统提前多达7个epoch识别模型故障，支持探索性分析与主动审计。
2025-10-11 cs.LG
In situ TensorView: In situ Visualization of Convolutional Neural Networks
University of New Mexico（新墨西哥大学）；Kent State University（肯特州立大学）；US Army Research Laboratory（美国陆军研究实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
卷积神经网络（CNN）是一种复杂的系统。它们经过训练，可以调整内部连接来识别图像、文本等。将这种深层人工神经网络内的动态可视化既有趣又有帮助，这样人们就可以理解这些人工网络是如何学习和做出预测的。在科学模拟领域，像Paraview这样的可视化工具长期以来一直被用来提供见解和理解。我们提出了原位TensorView来可视化CNN的训练和功能，就好像它们是科学模拟系统一样。In situ TensorView是一个松散耦合的原位可视化开放框架，提供多个查看器来帮助用户可视化和理解他们的网络。它利用Paraview的协同处理功能，在训练和预测阶段提供实时可视化。这避免了可视化大型动态系统的繁重I/O开销。在TensorFlow框架中只注入了少量的代码行。可视化可以为调整网络结构或压缩预训练网络提供指导。我们展示了使用原位TensorView可视化LeNet-5和VGG 16的训练。
2018-06-16 cs.CV cs.HC cs.LG
An Interpretable Neural Network for Vegetation Phenotyping with Visualization of Trait-Based Spectral Features
School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院）；School of Architecture, University of Virginia（弗吉尼亚大学建筑学院）
本研究提出一种可解释神经网络，在UPWINS光谱库上训练实现约90%的植被物种识别准确率，通过权重可视化揭示神经元学习到的化学、生理光谱性状，打破黑盒认知，为光谱数据建模和高光谱植被研究提供可解释框架。
2024-07-14 cs.LG q-bio.QM stat.ML
Visualization and Analysis of the Loss Landscape in Graph Neural Networks
Faculty of Computer Science, University of Vienna（计算机科学系，维也纳大学）；University of Vienna（维也纳大学）
本文提出一种高效的可学习降维方法来可视化GNN损失景观，并分析了多种技术对GNN优化的影响，为架构与训练策略设计提供了新见解。
2025-09-15 cs.LG
Uncertainty-Informed Volume Visualization using Implicit Neural Representation
IIT Kanpur（印度理工学院坎普尔分校）；Oak Ridge National Lab.（橡树岭国家实验室）；University of Utah（犹他大学）
针对深度神经网络缺乏预测不确定性估计能力的问题，本研究提出不确定性感知隐式神经表示建模标量场，评估两种深度不确定性估计技术，验证其能生成有价值的体可视化结果并提升模型可信度。
2024-08-12 cs.AI cs.CV cs.GR
Memory Visualization for Gated Recurrent Neural Networks in Speech Recognition
Tsinghua University（清华大学）；Chengdu Institute of Computer Applications, Chinese Academy of Sciences（中国科学院成都计算机应用研究所）
循环神经网络（RNN）在序列建模方面表现出明显的优势，特别是具有门控单元的网络，如长短期记忆（LSTM）和门控循环单元（GRU）。然而，在许多应用中，卓越性能背后的动态特性仍然不清楚，例如，自动语音识别。本文采用可视化技术来研究LSTM和GRU在执行语音识别任务时的行为。我们的实验显示了门控记忆中的一些有趣的模式，其中一些启发了对网络结构的简单而有效的修改。我们报告了其中的两个修改：（1）LSTM中的懒惰单元更新，以及（2）残余学习的快捷连接。这两种修改都会导致更容易理解和更强大的网络。
2017-02-27 cs.CL cs.LG cs.NE
Deep Neural Maps
University of British Columbia（不列颠哥伦比亚大学）
我们介绍了一种新的无监督表示学习和可视化，使用深度卷积网络和自组织映射，称为深度神经映射（DNM）。DNM联合学习输入数据的嵌入和从嵌入空间到二维网格的映射。我们比较DNM的可视化与那些的t-SNE和LLE的MNIST和COIL-20数据集。实验结果表明，DNM可以学习到有效的输入数据表示，反映了每个类的特点。这通过将映射的神经元反向投影到数据空间上来显示。
2018-10-16 cs.LG cs.NE stat.ML
NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration
National Tsing Hua University（国立清华大学）；MediaTek Inc.（联发科技股份有限公司）；IBM Research（IBM研究院）；The Chinese University of Hong Kong（香港中文大学）
随着深度学习技术的进步，神经网络已经在许多任务中展示了其提供准确预测的出色能力。然而，缺乏对神经网络校准的考虑将不会获得人类的信任，即使是对于高精度模型。在这方面，模型预测的置信度与实际正确性可能性之间的差距必须弥合，以导出校准良好的模型。在本文中，我们介绍了神经箝位工具包，这是第一个开源框架，旨在帮助开发人员采用最先进的模型不可知校准模型。此外，我们在演示中提供动画和交互部分，以使研究人员熟悉神经网络中的校准。还介绍了使用我们的工具包的Colab教程。
2022-11-29 cs.AI cs.HC cs.LG
SkelEx and BoundEx: Natural Visualization of ReLU Neural Networks
University of Sheffield（谢菲尔德大学）
针对 ReLU 神经网络可解释性差的问题，提出 SkelEx 和 BoundEx 两种算法，分别从临界点角度提取隶属函数骨架和决策边界，实现低维数据的自然可视化。
2023-05-09 cs.AI cs.LG
A Survey on Understanding, Visualizations, and Explanation of Deep Neural Networks
Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程研究院）；Concordia University（康考迪亚大学）
机器学习和信号处理领域的最新进展已经导致对深度神经网络（DNN）的广泛兴趣激增，这是由于它们对于具有重大工程重要性的不同和具有挑战性的问题具有前所未有的性能和高精度。然而，当这样的深度学习架构被用于做出关键决策时，诸如涉及人类生命的决策（例如，在控制系统和医疗应用中），理解、信任并用一个词“解释”深层模型决策背后的论点是至关重要的。在许多应用中，人工神经网络（包括DNN）被认为是黑箱系统，其不能提供关于其内部处理动作的足够线索。尽管最近已经开始了一些努力来解释深度网络的行为和决策，但可解释的人工智能（XAI）领域，其目的是推理DNN的行为和决策，仍处于起步阶段。本文的目的是全面概述DNN内部和整体行为的理解，可视化和解释。
2021-02-02 cs.AI cs.LG
Interactive Volume Visualization via Multi-Resolution Hash Encoding based Neural Representation
University of California - Davis（加州大学戴维斯分校）；Intel Corporation（英特尔公司）
本文通过结合GPU张量核心、CUDA框架与宏单元加速渲染算法，实现了体积神经表示的交互式光线追踪，并支持核外训练与免预训练，解决了体数据神经网络推理慢的问题。
2023-06-29 cs.GR cs.LG
Deep learning with convolutional neural networks for EEG decoding and visualization
Intracranial EEG and Brain Imaging lab, Epilepsy Center, Medical Center – University of Freiburg（弗莱堡大学医学中心癫痫中心颅内脑电图和脑成像实验室）；BrainLinks-BrainTools Cluster of Excellence, University of Freiburg（弗莱堡大学BrainLinks-BrainTools卓越集群）；Machine Learning Lab, Computer Science Dept., University of Freiburg（弗莱堡大学计算机科学系机器学习实验室）；Neurobiology and Biophysics, Faculty of Biology, University of Freiburg（弗莱堡大学生物学系神经生物学与生物物理学）
请阅读并引用修订版人脑映射：http://onlinelibrary.wiley.com/doi/10.1002/hbm.23730/full代码可在这里：https://github.com/robintibor/braindecode
2018-06-08 cs.LG cs.NE
Direct-Manipulation Visualization of Deep Networks
Google, Inc.（谷歌公司）
最近深度学习的成功引起了非专家的兴趣。然而，理解这项技术是困难的。虽然理论很重要，但它也有助于新手对不同超参数和结构变化的影响产生直观的感觉。我们描述了TensorFlow Playground，这是一个交互式的开源可视化，允许用户通过直接操作而不是编码进行实验，使他们能够快速建立对神经网络的直觉。
2017-08-12 cs.HC cs.LG stat.ML
SoundPlot: An Open-Source Framework for Birdsong Acoustic Analysis and Neural Synthesis with Interactive 3D Visualization
Electrical Engineering Sukkur IBA University（电气工程 Sukkur IBA大学）
SoundPlot是一种开源框架，用于分析鸟类叫声并通过神经合成和交互式3D可视化进行声学处理，支持高保真的音频重建和多维特征空间分析。
2026-01-19 cs.LG cs.SD
NARVis: Neural Accelerated Rendering for Real-Time Scientific Point Cloud Visualization
University of Maryland, College Park（马里兰大学帕克分校）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；NASA（美国国家航空航天局）；Hampton University（汉普顿大学）
NARVis通过神经后处理提升大规模点云渲染效率，实现高速高保真可视化，适用于多维流场和地形扫描。
2026-03-30 cs.CV cs.GR cs.HC
VISHIEN-MAAT: Scrollytelling visualization design for explaining Siamese Neural Network concept to non-technical users
Zhejiang University（浙江大学）；Thammasat University（法政大学）
本研究提出一种基于scrollytelling的新型可视化设计，用于向非技术用户解释Siamese Neural Network概念，实验证明其比传统材料更能提升用户对机器学习概念的理解与知识获取。
2023-04-04 cs.HC cs.LG
Don't trust your eyes: on the (un)reliability of feature visualizations
Google DeepMind（谷歌DeepMind）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；University of Toronto（多伦多大学）
本文通过构建欺骗性网络电路并分析标准网络，揭示特征可视化可能显示与真实行为无关的模式，并从理论上证明其可靠理解范围极小，进而呼吁开发具有结构约束的网络以提升可视化可靠性。
2024-06-06 cs.AI cs.CV cs.HC
Understanding Neural Networks Through Deep Visualization
Cornell University（康奈尔大学）；University of Wyoming（怀俄明大学）；Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
近年来，在训练大型深度神经网络（DNN）方面取得了巨大进展，包括在训练卷积神经网络（convnets）以识别自然图像方面取得了显著成功。然而，我们对这些模型如何工作的理解，特别是它们在中间层执行的计算，已经落后了。通过开发更好的可视化和解释神经网络的工具，该领域的进展将进一步加速。我们在这里介绍两个这样的工具。第一个是一个工具，它可以可视化经过训练的convnet在处理图像或视频（例如实时网络摄像头流）时在每一层上产生的激活。我们发现，查看响应用户输入而变化的实时激活有助于建立有关convnet如何工作的宝贵直觉。第二个工具可以通过图像空间中的正则化优化来可视化DNN每层的特征。由于这种想法的以前版本产生的图像识别度较低，因此在这里我们引入了几种新的正则化方法，这些方法结合起来可以产生更清晰，更可解释的可视化效果。这两个工具都是开源的，并在预先训练的convnet上工作，只需最少的设置。
2015-06-22 cs.CV cs.LG cs.NE
Explaining How Deep Neural Networks Forget by Deep Visualization
KAIST（韩国科学技术院）；Asan Institute for Life Sciences（峨山生命科学研究所）；Asan Medical Center（峨山医学中心）
解释深度神经网络（通常被认为是黑匣子）的行为至关重要，尤其是当它们现在被应用于人类生活的各个方面时。利用可解释机器学习（interpretable ML）的优势，提出了一种新的工具灾难性遗忘解析器（CFD），用于解释持续学习环境下的灾难性遗忘。我们还介绍了一种新的方法，称为临界冻结的基础上，我们的工具的观察。ResNet上的实验阐明了灾难性遗忘是如何发生的，特别是显示了这个著名网络的哪些组成部分正在遗忘。我们的新的持续学习算法击败了各种最近的技术的显着保证金，证明了调查的能力。临界冻结不仅攻击了灾难性遗忘，而且还暴露了可解释性。
2022-07-22 cs.CV cs.LG
