Linear Explanations for Individual Neurons
UC San Diego(加州大学圣迭戈分校);HDSI, UC San Diego(加州大学圣迭戈分校数据科学与创新研究所)
针对现有神经元解释仅关注最高激活的不足,本文提出将神经元视为概念的线性组合,给出高效线性解释方法,并通过视觉场景模拟评估描述质量。
2024-05-10 cs.CV cs.LG
PolyNeuron: Automatic Neuron Discovery via Learned Polyharmonic Spline Activations
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(达尔文人工智能公司)
自动化深度神经网络架构设计最近受到了大量关注。然而,这种关注并没有被深层神经网络的基本构建块之一神经元平等地分享。在这项研究中,我们提出了PolyNeuron,一种新的自动神经元发现方法的基础上学习多谐波样条激活。更具体地说,PolyNeuron围绕学习多谐样条函数展开,其特征在于一组控制点,这些控制点表示深层神经网络中神经元的激活函数。PolyNeuron的一个放松的变体,我们称之为PolyNeuron-R,放松了PolyNeuron施加的约束,以降低以自动方式发现神经元激活函数的计算复杂性。实验表明,PolyNeuron和PolyNeuron-R都可以使用不同的数据集(MNIST和CIFAR 10)在多个网络架构(LeNet-5和ResNet-20)上提高或比较网络性能。因此,自动神经元发现方法(如PolyNeuron)是一个值得探索的方向。
2018-11-10 cs.AI cs.CV cs.NE
SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs
SafeNexus是一种跨模态安全对齐框架,通过定位并调控模态通用安全神经元,提升多模态大语言模型在跨模态威胁下的安全性,且能保留模型效用。
2026-08-12 cs.CV
APTx Neuron: A Unified Trainable Neuron Architecture Integrating Activation and Computation
Department of Computer Science, Meerut Institute of Engineering and Technology(计算机科学系,梅尔图理工学院)
APTx 神经元通过整合激活与计算,实现了统一且高效的神经元设计,展示了在 MNIST 数据集上高达 96.69% 的准确率。
2026-08-05 cs.AI cs.CV cs.LG
Adversarial Attacks on the Interpretation of Neuron Activation Maximization
University of Concordia(康考迪亚大学);Mila – Quebec AI Institute(Mila——魁北克人工智能研究所);Columbia University(哥伦比亚大学);Flatiron Institute(熨斗研究所)
本研究针对深度神经网络激活最大化解释方法易被欺骗的问题,提出了操纵模型以误导解释的对抗概念及优化框架,展示了CNN相关解释技术的可操纵性,揭示了这类方法的可靠性隐患。
2023-06-12 cs.CV cs.LG
Towards Utilising a Range of Neural Activations for Comprehending Representational Associations
University of Limerick(利默里克大学)
本文指出仅分析极值神经元激活无法全面理解深度网络表征,提出研究非极值水平激活中的统计关联以定位混淆概念,并开发方法利用中间范围logit样本重训练以缓解伪相关。
2024-11-15 cs.CV cs.LG
Understanding CNN Hidden Neuron Activations Using Structured Background Knowledge and Deductive Reasoning
Kansas State University(堪萨斯州立大学);Bowie State University(鲍伊州立大学)
本文提出结合维基百科大规模背景知识与基于描述逻辑的概念归纳推理方法,自动为CNN隐藏神经元生成并验证可解释标签,解决黑箱可解释性难题。
2023-08-09 cs.AI cs.CV cs.LG
Multi-function Convolutional Neural Networks for Improving Image Classification Performance
传统的卷积神经网络(CNN)通常对所有具有非线性映射操作的神经元使用相同的激活函数(通常为ReLU)。例如,深度卷积架构Inception-v4使用ReLU。为了提高传统卷积神经网络的分类性能,通过对不同的神经元使用不同的激活函数,构造了一种新的"多函数卷积神经网络"(MCNN)。对于$n$神经元和$m$不同的激活功能,共有$m^n-m$ MCNN和只有$m$的传统CNN。因此,最好的模型很可能是从MCNN中选择的,因为MCNN比传统的CNN有更多的$m^n-2m$。对于性能分析,使用了两个应用程序的两个不同数据集(对MNIST数据库中的手写数字进行分类,并将大脑MRI图像分类为阿尔茨海默病(AD)的四个阶段之一)。对于这两种应用,为MCNN的每一层随机选择激活函数。对于AD诊断应用,使用新创建的多功能Inception-v4架构构建MCNN。总体而言,模拟表明,MCNN在两种应用的多类分类准确性方面都优于传统CNN。一个重要的未来的研究工作将是有效地选择最好的MCNN从$m^n-m$候选MCNN。当前的CNN软件仅向用户提供MCNN的部分功能,因为不同的层可以使用不同的激活函数,但不能使用同一层中的单个神经元。因此,通过使用多个激活函数来修改当前的CNN软件系统(例如ResNets、DenseNets和双路径网络)并开发更有效和更快的MCNN软件系统和工具将非常有助于解决困难的实…
2018-05-30 cs.CV
Investigating Neuron Ablation in Attention Heads: The Case for Peak Activation Centering
本文系统比较了Transformer注意力头中零消融、均值消融、激活重采样及新提出的峰值消融四种神经元消融方法,发现不同模型与条件下各方法均可实现最低性能退化,而重采样通常退化最严重。
2024-08-30 cs.AI cs.CL cs.CV
Non-linear Neurons with Human-like Apical Dendrite Activations
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学);University of Trento(特伦托大学)
本文提出顶端树突激活(ADA)及锥体神经元模型PyNADA,使单神经元能学习非线性决策边界,并在多个基准数据集上超越ReLU等激活函数。
2023-08-10 cs.CV cs.LG cs.NE
PAON: A New Neuron Model using Padé Approximants
Koç University(科克大学);Codeway AI Research(Codeway AI 研究院)
本文提出基于Padé逼近的新型神经元模型Paons,作为所有现有神经元模型的超集,可替换CNN中的基本神经元,并在单图像超分辨率任务上通过PadeNet验证其优于竞争架构。
2024-03-18 cs.CV eess.IV
Multifaceted Feature Visualization: Uncovering the Different Types of Features Learned By Each Neuron in Deep Neural Networks
University of Wyoming(怀俄明大学);Cornell University(康奈尔大学)
我们可以通过识别每个神经元已经学会检测哪些特征来更好地理解深度神经网络。为了做到这一点,研究人员已经创建了深度可视化技术,包括激活最大化,它综合生成输入(例如图像),最大限度地激活每个神经元。当前技术的一个局限性是,它们假设每个神经元只检测一种类型的特征,但我们知道神经元可以是多方面的,因为它们会响应许多不同类型的特征:例如,杂货店类神经元必须为一排排的产品或店面激活。以前的激活最大化技术构建的图像,而不考虑多个不同的方面的神经元,创建不适当的混合颜色,部分的对象,规模,方向等,在这里,我们介绍了一种算法,明确揭示了多个方面的每个神经元,通过产生一个合成的可视化的每种类型的图像,激活一个神经元。我们还介绍了正则化方法,产生国家的最先进的结果,在可解释性的激活最大化获得的图像。通过分别合成神经元响应的每种类型的图像,可视化具有更合适的颜色和连贯的全局结构。因此,多方面的特征可视化提供了对每个神经元的作用的更清晰和更全面的描述。
2016-05-07 cs.CV cs.NE
Spectral structural distortion reveals redundant neurons in neural networks
MTU(密苏里大学)
本文提出了一种基于谱结构扭曲的神经元冗余判定方法,通过分析神经网络层变换前后的关系结构,识别可移除的神经元并保持任务性能。
2026-05-20 cs.CV cs.LG
Decomposing the Neurons: Activation Sparsity via Mixture of Experts for Continual Test Time Adaptation
Peking University(北京大学);Nanjing University(南京大学);UC, Berkeley(加州大学伯克利分校)
针对持续测试时适应中的灾难性遗忘问题,提出基于激活稀疏性专家混合的适配器,通过分解高低激活特征并采用多门结构,实现分类和分割任务的最先进性能。
2024-05-26 cs.AI cs.CV
Instance-Level Trojan Attacks on Visual Question Answering via Adversarial Learning in Neuron Activation Space
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Tokyo Institute of Technology(东京工业大学)
提出一种实例级多模态木马攻击方法,通过双模态对抗学习在预训练模型中破坏特定神经元,建立恶意关联,高效适应微调模型,实验证明其高效、隐蔽且难以被传统防御缓解。
2024-03-17 cs.AI cs.CV
Can the state of relevant neurons in a deep neural networks serve as indicators for detecting adversarial attacks?
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学)
我们提出了一种基于稀疏神经元集检测的对抗攻击检测方法。我们遵循这样的假设,即对抗攻击在输入中引入了不可感知的扰动,并且这些扰动改变了与被攻击模型所建模的概念相关的神经元的状态。因此,监测这些神经元的状态将能够检测到对抗攻击。专注于图像分类任务,我们的方法确定的神经元是相关的模型预测的类。对这些稀疏神经元集进行更深入的定性检查表明,它们的状态在对抗样本存在时会发生变化。此外,我们的实证评估的定量结果表明,我们的方法能够识别由最先进的攻击方法产生的对抗性样本,其准确度与最先进的检测器相当。
2020-10-29 cs.CR cs.CV cs.LG
Representation Understanding via Activation Maximization
本文提出一个适用于CNNs和ViTs的统一特征可视化框架,将激活最大化扩展至中间层以揭示特征层次结构,并利用其生成对抗样本以暴露DNNs的脆弱性与决策边界。
2025-08-10 cs.AI cs.CV
Disentangling Polysemantic Neurons with a Null-Calibrated Polysemanticity Index and Causal Patch Interventions
BITS Pilani, India(印度比特学院)
针对神经网络多义神经元导致机制可解释性复杂的问题,提出零校准多义性指数(PSI)量化神经元激活的语义簇分解,通过三个校准组件计算,经ResNet-50实验验证有效,为多义单元研究提供实用工具。
2025-08-23 cs.CV cs.LG
Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures
HKUST(香港科技大学);SenseTime Group Limited(商汤集团有限公司)
最先进的神经网络正变得越来越深入和广泛。虽然它们的性能随着层数和神经元数量的增加而增加,但设计一个有效的深度架构以降低计算和内存成本至关重要。然而,设计一个有效的神经网络是劳动密集型的,需要许多实验和微调。在本文中,我们介绍了网络修剪,它通过修剪不重要的神经元来迭代优化网络,基于对它们在大型数据集上的输出的分析。我们的算法受到一个观察的启发,即大型网络中相当一部分神经元的输出大多为零,无论网络接收到什么输入。这些零激活神经元是冗余的,可以在不影响网络整体精度的情况下删除。在修剪零激活神经元之后,我们使用修剪之前的权重作为初始化来重新训练网络。我们交替进行修剪和再训练,以进一步减少网络中的零激活。我们在LeNet和VGG-16上的实验表明,我们可以实现高压缩比的参数,而不会损失甚至达到比原始网络更高的精度。
2016-07-12 cs.CV cs.LG cs.NE
A Significantly Better Class of Activation Functions Than ReLU Like Activation Functions
Vellore Institute of Technology(韦洛尔理工大学)
提出 Cone 与 Parabolic-Cone 激活函数,以有限超条带替代半空间划分特征空间,在 CIFAR-10 和 Imagenette 上用更少神经元获得更高准确率并加速训练。
2024-05-07 cs.AI cs.CV cs.LG
Illuminating Salient Contributions in Neuron Activation with Attribution Equilibrium
Kyungpook National University(庆北国立大学);Korea University(高丽大学)
本文提出 Attribution Equilibrium 归因方法,通过平衡正负相关性、纳入对抗元素与未激活神经元,实现更清晰的神经网络决策证据可视化,并在多个数据集上优于现有方法。
2024-10-28 cs.AI cs.CV
Learning Activation Functions to Improve Deep Neural Networks
University of California - Irvine(加州大学尔湾分校);Adobe Research(奥多比研究院)
人工神经网络通常在每个神经元处具有固定的非线性激活函数。我们设计了一种新形式的分段线性激活函数,它使用梯度下降为每个神经元独立学习。通过这种自适应激活函数,我们能够改进由静态整流线性单元组成的深度神经网络架构,在CIFAR-10(7.51%)、CIFAR-100(30.83%)以及涉及希格斯玻色子衰变模式的高能物理学基准上实现最先进的性能。
2015-04-21 cs.CV cs.LG cs.NE
Deciphering Functions of Neurons in Vision-Language Models
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
本研究通过分析视觉-语言模型(如LLaVA)中神经元的激活模式,识别出视觉、文本和多模态三类神经元,并借助GPT-4o构建自动解释框架及激活模拟器,以提升模型的可解释性。
2025-09-24 cs.CV q-bio.NC
Summit: Scaling Deep Learning Interpretability by Visualizing Activation and Attribution Summarizations
Georgia Tech(佐治亚理工学院)
深度学习越来越多地用于决策任务。然而,理解神经网络如何产生最终预测仍然是一个根本性的挑战。解释图像的神经网络预测的现有工作通常集中在解释单个图像或神经元的预测。由于预测通常是根据数百万个权重计算的,这些权重是在数百万张图像上优化的,因此这种解释很容易错过更大的画面。我们介绍了Summit,这是一个交互式系统,可扩展和系统地总结和可视化深度学习模型已经学习的功能以及这些功能如何相互作用以进行预测。Summit引入了两种新的可扩展摘要技术:(1)激活聚合发现重要的神经元,(2)神经元影响聚合识别这些神经元之间的关系。Summit将这些技术结合起来,创建了新颖的归因图,揭示和总结了有助于模型结果的关键神经元关联和子结构。Summit可扩展到大数据,例如包含120万张图像的ImageNet数据集,并利用神经网络特征可视化和数据集示例,帮助用户将大型复杂的神经网络模型提取为紧凑的交互式可视化。我们提出了神经网络探索方案,其中Summit帮助我们发现了对流行的大规模图像分类器的学习表示的多个令人惊讶的见解,并为未来的神经网络架构设计提供了信息。Summit可视化在现代Web浏览器中运行,并且是开源的。
2019-09-02 cs.CV cs.HC cs.LG
Visualizing Deep Neural Networks with Topographic Activation Maps
Otto-von-Guericke-University Magdeburg(马格德堡奥托·冯·格里克大学);MOTOR Ai GmbH(MOTOR Ai有限公司)
本研究借鉴神经科学的地形图思路,提出并比较多种DNN层神经元地形布局方法,生成地形激活图以识别错误、偏差及可视化训练过程,提升DNN决策系统的可解释性与透明度。
2023-06-14 cs.CV cs.HC cs.LG
Solving internal covariate shift in deep learning with linked neurons
Universitat de Barcelona(巴塞罗那大学)
这项工作提出了一种新的解决方案的问题的内部协变量移动和垂死的神经元使用的概念连接的神经元。我们根据两个约束来定义神经元连接:第一,连接中的所有神经元激活必须具有相同的操作点。也就是说,它们都共享输入权重。其次,一组神经元被链接,当且仅当至少有一个成员的链接,具有非零梯度关于输入的激活函数。这意味着对于激活函数中的任何输入,存在在非平坦和非零区域中操作的联动装置的至少一个构件。这个简单的变化对网络学习动态有着深远的影响。在这篇文章中,我们探讨了这一建议的后果,并表明,通过使用这种单位,内部协变量转移是隐式解决。因此,使用链接的神经元允许训练任意大的网络,而无需任何架构或算法技巧,有效地消除了使用重新规范化方案(如批量规范化)的需要,这导致所需的训练时间减半。它还解决了需要标准化输入数据的问题。结果表明,使用该联动装置的单元不仅有效地解决了上述问题,而且相对于最先进的具有非常有前途的结果,也是一种有竞争力的替代方案。
2017-12-07 cs.CV cs.LG stat.ML
VLM in a flash: I/O-Efficient Sparsification of Vision-Language Model via Neuron Chunking
Seoul National University(首尔国立大学);Meta;Amazon(亚马逊公司)
本文提出Neuron Chunking方法,通过神经元分块实现高效的I/O压缩,提升边缘部署VLMs的性能。
2025-11-24 cs.AI cs.CV cs.LG
High-performance Evolutionary Algorithms for Online Neuron Control
Harvard Medical School(哈佛医学院);Washington University in St Louis(华盛顿大学圣路易斯分校)
最近,优化已经成为神经科学家研究神经代码的新兴工具。在视觉系统中,神经元对图像的反应是分级的和有噪声的。引起最高反应的图像模式是神经元编码内容的诊断。为了找到这些模式,我们使用黑盒优化器来搜索4096d图像空间,从而导致图像的进化,使神经元的反应最大化。虽然遗传算法(GA)已被普遍使用,还没有任何系统的调查,以揭示最佳性能的优化器或基本原则,以改善他们。在这里,我们进行了大规模的激活最大化优化器的计算机基准测试,发现协方差矩阵自适应(CMA)在其实现的激活方面表现出色。我们比较CMA与GA,发现CMA超过GA的最大激活66%,在硅片和44%,在体内。我们分析了进化轨迹的结构,发现成功的关键不是协方差矩阵自适应,而是对信息维度的局部搜索和有效的步长衰减。在这些原则和图像流形的几何形状的指导下,我们开发了SphereCMA优化器,该优化器与CMA竞争良好,证明了所确定原则的有效性。代码可在https://github.com/Animadversio/ActMax-Optimizer-Dev获得
2022-04-14 cs.CG cs.CV cs.NE