A Primer on Multi-Neuron Relaxation-based Adversarial Robustness Certification
ETH Zürich(苏黎世联邦理工学院)
当深度神经网络部署在现实世界中时,对抗性示例的存在构成了真正的危险。量化此漏洞的首选策略是针对特定攻击算法评估模型。然而,这种方法本质上是有限的,因为它几乎没有说明模型对评估中未包括的更强大攻击的鲁棒性。我们开发了一个统一的数学框架来描述基于松弛的鲁棒性认证方法,该方法超越了特定于对手的鲁棒性评估,而是提供可证明的鲁棒性保证,以抵御任何对手的攻击。我们讨论了单神经元松弛所带来的基本限制,并展示了Singh等人(2019)最近的“k-ReLU”多神经元松弛框架如何通过利用神经元组之间的额外关系约束来获得更紧密的相关感知激活边界。具体来说,我们展示了如何额外的预激活界限可以映射到相应的激活后的界限,以及它们如何可以反过来被用来获得更严格的鲁棒性证书。我们还提出了一种直观的方式来可视化不同的基于松弛的认证方法。通过联合而不是单独地近似多个非线性,k-ReLU方法能够绕过单个神经元松弛所施加的凸障碍。
2021-06-06 cs.AI cs.CR cs.LG
Rethinking the Function of Neurons in KANs
Center for Applied Intelligent Systems Research(应用智能系统研究中心);Halmstad University(哈尔姆斯塔德大学)
本研究探讨了KANs中神经元多元函数的替代方案,发现用平均函数替代求和能将样条输入限制在激活函数有效范围内,从而显著提升模型性能与训练稳定性。
2024-07-30 cs.AI cs.LG
Rethinking Activation Functions: Reducing Bias Can Improve Learning
Peking University(北京大学);Tsinghua University(清华大学);MetaCircle
该研究指出ReLU等常用激活函数存在激活偏差,其虽加速初始学习但会导致过冲等问题,减少激活偏差虽减慢初始学习却能降低最终损失,大模型实验也验证此规律,为激活函数设计提供新方向。
2026-10-14 cs.AI cs.LG
Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks
Saitama University(埼玉大学)
本文提出基于逆激活回归的神经元合并方法,结合聚类与最小二乘估计,实现sigmoid网络训练后压缩,并验证权重与激活信息在合并中的不同作用。
2026-10-05 cs.LG
Measure gradients, not activations! Enhancing neuronal activity in deep reinforcement learning
Hong Kong University of Science and Technology(香港科技大学);Mila - Québec AI Institute(魁北克AI研究所);Université de Montréal(蒙特利尔大学)
本文提出GraMa用于衡量深度强化学习中神经元的学习能力,通过梯度而非激活来增强神经元活动,提升学习性能。
2026-01-31 cs.LG
AcTTA: Rethinking Test-Time Adaptation via Dynamic Activation
Yonsei University(延世大学);Korea Institute of Science and Technology(韩国科学技术研究院)
本文提出AcTTA框架,通过动态调整激活函数提升测试时间适应鲁棒性,在多个数据集上优于传统归一化方法。
2026-03-27 cs.CV cs.LG
Dropout Prediction Uncertainty Estimation Using Neuron Activation Strength
UIUC(伊利诺伊大学厄巴纳-香槟分校);Google, Inc.(谷歌公司)
Dropout常被用来量化预测的不确定性,即在给定的输入样本上模型预测的变化。然而,在实践中使用dropout可能是昂贵的,因为它需要多次运行dropout推断。在本文中,我们研究了如何以资源有效的方式估计辍学预测的不确定性。我们证明了我们可以使用神经元激活强度来估计不同dropout设置下的dropout预测不确定性,并使用三个大型数据集MovieLens,Criteo和EMNIST进行各种任务。我们的方法提供了一个推理一次的方法来估计辍学预测的不确定性作为一个廉价的辅助任务。我们还证明,使用激活功能的神经网络层的子集可以足以实现不确定性估计的性能几乎可以与使用激活功能的所有层,从而减少资源,甚至进一步为不确定性估计。
2022-06-16 cs.LG
Explaining Deep Learning Hidden Neuron Activations using Concept Induction
Kansas State University(堪萨斯州立大学);University of Hartford(哈特福德大学)
可解释人工智能目前面临的主要挑战之一是正确解释隐藏神经元的激活。很明显,对其的准确解释将提供对以下问题的见解:深度学习系统内部具有什么\emph{detected}作为与输入相关的,从而解除了深度学习系统的一些黑盒特征。这方面的最新技术表明,至少在某些情况下,隐藏节点的激活似乎可以以一种对人类有意义的方式进行解释。然而,能够首先假设隐藏神经元激活的解释,然后验证它的系统自动化方法大多缺失。在本文中,我们提供了这样一种方法,并证明它提供了有意义的解释。它是基于使用大规模的背景知识--一个类层次结构,大约200万个类来自维基百科概念层次结构--以及一种名为\emph{concept induction}的符号推理方法,该方法基于最初为语义Web领域的应用程序开发的描述逻辑。我们的研究结果表明,我们可以自动附加有意义的标签,从背景知识的密集层的卷积神经网络通过一个假设和验证过程中的单个神经元。
2023-01-23 cs.LG
Negative Pre-activations Differentiate Syntax
MIT(麻省理工学院);Red Hat AI(红帽人工智能)
研究发现,Wasserstein神经元中的负预激活在句法处理中起关键作用,其删除显著影响语法性能,而其他神经元的删除影响较小。
2026-03-01 cs.LG
q-Neurons: Neuron Activations based on Stochastic Jackson's Derivative Operators
Sony Computer Science Laboratories, Inc.(索尼计算机科学实验室公司);Data61
我们提出了一种新的通用类型的随机神经元,称为$q$ -神经元,认为激活函数的基础上杰克逊的$q$ -衍生物的随机参数$q$。我们的神经网络架构与$q$ -神经元的推广被证明是可扩展的,非常容易实现。我们通过实验证明了在训练和测试损失函数时,与最先进的标准激活函数相比,性能得到了一致的改善。
2018-06-14 cs.LG cs.NE stat.ML
Task-Specific Data Selection for Instruction Tuning via Monosemantic Neuronal Activations
X-LANCE Lab, Department of Computer Science and Engineering(X-LANCE实验室,计算机科学与工程系);MoE Key Lab of Artificial Intelligence, SJTU AI Institute(人工智能MOE实验室,SJTU人工智能研究所);Shanghai Jiao Tong University(上海交通大学);AISpeech Co., Ltd.(AISpeech公司);School of Computer Science and Engineering, Central South University(计算机科学与工程学院,中南大学)
针对指令微调中任务特定数据选择的难题,提出基于稀疏自编码器解耦的单语义神经元激活表征及专用相似性度量方法,在多场景下稳定性和性能均优于现有基线。
2025-05-16 cs.LG
LLM Router: Rethinking Routing with Prefill Activations
NVIDIA(英伟达)
本文提出基于预填激活的路由方法,通过分离编码器和目标模型,提升路由性能,实验显示其在成本和准确性上均优于传统方法。
2026-08-13 cs.CL cs.LG
Rethinking Pruning for Backdoor Mitigation: An Optimization Perspective
School of Cyber Science and Engineering, Shanghai Jiao Tong University(上海交通大学网络空间安全学院)
本文提出结合图神经网络与强化学习的优化神经元剪枝方法,通过建模神经元连接并学习剪枝策略,有效清除后门攻击植入的神经元,实现后门缓解的最优性能。
2024-05-28 cs.AI cs.CR cs.LG
A More Accurate Approximation of Activation Function with Few Spikes Neurons
Seoul National University of Science and Technology(首尔科学技术大学);Korea Institute of Science and Technology(韩国科学技术研究院)
本文提出基于趋势的参数初始化方法TBPI,利用时间依赖性改善少脉冲神经元训练,从而更精确地逼近Swish等复杂非线性激活函数。
2024-08-19 cs.LG cs.NE
ProAct: Progressive Training for Hybrid Clipped Activation Function to Enhance Resilience of DNNs
Mälardalen University(梅拉达伦大学);Tallinn University of Technology(塔林理工大学)
ProAct通过混合神经元级和层级截断方法,提升DNNs在高比特误差率下的鲁棒性,采用渐进训练优化阈值。
2024-06-10 cs.LG
Orders-of-coupling representation with a single neural network with optimal neuron activation functions and without nonlinear parameter optimization
Tokyo Institute of Technology(东京工业大学)
本文提出用单一神经网络构建耦合阶表示,采用最优激活函数且无需非线性优化,示例于分子势能面,简化了低维函数表示构建。
2023-02-11 cs.LG
NeuronScope: A Multi-Agent Framework for Explaining Polysemantic Neurons in Language Models
Wuhan University(武汉大学);Hong Kong Baptist University(香港 Baptist大学);New Jersey Institute of Technology(新泽西理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
NeuronScope通过多智能体框架迭代优化神经元解释,揭示语言模型中隐藏的多义性并提升解释的激活相关性。
2026-01-07 cs.CL cs.LG
A New Artificial Neuron Proposal with Trainable Simultaneous Local and Global Activation Function
Universidade Federal Rural de Pernambuco(伯南布哥联邦农村大学);Harvard University(哈佛大学)
The activation function plays a fundamental role in the artificial neural network learning process. However, there is no obvious choice or procedure to determine the best activation function , which depends on the problem. This study proposes a new artificial neuron, named global-local neuron, with a trainable activation function composed of two components, a global and a local. The global component term used here is relative to a mathematical function to describe a general feature present in all problem domain. The local component is a function that can represent a localized behavior, like a …
2021-01-15 cs.LG cs.NE
Rethinking White-Box Watermarks on Deep Learning Models under Neural Structural Obfuscation
Fudan University(复旦大学)
深度神经网络(DNN)的版权保护是人工智能公司的迫切需求。DNN水印是一种新兴的跟踪非法分发的模型副本的技术,用于在预测行为或模型内部嵌入和验证秘密身份消息。牺牲较少的功能和涉及更多关于目标DNN的知识,被称为\textit{white-box DNN watermarking}的后一个分支被认为是准确,可信和安全的,可以抵御大多数已知的水印删除攻击,学术界和业界都在进行新的研究工作。在本文中,我们首次系统地研究了主流白盒DNN水印如何容易受到\textit{dummy neurons}神经结构混淆的影响,这是一组可以添加到目标模型但保持模型行为不变的神经元。设计了一个全面的框架来自动生成和注入具有高隐蔽性的虚拟神经元,我们的新攻击集中修改了目标模型的架构,以抑制水印验证的成功。经过广泛的评估,我们的工作首次表明,9个已公布的水印方案需要修改其验证程序。
2023-03-17 cs.CR cs.LG
Knowledge Transfer via Distillation of Activation Boundaries Formed by Hidden Neurons
Seoul National University(首尔国立大学);Hanyang University(汉阳大学);NAVER Corp(NAVER公司)
神经元的激活边界是指确定神经元是激活还是去激活的分离超平面。长期以来,在神经网络中,神经元的激活,而不是它们的精确输出值,在形成隐藏特征空间的分类友好分区中起着最重要的作用。然而,据我们所知,神经网络的这方面在知识转移的文献中还没有被考虑过。在本文中,我们提出了一种知识转移方法,通过蒸馏的激活边界形成的隐藏的神经元。对于蒸馏,我们提出了一个激活转移损失,具有最小值时,由学生产生的边界与教师重合。由于激活传递损失是不可微的,我们设计了一个分段可微的损失近似的激活传递损失。通过该方法,学生学习由教师中的每个神经元形成的激活区域和失活区域之间的分离边界。通过在知识转移的各个方面的实验,验证了所提出的方法优于当前的最先进的。
2018-12-14 cs.CV cs.LG stat.ML
Continual Learning with Neuron Activation Importance
Kyunghee University(庆熙大学)
持续学习是一种具有多个顺序任务的在线学习的概念。持续学习的关键障碍之一是网络学习新任务时需要保留旧任务的知识,而不需要访问旧任务的任何数据。在本文中,我们提出了一种基于神经元激活重要性的正则化方法,用于稳定的持续学习,而不管任务的顺序。我们在现有的基准数据集上进行了全面的实验,不仅评估了我们的方法的稳定性和可塑性,提高了分类精度,而且还评估了任务顺序变化时性能的鲁棒性。
2021-07-27 cs.CV cs.LG
Interpolation with deep neural networks with non-polynomial activations: necessary and sufficient numbers of neurons
University of British Columbia(不列颠哥伦比亚大学)
该研究证明只要激活函数在某点实解析且非多项式,前馈神经网络插值n个通用输入输出对仅需Θ(√(nd'))个神经元,突破了此前仅适用于特定激活函数的限制,表明可依问题自由选激活函数且不损失插值能力。
2024-09-16 cs.LG math.OC
SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks
Independent Researcher(独立研究者);Toronto, Canada(加拿大多伦多);Toronto Ontario Canada(加拿大多伦多)
提出SmartMixed两阶段训练策略,通过可微硬混合机制让神经元自适应选择激活函数,第二阶段固定选择以保持推理效率,在MNIST上验证了不同层神经元的激活函数偏好。
2026-07-08 cs.AI cs.LG
Linear Explanations for Individual Neurons
UC San Diego(加州大学圣迭戈分校);HDSI, UC San Diego(加州大学圣迭戈分校数据科学与创新研究所)
针对现有神经元解释仅关注最高激活的不足,本文提出将神经元视为概念的线性组合,给出高效线性解释方法,并通过视觉场景模拟评估描述质量。
2024-05-10 cs.CV cs.LG
DeepDecipher: Accessing and Investigating Neuron Activation in Large Language Models
Apart Research(Apart研究机构);Edinburgh Centre for Robotics(爱丁堡机器人中心);University of Oxford(牛津大学)
DeepDecipher 是一个用于探测大型语言模型 MLP 层神经元激活的 API 和界面,旨在让先进可解释性技术更易用,从而提升 LLMs 的透明性、可信性与安全性。
2023-11-28 cs.LG
Runtime Monitoring Neuron Activation Patterns
fortiss - Research Institute of the Free State of Bavaria(fortiss——巴伐利亚自由州研究院);DENSO CORPORATION(电装公司)
为了在安全关键领域中使用神经网络,重要的是知道由神经网络做出的决策是否由训练中的先验相似性支持。我们提出了运行时神经元激活模式监控-在标准训练过程之后,通过再次将训练数据馈送到网络来创建监控器,以便以抽象形式存储神经元激活模式。在操作中,通过检查监视器中是否包含与所生成的模式类似(由汉明距离测量)的模式来进一步补充对输入的分类决策。如果监视器不包含任何与生成的模式类似的模式,则它发出警告,该决定不是基于训练数据的。我们的实验表明,通过调整激活模式的相似性阈值,当在测试集上进行评估时,监视器可以报告很大一部分错误分类不受训练的支持,并且假阳性率很小。
2018-09-19 cs.LG stat.ML
Error-margin Analysis for Hidden Neuron Activation Labels
Kansas State University(堪萨斯州立大学)
针对现有可解释AI研究仅关注神经元激活刺激对应召回率的不足,提出需研究神经元对其他刺激的响应即精确率,将其定义为神经元标签误差裕度,完善神经元概念标记的分析维度。
2024-05-14 cs.AI cs.LG cs.NE
To 2:4 Sparsity and Beyond: Neuron-level Activation Function to Accelerate LLM Pre-Training
FAIR at Meta(Meta 的 FAIR)
通过神经元层面的激活函数稀疏性技术,加速LLM预训练,提升训练效率1.4-1.7倍,适用于NVIDIA A100及后续GPU。
2026-02-05 cs.LG
Rethinking Channel Dimensions to Isolate Outliers for Low-bit Weight Quantization of Large Language Models
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
针对大语言模型低比特权重量化中激活异常值的问题,提出per-IC量化方法(输入通道内分组隔离异常值),并结合自适应维度框架AdaDim,显著提升4比特以下量化性能,在MMLU等基准测试中取得优异结果。
2025-04-14 cs.LG
FLAIN: Mitigating Backdoor Attacks in Federated Learning via Flipping Weight Updates of Low-Activation Input Neurons
Nanjing University of Aeronautics and Astronautics(南京航空大学);Nanyang Technological University(南洋理工大学)
针对联邦学习中恶意客户端植入后门的问题,本文提出FLAIN,在全局训练后利用辅助数据识别并迭代翻转低激活输入神经元的权重更新,从而在Non-IID和高恶意客户端比例场景下降低攻击成功率。
2025-07-22 cs.AI cs.LG
Rethinking Reservoir Pruning: A Dynamical Perspective for Echo State Networks
Sungkyunkwan University(成均馆大学)
该研究针对回声状态网络储备池过参数化问题,提出动力学模式剪枝方法,通过轨迹平均雅可比格拉姆矩阵排序神经元,实验显示其可提升或保持预测精度并减少冗余组件。
2026-08-06 cs.AI cs.LG math.DS
Two-argument activation functions learn soft XOR operations like cortical neurons
Hanyang University(汉阳大学);NYU(纽约大学);Baylor College of Medicine(贝勒医学院);Rice University(莱斯大学)
大脑中的神经元是复杂的机器,具有不同的功能区室,它们非线性地相互作用。相比之下,人工神经网络中的神经元抽象出这种复杂性,通常下降到输入的加权和的标量激活函数。在这里,我们通过学习具有两个输入参数的典型激活函数来模拟生物学上更真实的神经元,类似于基底树突和顶端树突。我们使用一个网络中的网络架构,每个神经元被建模为一个多层感知器,有两个输入和一个输出。这个内部感知器由外部网络中的所有单元共享。值得注意的是,由此产生的非线性往往会产生软XOR函数,这与最近关于人类皮层神经元输入之间相互作用的实验观察一致。当超参数被优化时,具有这些非线性的网络比具有匹配参数计数的传统ReLU非线性学习得更快,性能更好,并且它们对自然和对抗性扰动更具鲁棒性。
2021-10-15 cs.AI cs.LG q-bio.NC
Prophecy: Inferring Formal Properties from Neuron Activations
NASA Ames(NASA阿姆斯研究中心);KBR(KBR公司);CMU(卡内基梅隆大学)
Prophecy通过分析神经网络内部层的神经元激活状态,自动推断前馈网络的形式属性,适用于不同模型和输出属性的验证与监控。
2026-05-08 cs.LG cs.SE
Provably-Robust Runtime Monitoring of Neuron Activation Patterns
DENSO AUTOMOTIVE Deutschland GmbH(电装汽车德国有限公司)
对于要在安全关键的自动驾驶任务中使用的深度神经网络(DNN),期望在操作时间内监视DNN的输入是否类似于DNN训练中使用的数据。虽然最近在监控DNN激活模式方面的结果由于从训练数据集合中构建抽象而提供了可靠的保证,但是减少由于轻微输入扰动而导致的误报一直是成功适应该技术的问题。我们解决这一挑战,通过整合正式的符号推理内部的监视器建设过程。该算法在应用抽象函数构建监控器之前,对输入(或特征)受到扰动的神经元值进行合理的最坏情况估计。可证明的鲁棒性进一步推广到监测单个神经元可以使用一个以上比特的情况,这意味着可以记录激活模式与神经元值区间上的细粒度决策。
2021-09-25 cs.LG cs.LO cs.SE
Learning Neural Activations
University of Warwick(华威大学);Pakistan Institute of Engineering and Applied Sciences (PIEAS)(巴基斯坦工程与应用科学研究院)
人工神经元被建模为加权求和,随后是确定其输出的激活函数。在文献中已经探索了各种各样的激活函数,例如整流线性单元(ReLU)、泄漏ReLU、Swish、MISH等。在这篇简短的论文中,我们探讨了当人工神经网络中每个神经元的激活函数仅从数据中学习时会发生什么。这是通过将每个神经元的激活函数建模为小神经网络来实现的,该小神经网络的权重由原始网络中的所有神经元共享。我们在结论部分列出了我们的主要发现。我们的分析代码可以在https://github.com/amina01/Learning-Neural-Activations上找到。
2019-12-27 cs.LG cs.NE stat.ML
Sparse Inter-Layer Dependencies of Transformer FFN Neurons
研究Transformer中FFN模块内部结构难解释问题,引入无需训练的归因方法,发现其神经元层面存在稀疏且结构化的层间依赖关系,该方法为电路级可解释性提供工具并识别候选稀疏路径。
2026-07-15 cs.AI cs.CL cs.LG
APTx Neuron: A Unified Trainable Neuron Architecture Integrating Activation and Computation
Department of Computer Science, Meerut Institute of Engineering and Technology(计算机科学系,梅尔图理工学院)
APTx 神经元通过整合激活与计算,实现了统一且高效的神经元设计,展示了在 MNIST 数据集上高达 96.69% 的准确率。
2026-08-05 cs.AI cs.CV cs.LG
Neural network with optimal neuron activation functions based on additive Gaussian process regression
School of Materials and Chemical Technology, Tokyo Institute of Technology(东京工业大学材料与化学技术学院)
本文提出用加性 GPR 为每个神经元构造最优且独立的激活函数,并避免非线性参数拟合,在分子势能面任务中于高精度区间优于传统 NN。
2023-01-19 cs.LG cs.NE stat.ML
Functional Similarity Metric for Neural Networks: Overcoming Parametric Ambiguity via Activation Region Analysis
本文提出通过分析神经元激活区域拓扑来构建稳定的神经网络 canonical 表示,解决传统参数比较方法在训练中对微小权重扰动的不稳定性问题,提升模型合并和可解释性AI的鲁棒性。
2026-04-04 cs.LG
ConceptLens: from Pixels to Understanding
Kansas State University(堪萨斯州立大学)
本研究提出创新工具ConceptLens,结合深度学习与符号方法,通过误差边际分析及柱状图实时可视化深度神经网络的隐藏神经元激活与置信度,提升模型可解释性。
2024-10-04 cs.AI cs.LG
Towards Utilising a Range of Neural Activations for Comprehending Representational Associations
University of Limerick(利默里克大学)
本文指出仅分析极值神经元激活无法全面理解深度网络表征,提出研究非极值水平激活中的统计关联以定位混淆概念,并开发方法利用中间范围logit样本重训练以缓解伪相关。
2024-11-15 cs.CV cs.LG
Understanding CNN Hidden Neuron Activations Using Structured Background Knowledge and Deductive Reasoning
Kansas State University(堪萨斯州立大学);Bowie State University(鲍伊州立大学)
本文提出结合维基百科大规模背景知识与基于描述逻辑的概念归纳推理方法,自动为CNN隐藏神经元生成并验证可解释标签,解决黑箱可解释性难题。
2023-08-09 cs.AI cs.CV cs.LG
Designing Compact Neural Architectures via Neuron Gating and Mixed Activation
IIT Kanpur(印度理工学院坎普尔分校);IIM Ahmedabad(印度管理学院艾哈迈达巴德分校);Krishnamurthy Tandon School of AI(克里希纳穆尔蒂坦登人工智能学院)
本研究提出基于神经元门控与混合激活的NAS方法,通过连续松弛优化架构空间,在MNIST、CIFAR-10上实现紧凑架构的高性能,优于DARTS,可优化过度参数化架构。
2026-08-17 cs.AI cs.LG
WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference
Microsoft(微软);Renmin University of China(中国人民大学);South China University of Technology(华南理工大学)
WINA提出一种无需训练的稀疏激活框架,通过结合隐藏状态大小和权重矩阵列向量ℓ2范数,提升大语言模型推理性能。
2026-02-18 cs.AI cs.LG
Differential Equation Units: Learning Functional Forms of Activation Functions from Data
Amazon Web Services(亚马逊云科技);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Inc.(微软公司)
大多数深度神经网络使用简单的固定激活函数,如S形或整流线性单元,而不管域或网络结构如何。我们引入微分方程单元(DEU),现代神经网络的改进,使每个神经元学习一个特定的非线性激活函数从一个家庭的解决方案,一个常微分方程。具体地,每个神经元可以在训练期间基于网络的其他部分的行为来改变其功能形式。我们表明,使用神经元与DEU激活函数的结果在一个更紧凑的网络能够实现可比的,如果不是优越的,性能相比,更大的网络。
2019-09-06 cs.LG stat.ML
Activation Adaptation in Neural Networks
Polytechnique Montreal(蒙特利尔综合理工大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
许多神经网络架构依赖于每个隐藏层的激活函数的选择。给定激活函数,神经网络在偏置和权重参数上被训练。偏置抓住了激活的中心,权重抓住了尺度。在这里,我们建议训练网络的形状参数。这个视图允许每个神经元调整自己的激活函数,并使神经元曲率适应更好的预测。这种修改仅为每个神经元的反向传播增加了一个进一步的方程。将激活函数重新形式化为CDF,广泛地推广了激活函数类。我们的目的是推广一类广泛的激活函数来研究:i)偏斜和ii)光滑的激活函数。本文引入自适应Gumbel激活函数作为Gumbel和sigmoid之间的桥梁。类似的方法被用来发明一个平滑版本的ReLU。我们与常见的激活函数的比较表明,不同的数据表示,特别是在早期的神经网络层。这种适应还提供了预测改进。
2019-09-28 cs.LG stat.ML
On the Evolution of Neuron Communities in a Deep Learning Architecture
University of Saskatchewan(萨斯喀彻温大学)
在过去的十年中,深度学习技术越来越多地被用于分类任务,但解释深度学习架构如何实现最先进的性能仍然是一个难以捉摸的目标。虽然所有的训练信息都深深地嵌入到训练模型中,但我们仍然不能仅仅通过分析模型来了解它的性能。本文考察了基于深度学习的分类模型的神经元激活模式,并探讨了模型的性能是否可以通过神经元的激活行为来解释。我们提出两种方法:一种是将神经元的激活行为建模为图形,并检查神经元是否形成有意义的社区,另一种是使用熵来检查神经元行为的可预测性。我们的综合实验研究表明,社区质量和熵可以提供新的见解深度学习模型的性能,从而铺平了一条新的方式来解释深度学习模型直接从神经元的激活模式。
2021-10-09 cs.IT cs.LG cs.NE
Fast gradient-free activation maximization for neurons in spiking neural networks
Laboratory of Neuronal Intelligence, Institute for Advanced Brain Studies, Lomonosov Moscow State University(神经智能实验室,先进脑科学研究所,洛蒙诺索夫莫斯科国立大学);Artificial Intelligence Research Institute (AIRI)(人工智能研究所);Skolkovo Institute of Science and Technology(斯克罗夫科技研究院);HSE University Moscow, Russia(莫斯科高等经济大学,俄罗斯)
本文提出一种高效的反馈循环框架,用于快速优化脉冲神经网络中神经元的激活最大化,通过低秩张量列车分解离散激活函数,首次将有效AM应用于SNNs,展示了训练过程中最优刺激的变化及其对分类准确率的影响。
2024-06-25 cs.LG cs.NE
Variational Neural Networks: Every Layer and Neuron Can Be Unique
激活函数的选择对神经网络的性能有很大的影响。激活函数的选择缺乏指导原则是可悲的。为了解决这个问题,我们引入了变分神经网络,其中的激活函数被表示为一个线性组合的可能的候选函数,并通过最小化损失函数使用梯度下降方法获得最佳的激活。损失函数关于这些展开系数的梯度公式是实现梯度下降算法的核心,在这里我们导出这些梯度公式。
2018-10-14 cs.AI cs.LG stat.ML
NeuRel-Attack: Neuron Relearning for Safety Disalignment in Large Language Models
Binjiang Institute of Zhejiang University(浙江大学滨江研究院);South China University of Technology(华南理工大学);Zhejiang University(浙江大学)
本研究提出NeuRel-Attack方法,通过神经元激活分析、相似性识别与神经元再学习三个步骤,精准修改负责安全约束的神经元,仅需最小微调即可移除LLMs的安全限制,揭示了当前对齐技术的漏洞。
2025-04-29 cs.AI cs.LG
TopoAct: Visually Exploring the Shape of Activations in Deep Learning
University of Utah(犹他大学)
GoogLeNet、ResNet和BERT等深度神经网络在图像和文本分类等任务中取得了令人瞩目的性能。为了理解这种性能是如何实现的,我们通过研究神经元激活来探测经过训练的深度神经网络,即,在网络的各个层处,响应于特定输入的神经元激发的组合。有了大量的输入,我们的目标是通过研究神经元的激活来获得神经元检测到什么的全局视图。特别是,我们开发了可视化,显示激活空间的形状,神经元激活背后的组织原则,以及这些激活层内的关系。应用拓扑数据分析工具,我们提出了TopoAct,一个可视化的探索系统来研究激活向量的拓扑摘要。我们目前的探索方案,使用TopoAct提供了宝贵的见解学习表示的神经网络。我们期望TopoAct提供一个拓扑的角度,丰富了当前的神经网络分析工具箱,并提供一个基础,网络架构诊断和数据异常检测。
2021-04-12 cs.CG cs.GR cs.LG
Investigating Neuron Ablation in Attention Heads: The Case for Peak Activation Centering
本文系统比较了Transformer注意力头中零消融、均值消融、激活重采样及新提出的峰值消融四种神经元消融方法,发现不同模型与条件下各方法均可实现最低性能退化,而重采样通常退化最严重。
2024-08-30 cs.AI cs.CL cs.CV
CoreInfer: Accelerating Large Language Model Inference with Semantics-Inspired Adaptive Sparse Activation
Duke University(杜克大学);Ohio State University(俄亥俄州立大学)
针对现有 token 级稀疏激活预测带来的频繁调度开销,提出 CoreInfer,利用句子语义在预填充阶段确定并固定核心神经元,实现无需 MLP 的零成本稀疏推理,最高较 PowerInfer 加速 2.72 倍。
2024-10-23 cs.CL cs.LG
Non-linear Neurons with Human-like Apical Dendrite Activations
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学);University of Trento(特伦托大学)
本文提出顶端树突激活(ADA)及锥体神经元模型PyNADA,使单神经元能学习非线性决策边界,并在多个基准数据集上超越ReLU等激活函数。
2023-08-10 cs.CV cs.LG cs.NE