Neural Network Module Decomposition and Recomposition
Fujitsu Limited(富士通有限公司);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能综合研究中心)
我们提出了一种模块化方法,从功能的角度将深度神经网络(DNN)分解为小模块,并将它们重新组合为用于其他任务的新模型。分解模块由于其小的尺寸而被期望具有可解释性和可验证性的优点。与现有的基于重用模型的研究相比,该方法不需要再训练,并且具有广泛的适用性,因为它可以很容易地与现有的功能模块相结合,例如迁移学习模型。所提出的方法使用权重掩码提取模块,并可应用于任意DNN。与现有的研究不同,它不需要对网络架构进行假设。为了提取模块,我们设计了一种学习方法和一个损失函数,以最大化模块之间的共享权重。结果,提取的模块可以被重组,而不会大幅增加尺寸。实验结果表明,该方法能够以较高的压缩比和较高的精度对DNN进行分解和重组,并且通过模块间的权值共享,优于现有方法。
2021-12-25 cs.LG
FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions
Simon Fraser University(西蒙弗雷泽大学)
深度神经网络(DNN)越来越多地被部署在个人医疗设备和自动驾驶汽车等安全关键系统中。在这种基于DNN的系统中,错误恢复是重中之重,因为DNN推理中的错误可能导致错误预测和安全隐患。对于资源受限边缘设备上的延迟关键DNN推理,应用传统的基于冗余的容错技术是不平凡的。在本文中,我们提出了FitAct,这是一种低成本的方法,通过部署细粒度的后可训练激活函数来增强DNN的错误恢复能力。其主要思想是通过神经元有界激活函数精确地约束每个神经元的激活值,从而防止故障在网络中传播。为了避免复杂的DNN模型重新训练,我们建议将准确性训练和弹性训练解耦,并开发一个轻量级的后训练阶段来学习这些具有精确边界值的激活函数。在广泛使用的DNN模型(如AlexNet,VGG 16和ResNet 50)上的实验结果表明,FitAct在增强DNN错误恢复能力方面优于Clip-Act和Ranger等最先进的研究,同时增加了可管理的运行时间和内存空间开销。
2021-12-27 cs.AI cs.LG
Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning
Universiti Tun Hussein Onn Malaysia(马来西亚敦胡先翁大学)
激活函数是深度学习中的一个关键组件,它在输入和输出之间执行非线性映射。修正线性单元(ReLU)是深度学习社区中最受欢迎的激活函数。然而,ReLU包含几个缺点,这些缺点可能导致深度神经网络的训练效率低下,这些缺点是:1)ReLU的负消除属性倾向于将负输入视为学习的不重要信息,导致性能下降; 2)ReLU的固有预定义性质不太可能提高网络的额外灵活性,表达性和鲁棒性; 3)ReLU的平均激活是高度正的,导致网络层中的偏置移位效应; 4)ReLU的多线性结构限制了网络的非线性逼近能力。为了解决这些缺点,本文引入了参数化Flatten-T Swish(PFTS)作为ReLU的替代方案。以ReLU作为基线方法,实验表明PFTS在DNN-3A、DNN-3B、DNN-4、DNN- 5A、DNN-5 B、DNN-5C、DNN-6和DNN-7上分别将SVHN数据集的分类准确率提高了0.31%、0.98%、2.16%、17.72%、1.35%、0.97%、39.99%和71.83%。此外,PFTS也取得了最高的平均排名的比较方法。所提出的PFTS在训练过程中表现出更高的非线性逼近能力,从而提高了网络的预测性能。
2022-02-26 cs.LG cs.NE
Prior Activation Distribution (PAD): A Versatile Representation to Utilize DNN Hidden Units
EPFL(洛桑联邦理工学院);Idiap Research Institute(Idiap 研究所);Singapore Management University(新加坡管理大学);U.S. Army Research Laboratory(美国陆军研究实验室)
在本文中,我们引入了先验激活分布(PAD)的概念,作为一种通用和通用的技术来捕获用于分类任务的深度神经网络的隐藏层单元的典型激活模式。我们表明,这种隐藏层的组合神经激活具有类特定的分布特性,然后定义多个统计测量来计算测试样本的激活偏离这种分布的程度。使用各种基准数据集(包括MNIST,CIFAR 10,Fashion-MNIST和notMNIST),我们展示了如何使用这种基于PAD的措施,独立于任何训练技术,以(a)获得细粒度的不确定性估计的推断;(b)提供推理精度与需要执行完整管道的替代方案竞争,以及(c)可靠地隔离分布外的测试样本。
2019-07-05 cs.CV cs.LG
Low-Rank Learning by Design: the Role of Network Architecture and Activation Linearity in Gradient Rank Collapse
Translational Research Center for Neuroimaging and Data Science (TReNDs)(神经成像与数据科学转化研究中心(TReNDs));Georgia State University(佐治亚州立大学);Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学);Maynooth University(梅努斯大学)
本文全面研究了DNNs的梯度秩,理论分析了架构选择和数据结构对梯度秩界限的影响,并揭示激活线性、瓶颈层等设计如何影响低秩学习,为深度学习设计提供指导。
2024-02-09 cs.LG
MAED: Mathematical Activation Error Detection for Mitigating Physical Fault Attacks in DNN Inference
IEEE
本文提出MAED算法级错误检测框架,通过数学身份实时验证非线性激活函数计算的正确性,有效缓解恶意故障注入攻击和自然故障。在FPGA和微控制器上验证,误差检测率接近100%,微控制器开销低于1%,FPGA开销约20%的延迟增加。
2026-03-18 cs.CR cs.LG
Post-Training Overfitting Mitigation in DNN Classifiers
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出基于最大间隔(MM)激活阈值化的训练后正则化方法,可同时缓解后门投毒及类别不平衡、过度训练导致的过拟合,并在CIFAR数据集上验证其优于同类方法且有助于干净泛化。
2023-09-28 cs.LG
Improving Adversarial Robustness via Channel-wise Activation Suppressing
Tsinghua Berkeley Shenzhen Institute, Tsinghua University(清华大学清华伯克利深圳学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Key Lab. of Machine Perception (MoE), School of EECS, Peking University(北京大学信息科学技术学院机器感知与智能教育部重点实验室);School of Information Technology, Deakin University(迪肯大学信息技术学院);PCL Research Center of Networks and Communications, Peng Cheng Laboratory(鹏城实验室网络通信研究中心)
对抗性示例及其激活的研究已经引起了人们对深度神经网络(DNN)安全和鲁棒学习的极大关注。与现有的工作不同,在本文中,我们强调了两个新的特点,从通道激活的角度来看,对抗性的例子:1)的激活幅度的对抗性的例子是高于自然的例子; 2)的通道激活更均匀的对抗性的例子比自然的例子。我们发现,最先进的防御对抗训练已经通过对抗示例的训练解决了第一个高激活幅度的问题,而第二个统一激活的问题仍然存在。这促使我们通过智能激活抑制(CAS)策略来抑制冗余激活被对抗性扰动激活。我们表明,CAS可以训练一个固有地抑制对抗激活的模型,并且可以很容易地应用于现有的防御方法,以进一步提高其鲁棒性。我们的工作提供了一个简单但通用的训练策略,用于增强DNN的中间层激活。
2022-01-16 cs.LG
Exploration of Activation Fault Reliability in Quantized Systolic Array-Based DNN Accelerators
Tallinn University of Technology(塔林理工大学);University of Alberta(阿尔伯塔大学);Shahid Bahonar University of Kerman(克尔曼沙希德·巴霍纳尔大学);York University(约克大学);Mälardalen University(梅拉达伦大学)
本文提出一种全自动框架,系统评估量化对DNN加速器模型精度、激活故障可靠性和硬件效率的三方面影响,并集成轻量级保护技术以保障脉动阵列FPGA实现的可靠部署。
2024-01-17 cs.AR cs.LG
A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks
Vienna University of Technology(维也纳工业大学);Politecnico di Torino(都灵理工大学)
激活函数影响DNN的行为和性能。非线性激活函数,如整流线性单位(ReLU),指数线性单位(ELU)和缩放指数线性单位(SELU),优于线性对应物。然而,选择适当的激活函数是一个具有挑战性的问题,因为它影响给定DNN的准确性和复杂性。在本文中,我们提出了一种新的方法来自动选择最好的激活函数为每一层的给定DNN,这样的整体DNN的准确性,相比只考虑一种类型的激活函数为整个DNN,提高。然而,在探索激活函数的所有不同配置方面的相关科学挑战将是时间和资源消耗。为此,我们的方法在学习过程中识别评估点,以评估训练中间步骤的准确性,并通过检查学习曲线的准确性梯度来执行提前终止。这有助于显著减少训练期间的探索时间。此外,我们的方法为每一层选择了优化准确性的丢失率。实验表明,我们能够在MNIST,CIFAR-10和CIFAR-100基准测试中实现平均7%至15%的相对错误减少,而GPU的性能和功耗损失有限。
2018-10-27 cs.LG cs.NE stat.ML
FT-ClipAct: Resilience Analysis of Deep Neural Networks and Improving their Fault Tolerance using Clipped Activation
Technische Universität Wien (TU Wien)(维也纳工业大学(TU Wien))
深度神经网络(DNN)被广泛用于安全关键应用,例如,医疗保健和自动驾驶。从本质上讲,它们被认为是高度容错的。然而,最近的研究表明,影响DNN参数的硬件故障(例如,权重)可能对其分类准确性产生严重影响。在本文中,我们对遭受硬件故障(例如,永久性故障)。该分析的结果被用来提出一种新的错误缓解技术,该技术可以压缩高强度错误激活值以减轻其影响。我们实现这一点,取代无界的激活函数与他们的剪辑版本。我们还提出了一种方法来系统地定义的激活函数,从而增加对故障的网络的弹性的裁剪值。我们在AlexNet和为CIFAR-10数据集训练的VGG-16 DNN上评估了我们的技术。实验结果表明,我们的缓解技术显着提高了DNN的故障恢复能力。例如,与没有任何故障缓解的基础网络相比,所提出的技术在1 e-5故障率下使一致性优化的VGG-16模型的分类准确度平均提高了68.92%。
2019-12-02 cs.LG stat.ML
Training for temporal sparsity in deep neural networks, application in video processing
IMEC(比利时微电子研究中心)
激活稀疏性提高了稀疏感知神经网络加速器的计算效率和资源利用率。由于DNN中的主要操作是具有权重的激活的乘法累加(MAC)以计算内积,因此跳过两个操作数中的(至少)一个为零的操作可以使推理在延迟和功率方面更有效。激活的空间稀疏性是DNN文献中的一个热门话题,并且已经建立了几种方法来偏置DNN。另一方面,时间稀疏性是生物启发的脉冲神经网络(SNN)的固有特征,神经形态处理利用该特征来提高硬件效率。引入和利用时空稀疏性是DNN文献中较少探索的主题,但与DNN的趋势完美共振,从静态信号处理转向更多的流信号处理。为了实现这一目标,在本文中,我们引入了一个新的DNN层(称为Delta激活层),其唯一目的是在训练期间促进激活的时间稀疏性。增量激活层将时间稀疏性转换为空间激活稀疏性,以便在硬件中执行稀疏张量乘法时加以利用。通过在训练过程中采用增量推理和“通常”的空间稀疏化算法,所得到的模型不仅学习利用空间激活稀疏性,而且学习利用时间激活稀疏性(对于给定的输入数据分布)。可以在普通训练或细化阶段使用Delta激活层。我们实现了Delta激活层作为标准Tensoflow-Keras库的扩展,并将其应用于在人类动作识别(UCF 101)数据集上训练深度神经网络。我们报告了激活稀疏性的近3倍改进,在较长时间的训练后模型准确性的可恢复损失。
2021-07-15 cs.CV cs.LG eess.IV
Abstract Neural Networks
University of California, Davis(加州大学戴维斯分校)
深度神经网络(DNN)正迅速应用于无人机和飞机控制等安全关键领域,激发了验证其行为安全性的技术。不幸的是,DNN验证是NP难的,当前的算法随着DNN中节点的数量呈指数级增长。本文介绍了抽象神经网络(ANN)的概念,它可以用来在使用较少节点的情况下完全过度逼近DNN。ANN类似于DNN,除了权重矩阵被给定抽象域中的值所取代。我们提出了一个由抽象域和DNN中使用的激活函数参数化的框架,可以用来构建相应的ANN。我们提出了DNN激活函数的必要和充分条件,以使所构建的ANN完全过逼近给定的DNN。先前关于DNN抽象的工作仅限于区间域和ReLU激活函数。我们的框架可以用其他抽象域(如八边形和多面体)以及其他激活函数(如Leaky ReLU、Sigmoid和Hyperbolic Tangent)来实例化。
2020-09-11 cs.LG cs.PL stat.ML
Nesting Forward Automatic Differentiation for Memory-Efficient Deep Neural Network Training
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);Alibaba Group(阿里巴巴集团);Microsoft Research(微软研究院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
激活函数是一种逐元素的数学函数,在深度神经网络(DNN)中起着至关重要的作用。已经提出了许多新颖和复杂的激活函数来提高DNN的准确性,但在反向传播的训练过程中也消耗了大量的内存。在这项研究中,我们提出了嵌套的前向自动微分(Forward-AD),特别是用于记忆高效的DNN训练的逐元素激活函数。我们在两个广泛使用的深度学习框架TensorFlow和PyTorch中部署嵌套的Forward-AD,它们分别支持静态和动态计算图。我们的评估表明,嵌套的Forward-AD比基线模型减少了高达1.97倍的内存占用,在相同的内存减少率下,比重新计算的性能高出20%。
2022-09-22 cs.LG
Approximating smooth functions by deep neural networks with sigmoid activation function
Technische Universität Darmstadt(达姆施塔特工业大学)
我们研究了具有sigmoid激活函数的深度神经网络(DNN)的能力。最近,研究表明,DNN近似于紧致集上的任何$d$维光滑函数,其阶数为$W^{-p/d}$,其中$W$是网络中非零权重的数量,$p$是函数的光滑度。不幸的是,这些比率仅适用于一类特殊的稀疏连接DNN。我们问自己,对于更简单和更一般的类,我们是否可以显示相同的近似率,即,DNN仅由其宽度和深度定义。在这篇文章中,我们证明了具有固定深度和$M^d$阶宽度的DNN实现了$M^{-2p}$的近似率。作为结论,我们定量地描述了DNN的逼近能力在网络中的总权重$W_0$方面,并显示了$W_0^{-p/d}$的逼近率。这个更一般的结果最终帮助我们理解哪种网络拓扑保证了特定的目标精度。
2020-10-08 cs.LG math.ST stat.TH
Graph Interpolating Activation Improves Both Natural and Robust Accuracies in Data-Efficient Deep Learning
University of California, Los Angeles(加州大学洛杉矶分校)
提高深度神经网络(DNN)的准确性和鲁棒性并使其适应小训练数据是深度学习研究的主要任务。在本文中,我们取代DNN的输出激活函数,通常是数据不可知的softmax函数,与图形拉普拉斯为基础的高维插值函数,在连续极限,收敛到一个拉普拉斯-贝尔特拉米方程的解决方案的高维流形。此外,我们提出了端到端的训练和测试算法,这种新的架构。所提出的具有图插值激活的DNN集成了深度学习和流形学习的优点。与使用softmax函数作为输出激活的传统DNN相比,新框架表现出以下主要优点:首先,它更适用于数据高效学习,其中我们在不使用大量训练数据的情况下训练高容量DNN。其次,它显着提高了干净图像的自然准确性和白盒和黑盒对抗攻击制作的对抗图像的鲁棒准确性。第三,它是半监督学习的自然选择。为了重现性,代码可从\url{https://github.com/BaoWangMath/DNN-DataDependentActivation}获得。
2019-07-16 cs.LG cs.NA math.NA
Concept Activation Regions: A Generalized Framework For Concept-Based Explanations
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);UCLA(加州大学洛杉矶分校)
基于概念的解释允许通过用户指定的概念的镜头来理解深度神经网络(DNN)的预测。现有的方法假设说明概念的示例被映射在DNN的潜在空间的固定方向上。当这成立时,概念可以由指向该方向的概念激活向量(CAV)表示。在这项工作中,我们建议通过允许概念示例分散在DNN潜在空间中的不同集群来放松这一假设。然后,每个概念由DNN的潜在空间的一个区域表示,该区域包括这些聚类,我们称之为概念激活区域(CAR)。为了形式化这个想法,我们引入了一个扩展的CAV形式主义,是基于核技巧和支持向量分类器。该CAR形式主义产生基于全局概念的解释和基于局部概念的特征重要性。我们证明了用径向核建立的CAR解释在潜在空间等距下是不变的。通过这种方式,CAR将相同的解释分配给具有相同几何形状的潜在空间。我们进一步实证证明,CAR提供(1)更准确地描述概念如何分散在DNN的潜在空间中;(2)更接近人类概念注释的全局解释和(3)基于概念的特征重要性,使概念相互之间有意义地联系起来。最后,我们使用CAR来证明DNN可以自主地重新发现已知的科学概念,例如前列腺癌分级系统。
2022-09-29 cs.AI cs.LG
Accurate and Efficient Hyperbolic Tangent Activation Function on FPGA using the DCT Interpolation Filter
Polytechnique Montreal(蒙特利尔理工学院)
以低成本实现准确、快速的激活函数是在FPGA上实现深度神经网络(DNN)的关键方面。我们提出了一个高精度的近似方法的双曲正切激活函数的人工神经元在DNN。它基于离散余弦变换插值滤波器(DCTIF)。所提出的架构结合了对双曲正切函数的存储样本和对输入数据的简单算术运算。建议的DCTIF实现达到两个数量级的精度比以前的工作,同时使用相同或更少的计算资源。可以选择DCTIF参数的各种组合来权衡双曲正切函数的准确性和复杂性。在一种情况下,所提出的架构近似的双曲正切激活函数与10 E-5的最大误差,而只需要1.52 Kbits的存储器和57 LUT的Virtex-7 FPGA。我们还讨论了激活函数的准确性如何影响DNN在训练和测试准确性方面的性能。我们表明,为了保持由精确函数实现的相同DNN训练和测试性能,可能需要高精度近似。
2016-09-25 cs.LG cs.NE
0/1 Deep Neural Networks via Block Coordinate Descent
Qufu Normal University(曲阜师范大学);Beijing Jiaotong University(北京交通大学);Imperial College London(伦敦帝国学院)
本文提出用块坐标下降法训练以阶跃函数为激活函数的0/1深度神经网络,并引入$\ell_{2,0}$正则化加速训练、压缩网络,在多个图像数据集上取得良好分类性能。
2023-08-31 cs.LG
PocketNN: Integer-only Training and Inference of Neural Networks via Direct Feedback Alignment and Pocket Activations in Pure C++
The Hong Kong University of Science and Technology(香港科技大学)
标准的深度学习算法使用浮点实数实现。这对在可能没有专用浮点单元(FPU)的低端设备上实现它们构成了障碍。因此,tinyML的研究人员已经考虑了机器学习算法,可以在低端设备上仅使用整数运算来训练和运行深度神经网络(DNN)。在本文中,我们提出了PocketNN,这是一个纯C++中的轻量级和自包含的概念验证框架,用于仅使用整数进行DNN的训练和推理。与其他方法不同,PocketNN直接对整数进行操作,而不需要任何显式量化算法或定制的定点格式。这是通过口袋激活实现的,口袋激活是为仅整数DNN设计的一系列激活函数,以及一种称为直接反馈对齐(DFA)的新兴DNN训练算法。与标准的反向传播(BP)不同,DFA独立地训练每一层,从而避免了整数溢出,这是使用BP进行整数运算时的一个关键问题。我们使用PocketNN在两个著名的数据集MNIST和Fashion-MNIST上训练一些DNN。我们的实验表明,用我们的PocketNN训练的DNN在MNIST和Fashion-MNIST数据集上分别达到了96.98%和87.7%的准确率。精度非常接近使用BP和浮点实数运算训练的等效DNN,因此精度下降分别仅为1.02%p和2.09%p。最后,我们的PocketNN对于低端设备具有很高的兼容性和可移植性,因为它是开源的,用纯C++实现,没有任何依赖。
2022-05-04 cs.AI cs.LG
Provably-Robust Runtime Monitoring of Neuron Activation Patterns
DENSO AUTOMOTIVE Deutschland GmbH(电装汽车德国有限公司)
对于要在安全关键的自动驾驶任务中使用的深度神经网络(DNN),期望在操作时间内监视DNN的输入是否类似于DNN训练中使用的数据。虽然最近在监控DNN激活模式方面的结果由于从训练数据集合中构建抽象而提供了可靠的保证,但是减少由于轻微输入扰动而导致的误报一直是成功适应该技术的问题。我们解决这一挑战,通过整合正式的符号推理内部的监视器建设过程。该算法在应用抽象函数构建监控器之前,对输入(或特征)受到扰动的神经元值进行合理的最坏情况估计。可证明的鲁棒性进一步推广到监测单个神经元可以使用一个以上比特的情况,这意味着可以记录激活模式与神经元值区间上的细粒度决策。
2021-09-25 cs.LG cs.LO cs.SE
Compact: Approximating Complex Activation Functions for Secure Computation
University of Wisconsin—Madison(威斯康星大学麦迪逊分校);Visa Research(Visa研究院);Netflix(网飞公司)
针对安全多方计算中复杂激活函数效率低的问题,提出Compact方法,通过分段多项式近似,在保持模型精度下实现2-5倍计算加速。
2024-03-17 cs.CR cs.LG
Hierarchical Primitive Composition: Simultaneous Activation of Skills with Inconsistent Action Dimensions in Multiple Hierarchies
Yonsei University(延世大学)
深度强化学习已经在各种应用中显示出其有效性,为解决高复杂度的任务提供了一个很有前途的方向。然而,天真地应用经典RL来学习具有单一控制策略的复杂长时间任务是低效的。因此,策略模块化通过学习一组映射到原语的模块并正确编排它们来解决这个问题。在这项研究中,我们进一步扩大了讨论,将同时激活的技能,并将它们结构成多层次的递归方式。此外,我们试图设计一种算法,可以通过乘法高斯分布适当地编排不同动作空间的技能,这大大提高了可重用性。通过利用模块性,如果每个技能都是已知的,那么也可以通过观察新任务中使用的模块来实现可解释性。我们演示了如何在实践中使用所提出的方案,通过解决一个6自由度机械手的拾取和放置任务,并检查每个属性的消融研究的影响。
2022-06-14 cs.AI cs.LG
Visualizing Deep Neural Networks with Topographic Activation Maps
Otto-von-Guericke-University Magdeburg(马格德堡奥托·冯·格里克大学);MOTOR Ai GmbH(MOTOR Ai有限公司)
本研究借鉴神经科学的地形图思路,提出并比较多种DNN层神经元地形布局方法,生成地形激活图以识别错误、偏差及可视化训练过程,提升DNN决策系统的可解释性与透明度。
2023-06-14 cs.CV cs.HC cs.LG
Compressing DMA Engine: Leveraging Activation Sparsity for Training Deep Neural Networks
NVIDIA(英伟达)
流行的深度学习框架要求用户微调其内存使用,以便深度神经网络(DNN)的训练数据适合GPU物理内存。之前的工作试图通过虚拟化DNN的内存使用来解决这个限制,使CPU和GPU内存都能用于内存分配。尽管有其优点,但当从CPU存储器来回复制数据所需的时间高于执行DNN前向和后向传播所需的计算的延迟时,虚拟化存储器可能会导致显著的性能开销。我们引入了一种基于“压缩DMA引擎”(cDMA)的高性能虚拟化策略,该策略可大幅减少CPU端分配的数据结构的大小。cDMA引擎通过利用卸载数据中固有的稀疏性提供平均2.6倍(最大13.8倍)的压缩比,将虚拟化DNN的性能平均提高32%(最大61%)。
2017-05-03 cs.AR cs.LG
Sparsity Turns Adversarial: Energy and Latency Attacks on Deep Neural Networks
Purdue University(普渡大学)
对抗攻击暴露了深度神经网络(DNN)的严重漏洞,因为它们能够通过对DNN输入的人类无法察觉的扰动来强制错误分类。我们探索了对抗攻击领域的一个新方向,提出了旨在降低DNN计算效率而不是其分类准确性的攻击。具体来说,我们提出并演示了稀疏攻击,这种攻击对抗性地修改DNN的输入,以减少其内部激活值的稀疏性(或零值的存在)。在资源受限的系统中,已经提出了广泛的硬件和软件技术来利用稀疏性来提高DNN效率。拟议的攻击增加了稀疏优化DNN实现的执行时间和能耗,引发了人们对其在延迟和能源关键型应用程序中部署的担忧。我们提出了一种系统的方法来生成稀疏攻击的对抗性输入,通过制定一个目标函数来量化网络的激活稀疏性,并使用迭代梯度下降技术最小化该函数。我们对图像识别DNN发起了对抗性稀疏攻击的白盒和黑盒版本,并证明它们将激活稀疏性降低了1.82倍。我们还评估了攻击对稀疏优化的DNN加速器的影响,并展示了延迟高达1.59倍的降级,还研究了攻击对稀疏优化的通用处理器的性能。最后,我们评估了激活阈值和输入量化等防御技术,并证明了所提出的攻击能够抵御它们,强调了在对抗性机器学习领域中进一步努力的必要性。
2020-09-14 cs.LG stat.ML
Recurrence of Optimum for Training Weight and Activation Quantized Networks
University of California, Irvine(加州大学欧文分校);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
深度神经网络(DNN)被量化以在资源受限的平台上进行高效推理。然而,训练具有低精度权重和激活的深度学习模型涉及要求苛刻的优化任务,这需要最小化受离散集约束的逐阶段损失函数。虽然已经提出了许多训练方法,但现有的DNN全量化研究大多是经验性的。从理论的角度来看,我们研究的实用技术,克服网络量化的组合性质。具体来说,我们调查了一个简单而强大的投影类梯度算法量化两个线性层网络,它的收益是通过反复移动一步浮动权重的启发式\emph{fake}梯度的损失函数(所谓的粗梯度)在量化的权重评估的否定。首次证明了在较弱的条件下,量化权值序列递归地到达训练全量化网络的离散最小化问题的全局最优解。我们还展示了训练量化深度网络中权重演化的递归现象的数值证据。
2021-05-21 cs.LG
Compiling Multi-Threshold Operators for Quantized Non-Monotonic and Fine-Granular Activations in Custom-Tailored DNN Accelerators
Paderborn University(帕德博恩大学)
该研究针对定制DNN加速器,提出基于ONNX编译器的多阈值算子编译方法,支持非单调函数与细粒度参数,经实验验证其在FPGA加速器综合中的有效性,性能优于部分现有方案。
2026-10-16 cs.AR cs.LG
Adam Accumulation to Reduce Memory Footprints of both Activations and Gradients for Large-scale DNN Training
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
本文提出 Adam Accumulation(AdamA)方法,通过将梯度直接整合进优化器状态并在微批次上累积,同时减少激活与梯度内存,在保持 Adam 收敛性的前提下实现高达 23% 的内存降低,并支持训练更大规模模型。
2023-05-31 cs.AI cs.LG
Towards Debugging Deep Neural Networks by Generating Speech Utterances
University of Eastern Finland(东芬兰大学)
深度神经网络(DNN)能够成功地处理和分类语音话语。然而,理解DNN分类背后的原因是困难的。与图像分类DNN一起使用的一种这样的调试方法是激活最大化,其生成被分类为类别之一的示例图像。在这项工作中,我们评估这种方法的适用性语音话语分类器的手段来理解DNN“听”。我们使用语音命令语料库训练分类器,然后使用激活最大化从训练模型中提取样本。然后,我们合成的音频功能使用WaveNet声码器的主观分析。我们通过客观测量和众包的人类评估来衡量生成样本的质量。结果表明,当结合自然语音的先验知识时,激活最大化可以用于生成不同类别的示例。基于这些结果,激活最大化可以用来打开语音任务中的DNN黑盒。
2019-07-06 cs.LG eess.AS stat.ML
DAF: An Efficient End-to-End Dynamic Activation Framework for on-Device DNN Training
George Mason University(乔治·马歇尔大学);Global Technology Applied Research, JPMorganChase(全球技术应用研究,摩根大通);University of Kansas(堪萨斯大学)
DAF通过系统级优化实现设备端高效动态激活量化训练,显著降低内存占用并加速,同时保持模型准确性。
2025-07-09 cs.LG cs.NI
Counterfactual Explanation of Brain Activity Classifiers using Image-to-Image Transfer by Generative Adversarial Network
Okayama University(冈山大学);Japan Science and Technology Agency(日本科学技术振兴机构);Rikkyo University(立教大学);National Institute for Physiological Sciences(生理学研究所);Araya Inc.(Araya 公司);Keio University(庆应义塾大学)
深度神经网络(DNN)可以从大脑激活中准确解码与任务相关的信息。然而,由于DNN的非线性,DNN做出的决策很难解释。解释这种黑箱系统的一个有希望的方法是反事实解释。在这个框架中,一个黑盒系统的行为是通过比较真实的数据和现实的合成数据,特别是生成,使得黑盒系统输出一个不真实的结果来解释。在这里,我们介绍了一种新的生成DNN(反事实激活生成器,CAG),可以为基于DNN的大脑激活分类器提供反事实解释。重要的是,CAG可以同时处理与不同行为任务相关的多个类之间的图像转换。使用CAG,我们展示了基于DNN的分类器的反事实解释,这些分类器学会了区分七个行为任务的大脑激活。此外,通过CAG的迭代应用,我们能够增强和提取影响分类器决策的细微空间大脑活动模式。总之,这些结果表明,基于图像到图像变换的反事实解释将是一种很有前途的方法来理解和扩展DNN在fMRI分析中的当前应用。
2021-10-28 cs.CV cs.LG q-bio.NC
Learning DNN networks using un-rectifying ReLU with compressed sensing application
非校正技术将非线性逐点激活函数表示为数据相关变量,这意味着激活变量及其输入和输出都可以用于优化。本研究中的ReLU网络是未校正的,这意味着激活函数可以用方程和约束形式的数据相关激活变量代替。与未校正ReLU相关联的激活变量的离散性质允许将深度学习问题重新表述为组合优化问题。然而,我们证明了最优解的组合优化问题,可以保持放松的离散域的激活变量的封闭区间。这使得使用为实域约束优化开发的方法来学习网络变得更容易。我们还证明,通过引入数据相关的松弛变量作为约束条件,可以基于增广拉格朗日方法优化网络。这意味着我们的方法理论上可以实现全局收敛,并且所有极限点都是学习问题的临界点。在实验中,我们的新方法来解决压缩感知恢复问题时,取得了最先进的性能应用到MNIST数据库和自然图像。
2021-01-18 cs.LG eess.SP math.OC
DQA: An Efficient Method for Deep Quantization of Deep Neural Network Activations
School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
针对现有深度神经网络激活量化方法开销高、少有关注6位以下深度量化的问题,提出基于移位运算与Huffman编码的DQA方法,在多任务多数据集上精度显著优于现有方法。
2024-12-12 cs.CV cs.LG stat.ML
xMLP: Revolutionizing Private Inference with Exclusive Square Activation
University at Buffalo(布法罗大学)
本文提出xMLP架构,仅用平方激活替代ReLU,解决私有推理延迟问题,在CIFAR-100和ImageNet上实现与ReLU相当精度,且PI速度提升7倍,GPU卸载时快700倍。
2024-03-12 cs.CR cs.LG
Lightweight compression of neural network feature tensors for collaborative intelligence
Simon Fraser University(西蒙弗雷泽大学)
在协作智能应用中,深度神经网络(DNN)的一部分部署在复杂度相对较低的设备上,例如移动电话或边缘设备,而DNN的其余部分在更多计算资源可用的地方进行处理,例如在云中。本文提出了一种新的轻量级压缩技术,专门用于对分裂DNN层的激活进行编码,同时具有适用于边缘设备的低复杂度,并且不需要任何重新训练。我们还提出了一种改进的熵约束量化器的设计算法优化裁剪激活。当应用于流行的对象检测和分类DNN时,我们能够将32位浮点激活压缩到0.6到0.8位,同时将精度损失保持在1%以下。与HEVC相比,我们发现轻量级编解码器始终提供更好的推理准确性,高达1.3%。这种轻量级压缩技术的性能和简单性使其成为在边缘/云应用的分裂神经网络中编码层激活的有吸引力的选择。
2021-05-12 cs.LG eess.IV
Benign Overfitting in Deep Neural Networks under Lazy Training
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Amazon Web Services(亚马逊云科技)
本文在惰性训练机制下证明过参数化ReLU深度神经网络在数据良好分离时可实现贝叶斯最优测试误差与近乎零训练误差,并通过统一过参数化、良性过拟合与Lipschitz常数以及NTK分析,从理论上验证了良性过拟合现象。
2023-05-30 cs.LG
ConceptLens: from Pixels to Understanding
Kansas State University(堪萨斯州立大学)
本研究提出创新工具ConceptLens,结合深度学习与符号方法,通过误差边际分析及柱状图实时可视化深度神经网络的隐藏神经元激活与置信度,提升模型可解释性。
2024-10-04 cs.AI cs.LG
Efficient Representation of the Activation Space in Deep Neural Networks
IBM Research Africa(IBM非洲研究院);Microsoft AI for Good Research Lab(微软人工智能造福人类研究实验室);Harvard Business Institute(哈佛商业研究所)
针对深度神经网络激活表示内存消耗大、有隐私风险的问题,提出基于节点特定直方图的模型无关框架,无需保留原始输入即可计算激活p值,在降内存、提速度的同时保持下游任务SOTA检测性能。
2023-12-13 cs.AI cs.LG
Deep Gated Networks: A framework to understand training and generalisation in deep learning
Indian Institute of Technology Palakkad(帕拉克卡德印度理工学院)
理解(随机)梯度下降(SGD)在具有ReLU激活的深度神经网络(DNN)的训练和泛化中的作用一直是最近的研究对象。在本文中,我们使用深度门控网络(DGN)作为框架,以获得有关具有ReLU激活的DNN的见解。在DGN中,单个神经元单元具有两个分量,即预激活输入(等于层和前一层输出的权重的内积)和属于$[0,1]$的门控值,并且神经元单元的输出等于预激活输入与门控值的乘积。具有ReLU激活的标准DNN是DGN的特殊情况,其中门控值是基于预激活输入是正还是负的$1/0$。我们从理论上分析和实验了几种不同的DGN,每种变体都适合理解带有ReLU激活的DNN中训练或泛化的特定方面。我们的理论揭示了两个问题,即i)为什么增加深度直到一个点有助于训练,ii)为什么增加深度超过一个点会伤害训练?我们还提出了实验证据表明,门适应,即,在训练过程中门控值的变化是推广的关键。
2020-03-02 cs.AI cs.LG stat.ML
Less Memory Means smaller GPUs: Backpropagation with Compressed Activations
Heidelberg University(海德堡大学)
针对深度神经网络训练中激活值内存占用过高的问题,提出用池化压缩反向传播用的激活图、前向计算保持未压缩的方法,在ResNet上验证可降29%峰值内存且精度无损。
2024-09-18 cs.LG
Improving Interpretability via Regularization of Neural Activation Sensitivity
Ben-Gurion University of the Negev(本-古里安大学)
最先进的深度神经网络(DNN)在处理许多现实任务方面非常有效。然而,它们在关键任务环境中的广泛采用受到两个主要弱点的阻碍-它们对对抗攻击的敏感性和它们的不透明性。前者引起了人们对DNN在现实世界条件下的安全性和通用性的担忧,而后者则阻碍了用户对其输出的信任。在这项研究中,我们(1)研究了对抗鲁棒性对可解释性的影响,(2)提出了一种新的方法来提高DNN的可解释性,该方法基于神经激活敏感性的正则化。我们评估了使用我们的方法训练的模型与使用最先进的对抗鲁棒性技术训练的标准模型和模型的可解释性。我们的研究结果表明,对抗鲁棒模型优于标准模型,使用我们提出的方法训练的模型在可解释性方面甚至优于对抗鲁棒模型。
2022-11-16 cs.CR cs.CV cs.LG
Joint Regularization on Activations and Weights for Efficient Neural Network Pruning
Duke University(杜克大学);Black Sesame Technologies(黑芝麻科技)
随着深度神经网络(DNN)的快速扩展,已经对诸如权重修剪的网络模型压缩进行了广泛的研究,以提高部署效率。这项工作的目的是推进压缩超出神经元激活的权重。我们提出了联合正则化技术,同时调节权重和激活的分布。通过区分和利用学习过程中神经元响应和连接之间的显著性差异,联合修剪网络(即\textit{JPnet})优化了激活和权重的稀疏性,以提高执行效率。JPnet的深度稀疏化揭示了专用于稀疏矩阵运算的现有DNN加速器的更多优化空间。我们通过具有不同激活函数和不同数据集的各种网络模型,彻底评估了联合正则化的有效性。通过对推理精度的$0.4\%$降级约束,与原始密集模型相比,JPnet可以节省$72.3\% \sim 98.8\%$的计算成本,分别在激活数和权重数上减少多达$5.2\times$和$12.3\times$。
2019-09-13 cs.LG stat.ML
Feed-Forward Neural Networks as a Mixed-Integer Program
Clemson University(克莱姆森大学);Concordia University(康考迪亚大学)
本研究将固定参数的ReLU深度神经网络建模为混合整数规划(MIP),并应用MIP模型训练多种神经网络架构,通过手写数字分类实验验证了MIP公式化方法在增强神经网络训练过程中的有效性。
2024-02-09 cs.AI cs.LG math.OC
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University(密歇根理工大学);Symbiosis Centre for Medical Image Analysis(共生医学图像分析中心);Symbiosis Institute of Technology(共生技术学院)
这项工作引入了一种新的激活单元,可以有效地用于深度神经网络(DNN),并且比传统的整流线性单元(ReLU)表现得更好。开发的函数是专门的理查德曲线的两个参数版本,我们称之为自适应理查德曲线加权激活(ARiA)。该函数是非单调的,类似于新引入的Swish,但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义,然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题,并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明,ARiA在所有这些数据集上都具有显著的优越性能,使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
Precision Gating: Improving Neural Network Efficiency with Dynamic Dual-Precision Activations
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
我们提出了精确门控(PG),这是一种用于深度神经网络的端到端可训练动态双精度量化技术。PG以低精度计算大多数特征,仅以较高精度计算一小部分重要特征以保持准确性。所提出的方法适用于各种DNN架构,并显着降低了DNN执行的计算成本,几乎没有精度损失。我们的实验表明,PG在CNN上取得了优异的结果,包括静态压缩的移动友好网络,如ShuffleNet。与最先进的基于预测的量化方案相比,PG在ImageNet上实现了相同或更高的精度,但计算量减少了2.4 $\times$。PG也适用于RNN。与8位均匀量化相比,PG在Penn Tree Bank数据集上的LSTM上每字的困惑度提高了1.2%,计算成本降低了2.7 $\times$。代码可在:https://github.com/cornell-zhang/dnn-gating
2020-05-29 cs.CV cs.LG
Defend Deep Neural Networks Against Adversarial Examples via Fixed and Dynamic Quantized Activation Functions
University of Central Florida(中佛罗里达大学);JD AI Research(京东AI研究院);Tencent AI Lab(腾讯AI实验室)
最近的研究表明,深度神经网络(DNN)容易受到对抗攻击的攻击。为此,已经提出了许多试图提高DNN鲁棒性的防御方法。在一个独立但相关的领域,最近的工作已经探索将神经网络权重和激活函数压缩到低位宽,以压缩模型大小并降低计算复杂性。在这项工作中,我们发现,这两个不同的轨道,即追求网络的紧凑性和鲁棒性,可以合并为一个,并产生网络的两个优点。据我们所知,这是第一个使用激活函数的量化来防御对抗性示例的工作。我们还提出了训练强大的神经网络使用自适应量化技术的激活函数。我们提出的动态量化激活(DQA)是通过广泛的实验与MNIST和CIFAR-10数据集下不同的白盒攻击方法,包括FGSM,PGD和C & W攻击进行验证。此外,零阶优化和替代模型的黑箱攻击也被认为是在这项工作中。实验结果清楚地表明,使用所提出的DQA可以大大提高DNN的鲁棒性。
2019-12-18 cs.CR cs.CV cs.LG
Memory Faults in Activation-sparse Quantized Deep Neural Networks: Analysis and Mitigation using Sharpness-aware Training
Purdue University(普渡大学)
本文研究激活稀疏量化DNN对存储故障的脆弱性,发现稀疏性加剧精度损失且与损失景观尖锐极小值相关,并提出锐度感知量化训练以提升故障环境下的推理精度和容错性。
2024-06-15 cs.LG
Removing Adversarial Noise in Class Activation Feature Space
Xidian University(西安电子科技大学);The University of Sydney(悉尼大学)
深度神经网络(DNN)容易受到对抗性噪声的影响。基于预处理的防御可以通过处理输入在很大程度上消除对抗性噪声。然而,它们通常会受到错误放大效应的影响,特别是在不断发展的攻击面前。为了解决这个问题,在本文中,我们提出通过在类激活特征空间中实现自监督对抗训练机制来去除对抗噪声。具体来说,我们首先最大限度地破坏自然示例的类激活特征,以制作对抗性示例。然后,我们训练一个去噪模型,以最小化类激活特征空间中的对抗样本和自然样本之间的距离。经验评估表明,我们的方法可以显着提高对抗鲁棒性相比,以前的国家的最先进的方法,特别是对看不见的对抗攻击和自适应攻击。
2021-04-19 cs.LG
Neural Path Features and Neural Path Kernel : Understanding the role of gates in deep learning
Indian Institute of Technology Palakkad(帕拉卡德印度理工学院)
整流线性单元(ReLU)激活也可以被认为是“门”,当它们分别为“开”(当预激活输入为正时)或“关”(当预激活输入为负时)时,通过或停止它们的预激活输入。具有ReLU激活的深度神经网络(DNN)有许多门,每个门的开/关状态在输入示例和网络权重之间变化。对于给定的输入示例,仅门的子集是“活动的”,即,并且连接到这些有源门的权重子网络负责产生输出。在随机初始化时,对应于给定输入示例的活动子网络是随机的。在训练过程中,随着权重的学习,主动子网络也会学习,并且可能包含非常有价值的信息。在本文中,我们分析了活跃子网络在深度学习中的作用。为此,我们将给定输入的门的开/关状态编码为一种新的“神经路径特征”(NPF),DNN的权重编码为一种新的“神经路径值”(NPV)。进一步,我们证明了网络的输出确实是NPF和NPV的内积。本文的主要结果表明,与NPF相关的“神经路径核”是表征DNN门中存储的信息的基本量。我们通过实验(在MNIST和CIFAR-10上)表明,在具有ReLU激活的标准DNN中,NPF是在训练过程中学习的,这种学习是泛化的关键。此外,NPF和NPV可以在两个独立的网络中学习,并且这种学习在实验中也具有很好的推广性。
2021-06-12 cs.LG stat.ML
Neuro-Inspired Deep Neural Networks with Sparse, Strong Activations
University of California Santa Barbara(加州大学圣巴巴拉分校)
虽然深度神经网络(DNN)的端到端训练在越来越多的应用中产生了最先进的性能,但它并不能提供对所提取特征的洞察或控制。我们在这里报告了一种有前途的神经启发方法,用于具有更稀疏和更强激活的DNN。我们使用标准的随机梯度训练,用逐层成本补充端到端的判别成本函数,促进高度活跃的神经元的Hebbian(“一起发射”,“一起连接”)更新,以及剩余神经元的反Hebbian更新。我们使用分裂的激活规范化(使用强输出抑制弱输出),以及神经元权重的隐式$\ell_2$规范化,而不是批量规范化。在CIFAR-10上进行的标准图像分类任务的实验表明,相对于基线端到端训练架构,我们提出的架构(a)导致更稀疏的激活(在准确性上只有轻微的妥协),(b)对噪声表现出更强的鲁棒性(没有在噪声数据上进行训练),(c)对对抗性扰动表现出更强的鲁棒性(没有对抗性训练)。
2022-07-08 cs.LG cs.NE
A comparison of deep networks with ReLU activation function and linear spline-type methods
Leiden University(莱顿大学)
深度神经网络(DNN)生成的函数空间比浅网络丰富得多。由于浅网络诱导的函数空间有几个近似理论的缺点,这并不一定解释了深网络的成功。在这篇文章中,我们采取了另一种方法,将DNN与ReLU激活函数的表达能力与分段线性样条方法进行比较。我们发现,MARS(多元自适应回归样条)是不适当的学习DNN的意义上,对于任何给定的功能,可以表示为一个功能的MARS与$M$参数存在一个多层神经网络与$O(M \log (M/\varepsilon))$参数,近似这个功能,以超范数误差$\varepsilon.$我们显示了类似的结果扩展相对于Faber-Schauder系统。在此基础上,我们推导出风险比较不等式,约束的统计风险拟合的神经网络基于样条函数的方法。这表明深度网络的性能比所考虑的样条方法更好或仅略差。给出了函数逼近的构造性证明。
2018-09-24 cs.LG stat.ME stat.ML
Convergence proof for stochastic gradient descent in the training of deep neural networks with ReLU activation for constant target functions
Faculty of Mathematics, University of Duisburg-Essen(杜伊斯堡-埃森大学数学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院);Faculty of Mathematics and Computer Science, University of Münster(明斯特大学数学与计算机科学学院);Department of Mathematics, Politecnico di Milano(米兰理工大学数学系)
本文证明了在目标函数为常值函数且学习率足够小但非L1可加和的条件下,使用ReLU激活的全连接前馈深度神经网络训练中,普通随机梯度下降过程的风险期望随迭代步数增加收敛到零。
2023-06-22 cs.LG cs.NA math.NA
Large Deviation Analysis of Function Sensitivity in Random Deep Neural Networks
Non-linearity and Complexity Research Group, Aston University(阿斯顿大学非线性与复杂性研究组);Aston University(阿斯顿大学);United Kingdom(英国(注:根据机构粒度要求,此处仅保留大学级别,国家不属于机构))
平均场论已成功用于分析无限大小限制下的深度神经网络(DNN)。在实际DNN规模有限的情况下,利用大偏差理论和路径积分分析方法研究了DNN所代表的函数与其典型平均场解的偏差.研究的参数扰动包括权重稀疏化(稀释)和二值化,这通常用于ReLU和符号激活函数的模型简化。我们发现,相对于具有符号激活的随机网络,具有ReLU激活的随机网络对参数扰动更具鲁棒性,这可以说反映在它们生成的函数的简单性上。
2020-02-20 cond-mat.dis-nn cs.LG stat.ML