APTx: better activation function than MISH, SWISH, and ReLU's variants used in deep learning
Meerut Institute of Engineering and Technology(密拉特工程技术学院)
本文提出APTx激活函数,其性能与MISH相当,但计算量更少,可加速训练并降低硬件需求。
2025-09-26 cs.AI cs.CV cs.LG
A Significantly Better Class of Activation Functions Than ReLU Like Activation Functions
Vellore Institute of Technology(韦洛尔理工大学)
提出 Cone 与 Parabolic-Cone 激活函数,以有限超条带替代半空间划分特征空间,在 CIFAR-10 和 Imagenette 上用更少神经元获得更高准确率并加速训练。
2024-05-07 cs.AI cs.CV cs.LG
SERF: Towards better training of deep neural networks using log-Softplus ERror activation Function
University of Toronto(多伦多大学);Stony Brook University(纽约州立大学石溪分校)
激活函数在确定训练动力学和神经网络性能方面起着关键作用。广泛采用的激活函数ReLU尽管简单有效,但缺点很少,包括垂死的ReLU问题。为了解决这些问题,我们提出了一种新的激活函数称为农奴这是自正则化和非单调的性质。和Mish一样,Serf也属于Swish函数家族。基于对具有不同最先进架构的计算机视觉(图像分类和目标检测)和自然语言处理(机器翻译,情感分类和多模态蕴涵)任务的几个实验,观察到Serf大大优于ReLU(基线)和其他激活函数,包括Swish和Mish,在更深的架构上具有明显更大的优势。消融研究进一步表明,基于Serf的架构在不同的场景中表现得比Swish和Mish更好,验证了Serf在不同深度、复杂性、优化器、学习速率、批量大小、初始化器和辍学率的有效性和兼容性。最后,我们研究了Swish和Serf之间的数学关系,从而显示了Serf的一阶导数中固有的预处理函数的影响,它提供了正则化效果,使梯度更平滑,优化更快。
2021-08-25 cs.AI cs.CV cs.LG
Better NTK Conditioning: A Free Lunch from (ReLU) Nonlinear Activation in Wide Neural Networks
Elmore Family School of Electrical and Computer Engineering(埃尔莫尔电气与计算机工程学院);Purdue University(普渡大学);Department of Physics and Astronomy(物理与天文学系);Halıcıoğlu Data Science Institute(哈利奇奥格卢数据科学研究所);University of California San Diego(加州大学圣地亚哥分校);Rosen Center For Advanced Computing(罗森先进计算中心)
本文研究宽神经网络中 ReLU 非线性激活的作用,证明其可增大梯度特征空间的角度分离并降低 NTK 条件数,且深度会增强该效果,从而改善梯度方法的最坏情况收敛速率。
2025-10-20 cs.LG
Genesis Steering: Better Activation Steering Through Training Data
Chalmers University of Technology(查尔姆斯理工大学);Carl von Ossietzky University of Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学)
该研究针对大语言模型的激活引导问题,提出Genesis Steering方法,利用模型自身微调数据推导生成向量,经实验验证其在Tülu-3-8B等模型上的引导效果优于外部数据集,并明确了MIA方法发挥积极作用的条件。
2026-10-20 cs.AI cs.LG
Rethinking Activation Functions: Reducing Bias Can Improve Learning
Peking University(北京大学);Tsinghua University(清华大学);MetaCircle
该研究指出ReLU等常用激活函数存在激活偏差,其虽加速初始学习但会导致过冲等问题,减少激活偏差虽减慢初始学习却能降低最终损失,大模型实验也验证此规律,为激活函数设计提供新方向。
2026-10-14 cs.AI cs.LG
Smooth activations and reproducibility in deep networks
Google(谷歌)
深度网络正逐渐渗透到我们生活中的几乎每一个领域,因为它们取得了惊人的成功。然而,随着性能精度的大幅提高,\emph{irreproducibility}的价格也随之而来。在完全相同的训练数据集上训练的两个相同的模型可能会在单个示例的预测中表现出很大的差异,即使平均精度相似,特别是在高度分布式并行系统上训练时。受欢迎的整流线性单元(ReLU)激活一直是深度网络最近成功的关键。然而,我们证明了ReLU也是深度网络中不可再现性的催化剂。我们表明,不仅可以比ReLU更平滑地激活提供更好的准确性,而且还可以提供更好的准确性-再现性权衡。我们提出了一个新的激活家族;平滑ReLU(\emph{SmeLU}),旨在提供更好的权衡,同时保持数学表达式简单,因此实现成本低廉。SmeLU是单调的,模仿ReLU,同时提供连续梯度,产生更好的再现性。我们推广SmeLU给更多的灵活性,然后证明SmeLU和它的广义形式是一个更一般的方法的RECtified平滑连续单元(RESCU)激活的特殊情况。实证结果表明,优越的准确性-再现性权衡与平滑激活,特别是SmeLU。
2020-12-01 cs.LG cs.NE stat.ML
Exemplary Natural Images Explain CNN Activations Better than State-of-the-Art Feature Visualization
Technische Universität Darmstadt(达姆施塔特工业大学);University of Tübingen(图宾根大学)
合成最大激活图像等特征可视化是一种广泛使用的解释方法,可以更好地理解卷积神经网络(CNN)的信息处理。与此同时,有人担心这些可视化可能无法准确地表示CNN的内部工作。在这里,我们测量了极度激活的图像在多大程度上帮助人类预测CNN激活。使用一个控制良好的心理物理学范式,我们将Olah等人(2017)合成图像的信息量与简单的基线可视化进行了比较,即典型的自然图像也强烈激活了特定的特征图。给定合成或自然参考图像,人类参与者选择两个查询图像中的哪一个导致强烈的积极激活。这些实验旨在最大限度地提高参与者的表现,并且是第一个探索中间层而不是最终层表示的实验。我们发现,合成图像确实提供了有关特征图激活的有用信息($82\pm4\%$准确性;可能是$50\%$)。然而,自然图像-最初打算作为基线-远远优于合成图像($92\pm2\%$)。此外,参与者对自然图像更快,更有信心,而关于特征可视化的可解释性的主观印象是混合的。自然图像的更高信息量适用于大多数层,无论是专家还是外行参与者,以及手工和随机挑选的特征可视化。即使仅给出单个参考图像,合成图像提供的信息也比自然图像少($65\pm5\%$与$73\pm4\%$)。总之,与自然图像相比,来自流行特征可视化方法的合成图像对于评估CNN激活的信息量明显较少。我们认为,可视化方法应改善这一基线。
2021-05-02 cs.AI cs.CV cs.HC
The ACUTE Protocol: Operationalizing Language Model Activations for Better Calibration, Utility, and Trust
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);Scale AI
提出ACUTE协议,通过操作语言模型激活来估计置信度,平衡校准与信息性,在多项选择问答、工具调用和科学文档摘要等任务上优于强基线,提升校准、效用和可信度。
2026-06-19 cs.AI cs.CL cs.LG
Oracle Teacher: Leveraging Target Information for Better Knowledge Distillation of CTC Models
Seoul National University(首尔国立大学);dot Inc.(42dot公司)
本文提出 Oracle Teacher 教师模型,将输出标签也作为教师输入以学习更准确的 CTC 对齐,并设计训练策略防止平凡解,在语音识别和场景文本识别中提升学生模型性能并加速教师训练。
2023-08-11 cs.LG eess.AS eess.IV
ParaScopes: What do Language Models Activations Encode About Future Text?
本文提出Residual Stream Decoders框架,通过探测模型激活值解码段落级和文档级规划,发现可提取相当于5+个词元的未来上下文信息,为监测语言模型和理解长期规划奠定基础。
2025-10-31 cs.CL cs.LG
Fisher Kernel for Deep Neural Activations
KAIST(韩国科学技术院)
与基于低层局部描述符的图像表示相比,卷积神经网络(CNN)的深层神经激活在中层表示方面更丰富,但在几何不变性方面较差。在本文中,我们提出了一个简单的框架,更好的图像表示相结合的两种方法。为了利用这两种表示的优势,我们提出了一种有效的方法来从预训练的CNN中提取大量的多尺度密集局部激活。然后,我们通过Fisher内核框架聚合激活,该框架已经用简单的尺度归一化进行了修改,以使其适合CNN激活。用我们的表示代替直接使用单个激活向量,表现出显著的性能改进:+17.76(Acc.)MIT Indoor 67和PASCAL VOC 2007上的+7.18(mAP)。结果表明,我们的建议可以被用来作为一个主要的图像表示更好的性能在视觉识别任务。
2014-12-19 cs.CV cs.LG cs.NE
A New Training Method for Feedforward Neural Networks Based on Geometric Contraction Property of Activation Functions
提出了一种新的具有几何收缩特性的激活函数的前向神经网络的训练方法。该方法包括构造一个新的功能,是较低的非线性与经典的功能相比,通过消除非线性的激活函数从输出层。我们通过一系列的实验来验证这种新方法,实验结果表明这种方法具有更快的学习速度和更好的分类错误率。
2018-08-11 cs.LG cs.NE
TanhSoft -- a family of activation functions combining Tanh and Softplus
IIIT Delhi(德里信息技术学院)
深度学习的核心包含的函数是线性变换与称为激活函数的非线性函数的组合。在过去的几年中,有越来越多的兴趣,建设新的激活函数,从而更好地学习。在这项工作中,我们提出了一个新的激活函数,即TanhSoft,具有四个待定的超参数的形式tanh(αx+βe^{γx})ln(δ+e^x)和调整这些超参数,以获得激活函数,这是优于几个众所周知的激活函数。例如,用xtanh(0.6e^x)替换ReLU,DenseNet-169的CIFAR-10上的top-1分类准确率提高了0.46%,Inception-v3提高了0.7%,而用tanh(0.87x)ln(1 +e^x)替换ReLU,DenseNet-169的CIFAR-100上的top-1分类准确率提高了1.24%,SimpleNet模型提高了2.57%。
2020-09-08 cs.AI cs.CV cs.LG
Understanding Batch Normalization
Cornell University(康奈尔大学)
批量归一化(BN)是一种对深层神经网络的中间层中的激活进行归一化的技术。它提高准确性和加快训练速度的趋势使BN成为深度学习中最受欢迎的技术。然而,尽管取得了巨大的成功,但对于这些改进背后的确切原因和机制仍然没有达成共识。在本文中,我们采取了一个步骤,更好地了解BN,以下的实证方法。我们进行了几个实验,并表明BN主要使训练具有更大的学习率,这是更快的收敛和更好的泛化的原因。对于没有BN的网络,我们展示了大的梯度更新如何导致发散损失和激活随着网络深度不受控制地增长,这限制了可能的学习率。BN通过不断地将激活校正为零均值和单位标准差来避免这个问题,这使得能够实现更大的梯度步长,产生更快的收敛,并且可以帮助绕过尖锐的局部最小值。我们进一步展示了深度非规范化网络的梯度和激活行为不佳的各种方式。我们将我们的结果与随机矩阵理论中的最新发现进行对比,从而为经典初始化方案及其后果提供新的思路。
2018-11-30 cs.AI cs.LG stat.ML
Optimizing Neural Networks through Activation Function Discovery and Automatic Weight Initialization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant(高知特)
本文提出通过发现更强大的激活函数和建立更稳健的权重初始化技术来优化神经网络,证明了针对特定任务定制方案、联合优化组件及使用学习表示的有效性,推动了全自动化机器学习的发展。
2023-04-06 cs.LG
Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks
Numenta(Numenta公司)
原则上,稀疏神经网络应该比传统的密集网络更有效。大脑中的神经元表现出两种类型的稀疏性;它们稀疏地相互连接和稀疏地活跃。这两种类型的稀疏性,称为权重稀疏性和激活稀疏性,当结合在一起时,提供了将神经网络的计算成本降低两个数量级的潜力。尽管有这种潜力,但今天的神经网络仅使用权重稀疏性仅提供适度的性能优势,因为传统的计算硬件无法有效地处理稀疏网络。在这篇文章中,我们介绍了互补稀疏,一种新的技术,显着提高现有硬件上的双稀疏网络的性能。我们证明了我们可以实现高性能的运行权重稀疏网络,我们可以通过结合激活稀疏性来增加这些加速比。使用互补稀疏性,我们在FPGA上执行推理时,吞吐量和能效提高了100倍。我们分析了ResNet-50和MobileNetV 2等商业卷积网络典型内核的可扩展性和资源权衡。我们对互补稀疏性的研究结果表明,权重加上激活稀疏性可以成为有效扩展未来AI模型的有效组合。
2021-12-27 cs.AI cs.AR cs.LG
Towards Understanding the Behaviors of Optimal Deep Active Learning Algorithms
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Facebook AI(脸书人工智能研究院)
主动学习(AL)算法可以用更少的数据实现更好的性能,因为模型指导数据选择过程。虽然已经提出了许多算法,但很少有关于最佳AL算法的研究,这将有助于研究人员了解他们的模型在设计上的不足和缺陷。在本文中,我们提出了一个模拟退火算法来搜索这个最佳的预言,并分析了几个任务。我们提出了定性和定量的见解,这个甲骨文的行为,比较和对比,他们与那些不同的甲骨文。此外,我们能够使用一个特定的洞察力来持续改进算法。我们希望我们的发现能更好地为未来的主动学习研究提供信息。该代码可在https://github.com/YilunZhou/optimal-active-learning上获得。
2021-02-20 cs.LG
LSQ+: Improving low-bit quantization through learnable offsets and better initialization
Qualcomm AI Research, Qualcomm Technologies, Inc.(高通AI研究,高通技术公司);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通AI研究,高通技术荷兰有限公司);Seoul National University(首尔大学)
与ReLU不同,在流行的高效架构中经常使用的较新的激活函数(如Swish,H-swish,Mish)也可能导致负激活值,并具有倾斜的正负范围。典型的可学习量化方案[PACT,LSQ]假设无符号量化用于激活,并将所有负激活都设为零,这导致性能的显著损失。单纯地使用带符号量化来适应这些负值需要额外的符号位,这对于低位(2位、3位、4位)量化来说是昂贵的。为了解决这个问题,我们提出了LSQ+,这是LSQ的一个自然扩展,其中我们引入了一个具有可训练尺度和偏移参数的通用非对称量化方案,可以学习适应负激活。基于自适应的可学习量化方案通常也遭受最终训练性能的高不稳定性或方差,因此需要大量的超参数调整以达到令人满意的性能。LSQ+通过对量化参数使用基于MSE的初始化方案来解决这个问题。我们表明,这种初始化导致在多个训练运行的最终性能显着较低的方差。总体而言,LSQ+显示了EfficientNet和MixNet的最新结果,并且在Swish激活的神经网络的低位量化方面也明显优于LSQ(例如:ImageNet数据集上EfficientNet-B 0的W 4A 4量化增益高达1.8%,W2 A2量化增益高达5.6%)。据我们所知,我们的工作是第一次将这种架构扩展到极低的位宽。
2020-04-20 cs.CV cs.LG stat.ML
Depth-Aware Initialization for Stable and Efficient Neural Network Training
IBM India(IBM印度)
针对现有神经网络初始化方法未充分利用层深度信息、深层网络单位方差假设效果不佳的问题,提出融合每层深度与总网络深度、灵活递增激活方差的深度感知初始化方法,实验证明其性能优于现有方案。
2025-09-05 cs.LG
Deep Active Learning for Joint Classification & Segmentation with Weak Annotator
École de technologie supérieure(高等技术学院)
CNN可视化和解释方法,如类激活图(CAM),通常用于突出显示与类预测相关的图像区域。这些模型允许同时对图像进行分类并提取依赖于类别的显著性图,而不需要昂贵的像素级注释。然而,它们通常产生具有高假阳性率的分割,因此,粗糙的可视化,在处理具有挑战性的图像时更是如此,如在组织学中遇到的。为了缓解这个问题,我们提出了一个主动学习(AL)框架,它在训练过程中逐步集成像素级注释。给定具有全局图像级标签的训练数据,我们的深度弱监督学习模型联合执行监督图像级分类和用于分割的主动学习,通过oracle集成像素注释。与专注于样本选择的标准AL方法不同,我们还通过伪分割(即,在像素级别上的自学习),并在训练期间将它们与Oracle注释的样本相结合。我们报告了两个具有挑战性的基准-高分辨率医学图像(结肠癌的组织学GlaS数据)和自然图像(鸟类的CUB-200-2011)的广泛实验。我们的研究结果表明,通过简单地使用随机样本选择,所提出的方法可以显着优于国家的最先进的CAM和AL方法,具有相同的甲骨文监督预算。我们的代码是公开的。
2020-11-14 cs.CV cs.LG
Self-scalable Tanh (Stan): Faster Convergence and Better Generalization in Physics-informed Neural Networks
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学)
物理信息神经网络(PINN)在工程和科学文献中越来越受到关注,用于解决天气建模,医疗保健,制造等应用中的一系列微分方程。可扩展性差是利用PINN解决许多现实问题的障碍之一。为了解决这一问题,提出了一种自可扩展的双曲正切(Stan)激活函数的PINN。所提出的Stan函数是光滑的,非饱和的,并且具有可训练的参数。在训练过程中,它可以允许简单的梯度流来计算所需的导数,并且还可以实现输入-输出映射的系统缩放。理论分析表明,当使用梯度下降算法时,具有所提出的Stan函数的PINN没有伪稳定点。建议斯坦进行测试的数值研究,涉及一般的回归问题。它随后被用于解决多个正问题,其中涉及二阶导数和多个维度,以及一个逆问题,其中杆的热扩散率预测与热传导数据。这些案例研究经验地建立了Stan激活函数可以实现比文献中现有的激活函数更好的训练和更准确的预测。
2022-04-29 cs.LG cs.NE
Learning Quantized Neural Nets by Coarse Gradient Method for Non-linear Classification
University of California, Irvine(加州大学欧文分校);University at Albany, State University of New York(纽约州立大学奥尔巴尼分校)
量化或低比特神经网络由于其推理效率而具有吸引力。然而,用量化的激活训练深度神经网络涉及最小化不连续和分段恒定的损失函数。这样的损失函数几乎处处(a.e.)具有零梯度,这使得传统的基于梯度的算法不适用。为此,我们研究了一类新的\emph{biased}一阶预言机,称为粗梯度,克服消失的梯度问题。通过替换a.e.量化的零导数(即,阶梯)ReLU激活与一些启发式代理衍生物(称为直通估计器(STE))组合在链式规则中。尽管已广泛用于经验性训练量化网络,但诸如临时STE技巧何时以及为何有效等基本问题仍然缺乏理论理解。本文提出了一类具有一定单调性的STE,并将其应用于训练一个具有量化激活函数的两层线性神经网络进行非线性多类分类.我们建立的性能保证,建议STES显示相应的粗梯度方法收敛到全局最小值,这导致一个完美的分类。最后,我们给出了合成数据以及MNIST数据集上的实验结果,以验证我们的理论研究结果,并证明我们提出的STE的有效性。
2021-06-13 cs.LG
DAPA: Distribution Aware Piecewise Activation Functions for On-Device Transformer Inference and Training
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出DAPA,一种基于预激活数据分布的分段激活函数,通过非均匀分段提升泛化能力,并利用分布加权均方误差量化以减少硬件资源消耗,实验证明其在GELU计算和DSP利用率上均有显著提升。
2026-03-19 cs.LG
Socioeconomic correlations of urban patterns inferred from aerial images: interpreting activation maps of Convolutional Neural Networks
Univ Lyon(里昂大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);ENS de Lyon(里昂高等师范学院);Université Claude Bernard Lyon 1(里昂第一大学克洛德·贝尔纳大学);Central European University(中欧大学)
城市化是现代社会面临的一个巨大挑战,在扩大社会经济不平等的同时,也有望提供更好的经济机会。准确跟踪这一过程如何展开对传统的数据收集方法来说是一个挑战,而遥感信息提供了一种替代方法,可以更全面地了解这些社会变化。通过向神经网络提供卫星图像,可以恢复与该地区相关的社会经济信息,但是这些模型缺乏解释样本中包含的视觉特征如何触发给定的预测。在这里,我们通过从航拍图像预测法国各地的社会经济地位,并根据城市拓扑结构解释类激活映射来缩小这一差距。我们发现,该模型忽略了城市阶层和社会经济地位之间存在的空间相关性,以获得其预测。这些结果为建立可解释的模型铺平了道路,这可能有助于更好地跟踪和理解城市化及其后果。
2020-04-10 cs.CV cs.CY cs.LG
Shapley Interpretation and Activation in Neural Networks
Barclays(巴克莱银行)
我们提出了一种新的Shapley值方法来帮助解决神经网络的可解释性和“消失梯度”问题。我们的方法是基于对具有ReLU激活的神经元的Shapley值的精确解析近似。这种分析近似允许跨神经网络层的相关性的线性传播,从而导致对神经网络的决策过程的简单、快速和明智的解释。然后,我们导出了一个全局连续且非零的Shapley梯度,它可以用ReLU激活来代替训练神经网络层的传统梯度,并带来更好的训练性能。我们进一步推导了Shapley激活(SA)函数,它是ReLU的近似,但具有Shapley梯度。SA易于在现有的机器学习框架中实现。数值测试表明,SA在训练收敛性,准确性和稳定性方面始终优于ReLU。
2019-09-17 cs.LG cs.NE stat.ML
Deep Neural Nets with Interpolating Function as Output Activation
University of California, Los Angeles(加州大学洛杉矶分校);Hong Kong University of Science and Technology(香港科技大学);Duke University(杜克大学);Tsinghua University(清华大学)
我们将深度神经网络的输出层(通常是softmax函数)替换为一个新的插值函数。我们为这种新架构提出了端到端的训练和测试算法。与使用softmax函数作为输出激活的经典神经网络相比,使用插值函数作为输出激活的代理结合了深度学习和流形学习的优点。新框架具有以下主要优点:第一,它更好地适用于训练数据不足的情况。其次,它显著提高了各种网络的泛化精度。该算法在PyTorch中实现,代码将公开提供。
2018-06-17 cs.CV cs.LG stat.ML
Domain Adaptation with Adversarial Training on Penultimate Activations
Stony Brook University(石溪大学);XPeng Motors(小鹏汽车)
增强模型对目标数据的预测置信度是无监督领域自适应(UDA)的一个重要目标。在本文中,我们探讨了倒数第二次激活的对抗性训练,即,最终线性分类层的输入特征。我们表明,这种策略比以前的作品中使用的对输入图像或中间特征的对抗性训练更有效,并且与提高预测置信度的目标更相关。此外,激活归一化通常用于领域自适应,以减少域间隙,我们推导出两个变体,并系统地分析了归一化对我们的对抗训练的影响。这一点在理论上和实际的适应任务的实证分析都得到了说明。在标准设置和源数据自由设置下,对流行的UDA基准进行了广泛的实验。结果验证了我们的方法达到了最好的分数对以前的艺术。代码可在https://github.com/tsun/APA上获得。
2023-02-26 cs.CV cs.LG
Reducing Neural Network Parameter Initialization Into an SMT Problem
Department of EECS, Oregon State University(俄勒冈州立大学电子工程与计算机科学系)
训练神经网络(NN)取决于多个因素,包括但不限于初始权重。在本文中,我们专注于初始化深度NN参数,使其性能更好,与随机或零初始化相比。我们通过将初始化过程简化为SMT求解器来实现这一点。以前的工作考虑某些激活函数的小神经网络,但所研究的神经网络是一个深度网络与不同的激活函数。实验结果表明,与随机初始化网络相比,该参数初始化方法具有更好的性能。
2020-11-09 cs.CC cs.LG stat.ML
Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
Quantiphi Inc(昆泰菲公司);Aptiv Advance Research Center(安波福先进研究中心);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出在隐藏层使用复杂的分段线性(PWL)激活函数,并在 PyTorch 中对浅层和深层 CNN 及多层感知机进行实验,证明其性能显著优于常用的 ReLU 激活函数。
2024-02-18 cs.CE cs.LG cs.NE
DASNet: Dynamic Activation Sparsity for Neural Network Efficiency Improvement
Duke University(杜克大学);Black Sesame Technologies(黑芝麻科技)
为了提高嵌入式系统中神经网络的执行速度和效率,降低模型规模和计算复杂性是关键。除了传统的压缩技术之外,权重修剪和量化、去除不重要的激活可以减少数据通信的量和计算成本。与权重参数不同,激活模式与输入数据直接相关,从而动态变化。为了调节动态激活稀疏性(DAS),在这项工作中,我们提出了一种通用的低成本方法的基础上赢家通吃(WTA)辍学技术。通过建议的WTA丢弃增强的网络,即\textit{DASNet},具有改进的稀疏水平的结构化激活稀疏性。与静态特征图修剪方法相比,DASNet提供了更好的计算成本降低。WTA技术可以很容易地应用于深度神经网络,而不会产生额外的训练变量。更重要的是,DASNet可以与其他压缩技术(如权重修剪和量化)无缝集成,而不会影响准确性。我们在各种网络和数据集上的实验显示了显着的运行时加速,精度损失可以忽略不计。
2019-09-13 cs.LG cs.NE stat.ML
Prevalence of Neural Collapse during the terminal phase of deep learning training
Stanford University(斯坦福大学);Cornell University(康奈尔大学)
训练分类深度网络的现代实践涉及训练的终端阶段(TPT),该阶段开始于训练误差首次消失的时期;在TPT期间,训练误差实际上保持为零,而训练损失被推向零。针对三种原型深网架构和七个规范分类数据集的TPT直接测量暴露了一种普遍存在的归纳偏差,我们称之为神经崩溃,涉及四种深度相互关联的现象:(NC 1)最后一层训练激活的跨示例类内变异性崩溃为零,因为单个激活本身崩溃为它们的类均值;(NC 3)直到重新缩放,最后一层分类器塌缩到类均值,或者换句话说,塌缩到单纯形ETF,即,塌缩到自对偶配置;(NC 4)对于给定的激活,分类器的决策简化为简单地选择具有最接近的训练类均值的任何类,即,最接近类中心(NCC)决策规则。由TPT引起的对称和非常简单的几何结构赋予重要的益处,包括更好的泛化性能、更好的鲁棒性和更好的可解释性。
2020-08-21 cs.CV cs.LG stat.ML
A Learning-from-noise Dilated Wide Activation Network for denoising Arterial Spin Labeling (ASL) Perfusion Images
Temple University(天普大学);University of Maryland School of Medicine(马里兰大学医学院)
动脉自旋标记(ASL)灌注MRI提供了一种无创的方法来量化脑血流量(CBF),但它仍然受到低信噪比(SNR)。使用深度机器学习(DL),几个小组已经显示出令人鼓舞的去噪结果。有趣的是,当使用噪声污染的替代参考训练深度神经网络时,由于缺乏金标准高质量ASL CBF图像,因此获得了改善。更引人注目的是,这些DL ASL网络(ASLDN)的输出显示出比替代参考更高的SNR。这种现象表明,深度网络具有从噪声中学习的能力,可以通过网络优化进一步增强ASL CBF图像去噪。在这项研究中,我们提出了一个新的ASLDN来测试在高噪声训练参考的情况下是否可以实现类似甚至更好的ASL CBF图像质量。进行了不同的实验来验证从噪声中学习的假设。结果表明,从噪声中学习策略产生更好的输出质量比ASLDN训练相对较高的信噪比参考。
2020-05-15 cs.CV cs.LG eess.IV