Spike time displacement based error backpropagation in convolutional spiking neural networks
Amirkabir University of Technology(阿米尔卡比尔理工大学);Shahid Beheshti University(沙希德·贝赫什提大学);CNRS Université Toulouse 3(法国国家科学研究中心图卢兹第三大学)
最近,我们提出了STiDi-BP算法,它避免了向后递归梯度计算,用于训练多层脉冲神经网络(SNN)与基于单脉冲的时间编码。该算法采用线性近似来计算尖峰潜伏期对膜电位的导数,并使用具有分段线性突触后电位的尖峰神经元来降低计算成本和神经处理的复杂性。在本文中,我们扩展了STiDi-BP算法,将其应用于更深的卷积架构中。基于MNIST和Fashion-MNIST数据集的图像分类任务的评估结果分别为99.2%和92.8%,证实了该算法适用于深度SNN。我们考虑的另一个问题是减少内存存储和计算成本。为此,我们考虑具有两组权重的卷积SNN(CSNN):在向后传递中更新的实值权重和在前馈过程中使用的符号,二进制权重。我们评估的二进制CSNN的两个数据集的MNIST和时尚MNIST,并获得可接受的性能与一个可以忽略不计的精度下降相对于实值的权重(约$0.6%$和$0.8%$下降,分别)。
2021-08-31 cs.AI cs.CV cs.NE
Learning on tree architectures outperforms a convolutional feedforward network
Bar-Ilan University(巴伊兰大学);Gonda Interdisciplinary Brain Research Center, Bar-Ilan University(巴伊兰大学贡达跨学科脑研究中心)
先进的深度学习架构由数十个完全连接的卷积隐藏层组成,目前已扩展到数百个,远未达到其生物学实现。他们难以置信的生物动力学依赖于以非局部方式改变权重,因为输出单元和权重之间的路由数量通常很大,使用反向传播技术。在这里,一个3层的树架构的启发基于实验的树突状树适应开发和应用到离线和在线学习的CIFAR-10数据库。所提出的架构优于5层卷积LeNet的可实现的成功率。此外,所提出的架构的高度修剪的树反向传播方法,其中单个路由连接输出单元和权重,代表了有效的树突状深度学习。
2023-01-30 cs.CV
A Learning Paradigm for Interpretable Gradients
Centrale Marseille(马赛中央理工学院);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息科学与系统实验室);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高级研究院(IARAI))
本文通过引入正则化损失使标准反向传播的梯度逼近引导反向传播的梯度,提出一种新颖的训练方法,有效降低了梯度噪声并提升了卷积网络显著性图的可解释性。
2024-04-23 cs.CV cs.LG
Semi-supervised learning via Feedforward-Designed Convolutional Neural Networks
University of Southern California(南加州大学)
提出了一种基于前馈设计的卷积神经网络(FF-CNN)的半监督学习框架用于图像分类。FF-CNN的一个独特特性是在模型参数确定中不使用反向传播。由于未标记数据可能并不总是增强半监督学习,我们定义了一个有效的质量分数,并使用它来选择一个子集的未标记数据在训练过程中。我们在MNIST、SVHN和CIFAR-10数据集上进行了实验,结果表明,当标记数据量减少时,所提出的半监督FF-CNN解决方案的性能优于反向传播训练的CNN(BP-CNN)。此外,我们开发了一个集成系统,该系统结合了不同半监督FF-CNN的输出决策向量,以提高分类精度。集成系统可以在所有三个基准数据集上实现进一步的性能增益。
2019-02-06 cs.CV
Understanding 3D CNN Behavior for Alzheimer's Disease Diagnosis from Brain PET Scan
Georgia State University(佐治亚州立大学)
最近几天,卷积神经网络(CNN)在医学图像分析中表现出令人印象深刻的性能。然而,人们对卷积神经网络为什么以及如何在图像分析任务中表现如此出色缺乏清晰的理解。CNN如何分析图像并区分不同类别的样本通常被认为是不透明的。结果,在临床程序和自动疾病诊断系统中应用基于CNN的方法变得困难。在本文中,我们考虑这个问题,并致力于可视化和理解卷积神经网络用于阿尔茨海默病(AD)诊断的决策。我们使用大脑PET扫描开发了一个用于AD诊断的3D深度卷积神经网络,并提出使用五种可视化技术-灵敏度分析(反向传播),引导反向传播,闭塞,大脑区域闭塞和分层相关传播(LRP),通过突出显示PET数据中的相关区域来理解CNN的决策。
2019-12-26 cs.CV cs.LG eess.IV
GaborNet: Gabor filters with learnable parameters in deep convolutional neural networks
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文描述了一种使用深度卷积神经网络进行图像识别的系统。提出了改进的网络结构,重点是提高收敛性和降低训练复杂度。网络第一层中的滤波器被约束以拟合Gabor函数。Gabor函数的参数是可学习的,并通过标准的反向传播技术进行更新。该系统在Python上实现,在几个数据集上进行了测试,性能优于常见的卷积网络。
2019-04-30 cs.CV cs.LG eess.IV
A Theoretical Explanation for Perplexing Behaviors of Backpropagation-based Visualizations
Rice University(莱斯大学);Baylor College of Medicine(贝勒医学院)
已经提出了基于反向传播的可视化来解释卷积神经网络(CNN),但是缺少一个理论来证明它们的行为:引导反向传播(GBP)和去卷积网络(DeconvNet)生成比显着图更易于人类解释但对类别不敏感的可视化。受此启发,我们开发了一个理论解释,揭示了GBP和DeconvNet本质上是在进行与网络决策无关的(部分)图像恢复。具体来说,我们的分析表明,GBP和DeconvNet引入的反向ReLU以及CNN中的本地连接是引人注目的可视化的两个主要原因。提供了大量的实验来支持理论分析。
2020-02-13 cs.AI cs.CV
Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images
Rochester Institute of Technology(罗切斯特理工学院);University of South Florida(南佛罗里达大学)
在这项工作中,我们开发了卷积神经生成编码(Conv-NGC),这是预测编码对基于卷积/解卷积计算的情况的推广。具体来说,我们具体实现了一个灵活的神经生物学动机的算法,逐步细化潜在状态特征图,以动态地形成一个更准确的内部表示/重建模型的自然图像。所得到的感官处理系统的性能进行了评估复杂的数据集,如颜色MNIST,CIFAR-10,和街道房屋视图数(SVHN)。我们研究了我们的大脑启发模型在重建和图像去噪任务上的有效性,发现它与通过误差反向传播训练的卷积自动编码系统具有竞争力,并且在分布外重建(包括完整的90 k CINIC-10测试集)方面优于它们。
2023-02-06 cs.CV cs.LG
Learning Compact Convolutional Neural Networks with Nested Dropout
UC Berkeley(加州大学伯克利分校)
最近,嵌套丢弃被提出作为一种方法,用于在自动编码器中根据其信息内容对表示单元进行排序,而不减少重构成本。然而,它只被应用于在无监督环境中训练全连接的自动编码器。我们探索了嵌套dropout对通过反向传播训练的CNN中卷积层的影响,研究了嵌套dropout是否可以提供一种简单而系统的方法来确定相对于所需精度和所需任务和数据复杂性的最佳表示大小。
2015-04-10 cs.CV cs.LG cs.NE
Kronecker Product Feature Fusion for Convolutional Neural Network in Remote Sensing Scene Classification
Xi'an Institute of Optics and Precision Mechanics of CAS(中国科学院西安光学精密机械研究所)
针对遥感场景分类任务,提出基于克罗内克积的新型特征融合算法KPFF,统一了加法与拼接融合方法并明确反向传播过程,实验验证其可有效提升CNN分类准确率。
2024-01-08 cs.CV cs.LG
Switching Convolutional Neural Network for Crowd Counting
Indian Institute of Science(印度科学理工学院)
我们提出了一种新的人群计数模型,将给定的人群场景映射到其密度。人群分析是由无数的因素,如人之间的相互遮挡,由于极端拥挤,人和背景元素之间的外观高度相似,以及相机视点的大变化。当前最先进的方法通过使用多尺度CNN架构、递归网络和来自具有不同感受野的多列CNN的特征的后期融合来解决这些因素。我们提出了切换卷积神经网络,它利用图像内人群密度的变化来提高预测人群计数的准确性和定位。基于在训练期间建立的CNN的人群计数预测质量,将来自人群场景内的网格的块中继到独立的CNN回归器。独立的CNN回归器被设计为具有不同的感受野,并且训练开关分类器以将人群场景补丁中继到最佳的CNN回归器。我们对所有主要的人群计数数据集进行了广泛的实验,并证明了与当前最先进的方法相比更好的性能。我们提供了可解释的表示从开关推断的人群场景补丁的空间的multichotomy。观察到,开关基于人群的密度将图像块中继到特定的CNN列。
2017-08-03 cs.CV
Convolutional Nonlinear Dictionary with Cascaded Structure Filter Banks
Niigata Univ.(新潟大学)
本研究提出一种卷积非线性字典(CNLD)的图像复原使用级联滤波器组。通常,卷积神经网络(CNN)在图像复原应用中展示了它们的实用性;然而,现有的CNN在构造时没有考虑原子图像(卷积核)之间的关系。因此,仍然有讨论设计空间的作用的空间。为了提供一个构建有效的结构化卷积网络的框架,本研究提出了CNLD。通过一定的图像复原实验,推导出了反向传播学习过程,从而验证了CNLD的重要性。它表明,参数的数量减少,同时保持恢复性能。
2020-09-02 cs.CV
Generating Attribution Maps with Disentangled Masked Backpropagation
Institut de Robotica i Informàtica Industrial, CSIC-UPC(机器人工业研究所,CSIC-UPC)
归因图可视化已经成为理解卷积神经网络底层推理过程的最有效的技术之一。在这个任务中,目标是计算每个图像像素的分数,这些像素与其对最终网络输出的贡献相关。在本文中,我们介绍了解纠缠屏蔽反向传播(DMBP),这是一种基于梯度的新方法,它利用ReLU网络的分段线性性质将模型函数分解为不同的线性映射。这种分解的目的是通过学习一组变量,在反向传播过程中掩盖每个过滤器的贡献,从属性图中分离出积极、消极和讨厌的因素。对标准架构(ResNet50和VGG16)和基准数据集(PASCAL VOC和ImageNet)的全面评估表明,DMBP比以前的方法生成了更多视觉上可解释的属性图。此外,我们定量地表明,我们的方法产生的地图是更一致的每个像素的最终网络输出的真实贡献。
2021-08-30 cs.CV
Automatic Photo Orientation Detection with Convolutional Neural Networks
University of Toronto(多伦多大学)
本文提出用卷积神经网络自动检测消费级照片的0/90/180/270度方向,在标准数据集上显著超越现有方法,并通过引导反向传播分析模型决策与错误原因。
2023-06-01 cs.AI cs.CV cs.LG
Accurate and Compact Convolutional Neural Networks with Trained Binarization
City University of Hong Kong(香港城市大学)
虽然卷积神经网络(CNN)现在广泛应用于各种计算机视觉应用中,但其对参数存储和计算的巨大资源需求使得在移动和嵌入式设备上的部署变得困难。最近,二进制卷积神经网络被探索以通过仅用1个单个比特量化权重和激活来帮助缓解这个问题。然而,与全精度模型相比,可能存在明显的精度下降。在本文中,我们提出了一种改进的训练方法,以提高精度。引入了权重和激活的可训练缩放因子以增加值范围。这些缩放因子将通过反向传播与其他参数联合训练。此外,还提出了一种特殊的训练算法,包括对不连续二值化函数导数的紧逼近和对权值比例因子的$L_2$正则化。通过这些改进,二进制CNN在CIFAR-10上使用VGG-Small网络实现了92.3%的准确率。在ImageNet上,我们的方法在AlexNet上获得了46.1%的top-1准确率,在Resnet-18上获得了54.2%的准确率,超过了以前的作品。
2019-09-25 cs.CV cs.LG
Increasing Width Allows Greedy Layer-wise Training to Rival End-to-End Backpropagation in Self-Supervised Learning
Jules Stein Eye Institute(朱尔斯·斯坦眼科研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本研究探讨自监督学习中网络宽度与深度对贪心逐层训练和端到端反向传播的影响,发现宽网络中贪心训练性能可媲美甚至超越端到端训练,并揭示表征几何差异为潜在机制。
2026-10-02 cs.AI cs.CV cs.LG
Convolutional Spiking Neural Networks for Spatio-Temporal Feature Extraction
Amirkabir University of Technology(阿米卡比尔理工大学);Chalmers University of Technology(查尔姆斯理工大学)
脉冲神经网络(SNN)由于其基于事件的性质而可以用于低功耗和嵌入式系统(例如新兴的神经形态芯片)中。此外,与传统的人工神经网络(ANN)相比,它们具有计算成本低的优点,同时保留了ANN的属性。然而,卷积脉冲神经网络和其他类型的SNN的层中的时间编码还有待研究。在本文中,我们提供了深入了解时空特征提取的卷积SNN的实验设计,利用这一属性。浅层卷积SNN的性能优于最先进的时空特征提取器方法,例如C3 D、ConvLstm和类似网络。此外,我们提出了一种新的深度尖峰架构来解决现实世界的问题(特别是分类任务),与NMNIST(99.6%),DVS-CIFAR 10(69.2%)和DVS-Gesture(96.7%)以及UCF-101(42.1%)和HMDB-51(21.5%)数据集上的ANN方法相比,该架构具有更好的性能。还值得注意的是,训练过程是基于本文中解释的时空反向传播的变化来实现的。
2021-01-18 cs.CV cs.LG
Deep learning for pedestrians: backpropagation in CNNs
SAP Labs(SAP实验室)
本文档的目标是提供一个教学介绍,介绍使用梯度下降训练深度神经网络的主要概念;这一过程称为反向传播。虽然我们关注的是一类非常有影响力的架构,称为“卷积神经网络“(CNN),但这种方法对整个机器学习社区来说是通用和有用的。由于观察到反向传播的推导经常被笨拙的索引重叙述所掩盖,这些叙述看起来有点抽象,我们的目标是提供一个概念清晰的向量化描述,很好地表达了更高层次的逻辑。遵循“写作是自然的方式,让你知道你的思维是多么草率”的原则,我们试图使计算细致,自成一体,但尽可能直观。没有什么是理所当然的,充足的插图作为视觉指南和广泛的参考书目提供了进一步的探索。(For为了清楚起见,长的数学推导和可视化被分解为短的“概括视图”和长的“详细视图”,作为可选内容组被编码到PDF中。有些图包含动画,旨在以更吸引人的方式说明重要概念。出于这些原因,我们建议您在本地下载该文档,并使用Adobe Reader打开它。其他查看器未经过测试,可能无法正确呈现详细视图和动画。)
2018-11-29 cs.AI cs.CV cs.LG
Abs-CAM: A Gradient Optimization Interpretable Approach for Explanation of Convolutional Neural Networks
Hubei University of Technology(湖北工业大学);Central China Normal University(华中师范大学)
深度神经网络(DNN)的黑箱性质严重阻碍了其性能的提高和在特定场景中的应用。近年来,基于类激活映射的方法被广泛用于解释计算机视觉任务中模型的内部决策。然而,当这种方法使用反向传播来获得梯度时,它会在显着图中产生噪声,甚至定位与决策无关的特征。本文提出了一种基于绝对值类激活映射(Abs-CAM)的方法,该方法对反向传播得到的梯度进行优化,将其全部转化为正梯度,以增强输出神经元激活的视觉特征,提高显着图的定位能力。Abs-CAM的框架分为两个阶段:生成初始显著图和生成最终显著图。第一阶段通过优化梯度提高显著图的定位能力,第二阶段将初始显著图与原始图像线性结合,增强显著图的语义信息。我们对所提出的方法进行了定性和定量的评估,包括删除,插入和指向游戏。实验结果表明,Abs-CAM能明显消除显著图中的噪声,能更好地定位与决策相关的特征,在识别和定位任务中优于以往的方法。
2022-07-08 cs.AI cs.CV cs.LG
COMQ: A Backpropagation-Free Algorithm for Post-Training Quantization
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);University of California at Irvine(加州大学欧文分校)
本文提出免反向传播的训练后量化算法COMQ,通过逐坐标最小化逐层重构误差,以贪心顺序更新缩放因子和比特码,在4比特视觉Transformer和卷积神经网络量化中实现近无损精度。
2024-10-19 cs.CV cs.LG
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida(佛罗里达大学);Universidad de los Andes(安第斯大学)
我们提出了一种卷积递归神经网络,具有Winner-Take-All dropout,用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别,并获得了比文献中的可比方法更好的结果,包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释,将先前提出的Winner-Take-All Autoencoders扩展到时间序列,以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术学院(Skoltech));Yandex;Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute of Numerical Mathematics RAS(俄罗斯科学院数值数学研究所)
我们提出了一种简单的两步方法,用于加速基于张量分解和判别微调的大型卷积神经网络中的卷积层。给定一个层,我们使用非线性最小二乘法将4D卷积核张量的低秩CP分解计算为少量秩1张量的总和。在第二步中,这种分解用于用具有小内核的四个卷积层的序列替换原始卷积层。在这样的替换之后,使用标准反向传播过程在训练数据上对整个网络进行微调。我们在两个CNN上评估了这种方法,并表明它与以前的方法相比具有竞争力,从而以两个网络中较小的网络的较低精度下降为代价获得更高的CPU加速。因此,对于36类字符分类CNN,我们的方法获得了整个网络的8.5倍CPU加速,只有轻微的准确率下降(从91%到90%下降1%)。对于标准ImageNet架构(AlexNet),该方法将第二个卷积层的速度提高了4倍,但代价是$1\%$增加了总体前5个分类错误。
2015-04-24 cs.CV cs.LG
PyTorch-Hebbian: facilitating local learning in a deep learning framework
Ghent University(根特大学);ML6;imec
最近,基于Hebb的突触功效的变化仅取决于突触前和突触后神经元的活动的想法的无监督局部学习已经显示出作为反向传播的替代训练机制的潜力。不幸的是,Hebbian学习仍然是实验性的,很少进入标准的深度学习框架。在这项工作中,我们研究了Hebbian学习在标准深度学习工作流程中的潜力。为此,提出了一个对现有深度学习管道中的局部学习规则进行彻底和系统评估的框架。使用这个框架,赫布学习图像分类的特征提取器的潜力进行了说明。特别是,该框架用于将Krotov-Hopfield学习规则扩展到标准卷积神经网络,而不会牺牲端到端反向传播的准确性。源代码可在https://github.com/Joxis/pytorch-hebbian上获得。
2021-01-31 cs.CV cs.LG
End-to-End Kernel Learning with Supervised Convolutional Kernel Networks
Inria(法国国家信息与自动化研究所);Laboratoire Jean Kuntzmann(让·昆茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在本文中,我们介绍了一种新的图像表示的多层核机器的基础上。与传统的核方法不同,在传统的方法中,数据表示与预测任务解耦,我们学习如何用监督来塑造核。我们首先在无监督学习的背景下提出对最近引入的卷积核网络(CKN)的改进;然后,我们推导出反向传播规则,以利用标记的训练数据。由此产生的模型是一种新型的卷积神经网络,其中优化每一层的滤波器相当于学习再生核希尔伯特空间(RKHS)中的线性子空间。我们表明,我们的方法在一些标准的“深度学习”数据集(如CIFAR-10和SVHN)上的图像分类以及图像超分辨率方面都取得了相当有竞争力的性能,证明了我们的方法适用于各种图像相关任务。
2016-10-25 cs.CV cs.LG stat.ML
The Shallow End: Empowering Shallower Deep-Convolutional Networks through Auxiliary Outputs
South China University of Technology(华南理工大学);The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
深度是卷积神经网络(CNN)成功背后的关键因素之一。自从ResNet以来,我们能够训练非常深的CNN,因为梯度消失问题已经通过引入跳过连接得到了很大程度的解决。然而,我们观察到,当深度很大时,中间层(特别是浅层)可能无法从损失中得到足够的监督,这是由于通过长的反向传播路径进行严重的转换,因此,中间层的表示能力可能非常弱,模型变得非常冗余,性能有限。在本文中,我们首先研究了现有的反向传播(BP)方法中的监督消失问题。然后,我们建议通过一种有效的方法来解决这个问题,称为多路BP(MW-BP),它依赖于添加到网络中间层的多个辅助损耗。所提出的MW-BP方法可以应用于大多数深度架构,只需稍加修改,例如ResNet和MobileNet。我们的方法通常会产生比现有方法更紧凑的模型(表示为“Mw+架构”)。例如,具有44层的MwResNet-44在CIFAR-10和CIFAR-100上的性能优于具有110层的ResNet-110。更关键的是,所得到的模型甚至优于通过最先进的模型压缩方法获得的光模型。最后,我们的方法本质上产生多个紧凑的模型与不同的深度在同一时间,这是有助于模型选择。
2020-02-16 cs.CV
Multipod Convolutional Network
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
在本文中,我们介绍了一种卷积网络,我们称之为MultiPodNet,它由两个或多个卷积网络的组合组成,这些卷积网络并行处理输入图像以实现相同的目标。并行卷积网络的输出特征图在网络的全连接层融合。我们通过实验观察到,三个并行pod网络(TripodNet)在常用的对象识别数据集中产生了最好的结果。基线pod网络可以是任何类型。在本文中,我们使用ResNets作为基线网络,其输入是增强的图像补丁。TripodNet的参数数量大约是单个ResNet的三倍。我们使用标准的反向传播类型算法训练TripodNet。在每个单独的ResNet中,参数在训练期间使用不同的随机数初始化。TripodNet在CIFAR-10和ImageNet数据集上实现了最先进的性能。例如,在CIFAR-10数据集上,在相同的训练过程下,它将单个ResNet的准确率从91.66%提高到92.47%。
2022-10-03 cs.CV
Interpretable Convolutional Neural Networks via Feedforward Design
University of Southern California(南加州大学)
卷积神经网络(CNN)的模型参数是通过反向传播(BP)来确定的。在这项工作中,我们提出了一个可解释的前馈(FF)设计没有任何BP作为参考。FF设计采用以数据为中心的方法。它以一次通过的方式基于来自前一层的输出的数据统计来导出当前层的网络参数。为了构造卷积层,我们开发了一种新的信号变换,称为Saab(调整偏置的子空间近似)变换。它是主成分分析(PCA)的一种变体,增加了偏置向量以消除激活的非线性。级联的多个Saab变换产生多个卷积层。对于全连接(FC)层,我们使用多级线性最小二乘回归(LSR)的级联来构造它们。比较了应用于MNIST和CIFAR-10数据集的BP和FF设计的CNN的分类和鲁棒性(对抗对抗攻击)性能。最后,我们评论BP和FF设计之间的关系。
2018-10-21 cs.CV
Ada-SISE: Adaptive Semantic Input Sampling for Efficient Explanation of Convolutional Neural Networks
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
可解释人工智能(XAI)是一个活跃的研究领域,通过确保任务指定的学习模型的透明度和信任来解释神经网络的决策。最近,基于扰动的模型分析显示出更好的解释,但反向传播技术仍然盛行,因为它们的计算效率。在这项工作中,我们结合这两种方法作为一个混合的视觉解释算法,并提出了一个有效的解释方法卷积神经网络。我们的方法自适应地选择主要有助于预测的最关键的特征,通过找到激活的特征来探测模型。实验结果表明,该方法可以减少高达30%的执行时间,同时提高竞争的可解释性,而不影响质量的解释产生。
2021-02-15 cs.CV
Unsupervised convolutional neural networks for motion estimation
Queen Mary University of London(伦敦玛丽女王大学)
用于运动估计的传统方法将一对图像之间的运动场F估计为使预先设计的成本函数最小化的运动场。在本文中,我们提出了一种直接的方法和训练卷积神经网络(CNN),当在测试时,给定一对图像作为输入,它在其输出层产生一个密集的运动场F。在缺乏允许经典监督训练的具有地面真实运动的大型数据集的情况下,我们建议以无监督的方式训练网络。在训练期间优化的所提出的成本函数基于经典的光流约束。后者相对于运动场是可微分的,因此允许误差反向传播到网络的先前层。我们的方法进行了测试合成和真实的图像序列,并执行类似的国家的最先进的方法。
2016-01-22 cs.CV
Biologically-inspired Semi-supervised Semantic Segmentation for Biomedical Imaging
ISTI(ISTI机构)
针对生物医学图像标签稀缺问题,提出基于 Hebbian 局部学习的无监督预训练与少量标签反向传播微调相结合的半监督语义分割方法,并在多个数据集上超越 SOTA。
2025-03-18 cs.CV
Non-Rigid Image Registration Using Self-Supervised Fully Convolutional Networks without Training Data
Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
一种新的非刚性图像配准算法是建立在全卷积网络(FCN)优化和学习空间变换之间的图像对注册在自监督学习框架。与大多数现有的基于深度学习的图像配准方法不同,这些方法从具有已知对应空间变换的训练数据学习空间变换,我们的方法通过最大化固定和变形运动图像之间的图像相似性度量来直接估计图像对之间的空间变换,类似于传统的图像配准算法。图像配准在多分辨率图像配准框架中实现,以通过典型的前馈和反向传播计算,通过深度自我监督,联合优化和学习不同空间分辨率的空间变换和FCN。所提出的方法已被评估为注册三维结构脑磁共振(MR)图像,并获得了更好的性能比国家的最先进的图像配准算法。
2018-01-11 cs.CV
Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks
Artificial Intelligence Research Centre (CitAI), Department of Computer Science, City St George's, University of London(人工智能研究中心(CitAI)、计算机科学系、圣乔治城大学)
本文提出将Hebbian学习整合到CNNs中,结合硬WTA竞争、高斯侧抑制和BCM规则构建最优架构,在CIFAR-10等数据集上性能媲美反向传播,提升了表示的生物学合理性与泛化能力。
2025-03-28 cs.CV cs.NE
A Novel Transfer Learning Approach upon Hindi, Arabic, and Bangla Numerals using Convolutional Neural Networks
University of Asia Pacific(亚太大学)
提高手写字符识别预测模型的准确性将为光学字符识别开辟新的领域。预测性机器学习模型的主要缺点是一些模型所花费的延长的训练时间,以及训练和测试数据在相同特征空间中并且由相同分布组成的要求。在这项研究中,这些障碍是最小化的知识从一个任务转移到另一个模型。该模型是为识别手写体数字在印度的语言。该模型利用卷积神经网络与反向传播的错误减少和数据过拟合的辍学。所提出的神经网络的输出性能被证明具有密切匹配的其他国家的最先进的方法,使用的时间只有一小部分的国家的最先进的。
2017-07-26 cs.CV
Prediction of Electric Multiple Unit Fleet Size Based on Convolutional Neural Network
Beijing Jiaotong University(北京交通大学)
随着我国高速铁路网的扩大和旅客运输需求的增长,我国电动车组的车队规模需要相应调整。通常,一列EMU训练花费数千万美元,这构成了资本投资的很大一部分。因此,动车组规模的预测越来越受到铁路相关部门的重视。本文首先介绍了卷积神经网络(CNN)的典型结构及其基本理论。然后,对客运量、高速铁路运营里程等9项指标的数据进行采集和预处理。其次,构建了CNN和反向传播神经网络(BPNN),并对其进行了训练,以预测未来几年的动车组车队规模。在计算实验中,深入分析了这两种网络的差异和性能。结果表明,CNN的泛化能力和拟合精度均优于BP神经网络,CNN可作为动车组规模预测的辅助工具。
2018-09-03 cs.CV
A Connectome Based Hexagonal Lattice Convolutional Network Model of the Drosophila Visual System
Institute of Neuroinformatics(神经信息学研究所);University of Zurich and ETH Zurich(苏黎世大学与苏黎世联邦理工学院);Janelia Research Campus(珍妮莉亚研究园区)
我们能从连接体中学到什么?我们建立了一个简化模型的前两个阶段的苍蝇视觉系统,板和髓质。由此产生的六边形格子卷积网络使用时间反向传播进行训练,以在自然场景视频中执行对象跟踪。用连接体重建的权重初始化的网络自动发现了T4神经元及其输入中众所周知的方向和方向选择性特性,而随机初始化的网络则没有。我们的工作是第一个证明,连接体的知识可以使在硅片上预测电路中单个神经元的功能特性,导致从结构单独的电路功能的理解。
2018-06-24 cs.CV q-bio.NC
SymNet: Symmetrical Filters in Convolutional Neural Networks
Fresno State University(弗雷斯诺州立大学)
对称性存在于自然界和科学中。在图像处理中,用于空间滤波的核具有某种对称性(例如,Sobel算子、高斯算子、拉普拉斯算子)。人工前馈神经网络中的卷积层通常在没有任何约束的情况下考虑核权重。在本文中,我们建议调查的对称性约束的影响,卷积层的图像分类任务,我们的灵感来自初级视觉皮层和常见的图像处理技术。目标是评估在卷积神经网络(CNN)的整个训练过程中,通过修改反向传播算法期间执行的权重更新,对滤波器实施对称约束的可能程度,并评估性能变化。本文的主要假设是对称约束减少了网络中自由参数的数量,并且能够实现与现代训练方法几乎相同的性能。特别是,我们解决了以下情况:x/y轴对称,点反射和反点反射。的性能进行了评估的四个数据库的图像。结果支持的结论是,虽然随机权重提供了更多的自由度的模型,对称性约束提供了类似的性能水平,同时大大减少了自由参数的模型中。这种方法在整个特征提取过程中需要线性相位特性的相位敏感应用中是有价值的。
2019-06-10 cs.CV cs.LG
Training Convolutional Neural Networks With Hebbian Principal Component Analysis
University of Pisa(比萨大学);ISTI - CNR(意大利国家研究委员会信息科学与技术研究所)
最近的研究表明,在训练深度卷积神经网络时,生物学上合理的Hebbian学习可以与反向传播学习(backprop)相结合。特别地,已经表明赫布学习可以用于训练神经网络的较低层或较高层。例如,Hebbian学习对于重新训练预训练的深度神经网络的更高层是有效的,实现了与W.R.T. SGD,而需要较少的训练时期,建议潜在的应用迁移学习。在本文中,我们建立在这些结果的基础上,我们进一步改进了Hebbian学习在这些设置中,通过使用非线性Hebbian主成分分析(HPCA)学习规则,在Hebbian赢家通吃(HWTA)的策略在以前的工作中使用。我们在计算机视觉的背景下测试这种方法。特别地,HPCA规则用于训练卷积神经网络,以便从CIFAR-10图像数据集提取相关特征。我们探索的HPCA变体进一步改进了以前的结果,激发了人们对生物学上合理的学习算法的进一步兴趣。
2020-12-22 cs.CV
Disease Classification within Dermascopic Images Using features extracted by ResNet50 and classification through Deep Forest
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
在本报告中,我们提出了一种皮肤病变图像的分类技术,作为我们提交的ISIC 2018皮肤病变分析黑色素瘤检测挑战赛的一部分。我们的数据来自ISIC 2018:皮肤病变分析对黑色素瘤检测大挑战数据集。通过卷积神经网络提取特征,在我们的案例中是ResNet 50,然后使用这些特征,我们训练具有级联层的DeepForest,以对我们的皮肤病变图像进行分类。我们知道,卷积神经网络是图像表示学习的最先进技术,卷积滤波器通过反向传播学习从图像中检测特征。然后,这些特征通常被馈送到分类器,如softmax层或其他此类分类器用于分类任务。在我们的例子中,我们没有使用传统的反向传播方法,而是训练一个softmax层来进行分类。相反,我们使用Deep Forest,这是一种新的决策树集成方法,在广泛的任务中,它的性能与深度神经网络具有很强的竞争力。因此,我们使用ResNet50从皮肤病变图像中提取特征,然后使用Deep Forest对这些图像进行分类。之所以使用这种方法,是因为人们发现Deep Forest在只有小规模训练数据可用的领域非常有效。此外,由于Deep Forest网络本身决定了它的复杂性,它也迎合了我们在这个问题中面临的数据集不平衡的问题。
2018-07-25 cs.CV
Learning Efficient Convolutional Networks through Irregular Convolutional Kernels
Central University of Finance and Economics(中央财经大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Watrix technology limited co. ltd(Watrix科技有限公司)
随着深度神经网络越来越多地用于适合于低功耗设备的应用中,一个基本的困境变得明显:趋势是增长模型以吸收增加的数据,这会导致内存密集型;然而,低功耗设备被设计为具有非常有限的内存,无法存储大型模型。参数修剪对于低功耗设备上的深度模型部署至关重要。现有的努力主要集中在设计高效的结构或修剪冗余连接的网络。它们通常对任务敏感,或者依赖于专用且昂贵的哈希存储策略。在这项工作中,我们介绍了一种新的方法来实现一个轻量级的模型,从重建卷积核的结构和有效的存储的观点。我们的方法将传统的平方卷积核转换为线段,并自动学习适当的策略来装备这些线段以模拟不同的特征。实验结果表明,我们的方法可以大量减少参数(在DenseNet-40上修剪69%)和计算(在DenseNet-40上修剪59%)的数量,同时保持可接受的性能(仅损失不到2%的准确度)。
2019-09-29 cs.CV
Testing the robustness of attribution methods for convolutional neural networks in MRI-based Alzheimer's disease classification
Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Freie Universität Berlin(柏林自由大学);Humboldt-Universität zu Berlin(柏林洪堡大学);Berlin Institute of Health (BIH)(柏林健康研究所)
归因方法是一种易于使用的工具,用于调查和验证机器学习模型。文献中提出了多种方法,但尚不清楚哪种方法最适合特定任务。在这项研究中,我们测试了四种属性方法的鲁棒性,即梯度 * 输入,引导反向传播,逐层相关传播和遮挡,用于阿尔茨海默病分类的任务。我们使用相同的训练设置反复训练卷积神经网络(CNN),以分离阿尔茨海默病患者和健康对照的结构MRI数据。之后,我们为测试数据中的每个受试者制作了归因图,并在模型和归因方法之间进行了定量比较。我们表明,视觉比较是不够的,一些广泛使用的归因方法产生高度不一致的结果。
2019-09-19 cs.CV eess.IV
End-to-End Deep Convolutional Active Contours for Image Segmentation
University of California, Los Angeles(加州大学洛杉矶分校)
活动轮廓模型(ACM)是一种标准的图像分析技术,其众多的变体吸引了多个领域的大量研究关注。然而,不正确的是,ACM的基于微分方程的公式化和对用户初始化的原型依赖性被认为与最近流行的图像分割的深度学习方法在很大程度上不兼容。本文介绍了这两种范式的第一个紧密统一。特别是,我们设计了深度卷积活动轮廓(DCAC),这是一个真正的端到端可训练图像分割框架,包括卷积神经网络(CNN)和具有可学习参数的ACM。ACM的欧拉能量泛函包括由骨干CNN预测的每像素参数图,其也对ACM进行了建模。重要的是,CNN和ACM组件都在TensorFlow中完全实现,整个DCAC架构是端到端自动可区分和反向传播可训练的,无需用户干预。作为一个具有挑战性的测试案例,我们解决了在航拍图像中构建实例分割的问题,并在两个公开的数据集Vaihingen和Bing Huts上评估DCAC。我们的研究结果表明,对于建筑分割,DCAC建立了一个新的国家的最先进的性能,由一个很大的利润。
2019-10-04 cs.CV
Attention-based Temporal Weighted Convolutional Neural Network for Action Recognition
Xi’an Jiaotong University(西安交通大学);HERE Technologies(HERE科技);Alibaba Group(阿里巴巴集团);Microsoft Research(微软研究院)
自从卷积神经网络(CNN)等强大的机器学习工具问世以来,人类动作识别的研究速度显著加快。然而,在最近的文献中,将时间信息并入CNN的有效和高效的方法仍在积极探索中。受自然语言处理研究领域中流行的递归注意模型的启发,本文提出了基于注意的时间加权CNN(ATW),它将视觉注意模型嵌入到时间加权的多流CNN中。这种注意力模型简单地实现为时间加权,但它有效地提高了视频表示的识别性能。此外,建议的ATW框架中的每个流都能够进行端到端的训练,网络参数和时间权重都通过具有反向传播的随机梯度下降(SGD)进行优化。我们的实验表明,所提出的注意力机制的性能增益与更多的歧视性片段,专注于更相关的视频片段。
2018-03-19 cs.CV
Handwritten Character Recognition Using Unique Feature Extraction Technique
手写体字符识别是图像处理中最困难和最具吸引力的领域之一。在本文中,我们提出了一种特征提取技术,它是一个独特的几何特征,基于区域的混合,梯度特征提取方法和三个不同的神经网络,即多层感知器网络使用反向传播算法(MLP BP)的组合,使用Levenberg-Marquardt算法的多层感知器网络(MLP LM)和卷积神经网络(CNN)它与最小距离分类器(MDC)一起实现。该程序导致的结论是,所提出的特征提取算法是更准确的比它的个别同行,也是卷积神经网络是最有效的神经网络的三个考虑。
2020-01-13 cs.CV
Unsupervised Learning using Pretrained CNN and Associative Memory Bank
Louisiana State University(路易斯安那州立大学)
从综合标记数据集中提取的深度卷积特征包含大量表示,可以有效地用于新领域。尽管通用特征在许多视觉任务中取得了良好的效果,但需要进行微调,使预训练的深度CNN模型更有效,并提供最先进的性能。在监督设置中使用反向传播算法的微调是一个耗时和资源消耗的过程。在本文中,我们提出了一种用于无监督对象识别的新架构和方法,该方法通过与预训练的基于CNN的监督深度学习方法相关的微调来解决上述问题,同时允许自动特征提取。与现有的作品,我们的方法是适用于一般的对象识别任务。它使用一个预训练的(在相关域)CNN模型自动特征提取流水线与Hopfield网络为基础的关联存储体存储模式的分类目的。在我们的框架中使用关联存储体可以消除反向传播,同时在看不见的数据集上提供有竞争力的性能。
2018-05-02 cs.CV cs.LG stat.ML
Recursive Training of 2D-3D Convolutional Networks for Neuronal Boundary Detection
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
从3D电子显微镜(EM)脑图像自动重建神经回路的努力对于连接组学领域至关重要。重建的一个重要计算是神经元边界的检测。由连续切片EM(一种领先的3D EM技术)获得的图像是高度各向异性的,沿着第三维具有较差的质量。对于这样的图像,2D最大池化卷积网络已经为边界检测的性能设定了标准。在这里,我们通过三项创新实现了准确性的大幅提高。随着对象识别网络深度的趋势,我们使用了比以前更深的网络来进行边界检测。其次,我们结合了3D和2D过滤器,以实现使用3D上下文的计算。最后,我们采用了一种递归训练的架构,其中第一个网络生成一个初步的边界图,该边界图与原始图像一起作为输入提供给第二个网络,第二个网络生成最终的边界图。反向传播训练由ZNN加速,ZNN是3D卷积网络的新实现,使用多核CPU并行来提高速度。我们的混合2D-3D架构可以更普遍地适用于其他类型的各向异性3D图像,包括视频,以及我们的递归框架的任何图像标记问题。
2015-08-20 cs.CV
Hybrid of DiffStride and Spectral Pooling in Convolutional Neural Networks
University of Brawijaya(布拉维贾亚大学)
本文提出将可学习步长的 DiffStride 与频域谱池化相结合的 CNN 下采样混合方法,并在 ResNet 18 上验证其准确率比单独使用 DiffStride 提高 0.0094。
2024-01-17 cs.AI cs.CV
Bio-inspired digit recognition using reward-modulated spike-timing-dependent plasticity in deep convolutional networks
University of Tehran(德黑兰大学);CNRS(法国国家科学研究中心);Université Toulouse 3(图卢兹第三大学)
灵长类动物的视觉系统激发了深度人工神经网络的发展,它彻底改变了计算机视觉领域。然而,这些网络的能效比生物网络低得多,而且它们通常是用反向传播训练的,这是非常需要数据的。为了解决这些限制,我们使用了深度卷积脉冲神经网络(DCSNN)和延迟编码方案。我们使用较低层的尖峰时间依赖可塑性(STDP)和较高层的奖励调制STDP(R-STDP)进行训练。简而言之,R-STDP是一个正确的(相应地,错误)决定导致STDP(或抗STDP)。这种方法导致MNIST上的$97.2\%$的准确性,而不需要外部分类器。此外,我们证明了R-STDP提取的特征是诊断手头的任务,并丢弃其他的,而STDP提取任何重复的特征。最后,我们的方法在生物学上是合理的,硬件友好,节能。
2019-05-27 cs.CV q-bio.NC
Effect of Architectures and Training Methods on the Performance of Learned Video Frame Prediction
Koc University(科奇大学)
我们分析了前馈与递归神经网络(RNN)架构的性能以及用于学习帧预测的相关训练方法。为此,我们训练了一个残差全卷积神经网络(FCNN)、一个卷积RNN(CRNN)和一个卷积长短期记忆(CLSTM)网络,用于使用均方损失进行下一帧预测。我们对递归网络进行了无状态和有状态训练。实验结果表明,残差FCNN架构在峰值信噪比(PSNR)方面表现最好,但代价是较高的训练和测试(推理)计算复杂性。CRNN可以稳定和非常有效地使用状态截断反向传播通过时间过程训练,它需要一个数量级的推理运行时间,以实现近实时帧预测与可接受的性能。
2020-08-13 cs.CV eess.IV
Targeted Kernel Networks: Faster Convolutions with Attentive Regularization
Carnegie Mellon University(卡内基梅隆大学)
我们提出了注意正则化(AR),这是一种将卷积神经网络(CNN)中内核的激活映射约束到特定感兴趣区域(ROI)的方法。每个内核通过标准的反向传播学习专门化的位置及其权重。使用不需要额外监督的可区分的注意力机制来优化ROI。不同类型和结构的传统CNN可以通过这种思想修改为等效的目标内核网络(TKN),同时保持网络大小几乎相同。通过限制内核ROI,我们减少了在整个网络的前向传递中执行的滑动卷积操作的数量,从而加快了训练和推理的速度。我们评估我们提出的架构在多个领域的合成和自然的任务。TKN在基线上获得了显着的改进,需要更少的计算(大约一个数量级),同时实现卓越的性能。
2018-09-21 cs.CV
Superpixel Convolutional Networks using Bilateral Inceptions
Bernstein Center for Computational Neuroscience(伯恩斯坦计算神经科学中心);Université Paris-Est(巴黎东部大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在本文中,我们提出了一个CNN架构的语义图像分割。我们引入了一个新的“双边初始”模块,该模块可以插入现有的CNN架构中,并在图像中的超像素之间以多个特征尺度执行双边滤波。双边滤波的特征空间和模块的其他参数是使用标准反向传播技术端到端学习的。双边起始模块解决了一般CNN分割架构中出现的两个问题。首先,该模块在(超)像素之间传播信息,同时考虑图像边缘,从而使用问题的结构化信息来改进结果。其次,该层从CNN的较低分辨率解恢复全分辨率分割结果。在实验中,我们通过在最后的CNN(1x1卷积)层之间插入我们的inception模块来修改几个现有的CNN架构。在三个不同数据集上的实证结果显示,不仅与基线网络相比,而且与CRF等几种密集像素预测技术相比,都有可靠的改进,同时在时间上具有竞争力。
2016-08-08 cs.CV
Flyweight FLIM Networks for Salient Object Detection in Biomedical Images
Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学计算机研究所);Institute of Computing Sciences, Pontifical Catholic University of Minas Gerais(米纳斯吉拉斯州天主教大学计算科学研究所);University of Rennes(雷恩大学);IRISA(IRISA研究所);Inria(法国国家信息与自动化研究所)
针对深度学习SOD在资源受限生物医学场景中的计算与数据问题,本研究提出无需反向传播的FLIM轻量级网络,通过学习扩张可分离卷积核、简化网络并结合自适应解码器,实现了效率优于轻量模型、效果媲美重量级模型的生物医学图像显著目标检测。
2025-04-15 cs.CV
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.(LeapMind公司);Woven by Toyota, Inc.(丰田旗下Woven公司);Mirai Hoshu K.K.(Mirai Hoshu株式会社)
提出像素嵌入方法,通过可微查找表将输入像素替换为低比特向量,实现完全量化神经网络,在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study
BITS Pilani, Goa Campus(贝拉理工学院果阿校区)
我们提出了一个尖峰卷积神经网络(SCNN),它结合了视网膜中央凹坑启发高斯滤波器和秩序编码的差异。该模型使用反向传播算法的变体进行训练,该算法适用于尖峰神经元,如Nengo库中所实现的。我们已经评估了我们的模型在两个公开的数据集上的性能-一个用于数字识别任务,另一个用于车辆识别任务。该网络的准确率高达90%,其中损失是使用交叉熵函数计算的。这比在没有任何种类的神经过滤的情况下执行分类的替代方法获得的大约57%的准确度有所提高。总的来说,我们的概念验证研究表明,在现有的SCNN架构中引入生物学上合理的过滤将很好地处理嘈杂的输入图像,例如我们的车辆识别任务中的图像。基于我们的研究结果,我们计划通过在排序之前集成基于横向抑制的冗余减少来增强我们的SCNN,这将进一步提高网络的分类准确性。
2021-05-29 cs.AI cs.CV
Long-term Recurrent Convolutional Networks for Visual Recognition and Description
UC Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所);UT Austin(德克萨斯大学奥斯汀分校);UMass Lowell(马萨诸塞大学洛厄尔分校)
基于深度卷积网络的模型主导了最近的图像判读任务;我们研究了也是循环的或“时间深度”的模型是否对涉及序列、视觉和其他方面的任务有效。我们开发了一种新的递归卷积架构,适用于端到端可训练的大规模视觉学习,并展示了这些模型在基准视频识别任务、图像描述和检索问题以及视频叙事挑战上的价值。与假设固定的时空感受野或简单的时间平均用于顺序处理的当前模型相比,递归卷积模型是“双深”的,因为它们可以在空间和时间“层”中组合。当目标概念复杂和/或训练数据有限时,这样的模型可能具有优势。当非线性被纳入网络状态更新时,学习长期依赖性是可能的。长期RNN模型的吸引力在于它们可以直接映射可变长度的输入(例如,视频帧)到可变长度输出(例如,自然语言文本),并且可以对复杂的时间动态进行建模;然而,它们可以用反向传播进行优化。我们的周期性长期模型直接连接到现代视觉convnet模型,并且可以联合训练,以同时学习时间动态和卷积感知表示。我们的研究结果表明,这些模型具有明显的优势,国家的最先进的模型识别或生成的单独定义和/或优化。
2016-05-31 cs.CV