SBPF: Sensitiveness Based Pruning Framework For Convolutional Neural Network On Image Classification
Xidian University(西安电子科技大学)
剪枝技术被广泛用于压缩卷积神经网络(CNN)的图像分类。然而,大多数剪枝方法需要一个良好的预训练模型来提供有用的支持参数,如C1范数,BatchNorm值和梯度信息,如果预训练模型的参数没有得到很好的优化,这可能会导致滤波器评估的不一致性。因此,我们提出了一种基于灵敏度的方法来评估每一层的重要性,从推理精度的角度来看,增加额外的损害,为原来的模型。由于准确度的性能是由所有层上的参数分布而不是单个参数决定的,因此基于灵敏度的方法对参数更新具有鲁棒性。也就是说,我们可以在未经训练的模型和完全训练的模型之间获得每个卷积层的相似重要性评估。对于CIFAR-10上的VGG-16,即使原始模型只训练了50个epoch,我们也可以得到与模型完全训练时相同的层重要性评估。然后,我们将删除过滤器从每一层的量化灵敏度成比例。我们的基于敏感性的剪枝框架在VGG-16,定制的Conv-4和ResNet-18上分别使用CIFAR-10,MNIST和CIFAR-100进行了有效验证。
2022-08-09 cs.AI cs.CV
WHC: Weighted Hybrid Criterion for Filter Pruning on Convolutional Neural Networks
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
滤波器剪枝由于其在压缩和加速卷积神经网络方面的能力,近年来受到越来越多的关注。各种数据无关的标准,包括范数为基础的和关系为基础的,提出了修剪最不重要的过滤器。然而,这些国家的最先进的标准,未能充分考虑到过滤器的相异性,因此可能会导致性能下降。本文首先通过实例分析了基于关系准则的局限性,然后提出了一种新的与数据无关的准则-加权混合准则(WHC),以解决基于范数准则和基于关系准则的问题。通过考虑每个滤波器的大小和滤波器之间的线性相关性,WHC可以鲁棒地识别最冗余的滤波器,这些滤波器可以被安全地修剪而不会对网络引入严重的性能下降。大量的修剪实验,在一个简单的一次性的方式证明了建议的WHC的有效性。特别是,WHC可以在ImageNet上修剪ResNet-50,减少超过42%的浮点运算,而不会在前5名的准确性方面造成任何性能损失。
2023-02-16 cs.AI cs.CV
Blending Pruning Criteria for Convolutional Neural Networks
Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);Northwestern University(西北大学);Purdue University(普渡大学)
卷积神经网络(CNN)在各种视觉应用中的进步引起了人们的广泛关注。然而,大多数CNN无法满足实际部署的严格要求。为了克服这一问题,近年来流行的网络剪枝是一种有效的方法来减少模型的冗余。然而,根据过滤器在不同修剪标准上的“重要性”对过滤器的排名可能不一致。一个过滤器可能根据某个标准是重要的,而根据另一个标准是不必要的,这表明每个标准只是全面“重要性”的一部分。从这个动机,我们提出了一个新的框架来整合现有的过滤器修剪标准,探索标准的多样性。该框架包括两个阶段:标准聚类和过滤器重要性校准。首先,我们通过基于“重要性”得分的等级的分层聚类来浓缩修剪标准。其次,在每个聚类中,我们提出了一个校准因子来调整它们对每个选定的混合候选者的重要性,并通过进化算法搜索最佳的混合标准。CIFAR-100和ImageNet基准测试的定量结果表明,我们的框架优于最先进的基线,在修剪后重新分级为紧凑模型性能。
2021-07-11 cs.AI cs.CV cs.LG
SST-GCN: The Sequential based Spatio-Temporal Graph Convolutional networks for Minute-level and Road-level Traffic Accident Risk Prediction
Yonsei University(延世大学);Hanyang University(汉阳大学)
本文提出了结合GCN和LSTM的SST-GCN模型,通过捕捉道路的时空特征,实现了分钟级和道路级的交通事故风险预测,并在首尔道路数据集上验证了其优于其他先进模型的性能。
2024-06-03 cs.AI
Pruning Convolutional Filters using Batch Bridgeout
University of Saskatchewan(萨斯喀彻温大学)
最先进的计算机视觉模型的容量正在迅速增加,其中参数的数量远远超过拟合训练集所需的数量。这将导致更好的优化和泛化性能。然而,当代模型的巨大规模导致了巨大的推理成本,并限制了它们在资源有限的设备上的使用。为了降低推理成本,可以修剪训练的神经网络中的卷积滤波器,以减少推理期间的运行时存储器和计算需求。然而,如果训练算法导致密集的权重向量,则严重的训练后修剪会导致性能下降。我们提出了使用批量桥接,稀疏诱导随机正则化计划,训练神经网络,使他们可以有效地修剪性能下降最小。我们在CIFAR图像分类任务上对常见的计算机视觉模型VGGNet,ResNet和Wide-ResNet进行了评估。对于所有网络,实验结果表明,与Dropout和权重衰减正则化相比,Batch Bridgeout训练的网络在广泛的修剪强度范围内实现了更高的准确性。
2020-09-23 cs.AI cs.CV cs.LG
Traffic Congestion Prediction using Deep Convolutional Neural Networks: A Color-coding Approach
随着计算机视觉的发展,交通视频数据已成为制约交通拥堵状况的关键因素。这项工作提出了一种独特的技术,交通视频分类使用颜色编码方案之前,在深卷积神经网络的交通数据。首先,将视频数据转换为图像数据集;然后,使用You Only Look Once算法执行车辆检测。采用颜色编码方案将图像数据集转换为二值图像数据集。这些二进制图像被馈送到深度卷积神经网络。使用UCSD数据集,我们获得了98.2%的分类准确率。
2022-09-16 cs.AI cs.CV
An Experimental Study of the Impact of Pre-training on the Pruning of a Convolutional Neural Network
University of Mons(蒙斯大学);IP Paris(巴黎理工学院)
近年来,深度神经网络在各种应用领域取得了广泛的成功。然而,它们需要重要的计算和内存资源,这严重阻碍了它们的部署,特别是在移动设备或实时应用程序上。神经网络通常涉及大量的参数,这些参数对应于网络的权值。这样的参数,获得的帮助下的训练过程中,是决定性的网络的性能。然而,它们也是高度冗余的。修剪方法特别试图通过识别和移除不相关的权重来减小参数集的大小。在本文中,我们研究的影响,培训策略的修剪效率。考虑并比较了两种培训模式:(1)微调和(2)从头开始。在四个数据集(CIFAR10,CIFAR100,SVHN和Caltech101)和两个不同的CNN(VGG16和MobileNet)上获得的实验结果表明,在大型语料库(例如ImageNet)上进行预训练然后在特定数据集上进行微调的网络可以比从头开始训练的相同网络更有效地修剪(高达80%的参数减少)。
2021-12-15 cs.AI cs.CV
Convolutional Neural Network Compression via Dynamic Parameter Rank Pruning
Rochester Institute of Technology(罗切斯特理工学院);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出一种基于动态参数秩剪枝的 CNN 压缩方法,利用 SVD 分解和正则化技术实现端到端训练,在多个 ResNet 模型和数据集上验证了其在保持或提升分类性能的同时显著节省存储。
2024-01-15 cs.AI cs.CV
Attention-based Spatial-Temporal Graph Convolutional Recurrent Networks for Traffic Forecasting
Soochow University(苏州大学);University of North Carolina at Greensboro(北卡罗来纳大学格林斯伯勒分校);The Hong Kong Polytechnic University(香港理工大学)
交通量预测是交通科学和人工智能研究中最基本的问题之一。关键的挑战是有效地建模复杂的时空依赖性和现代交通数据的相关性。然而,现有的方法,不能同时准确地建模长期和短期的时间相关性,限制了他们的表达能力复杂的时空模式。本文提出了一种新的时空神经网络框架:基于注意力的时空图卷积递归网络(ASTGCRN),它由图卷积递归模块(GCRN)和全局注意力模块组成。特别是,GCRN集成了门控递归单元和自适应图卷积网络,用于动态学习图结构并捕获空间依赖性和局部时间关系。为了有效地提取全局时间依赖,设计了时间注意层,并将其实现为三个独立的模块,分别基于多头自注意、Transformer和Informer。在五个真实流量数据集上进行的大量实验表明,我们的三种模型都具有出色的预测性能,其平均MAE,RMSE和MAPE在测试数据集上均低于基线方法。
2023-02-25 cs.AI cs.LG
Adaptive Multi-receptive Field Spatial-Temporal Graph Convolutional Network for Traffic Forecasting
China Mobile Research Institute(中国移动研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
移动网络流量预测是移动网络日常运营中的重要功能之一。商用移动网络是一个庞大、异构、复杂和动态的网络。这些内在特征使得移动网络流量预测远未解决,即使使用最近的先进算法,例如基于图卷积网络的预测方法和各种注意力机制,这些算法在车辆流量预测中已被证明是成功的。在本文中,我们投的问题作为一个时空序列预测任务。我们提出了一种新的深度学习网络架构,自适应多感受野时空图卷积网络(AMF-STGCN),以模拟移动基站的流量动态。AMF-STGCN通过以下方式扩展了GCN:(1)联合建模移动网络中复杂的时空依赖性,(2)应用注意力机制来捕获异构基站的各种接收场,以及(3)引入基于完全连接的深度网络的额外解码器,以克服多步预测的错误传播挑战。在来自两个不同领域的四个真实数据集上的实验一致表明AMF-STGCN优于最先进的方法。
2021-11-01 cs.AI cs.LG
Bayesian Graph Convolutional Network for Traffic Prediction
最近,基于自适应图卷积网络的流量预测方法,通过各种基于注意力的机制从流量数据中学习潜在图结构,已经取得了令人印象深刻的性能。然而,他们仍然是有限的,以找到一个更好的描述交通条件之间的空间关系,由于:(1)忽略了观察到的道路网络的拓扑结构的先验;(2)忽略了负的空间关系的存在;(3)缺乏调查的不确定性的图形结构。在本文中,我们提出了一个贝叶斯图卷积网络(BGCN)的框架,以减轻这些问题。在此框架下,图结构被视为一个随机实现的参数生成模型,其后验推断使用观察到的拓扑结构的道路网络和交通数据。具体来说,参数生成模型由两部分组成:(1)一个常数邻接矩阵,它使用贝叶斯方法从观察到的道路之间的物理连接中发现潜在的空间关系;(2)一个可学习的邻接矩阵,它以端到端的方式从交通数据中学习全局共享空间相关性,并可以对负空间相关性进行建模。然后,通过对参数图结构执行蒙特卡罗丢弃来近似图结构的后验。我们验证了我们的方法在五个真实世界的数据集上的有效性,实验结果表明,BGCN达到优越的性能相比,国家的最先进的方法。
2021-04-01 cs.AI cs.LG
Graph Convolutional Networks for Traffic Forecasting with Missing Values
Technology Innovation Institute(技术创新研究院);Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会)
交通预测近来引起了广泛的关注。实际上,流量数据通常包含由于传感器或通信错误而导致的缺失值。交通数据中的时空特征为处理此类缺失值带来了更多挑战,经典技术(例如,数据估算)有限:1)在时间轴上,数值可以随机或连续缺失; 2)在空间轴上,缺失值可以发生在单个传感器上,也可以同时发生在多个传感器上。基于图神经网络的最新模型在交通预测任务上取得了令人满意的性能。然而,它们中很少有适用于这样一个复杂的缺失值上下文。为此,我们提出了GCN-M,一个图卷积网络模型,能够处理复杂的缺失值的时空背景下。特别是,我们联合模型的缺失值处理和交通预测任务,同时考虑本地时空特征和全球的历史模式在基于注意力的记忆网络。我们还提出了一个动态图学习模块的基础上学习的局部-全局功能。在真实数据集上的实验结果表明了该方法的可靠性。
2022-12-13 cs.AI cs.LG
Dynamic Spatiotemporal Graph Convolutional Neural Networks for Traffic Data Imputation with Complex Missing Patterns
The University of Hong Kong(香港大学);McGill University(麦吉尔大学)
缺失数据是智能交通系统中交通数据汇集不可避免且普遍存在的问题。尽管交通数据插补的研究已经取得了很大的进展,但仍存在两个不足:一是现有的方法未能捕捉到交通数据中复杂的时空相关性,尤其是随时间演化的动态空间相关性;二是现有的研究主要集中在随机缺失模式上,而对其他更复杂的缺失场景的研究较少。为了填补这些研究空白,我们提出了一种新的深度学习框架,称为动态时空图卷积神经网络(DSTGCN)来估算丢失的流量数据。该模型结合了递归架构和基于图的卷积来建模时空依赖性。此外,我们引入了一个图结构估计技术,从实时交通信息和道路网络结构的动态空间依赖性建模。基于两个公共交通速度数据集进行了广泛的实验,以比较我们提出的模型与最先进的深度学习方法在四种类型的缺失模式。实验结果表明,在各种缺失场景下,我们提出的模型都优于现有的深度学习模型,图结构估计技术有助于提高模型性能。我们进一步将我们提出的模型与张量因子分解模型进行比较,并发现在不同的训练方案和数据可用性下不同模型家族的不同行为。
2021-09-17 cs.AI cs.LG
Irregular Traffic Time Series Forecasting Based on Asynchronous Spatio-Temporal Graph Convolutional Network
HKUST(GZ)(香港科技大学(广州));Baidu Research(百度研究院);HKUST(香港科技大学);Arizona State University(亚利桑那州立大学);Baidu Inc.(百度公司)
针对自适应信号导致的不规则交通时间序列预测难题,提出异步时空图卷积网络ASeer,通过异步图扩散、个性化时间编码、可变形时间感知卷积与半自回归预测,有效捕捉异步时空依赖并预测变长序列,在六项指标上优于十二个基线。
2024-08-27 cs.AI cs.LG
Edge AI: Evaluation of Model Compression Techniques for Convolutional Neural Networks
University of Bath(巴斯大学)
本文在CIFAR-10上评估ConvNeXt模型的结构化剪枝、非结构化剪枝和动态量化等压缩技术,结合OTOV3与动态量化实现规模缩减89.7%、参数和MACs缩减95%且准确率提升3.8%,并在边缘设备上验证了高准确率和低推理延迟。
2024-09-02 cs.AI cs.CV cs.LG
Laplacian Convolutional Representation for Traffic Time Series Imputation
Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学);University of Central Florida(中佛罗里达大学)
针对时空交通数据补全问题,本研究提出低秩拉普拉斯卷积表示(LCR)模型,结合拉普拉斯核时间正则化与循环矩阵核范数,通过FFT高效求解,在多数据集上优于基线模型,适用于大规模数据补全。
2024-06-24 cs.AI cs.LG
Multi-graph Spatio-temporal Graph Convolutional Network for Traffic Flow Prediction
North China University of Technology(北方工业大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
本文针对公路日交通流预测中的数据不平衡和时空因素复杂问题,提出一种多图时空图卷积网络方法,结合数据归一化、多语义图卷积及气象日历特征,在省级高速公路上验证了其优于基线方法的预测精度和业务价值。
2023-08-10 cs.AI cs.LG
MA2GCN: Multi Adjacency relationship Attention Graph Convolutional Networks for Traffic Prediction using Trajectory data
Northeastern University, China(东北大学)
本文提出MA2GCN模型,将车辆轨迹数据转化为网格图结构,结合车辆进出矩阵、自适应邻接矩阵与注意力模块,利用门控时间卷积和图卷积提取时空信息,在上海出租车GPS轨迹数据集上取得最优交通拥堵预测性能。
2024-01-18 cs.AI cs.LG
Accuracy-Constrained CNN Pruning for Efficient and Reliable EEG-Based Seizure Detection
针对基于EEG的癫痫发作检测中CNN模型体积大、计算需求高的问题,提出结合轻度早停的结构化剪枝轻量级一维CNN,剪枝50%后仍保持性能并小幅提升精确率与宏F1,为资源受限场景下的高效可靠检测提供可行方案。
2025-09-05 cs.AI cs.LG
Traffic Density Estimation using a Convolutional Neural Network
ETH Zurich(苏黎世联邦理工学院);University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
该项目的目标是介绍和展示一个机器学习应用程序,旨在提高新加坡人民的生活质量。特别是,我们研究了使用机器学习解决方案来解决新加坡的交通拥堵问题。用外行人的话来说,我们寻求使新加坡(或任何其他城市)成为一个更顺畅的地方。为了实现这一目标,我们提出了一个端到端的系统,包括1。交通密度估计算法在交通灯/路口和2。一种适当的交通信号控制算法,其利用密度信息进行更好的交通控制。可以使用各种机器学习技术(与CV工具组合)从交通路口图像获得交通密度估计。在研究了各种先进的机器学习方法后,我们决定使用卷积神经网络(CNN)。我们对我们的算法进行了实验,使用陆路交通管理局(LTA)公布的公开可用的交通摄像机数据集,以证明这种方法的可行性。有了这些交通密度估计值,可以应用不同的交通算法来最大限度地减少交通路口的拥堵。
2018-09-05 cs.AI cs.CV cs.LG
DANCE: Dynamic 3D CNN Pruning: Joint Frame, Channel, and Feature Adaptation for Energy Efficiency on the Edge
School of Electrical and Computer Engineering, Georgia Tech(佐治亚理工学院电气与计算机工程学院)
本文提出DANCE框架,通过动态剪枝提升3D CNN在边缘计算中的能效,通过激活方差放大和自适应激活剪枝实现高效资源利用,实验显示在Jetson Nano和Snapdragon 8 Gen 1平台达到1.37X和2.22X的速度提升。
2026-03-18 cs.AI cs.CV
ESGCN: Edge Squeeze Attention Graph Convolutional Network for Traffic Flow Forecasting
Yonsei University(延世大学)
针对交通流的动态时空依赖问题,提出ESGCN,通过多尺度节点卷积、边缘注意力GCN、自适应邻接矩阵和节点对比损失提升预测性能。
2023-07-12 cs.AI cs.LG
Multistep Speed Prediction on Traffic Networks: A Graph Convolutional Sequence-to-Sequence Learning Approach with Attention Mechanism
Tsinghua University(清华大学);University of Washington(华盛顿大学)
道路网络的多步交通预测是智能交通系统成功应用的关键。为了捕捉多步交通状况预测中复杂的非平稳时间动态和空间依赖性,我们提出了一种新的深度学习框架,称为注意力图卷积序列到序列模型(AGC-Seq 2Seq)。在该深度学习框架中,分别采用Seq 2Seq模型和图卷积网络对空间和时间依赖性进行建模,并提出了基于Seq 2Seq架构的注意力机制和新设计的训练方法,以克服多步预测的困难,进一步捕捉流量模式的时间异质性。我们使用真实世界的数据集进行数值测试,将AGC-Seq 2Seq与其他基准模型进行比较。结果表明,我们的模型在各种预测误差测量方面具有最佳的预测性能。通过敏感性分析,揭示了交通条件在不同的传播步长和路段下的时空相关性变化规律。
2018-10-24 cs.AI cs.LG stat.ML
Dynamic Frequency Domain Graph Convolutional Network for Traffic Forecasting
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Academy of Cyber(网络研究院)
针对交通预测中数据驱动空间依赖建模受时移和噪声干扰的问题,提出动态频域图卷积网络DFDGCN,结合傅里叶变换、多类图与因果卷积,在四个真实数据集上表现优于基准模型。
2023-12-19 cs.AI cs.LG
Trainability Preserving Neural Pruning
Northeastern University(东北大学);AInnovation Labs, Inc.(创新奇智实验室有限公司)
最近的许多研究表明,可训练性在神经网络修剪中起着核心作用--无人看管的可训练性受损可能导致严重的性能低下,并无意中放大了再训练学习率的影响,导致有偏见的(甚至是误解的)基准测试结果。本文介绍了可训练性保持修剪(TPP),这是一种可扩展的方法,用于保持网络的可训练性以防止修剪,旨在提高修剪性能,并对重新训练超参数(例如,学习率)。具体来说,我们建议惩罚卷积滤波器的gram矩阵,以将修剪的滤波器与保留的滤波器解相关。除了卷积层之外,为了保持整个网络的可训练性,我们还建议正则化批量归一化参数(规模和偏差)。对线性MLP网络的实证研究表明,TPP可以与Oracle可训练性恢复方案相提并论。在CIFAR10/100上的非线性ConvNets(ResNet56/VGG19)上,TPP的性能明显优于其他对应方法。此外,使用ResNets的ImageNet-1K的结果表明,TPP始终比其他性能最佳的结构化修剪方法表现得更好。代码:www.example.com.
2023-03-03 cs.AI cs.CV cs.LG
Attention-based Dynamic Graph Convolutional Recurrent Neural Network for Traffic Flow Prediction in Highway Transportation
North China University of Technology(北方工业大学)
本文提出ADGCRNN模型,通过自注意力整合多时间分辨率特征并动态创建多动态图,引入专用门控核减少过拟合,有效提升了高速公路交通流预测精度。
2023-09-13 cs.AI cs.GR cs.LG
Finding Appropriate Traffic Regulations via Graph Convolutional Networks
NTT Communication Science Laboratories(NTT通信科学实验室)
适当的交通规则,例如有计划的道路封闭,在拥堵事件中很重要。人群模拟器已被用于通过模拟具有不同法规的多个场景来找到适当的法规。然而,这种方法需要多次模拟运行,这是耗时的。在本文中,我们提出了一种方法来学习一个函数,输出调节效果给定当前的交通状况作为输入。如果预先使用许多模拟运行的训练数据来学习函数,则可以通过绕过当前情况的模拟来有效地获得适当的调节。我们使用图卷积网络对函数进行建模,这使我们能够找到规则,即使是看不见的区域。使用所提出的方法,我们为每个区域构造一个图,其中节点表示道路,边表示道路连接。通过在不同区域运行具有不同法规的人群模拟,我们生成交通状况和法规效果。图卷积网络被训练以输出给定图的调节效果,其中交通状况信息作为输入。通过使用真实世界的道路网络和人群模拟器的实验,我们证明了所提出的方法可以找到一条关闭的道路,从而减少到达目的地所需的平均时间。
2018-10-23 cs.AI cs.LG physics.soc-ph
Traffic Flow Forecasting with Maintenance Downtime via Multi-Channel Attention-Based Spatio-Temporal Graph Convolutional Networks
George Mason University(乔治梅森大学)
交通流预测是智能交通系统管理的核心任务。图结构已经显示出作为建模框架的前景,最近通过图卷积神经网络在时空建模方面的进展,提高了性能或扩展了对交通流的预测范围。然而,最先进的方法的一个主要缺点是它们不能考虑到各种模式的信息,例如维护停机时间对交通流量的影响。这就是我们在本文中要解决的问题。具体来说,我们提出了一种新的模型来预测交通速度的影响下,施工工作。该模型基于强大的基于注意力的时空图卷积架构,但利用各种渠道来整合不同的信息源,明确地建立交通状态之间的时空依赖关系,捕获异构道路网络之间的关系,然后预测交通流量的变化导致的维护停机事件。两个基准数据集和一个新的数据集,我们已经收集了繁华的泰森的角落地区在北弗吉尼亚州的模型进行评估。大量的对比实验和消融研究表明,该模型可以捕捉复杂的和非线性的时空关系,跨运输走廊,优于基线模型。
2021-10-04 cs.AI cs.CV cs.LG