Depth-wise Decomposition for Accelerating Separable Convolutions in Efficient Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）
针对深度可分离卷积加速但损失准确率的问题，提出基于SVD/GSVD的深度分解，将常规卷积分解为可分离卷积，并在ShuffleNet V2上验证其优于通道分解且Top-1提升约2%。
2023-09-23 cs.CV
Exploiting Redundancy: Separable Group Convolutional Networks on Lie Groups
Universiteit van Amsterdam（阿姆斯特丹大学）；Vrij Universiteit Amsterdam（阿姆斯特丹自由大学）
组卷积神经网络（G-CNN）已被证明可以通过引入几何归纳偏差来提高参数效率和模型精度。在这项工作中，我们研究了正则G-CNN学习的表示的性质，并在组卷积核中显示了相当大的参数冗余。这一发现通过在子组上共享卷积核来激励进一步的权重绑定。为此，我们引入了在子组和通道维度上可分离的卷积核。为了获得任意仿射李群的等方差，我们提供了可分离卷积核的连续参数化。我们在几个视觉数据集上评估了我们的方法，并表明我们的权重共享可以提高性能和计算效率。在许多情况下，可分离的G-CNN的性能优于不可分离的G-CNN，而只使用了其训练时间的一小部分。此外，由于计算效率的提高，我们能够将G-CNN等变到$\mathrm{Sim(2)}$组;膨胀，旋转和平移的组。$\mathrm{Sim(2)}$ -等方差进一步提高了所考虑的所有任务的性能。
2022-04-04 cs.AI cs.CV
Xception: Deep Learning with Depthwise Separable Convolutions
Google, Inc.（谷歌公司）
我们将卷积神经网络中的Inception模块解释为常规卷积和深度可分离卷积操作（深度卷积之后是逐点卷积）之间的中间步骤。从这个角度来看，一个深度可分离的卷积可以被理解为一个具有最大数量塔的Inception模块。这一观察使我们提出了一种受Inception启发的新型深度卷积神经网络架构，其中Inception模块已被替换为深度可分离卷积。我们发现，这种被称为Xception的架构在ImageNet数据集上的性能略优于Inception V3（Inception V3是为之设计的），并且在包含3.5亿张图像和17，000个类的更大的图像分类数据集上的性能明显优于Inception V3。由于Xception体系结构与Inception V3具有相同数量的参数，因此性能的提高不是由于容量的增加，而是由于模型参数的更有效使用。
2017-04-04 cs.CV
A Lexicon and Depth-wise Separable Convolution Based Handwritten Text Recognition System
Panjab University（旁遮普大学）；D.M. College（D.M.学院）；Physical Research Laboratory（物理研究实验室）
手写体文本识别是模式识别领域中一个具有挑战性的研究课题。当前最先进的方法包括基于卷积递归神经网络和多维长短期记忆递归神经网络技术的模型。这些方法的计算量很大，而且模型在设计层次上很复杂。在最近的研究中，与基于卷积递归神经网络的模型相比，基于卷积神经网络和门控卷积神经网络的模型的组合展示了更少数量的参数。在减少待训练参数总数的方向上，在这项工作中，我们使用深度卷积代替标准卷积，结合门控卷积神经网络和双向门控递归单元来减少待训练参数的总数。此外，我们还包括一个基于词典的词束搜索解码器在测试步骤。它还有助于提高模型的整体准确性。我们在IAM数据集上获得了3.84%的字符出错率和9.40%的单词出错率，在George Washington数据集上获得了4.88%的字符出错率和14.56%的单词出错率。
2022-07-11 cs.CV
Res-GCNN: A Lightweight Residual Graph Convolutional Neural Networks for Human Trajectory Forecasting
自动驾驶汽车（ADV）对解决交通拥堵问题和减少交通事故数量寄予厚望。精确的轨迹预测ADV周围的其他交通代理是至关重要的，以实现安全和高效的驾驶。特别是行人，由于其复杂的社会互动和随机移动模式，预测更具挑战性。本文提出了一种残差图卷积神经网络（Res-GCNN），它利用当前场景中所构造的图的邻接矩阵来模拟pedes-trians的交互行为。虽然所提出的Res-GCNN是非常轻量级的，只有大约6.4千个参数，在参数大小方面优于所有其他方法，但我们的实验结果显示，最终位移误差（FDE）比现有技术提高了13.3%，达到0.65米。至于平均位移误差（ADE），我们达到了次优的结果（值为0.37米），这也是非常有竞争力的。Res-GCNN在NVIDIA GeForce RTX1080Ti GPU平台上进行了评估，整个数据集的平均推理时间仅为2.2微秒。与其他方法相比，所提出的方法显示出强大的潜力，船上的应用占预测精度和时间效率。该代码将在GitHub上公开。
2020-11-18 cs.CV
CCLSTM: Coupled Convolutional Long-Short Term Memory Network for Occupancy Flow Forecasting
aiMotive Budapest, Hungary（aiMotive布达佩斯，匈牙利）
针对占用流预测依赖高质量向量化输入和高成本 transformer 的问题，本文提出纯卷积、端到端的轻量级 CCLSTM，并在 Waymo 2024 挑战赛全部指标上排名第一。
2025-06-06 cs.CV
Temporally Folded Convolutional Neural Networks for Sequence Forecasting
Kavli IPMU (WPI), University of Tokyo（东京大学卡弗里数物连携宇宙研究机构（世界顶级国际研究中心））
在这项工作中，我们提出了一种新的方法，利用卷积神经网络的时间序列预测。具有空间维度的序列数据的时间方向$D=1,2$被民主地认为是时空$(D+1)$维卷积神经网络的输入。然后，后者从$D +1 \to D$维度减少数据流，然后是使用此信息预测后续时间步长的定罪单元。我们根据经验将这种策略与卷积LSTM和LSTM分别在顺序MNIST和JSB chorals数据集上的性能进行了比较。我们的结论是，时间折叠卷积神经网络（TFC的）可能优于传统的递归策略。
2020-01-10 cs.CV cs.LG stat.ML
Forecasting Hands and Objects in Future Frames
Indiana University（印第安纳大学）
本文提出了一种方法来预测未来的人手和物体的存在和位置。给定图像帧，目标是预测什么对象将出现在未来帧中（例如，5秒后）以及它们将位于何处，即使它们在当前帧中不可见。关键思想是（1）卷积对象识别模型的中间表示在其帧中抽象场景信息，并且（2）我们可以预测（即，基于当前帧的表示来回归）对应于未来帧的这种表示。我们通过扩展最先进的卷积目标检测网络，为视频设计了一种新的双流卷积神经网络（CNN）架构，并提出了一种新的全卷积回归网络，用于预测未来的场景表示。我们的实验证实，将回归的未来表示与我们的检测网络相结合，可以可靠地估计视频中未来的手和物体。与公共数据集上最先进的未来对象存在预测方法相比，我们获得了更高的准确性。
2018-08-23 cs.CV
Dense Forecasting of Wildfire Smoke Particulate Matter Using Sparsity Invariant Convolutional Neural Networks
University of British Columbia（英属哥伦比亚大学）
准确预测野火烟雾中的细颗粒物（PM 2.5）对于保障心肺公共健康至关重要。现有的预测系统是在稀疏和不准确的地面事实上训练的，并且没有充分利用重要的空间归纳偏差。在这项工作中，我们提出了一个卷积神经网络，它始终保持稀疏不变性，并利用多任务学习来执行密集的预测PM 2.5值。我们证明，我们的模型在2018年和2019年加拿大不列颠哥伦比亚省野火季节的表现优于两个现有的烟雾预报系统，预测PM2.5的网格分辨率为10公里，提前24小时高保真。最有趣的是，我们的模型还概括了有意义的烟雾扩散模式，尽管训练中只有0.5%的网格单元中有不规则分布的地面真实PM 2.5值。
2020-09-23 cs.CV cs.LG
Large Separable Kernel Attention: Rethinking the Large Kernel Attention Design in CNN
City University of Hong Kong（香港城市大学）；TCL AI Lab（TCL人工智能实验室）
提出大型可分离核注意力模块LSKA，通过将深度卷积层的2D卷积核分解为级联的1D卷积核，缓解了VAN中LKA模块计算和内存占用随核尺寸二次增长的问题，在保持性能的同时降低了复杂度并提升了鲁棒性。
2023-10-20 cs.CV
Separable Convolutional LSTMs for Faster Video Segmentation
Ulm University（乌尔姆大学）
语义分割是自动驾驶汽车等自主机器人的重要模块。与单个图像分割相比，视频分割方法的优点在于考虑了时间图像信息，并且其性能因此而提高。因此，单个图像分割方法通过递归单元（例如卷积LSTM（convLSTM）单元）进行扩展，这些单元放置在基本网络架构中的适当位置。然而，基于递归神经网络的视频分割方法的一个主要批评是它们的大参数计数和它们的计算复杂性，因此，它们的一个视频帧的推理时间比它们的基本版本长66%。受空间和深度可分离的卷积神经网络的成功启发，我们在这项工作中将这些技术推广到convLSTM，从而显著减少了参数的数量和所需的FLOP。在不同数据集上的实验表明，使用所提出的修改后的convLSTM单元的分割方法实现了类似或略差的准确性，但在GPU上比使用标准convLSTM单元的分割方法快15%。此外，引入了一种新的评价指标，该指标测量了分段视频序列中闪烁像素的数量。
2019-07-16 cs.CV eess.IV
SPIN: Simplifying Polar Invariance for Neural networks Application to vision-based irradiance forecasting
University of Cambridge（剑桥大学）；ENGIE Lab CRIGEN（ENGIE CRIGEN实验室）；MINES ParisTech（巴黎高等矿业学院）
由池化操作引起的平移不变性是卷积神经网络的固有属性，其促进了许多计算机视觉任务，例如分类。然而，为了利用旋转不变任务，卷积架构需要特定的旋转不变层或广泛的数据增强，以从给定空间配置的不同旋转版本中学习。将图像展开到其极坐标中提供了更明确的表示以训练卷积架构，因为旋转不变性变为平移，因此可以从单个图像学习给定场景的视觉上不同但在其他方面等效的旋转版本。我们通过两个常见的基于视觉的太阳辐照度预测挑战（即使用地面拍摄的天空图像或卫星图像）表明，该预处理步骤通过标准化场景表示显着改善了预测结果，同时与使用旋转增强数据相比，将训练时间减少了4倍。此外，这种变换放大了旋转中心周围的区域，从而获得更准确的短期辐照度预测。
2022-04-08 cs.CV
Dynamic Scenario Representation Learning for Motion Forecasting with Heterogeneous Graph Convolutional Recurrent Networks
Shanghai AI Lab（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
由于动态场景中交互的复杂性和变化性，运动预测是自动驾驶中的一个具有挑战性的问题。大多数现有的作品利用静态道路图来描述场景，并在动态场景中建模不断变化的时空依赖关系方面受到限制。在本文中，我们诉诸动态异构图建模的情况下。各种场景组件，包括车辆（代理）和车道，多种类型的交互，以及它们随时间的变化联合编码。此外，我们设计了一种新的异构图卷积递归网络，聚合不同的交互信息并捕获它们的演化，以学习利用动态图中的内在时空依赖性并获得动态场景的有效表示。最后，与运动预测解码器，我们的模型预测现实和多模态的未来轨迹的代理，并优于国家的最先进的已发表的作品在几个运动预测基准。
2023-03-08 cs.AI cs.CV cs.LG
YOLO-Ant: A Lightweight Detector via Depthwise Separable Convolutional and Large Kernel Design for Antenna Interference Source Detection
South China Normal University（华南师范大学）；Hong Kong University of Science and Technology（香港科技大学）；Tongji University（同济大学）
本文提出轻量级CNN与Transformer混合检测器YOLO-Ant，通过DSLK-Block和DSLKVit-Block模块增强特征提取能力，用于天线干扰源检测，在自建天线数据集上取得最优性能。
2024-02-20 cs.CV
Design Light-weight 3D Convolutional Networks for Video Recognition Temporal Residual, Fully Separable Block, and Fast Algorithm
Nanjing University（南京大学）
深度三维卷积网络（3D ConvNet）由于其强大的时空信息融合能力，在视频识别任务中表现出良好的性能。然而，对内存访问和计算能力的极高要求禁止它用于资源受限的场景，例如便携式和边缘设备。因此，在本文中，我们首先提出了一个两阶段的完全可分离块（FSB）来显着压缩3D ConvNets的模型大小。在此基础上，提出了一种基于时间残差梯度（TRG）的特征增强方法，以提高压缩模型在视频任务上的性能，该方法具有更高的精度、更快的收敛速度和更好的鲁棒性。此外，为了进一步减少计算量，我们提出了一种混合快速算法（hFA），以大大降低卷积的计算复杂度。这些方法有效地结合起来，设计了一个轻量级和高效的ConvNet视频识别任务。在流行的数据集上进行的实验报告了2.3倍的压缩率，3.6倍的工作负载减少和6.3%的top-1精度增益，超过了最先进的SlowFast模型，这已经是一个高度紧凑的模型。该方法在传统的3D ConvNet上也表现出良好的适应性，模型紧凑了7.4倍，工作量减少了11.0倍，准确率提高了3.0
2019-05-31 cs.CV eess.IV
Efficient Two-Stream Network for Violence Detection Using Separable Convolutional LSTM
Islamic University of Technology（伊斯兰科技大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）
从监控录像中自动检测暴力是活动识别的一个子集，值得特别关注，因为它在无人安全监控系统，互联网视频过滤等方面具有广泛的适用性。我们提出了一种利用可分离卷积LSTM的高效双流深度学习架构（SepConvLSTM）和预训练的MobileNet，其中一个流将背景抑制帧作为输入，而其他流处理相邻帧的差异。我们采用了简单快速的输入预处理技术，通过抑制非移动背景来突出帧中的移动对象，并捕捉帧之间的运动。由于暴力行为大多以身体动作为特征，这些输入有助于产生区分特征。SepConvLSTM是通过将ConvLSTM的每个门处的卷积操作替换为依赖可分离卷积来构造的，该卷积能够在使用少得多的参数的同时产生鲁棒的长距离时空特征。我们尝试了三种融合方法来组合两个流的输出特征图。在三个标准公共数据集上对所提出的方法进行了评估。我们的模型在更大和更具挑战性的RWF-2000数据集上的准确性优于2%以上，同时匹配较小数据集上的最新结果。我们的实验使我们得出结论，所提出的模型在计算效率和检测精度方面都是优越的。
2021-04-20 cs.CV cs.LG
Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Observatory（香港天文台）
降水临近预报的目的是预测局部地区未来较短时间内的降水强度。以前很少有研究从机器学习的角度来研究这个关键而具有挑战性的天气预报问题。在本文中，我们制定了降水临近预报的时空序列预测问题，其中输入和预测目标都是时空序列。通过扩展完全连接的LSTM（FC-LSTM），使其在输入到状态和状态到状态的转换中都具有卷积结构，我们提出了卷积LSTM（ConvLSTM），并使用它来构建降水临近预报问题的端到端可训练模型。实验表明，我们的ConvLSTM网络能够更好地捕捉时空相关性，并且在降水临近预报方面始终优于FC-LSTM和最先进的操作型ROVER算法。
2015-09-19 cs.CV
Convolutional Neural Networks applied to sky images for short-term solar irradiance forecasting
University of Cambridge（剑桥大学）
尽管太阳能领域取得了进展，但改进太阳能预测技术，解决间歇性发电问题，对于确保未来将其纳入更广泛的能源供应仍然至关重要。一个有前途的方法来预测辐照度的变化包括从地面拍摄或卫星图像的云量动态建模。这项工作提出了初步的结果，应用深卷积神经网络2至20分钟的辐照度预报使用半球形天空图像和外源变量。我们评估的模型上的一组辐照度测量和相应的天空图像收集在Palaiseau（法国）超过8个月的时间分辨率为2分钟。概述短期辐照度预测的背景下学习的神经网络，我们实现了可视化技术，揭示了在天空图像中的训练算法识别的模式类型。此外，我们还发现，与基于均方误差的智能持久性模型相比，使用同一天的过去样本的训练模型在10分钟的预测中提高了约10%的预测技能。这些结果强调了在短期预测中整合以前的同日数据的好处。反过来，这可以通过模型微调或使用循环单元来实现，以便于从过去的数据中提取相关的时间特征。
2020-05-22 cs.CV cs.LG eess.IV
Towards Lightweight Hyperspectral Image Super-Resolution with Depthwise Separable Dilated Convolutional Network
Department of Computer Science, Aalto University, Finland（艾尔沃斯大学计算机科学系）；School of Electrical and Electronic Engineering, University of Sheffield, United Kingdom（谢菲尔德大学电子与电气工程学院）
针对高光谱图像超分辨率中模型参数多、训练样本少的问题，提出轻量级深度可分离膨胀卷积网络DSDCN，结合定制损失函数，在两个公开数据集上取得极具竞争力的性能。
2025-05-01 cs.CV eess.IV
VN-Net: Vision-Numerical Fusion Graph Convolutional Network for Sparse Spatio-Temporal Meteorological Forecasting
Beijing University of Posts and Telecommunications（北京邮电大学）
针对稀疏气象预测，提出VN-Net模型，通过融合时空数值数据与卫星视觉图像，并利用N-GCN、V-LSTM和GCN解码器进行多模态特征提取与预测，在Weather2k数据集上显著优于现有方法。
2024-01-26 cs.CV cs.LG physics.ao-ph
All You Need is a Few Shifts: Designing Efficient Convolutional Neural Networks for Image Classification
Hikvision Research Institute（海康威视研究院）
移位运算是一种有效的可分离卷积运算。然而，它的实现方式，即记忆迁移，仍然是一个有待检验的问题。为了实现这一目标，本文引入了一种新的基本构件--稀疏移位层（SSL）来构造高效的卷积神经网络。在这一系列架构中，基本块仅由1x 1卷积层组成，仅对中间特征图应用了一些移位操作。为了使这一想法可行，我们在优化过程中引入移位操作惩罚，并进一步提出了一种量化感知移位学习方法，以使学习到的位移对推理更友好。广泛的消融研究表明，只有少数移位操作足以提供空间信息通信。此外，为了最大限度地发挥SSL的作用，我们重新设计了一种改进的网络结构，以充分利用神经网络（FE-Net）的有限容量。配备SSL，该网络可以在ImageNet上实现75.0%的top-1准确率，只需563 M M-Adds。它在精度和实际速度上都超过了由深度可分离卷积构造的同类网络和NAS搜索的网络。
2019-03-13 cs.CV
Demand Forecasting in Bike-sharing Systems Based on A Multiple Spatiotemporal Fusion Network
Southwestern University of Finance and Economics（西南财经大学）
自行车共享系统（BSS）在全球范围内越来越受欢迎，并吸引了广泛的研究兴趣。研究了BSS系统中的需求预测问题。空间和时间特征是BSS需求预测的关键，但提取时空动态是一个挑战。另一个挑战是捕捉时空动态和外部因素之间的关系，如天气，一周中的一天，一天中的时间。为了解决这些挑战，我们提出了一个多时空融合网络MSTF-Net。MSTF-Net由多个时空块组成：3D卷积网络（3D-CNN）块，eidetic 3D卷积长短期记忆网络（E3 D-LSTM）块和全连接（FC）块。具体地，3D-CNN块突出显示提取每个片段中的短期时空依赖性（即，接近度，周期和趋势）; E3 D-LSTM块进一步提取所有片段的长期时空依赖性; FC块提取外部因素的非线性相关性。最后，融合E3 D-LSTM和FC块的潜在表示以获得最终预测。对于两个真实世界的数据集，它表明，MSTF-Net优于七个国家的最先进的模型。
2021-11-08 cs.CV
A Hybrid Traffic Speed Forecasting Approach Integrating Wavelet Transform and Motif-based Graph Convolutional Recurrent Neural Network
State Key Laboratory of Information Engineering in Survey, Mapping and Remote Sensing（测绘遥感信息工程国家重点实验室）
交通预测是城市交通管理和疏导的关键。然而，现有的方法很少利用交通速度观测的时频特性，往往忽略了交通流从上游到下游路段的传播。在本文中，我们提出了一种混合的方法，学习交通流的时空依赖性，并预测道路网络上的短期交通速度。具体来说，我们采用小波变换分解原始交通数据到几个不同的频率子带的分量。基于模体的图卷积循环神经网络（Motif-GCRNN）和自回归移动平均（ARMA）分别用于训练和预测低频分量和高频分量。在Motif-GCRNN框架中，我们将图卷积网络（GCN）与局部子图结构（Motifs）相结合，以捕获路段之间的空间相关性，并应用长短期记忆（LSTM）来提取交通速度的短期和周期性模式。在中国成都采集的交通数据集上的实验表明，所提出的混合方法优于六种最先进的预测方法。
2019-04-14 cs.CV cs.LG eess.SP
Context-based Interpretable Spatio-Temporal Graph Convolutional Network for Human Motion Forecasting
QualityMinds GmbH（QualityMinds有限公司）
本文提出 CIST-GCN，通过融合位移、加速度与上下文信息并借助专用层增强可解释性，在多个数据集上提升三维人体运动预测性能与鲁棒性。
2024-02-21 cs.AI cs.CV
Spatiotemporal Graph Convolutional Recurrent Neural Network Model for Citywide Air Pollution Forecasting
Seoul National University（首尔国立大学）；Graduate School of Data Science（数据科学研究生院）
本文提出了一种基于图卷积网络的时空循环神经网络模型，用于提升城市空气污染预测的精度和效率。
2025-11-23 cs.CV cs.LG eess.SP
Localized convolutional neural networks for geospatial wind forecasting
Kaunas University of Technology（考纳斯理工大学）
卷积神经网络（CNN）在处理空间栅格数据时具有许多优点。平移不变性使CNN能够检测特征，而不管它们在场景中的位置。然而，在某些领域，如地理空间，并非所有位置都完全相等。在这项工作中，我们提出了本地化的卷积神经网络，使卷积架构能够学习局部特征，除了全局特征。我们调查他们的实例化的形式学习输入，本地权重，和一个更一般的形式。它们可以被添加到任何卷积层，很容易进行端到端训练，引入最小的额外复杂性，并让CNN在需要的程度上保留其大部分优点。在这项工作中，我们解决时空预测：测试我们的方法在合成基准数据集上的有效性，并处理三个真实世界的风预测数据集。对于其中之一，我们提出了一种方法来空间排序的无序数据。我们比较了最近的国家的最先进的时空预测模型相同的数据。使用卷积层的模型可以通过我们的本地化进行扩展。在所有这些情况下，我们的扩展改进了结果，因此通常是最先进的。我们在公共存储库中共享所有代码。
2020-07-10 cs.CV cs.LG cs.NE
Grouptron: Dynamic Multi-Scale Graph Convolutional Networks for Group-Aware Dense Crowd Trajectory Forecasting
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
在高度动态和交互的场景中准确、长期地预测行人轨迹是一个长期的挑战。使用数据驱动方法的最新进展在预测准确性方面取得了显着改善。然而，缺乏群体感知分析限制了预测模型的性能。在高度拥挤的场景中，这一点尤其不可忽视，因为行人成群移动，群体之间的互动极其复杂和动态。在本文中，我们提出了Grouptron，一个多尺度的动态预测框架，利用行人群体检测，并利用个人层面，群体层面和场景层面的信息，更好地理解和表示的场景。我们的方法采用时空聚类算法来识别行人群体，在个人，群体和场景水平上创建时空图。然后，它使用图神经网络在不同尺度上对动态进行编码，并聚合嵌入以进行轨迹预测。我们进行了广泛的比较和消融实验，以证明我们的方法的有效性。与ETH/UCY基准数据集上的最先进方法相比，我们的方法实现了最终位移误差（FDE）降低9.3%，并且在更拥挤的场景中FDE降低16.1%，其中广泛的人类群体交互更频繁。
2022-03-04 cs.AI cs.CV cs.RO
Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
随着“移动人工智能”革命的不断发展，了解边缘部署的深度神经网络行为的需求也在不断增长。特别是，MobileNets是移动深度卷积神经网络（CNN）的首选系列。然而，在训练后量化下，它们通常具有显著的精度下降。虽然研究已经引入了量化感知训练和其他方法来应对这一挑战，但对于为什么MobileNets（以及潜在的深度可分离CNN（DWSCNN））与其他CNN架构相比表现如此之差，人们的理解有限。为了更深入地了解这一现象，我们采取了不同的策略，研究了MobileNet-V1、一组较小的DWSCNN和常规CNN的多尺度分布动态。具体来说，我们调查的影响，量化的权重和激活分布动态的信息传播从一层到另一层，以及在网络级的分布动态的整体变化。这种细粒度的分析揭示了显着的动态范围波动和DWSCNN中的通道和分层分布之间的“分布失配”，导致信息传播过程中的量化退化和分布偏移。此外，对激活量化误差的分析表明，与常规CNN相比，DWSCNN中存在更大的量化误差累积。希望这些见解可以导致减少这种分布动态变化的创新策略，并改善移动设备的训练后量化。
2021-04-24 cs.CV cs.LG eess.IV
Self-supervised Hyperspectral Image Restoration using Separable Image Prior
The University of Kitakyushu（北九州市立大学）
使用卷积神经网络的监督学习被认为是图像恢复的强大手段。然而，大多数这样的方法已被设计为应用于灰度和/或彩色图像，因此，它们具有有限的成功时，应用于高光谱图像恢复。这部分是由于难以收集大型数据集，以及与恢复具有许多光谱带的图像相关的繁重计算负荷。为了解决这个困难，我们提出了一种新的自监督学习策略应用于高光谱图像恢复。我们的方法从单个退化图像自动创建训练数据集，并在没有任何清晰图像的情况下训练去噪网络。我们方法的另一个显著特点是使用了可分离的卷积层。我们进行实验，以证明使用一个可分离的网络，使我们能够获得先验的高光谱图像，并实现有效的恢复。我们通过大量的实验证明了我们的方法的有效性，并表明我们的方法具有更好的特性比那些目前被认为是最先进的。
2019-07-01 cs.CV eess.IV
Numerical Weather Forecasting using Convolutional-LSTM with Attention and Context Matcher Mechanisms
Georgia Institute of Technology（佐治亚理工学院）；Bilkent University（比尔肯特大学）
针对高分辨率物理数值天气预报计算成本高的问题，提出融合卷积LSTM、卷积神经网络及注意力与上下文匹配器机制的Weather Model，在ERA5、WeatherBench基准上性能优于多个深度学习基线，准确率高且易解释。
2023-10-04 cs.AI cs.CV cs.LG
Traffic Flow Forecasting with Maintenance Downtime via Multi-Channel Attention-Based Spatio-Temporal Graph Convolutional Networks
George Mason University（乔治梅森大学）
交通流预测是智能交通系统管理的核心任务。图结构已经显示出作为建模框架的前景，最近通过图卷积神经网络在时空建模方面的进展，提高了性能或扩展了对交通流的预测范围。然而，最先进的方法的一个主要缺点是它们不能考虑到各种模式的信息，例如维护停机时间对交通流量的影响。这就是我们在本文中要解决的问题。具体来说，我们提出了一种新的模型来预测交通速度的影响下，施工工作。该模型基于强大的基于注意力的时空图卷积架构，但利用各种渠道来整合不同的信息源，明确地建立交通状态之间的时空依赖关系，捕获异构道路网络之间的关系，然后预测交通流量的变化导致的维护停机事件。两个基准数据集和一个新的数据集，我们已经收集了繁华的泰森的角落地区在北弗吉尼亚州的模型进行评估。大量的对比实验和消融研究表明，该模型可以捕捉复杂的和非线性的时空关系，跨运输走廊，优于基线模型。
2021-10-04 cs.AI cs.CV cs.LG
Computational optimization of convolutional neural networks using separated filters architecture
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Smart Engines Ltd.（Smart Engines公司）；Institute For Information Transmission Problems (Kharkevich Institute)（信息传输问题研究所（哈尔凯维奇研究所））
本文考虑了一种卷积神经网络变换，它降低了计算复杂度，从而加速了神经网络的处理。卷积神经网络（CNN）的使用是图像识别的标准方法，尽管它们可能对计算要求太高，例如在移动平台或嵌入式系统上进行识别。在本文中，我们提出了CNN结构变换，表示二维卷积滤波器作为一个线性组合的可分离的过滤器。它允许通过标准训练算法获得分离的卷积滤波器。我们研究了这种结构转换的计算效率，并建议快速实现容易处理的CPU或GPU。我们证明了为字母和数字识别设计的CNN在工业图像识别系统中显示了15%的加速而没有准确性损失。最后，我们讨论了可能的准确性降低的问题，并提出了不同的识别问题的转换的应用。卷积神经网络，计算优化，可分离滤波器，复杂度降低。
2020-02-18 cs.CV eess.IV
Automatic Segmentation of Organs-at-Risk from Head-and-Neck CT using Separable Convolutional Neural Network with Hard-Region-Weighted Loss
University of Electronic Science and Technology of China（电子科技大学）；SenseTime Research（商汤科技研究院）；Sichuan Cancer Hospital and Institute（四川省肿瘤医院·研究所）
鼻咽癌（NPC）是北极、中国、东南亚和中东/北非地区头颈部（HAN）癌症的主要形式。从具有不确定性信息的计算机断层扫描（CT）图像中准确分割危及器官（OAR）是有效规划鼻咽癌放射治疗的关键。尽管卷积神经网络（CNN）实现了用于OAR自动分割的最先进性能，但现有方法不提供用于治疗计划的分割结果的不确定性估计，并且其准确性仍然受到几个因素的限制，包括CT中软组织的低对比度、OAR的高度不平衡尺寸和大的切片间间距。为了解决这些问题，我们提出了一个新的框架，准确的OAR分割可靠的不确定性估计。首先，我们提出了一个分段线性函数（SLF）来转换CT图像的强度，使多个器官比现有的方法更容易区分，基于一个简单的窗口宽度/水平，往往给一个更好的可见性，而隐藏其他器官。其次，为了处理大的层间距，我们引入了一种新的2.5D网络（命名为3D-SepNet），专门设计用于处理具有各向异性间距的临床HAN CT扫描。第三，现有的硬度感知损失函数通常处理类级别的硬度，但我们提出的对硬体素的关注（ATH）使用体素级别的硬度策略，这更适合于处理一些硬区域，尽管其对应的类可能是容易的。我们的代码现在可以在https://github.com/HiLab-git/SepNet上找到。
2021-02-03 cs.CV eess.IV
Back to square one: probabilistic trajectory forecasting without bells and whistles
Sharif University of Technology（谢里夫理工大学）；Institute of Science and Technology Austria (IST Austria)（奥地利科学技术研究所（IST Austria））
我们介绍了一个时空卷积神经网络模型的轨迹预测从视觉源。以自回归的方式应用，它提供了一个明确的概率分布在一个给定的初始轨迹段的延续。我们讨论了与（更复杂的）现有工作有关的问题，并报告了在两个用于轨迹预测的标准数据集上进行的实验：MNISTseq和斯坦福无人机，取得了与以前的方法相当或更好的结果。
2018-12-07 cs.CV cs.LG stat.ML
Learning Spatiotemporal Features of Ride-sourcing Services with Fusion Convolutional Network
Southwestern University of Finance and Economics（西南财经大学）；Sichuan University（四川大学）
为了共同预测一个城市所有区域对网约车服务的需求，深度学习方法已经得到了应用，并取得了令人称道的结果。然而，城市地理布局中的局部统计差异使得卷积的空间平稳性假设无效，这限制了CNN在需求预测任务中的性能。在本文中，我们提出了一种名为LC-ST-FCN（局部连接时空全卷积神经网络）的新型深度学习框架，以解决端到端架构（E2 E）中区域级需求预测问题的独特挑战。我们首先采用3D卷积层来融合输入中存在的时空信息，然后将3D卷积层提取的时空特征馈送到后续的2D卷积层。然后，通过局部连接的卷积层来获得每个区域的预测值，这些卷积层放松了参数共享方案。我们在一个叫车服务平台（滴滴出行）的真实数据集上评估了所提出的模型，并观察到与一系列基线模型相比有显著的改进。此外，我们还通过可视化不同类型的卷积层如何转换其输入并捕获有用的特征来说明我们提出的模型的有效性。可视化结果表明，全卷积架构使模型能够更好地定位相关区域。局部连通层在处理局部统计差异和激活有用区域方面起着重要作用。
2020-04-24 cs.CV cs.LG stat.ML
Data-Driven Vehicle Trajectory Forecasting
University of Hildesheim（希尔德斯海姆大学）
一个活跃的研究领域是提高自动驾驶汽车的安全性。虽然安全性不能完全保证，但车辆预测周围车辆未来轨迹的能力可以帮助确保这种安全性。我们将轨迹预测问题转化为多时间步长预测问题，并开发了一种基于卷积神经网络的方法来实时地从完全原始数据集生成的轨迹序列中学习。结果表明，与基线相比，情况有所改善。
2019-02-09 cs.CV cs.LG cs.RO
