Exploring Geometric Deep Learning For Precipitation Nowcasting
Technical University of Munich (TUM)(慕尼黑工业大学);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Indian Institute of Technology Delhi(印度理工学院德里分校)
针对降水临近预报中卷积神经网络感受野受限的问题,提出基于几何深度学习的时间图卷积网络,通过自动学习邻接矩阵并结合1D卷积提取时空信息,有效提升了云层局部细节建模和预测准确度。
2023-09-11 cs.AI cs.LG physics.ao-ph
Layerwise Tunable Lifting Scheme for the Convolutional Neural Network
University of California San Diego(加州大学圣迭戈分校);Tech University of Korea(韩国科技大学)
本文提出一族基于格结构的可调提升方案,用于双正交小波滤波器组,集成到ResNet-18中在图像分类和异常检测任务上均取得性能提升。
2026-09-10 cs.CV
Real-Time Damage Detection in Fiber Lifting Ropes Using Lightweight Convolutional Neural Networks
Tampere University(坦佩雷大学);Konecranes Plc(科尼起重机公司);Qatar University(卡塔尔大学)
本文提出基于轻量级卷积神经网络的视觉系统,用于实时检测合成纤维起重绳索损伤,并通过专用成像装置与标注数据集验证其高精度、低占用和工业部署适用性。
2024-12-19 cs.CV cs.LG
Rethinking Graph Convolution for 2D-to-3D Hand Pose Lifting
Emory University(埃默里大学);Yonsei University(延世大学);WHATs Lab(WHATs实验室)
本文通过控制实验发现,多头自注意力机制在手姿态提升中优于图卷积网络,且自注意力能显著降低误差,而基于骨架的图注意力网络可恢复部分差距,表明输入依赖的聚合是关键改进来源。
2026-05-13 cs.CV
Lifting from the Deep: Convolutional 3D Pose Estimation from a Single Image
University College London(伦敦大学学院);The Turing Institute(图灵研究所);The University of Edinburgh(爱丁堡大学)
我们提出了一个统一的公式,从一个单一的原始RGB图像的原因,共同对2D联合估计和3D姿态重建,以提高这两个任务的3D人体姿态估计的问题。我们采取了一种综合的方法,将3D人体姿势的概率知识与多级CNN架构融合在一起,并使用合理的3D地标位置的知识来改进对更好的2D位置的搜索。整个过程是端到端训练的,非常有效,并在Human3.6M上获得了最先进的结果,在2D和3D错误方面都优于以前的方法。
2017-10-11 cs.CV
Biorthogonal Tunable Wavelet Unit with Lifting Scheme in Convolutional Neural Network
Electrical and Computer Engineering Department, University of California San Diego(加州大学圣地亚哥分校电气与计算机工程系);Department of Computer Engineering, Tech University of Korea(韩国科技大学计算机工程系)
本文提出一种基于提升方案的双正交可调小波单元,通过放宽正交性与等长约束增强CNN的卷积、池化和下采样能力,在图像分类和异常检测任务中显著提升了准确率与鲁棒性。
2025-07-01 cs.CV eess.IV eess.SP
Attention-Propagation Network for Egocentric Heatmap to 3D Pose Lifting
Seoul National University(首尔大学)
针对自我中心视角下自遮挡和视野外肢体导致的3D姿态估计难题,提出EgoTAP热图提升方法,结合Grid ViT自注意力编码与骨骼信息传播网络,使MPJPE误差降低23.9%。
2024-02-28 cs.CV
Interpretable and Generalizable Person Re-Identification with Query-Adaptive Convolution and Temporal Lifting
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception Institute of Artificial Intelligence (IIAI)(启程人工智能研究院)
对于人的重新识别,现有的深度网络通常专注于表示学习。然而,在没有迁移学习的情况下,所学习的模型是固定的,这不适于处理各种看不见的场景。在本文中,除了表示学习之外,我们考虑如何在深度特征映射中直接制定人物图像匹配。我们将图像匹配视为在特征映射中寻找局部对应,并动态构造查询自适应卷积核来实现局部匹配。以这种方式,匹配过程和结果是可解释的,并且这种显式匹配比表示特征更可推广到看不见的场景,例如未知的未对准、姿势或视点变化。为了方便这种架构的端到端训练,我们进一步构建了一个类内存模块来缓存每个类的最新样本的特征图,以便计算度量学习的图像匹配损失。通过直接的跨数据集评估,所提出的查询自适应卷积(QAConv)方法获得了比流行的学习方法(约10%+ mAP)的大幅度改进,并取得了与许多迁移学习方法相当的结果。此外,本文还提出了一种无模型的基于时间共现的分数加权方法TLift,进一步提高了算法的性能,在跨数据集的人物再识别中取得了较好的效果。代码可在https://github.com/ShengcaiLiao/QAConv上获得。
2020-07-20 cs.CV
Spherical CNNs on Unstructured Grids
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Lawrence Berkeley Nat’l Lab(劳伦斯伯克利国家实验室);Technical University of Munich(慕尼黑工业大学)
我们提出了一个有效的卷积核卷积神经网络(CNN)的非结构化网格使用参数化的微分算子,同时专注于球形信号,如全景图像或行星信号。为此,我们用可学习参数加权的微分算子的线性组合取代传统的卷积核。微分算子可以有效地估计非结构化网格使用一个环的邻居,和学习参数可以通过标准的反向传播进行优化。因此,我们获得了非常高效的神经网络,在性能方面与最先进的网络架构相匹配或优于最先进的网络架构,但网络参数的数量明显减少。我们评估我们的算法在各种计算机视觉和气候科学的任务,包括形状分类,气候模式分割,全方位图像语义分割广泛的一系列实验。总的来说,我们提出了(1)一种新的CNN方法在非结构化网格上使用参数化的微分算子的球形信号,(2)我们表明,我们独特的内核参数化允许我们的模型实现相同或更高的精度与显着更少的网络参数。
2019-01-07 cs.AI cs.CV cs.LG
Flex-Convolution (Million-Scale Point-Cloud Learning Beyond Grid-Worlds)
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
传统的卷积层是专门设计来利用图像的自然数据表示-固定和规则的网格。然而,包含不规则邻域的3D点云等非结构化数据不断打破基于网格的数据假设。因此,将2D图像学习方法的最佳实践和设计选择应用于处理点云并不容易。在这项工作中,我们介绍了一个自然的泛化灵活卷积的传统卷积层以及一个高效的GPU实现。我们在相当小的基准测试集上使用更少的参数和更低的内存消耗展示了具有竞争力的性能,并在百万级真实世界数据集上获得了显着的改进。我们的是第一个允许有效地同时处理700万个点的系统。
2020-04-15 cs.CV
Heterogeneous Grid Convolution for Adaptive, Efficient, and Controllable Computation
National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究所(AIST));Simon Fraser University(西蒙弗雷泽大学)
本文提出了一种新的异构网格卷积,它通过利用图像内容中的异构性来构建基于图形的图像表示,从而在卷积架构中实现自适应,高效和可控的计算。更具体地说,该方法通过可微分聚类方法从卷积层构建数据自适应图结构,将特征池化到图中,执行新颖的方向感知图卷积,并将特征解池回卷积层。通过使用开发的模块,本文提出了异构网格卷积网络,高效但强大的扩展现有架构。我们已经评估了所提出的方法对四个图像理解任务,语义分割,对象定位,道路提取,和显着的目标检测。所提出的方法是有效的四个任务中的三个。特别是,该方法优于一个强大的基线与超过90%的减少浮点运算的语义分割,并达到了国家的最先进的道路提取的结果。我们将分享我们的代码、模型和数据。
2021-04-22 cs.CV
Roto-Translation Covariant Convolutional Networks for Medical Image Analysis
Eindhoven University of Technology(埃因霍温理工大学)
我们提出了一个使用$SE(2)$群卷积进行旋转和平移协变深度学习的框架。特殊欧几里得运动群$SE(2)$的群积描述了两个旋转平移的级联如何导致净旋转平移。我们通过$SE(2)$组卷积层将这种几何结构编码到卷积神经网络(CNN)中,这些卷积层适合标准的2D CNN框架,并且允许在不需要数据增强的情况下一般处理旋转的输入样本。我们引入三层:提升层,其将2D(向量值)图像提升为$SE(2)$图像,即,域为$SE(2)$的3D(向量值)数据;来自和去往$SE(2)$图像的组卷积层;以及从$SE(2)$图像到2D图像的投影层。提升和组卷积层是$SE(2)$协变的(输出与输入旋转平移)。最后的投影层是旋转上的最大强度投影,使完整的CNN旋转不变。我们用组织病理学、视网膜成像和电子显微镜中的三个不同问题表明,使用所提出的组CNN,可以实现最先进的性能,而不需要通过旋转进行数据增强,并且与依赖增强的标准CNN相比,性能有所提高。
2018-06-11 cs.CV cs.LG math.GR
Fully Convolutional Neural Networks for Dynamic Object Detection in Grid Maps
Mercedes-Benz R&D North America, Inc.(梅赛德斯-奔驰北美研发公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
网格地图广泛用于机器人技术中,用于表示环境中的障碍物,区分动态对象和静态基础设施对于许多实际应用至关重要。在这项工作中,我们提出了一种使用深度卷积神经网络(CNN)来推断网格单元是否覆盖移动对象的方法。与使用例如粒子滤波器来估计网格单元速度并且然后基于该估计对各个网格单元做出决定的跟踪方法相比,我们的方法使用整个网格地图作为CNN的输入图像,该CNN检查每个单元周围的更大区域,并且因此考虑网格地图中的结构外观来做出决定。与我们的参考方法相比,我们的概念产生的性能从83.9%提高到97.2%。我们的方法的运行时优化版本产生类似的改进,执行时间仅为10毫秒。
2017-09-10 cs.CV
SwGridNet: A Deep Convolutional Neural Network based on Grid Topology for Image Classification
Tohoku Gakuin University(东北学院大学)
深度卷积神经网络(CNN)在图像分类任务上实现了卓越的性能。然而,最近的研究表明,泛化能力比神经网络的深度更重要,以提高图像分类任务的性能。本文提出了一种新的神经网络SwGridNet。SwGridNet包括许多卷积处理单元,它们作为网格网络相互连接,其中输入和输出之间存在许多处理路径。SwGridNet具有很高的泛化能力,因为多路径架构具有集成学习的效果。如本文所述,详细介绍了SwGridNet网络架构。本文提出的实验结果表明,SwGridNets分别实现测试出错率为2.95%和15.67%,在CIFAR-10和CIFAR-100分类任务。结果表明,SwGridNet的性能接近最先进的深度CNN。
2017-10-03 cs.CV
Object Detection and Classification in Occupancy Grid Maps using Deep Convolutional Networks
FZI Research Center for Information Technology(FZI信息技术研究中心);University of Vigo(维戈大学)
详细的环境感知是自动驾驶汽车的关键组成部分。然而,为了处理感知的信息量,我们还需要分割策略。基于网格地图环境表示,非常适合传感器融合,自由空间估计和机器学习,我们使用深度卷积神经网络检测和分类对象。作为我们网络的输入,我们使用多层网格地图有效地编码3D范围传感器信息。推理输出由一系列旋转的边界框和相关的语义类组成。我们进行广泛的消融研究,强调使用网格图时的重要设计考虑因素,并在KITTI鸟瞰基准上评估我们的模型。定性和定量的基准测试结果表明,我们实现了强大的检测和国家的最先进的准确性,仅使用从距离传感器数据的顶视图网格地图。
2018-12-05 cs.CV cs.RO
Variational multichannel multiclass segmentation using unsupervised lifting with CNNs
University of Innsbruck(因斯布鲁克大学);VASCage GmbH(VASCage有限责任公司);MRC-Laboratory of Molecular Biology(英国医学研究委员会分子生物学实验室);Medical University of Innsbruck(因斯布鲁克医科大学)
本研究提出结合变分能量泛函与深度CNN的无监督图像分割方法,基于多通道多相Chan-Vese模型实现K类分割,经CNN预分解后最小化泛函得到结果,可处理多类图像并与同类方法对比性能。
2023-06-16 cs.CV cs.NA math.FA
Improved Multi-Scale Grid Rendering of Point Clouds for Radar Object Detection Networks
Robert Bosch GmbH(罗伯特·博世有限公司);Leibniz University Hannover(汉诺威莱布尼茨大学)
本文提出多尺度KPPillarsBEV架构及KPBEV网格渲染方法,利用核点卷积改善点云网格化信息损失,在nuScenes上Car AP4.0较基线提升5.37%。
2023-09-03 cs.AI cs.CV cs.LG
Dynamic 3D KAN Convolution with Adaptive Grid Optimization for Hyperspectral Image Classification
iFLYTEK;Aegon THTF
针对高光谱图像分类中的高维、稀疏和冗余问题,提出基于改进3D-DenseNet的KANet,利用3D KAN卷积和自适应网格更新捕获谱-空非线性关系,在IN、UP和KSC数据集上优于主流方法。
2025-04-21 cs.CV
Fully Convolutional Neural Networks for Dynamic Object Detection in Grid Maps (Masters Thesis)
FZI Research Center for Information Technology(FZI信息技术研究中心);KIT – University of the State of Baden-Wuerttemberg and National Research Center of the Helmholtz Association(卡尔斯鲁厄理工学院 – 巴登-符腾堡州大学及亥姆霍兹联合会国家研究中心)
环境感知中最重要的部分之一是检测车辆周围的障碍物。为了实现这一目标,自动驾驶汽车上安装了雷达、激光雷达和摄像头等传感器。所产生的传感器数据被融合到周围环境的一般表示。在这篇论文中,我们使用了Nuss等人提出的动态占用网格图方法,并达到了三个目标。首先,Nuss等人区分移动和非移动障碍物的方法通过使用全卷积神经网络为每个网格单元创建类别预测来改进。为此,网络使用公共预训练的网络模型进行初始化,并使用半自动生成的数据集执行训练。第二个目标是为每个检测到的移动障碍物提供方位信息。这可以改进基于动态占用网格地图的跟踪算法。基于卷积神经网络的取向提取与直接在动态占用网格地图的速度信息上的取向提取相比示出了更好的性能。开发神经网络等机器学习方法的一个普遍问题是标记数据的数量,这些数据总是可以增加的。因此,最后一个目标是评估一个半监督学习算法,以自动生成更多的标记数据。该评估的结果表明,自动标记的数据不会提高卷积神经网络的性能。总而言之,将最佳结果与Nuss等人的方法进行比较。[36]并且达到34.8%的相对改进。
2017-09-10 cs.CV
Monocular Semantic Occupancy Grid Mapping with Convolutional Variational Encoder-Decoder Networks
Eindhoven University of Technology(埃因霍温理工大学)
在这项工作中,我们研究和评估端到端的学习单目语义度量占用网格映射从弱双目地面真理。该网络学习预测四个类别,以及相机到鸟瞰图的映射。在核心,它利用了一个变分编码器-解码器网络,该网络对驾驶场景的前视视觉信息进行编码,随后将其解码为2-D俯视笛卡尔坐标系。对Cityscapes的评估表明,语义度量占用网格的端到端学习优于平面假设的确定性映射方法,平均IoU超过12%。此外,我们表明,变分采样与一个相对较小的嵌入向量带来了对车辆动态扰动的鲁棒性,和不可见的KITTI数据的推广。我们的网络实现了约实时推理率。对于分辨率为256 x512像素的输入图像和使用Titan V GPU的具有64 x64占用网格单元的输出地图,使用35 Hz。
2018-12-31 cs.CV cs.RO
Mapped Convolutions
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了一种通用的卷积运算公式,我们称之为“映射卷积”。“标准卷积操作隐式地对像素网格进行采样并计算加权和。我们的映射卷积将这两个组件合并,将操作从图像网格的限制中解放出来,并允许内核处理任何类型的结构化数据。作为一个测试案例,我们证明了它的使用,将其应用到球形数据的密集推理。我们对现有的球面图像卷积方法进行了深入研究,并提出了一种改进的等距矩形图像采样方法。然后,我们讨论了推导采样函数时数据离散化的影响,强调了球形数据的立方体映射表示的缺点。最后,我们说明了映射卷积如何使我们能够通过将球形图像投影到测地线网格上并在纹理网格上进行训练来直接在网格上进行卷积。该方法超过了球面深度估计的现有技术水平近17%。我们的研究结果表明,映射卷积可以有助于扩大卷积神经网络的应用范围。
2019-06-26 cs.CV
Jointformer: Single-Frame Lifting Transformer with Error Prediction and Refinement for 3D Human Pose Estimation
Trinity College Dublin(都柏林圣三一学院);Accenture Labs(埃森哲实验室)
单目三维人体姿态估计技术有可能大大提高人体运动数据的可用性。单图像2D-3D提升的最佳性能模型使用图卷积网络(GCN),通常需要一些手动输入来定义不同身体关节之间的关系。我们提出了一种新的变压器为基础的方法,使用更广泛的自我注意力机制来学习这些关系内的一系列令牌代表关节。我们发现,使用中间监督,以及堆叠编码器之间的剩余连接的好处性能。我们还建议将错误预测作为多任务学习框架的一部分,通过允许网络补偿其置信水平来提高性能。我们进行了广泛的消融研究,以表明我们的每一个贡献都提高了性能。此外,我们表明,我们的方法优于最新的单帧3D人体姿态估计的最新状态的大幅度。我们的代码和训练模型在Github上公开提供。
2022-08-07 cs.CV
GLA-GCN: Global-local Adaptive Graph Convolutional Network for 3D Human Pose Estimation from Monocular Video
The Hong Kong Polytechnic University(香港理工大学);Shenzhen University(深圳大学)
针对现有3D人体姿态提升方法在真实姿态数据上表现不佳的问题,提出全局-局部自适应图卷积网络GLA-GCN,通过全局时空建模与局部特征回溯提升性能,在三个基准数据集上误差显著降低。
2023-07-22 cs.CV
Scale-Rotation-Equivariant Lie Group Convolution Neural Networks (Lie Group-CNNs)
针对现有CNN缺乏尺度-旋转联合等变性的问题,提出基于SIM(2)李群的Lie Group-CNN,通过李群空间映射与李代数参数化群卷积实现等变特征提取,在多数据集上取得优于同类方法的准确率与鲁棒性。
2023-06-12 cs.CV
Implicit Grid Convolution for Multi-Scale Image Super-Resolution
University of Seoul(首尔大学)
针对多尺度图像超分辨率训练成本高和部署复杂的问题,提出采用单一编码器结合新型上采样器IGConv的多尺度框架,在保持性能的同时显著降低训练预算和存储参数,并通过IGConv$^{+}$进一步提升性能。
2024-11-15 cs.CV
ShapeCodes: Self-Supervised Feature Learning by Lifting Views to Viewgrids
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究院)
我们引入了一种无监督的特征学习方法,将3D形状信息嵌入到单视图图像表示中。其主要思想是一个自我监督的训练目标,只给定一个2D图像,要求对象的所有不可见视图都可以从学习的特征中预测。我们实现这个想法作为一个编码器-解码器卷积神经网络。该网络将未知类别和未知视点的输入图像映射到潜在空间,解卷积解码器可以从该潜在空间最好地将图像“提升”到其完整的视图网格,从所有视角显示对象。我们的类不可知的训练过程鼓励代表捕捉基本的形状原语和语义的数据驱动的方式-没有手动语义标签。我们在两个广泛使用的形状数据集上的结果表明:1)我们的方法成功地学习执行“心理旋转”,即使是在训练过程中看不到的对象; 2)学习的潜在空间是对象识别的强大表示,优于几种现有的无监督特征学习方法。
2018-07-31 cs.CV
3D Point Cloud Classification and Segmentation using 3D Modified Fisher Vector Representation for Convolutional Neural Networks
点云作为一种表示3D形状的方法越来越突出,但其不规则的格式对深度学习方法构成了挑战。将数据转换为3D体素网格的常见解决方案引入了其自身的挑战,主要是大内存大小。在本文中,我们提出了一种新的三维点云表示称为3D修改Fisher矢量(3DmFV)。我们的表示是混合的,因为它结合了离散结构的网格与连续推广的Fisher向量,在一个紧凑和计算效率高的方式。使用网格使我们能够设计一个新的CNN体系结构的点云分类和部分分割。在一系列的实验中,我们在具有挑战性的基准数据集上展示了具有竞争力的性能,甚至优于最先进的性能。
2017-11-22 cs.CV
Smoothed Dilated Convolutions for Improved Dense Prediction
Texas A&M University(得克萨斯农工大学)
扩张卷积(Dilated convolutions),也被称为无环卷积(atrous convolutions),已经在深度卷积神经网络(DCNN)中被广泛探索用于各种密集预测任务。然而,扩张卷积遭受网格伪影,这妨碍了性能。在这项工作中,我们提出了两个简单而有效的degridding方法,通过研究分解的扩张卷积。与现有的模型不同,这些模型通过关注级联的膨胀卷积层来探索解决方案,我们的方法通过平滑膨胀卷积本身来解决网格伪影。此外,我们指出,这两种去网格方法本质上是相关的,并且定义了可分离和共享(SS)操作,这些操作概括了所提出的方法。我们进一步探索了SS操作,并提出了SS输出层,它能够通过仅替换输出层来平滑整个DCNN。我们彻底评估我们的去网格化方法和SS输出层,并通过有效的感受野分析可视化平滑效果。结果表明,我们的方法degridding在密集预测任务的性能上得到了一致的改进,同时增加了可忽略不计的额外训练参数。SS输出层显著提高了性能,并且在训练参数的数量方面非常有效。
2019-05-01 cs.CV cs.LG
Graph-Preserving Grid Layout: A Simple Graph Drawing Method for Graph Classification using CNNs
Worcester Polytechnic Institute(伍斯特理工学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
图卷积网络(GCN)受到图的不规则性的影响,而更广泛使用的卷积神经网络(CNN)受益于规则网格。为了弥合GCN和CNN之间的差距,与以前将CNN中的基本操作推广到图形数据的工作相比,在本文中,我们解决了如何以{ \em原则}的方式将无向图投影到网格上的问题,其中CNN可以用作几何深度学习的骨干。为此,我们提出了一种新的图形保持网格布局(GPGL),整数规划,最大限度地减少了网格上的拓扑损失的文学图形绘制的启发。从技术上讲,我们建议近似使用{ \em正则化} Kamada-Kawai算法求解GPGL,这是一种著名的非凸优化技术,在图形绘制中,顶点分离惩罚提高了松弛解决方案的舍入性能。使用GPGL,我们可以轻松地进行数据增强,因为每个局部最小值都会导致同一图形的网格布局。在多尺度maxout CNN的帮助下,我们证明了我们的图分类方法的经验成功。
2019-09-26 cs.CV cs.LG stat.ML
DiffGCN: Graph Convolutional Networks via Differential Operators and Algebraic Multigrid Pooling
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
图卷积网络(GCN)在处理点云和网格等无序数据方面表现出了很好的效果。在这项工作中,我们提出了新的方法图卷积,池化和unpooling,灵感来自有限差分和代数多重网格框架。我们形成了一个参数化的卷积核的基础上离散微分算子,利用图形质量,梯度和拉普拉斯算子。这样,参数化就不依赖于图的结构,只依赖于网络卷积作为微分算子的意义。为了允许层次表示的输入,我们提出了池化和unpooling操作,是基于代数多重网格方法,这主要是用来解决非结构化网格上的偏微分方程。为了激发和解释我们的方法,我们将其与标准卷积神经网络进行了比较,并在规则网格的情况下显示了它们的相似性和关系。我们提出的方法在各种实验中得到了证明,如分类和部分分割,达到了同等或更好的效果。我们还分析了我们的方法相比,其他GCN的计算成本。
2020-10-22 cs.CV cs.GR cs.LG
Optimizing Sparse Convolution on GPUs with CUDA for 3D Point Cloud Processing in Embedded Systems
Brion Technologies, an ASML Company(Brion Technologies(ASML旗下公司));School of Mechanical Engineering and Automation, Northeastern University(东北大学机械工程与自动化学院)
该研究针对嵌入式系统中的 3D 点云处理,指出点云稀疏且无规则网格所带来的计算挑战,并聚焦于利用 CUDA 优化 GPU 上的稀疏卷积。
2024-04-06 cs.CV cs.LG
Revisiting 2D Convolutional Neural Networks for Graph-based Applications
Worcester Polytechnic Institute(伍斯特理工学院);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
图卷积网络(GCN)被广泛地应用于基于图的应用中,例如图分类和分割。然而,目前的GCN有限制的实施,如网络架构,由于其不规则的输入。相比之下,卷积神经网络(CNN)能够从大规模输入数据中提取丰富的特征,但它们不支持一般的图形输入。为了弥合GCN和CNN之间的差距,本文研究了如何有效地将一般图映射到CNN可以直接应用的2D网格,同时尽可能保留图拓扑的问题。因此,我们提出了两个新的图形到网格的映射方案,即,{ \em图保持网格布局(GPGL)}和它的扩展{ \em层次GPGL(H-GPGL)}的计算效率。我们制定的GPGL问题为整数规划,并进一步提出了一个近似而有效的求解器的基础上惩罚Kamada-Kawai方法,一个著名的优化算法在二维图形绘制。我们提出了一种新的顶点分离惩罚,鼓励图顶点没有任何重叠的网格上。除了这种图像表示,甚至额外的2D maxpooling层也有助于PointNet,这是一种广泛应用的基于点的神经网络。我们证明了GPGL在小图的一般图分类和H-GPGL在大图的3D点云分割上的经验成功,基于2D CNN,包括VGG 16,ResNet 50和多尺度maxout(MSM)CNN。
2021-05-23 cs.CV
Graph Convolution with Low-rank Learnable Local Filters
Duke University(杜克大学);Purdue University(普渡大学)
几何变化,如旋转,缩放和视点变化对视觉理解构成了重大挑战。一种常见的解决方案是直接对某些内在结构进行建模,例如,使用地标。然而,构建有效的深度模型变得非常重要,特别是当底层非欧几里得网格不规则且粗糙时。最近使用图卷积的深度模型提供了一个适当的框架来处理这种非欧几里德数据,但其中许多模型,特别是基于全局图拉普拉斯算子的模型,缺乏表达能力来捕获表示非欧几里德网格上的信号所需的局部特征。本文介绍了一种新型的图卷积与可学习的低秩局部滤波器,这是证明比以前的谱图卷积方法更有表现力。该模型还为谱卷积和空间图卷积提供了一个统一的框架。为了提高模型的鲁棒性,引入了局部图拉普拉斯正则化。利用图滤波局部性和局部图正则化理论证明了该表示对输入图数据扰动的稳定性。球形网格数据,真实世界的面部表情识别/基于动作识别数据,和模拟图形噪声的数据上的实验表明,所提出的模型的经验优势。
2020-10-11 cs.CV cs.LG stat.ML
FPConv: Learning Local Flattening for Point Convolution
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Science and Technology of China(中国科学技术大学);Kuaishou Technology(快手科技)
我们介绍了FPConv,一种新的表面风格的卷积运算符,设计用于3D点云分析。与以前的方法不同,FPConv不需要转换为3D网格或图形等中间表示,直接作用于点云的表面几何。更具体地说,对于每个点,FPConv通过自动学习权重图来执行局部平坦化,以将周围的点柔和地投影到2D网格上。因此,规则的2D卷积可以用于有效的特征学习。FPConv可以轻松集成到各种网络架构中,用于3D对象分类和3D场景分割等任务,并实现与现有体积类型卷积相当的性能。更重要的是,我们的实验还表明,FPConv可以作为体积卷积的补充,联合训练它们可以进一步将整体性能提升到最先进的结果。
2020-03-14 cs.CV
Local Grid Rendering Networks for 3D Object Detection in Point Clouds
National University of Singapore(新加坡国立大学)
点云上的三维目标检测模型的性能在很大程度上取决于它们对局部几何模式的建模能力。传统的基于点的模型通过对称函数(例如,最大池化)或基于图来利用局部模式,这容易导致细粒度几何结构的丢失。关于捕获空间模式,CNN是强大的,但在将整个点云体素化为密集的规则3D网格后,直接对点数据应用卷积将是计算成本很高的。在这项工作中,我们的目标是通过利用CNN增强其模式学习能力,同时保持计算效率,从而提高基于点的模型的性能。我们提出了一种新颖的、有原则的局部网格渲染(LGR)操作,将输入点子集的小邻域独立地渲染到低分辨率的3D网格中,这允许小尺寸CNN准确地对局部模式进行建模,并避免在密集网格上进行卷积以节省计算成本。在LGR操作的基础上,我们引入了一种新的通用主干LGR-Net,用于点云特征提取,具有设计简单、效率高的特点。我们在具有挑战性的ScanNet和SUN RGB-D数据集上验证了LGR-Net的3D目标检测。它将最先进的结果分别显著提高了5.5和4.5 mAP,仅略微增加了计算开销。
2020-07-04 cs.CV
Superpixel Segmentation with Fully Convolutional Networks
The Pennsylvania State University(宾夕法尼亚州立大学);Adobe Research(Adobe研究院)
在计算机视觉中,超像素作为减少图像基元数量以供后续处理的有效方法得到了广泛的应用。但只有少数尝试将它们纳入深度神经网络。一个主要原因是标准卷积运算是在规则网格上定义的,并且在应用于超像素时变得低效。受传统超像素算法通常采用的初始化策略的启发,我们提出了一种新方法,该方法采用简单的全卷积网络来预测规则图像网格上的超像素。在基准数据集上的实验结果表明,我们的方法在大约50 fps的速度下运行时达到了最先进的超像素分割性能。基于预测的超像素,我们进一步开发了深度网络的下采样/上采样方案,目标是为密集预测任务生成高分辨率输出。具体来说,我们修改了一个流行的立体匹配网络架构,同时预测超像素和视差。我们表明,可以在公共数据集上获得改进的视差估计精度。
2020-03-29 cs.CV
SPDCN: Strip-based Deformable Convolutional Network for Steel Surface Defect Segmentation
School of Artificial Intelligence, Jiangxi Normal University(江西师范大学人工智能学院);Jiangxi Provincial Key Laboratory of Intelligent Information Processing and Affective Computing(江西省智能信息处理与情感计算重点实验室)
针对钢表面缺陷分割难题,提出SPDCN。其含模糊增强多尺度上下文模块和自适应方向感知可变形卷积,能自适应捕获多尺度信息并使采样网格与缺陷主方向对齐,实验证明该方法优于现有技术,参数少且平均交并比高。
2026-07-24 cs.CV
AINet+: Advancing Superpixel Segmentation via Cascaded Association Implantation
Hefei University of Technology(合肥工业大学);Beijing Jiaotong University(北京交通大学);Zhejiang University(浙江大学)
本文提出AINet+,通过级联关联植入模块显式建模像素-网格关系,并结合边界感知损失函数,在多个基准上提升超像素分割性能。
2024-12-27 cs.CV
Convolutions on Spherical Images
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
将卷积神经网络应用于球形图像需要特别的考虑。我们期待千年的工作,地图投影提供的工具,以定义一个最佳的表示球面图像的卷积运算。我们提出了一种基于二十面体斯奈德等面积(ISEA)投影(一种到测地线网格上的投影)的深球形图像推理表示,并表明它大大超过了球形图像卷积的最新技术,将语义分割结果提高了12.6%。
2019-05-21 cs.CV
Residual Conv-Deconv Grid Network for Semantic Segmentation
本文介绍了GridNet,一种新的卷积神经网络(CNN)架构的语义图像分割(全场景标签)。经典的神经网络被实现为从输入到输出的一个流,其中在流中应用子采样算子,以便减小特征图的大小并增加最终预测的感受野。然而,对于语义图像分割,其中的任务在于提供一个语义类的图像的每个像素,特征图减少是有害的,因为它会导致输出预测的分辨率损失。为了解决这个问题,我们的GridNet遵循网格模式,允许多个相互连接的流以不同的分辨率工作。我们表明,我们的网络推广了许多众所周知的网络,如conv-deconv,残差或U-Net网络。GridNet从头开始训练,并在Cityscapes数据集上取得了有竞争力的结果。
2017-07-26 cs.CV