PSTNet: Point Spatio-Temporal Convolution on Point Cloud Sequences
National University of Singapore（新加坡国立大学）；University of Technology Sydney（悉尼科技大学）；Baidu Research（百度研究院）
点云序列在空间维度上是不规则的、无序的，而在时间维度上是有序的、有序的。因此，现有的用于传统视频处理的基于网格的卷积无法直接应用于原始点云序列的时空建模。在本文中，我们提出了一个点时空（PST）卷积实现点云序列的信息表示。所提出的PST卷积首先解开点云序列中的空间和时间。然后，采用空间卷积来捕获3D空间中的点的局部结构，并且使用时间卷积来沿着时间维度对空间区域的动态进行建模。此外，我们将所提出的PST卷积纳入深度网络，即PSTNet，以分层方式提取点云序列的特征。在广泛使用的三维动作识别和四维语义分割数据集上的大量实验证明了PSTNet对点云序列建模的有效性。
2022-05-27 cs.CV
Point Convolutional Neural Networks by Extension Operators
Weizmann Institute of Science（魏茨曼科学研究所）
本文提出了点卷积神经网络（PCNN）：一种新的框架，应用卷积神经网络的点云。该框架包括两个操作：扩展和限制，映射点云函数的体积功能，反之亦然。点云卷积是通过扩展-限制机制对欧几里得体积卷积进行拉回来定义的。点云卷积在计算上是高效的，对于点云中的点的顺序是不变的，对于不同的采样和变化的密度是鲁棒的，并且是平移不变的，即在所有点处使用相同的卷积核。PCNN概括了图像CNN，并且允许容易地使其架构适应点云设置。在三个中心点云学习基准上对PCNN的评估令人信服地优于竞争点云学习方法，并且绝大多数方法都使用更多信息的形状表示，如表面和/或法线。
2018-03-27 cs.CV
DV-ConvNet: Fully Convolutional Deep Learning on Point Clouds with Dynamic Voxelization and 3D Group Convolution
Hong Kong University of Science and Technology（香港科技大学）
由于点云数据的随机性和稀疏性，三维点云数据的解释是一项具有挑战性的任务。最近提出的许多方法，如PointNet和PointCNN，一直专注于从点坐标学习形状描述作为逐点输入特征，这通常涉及复杂的网络架构。在这项工作中，我们提请注意标准的3D卷积对一个有效的3D点云解释。与其他体积方法不同的是，我们不像其他体积方法那样将整个点云转换为体素表示，而是使用具有自适应体素化分辨率的动态体素化操作，仅在每个卷积层内的必要位置动态体素化点云的子部分。此外，我们将3D组卷积纳入我们的密集卷积核实现中，以进一步利用点云的旋转不变特征。受益于其简单的全卷积架构，我们的网络能够以相当快的速度运行和收敛，同时在多个基准数据集上产生与最先进方法相当甚至更好的性能。
2021-07-27 cs.CV
Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一种新的深度学习架构（称为KD网络），该架构专为3D模型识别任务设计，并与非结构化点云一起使用。新的体系结构进行乘法变换和共享这些变换的参数，根据细分的点云强加给他们的Kd-树。与目前主流的卷积架构（通常需要在均匀的二维或三维网格上进行光栅化）不同，Kd网络不以任何方式依赖于此类网格，因此避免了不良的缩放行为。在一系列流行的形状识别基准的实验中，KD网络在一些形状识别任务中表现出有竞争力的性能，如形状分类，形状检索和形状部分分割。
2017-10-26 cs.CV
Global Context Aware Convolutions for 3D Point Cloud Understanding
Litemaze；VinAI Research（VinAI 研究院）；VinUniversity（Vin 大学）；Hong Kong University of Science and Technology（香港科技大学）
3D点云深度学习的最新进展在场景理解任务中显示出巨大的前景，这要归功于卷积运算符的引入，以直接在神经网络中使用3D点云。然而，点云数据可以具有任意旋转，特别是从3D扫描获得的点云数据。最近的工作表明，它是可能的设计点云卷积与旋转不变性的性质，但这样的方法通常不执行以及只有卷积的旋转不变性。我们发现一个关键原因是，与点坐标相比，点云卷积消耗的旋转不变特征并不那么独特。为了解决这个问题，我们提出了一种新的卷积算子，通过将输入点云的全局上下文信息集成到卷积中来增强特征区分。为此，在每个点邻域中构造全局加权的局部参考框架，其中局部点集被分解成箱。锚点在每个箱中生成以表示全局形状特征。然后可以执行卷积以将点和锚特征转换为最终的旋转不变特征。我们对点云分类，部分分割，形状检索和法线估计进行了几次实验，以评估我们的卷积，它在具有挑战性的旋转下达到了最先进的精度。
2020-08-07 cs.CV
PointNetVLAD: Deep Point Cloud Based Retrieval for Large-Scale Place Recognition
National University of Singapore（新加坡国立大学）
与基于图像的检索不同，基于点云的位置识别检索一直是一个未探索和未解决的问题。这在很大程度上是由于难以从点云中提取局部特征描述符，随后可以将其编码为用于检索任务的全局描述符。在本文中，我们提出了PointNetVLAD，利用深度网络最近的成功来解决基于点云的位置识别检索。具体来说，我们的PointNetVLAD是现有PointNet和NetVLAD的组合/修改，它允许端到端的训练和推理，从给定的3D点云中提取全局描述符。此外，我们提出了“懒惰的三元组和四元组”的损失函数，可以实现更多的歧视性和概括性的全局描述符，以解决检索任务。我们创建基准数据集的点云检索的位置识别，这些数据集上的实验结果表明，我们的PointNetVLAD的可行性。我们的代码和基准数据集下载的链接可以在我们的项目网站上找到。http://github.com/mikacuy/pointnetvlad/
2018-05-16 cs.CV
PIC-Net: Point Cloud and Image Collaboration Network for Large-Scale Place Recognition
National Engineering Laboratory for Video Technology, Peking University（北京大学视频技术国家工程实验室）
位置识别是自动化技术的研究热点之一，目前仍是一个悬而未决的问题，摄像机和激光雷达是这一任务中使用的两种主流传感器，基于摄像机的方法容易受到光照和季节变化的影响，激光雷达不能像图像那样获得丰富的数据，本文提出了PIC-Net（点云与图像协作网络），利用注意力机制融合图像与点云的特征，挖掘两者之间的互补信息。此外，为了提高夜间的识别性能，我们将夜间图像转换为白天的风格。对比结果表明，图像与点云的协同优于基于图像和点云的协同，注意策略和昼夜变换可以进一步提高协同性能。
2020-08-03 cs.CV
Human Action Recognition from Point Clouds over Time
University of Ottawa（渥太华大学）
本文提出一种基于点云与稀疏卷积结合的新型3D动作识别方法，通过分割、跟踪和部位解析，在NTU RGB-D 120上达到89.3%准确率，优于现有方法。
2025-10-09 cs.CV
MG-SAGC: A multiscale graph and its self-adaptive graph convolution network for 3D point clouds
Beihang University（北京航空航天大学）；Purple Mountain Lab（紫金山实验室）
为了增强神经网络提取局部点云特征的能力，提高其质量，本文提出了一种多尺度图生成方法和一种自适应图卷积方法。首先，我们提出了一个多尺度的点云图形生成方法。该方法将点云数据转换为结构化的多尺度图形式，支持在尺度空间中对点云数据进行多尺度分析，能够获得点云数据在不同尺度下的维数特征，从而更容易获得最佳的点云特征。针对传统的卷积神经网络不适用于顶点邻域不规则的图形数据的问题，提出了一种基于最佳逼近理论的自适应图卷积核。本文采用最大池化的方法对不同比例尺地图的特征进行综合，生成点云特征。在三个广泛使用的公共数据集上进行的实验中，所提出的方法显着优于其他最先进的模型，证明了其有效性和通用性。
2020-12-23 cs.CV
3D Fully Convolutional Network for Vehicle Detection in Point Cloud
Baidu Inc.（百度公司）
2D全卷积网络最近已成功地应用于图像中的目标检测。在本文中，我们将基于完全卷积网络的检测技术扩展到3D，并将其应用于点云数据。该方法在自动驾驶激光雷达点云车辆检测任务中得到了验证。在KITTI数据集上的实验表明，与以前的基于点云的检测方法相比，性能有了显着的提高。
2017-01-16 cs.CV cs.RO
ConvPoint: Continuous Convolutions for Point Cloud Processing
ONERA（法国国家航空航天研究院）；Université Paris-Saclay（巴黎萨克雷大学）
点云是非结构化和无序的数据，而不是图像。因此，大多数针对图像开发的机器学习方法不能直接转移到点云。在本文中，我们提出了一个推广的离散卷积神经网络（CNN），以处理点云取代离散核连续的。这个公式很简单，允许任意点云大小，并且可以很容易地用于设计类似于2D CNN的神经网络。我们目前的实验结果与各种架构，突出所提出的方法的灵活性。我们获得竞争力的结果相比，国家的最先进的形状分类，部分分割和语义分割的大规模点云。
2020-02-19 cs.CV
PointConv: Deep Convolutional Networks on 3D Point Clouds
Oregon State University（俄勒冈州立大学）
与以规则密集网格表示的图像不同，3D点云是不规则和无序的，因此很难对其应用卷积。在本文中，我们扩展了动态滤波器的一个新的卷积运算，命名为PointConv。PointConv可以应用于点云来构建深度卷积网络。我们将卷积核视为由权重和密度函数组成的3D点的局部坐标的非线性函数。对于给定的点，权函数的学习与多层感知器网络和密度函数通过核密度估计。这项工作最重要的贡献是提出了一种新的重构方法，用于有效地计算权重函数，这使我们能够大幅扩展网络并显着提高其性能。学习的卷积核可用于计算3D空间中任何点集上的卷积不变和置换不变卷积。此外，PointConv还可以用作反卷积算子，将子采样点云的特征传播回其原始分辨率。在ModelNet 40、ShapeNet和ScanNet上的实验表明，基于PointConv构建的深度卷积神经网络能够在3D点云上实现具有挑战性的语义分割基准测试。此外，我们将CIFAR-10转换为点云的实验表明，在PointConv上构建的网络可以在类似结构的2D图像中与卷积网络的性能相匹配。
2020-11-09 cs.CV
Adaptive Graph Convolution for Point Cloud Analysis
Nanjing University（南京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）
由二维网格状区域推广而来的三维点云的卷积算法得到了广泛的研究，但还远未完善。标准卷积描述了3D点之间不可分割的特征对应关系，表现出较差的区别特征学习的内在局限性。在本文中，我们提出了自适应图卷积（AdaptConv），它根据点的动态学习特征生成自适应核。与使用固定/各向同性核相比，AdaptConv提高了点云卷积的灵活性，有效且精确地捕获来自不同语义部分的点之间的各种关系。与流行的注意力权重方案不同，所提出的AdaptConv在卷积运算中实现了自适应性，而不是简单地为相邻点分配不同的权重。广泛的定性和定量评估表明，我们的方法优于国家的最先进的点云分类和分割方法在几个基准数据集。我们的代码可在https://github.com/hrzhou2/AdaptConv-master上获得。
2021-08-19 cs.CV
LidarGait: Benchmarking 3D Gait Recognition with Point Clouds
The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）
基于视频的步态识别在受限场景中取得了令人印象深刻的结果。然而，视觉摄像机忽略了人体的三维结构信息，这限制了步态识别的可行性，在三维野生世界。这项工作不是从图像中提取步态特征，而是从点云中探索精确的3D步态特征，并提出了一个简单而有效的3D步态识别框架，称为LidarGait。我们提出的方法将稀疏点云投影到深度图中，以学习具有3D几何信息的表示，其性能明显优于现有的逐点和基于相机的方法。由于缺乏点云数据集，我们构建了第一个基于LiDAR的大规模步态识别数据集SUSTEch 1 K，该数据集由LiDAR传感器和RGB相机收集。该数据集包含来自1,050个主题的25,239个序列，涵盖了许多变化，包括可见性，视图，遮挡，服装，携带和场景。大量的实验表明：（1）三维结构信息是步态识别的重要特征。(2)LidarGait比现有的基于点和基于轮廓的方法有显著的优势，同时它还提供稳定的交叉视图结果。(3)LiDAR传感器在户外环境下的步态识别方面优于RGB相机。源代码和数据集已在https://lidargait.github.io上提供。
2023-03-30 cs.CV
Spherical Convolutional Neural Network for 3D Point Clouds
University of Western Australia（西澳大利亚大学）
我们提出了一个神经网络的三维点云处理，利用“球形”卷积核和八叉树空间分区。所提出的基于度量的球形核系统地识别点邻域以识别数据中的局部几何结构，同时保持不变性和不对称性。网络架构本身由八叉树数据结构指导，充分利用了不规则点云的稀疏性。我们在每层神经元的帮助下指定球形内核，这些神经元又与空间位置相关联。我们利用这种关联来避免网络训练过程中的动态内核生成，从而实现对高分辨率点云的有效学习。我们展示了标准基准数据集上的球形卷积神经网络用于3D对象分类的实用性。
2018-05-22 cs.CV
Flex-Convolution (Million-Scale Point-Cloud Learning Beyond Grid-Worlds)
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传统的卷积层是专门设计来利用图像的自然数据表示-固定和规则的网格。然而，包含不规则邻域的3D点云等非结构化数据不断打破基于网格的数据假设。因此，将2D图像学习方法的最佳实践和设计选择应用于处理点云并不容易。在这项工作中，我们介绍了一个自然的泛化灵活卷积的传统卷积层以及一个高效的GPU实现。我们在相当小的基准测试集上使用更少的参数和更低的内存消耗展示了具有竞争力的性能，并在百万级真实世界数据集上获得了显着的改进。我们的是第一个允许有效地同时处理700万个点的系统。
2020-04-15 cs.CV
NPTC-net: Narrow-Band Parallel Transport Convolutional Neural Network on Point Clouds
Beijing International Center for Mathematical Research, Peking University（北京大学北京数学科学中心）；Center for Data Science, Peking University（北京大学数据科学中心）；Beijing Institute of Big Data Research（北京大数据研究院）；Department of Mathematics, Rensselaer Polytechnic Institute（伦斯勒理工学院数学系）
卷积在信号和图像处理、分析和识别的各种应用中起着至关重要的作用。它也是卷积神经网络（CNN）的主要构建块。在流形结构的点云上设计适当的卷积神经网络可以继承CNN的最新进展，并使其能够分析和处理点云数据。然而，一个主要的挑战是定义一个适当的方式来“扫描”过滤器通过点云作为一个自然的概括的平面卷积，并反映点云的几何形状在同一时间。在本文中，我们考虑通过在点云上适应并行传输来推广卷积。受三角化曲面方法的启发[Stefan C. Schonsheck，Bin Dong，and Rongjie Lai，arXiv：1805.07857.]，我们提出了窄带并行传输卷积（NPTC），其在点云数据的基于体素的窄带近似上使用特定定义的连接。在此基础上，我们进一步提出了一种基于NPTC的深度卷积神经网络（称为NPTC-net），用于点云分类和分割。综合实验表明，提出的NPTC网络实现类似或更好的结果比当前国家的最先进的点云分类和分割的方法。
2021-02-21 cs.CV cs.LG
Point Cloud Recognition with Position-to-Structure Attention Transformers
UC San Diego（加州大学圣地亚哥分校）；The Bishop’s School（毕晓普学校）
在本文中，我们提出了位置到结构的注意力Transformers（PS-Former），一个基于transformer的三维点云识别算法。PS-Former解决了3D点云表示中的挑战，其中点没有定位在固定的网格结构中，并且具有有限的特征描述（只有分散点的3D坐标（$x, y, z$））。该领域中现有的基于Transformer的架构通常需要预先指定的特征工程步骤来提取点特征。在这里，我们介绍了PS-Former中的两个新方面：1）一个可学习的凝聚层，它执行点下采样和特征提取; 2）一个位置到结构注意力机制，它通过位置注意力分支递归地丰富结构信息。与竞争的方法相比，虽然是通用的，较少的几何特征设计，PS-Former展示了三个三维点云任务，包括分类，部分分割和场景分割的竞争力的实验结果。
2022-10-05 cs.CV
MinkLoc3D: Point Cloud Based Large-Scale Place Recognition
Warsaw University of Technology（华沙理工大学）
本文提出了一种基于学习的方法来计算一个有区别的三维点云描述符的地方识别的目的。现有的方法，如PointNetVLAD，是基于无序点云表示。他们使用PointNet作为第一个处理步骤来提取局部特征，然后将其聚合到全局描述符中。PointNet架构不太适合捕获局部几何结构。因此，最先进的方法通过添加不同的机制来捕获本地上下文信息，例如图卷积网络或使用手工制作的特征，来增强普通PointNet架构。我们提出了一种替代方法，称为MinkLoc3D，计算一个有区别的三维点云描述符，基于稀疏体素化点云表示和稀疏三维卷积。所提出的方法具有一个简单而有效的架构。标准基准测试的评估证明MinkLoc3D优于当前最先进的技术。我们的代码可在项目网站上公开获取：https://github.com/jac99/MinkLoc3D
2020-11-09 cs.CV
FKAConv: Feature-Kernel Alignment for Point Cloud Convolution
LIGM, Ecole des Ponts（巴黎桥路学院LIGM实验室）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
最近的点云处理的最先进的方法是基于点卷积的概念，已经提出了几种方法。本文受图像处理中离散卷积的启发，给出了一个公式来联系和分析一些点卷积方法。我们还提出了我们自己的卷积变体，它将无几何内核权重的估计和它们与特征的空间支持的对齐分开。此外，我们定义了一个点采样的卷积策略，既有效又快速。最后，使用我们的卷积和采样策略，我们在分类和语义分割基准测试中显示了有竞争力的结果，同时具有时间和内存效率。
2020-11-24 cs.CV cs.LG
Point-cloud-based place recognition using CNN feature extraction
Hong Kong University of Science and Technology（香港科技大学）
本文提出了一种新的基于点云的地点识别系统，该系统采用深度学习方法进行特征提取。通过使用在彩色图像上预训练的卷积神经网络来从范围图像中提取特征，而无需对额外范围图像进行微调，与使用手工制作的特征相比，已经观察到显著的改进。所得到的系统是光照不变，旋转不变和鲁棒性对移动对象无关的地方身份。除了系统本身，我们还为社区带来了一个新的地方识别数据集，包含点云和灰度图像，涵盖了完整的$360^\circ$环境视图。此外，数据集的组织方式，它有利于实验验证旋转不变性或鲁棒性对无关的移动对象分开。
2018-10-23 cs.CV cs.RO
Semantic Graph Based Place Recognition for 3D Point Clouds
Institute of Cyber-Systems and Control, Zhejiang University（浙江大学工业控制研究所）
由于难以生成对遮挡和视点变化具有鲁棒性的有效描述符，三维点云的位置识别仍然是一个悬而未决的问题。与大多数专注于提取原始点云的局部，全局和统计特征的现有方法不同，我们的方法旨在语义级别，可以在对环境变化的鲁棒性方面更胜一筹。受人类通过识别语义对象并捕捉它们之间关系来识别场景的观点的启发，本文提出了一种新的基于语义图的地点识别方法。首先，我们提出了一种新的语义图表示的点云场景，通过保留原始点云的语义和拓扑信息。因此，地点识别被建模为图匹配问题。然后设计了一个快速有效的图相似度网络来计算相似度。在KITTI数据集上的详尽评估表明，我们的方法对遮挡和视点变化具有鲁棒性，并且以较大的幅度优于最先进的方法。我们的代码可从以下网址获得：\url{https://github.com/kxhit/SG_PR}。
2020-08-26 cs.CV cs.RO
Generalized Convolutional Neural Networks for Point Cloud Data
Cylance Inc.（赛伦斯公司）
廉价的RGB-D相机、立体相机和激光雷达设备的推出为计算机视觉社区提供了传统RGB相机无法提供的3D信息。这些数据通常存储为点云。在本文中，我们提出了一种新的方法来应用卷积神经网络的概念，这种类型的数据。通过在数据集中创建最近邻居的映射，并单独将权重应用于点之间的空间关系，我们实现了一种直接与点云一起工作的架构，但在设计和行为上都非常类似于卷积神经网络。这种方法绕过了对广泛的特征工程的需要，同时证明是计算效率高的，并且需要很少的参数。
2018-10-19 cs.CV stat.ML
Interpolated Convolutional Networks for 3D Point Cloud Understanding
The Chinese University of Hong Kong（香港中文大学）
点云是一种重要的三维表示形式。然而，由于点云数据的稀疏、不规则和无序的数据结构，直接在点云上应用卷积是具有挑战性的。在本文中，我们提出了一种新的插值卷积操作，InterpConv，来解决点云特征学习和理解问题。其核心思想是利用一组离散的核权重，并通过卷积插值函数将点特征插值到相邻的核权重坐标。一个归一化项被引入到处理不同稀疏度的邻域。我们的InterpConv被证明是置换和稀疏不变的，可以直接处理不规则的输入。我们进一步设计了基于InterpConv层的插值卷积神经网络（InterpCNN）来处理点云识别任务，包括形状分类、对象部分分割和室内场景语义解析。实验结果表明，该网络能够有效地捕获细粒度的局部结构和全局形状上下文信息。所提出的方法在包括ModelNet40、ShapeNet Parts和S3DIS在内的公共基准测试中实现了最先进的性能。
2019-08-13 cs.CG cs.CV eess.IV
Face recognition on point cloud with cgan-top for denoising
University of Nottingham Ningbo China（宁波诺丁汉大学）；Nottingham Ningbo China Beacons of Excellence Research and Innovation Institute, University of Nottingham Ningbo China（宁波诺丁汉大学卓越灯塔研究与创新学院）；Nanyang Technological University（南洋理工大学）
针对含噪三维点云人脸识别，本文提出端到端融合 cGAN-TOP 去噪与 LDGCNN 识别的方法，并在 Bosphorus 数据集上验证其显著提升准确率。
2025-06-07 cs.AI cs.CV
Part-based Graph Convolutional Network for Action Recognition
IIIT Hyderabad（海得拉巴国际信息技术学院）
人类的动作包括关节连接的身体部位的联合运动或“手势”。人体骨架直观地表示为一个稀疏图，其中关节为节点，它们之间的自然连接为边。图卷积网络已被用于从骨架视频中识别动作。我们引入了一个基于部分的图卷积网络（PB-GCN），为这项任务，可变形的基于部分的模型（DPM）的启发。我们将骨架图划分为四个子图，它们之间共享关节，并使用基于部分的图卷积网络学习识别模型。我们表明，这样的模型提高了识别性能，相比使用整个骨架图的模型。而不是使用3D关节坐标作为节点功能，我们表明，使用相对坐标和时间位移提高性能。我们的模型在两个具有挑战性的基准数据集NTURGB+D和HDM 05上实现了最先进的性能，用于骨骼动作识别。
2018-09-13 cs.AI cs.CV
DAGER: Deep Age, Gender and Emotion Recognition Using Convolutional Neural Network
Sighthound Inc.（Sighthound公司）
本文介绍了Sighthound的全自动年龄，性别和情感识别系统的细节。我们系统的主干由几个深度卷积神经网络组成，这些网络不仅计算成本低，而且在几个竞争基准上提供了最先进的结果。为了支持我们的新型深度网络，我们通过半监督管道收集了大型标记数据集，以减少注释工作量/时间。我们在几个公共基准上测试了我们的系统，并报告了出色的结果。我们的年龄、性别和情绪识别模型可通过Sighthound Cloud API提供给开发人员，网址为https://www.sighthound.com/products/cloud
2017-03-04 cs.AI cs.CV
Interpretable Recognition of Fused Magnesium Furnace Working Conditions with Deep Convolutional Stochastic Configuration Networks
Hefei University of Technology（合肥工业大学）；China University of Mining and Technology（中国矿业大学）；Northeastern University（东北大学）
针对电熔镁炉工况识别泛化与可解释性不足，提出融合监督高斯差分核、增量DCSCNs及强化学习剪枝的可解释识别方法，提升了准确率与解释性。
2025-01-06 cs.AI cs.CV
Actional-Structural Graph Convolutional Networks for Skeleton-based Action Recognition
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学合作媒体网络创新中心）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于骨架数据的动作识别是计算机视觉领域的一个研究热点。以往的研究大多基于固定的骨架图，只捕捉关节间的局部物理依赖关系，可能会遗漏隐含的关节相关性。为了捕获更丰富的依赖关系，我们引入了一个编码器-解码器结构，称为A-link推理模块，直接从动作中捕获特定于动作的潜在依赖关系，即链接。我们还扩展了现有的骨架图表示高阶依赖关系，即结构链接。将这两种类型的链接组合成一个广义的骨架图，我们进一步提出了动作结构图卷积网络（AS-GCN），它将动作结构图卷积和时间卷积作为基本构建块，以学习动作识别的空间和时间特征。未来的姿势预测头与识别头并行添加，以帮助通过自我监督捕获更详细的动作模式。我们使用NTU-RGB+D和Kinetics两个骨架数据集来验证AS-GCN在动作识别中的有效性。建议的AS-GCN实现了一贯的大的改进相比，国家的最先进的方法。作为一个副产品，AS-GCN也显示出有前途的结果，为未来的姿态预测。
2019-04-26 cs.AI cs.CV
Kaggle Kinship Recognition Challenge: Introduction of Convolution-Free Model to boost conventional
这项工作的目的是探索一个卷积自由基分类器，可以用来扩大传统的集成分类器的变化。具体来说，我们提出了视觉Transformer作为基础分类器，与CNN相结合，在Kaggle亲属识别中提供独特的集成解决方案。在本文中，我们通过在现有的CNN模型之上实现和优化视觉Transformer模型的变体来验证我们提出的想法。组合模型实现了更好的分数比传统的集成分类器仅基于CNN变量。我们证明了Kaggle讨论板上公开的高度优化的CNN集成可以通过简单地集成视觉Transformer模型的变体来轻松实现ROC分数的显着提高，因为相关性低。
2022-06-11 cs.AI cs.CV
View Independent Vehicle Make, Model and Color Recognition Using Convolutional Neural Network
Sighthound Inc.（Sighthound公司）
本文详细介绍了Sighthound的全自动车辆制造，模型和颜色识别系统。我们系统的骨干是一个深度卷积神经网络，它不仅计算成本低，而且在几个有竞争力的基准测试中提供了最先进的结果。此外，我们的深度网络是在数百万张图像的大型数据集上训练的，这些图像是通过半自动化过程标记的。最后，我们在几个公共数据集以及我们自己的内部测试数据集上测试我们的系统。我们的研究结果表明，我们优于其他方法的所有基准显着的利润率。我们的模型可通过Sighthound Cloud API提供给开发人员，网址为https://www.sighthound.com/products/cloud
2017-02-06 cs.AI cs.CV
Personalized Human Activity Recognition Using Convolutional Neural Networks
Washington State University（华盛顿州立大学）
使用可穿戴传感器的个性化人类活动识别的主要障碍是识别模型的性能在新用户采用系统或用户的身体/行为状态改变时显著下降。因此，需要通过在新的上下文中收集新的标记数据来重新训练模型。在这项研究中，我们使用卷积神经网络开发了一个迁移学习框架，以最小的用户监督来构建个性化的活动识别模型。
2018-01-25 cs.CV
Digit Recognition Using Convolution Neural Network
Priyadarshini Institute of Engineering & Technology（普里雅达希尼工程技术学院）
在模式识别中，数字识别一直是一个非常具有挑战性的课题。本文的目的是提取一个正确的特征，以便它可以达到更好的数字识别的准确性。数字识别的应用如在密码、银行支票等过程中识别用户的有效身份。早些时候，一些研究人员在模式识别中使用了各种不同的机器学习算法，即KNN，SVM，RFC。本文的主要目标是在不对数据集做过多预处理的情况下，利用卷积神经网络（CNN）对数字进行识别，获得最高的准确率99.15%。
2020-04-01 cs.CV
Right whale recognition using convolutional neural networks
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
我们研究了使用卷积神经网络识别单个露脊鲸（Eubalaena glacialis）的可行性。先前的研究表明，CNN可以用于广泛的分类和归类任务，如自动人脸识别。为了测试深度学习对鲸鱼识别的适用性，我们根据文献中的最佳实践开发了几个模型。在这里，我们描述了模型的性能。我们得出结论，机器识别鲸鱼是可行的，并评论的困难问题
2016-04-19 cs.CV
Spatio-Temporal FAST 3D Convolutions for Human Action Recognition
Utrecht University（乌得勒支大学）
视频输入的有效处理对于识别诸如人类动作之类的时间变化事件是必不可少的。由于水平或垂直方向上的动作通常具有独特的时间特性，我们为具有视频输入的CNN架构引入了一种新的卷积块。我们提出的部分相邻空间和时间（FAST）3D卷积是常规3D卷积的自然分解。每个卷积块由三个顺序卷积操作组成：2D空间卷积，然后分别在水平和垂直方向上进行时空卷积。此外，我们还引入了一个FAST变体，它可以并行处理水平和垂直运动。在具有ResNet架构的基准动作识别数据集UCF-101和HMDB-51上进行的实验表明，FAST 3D卷积块的性能比传统3D卷积一致提高。较低的验证损失表明更好的泛化能力，特别是对于更深的网络。我们还评估了具有类似内存要求的CNN架构的性能，这些架构基于双流网络或3D卷积块。具有FAST 3D卷积的DenseNet-121表现最好，进一步证明了解耦时空卷积的优点。
2019-10-22 cs.CV
Convolutional neural networks pretrained on large face recognition datasets for emotion classification from video
NTechLab；University of Oxford（牛津大学）
在本文中，我们描述了一个解决方案，我们进入了情感识别挑战赛2017年。我们提出了一个合奏的几个模型，捕捉空间和音频功能的视频。空间特征由卷积神经网络捕获，并在大型人脸识别数据集上进行预训练。我们发现，使用强大的行业级人脸识别网络可以提高情感识别的准确性。使用我们的集成，我们提高了以前的最好的测试集上的结果约1%，实现了60.03%的分类准确率，而不使用任何视觉时间信息。
2017-11-13 cs.CV
Doppler-Radar Based Hand Gesture Recognition System Using Convolutional Neural Networks
手势识别一直是人机交互领域的研究热点。传统的基于摄像头的手势识别系统在黑暗环境下无法正常工作。提出了一种基于多普勒雷达的卷积神经网络手势识别系统。使用具有5.8GHz双接收通道的高性价比多普勒雷达传感器来获取四个标准手势的大数据库。然后对接收到的手势信号进行时频分析。卷积神经网络用于对不同的手势进行分类。实验结果验证了该系统的有效性，准确率为98%。此外，还研究了识别距离和手势尺度等相关因素。
2017-11-22 cs.CV
Convolutional Neural Network with Convolutional Block Attention Module for Finger Vein Recognition
Southwest Jiaotong University（西南交通大学）
卷积神经网络以其强大的图像特征表示能力成为手指静脉识别领域的研究热点。然而，大多数研究人员专注于通过增加CNN的深度和宽度来提高网络的性能，这通常需要很高的计算工作量。而且，我们可以注意到，不仅不同通道中像素的重要性不同，而且同一通道中不同位置的像素的重要性也不同。为了减少计算量并考虑到像素的不同重要性，提出了一种轻量级的带有卷积块注意模块（CBAM）的卷积神经网络用于手指静脉识别，通过注意力机制可以实现对视觉结构更准确的捕捉。首先，将图像序列输入到我们设计的轻量级卷积神经网络中，以改善视觉特征。然后，它在卷积块注意模块的帮助下学习以自适应的方式分配特征权重。在两个公开数据库上进行的实验表明，该方法在多模态手指识别中具有稳定、高精度和鲁棒性的特点。
2022-02-14 cs.CV
Graph Edge Convolutional Neural Networks for Skeleton Based Action Recognition
本文研究了基于骨架的动作识别中的骨架数据中的人体骨骼。人体关节作为成熟的姿态估计技术的直接产物，一直是传统动作识别方法关注的重点。然而，我们人类自然地根据骨骼的形状、长度和位置来识别人体如何移动，而不是关节，这对于观察来说更加明显和稳定。因此，给定从骨架数据生成的图形，我们建议在与人类骨架中的骨骼相对应的图形边缘上开发卷积。我们通过整合其空间相邻边缘来描述边缘，以探索不同骨骼之间的合作，以及其时间相邻边缘来解决动作中运动的一致性。然后设计了一个图边卷积神经网络用于基于骨架的动作识别。考虑到图节点卷积和图边卷积之间的互补性，我们另外构造了两个混合神经网络，使用共享的中间层将图节点卷积神经网络和图边卷积神经网络结合起来。在Kinetics和NTU-RGB+D数据集上的实验结果表明，我们的图边缘卷积能有效地捕捉动作的特征，我们的图边缘卷积神经网络明显优于现有的基于骨架的动作识别方法。此外，混合网络可以实现更多的性能改进。
2018-05-31 cs.CV
Improving Long Handwritten Text Line Recognition with Convolutional Multi-way Associative Memory
Cinnamon AI Lab（肉桂人工智能实验室）；Deakin University（迪肯大学）
卷积递归神经网络（CRNN）在场景文本识别方面表现出色。不幸的是，它们在处理长文本图像时可能会遇到消失/爆炸梯度问题，这在扫描文档中很常见。这对彻底解决光学字符识别（OCR）问题提出了重大挑战。受最近提出的用于长期序列建模的记忆增强神经网络（MANN）的启发，我们提出了一种新的架构，称为卷积多路联想记忆（CMAM），以解决当前CRNN的局限性。通过利用最新的内存访问机制在MANN，我们的架构表现出优越的性能对其他CRNN同行在三个现实世界的长文本OCR数据集。
2020-01-22 cs.CV
A Central Difference Graph Convolutional Operator for Skeleton-Based Action Recognition
Tianjin University（天津大学）；Zhengzhou University（郑州大学）；University of Wollongong（卧龙岗大学）
本文提出了一种新的图卷积算子称为中心差分图卷积（CDGC）的骨架为基础的动作识别。它不仅能够像香草图卷积运算那样聚合节点信息，还能够聚合梯度信息。在不引入任何额外参数的情况下，CDGC可以取代任何现有图卷积网络（GCN）中的普通图卷积。此外，开发了CDGC的加速版本，大大提高了训练速度。在两个流行的大规模数据集NTU RGB+D 60和120上的实验证明了所提出的CDGC的有效性。代码可在https://github.com/iesymiao/CD-GCN上获得。
2021-11-13 cs.CV
RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition
Tsinghua University（清华大学）；MEGVII Technology（旷视科技）；Aberystwyth University（阿伯里斯特威斯大学）
我们提出了RepMLP，一个多层感知器风格的神经网络构建块的图像识别，这是由一系列的全连接（FC）层。与卷积层相比，FC层更有效，更擅长建模长距离依赖关系和位置模式，但在捕获局部结构方面较差，因此通常不太适合图像识别。我们提出了一种结构重新参数化技术，增加了本地的前到FC，使其强大的图像识别。具体来说，我们在训练期间在RepMLP内部构建卷积层，并将它们合并到FC中进行推理。在CIFAR上，一个简单的纯MLP模型显示出非常接近CNN的性能。通过在传统的CNN中插入RepMLP，我们在ImageNet上将ResNets的准确率提高了1.8%，在人脸识别上提高了2.9%，在Cityscapes上提高了2.3%的mIoU。我们有趣的发现强调了将FC的全局表示能力和位置感知与卷积的局部先验相结合可以提高神经网络的性能，在具有平移不变性的任务上具有更快的速度（例如，语义分割）和具有对准图像和位置图案的那些（例如，面部识别）。代码和模型可在https://github.com/DingXiaoH/RepMLP上获得。
2022-03-30 cs.AI cs.CV cs.LG
Face Recognition Using Scattering Convolutional Network
NYU School of Engineering（纽约大学工程学院）
人脸识别在过去的几十年里一直是一个活跃的研究领域。在一般情况下，人脸识别可以是非常具有挑战性的，由于在视点，照明，面部表情等的变化，因此，它是必不可少的，以提取特征是不变的一些或所有这些变化。在这里，一个新的图像表示，称为散射变换/网络，已被用来提取面部特征。散射变换是一种卷积网络，它为信号提供了强大的多层表示。在提取散射特征后，利用主成分分析对数据进行降维，然后利用多类支持向量机进行识别。该算法在三个人脸数据集上进行了测试，取得了很高的识别率。
2017-11-30 cs.CV
A Closer Look at Spatiotemporal Convolutions for Action Recognition
Facebook Research（Facebook研究院）；Dartmouth College（达特茅斯学院）
在本文中，我们讨论了几种形式的时空卷积的视频分析，并研究其对动作识别的影响。我们的动机源于这样的观察，即应用于视频单个帧的2D CNN在动作识别中仍然表现出色。在这项工作中，我们经验性地证明了在残余学习的框架内，3D CNN相对于2D CNN的准确性优势。此外，我们还证明了将3D卷积滤波器分解为单独的空间和时间分量在准确性方面具有显着优势。我们的实证研究导致了一个新的时空卷积块“R（2+1）D”的设计，它产生了CNN，实现了与Sports-1 M，Kinetics，UCF 101和HMDB 51的最新技术相当或更好的结果。
2018-04-12 cs.CV
Adaptive Detrending to Accelerate Convolutional Gated Recurrent Unit Training for Contextual Video Recognition
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
随着图像识别技术的发展，视频识别技术成为当前研究的热点。然而，大多数现有的方法都集中在短期而不是长期的视频识别，称为上下文视频识别。为了解决上下文视频识别问题，我们使用具有丰富时空信息处理能力的卷积递归神经网络（ConvRNN），但ConvRNN需要大量计算，这会减慢训练速度。在本文中，受归一化和去趋势方法的启发，我们提出了用于时间归一化的自适应去趋势（AD），以加速ConvRNN的训练，特别是卷积门控递归单元（ConvGRU）。AD通过减去趋势来去除递归神经网络（RNN）中每个神经元的序列内的内部协变量偏移。在ConvGRU的上下文识别实验中，结果表明：（1）ConvGRU明显优于前馈神经网络，（2）AD始终提供显着的训练加速和泛化改进，（3）AD通过与现有的归一化方法合作得到进一步改进。
2017-05-24 cs.CV
Deep Convolutional Neural Network Based Facial Expression Recognition in the Wild
Universiti Brunei Darussalam（文莱达鲁萨兰大学）；Namal Institute（纳马尔学院）
本文描述了拟议的方法，使用的数据和我们参加2020年野外情感行为分析（ABAW）比赛的挑战轨道2（Expr挑战轨道）的结果。在这次比赛中，我们使用了一个提出的深度卷积神经网络（CNN）模型来对给定的数据集进行自动面部表情识别（AFER）。我们提出的模型在验证集上的准确率为50.77%，F1得分为29.16%。
2020-10-03 cs.CV
Feature Evaluation of Deep Convolutional Neural Networks for Object Recognition and Detection
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所（AIST））
在本文中，我们使用AlexNet架构和非常深的卷积网络（VGGNet）架构来评估卷积神经网络（CNN）的功能。到目前为止，大多数CNN研究人员在输出之前使用了最后一层，这些层是从完全连接的特征层中提取的。然而，由于特征表示有效性不太可能取决于问题，因此除了执行简单的特征级联调整（例如，第3层+第5层+第7层）和变换，使用诸如主成分分析的工具。在我们的实验中，我们使用加州理工学院101和戴姆勒行人基准数据集进行检测和分类任务。
2015-09-25 cs.AI cs.CV cs.MM
Action Recognition Based on Joint Trajectory Maps Using Convolutional Neural Networks
University of Wollongong（伍伦贡大学）；Tianjin University（天津大学）
近年来，卷积神经网络（ConvNets）在许多计算机视觉任务，特别是基于图像的识别中表现出了良好的性能。如何有效地使用ConvNets进行基于视频的识别仍然是一个悬而未决的问题。在本文中，我们提出了一个紧凑，有效而简单的方法来编码时空信息携带的$3D$骨架序列到多个$2D$图像，称为联合轨迹地图（JTM），和ConvNets被采用来开发实时人体动作识别的判别特征。所提出的方法已经在三个公共基准上进行了评估，即，MSRC-12 Kinect手势数据集（MSRC-12），G3 D数据集和UTD多模态人体动作数据集（UTD-MHAD），并取得了最先进的结果。
2016-11-13 cs.CV
Automatic Recognition of Coal and Gangue based on Convolution Neural Network
Institute of Huaqiao University（华侨大学研究院）；Industrial Engineering Research Center, universities and intelligent systems in Fujian Province（福建省高校智能系统工业工程研究中心）
设计了煤矸石分选系统，并基于AlexNet建立了卷积神经网络模型。针对卷积神经网络在训练阶段训练数据不足的问题，采用数据增强和迁移学习的方法。提出了一种目标检测和区域裁剪算法，将训练图像数据调整到最佳大小。与传统的神经网络和支持向量机算法相比，该算法对煤和煤矸石具有更高的识别率，为煤和煤矸石的识别和分选提供了重要参考。
2017-12-03 cs.CV
Multi-Temporal Convolutions for Human Action Recognition in Videos
Utrecht University（乌得勒支大学）
时间模式的有效提取对于视频中时变动作的识别至关重要。我们认为，可以改进卷积神经网络（CNN）中使用的固定大小的时空卷积核，以提取在不同时间尺度上执行的信息运动。为了解决这一挑战，我们提出了一种新的时空卷积块，能够提取时空模式在多个时间分辨率。我们提出的多时间卷积（MTConv）块利用两个分支，分别专注于简短和延长的时空模式。所提取的时变特征在第三分支中相对于通过复发细胞的全局运动模式对齐。所提出的块是轻量级的，可以集成到任何3D-CNN架构中。这大大降低了计算成本。在Kinetics、Moments in Time和HACS动作识别基准数据集上进行的大量实验表明，与最先进的技术相比，MTConvs具有竞争力的性能，且计算占用空间显著降低。
2021-03-31 cs.CV
U-Net Convolutional Network for Recognition of Vessels and Materials in Chemistry Lab
卷积网络在计算机视觉系统中得到了广泛的应用。在这些结果的鼓舞下，U-Net卷积网络被应用于使用最近的Vector-LabPics数据集识别化学实验室中的容器和材料，该数据集包含化学实验室和其他一般设置中大部分透明容器内的2187张材料图像，标记为13类。通过优化包括学习率和学习率衰减的超参数，血管识别的准确率达到87%。在训练集和测试集相对较小的情况下（相对稀有的材料状态，训练集样本数小于500，测试集样本数小于100），最佳模型的IoU综合提高了18%以上，准确率提高了19%。通过将改进的卷积网络结构纳入我们的模型，可以实现进一步的改进。
2022-11-10 cs.CV
Accurate, Data-Efficient, Unconstrained Text Recognition with Convolutional Neural Networks
Assiut University（艾斯尤特大学）
无约束文本识别是一个重要的计算机视觉任务，具有各种不同的子任务，每个子任务都有自己的挑战。深度神经网络的最大承诺之一是从输入原始信号中提取特征的收敛和自动化，从而以最少的领域知识实现尽可能高的性能。为此，我们提出了一个数据高效，端到端的神经网络模型通用，无约束的文本识别。在我们提出的架构中，我们努力在不牺牲识别精度的情况下实现简单性和效率。我们提出的架构是一个完全卷积的网络，没有任何使用CTC损失函数训练的循环连接。因此，它可以对任意大小的输入进行操作，并以非常高效和可并行的方式生成任意长度的字符串。我们通过在七个公共基准数据集上实现最先进的结果来展示我们所提出的文本识别架构的通用性和优越性，这些数据集涵盖了广泛的文本识别任务，即：手写识别，CAPTCHA识别，OCR，车牌识别和场景文本识别。我们提出的架构赢得了ICFHR 2018 READ数据集自动文本识别竞赛。
2018-12-31 cs.CV
Learnable Sampling 3D Convolution for Video Enhancement and Action Recognition
USTC（中国科学技术大学）；Microsoft Research（微软研究院）
视频增强和动作识别中的一个关键挑战是融合相邻帧中的有用信息。最近的工作建议在融合时间信息之前在相邻帧之间建立准确的对应关系。然而，生成的结果在很大程度上取决于对应性估计的质量。在本文中，我们提出了一个更强大的解决方案：跨邻域帧的\emph{sampling and fusing multi-level features}来生成结果。基于这一思想，我们引入了一个新的模块，以提高三维卷积的能力，即可学习的采样三维卷积（\emph{LS3D-Conv}）。我们将可学习的2D偏移量添加到3D卷积中，旨在跨帧对空间特征图上的位置进行采样。可以针对特定任务学习偏移。\emph{LS3D-Conv}可以灵活地替换现有3D网络中的3D卷积层，并获得新的架构，该架构在多个特征级别上学习采样。在视频插值、视频超分辨率、视频去噪和动作识别等方面的实验证明了该方法的有效性。
2020-11-22 cs.CV
Data-Free Point Cloud Network for 3D Face Recognition
Southeast University（东南大学）
基于点云的网络在三维物体分类、分割和室内场景语义解析等方面得到了广泛的关注。在人脸识别方面，直接消耗点云作为输入的三维人脸识别方法仍在研究中。两个主要因素导致了这一点：一是如何使用深度网络从3D点云中获得有区别的人脸表示;二是缺乏大型3D训练数据集。针对这些问题，提出了一种无数据的三维人脸识别方法，该方法仅使用统计三维Morphable Model的合成非真实数据来训练深度点云网络。为了解决模型数据与真实人脸分布不一致的问题，在训练和测试阶段采用了不同的点采样方法。在本文中，我们提出了一个曲率感知的点采样（CPS）策略，取代原来的最远点采样（FPS），分层下采样的特征敏感点，这是至关重要的通过和聚合功能深入。一个类似PointNet++的网络用于直接从点云中提取人脸特征。实验结果表明，在生成的数据上训练的网络对真实的3D人脸有很好的泛化能力。对FRGCv2.0和博斯普鲁斯海峡的一小部分进行微调，其中包括不同姿势和表情的真实面孔，进一步提高了识别精度。
2019-11-12 cs.CV
