2D-3D Geometric Fusion Network using Multi-Neighbourhood Graph Convolution for RGB-D Indoor Scene Classification
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多模态融合已被证明有助于提高场景分类任务的性能。本文提出了一个二维-三维融合阶段，结合三维几何特征和二维纹理特征获得的二维卷积神经网络。为了获得鲁棒的3D几何嵌入，提出了一种使用两个新层的网络。第一层，多邻域图卷积，旨在学习场景的更鲁棒的几何描述符，该描述符结合了两个不同的邻域：一个在欧几里得空间中，另一个在特征空间中。第二层，最近的体素池，提高了性能的著名的体素池。在NYU-Depth-V2和SUN RGB-D数据集上的实验结果表明，该方法在RGB-D室内场景分类任务中的性能优于当前最先进的方法。
2021-05-27 cs.AI cs.CV
HKNAS: Classification of Hyperspectral Imagery Based on Hyper Kernel Neural Architecture Search
Wuhan University（武汉大学）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文提出HKNAS，利用超核直接生成结构参数并设计仅含卷积的分层搜索空间，以降低高光谱图像分类的架构搜索成本并提升性能。
2023-04-23 cs.CV
GPUNet: Searching the Deployable Convolution Neural Networks for GPUs
NVIDIA（英伟达）
定制卷积神经网络（CNN）用于生产一直是DL从业者的一项具有挑战性的任务。本文旨在通过模型中心加快模型定制，该模型中心包含使用神经架构搜索（NAS）按推理延迟分层的优化模型。为了实现这一目标，我们建立了一个分布式NAS系统，搜索一个新的搜索空间，包括突出的因素，影响延迟和准确性。由于我们的目标是GPU，我们将NAS优化模型命名为GPUNet，它在推理延迟和准确性方面建立了一个新的SOTA Pareto边界。在1 $ms$内，GPUNet比EfficientNet-X和FBNetV 3快2倍，精度更高。我们还在检测任务上验证了GPUNet，GPUNet在延迟和准确性方面始终优于COCO检测任务上的EfficientNet-X和FBNetV 3。所有这些数据验证了我们的NAS系统是有效的和通用的处理不同的设计任务。通过这个NAS系统，我们扩展了GPUNet，以覆盖广泛的延迟目标，以便DL从业者可以在不同的场景中直接部署我们的模型。
2022-04-26 cs.AI cs.CV
SNF: Filter Pruning via Searching the Proper Number of Filters
Beijing University of Posts and Telecommunications（北京邮电大学）
卷积神经网络（CNN）存在大量的参数冗余，滤波器剪枝旨在去除冗余滤波器，为CNN在终端设备上的应用提供了可能。然而，以往的工作更多地关注于设计滤波器重要性的评价标准，然后以固定的剪枝率或固定的个数对不重要的滤波器进行剪枝，以减少卷积神经网络的冗余。它没有考虑每层保留多少个过滤器是最合理的选择。从这个角度来看，我们提出了一种新的过滤器修剪方法，通过搜索适当的过滤器（SNF）的数量。SNF致力于为每一层搜索最合理数量的保留过滤器，然后用特定的标准修剪过滤器。它可以在不同的FLOP下定制最合适的网络结构。使用我们的方法进行的过滤器修剪在CIFAR-10上获得了最先进的（SOTA）精度，并在ImageNet ILSVRC-2012.SNF上实现了具有竞争力的性能。基于ResNet-56网络的SNF在CIFAR-10上实现了52.94%的FLOP减少，Top-1精度提高了0.14%。在CIFAR-10上修剪ResNet-110还可以提高0.03%的Top-1准确度，同时减少68.68%的FLOP。对于ImageNet，我们将修剪率设置为52.10% FLOPs，Top-1准确率仅下降0.74%。这些代码可以在https://github.com/pk-l/SNF上获得。
2021-12-14 cs.CV
DV-ConvNet: Fully Convolutional Deep Learning on Point Clouds with Dynamic Voxelization and 3D Group Convolution
Hong Kong University of Science and Technology（香港科技大学）
由于点云数据的随机性和稀疏性，三维点云数据的解释是一项具有挑战性的任务。最近提出的许多方法，如PointNet和PointCNN，一直专注于从点坐标学习形状描述作为逐点输入特征，这通常涉及复杂的网络架构。在这项工作中，我们提请注意标准的3D卷积对一个有效的3D点云解释。与其他体积方法不同的是，我们不像其他体积方法那样将整个点云转换为体素表示，而是使用具有自适应体素化分辨率的动态体素化操作，仅在每个卷积层内的必要位置动态体素化点云的子部分。此外，我们将3D组卷积纳入我们的密集卷积核实现中，以进一步利用点云的旋转不变特征。受益于其简单的全卷积架构，我们的网络能够以相当快的速度运行和收敛，同时在多个基准数据集上产生与最先进方法相当甚至更好的性能。
2021-07-27 cs.CV
Global Voxel Transformer Networks for Augmented Microscopy
Texas A&M University（德州农工大学）
深度学习的进步使增强显微镜技术取得了显著的成功，使我们能够在不使用昂贵的显微镜硬件和样品制备技术的情况下获得高质量的显微镜图像。然而，目前用于增强显微镜的深度学习模型大多是基于U-Net的神经网络，因此存在某些限制性能的缺点。在这项工作中，我们介绍了全局体素Transformer网络（GVTNets），这是一种用于增强显微镜的高级深度学习工具，它克服了当前基于U-Net的模型的固有局限性，并实现了性能的提高。GVTNet建立在全局体素Transformer运算符（GVTO）上，与卷积等局部运算符相反，GVTO能够聚合全局信息。我们将所提出的方法应用于现有的数据集上，在各种设置下进行三种不同的增强显微镜任务。性能显著且始终优于以前的基于U-Net的方法。
2020-11-23 cs.CV cs.LG eess.IV
Summarize and Search: Learning Consensus-aware Dynamic Convolution for Co-Saliency Detection
Northwestern Polytechnical University（西北工业大学）；Inception Institute of Artificial Intelligence（人工智能初始研究所）
人类通过首先总结整个组中的共识知识，然后在每个图像中搜索对应的对象来执行共显着性检测。以前的方法通常缺乏鲁棒性，可扩展性或稳定性的第一个过程，并简单地融合共识功能与图像特征的第二个过程。在本文中，我们提出了一种新的共识感知的动态卷积模型，明确和有效地执行“总结和搜索”的过程。为了总结共识图像特征，我们首先使用有效的池化方法总结每个图像的鲁棒特征，然后通过自我注意力机制聚合跨图像共识线索。通过这样做，我们的模型满足可扩展性和稳定性的要求。接下来，我们从共识特征生成动态内核来编码总结的共识知识。两种内核的补充方式，分别总结细粒度的图像特定的共识对象线索和粗糙的组明智的共同知识。然后，我们可以有效地执行对象搜索，采用动态卷积在多个尺度。此外，还提出了一种新颖有效的数据综合方法来训练网络。在四个基准数据集上的实验结果验证了该方法的有效性。我们的代码和显着图可在\url{https://github.com/nnizhang/CADC}上获得。
2021-10-01 cs.CV
Fast Point Voxel Convolution Neural Network with Selective Feature Fusion for Point Cloud Semantic Segmentation
University of Missouri（密苏里大学）
我们提出了一种新的轻量级卷积神经网络的点云分析。与目前许多通过下采样点云来增加感受野的CNN相比，我们的方法直接对整个点集进行操作而无需采样，并且有效地实现了良好的性能。我们的网络由点体素卷积（PVC）层作为构建块组成。每一层都有两个平行的分支，即体素分支和点分支。对于体素分支，我们聚集非空体素中心的局部特征，以减少体素化引起的几何信息丢失，然后应用体积卷积来增强局部邻域几何编码。对于点分支，我们使用多层感知器（MLP）来提取精细详细的逐点特征。来自这两个分支的输出通过特征选择模块自适应地融合。此外，我们监督每个PVC层的输出，以学习不同层次的语义信息。最终预测是通过平均所有中间预测来进行的。我们的经验表明，我们的方法是能够实现可比的结果，同时是快速和内存效率。我们评估我们的方法对流行的点云数据集的对象分类和语义分割任务。
2021-09-23 cs.CV
Multi Voxel-Point Neurons Convolution (MVPConv) for Fast and Accurate 3D Deep Learning
Northwest University（西北大学）；Nanyang Technological University（南洋理工大学）
我们提出了一种新的卷积神经网络，称为多体素点神经元卷积（MVPConv），用于快速准确的3D深度学习。以往的工作要么采用基于点的特征，要么采用基于局部邻域体素的特征来处理三维模型，由于计算效率低，限制了模型的性能。此外，现有的3D深度学习框架大多旨在解决一个特定的任务，只有少数框架可以处理多种任务。该方法综合了体素和点基方法的优点，有效地增加了点基特征之间的相邻集合，增强了体素特征之间的独立性。只需将相应的卷积模块替换为MVPConv，我们就可以证明MVPConv可以适应不同的主干，以解决各种3D任务。在ShapeNet Part，S3DIS和KITTI等基准数据集上进行的各种任务的广泛实验表明，MVPConv将主干（PointNet）的准确性提高了36%，并以高达34倍的加速比实现了比基于体素的模型更高的准确性。此外，MVPConv还优于最先进的基于点的模型，加速高达8倍。值得注意的是，我们的MVPConv比最新的基于点体素的模型PVCNN（比PointNet更有效的模型）具有更低的延迟，实现了更好的准确性。
2021-04-30 cs.CV
Multi Point-Voxel Convolution (MPVConv) for Deep Learning on Point Clouds
Northwest University（西北大学）；Nanyang Technological University（南洋理工大学）
现有的3D深度学习方法采用基于单个点的特征或基于局部相邻体素的特征，并且在处理3D数据方面表现出巨大的潜力。然而，由于点云的无序性，基于点的模型是低效的，并且基于体素的模型遭受大的信息损失。受最近点体素表示（如PVCNN）的成功启发，我们提出了一种新的卷积神经网络，称为多点体素卷积（MPVConv），用于点云的深度学习。MPVConv融合了体素方法和点方法的优点，能够有效地增加点特征之间的相邻集合，并提高体素特征之间的独立性。此外，大多数现有的方法旨在解决一个特定的任务，只有少数人可以处理多种任务。只需将相应的卷积模块替换为MPVConv，我们就可以证明MPVConv可以适应不同的主干，以解决各种各样的3D任务。在ShapeNet Part、S3DIS和KITTI等基准数据集上针对各种任务进行的大量实验表明，MPVConv将主干（PointNet）的准确性提高了\textbf{36\%}，并在高达\textbf{34} $\times$加速比下实现了比基于体素的模型更高的准确性。此外，MPVConv的性能优于最先进的基于点的模型，最高可达\textbf{8} $\times$加速。值得注意的是，我们的MPVConv比最新的基于点体素的模型PVCNN（比PointNet更有效的模型）具有更低的延迟，实现了更好的准确性。
2021-07-28 cs.CV
Searching for Winograd-aware Quantized Networks
University of Oxford（牛津大学）；Arm ML Research Lab（安谋机器学习研究实验室）
卷积神经网络（CNN）的轻量级架构设计以及量化为在移动设备上部署要求苛刻的计算机视觉应用铺平了道路。与此并行，卷积运算的替代公式，如FFT，Strassen和Winograd，已被适配用于CNN，提供进一步的加速。Winograd卷积是空间小卷积的最快已知算法，但充分利用其潜力会带来数值误差的负担，使其在量化环境中无法使用。在这项工作中，我们提出了一个Winograd感知的卷积层公式，它将Winograd变换引入的数值不准确性暴露在模型参数的学习中，从而能够在不影响模型大小的情况下设计有竞争力的量化模型。我们还解决了数值误差的来源，并提出了一个放松的形式的转换矩阵，导致高达10%的分类精度提高CIFAR-10。最后，我们提出了wiNAS，一个神经架构搜索（NAS）框架，利用Winograd感知层，联合优化给定的宏架构的准确性和延迟。与im 2 row（最广泛使用的优化卷积实现之一）相比，Winograd感知的ResNet-18（使用wiNAS针对CIFAR-10进行优化）可实现2.66倍的加速，并且不会损失准确性。
2020-02-25 cs.CV cs.LG stat.ML
PvDeConv: Point-Voxel Deconvolution for Autoencoding CAD Construction in 3D
SnT, University of Luxembourg（卢森堡大学SnT）；Artec3D
我们提出了一个点体素反卷积（PVDeConv）模块的三维数据自动编码。为了证明其效率，我们学习合成10 k个点的高分辨率点云，这些点密集地描述了计算机辅助设计（CAD）模型的底层几何形状。扫描伪影，如突起、缺失零件、平滑边缘和孔，不可避免地出现在制造的CAD对象的真实3D扫描中。从3D扫描学习原始CAD模型构造需要地面实况与对象的相应3D扫描一起可用。为了解决这一差距，我们引入了一个新的专用数据集CC 3D，其中包含50 k+对CAD模型及其相应的3D网格。该数据集用于学习从成对的3D扫描- CAD模型中采样的点云的卷积自动编码器。与在ShapeNet上训练的其他生成点云采样模型相比，这个新数据集的挑战得到了证明。与最先进的3D数据生成模型相比，CC 3D自动编码器在内存消耗和训练时间方面非常高效。
2021-01-12 cs.CV cs.LG
Interpolation-Aware Padding for 3D Sparse Convolutional Neural Networks
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
基于稀疏体素的3D卷积神经网络（CNN）被广泛用于各种3D视觉任务。基于稀疏体素的3D CNN从3D输入创建稀疏的非空体素，并仅对它们执行3D卷积操作。我们提出了一个简单而有效的填充方案-插值感知填充填充一些空的体素相邻的非空体素，并涉及他们在3D CNN计算，使所有相邻的体素存在时，通过三线性插值计算逐点特征。对于细粒度的3D视觉任务，逐点特征是必不可少的，如语义分割和3D检测，我们的网络实现了更高的预测精度比现有的网络使用最近邻插值或归一化三线性插值与零填充或八叉树填充方案。通过对各种3D分割和检测任务的广泛比较，我们证明了3D稀疏CNN与我们的填充方案结合特征插值的优越性。
2021-08-16 cs.CV
Binarizing MobileNet via Evolution-based Searching
Carnegie Mellon University（卡内基梅隆大学）；Hong Kong University of Science and Technology（香港科技大学）；Axon Enterprise（Axon企业公司）
二进制神经网络（Binary Neural Networks，BNN）是一种高效的紧凑网络结构，在视觉任务中取得了很好的效果。由于网络的二进制性质，设计有效的二进制架构并不简单。在本文中，我们提出了一种使用进化搜索，以促进建设和训练计划时，二进制MobileNet，一个紧凑的网络与可分离的深度卷积。受一次性架构搜索框架的启发，我们利用组卷积的思想来设计高效的1位卷积神经网络（CNN），假设计算成本和模型精度之间的近似最佳权衡。我们的目标是通过探索组卷积的最佳候选者，同时在复杂性和延迟方面优化模型性能，从而提出一种微小而有效的二进制神经架构。这一办法有三个方面。首先，我们训练强基线二进制网络，在每个卷积层上使用各种随机组组合。这种设置使二进制神经网络具有通过层保存基本信息的能力。其次，为了找到一组好的群卷积超参数，我们使用进化搜索，它利用了有效的1位模型的探索。最后，这些二进制模型以通常的方式从头开始训练，以实现最终的二进制模型。在ImageNet上进行的各种实验表明，按照我们的构建指南，最终模型达到了60.09%的Top-1准确率，并且在相同的计算成本下优于最先进的CI-BCNN。
2020-05-15 cs.CV cs.LG cs.NE
Searching for Fast Model Families on Datacenter Accelerators
Google（谷歌）
神经架构搜索（NAS）与模型缩放一起，在设计高精度和快速卷积架构家族方面取得了显着进展。然而，由于NAS和模型扩展都没有考虑足够的硬件架构细节，因此它们没有充分利用新兴的数据中心（DC）加速器。在本文中，我们寻找快速和准确的CNN模型族的DC加速器上的有效推理。我们首先分析了DC加速器，发现现有的CNN存在操作强度、并行性和执行效率不足的问题。这些见解让我们创建了一个DC加速器优化的搜索空间，具有空间到深度，空间到批处理，混合融合卷积结构，具有香草卷积和去卷积卷积，以及逐块激活函数。在我们的DC加速器优化的神经架构搜索空间之上，我们进一步提出了一种延迟感知复合缩放（LACS），这是第一种同时优化准确性和延迟的多目标复合缩放方法。我们的LACS发现，网络深度的增长速度应该比图像大小和网络宽度快得多，这与以前的复合缩放结果有很大不同。借助新的搜索空间和LACS，我们在数据中心加速器上的搜索和扩展产生了名为EfficientNet-X的新模型系列。EfficientNet-X在TPUv 3和GPUv 100上的速度比EfficientNet（一个在FLOP和准确性方面具有最先进折衷的模型系列）快2倍以上，精度相当。EfficientNet-X在TPUv 3和GPUv 100上的速度也比最近的RegNet和ResNeSt快7倍。
2021-02-10 cs.CV eess.IV
Pointwise Rotation-Invariant Network with Adaptive Sampling and 3D Spherical Voxel Convolution
Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
在实际应用中，由于点云的方向往往是未知的，没有姿态先验的点云分析是非常具有挑战性的。本文提出了一种全新的点集学习框架PRIN，即点态旋转不变网络，重点研究点云分析中的旋转不变特征提取。我们利用密度感知自适应采样构造球面信号，以处理球面空间中的畸变点分布。此外，我们提出了球面体素卷积和点重采样来提取每个点的旋转不变特征。我们的网络可应用于从对象分类、零件分割到3D特征匹配和标签对齐等任务。我们发现，在随机旋转点云的数据集上，PRIN比没有任何数据增强的最先进的方法表现出更好的性能。我们还提供了理论分析的旋转不变性实现我们的方法。
2019-12-05 cs.CV
PCSCNet: Fast 3D Semantic Segmentation of LiDAR Point Cloud for Autonomous Car using Point Convolution and Sparse Convolution Network
Hanyang University（汉阳大学）；Chonnam University（全南大学）；Konkuk University（建国大学）
自动驾驶汽车必须快速识别驾驶环境以确保安全驾驶。随着激光雷达（Light Detection And Range，LiDAR）传感器在自动驾驶汽车中的广泛应用，对传感器帧速率范围内的点云进行逐点分类的快速语义分割在驾驶环境识别中引起了人们的关注。基于体素和融合的语义分割模型是目前点云语义分割的主流模型，但由于体素分辨率高，计算量大，影响了其实时性。本文提出了一种基于点卷积和三维稀疏卷积的快速体素语义分割模型（PCSCNet）。所提出的模型的设计优于在高和低体素分辨率使用点卷积为基础的特征提取。此外，该模型在特征提取后使用3D稀疏卷积加速特征传播。实验结果表明，该模型在语义分割方面优于SemanticKITTI和nuScenes的实时模型，在LiDAR点云推理方面达到了实时性要求。
2022-02-21 cs.CV
Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs
Google（谷歌）
设备上的ML加速器正在成为现代移动片上系统（SoC）的标准。神经架构搜索（NAS）可以有效地利用这些加速器提供的高计算吞吐量。然而，现有的NAS框架在扩展到多个任务和不同的目标平台方面有几个实际的限制。在这项工作中，我们提供了一个双管齐下的方法来应对这一挑战：（i）NAS使能基础设施，其将模型成本评估、搜索空间设计和NAS算法结合在一起，以快速针对各种设备上的ML任务，以及（ii）从基于组卷积的反向瓶颈（IBN）变体制作的搜索空间，其在ML加速器上提供灵活的质量/性能权衡，补充了现有的基于全卷积和去卷积的IBN。使用这种方法，我们针对最先进的移动平台Google Tensor SoC，并展示了神经架构，可以提高各种计算机视觉（分类，检测，分割）以及自然语言处理任务的质量性能帕累托边界。
2022-04-09 cs.CV cs.DC cs.LG
MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation
Washington University in St. Louis（圣路易斯华盛顿大学）；Simon Fraser University（西蒙弗雷泽大学）
提出了一种基于稀疏卷积和点亲和度预测的三维实例分割新方法。所提出的网络建立在子流形稀疏卷积[3]的基础上，处理体素化的点云，并预测每个占用体素的语义得分以及不同尺度下相邻体素之间的亲和力。一个简单而有效的聚类算法根据预测的亲和力和网格拓扑将点分割成实例。每个实例的语义由语义预测确定。实验表明，我们的方法优于国家的最先进的实例分割方法的广泛使用的ScanNet基准[2]的大幅度。我们在https://github.com/art-programmer/MASC上公开分享我们的代码。
2019-02-12 cs.CV
Deformable Filter Convolution for Point Cloud Reasoning
University of Toronto（多伦多大学）；Uber Advanced Technologies Group（优步先进技术集团）
点云是许多真实世界3D传感器的原生输出。为了借鉴2D卷积网络架构的成功，大多数流行的3D感知模型都会对点进行体素化，这可能会导致无法恢复的局部几何细节丢失。在本文中，我们提出了一种新的可学习的卷积层直接处理三维点云数据。我们没有将点离散为固定的体素，而是将可学习的3D过滤器变形以与点云形状相匹配。我们建议在1）网络输入流和2）输出预测层将体素化骨干网络与我们的可变形过滤器层相结合，以增强点级推理。我们在LiDAR语义分割上获得了最先进的结果，并在LiDAR目标检测上获得了显著的性能提升。
2019-07-30 cs.CV
CONet: Channel Optimization for Convolutional Neural Networks
University of New Brunswick（新不伦瑞克大学）；University of Toronto（多伦多大学）
神经架构搜索（NAS）已经将网络设计从使用人类直觉转变为利用由评估指标指导的搜索算法。我们研究了卷积神经网络（CNN）中的通道大小优化，并确定了它在模型准确性和复杂性中所起的作用。现有的通道尺寸选择方法通常受离散样本空间的限制，同时遭受人工迭代和简单的算法。为了解决这个问题，我们引入了一种有效的动态缩放算法-- CONet --它可以自动优化给定CNN的跨网络层的通道大小。引入了两个度量--“\textit{Rank}“和“\textit{Rank Average Slope}“--来识别训练中积累的信息。该算法在固定的搜索阶段动态地增大或减小信道大小。我们在CIFAR 10/100和ImageNet数据集上进行了实验，结果表明，CONet可以找到在ResNet、DARTS和DARTS+空间中搜索到的高效准确的架构，这些架构的性能优于其基线模型。本文件取代先前在ICCV 2021-NeurArch研讨会上发表的论文。另外一节是关于人工缩放CNN中的信道大小，以数字验证在CNN中搜索最佳信道配置时使用的度量。
2022-04-07 cs.CV cs.LG cs.NE
PVINet: Point-Voxel Interlaced Network for Point Cloud Compression
School of Computer Science and Technology, Harbin Institute of Technology（计算机科学与技术学院，哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）
针对点云压缩中全局与局部信息缺乏交互的问题，提出PVINet网络，通过并行提取全局体素特征与局部点特征并引入条件稀疏卷积实现双向交互，在基准数据集上取得了媲美现有最优方法的压缩性能。
2025-09-01 cs.CV
A Fast Hybrid Cascade Network for Voxel-based 3D Object Classification
Shandong University of Finance and Economics（山东财经大学）；Donghua University（东华大学）；University of Manchester（曼彻斯特大学）
针对二值体素表示下3D卷积分类效果不佳的问题，提出含三个难度处理阶段的混合级联架构，结合有符号距离体素表示，兼顾了分类准确率与推理速度。
2023-04-28 cs.CV cs.LG
CodedVTR: Codebook-based Sparse Voxel Transformer with Geometric Guidance
Tsinghua University（清华大学）；Peking University（北京大学）；Shanghai Qizhi Institude（上海期智研究院）
Transformers在许多2D视觉任务中的表现优于卷积神经网络，因此备受关注。然而，众所周知，它们存在泛化问题，并且依赖于大规模的预训练和复杂的训练技术。在应用于三维任务时，不规则的数据结构和有限的数据规模增加了Transformer的应用难度。提出了CodedVTR（Codebook-based Voxel Transformer）算法，提高了三维稀疏体素Transformers的数据效率和泛化能力。一方面，我们提出了基于码本的注意力，将注意力空间投影到由可学习码本中的“原型”组合表示的子空间中。它使注意力学习规则化，提高了泛化能力。另一方面，我们提出了几何感知的自我注意，利用几何信息（几何图案，密度）来指导注意学习。CodedVTR可以嵌入到现有的基于稀疏卷积的方法中，并为室内和室外3D语义分割任务带来一致的性能改进
2022-03-27 cs.CV
einspace: Searching for Neural Architectures from Fundamental Operations
针对现有NAS搜索空间多样性不足难催生架构范式转变的问题，提出基于参数化概率上下文无关文法的einspace搜索空间，可建模多种网络结构，在Unseen NAS数据集上从零搜索可得有竞争力的架构，以强基线初始化可获大幅提升，推动变革性NAS范式发展。
2024-10-30 cs.AI cs.CV cs.LG
Voxel Set Transformer: A Set-to-Set Approach to 3D Object Detection from Point Clouds
The Hong Kong Polytechnic University（香港理工大学）
Transformer在许多2D视觉任务中表现出良好的性能。然而，由于点云是一个长序列，在三维空间中分布不均匀，因此计算大规模点云数据的自注意力是非常繁琐的。为了解决这个问题，现有的方法通常通过将点分组为相同大小的聚类来局部计算自注意力，或者在离散化表示上执行卷积自注意力。然而，前者导致随机点丢失，而后者通常具有狭窄的注意力领域。在本文中，我们提出了一种新的基于体素的体系结构，即体素集Transformer（VoxSeT），检测3D对象从点云通过集到集的翻译。VoxSeT是建立在一个基于体素的集合注意力（VSA）模块，它减少了在每个体素的自我注意力的两个交叉注意力和模型的特征在一个隐藏的空间诱导的一组潜在的代码。通过VSA模块，VoxSeT可以管理大范围内任意大小的体素化点簇，并以线性复杂度并行处理。所提出的VoxSeT将Transformer的高性能与基于体素的模型的效率相结合，可以用作卷积和基于点的骨干的良好替代。VoxSeT报告了KITTI和Waymo检测基准的竞争结果。源代码可在\url{https://github.com/skyhehe123/VoxSeT}中找到。
2022-03-19 cs.CV
PointCNN++: Performant Convolution on Native Points
Peking University（北京大学）；Ant Group（蚂蚁集团）；AMAP（高德地图）
PointCNN++提出了一种新的架构设计，通过将稀疏卷积从体素扩展到点，解决了精度与性能之间的权衡问题，实现了高保真和高效3D学习。
2026-03-29 cs.CV
PV-SSD: A Multi-Modal Point Cloud Feature Fusion Method for Projection Features and Variable Receptive Field Voxel Features
针对点云3D检测中规则化表示易致信息损失的问题，提出PV-SSD多模态融合方法，通过双分支提取投影与可变感受野体素特征并融合，在KITTI和ONCE数据集上验证了有效性。
2024-04-13 cs.CV
Not All Voxels Are Equal: Semantic Scene Completion from the Point-Voxel Perspective
Peking University（北京大学）；Chinese University of Hong Kong（香港中文大学）
我们重新语义场景完成（SSC），一个有用的任务来预测三维场景的语义和占用表示，在本文中。许多用于此任务的方法总是基于体素化场景表示以保持局部场景结构。然而，由于可见空体素的存在，当网络深入时，这些方法总是存在大量的计算冗余，从而限制了完成质量。为了解决这个难题，我们提出了我们的新的点体素聚合网络的这项任务。首先，我们通过去除这些可见的空体素，将体素化的场景转换为点云，并采用深度点流从场景中有效地捕获语义信息。同时，只包含两个3D卷积层的轻量体素流保留了体素化场景的局部结构。此外，我们还设计了一个各向异性体素聚合算子，将体素流中的结构细节融合到点流中，并设计了一个语义感知的传播模块，通过语义标签来增强点流中的上采样过程。我们证明了我们的模型在两个基准上远远超过了最先进的技术，只有深度图像作为输入。
2023-03-20 cs.CV
Flow4D: Leveraging 4D Voxel Network for LiDAR Scene Flow Estimation
DGIST（大邱庆北科学技术院）；Carnegie Mellon University（卡内基梅隆大学）
针对现有激光雷达场景流方法时空特征提取隐式、信息缺失的问题，提出带STDB模块的Flow4D 4D体素网络，利用五帧点云显式提取时空特征，实时运行下性能超SOTA 45.9%，获2024 Argoverse 2场景流挑战赛冠军。
2024-07-10 cs.CV
Voxel Densification for Serialized 3D Object Detection: Mitigating Sparsity via Pre-serialization Expansion
本文提出体素稠密化模块，通过预序列化扩展提升3D物体检测精度，实验显示在多个数据集上均优于基线模型。
2026-02-25 cs.CV
Efficient Semantic Scene Completion Network with Spatial Group Convolution
Tsinghua University（清华大学）；Intel Labs China（英特尔中国研究院）
我们引入了空间群卷积（SGC）来加速3D密集预测任务的计算。SGC与组卷积正交，组卷积作用于空间维度而不是特征通道维度。该算法将输入体素分成不同的组，然后对这些组进行3D稀疏卷积。由于在执行卷积时只考虑有效体素，因此可以显著减少计算量，但精度略有损失。语义场景完成任务，其目的是预测一个完整的3D体积与语义标签从一个单一的深度图像上所提出的操作进行了验证。通过SGC，我们进一步提出了一个高效的3D稀疏卷积网络，它利用了多尺度架构和从粗到细的预测策略。评估是在SUNC数据集上进行的，实现了最先进的性能和快速。代码可在https://github.com/zjhthu/SGC-Release.git上获得
2019-07-11 cs.CV
VoxelNeXt: Fully Sparse VoxelNet for 3D Object Detection and Tracking
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）
3D对象检测器通常依赖于手工制作的代理，例如，锚点或中心，并将研究良好的2D框架转换为3D。因此，稀疏体素特征需要通过密集预测头进行加密和处理，这不可避免地需要额外的计算。在本文中，我们提出VoxelNext用于完全稀疏的3D目标检测。我们的核心见解是直接基于稀疏体素特征预测对象，而不依赖于手工制作的代理。我们强大的稀疏卷积网络VoxelNeXt完全通过体素特征检测和跟踪3D对象。它是一个优雅而高效的框架，不需要稀疏到密集的转换或NMS后处理。我们的方法比nuScenes数据集上的其他主机检测器实现了更好的速度-精度权衡。这是第一次，我们证明了一个完全稀疏的基于体素的表示工程体面的激光雷达三维目标检测和跟踪。在nuScenes，Waymo和Argoverse 2基准上进行的大量实验验证了我们方法的有效性。在没有花里胡哨的情况下，我们的模型在nuScenes跟踪测试基准上的性能优于所有现有的LIDAR方法。
2023-03-20 cs.CV
PV-RCNN++: Point-Voxel Feature Set Abstraction With Local Vector Representation for 3D Object Detection
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；The University of Sydney（悉尼大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
三维目标检测由于其在各个领域的广泛应用而受到工业界和学术界越来越多的关注。在本文中，我们提出了基于点体素区域卷积神经网络（PV-RCNN）的点云上的三维目标检测。首先，我们提出了一种新的3D检测器PV-RCNN，它通过两个新的步骤，即通过深度集成基于点的集合抽象和基于体素的稀疏卷积的特征学习来提高3D检测性能，体素到关键点场景编码和关键点到网格ROI特征提取。其次，我们提出了一个先进的框架PV-RCNN++，用于更有效和准确的3D目标检测。它包括两个主要的改进：扇区化的以提案为中心的采样，用于有效地产生更具代表性的关键点，以及VectorPool聚合，用于更好地聚合局部点特征，同时减少资源消耗。通过这两种策略，我们的PV-RCNN++比PV-RCNN快约$3\times$，同时也实现了更好的性能。实验表明，我们提出的PV-RCNN++框架在大规模和高度竞争的Waymo开放数据集上实现了最先进的3D检测性能，在150 m * 150 m的检测范围内具有10 FPS的推理速度。
2022-11-07 cs.CV
Classification of Point Cloud Scenes with Multiscale Voxel Deep Network
Mines ParisTech（巴黎高等矿业学院）；PSL Research University（巴黎文理研究大学）；Centre for Robotics（机器人中心）
在这篇文章中，我们描述了一种新的卷积神经网络（CNN）来分类城市或室内场景的3D点云。给出了解决方案的工作场景点云遇到的问题，并描述了一个网络，允许点分类只使用在多尺度邻域中的点的位置。在简化的8 Semantic3D基准上[Hackel等人，2017]，这个网络排名第二，击败了点分类方法的最新技术（那些不使用正则化步骤的方法）。
2018-04-10 cs.CV
FCAF3D: Fully Convolutional Anchor-Free 3D Object Detection
Samsung AI Center（三星人工智能中心）
近年来，基于点云数据的三维目标检测在机器人和增强现实领域的应用前景越来越广。在本文中，我们提出了FCAF 3D-一流的全卷积无锚室内3D目标检测方法。这是一种简单而有效的方法，它使用点云的体素表示，并使用稀疏卷积处理体素。FCAF 3D可以通过一个完全卷积的前馈通道以最小的运行时间处理大规模场景。现有的3D目标检测方法对物体的几何形状进行了先验假设，我们认为这限制了它们的泛化能力。为了摆脱任何先前的假设，我们提出了一种新的参数化定向边界框，允许以纯粹的数据驱动的方式获得更好的结果。所提出的方法在ScanNet V2（+4.5）、SUN RGB-D（+3.5）和S3 DIS（+20.5）数据集上实现了最先进的3D目标检测结果（mAP@0.5）。代码和模型可在https://github.com/samsunglabs/fcaf3d上获得。
2022-03-24 cs.CV
Virtual Sparse Convolution for Multimodal 3D Object Detection
Xiamen University（厦门大学）；Max-Planck Institute（马克斯·普朗克研究所）；Texas A&M University（得克萨斯农工大学）
最近，通过深度完成无缝融合RGB图像和LiDAR数据的基于虚拟/伪点的3D目标检测获得了极大的关注。然而，从图像中生成的虚拟点非常密集，在检测期间引入了大量的冗余计算。同时，深度补偿不准确带来的噪声严重降低了检测精度。本文提出了一种快速而有效的骨干，称为VirConvNet，基于一个新的运营商VirConv（虚拟稀疏卷积），基于虚拟点的三维目标检测。VirConv由两个关键设计组成：（1）StVD（随机体素丢弃）和（2）NRConv（抗噪声子流形卷积）。StVD通过丢弃大量附近的冗余体素来解决计算问题。NRConv通过在2D图像和3D LiDAR空间中编码体素特征来解决噪声问题。通过集成VirConv，我们首先开发了一个高效的管道VirConv-L的基础上早期融合设计。然后，我们建立了一个高精度的流水线VirConv-T的基础上转换的细化方案。最后，我们开发了一个基于伪标签框架的半监督管道VirConv-S。在KITTI汽车3D检测测试排行榜上，我们的VirConv-L以56 ms的快速运行速度达到了85%的AP。我们的VirConv-T和VirConv-S分别达到86.3%和87.2%的AP高精度，目前分别排名第二和第一。该代码可在https://github.com/hailanyi/VirConv上获得。
2023-03-04 cs.CV
VoxelTrack: Exploring Voxel Representation for 3D Point Cloud Object Tracking
Hangzhou Dianzi University（杭州电子科技大学）
针对点云表示难以建模3D空间信息的问题，本文提出VoxelTrack，利用体素化、稀疏卷积和跨迭代双流融合实现高精度实时3D单目标跟踪。
2024-08-05 cs.CV
VoxelKP: A Voxel-based Network Architecture for Human Keypoint Estimation in LiDAR Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
针对激光雷达数据中人体关键点估计的稀疏分布挑战，提出全稀疏网络VoxelKP，通过四项创新设计在Waymo数据集上实现MPJPE指标显著提升，为该任务首个单阶段全稀疏最优方案。
2023-12-11 cs.CV
Point Density-Aware Voxels for LiDAR 3D Object Detection
University of Toronto（多伦多大学）
LiDAR已成为自动驾驶中主要的3D目标检测传感器之一。然而，LiDAR的发散点图案随着距离的增加而导致不均匀的采样点云不适合于离散化体积特征提取。目前的方法要么依赖于体素化点云，要么使用效率低下的最远点采样来减轻密度变化造成的不利影响，但在很大程度上忽略了点密度作为一个特征及其与距离LiDAR传感器的可预测关系。我们提出的解决方案，点密度感知体素网络（PDV），是一个端到端的两阶段激光雷达三维目标检测架构，旨在考虑这些点密度的变化。PDV通过体素点质心有效地从3D稀疏卷积主干定位体素特征。然后通过密度感知RoI网格池化模块使用核密度估计（KDE）和具有点密度位置编码的自关注来聚合空间局部化体素特征。最后，我们利用激光雷达的点密度与距离的关系来改进我们最终的限界框置信度。PDV在Waymo开放数据集上的表现优于所有最先进的方法，并在KITTI数据集上取得了有竞争力的结果。我们提供PDV的代码发布，可在https://github.com/TRAILab/PDV上获得。
2022-03-22 cs.CV
Hierarchical Surface Prediction for 3D Object Reconstruction
University of California, Berkeley（加州大学伯克利分校）
最近，卷积神经网络在三维几何预测方面显示出了良好的效果。它们可以从非常少的输入数据（如单色图像）进行预测。这种方法的一个主要限制是，它们只能预测一个粗略的分辨率体素网格，这并不能很好地捕捉物体的表面。我们提出了一个通用的框架，称为层次表面预测（HSP），这有利于预测高分辨率体素网格。主要的见解是，它是足够的预测周围的预测表面的高分辨率体素。对象的外部和内部可以用粗分辨率体素表示。我们的方法不依赖于特定的输入类型。我们展示了彩色图像、深度图像的几何预测结果以及部分体素网格的形状完成结果。我们的分析表明，我们的高分辨率预测比低分辨率预测更准确。
2017-11-06 cs.CV
VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Zhejiang University（浙江大学）
最先进的3D感知生成模型依赖于基于坐标的MLP来参数化3D辐射场。虽然展示了令人印象深刻的结果，但查询每条光线的每个样本的MLP会导致缓慢的渲染。因此，现有的方法通常渲染低分辨率的特征图，并使用上采样网络对其进行处理以获得最终图像。尽管高效，但神经渲染通常会使视点和内容纠缠在一起，从而更改相机姿势会导致不必要的几何形状或外观更改。基于体素的新视图合成的最新成果，我们研究了稀疏体素网格表示的快速和三维一致的生成建模的效用。我们的研究结果表明，单片MLP确实可以取代3D卷积结合稀疏体素网格与渐进增长，自由空间修剪和适当的正则化。为了获得场景的紧凑表示并允许缩放到更高的体素分辨率，我们的模型将前景对象（在3D中建模）与背景（在2D中建模）分离。与现有的方法相比，我们的方法只需要一个单一的前向通过生成一个完整的3D场景。因此，它允许从任意视点进行高效渲染，同时产生具有高视觉保真度的3D一致结果。
2022-11-09 cs.CV
PillarNet: Real-Time and High-Performance Pillar-based 3D Object Detection
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai Jiao Tong University（上海交通大学）
实时的【形】和高性能的3D目标检测对于自动驾驶至关重要。最近表现最好的3D物体检测器主要依赖于基于点或基于3D体素的卷积，这两者对于机载部署来说都是计算效率低下的。相比之下，基于柱的方法仅使用2D卷积，这消耗较少的计算资源，但它们在检测精度方面远远落后于基于体素的方法。本文通过研究柱体检测器和体素检测器之间的主要性能差距，提出了一种实时的【形】高性能柱体检测器PillarNet，该PillarNet由一个用于有效柱体特征学习的编码器网络、一个用于空间语义特征融合的颈网络和常用的检测头组成。PillarNet仅使用2D卷积，可灵活选择柱大小，并与经典的2D CNN主干兼容，如VGGNet和ResNet。此外，PillarNet受益于我们设计的方向解耦IoU回归损失以及IoU感知预测分支。在大规模nuScenes数据集和Waymo开放数据集上的大量实验结果表明，所提出的PillarNet在有效性和效率方面优于最先进的3D检测器。代码可在\url{https://github.com/agent-sgs/PillarNet}上获得。
2022-08-26 cs.CV
Voxel or Pillar: Exploring Efficient Point Cloud Representation for 3D Object Detection
Xi’an Jiaotong University（西安交通大学）
针对 3D 点云检测中 voxel 与 pillar 编码差异及垂直学习不足的问题，提出完全稀疏的 VPF 框架，通过双向 SFL 融合两类特征，在 nuScenes 与 Waymo 上实现竞争力性能和实时推理。
2024-03-03 cs.CV
Convolutional neural networks for medical image segmentation
KU Leuven（鲁汶大学）
在这篇文章中，我们研究了卷积神经网络（CNN）的一些基本方面，重点是医学图像分割。首先，我们讨论了CNN架构，从而突出了数据的空间来源，体素分类和感受野。其次，我们讨论了输入输出对的采样，从而突出了体素分类，补丁大小和感受野之间的相互作用。最后，我们给出了分类和分割的CNN架构的关键变化的历史概述，深入了解了三个关键的CNN架构之间的关系：FCN，U-Net和DeepMedic。
2022-11-17 cs.CV cs.LG
HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object Detection
Yonsei University（延世大学）
我们解决的问题，三维目标检测，也就是说，估计三维对象的边界框从点云。3D目标检测方法利用基于体素或基于点的特征来表示场景中的3D对象。基于体素的特征提取是有效的，但它们不能保持对象的细粒度3D结构。另一方面，基于点的特征更准确地表示3D结构，但是提取这些特征在计算上是昂贵的。本文介绍了一种新的单级三维检测方法，具有基于体素和基于点的特征的优点。为此，我们提出了一种新的卷积神经网络（CNN）架构，称为HVPR，它有效地将这两种功能集成到单个3D表示中。具体来说，我们增加了基于点的功能与内存模块，以减少计算成本。然后，我们聚集在内存中的功能，语义上类似于每个基于体素的一个，以获得一个混合的3D表示形式的伪图像，允许本地化3D对象在一个单一的阶段有效。我们还提出了一个注意的多尺度特征模块（AMFM），考虑到点云的稀疏和不规则的模式，提取尺度感知功能。在KITTI数据集上的实验结果证明了我们方法的有效性和效率，在速度和准确性方面实现了更好的折衷。
2021-04-02 cs.CV
Detailed 3D Human Body Reconstruction from Multi-view Images Combining Voxel Super-Resolution and Learned Implicit Representation
由于人体的高度自由度，从图像重建详细的三维人体模型的任务在计算机视觉中是有趣但具有挑战性的。为了解决这一问题，本文提出了一种基于隐式表示学习的结合体素超分辨率的由粗到精的多视点图像三维人体重建方法。首先，通过学习基于多尺度特征的隐式表示来估计粗3D模型，所述多尺度特征由多级沙漏网络从多视图图像中提取。然后，以粗三维模型生成的低分辨率体素网格为输入，通过多级三维卷积神经网络学习基于隐式表示的体素超分辨率。最后，利用体素超分辨率技术生成精细的三维人体模型，该方法可以有效地保留粗糙模型的细节信息，减少虚假重建。由于隐式表示的优点，该方法的训练过程具有很好的记忆效率，并且从多视点图像中生成的三维人体细节是具有高分辨率几何的连续决策边界。此外，基于体素超分辨率的由粗到细的方法可以在去除虚假重建的同时保留最终重建的外观细节。在实验中，我们的方法定量和定性地实现了有竞争力的三维人体重建图像与各种姿态和形状的真实和合成数据集。
2020-12-11 cs.CV
Point-Voxel CNN for Efficient 3D Deep Learning
MIT（麻省理工学院）；Shanghai Jiao Tong University（上海交通大学）
我们提出了点体素CNN（PVCNN），用于高效、快速的3D深度学习。以前的工作使用基于体素或基于点的NN模型处理3D数据。然而，这两种方法在计算上都是低效的。基于体素的模型的计算成本和存储器占用随着输入分辨率成立方地增长，使得按比例增加分辨率是内存限制的。对于基于点的网络，高达80%的时间被浪费在构造具有相当差的存储局部性的稀疏数据上，而不是在实际的特征提取上。在本文中，我们提出了PVCNN，它以点表示3D输入数据以减少内存消耗，同时在体素中执行卷积以减少不规则、稀疏的数据访问并提高局部性。我们的PVCNN模型具有内存和计算效率。在语义和部分分割数据集上进行评估，它比基于体素的基线实现了更高的准确性，GPU内存减少了10倍;它还优于最先进的基于点的模型，平均加速了7倍。值得注意的是，较窄版本的PVCNN在部分和场景分割基准上实现了比PointNet（一种非常高效的模型）快2倍的速度，并且精度更高。我们验证了PVCNN在3D目标检测上的一般有效性：通过用PVConv替换Frustrum PointNet中的图元，它比Frustrum PointNet++平均高出2.4% mAP，测量到的加速比为1.5倍，GPU内存减少。
2019-12-09 cs.CV
Learning-based lossless compression of 3D point cloud geometry
CNRS（法国国家科学研究中心）
提出了一种基于上下文自适应算术编码的静态点云几何数据的学习无损压缩方法。与大多数现有的方法在八叉树域工作，我们的编码器在混合模式下工作，混合八叉树和基于体素的编码。根据点云的结构自适应地将点云划分为多分辨率的体素块，并使用八叉树来表示划分。一方面，八叉树表示可以消除点云数据的稀疏性。另一方面，在体素域中，卷积可以被自然地表达，并且几何信息（即，平面、曲面等）是由神经网络明确处理的。我们的上下文模型受益于这些属性，并使用具有掩码过滤器的深度卷积神经网络（称为VoxelDNN）学习体素的概率分布。实验表明，我们的方法优于国家的最先进的MPEG G-PCC标准，平均节省28%的点云从微软体素化上半身（MVUB）和MPEG的不同集合。该实现可在https://github.com/Weafre/VoxelDNN上获得。
2021-04-20 cs.CV cs.LG eess.IV
Deep End2End Voxel2Voxel Prediction
Facebook AI Research（脸书人工智能研究院）；Dartmouth College（达特茅斯学院）；UC Berkeley（加州大学伯克利分校）
在过去的几年里，深度学习方法已经成为视频分析的最重要方法之一。然而，到目前为止，它们最成功的应用是在视频分类和检测领域，即，涉及单个类别标签或每个视频的少量输出变量的预测的问题。此外，虽然深度网络通常被认为是在这些领域中使用的最佳模型，但人们普遍认为，为了获得成功的结果，它们通常需要耗时的架构搜索，手动调整参数以及计算密集型的预处理或后处理方法。在本文中，我们通过提出一种端到端训练的深度3D卷积架构来挑战这些观点，以执行体素级预测，即，以在视频的每个体素处输出变量。最重要的是，我们表明，相同的确切架构可以用来实现三个不同的体素预测任务的竞争结果：视频语义分割，光流估计，和视频着色。在这些问题上学习的三个网络是从原始视频中训练的，没有任何形式的预处理，它们的输出不需要后处理来实现出色的性能。因此，他们提供了一个有效的替代传统的和更昂贵的计算方法在这些视频领域。
2015-11-20 cs.CV
PVT-SSD: Single-Stage 3D Object Detector with Point-Voxel Transformer
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）；COMAC Beijing Aircraft Technology Research Institute（中国商飞北京民用飞机技术研究中心）
提出PVT-SSD，一种结合点与体素表示的单阶段3D检测器，通过点-体素Transformer模块融合长距离上下文与局部几何信息，并设计虚拟距离图像模块加速邻近点搜索，在自动驾驶基准上验证了高效性与有效性。
2023-05-11 cs.CV
Learning Graph Convolutional Network for Skeleton-based Human Action Recognition by Neural Searching
University of Oulu（奥卢大学）；Xi’an Jiaotong University（西安交通大学）
基于图卷积网络（GCN）的骨架数据人体动作识别，由于其对非欧结构数据建模能力强，受到了广泛关注。然而，许多现有的GCN方法提供了一个预定义的图，并通过整个网络固定它，这可能会丢失隐含的联合相关性。此外，主流的谱GCN近似为一阶跳，因此没有很好地涉及高阶连接。因此，需要付出巨大的努力来探索更好的GCN架构。为了解决这些问题，我们转向神经结构搜索（NAS），并提出了第一个自动设计的GCN基于神经网络的动作识别。具体来说，我们丰富的搜索空间，提供多个动态图形模块后，充分探索节点之间的时空相关性。此外，我们还引入了多跳模块，希望能突破一阶近似所带来的表示能力的限制。此外，采样和内存效率的演化策略，提出了搜索最佳的结构，为这项任务。由此产生的架构证明了高阶近似和动态图建模机制的有效性与时间的相互作用，这是几乎没有讨论过。为了评估搜索模型的性能，我们在两个非常大规模的数据集上进行了大量的实验，结果表明我们的模型得到了最先进的结果。
2019-11-11 cs.CV
Fast Point R-CNN
The Chinese University of Hong Kong（香港中文大学）；Tencent YouTu Lab（腾讯优图实验室）
我们提出了一个统一的，高效的和有效的框架，基于点云的三维目标检测。我们的两阶段方法利用体素表示和原始点云数据，以利用各自的优势。第一阶段的网络，以体素表示作为输入，只包含轻度卷积运算，产生少量高质量的初始预测。初始预测中每个点的坐标和索引卷积特征与注意力机制有效地融合，同时保留准确的定位和上下文信息。第二阶段对内部点及其融合特征进行处理，以进一步细化预测。我们的方法在KITTI数据集上进行了评估，在3D和鸟瞰图（BEV）检测方面，并以15FPS的检测率达到了最先进的水平。
2019-08-16 cs.CV
Deep Imbalanced Multi-Target Regression: 3D Point Cloud Voxel Content Estimation in Simulated Forests
United State Space Force（美国太空军）；Battelle（巴特尔）
针对体素化LiDAR数据丢失精细信息的问题，提出基于KPConv的不平衡多目标回归方法，结合DBR成本敏感学习优化模型，通过体素大小敏感性分析明确应用适配性，填补相关研究空白。
2025-11-16 cs.CV
