Sparse2DGS: Sparse-View Surface Reconstruction using 2D Gaussian Splatting with Dense Point Cloud
Tohoku University(东北大学);National Tsing Hua University(国立清华大学)
提出Sparse2DGS方法,利用DUSt3R和COLMAP MVS生成稠密点云初始化2D高斯,解决了稀疏视角下高斯基元初始化不足的问题,仅用三张图像即可实现高精度3D表面重建。
2025-05-29 cs.CV
Sparse Convolutions on Continuous Domains for Point Cloud and Event Stream Networks
Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
图像卷积是计算机视觉中大量深度学习进步的基石。然而,研究界还没有为稀疏的、非结构化的连续数据(如点云和事件流)确定一个等效的算子。对于这些情况,我们提出了一种优雅的基于稀疏矩阵的卷积算子解释,这与卷积的数学定义一致,并且在训练过程中是有效的。在基准点云分类问题上,我们证明了使用这些操作构建的网络可以比现有的顶级方法快训练一个数量级或更快,同时保持相当的准确性,并需要很小一部分内存。我们还将运算符应用于事件流处理,在具有数十万事件流的多个任务上实现最先进的结果。
2020-12-02 cs.CV
Pix2Point: Learning Outdoor 3D Using Sparse Point Clouds and Optimal Transport
ONERA(法国航空航天研究院);ESA/ESRIN(欧洲空间局/欧洲空间研究所);UPCITI(UPCITI公司)
高质量的场景重建和理解依赖于三维估计方法。3D信息通常是通过立体摄影测量从图像中获得的,但深度学习最近为我们提供了单目深度估计的出色结果。建立足够大和丰富的训练数据集来实现这些结果需要繁重的处理。在本文中,我们解决的问题,学习室外3D点云从单目数据使用稀疏地面实况数据集。我们提出了Pix 2 Point,一种基于深度学习的单目3D点云预测方法,能够处理完整且具有挑战性的户外场景。我们的方法依赖于2D-3D混合神经网络架构,以及点云之间的最佳传输发散的监督端到端最小化。我们表明,当在稀疏点云上训练时,我们简单而有前途的方法比高效的单目深度方法更好地覆盖了3D户外场景。
2021-07-30 cs.CV
Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
在本文中,我们提出了一种称为BSC-Net的二进制稀疏卷积网络,用于高效的点云分析。我们经验地观察到稀疏卷积操作比标准卷积导致更大的量化误差。然而,传统的网络量化方法在稀疏卷积中直接二值化权重和激活,由于显著的量化损失而导致性能下降。相反,我们搜索卷积运算的最佳子集,在各个位置激活稀疏卷积以减轻量化误差,并且实值和二进制稀疏卷积网络之间的性能差距在没有复杂度开销的情况下被关闭。具体来说,我们首先提出了移位稀疏卷积,融合的信息在感受野的活性位点,匹配预定义的位置。然后采用可微搜索策略,在移位稀疏卷积中寻找最优的活性位点匹配,量化误差明显减小,从而提高了点云分析的效率。为了公平地评估所提出的方法,我们根据经验选择了有利于稀疏卷积网络二值化的最新进展来构建一个强大的基线。在Scan-Net和NYU Depth v2上的实验结果表明,我们的BSC-Net在我们的srtong基线上取得了显着的改进,并且在二值化稀疏卷积网络时没有额外的计算开销的情况下,性能明显优于最先进的网络二值化方法。
2023-03-27 cs.CV
Depth-Guided Robust and Fast Point Cloud Fusion NeRF for Sparse Input Views
Shanghai Jiao Tong University(上海交通大学)
针对稀疏视图 NeRF 中深度图噪声与重建耗时问题,提出深度引导的点云融合及向量-矩阵分解体素网格方法,提升准确性、紧凑性和速度。
2024-03-04 cs.CV
Dense Point Clouds Matter: Dust-GS for Scene Reconstruction from Sparse Viewpoints
East China University of Science and Technology(华东理工大学);University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学)
针对稀疏视角下3DGS场景重建受初始点云质量和输入图像数量限制的问题,提出Dust-GS框架,通过创新点云初始化与自适应深度掩码混合策略,在更少输入图像下实现更优重建效果。
2024-09-13 cs.CV
CoMapGS: Covisibility Map-based Gaussian Splatting for Sparse Novel View Synthesis
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
CoMapGS提出基于共视性地图的高斯溅射方法,通过构建共视性地图、增强点云和不确定性加权监督,解决稀疏新视角合成中区域不确定性问题,在Mip-NeRF 360和LLFF数据集上超越现有方法。
2025-03-25 cs.CV cs.GR
DRINet++: Efficient Voxel-as-point Point Cloud Segmentation
Hong Kong University of Science and Technology(香港科技大学)
近年来,人们提出了多种方法来提高点云语义分割的性能。然而,这些工作并没有在性能、效率和存储器消耗之间保持良好的平衡。为了解决这些问题,我们提出了DRINet++,它通过增强点云的稀疏性和几何特性来扩展DRINet,并采用体素作为点的原则。为了提高效率和性能,DRINet++主要由两个模块组成:稀疏特征编码器和稀疏几何特征增强。稀疏特征编码器提取每个点的局部上下文信息,稀疏几何特征增强通过多尺度稀疏投影和多尺度融合来增强稀疏点云的几何特性。此外,我们在训练阶段提出了深度稀疏监督,以帮助收敛和缓解内存消耗问题。我们的DRINet++在SemanticKITTI和Nuscenes数据集上实现了最先进的户外点云分割,同时运行速度更快,占用内存更少。
2021-11-16 cs.CV cs.RO
Generating real-time detailed ground visualisations from sparse aerial point clouds
Cobra Simulation Ltd(Cobra Simulation有限公司);Edinburgh Napier University(爱丁堡纳皮尔大学)
本文提出一种自动增强真实扫描数据并实时渲染动画3D场景的流程,以低成本从稀疏航空点云生成可供近距离探索的高质量大规模户外地面可视化。
2025-07-24 cs.CV cs.GR
Point Cloud Registration of non-rigid objects in sparse 3D Scans with applications in Mixed Reality
Liverpool John Moores University(利物浦约翰摩尔大学)
点云配准是指将两个三维点云中的对应点对准同一物体的问题。挑战包括处理噪声和真实世界3D扫描的部分匹配。对于非刚性对象,存在考虑在两次3D扫描之间发生在对象上的对象形状的变形的额外挑战。在这个项目中,我们研究了增强/混合现实领域中用例的非刚性点云配准问题。我们将注意力集中在一类特殊的非刚性变形上,这些变形发生在刚性物体中,这些物体的部件在关节周围相对于彼此移动,例如,带手的机器人和带铰链的机器。我们提出了一个有效的和强大的点云注册工作流程,这些对象和使用Microsoft Hololens 2,一个领先的混合现实设备收集的真实世界的数据进行评估。
2023-01-05 cs.CV cs.GR cs.HC
Automated Reconstruction of 3D Open Surfaces from Sparse Point Clouds
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
真实世界的3D数据可能包含由显著表面间隙定义的复杂细节。这些开放表面的自动重建(例如,非防水网格)对于混合现实应用中的环境合成来说是一个具有挑战性的问题。现有的基于学习的隐式重建技术可以在闭曲面重建上达到很高的保真度。然而,它们依赖于表面内部和外部之间的区别,使得它们无法重建开放表面。最近,一类新的隐式函数在通过回归无符号距离场来重建开放曲面方面显示出了希望。然而,这些方法依赖于原始数据的离散化表示,这会丢失重要的表面细节,并可能导致重建中的离群值。我们提出了IPVNet,这是一种基于学习的隐式模型,它通过利用原始点云数据及其离散体素对应物来预测3D空间中表面和查询点之间的无符号距离。在合成和真实世界公共数据集上的实验表明,IPVNet的性能优于现有技术,同时在重建中产生的离群值要少得多。
2023-01-18 cs.CV cs.GR
MNEW: Multi-domain Neighborhood Embedding and Weighting for Sparse Point Clouds Segmentation
Aptiv Corporation(安波福公司)
点云在三维语义场景理解中得到了广泛的应用。然而,用于3D形状分割或室内场景解析等典型任务的点云比用于自动驾驶感知应用的室外LiDAR扫描要密集得多。由于点云空间特性的差异,许多针对密集点云的有效方法在稀疏点云上的效果往往会降低。在本文中,我们专注于室外稀疏点云的语义分割任务。我们提出了一种新的方法,称为MNEW,包括多域邻域嵌入,并注意力加权的基础上,他们的几何距离,特征相似性和邻域稀疏性。该网络结构继承了PointNet直接处理点云以捕获逐点细节和全局语义的思想,并通过在静态几何域和动态特征空间中引入多尺度局部邻域进行改进。MNEW的距离/相似性注意和稀疏适应加权机制使其能够适应广泛的数据稀疏分布。通过在虚拟和真实KITTI语义数据集上进行的实验,MNEW在稀疏点云上实现了最佳性能,这对基于LiDAR的自动驾驶感知的应用至关重要。
2020-04-05 cs.CV cs.LG eess.IV
Point Cloud Segmentation Using Sparse Temporal Local Attention
CSIRO, Data61(澳大利亚联邦科学与工业研究组织 Data61);Queensland University of Technology(昆士兰科技大学)
点云是用于自动驾驶车辆感知的关键模态,为周围环境的强大几何理解提供了手段。然而,尽管来自自主车辆的传感器输出在本质上是自然的时间,但是利用点云序列进行3D语义分割的探索仍然有限。在本文中,我们提出了一种新的稀疏时间局部注意力(STELA)模块,该模块从先前点云帧中的局部邻域中聚合中间特征,为解码器提供丰富的时间上下文。使用稀疏局部邻域使我们的方法能够比直接匹配点特征的方法更灵活地收集特征,并且比在整个点云框架上执行昂贵的全局注意力的方法更有效。我们在SemanticKitti数据集上实现了64.3%的竞争性mIoU,并在我们的消融研究中证明了单帧基线的显著改善。
2021-12-02 cs.AI cs.CV
Extending Deep Event Visual Odometry with Sparse Point-Cloud Export
st Sajad Ashraf(第一作者单位);nd Alireza Safdari(第二作者单位)
通过添加稀疏点云导出管线,将DEVO内部估计的3D结构转化为显式点云表示,实现可视化与后续处理,在BOARD SLOW序列上验证了局部一致性。
2026-05-21 cs.CV cs.RO
Sparse Point Cloud Patches Rendering via Splitting 2D Gaussians
Nanjing University(南京大学);School of Software, North University of China(北中国立大学软件学院)
提出一种从点云预测并分裂细化二维高斯的渲染方法,无需类别先验或后处理,可泛化到多类别与稀疏点云并达到 SOTA。
2025-05-14 cs.CV
DSMNet: Deep High-precision 3D Surface Modeling from Sparse Point Cloud Frames
Xiamen University(厦门大学)
针对稀疏点云建模精度评估与复杂物体形状建模不足的问题,提出联合框架DSMNet,通过密度感知PCR与几何感知PCS学习隐式结构特征,在多个数据集上显著提升3D表面建模精度并可作为SLAM后处理。
2023-04-09 cs.CV cs.RO
Sparse 3D Point-cloud Map Upsampling and Noise Removal as a vSLAM Post-processing Step: Experimental Evaluation
Peoples’ Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Federal Research Center ”Computer Science and Control” of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心);National Research University Higher School of Economics(国立研究型大学高等经济学院)
基于单目视觉的同时定位与地图构建(vSLAM)是移动机器人和计算机视觉中最具挑战性的问题之一。在这项工作中,我们研究的后处理技术应用于稀疏的三维点云地图,获得基于特征的vSLAM算法。地图后处理分为2个主要步骤:1)噪声和离群值去除和2)上采样。我们评估了已知算法的不同组合,用于对真实室内和室外环境的数据集进行离群值去除和上采样,并确定最有希望的组合。我们进一步使用它来转换点云地图,由真正的无人机进行室内飞行获得的三维体素网格(三维地图)可能适合于路径规划。
2018-06-25 cs.CV
OptimusMesh: Compact Autoregressive Mesh Generation from Point Clouds via Sparse Latent Pivots
The University of Osaka(大阪大学);Osaka Electro-Communication University(大阪电气通信大学)
OptimusMesh提出一种从点云直接生成紧凑三角网格的自回归框架,通过将2048个点压缩为16个稀疏潜在枢轴,显著减少条件序列,以更少的面数实现高保真几何输出。
2026-10-05 cs.CV
High-Fidelity Point Cloud Completion with Low-Resolution Recovery and Noise-Aware Upsampling
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent America(腾讯美国)
完成无序的部分点云是一项具有挑战性的任务。现有的方法依赖于解码潜在特征来恢复完整的形状,通常会导致完成的点云过度平滑,丢失细节和噪声。我们建议先解码和细化低分辨率(低分辨率)点云,而不是解码整个形状,然后执行逐块噪声感知上采样,而不是一次内插整个稀疏点云,这往往会丢失细节。关于缺乏最初解码的低分辨率点云的细节的可能性,我们提出了一个迭代的改进,以恢复几何细节和对称化过程,以保持从输入的部分点云的可信信息。在获得稀疏完整的点云后,我们提出了一种分片上采样策略。与解码整个形状不同,基于块的上采样允许更好地恢复精细细节,然而,现有的上采样方法由于数据差异(即,这里输入稀疏数据不是来自地面实况)。因此,我们提出了一种补丁提取方法来生成训练补丁之间的稀疏和地面实况点云,和一个离群点去除步骤,以抑制噪声点从稀疏点云。结合低分辨率的恢复,我们的整个方法能够实现高保真的点云完成。提供了全面的评价,以证明所提出的方法及其各个组成部分的有效性。
2021-12-22 cs.CV
3dDepthNet: Point Cloud Guided Depth Completion Network for Sparse Depth and Single Color Image
University of California, Irvine(加州大学欧文分校);Trifo, Inc.(追觅科技(美国)有限公司)
在本文中,我们提出了一个名为3dDepthNet的端到端深度学习网络,它可以从一对稀疏的LiDAR深度和彩色图像中生成精确的密集深度图像,用于机器人和自动驾驶任务。基于深度图像的维度性质,我们的网络提供了一种新颖的3D到2D粗到细的双重致密化设计,既准确又轻便。深度致密化首先通过点云完成在3D空间中执行,然后是专门设计的编码器-解码器结构,该结构利用来自3D完成的投影密集深度和原始RGB-D图像来执行2D图像完成。在KITTI数据集上的实验表明,我们的网络在更高效的同时达到了最先进的精度。消融和泛化测试证明,我们网络中的每个模块对最终结果都有积极的影响,而且,我们的网络对更稀疏的深度也有弹性。
2020-03-20 cs.CV
Sparse Single Sweep LiDAR Point Cloud Segmentation via Learning Contextual Shape Priors from Scene Completion
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Shanghai University(上海大学)
LiDAR点云分析是三维计算机视觉的核心任务,尤其是自动驾驶领域。然而,由于单扫描LiDAR点云的严重稀疏性和噪声干扰,实现精确的语义分割是不平凡的。在本文中,我们提出了一种新的稀疏激光雷达点云语义分割框架辅助学习上下文形状先验。在实践中,单个扫描点云的初始语义分割(SS)可以通过任何吸引人的网络来实现,然后流入语义场景完成(SSC)模块作为输入。通过合并LiDAR序列中的多个帧作为监督,优化的SSC模块已经从序列LiDAR数据中学习了上下文形状先验,完成了从稀疏单扫描点云到密集点云的过程。因此,它通过完全的端到端训练本质上改进了SS优化。此外,提出了一个点-体素交互(PVI)模块,以进一步加强SS和SSC任务之间的知识融合,即,促进点云的不完整局部几何形状和完整的体素全局结构的相互作用。此外,辅助的SSC和PVI模块可以在推理过程中被丢弃,而不会给SS带来额外的负担。大量的实验证实,我们的JS 3C-Net在SemanticKITTI和SemanticPOSS基准测试中都取得了优异的性能,即,4%和3%的改善。
2020-12-07 cs.CV
Learning Bijective Surface Parameterization for Inferring Signed Distance Functions from Sparse Point Clouds with Grid Deformation
School of Software, Tsinghua University, Beijing, China(清华大学软件学院,北京,中国);Department of Computer Science, Wayne State University, Detroit, USA(韦恩州立大学计算机科学系,底特律,美国)
提出一种动态变形网络结合双射曲面参数化和网格变形优化的方法,从稀疏点云端到端预测符号距离函数,显著优于现有方法。
2026-05-24 cs.CV
3D Siamese Voxel-to-BEV Tracker for Sparse Point Clouds
Nanjing University of Science and Technology(南京理工大学)
由于动态环境中LiDAR点云的稀疏性,点云中的三维目标跟踪仍然是一个具有挑战性的问题。在这项工作中,我们提出了一个连体体素到BEV跟踪器,它可以显着提高稀疏3D点云的跟踪性能。具体来说,它由Siamese形状感知特征学习网络和体素到BEV目标定位网络组成。Siamese形状感知特征学习网络可以捕获目标的3D形状信息,以学习目标的区分特征,从而可以从稀疏点云中的背景中识别出潜在目标。为此,我们首先执行模板特征嵌入嵌入到潜在目标的模板的特征,然后生成一个密集的三维形状来表征潜在目标的形状信息。为了定位被跟踪的目标,体素到BEV目标定位网络以无锚方式从密集鸟瞰图(BEV)特征图回归目标的2D中心和$z$轴中心。具体地说,我们通过最大池化沿$z$轴压缩体素化的点云,以获得密集的BEV特征图,其中2D中心和$z$轴中心的回归可以更有效地执行。对KITTI和nuScenes数据集的广泛评估表明,我们的方法大大优于当前最先进的方法。
2021-11-17 cs.CV
On Enhancing Ground Surface Detection from Sparse Lidar Point Cloud
TrunkTech
点云数据中的地面检测是自动驾驶系统中的一个关键模块。不同于以往的方法,主要是开发高光束分辨率的激光雷达,如Velodyne HDL-64,本文提出的地面检测技术适用于更稀疏的点云捕获的激光雷达与低光束分辨率,如Velodyne VLP-16。该方法基于平面拟合的RANSAC方案。平面假设的内点验证是通过利用逐点切线来增强的,逐点切线是可用于计算的局部特征,而不管激光雷达光束的密度如何。不完全平坦的地面由多个(具体地,在我们的实现中为4个)不相交的平面区域拟合。通过假设这些平面区域是矩形的,并利用积分图像技术,我们的方法近似地找到了最佳的区域划分和平面假设下的RANSAC计划与实时计算复杂性。
2021-05-25 cs.CV cs.RO
DiffCom: Decoupled Sparse Priors Guided Diffusion Compression for Point Clouds
University of Western Australia(西澳大学);Xidian University(西安电子科技大学)
DiffCom提出一种由解耦稀疏先验引导的扩散压缩框架,通过双密度数据流和注意力引导去噪器,在低比特率下实现高质量点云重建,并在ShapeNet等数据集上取得更优率失真性能。
2025-10-07 cs.CV eess.IV
A Three-Dimensional Reverse-Projection Method for Sparse Point Cloud Completion and Its Application to High-Speed Train Nose Reconstruction
本研究提出一种三轴反向投影补全方法,结合FAST-LIVO2与MLS滤波,填补高速列车车头玻璃窗区域的稀疏点云孔洞,并通过贪心投影三角化等生成网格,实现非接触式数字建模。
2026-10-06 cs.CV
Unsupervised Occupancy Learning from Sparse Point Cloud
Inria(法国国家信息与自动化研究所);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(雷恩信息、信号与自动化研究所);M2S(运动、交互与动作实验室)
针对无真值监督下稀疏3D点云形状学习难题,提出推断占据场而非SDF,结合边界不确定性采样、点云监督及熵正则稳定训练,提升隐式形状推断性能。
2024-04-03 cs.AI cs.CV cs.GR
NeeDrop: Self-supervised Shape Representation from Sparse Point Clouds using Needle Dropping
LIGM(信息学实验室加斯东·贝杰);Ecole des Ponts(巴黎高科路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
最近,隐式形状表示的兴趣越来越大。与显式表示相反,它们没有分辨率限制,并且可以轻松处理各种各样的表面拓扑。为了学习这些隐式表示,当前的方法依赖于一定程度的形状监督(例如,内部/外部信息或形状距离知识),或者至少需要密集的点云(以足够好地近似形状距离)。相比之下,我们引入了NeeDrop,这是一种自监督方法,用于从可能非常稀疏的点云中学习形状表示。就像在布冯的针问题中,我们将针“落”(样本)在点云上,并考虑在统计学上,靠近表面,针的端点位于表面的相对两侧。不需要形状知识,并且点云可以是高度稀疏的,例如,作为车辆获取的激光雷达点云。以前的自监督形状表示方法无法在这类数据上产生高质量的结果。我们在形状重建数据集上获得了与现有监督方法相当的定量结果,并在KITTI等硬自动驾驶数据集上显示了有希望的定性结果。
2021-12-02 cs.CG cs.CV cs.LG
MergeNet: Explicit Mesh Reconstruction from Sparse Point Clouds via Edge Prediction
DUT-RU International School of Information Science & Engineering, Dalian University of Technology(大连理工大学DUT-RU国际信息科学与工程学院);School of Software, Dalian University of Technology(大连理工大学软件学院)
提出MergeNet,通过预测边连接将网格重建转为局部连接预测,利用边到表面距离过滤并细化三角剖分,在稀疏点云上优于现有显式方法。
2024-07-16 cs.CV
Radar Tracker: Moving Instance Tracking in Sparse and Noisy Radar Point Clouds
CARIAD SE;Center for Robotics, University of Bonn(机器人中心,波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出一种基于学习的雷达跟踪器,通过时间偏移预测、注意力机制及几何与外观特征融合,提升稀疏含噪雷达点云中移动实例的跟踪与分割性能,并在 RadarScenes 基准上优于现有方法。
2025-07-04 cs.CV
PointTransformerX: Portable and Efficient 3D Point Cloud Processing without Sparse Algorithms
Mannheim University of Applied Sciences(曼海姆应用科学大学)
PointTransformerX采用全PyTorch原生的视觉Transformer架构,无需定制CUDA运算符,通过3D-GS-RoPE实现高效的3D空间关系编码,提升3D点云处理的准确性和效率,同时在ScanNet上达到98.7%的准确率,参数更少,速度更快,内存更小。
2026-04-29 cs.CV
Sparse Tensor-based Multiscale Representation for Point Cloud Geometry Compression
Nanjing University(南京大学);HangZhou Normal University(杭州师范大学);University of Missouri(密苏里大学);Jiangsu Longyuan Zhenhua Marine Engineering Co., LTD.(江苏龙源振华海洋工程有限公司)
本研究发展一种统一的点云几何压缩方法,透过处理多尺度稀疏张量体素化的点云几何。我们称这种压缩方法为SparsePCGC。所提出的SparsePCGC是一种低复杂度的解决方案,因为它只对稀疏分布的最可能正占用体素(MP-POXEL)执行卷积。多尺度表示还允许我们通过广泛灵活地利用跨尺度和同尺度相关性来压缩尺度方面的MP-POV。整体压缩效率高度依赖于每个MP-RTP的估计占用概率的准确性。因此,我们首先设计了基于稀疏卷积的神经网络(SparseCNN),它堆叠稀疏卷积和体素采样,以最好地表征和嵌入空间相关性。然后,我们开发了基于SparseCNN的占用概率近似(SOPA)模型,以仅使用跨尺度相关性的单阶段方式估计占用概率,或者通过利用同尺度邻居之间的阶段相关性以多阶段方式估计占用概率。此外,我们还提出了基于SparseCNN的局部邻域嵌入(SLNE)来聚合局部变化作为特征属性的空间先验,以改进SOPA。与标准化的MPEG G-PCC和其他流行的基于学习的方案相比,我们的统一方法不仅在无损和有损压缩模式下在各种数据集上显示出最先进的性能,包括密集对象PCG(8iVFB,Owlii,MUVB)和稀疏LiDAR PCG(KITTI,Ford),而且具有低复杂度,对实际应用有吸引力。
2022-10-21 cs.CV eess.IV
Rendering-Oriented 3D Point Cloud Attribute Compression using Sparse Tensor-based Transformer
School of Telecommunication Engineering, Xidian University(西安电子科技大学通信工程学院);City University of Hong Kong(香港城市大学);School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子信息学院);School of Engineering, Royal Melbourne Institute of Technology(皇家墨尔本理工大学工程学院)
提出融合可微渲染的端到端 RO-PCAC 框架及稀疏张量 Transformer SP-Trans,使点云属性压缩直接优化渲染多视图质量,并达到最先进性能。
2025-01-09 cs.CV cs.MM
SPARS3R: Semantic Prior Alignment and Regularization for Sparse 3D Reconstruction
Johns Hopkins University(约翰斯·霍普金斯大学)
SPARS3R 针对稀疏视图三维重建,结合运动恢复结构的精确位姿与深度估计的稠密点云,通过全局融合对齐和语义外点局部对齐,实现照片级真实感渲染并显著超越现有方法。
2024-11-15 cs.CV
Sparse SPN: Depth Completion from Sparse Keypoints
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们的长期目标是使用基于图像的深度补全,从稀疏点云(例如SfM或SLAM)快速创建3D模型。在深度完井方面取得了很大进展。然而,大多数当前的工作假设已知深度的良好分布的样本,例如激光雷达或随机均匀采样,并且由于大的未采样区域,在不均匀的样本上表现不佳,例如来自关键点。为了解决这个问题,我们扩展CSPN与多尺度预测和膨胀的内核,从而更好地完成关键点采样深度。我们还表明,在NYUv2上训练的模型通过完成稀疏的SfM点,在ETH3D上创建了令人惊讶的好点云。
2022-12-02 cs.CV
Self-Supervised Arbitrary-Scale Point Clouds Upsampling via Implicit Neural Representation
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Tsinghua University(清华大学)
点云上采样是一个具有挑战性的问题,从给定的稀疏输入生成密集和均匀的点云。大多数现有的方法要么采取基于端到端监督学习的方式,其中大量的稀疏输入和密集的地面实况对被利用作为监督信息;要么将不同比例因子的上缩放处理为独立的任务,并且必须构建多个网络来处理具有不同因子的上采样。在本文中,我们提出了一种新的方法,同时实现自监督和放大灵活的点云上采样。我们制定点云上采样的任务,寻找最近的投影点的隐式表面上的种子点。为此,我们定义了两个隐式神经函数来分别估计投影方向和距离,可以通过两个借口学习任务来训练。实验结果表明,我们的自监督学习为基础的计划取得竞争力,甚至更好的性能比监督学习为基础的国家的最先进的方法。源代码可在https://github.com/xnowbzhao/sapcu上公开获得。
2022-04-18 cs.CV cs.GR
OG-PCL: Efficient Sparse Point Cloud Processing for Human Activity Recognition
Key Laboratory of Underwater Acoustic Signal Processing of Ministry of Education, Southeast University, Nanjing, 211189, China(教育部水下声学信号处理重点实验室,东南大学,南京)
针对毫米波雷达稀疏点云的人体活动识别问题,提出轻量型OG-PCL网络,通过三视图并行结构和OGConv模块,在RadHAR数据集达91.75%准确率且仅0.83M参数,优于现有基线,适合轻量化平台实时应用。
2025-11-12 cs.CV eess.SP
LiDAR-HMR: 3D Human Mesh Recovery from LiDAR
Department of Automation, Tsinghua University(自动化系,清华大学)
针对LiDAR点云稀疏、含噪、不完整的问题,本文提出LiDAR-HMR方法,通过级联graphormer结合点云特征,以稀疏到密集的方案从LiDAR点云重建3D人体网格,在三个公开数据集上验证了有效性。
2025-10-02 cs.CV
MinkUNeXt: Point Cloud-based Large-scale Place Recognition using 3D Sparse Convolutions
Institute for Engineering Research (I3E)(工程研究所(I3E));Valencian Graduate School and Research Network for Artificial Intelligence(瓦伦西亚人工智能研究生院及研究网络);Univ of Coimbra(科英布拉大学)
提出完全基于3D稀疏卷积残差块MinkNeXt Block的MinkUNeXt点云地点识别架构,结合U-Net多尺度特征提取与GeM聚合,在Oxford RobotCar和In-house上超越现有方法。
2024-03-13 cs.CV
SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation
KAUST(阿卜杜拉国王科技大学)
我们提出了一种新的场景流估计方法来捕获和推断点云的三维运动。估计点云的3D运动是具有挑战性的,因为点云是无序的并且其密度是显著不均匀的。这种非结构化数据在匹配点云之间的对应点时造成困难,导致不准确的流量估计。我们提出了一种新的架构称为稀疏卷积-Transformer网络(SCTN),配备了Transformer的稀疏卷积。具体而言,通过利用稀疏卷积,SCTN将不规则点云转换为局部一致的流特征,用于估计对象/局部对象部分内的连续和一致的运动。我们进一步建议显式学习点关系使用点Transformer模块,不同于现有的方法。我们表明,学习的基于关系的上下文信息是丰富的,有助于匹配对应点,有利于场景流量估计。此外,提出了一种新的损失函数,根据特征相似性自适应地激励流一致性。大量的实验表明,我们提出的方法实现了一个新的艺术状态的场景流量估计。我们的方法在FlyingThings 3D和KITTI Scene Flow上分别实现了0.038和0.037(EPE 3D)的误差,大大优于以前的方法。
2022-03-09 cs.AI cs.CV
Optimizing Sparse Convolution on GPUs with CUDA for 3D Point Cloud Processing in Embedded Systems
Brion Technologies, an ASML Company(Brion Technologies(ASML旗下公司));School of Mechanical Engineering and Automation, Northeastern University(东北大学机械工程与自动化学院)
该研究针对嵌入式系统中的 3D 点云处理,指出点云稀疏且无规则网格所带来的计算挑战,并聚焦于利用 CUDA 优化 GPU 上的稀疏卷积。
2024-04-06 cs.CV cs.LG
Learning Continuous Implicit Field with Local Distance Indicator for Arbitrary-Scale Point Cloud Upsampling
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);Wayne State University(韦恩州立大学)
提出一种基于局部距离指示器学习连续隐式场的方法,实现任意尺度点云上采样,通过投影查询点到零水平集生成密集点云,在合成和真实数据上取得最优结果。
2023-12-23 cs.CV
TorchSparse: Efficient Point Cloud Inference Engine
Massachusetts Institute of Technology(麻省理工学院);Cornell University(康奈尔大学)
由于点云上的深度学习在AR/VR和自动驾驶中的广泛应用,其受到了越来越多的关注。这些应用需要低延迟和高准确性,以提供实时用户体验并确保用户安全。与传统的密集工作负载不同,点云的稀疏和不规则性质对在通用硬件上有效运行稀疏CNN提出了严峻的挑战。此外,用于2D图像的现有稀疏加速技术不能转化为3D点云。在本文中,我们介绍了TorchSparse,这是一个高性能的点云推理引擎,可以加速GPU上的稀疏卷积计算。TorchSparse直接优化了稀疏卷积的两个瓶颈:不规则计算和数据移动。该算法采用自适应矩阵乘法分组技术,使矩阵乘法的计算效率提高到1.4- 1.5倍。它还通过采用矢量化,量化和融合的位置感知内存访问来优化数据移动,将内存移动成本降低了2.7倍。在三个基准数据集的七个代表性模型上进行评估,TorchSparse分别实现了最先进的MinkowskiEngine和SpConv的1.6倍和1.5倍测量端到端加速。
2022-04-21 cs.CV cs.LG cs.PF
GRASP-Net: Geometric Residual Analysis and Synthesis for Point Cloud Compression
InterDigital(InterDigital公司)
由于点云格式的通用性,点云压缩(PCC)是各种3-D应用的关键使能器。理想情况下,3D点云努力描绘连续的对象/场景表面。实际上,作为一组离散样本,点云是局部不连通且稀疏分布的。这种稀疏性阻碍了压缩点之间的局部相关性的发现。受分形维数分析的启发,我们提出了一种具有深度学习的异构方法用于有损点云几何压缩。在压缩输入的粗略表示的基础层之上,增强层被设计为应对具有挑战性的几何残差/细节。具体而言,基于点的网络被应用于将不稳定的局部细节转换为驻留在粗点云上的潜在特征。然后,启动在粗点云上操作的稀疏卷积神经网络。它利用粗糙几何的连续性/平滑性来压缩潜在特征作为增强比特流,这极大地有利于重建质量。当该比特流不可用时,例如,由于数据包丢失,我们支持具有相同架构的跳过模式,其直接从粗略点云生成几何细节。密集和稀疏点云的实验证明了我们的建议所达到的最先进的压缩性能。我们的代码可在https://github.com/InterDigitalInc/GRASP-Net上获得。
2022-09-09 cs.CV eess.IV
Temporal Point Cloud Completion with Pose Disturbance
Department of Electronic and Computer Engineering, the Hong Kong University of Science and Technology(香港科技大学电子与计算机工程学系);Dji Co.(大疆创新公司)
现实世界中的传感器采集的点云数据往往是不对齐和稀疏的,这使得从单帧数据重建物体的完整形状变得非常困难。在这项工作中,我们设法提供完整的点云从稀疏的输入与姿态干扰有限的平移和旋转。我们还使用时间信息来增强完成模型,用一系列输入来细化输出。借助门控恢复单元(GRU)和注意力机制作为时间单元,我们提出了一个点云补全框架,该框架接受一系列未对齐和稀疏的输入,并输出一致和对齐的点云。我们的网络以在线方式执行,并为每个帧提供精细的点云,这使其能够集成到任何SLAM或重建管道中。据我们所知,我们的框架是第一个利用时间信息,并确保时间的一致性与有限的转换。通过在ShapeNet和KITTI上的实验,我们证明了我们的框架在合成和真实世界数据集上都是有效的。
2022-02-07 cs.CV
Open-Set Gait Recognition from Sparse mmWave Radar Point Clouds
Department of Information Engineering, University of Padova(信息工程系,帕多瓦大学)
本文首次研究基于稀疏毫米波雷达点云的开放集步态识别,提出结合有监督分类与无监督重建的神经网络及概率新颖性检测算法,并发布mmGait10数据集,F1分数平均提升24%。
2025-07-07 cs.CV eess.SP
Anchor-free 3D Single Stage Detector with Mask-Guided Attention for Point Cloud
Zhejiang University(浙江大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception Institute of Artificial Intelligence(起源人工智能研究院)
现有的单级和两级三维目标检测器大多是基于锚点的方法,而高效但具有挑战性的无锚点单级三维目标检测还没有得到很好的研究。近年来二维目标检测的研究表明,无锚点检测方法也具有很大的发展潜力。然而,点云的无序和稀疏属性使我们无法直接利用先进的2D方法对3D点云。我们克服了这一点,基于体素的稀疏的3D特征量转换成稀疏的2D特征图。我们提出了一个注意力模块,通过可变形卷积塔和监督掩码引导的注意力,将稀疏特征映射集中在对象区域上。通过直接从增强的和密集的特征图中回归3D限界框,我们构造了一种新的单级点云检测器。我们提出了一种基于IoU的检测置信度重新校准方案,以提高检测置信度得分和限界框回归精度之间的相关性。我们的代码可在\url{https://github.com/jialeli1/MGAF-3DSSD}上公开获取。
2021-08-08 cs.CV
HybridGS: High-Efficiency Gaussian Splatting Data Compression using Dual-Channel Sparse Representation and Point Cloud Encoder
Qualcomm(高通公司)
HybridGS提出结合紧凑生成与标准化点云编码的3DGS压缩框架,通过双通道稀疏表示和码率控制,在保持重建质量的同时显著提升编解码速度。
2025-05-03 cs.CV eess.IV
PU-Transformer: Point Cloud Upsampling Transformer
Australian National University(澳大利亚国立大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织Data61部门)
鉴于3D扫描仪的快速发展,点云在AI驱动的机器中越来越受欢迎。然而,点云数据本质上是稀疏和不规则的,这给机器感知带来了很大的困难。在这项工作中,我们专注于点云上采样任务,旨在从稀疏的输入数据生成密集的高保真点云。具体来说,激活Transformer的强大的能力,在代表功能,我们开发了一个新的变种的多头自注意力结构,以提高点和通道明智的关系的特征图。此外,我们利用位置融合块来全面捕获点云数据的局部上下文,提供更多关于分散点的位置相关信息。作为第一个引入点云上采样的Transformer模型,我们通过在不同基准上定量和定性地与最先进的基于CNN的方法进行比较,展示了我们的方法的出色性能。
2022-10-03 cs.CV
Revisiting Radar Perception With Spectral Point Clouds
Eindhoven University of Technology(埃因霍温理工大学);NXP Semiconductors(恩智浦半导体)
本文提出光谱点云范式,证明稀疏点云在加入光谱信息后可媲美密集光谱数据,为统一雷达感知提供更鲁棒的输入表示。
2026-04-09 cs.CV
EnforceNet: Monocular Camera Localization in Large Scale Indoor Sparse LiDAR Point Cloud
Blacksesame Technologies(黑芝麻科技)
姿态估计是机器人应用(诸如自主车辆、UAV和大规模增强现实)的基本构建块。对于那些应用来说,大规模生产也是一个阻碍因素,因为最先进的厘米级姿态估计通常需要长的映射过程和昂贵的定位传感器,例如LiDAR和高精度GPS/IMU等。为了克服成本障碍,我们提出了一种基于神经网络的解决方案,以在具有可比厘米-水平精度。我们通过引入一种新的网络模块来实现它,我们称之为电阻模块,以加强网络更好地泛化,预测更准确,收敛更快。这些结果是基准的几个数据集,我们收集的大型室内停车场场景。我们计划开放数据和代码,让社区加入推动这一领域发展的努力。
2019-07-16 cs.CV cs.RO eess.IV
Improving Novel view synthesis of 360$^\circ$ Scenes in Extremely Sparse Views by Jointly Training Hemisphere Sampled Synthetic Images
Ghent University(根特大学);University of Dundee(邓迪大学)
针对极稀疏视角下360°场景新视角合成难题,提出联合训练半球采样合成图像与3D高斯泼溅的框架,显著提升合成质量。
2025-05-25 cs.CV
When 3D Partial Points Meets SAM: Tooth Point Cloud Segmentation with Sparse Labels
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
针对牙齿点云分割中稀疏标签导致弱监督方法失效的问题,本文提出SAMTooth框架,通过置信度感知提示生成和掩码引导表示学习利用SAM的提示分割能力,仅用0.1%标注即可媲美全监督方法。
2024-09-03 cs.CV
A Conditional Denoising Diffusion Probabilistic Model for Point Cloud Upsampling
Nanjing University of Science and Technology(南京理工大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出条件去噪扩散概率模型 PUDM,将稀疏点云作为条件并利用双映射与速率因子实现任意尺度点云上采样,在 PU1K 和 PUGAN 上取得 SOTA 性能。
2023-12-03 cs.CV