Deep learning classification of large-scale point clouds: A case study on cuneiform tablets
University of Southern Denmark(南丹麦大学)
本文介绍了一种新的网络结构的分类大规模点云。该网络用于对楔形文字泥板的元数据进行分类。由于超过50万台平板电脑尚未处理,这可以帮助创建平板电脑的概述。该网络在比较数据集上进行了测试,并获得了最先进的性能。我们还介绍了新的元数据分类任务,网络显示出有前途的结果。最后,我们介绍了新的最大注意力可视化,证明了训练后的网络专注于预期的特征。代码可在https://github.com/fhagelskjaer/dlc-cuneiform获得
2022-07-11 cs.CV
Rendering-Oriented 3D Point Cloud Attribute Compression using Sparse Tensor-based Transformer
School of Telecommunication Engineering, Xidian University(西安电子科技大学通信工程学院);City University of Hong Kong(香港城市大学);School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子信息学院);School of Engineering, Royal Melbourne Institute of Technology(皇家墨尔本理工大学工程学院)
提出融合可微渲染的端到端 RO-PCAC 框架及稀疏张量 Transformer SP-Trans,使点云属性压缩直接优化渲染多视图质量,并达到最先进性能。
2025-01-09 cs.CV cs.MM
Visualizing Point Cloud Classifiers by Curvature Smoothing
Grinnell College(格林内尔学院);Oregon State University(俄勒冈州立大学)
最近,已经提出了几种直接在点云上操作的网络。了解它们对点云进行分类的机制具有重要的实用性,这可能有助于诊断这些网络并设计更好的架构。在本文中,我们提出了一种新的方法来可视化点云分类器的重要功能。我们的方法是基于平滑点云上的弯曲区域。在平滑突出特征之后,可以在网络上评估所得到的点云,以评估该特征对分类器是否重要。本文的一个技术贡献是一个近似的曲率平滑算法,它可以平滑地从原始点云过渡到一个恒定的曲率,如均匀的球体。基于平滑算法,我们提出了PCI-GOS(点云集成的显着性优化),一种可视化技术,可以自动找到最小的显着图,涵盖了最重要的特征的形状。实验结果揭示了不同的点云分类器的见解。
2020-09-01 cs.CV
Linked Dynamic Graph CNN: Learning on Point Cloud via Linking Hierarchical Features
Southern University of Science and Technology(南方科技大学);The University of British Columbia(不列颠哥伦比亚大学);Tsinghua University(清华大学)
点云是一种常见的几何数据,可以帮助机器人鲁棒地理解环境,因此点云学习的需求非常迫切。然而,点云是稀疏的、非结构化的和无序的,这不能被传统的卷积神经网络(CNN)或递归神经网络(RNN)准确地识别。幸运的是,图卷积神经网络(Graph CNN)可以处理稀疏和无序的数据。因此,本文提出了一种直接对点云进行分类和分割的链接动态图CNN(LDG CNN)。我们删除了转换网络,从动态图中链接层次特征,冻结特征提取器,并重新训练分类器以提高LDGCNN的性能。我们使用理论分析和可视化来解释我们的网络。通过实验,我们证明了所提出的LDGCNN在两个标准数据集上实现了最先进的性能:ModelNet40和ShapeNet。
2019-08-06 cs.CV
3D Reconstruction by Looking: Instantaneous Blind Spot Detector for Indoor SLAM through Mixed Reality
State University of New York(纽约州立大学);University of Waterloo(滑铁卢大学)
通过混合现实技术实现室内SLAM的即时盲区检测,提升3D重建精度与效率。
2024-11-19 cs.CV cs.GR cs.HC
OdoViz: A 3D Odometry Visualization and Processing Tool
Lero - the Irish Software Research Centre(莱尔——爱尔兰软件研究中心);Maynooth University(梅努斯大学)
OdoViz是一个基于Web的反应式工具,用于自动驾驶汽车数据集的3D可视化和处理,旨在支持视觉位置识别研究中的常见任务。该系统包括用于加载、检查、可视化和处理GPS/INS姿态、点云和相机图像的功能。它支持许多常用的驾驶数据集,并且可以通过最小的努力来加载自定义数据集。OdoViz的设计包括一个服务于数据集的瘦服务器和一个富客户端前端。此设计支持多种部署配置,包括单用户独立安装、在实验室内部为数据集提供服务的研究组安装,或可公开访问的Web前端,以提供用于探索数据集和与数据集交互的在线界面。该工具允许同时查看在多个不同时间段遍历的完整车辆轨迹,从而促进诸如子采样、比较和查找序列之间和序列内的姿态对应等任务。这大大减少了从现有数据集为机器学习任务创建数据子集所需的工作量。除上述之外,系统还支持添加自定义扩展和插件,以扩展软件的能力,用于其他潜在的数据管理、可视化和处理任务。该平台已开放源代码,以促进其使用,并鼓励研究界作出进一步贡献。
2021-07-15 cs.CV cs.RO
A novel tree-structured point cloud dataset for skeletonization algorithm evaluation
College of Computer Science(计算机学院);Chongqing University(重庆大学)
从散乱点云中提取曲线骨架是计算机视觉和三维数据预处理与可视化的基础任务。从点云数据中提取骨架是一个重要的研究课题。但由于缺乏标准的具有地面真实骨架的点云数据集,使得这些算法的评价变得困难。在本文中,我们构建了一个全新的树结构的点云数据集,包括地面真骨架,和点云模型。此外,在干净的点云上构建了四种类型的点云:含噪声点云、含缺失数据点云、不同密度点云和密度分布不均匀点云。我们首先使用树编辑器建立树的骨架和相应的网格模型。由于隐式曲面具有很好的表现力,能够很好地保留复杂树枝模型的边缘和细节,因此我们采用隐式曲面对三角网格进行建模。利用隐式曲面,将虚拟扫描仪应用于点云的采样。最后,考虑到骨架提取的挑战,我们介绍了不同的方法来建立四种不同类型的点云模型。该数据集可用作骨架提取算法的标准数据集。并且可以通过将地面真实骨架与提取的骨架进行比较来执行骨架提取算法之间的评估。
2020-01-09 cs.CV
Exploiting GPT-4 Vision for Zero-shot Point Cloud Understanding
University of Science and Technology of China(中国科学技术大学)
本文提出利用GPT-4V的生成能力并结合系统化点云可视化策略,在不修改模型架构的情况下实现零样本点云分类,并在多种场景中验证了其优越性。
2024-01-15 cs.CL cs.CV
Revisiting Point Cloud Simplification: A Learnable Feature Preserving Approach
Imperial College London(帝国理工学院)
3D传感技术的最新进展使得以非常高的分辨率捕获点云成为可能。然而,增加的细节通常以高存储为代价,以及在处理和可视化操作方面的计算成本。网格和点云简化方法旨在降低3D模型的复杂性,同时保持视觉质量和相关的显着特征。传统的简化技术通常依赖于解决一个耗时的优化问题,因此,他们是不切实际的大规模数据集。为了减轻这种计算负担,我们提出了一种快速的点云简化方法,通过学习采样显着点。所提出的方法依赖于一个图神经网络架构训练选择一个任意的,用户定义的,从输入空间中的点的数量,并重新安排他们的位置,以尽量减少视觉感知误差。该方法是广泛评估各种数据集使用几个感知指标。重要的是,我们的方法能够推广到分布外的形状,因此证明了zero-shot的能力。
2021-09-30 cs.CV
PnP-3D: A Plug-and-Play for 3D Point Clouds
Data61, CSIRO (The Commonwealth Scientific and Industrial Research Organisation)(澳大利亚联邦科学与工业研究组织 Data61);School of Engineering, Australian National University(澳大利亚国立大学工程学院);School of Computing, Australian National University(澳大利亚国立大学计算机学院)
在深度学习范式的帮助下,许多点云网络被发明用于可视化分析。然而,这些网络的发展有很大的潜力,因为点云数据的给定信息尚未得到充分利用。为了提高现有网络在分析点云数据时的有效性,我们提出了一个即插即用的模块,PSTK-3D,旨在通过从显式3D空间和隐式特征空间引入更多的局部上下文和全局双线性响应来细化基本点云特征表示。为了彻底评估我们的方法,我们对三个标准点云分析任务进行实验,包括分类,语义分割和目标检测,我们从每个任务中选择三个最先进的网络进行评估。作为一个即插即用的模块,PPERT-3D可以显着提高已建立的网络的性能。除了在四个广泛使用的点云基准上实现最先进的结果外,我们还提出了全面的消融研究和可视化来证明我们方法的优势。该代码将在https://github.com/ShiQiu0419/pnp-3d上提供。
2021-12-17 cs.CV
Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile Mapping
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Technical University of Darmstadt(达姆施塔特工业大学)
本研究结合Microsoft HoloLens 2与NeRF,利用HoloLens多传感器采集数据、高性能PC实时训练,通过专用推理算法1秒提取500万带辐射度的场景点,实现移动测绘下性能远超传统NeRF采样的完整实时三维重建。
2023-05-03 cs.CV
Point Cloud Upsampling and Normal Estimation using Deep Learning for Robust Surface Reconstruction
Ilmenau University of Technology(伊尔梅瑙工业大学);Carl Zeiss AG(卡尔蔡司公司)
真实世界表面的重建在各种应用中都有很高的要求。大多数现有的重建方法应用3D扫描仪来创建通常稀疏且低密度的点云。这些点云将被三角化并与通过几何方法估计的表面法线结合用于可视化。然而,重建的质量取决于点云的密度和表面法线的估计。在本文中,我们提出了一种新的点云上采样深度学习架构,使后续的稳定和平滑的表面重建。一个低密度的噪声点云与相应的点法线被用来估计具有较高的密度和附加的点法线的点云。为此,我们提出了一个复合损失函数,鼓励网络估计点,躺在一个表面上,包括法线准确地预测表面的方向。我们的研究结果显示了估计法线与点位置的好处。生成的点云更平滑、更完整,最终的曲面重建更接近地面实况。
2021-02-26 cs.CV
Petascale Cloud Supercomputing for Terapixel Visualization of a Digital Twin
背景资料:照片般逼真的太像素可视化是计算密集型的,迄今为止还没有这样的城市数字孪生的可视化,存在的少数太像素可视化已经面向太空而不是地球。目的:我们的目标是:为可视化创建可扩展的云超级计算机软件架构;城市物联网数据的照片级逼真的万亿像素3D可视化,支持每日更新;严格评估云超级计算的应用。方法:我们将Blender Cycles路径跟踪器迁移到一个新的软件框架内的公共云,该框架旨在扩展到petaFLOP性能。结果如下:我们演示了我们可以在一小时内计算一个万亿像素的可视化,系统可以以98%的效率扩展到使用1024个公共云GPU节点,提供14 petaFLOPS。由此产生的terapixel图像支持交互式浏览的城市及其数据在广泛的传感尺度。结论:云计算中可用的GPU计算资源比我们国家超级计算机上可用的任何资源都要多,从而可以访问具有全球竞争力的资源。与采购和运行这些系统相比,使用这些系统的直接财务成本很低。在克服云软件开发的初期问题方面,间接成本应该会随着时间的推移而显著降低。
2019-03-12 cs.DC cs.GR
Visualizing Spatial Point Clouds: A Task-Oriented Taxonomy
School of Computing, Clemson University(克莱姆森大学计算学院)
针对空间点云可视化设计缺乏系统对应分析目标的空白,研究提出一种分类四十年来点云可视化设计选择并关联现代应用挑战的面向任务分类体系,为发展更有效可解释以用户为中心的可视化技术奠基。
2025-10-03 cs.GR
Fast Resampling of 3D Point Clouds via Graphs
为了降低存储,处理和可视化大规模点云的成本,我们考虑了一个随机的重新排序策略,选择一个代表性的点的子集,同时保留应用程序相关的功能。所提出的策略是基于图,它可以表示底层表面,并借给自己很好的高效计算。我们使用一个通用的特征提取算子来表示依赖于应用的特征,并提出了一个通用的重建误差来评估重建的质量。我们通过最小化重建误差得到了最优剩余分布的一般形式。所提出的最佳的rescue分布是保证在3D空间中的移位,旋转和尺度不变。接下来,我们将特征提取算子指定为图过滤器,并研究基于全通、低通、高通图过滤和图过滤器组的特定恢复策略。最后,我们提出的方法应用到三个应用:大规模可视化,准确的注册和强大的形状建模。实验结果验证了所提方法的有效性和效率。
2017-02-11 cs.CV
PAConv: Position Adaptive Convolution with Dynamic Kernel Assembling on Point Clouds
The University of Hong Kong(香港大学);University of Oxford(牛津大学)
我们介绍了位置自适应卷积(PAConv),一个通用的卷积操作的3D点云处理。PAConv的关键是通过动态组装存储在Weight Bank中的基本权重矩阵来构造卷积核,其中这些权重矩阵的系数通过ScoreNet从点位置自适应地学习。通过这种方式,内核以数据驱动的方式构建,赋予PAConv比2D卷积更大的灵活性,以更好地处理不规则和无序的点云数据。此外,学习过程的复杂性降低了组合权重矩阵,而不是粗暴地预测核从点的位置。此外,与现有的点卷积算子的网络架构通常是经过严格设计的不同,我们将我们的PAConv集成到经典的基于MLP的点云管道中,而不改变网络配置。即使建立在简单的网络上,我们的方法仍然接近甚至超过了最先进的模型,并显着提高了分类和分割任务的基线性能,但效率相当高。提供全面的消融研究和可视化,以了解PAConv。代码发布在https://github.com/CVMI-Lab/PAConv上。
2021-04-26 cs.CV
Through the Perspective of LiDAR: A Feature-Enriched and Uncertainty-Aware Annotation Pipeline for Terrestrial Point Cloud Segmentation
Chester F. Carlson Center for Imaging Science, Rochester Institute of Technology, Rochester, NY, USA(切斯特·F·卡尔森成像科学中心,罗切斯特理工学院,罗切斯特,纽约州,美国)
本文提出一种半自动标注流程,通过球面投影和特征丰富技术提升陆地点云分割的效率与精度,构建了Mangrove3D数据集并验证了特征重要性,为生态监测提供高质量分割方案。
2026-02-09 cs.CV cs.RO
Extending Deep Event Visual Odometry with Sparse Point-Cloud Export
st Sajad Ashraf(第一作者单位);nd Alireza Safdari(第二作者单位)
通过添加稀疏点云导出管线,将DEVO内部估计的3D结构转化为显式点云表示,实现可视化与后续处理,在BOARD SLOW序列上验证了局部一致性。
2026-05-21 cs.CV cs.RO
Visualization and Labeling of Point Clouds in Virtual Reality
我们提出了一个虚拟现实(VR)的应用程序标记和处理点云数据集。使用Microsoft Kinect将一系列房间规模的点云记录为视频序列。数据可以播放和暂停,帧可以跳过,就像在视频播放器。用户可以在播放或暂停时四处走动并检查数据。使用跟踪手持控制器,用户可以选择和标记点云的各个部分。标记这些点时,将使用颜色高亮显示这些点。通过跟踪算法,可以逐帧跟踪标记点,以简化标记过程。我们的样本数据是一个RGB点云记录的两个人杂耍与引脚。在这里,用户可以选择和标记,例如,如图1所示的杂耍别针。每个杂耍针都标有各种颜色,以指示不同的标签。
2018-04-11 cs.GR cs.HC
The Simplex Projection: Lossless Visualization of 4D Compositional Data on a 2D Canvas
本文提出单纯形投影方法,将4D成分数据无损可视化于2D画布,并证明可推广至任意有限维度,适用于点、点云及概率密度函数。
2024-03-17 cs.GR
Automatic normal orientation in point clouds of building interiors
曲面法线的正确定向是几何处理中的一个基本问题。可视化、特征检测和几何重建等应用通常依赖于正确定向的法线的可用性。许多现有的方法用于网格或点云上的法线的自动定向,对输入数据或底层对象的拓扑结构进行严格的假设,这不适用于城市场景的真实世界测量。相比之下,我们的方法是专门针对具有挑战性的情况下,非结构化的室内点云扫描的多层,多房间的建筑物。我们在多个真实世界的点云数据集上评估了我们方法的正确性和速度。
2019-04-10 cs.GR
Medical Volume Reconstruction Techniques
医学可视化是利用计算机从医学成像数据集生成三维图像,发达国家几乎所有的外科手术和癌症治疗都依赖于它。体可视化技术包括等值面可视化、网格可视化和点云可视化技术,这些技术给医学带来了革命性的变化。现代医学的大部分依赖于3D成像,其可以使用磁共振成像(MRI)扫描仪、功能性磁共振成像(fMRI)扫描仪、正电子发射断层扫描(PET)扫描仪、超声成像(US)扫描仪、X射线扫描仪、生物标记显微成像扫描仪和计算机断层扫描(CT)扫描仪,这些扫描仪从2D切片制作3D图像。本报告的主要目标是面向应用的优化现有的体渲染方法提供交互式帧速率。技术传统的阿尔法混合渲染,表面阴影显示,最大强度投影(MIP),和快速预览与完全交互式参数控制。针对交互式等值面绘制和快速预览,提出了不同的预处理策略,如著名的Marching Cube算法。
2018-02-21 cs.GR
From Flat to Spatial: Comparison of 4 methods constructing 3D, 2 and 1/2D Models from 2D Plans with neural networks
本文比较了四种从2D图像构建3D网格的神经网络方法,评估它们在建筑设计可视化中的适用性,展示了这些技术如何简化模型创建、缩短设计周期并提升精度。
2024-07-29 cs.CV cs.ET cs.GR