Lossless Point Cloud Attribute Compression Using Cross-scale, Cross-group, and Cross-color Prediction
这项工作扩展了最初开发的点云几何压缩的多尺度结构,点云属性压缩。为了在保持低比特率的同时对属性进行有损编码,准确的概率预测至关重要。为此,我们广泛利用点云属性的跨尺度、跨组和跨颜色相关性,以确保准确的概率估计,从而提高编码效率。具体来说,我们首先通过平均池化生成多尺度属性张量,对于任何两个连续尺度,解码后的低尺度属性都可以一次性估计当前尺度下的属性概率。此外,在每个尺度中,我们按照预定义的分组模式分组进行概率估计。通过这种方式,跨尺度和(相同尺度)跨组相关性都被联合利用。此外,通过允许对YCoCg/RGB相似的多通道属性进行颜色间处理,消除了交叉颜色冗余。所提出的方法不仅展示了最先进的压缩效率,在各种内容上比最新的G-PCC具有显着的性能增益,而且在负担得起的编码和解码运行时间内保持低复杂度。
2023-03-22 eess.IV
Efficient Feature Compression for Edge-Cloud Systems
边云系统中的优化计算是一个重要而又具有挑战性的问题。在本文中,我们考虑了在边缘云图像分类系统中比特率、分类精度和编码复杂度之间的三种折衷。我们的方法包括一个新的训练策略和一个有效的编码器架构,以提高率精度性能。我们的设计还可以根据边缘设备上的不同计算资源轻松扩展,朝着实现速率-精度-复杂度(RAC)权衡迈出了一步。在各种设置下,我们的特征编码系统在RAC性能方面始终优于以前的方法。
2022-11-17 eess.IV
A Volumetric Approach to Point Cloud Compression
到目前为止,点云的压缩仅限于对空间中离散点集的位置和这些离散点的属性进行编码。我们介绍了一种替代方法的基础上体积函数,这是功能定义不只是在一个有限的一组点,但整个空间。与回归分析一样,体积函数是连续函数,能够将有限点集上的值插值为连续基函数的线性组合。使用B样条小波基,我们能够编码体积函数代表几何形状和属性。几何体被隐式地表示为体积函数(带符号距离函数或类似函数)的水平集。属性表示的体积函数,其系数可以被视为一个临界采样正交变换,概括了最近成功的区域自适应层次(或Haar)变换到更高的订单。实验结果表明,使用体积函数的几何和属性压缩都优于新兴的MPEG点云压缩标准中使用的压缩。
2018-09-30 eess.IV
On the Impact of LiDAR Point Cloud Compression on Remote Semantic Segmentation
Universidade de Brasilia(巴西利亚大学)
本文研究智慧城市中LiDAR点云压缩对云端语义分割的影响,提出新的失真度量,并基于Semantic KITTI评估GPCC、L3C2与2DPASS、PVKD,给出带宽需求。
2025-09-27 eess.IV
Advanced Geometry Surface Coding for Dynamic Point Cloud Compression
在基于视频的动态点云压缩(V-PCC)中,3D点云被投影到2D图像上,以便使用现有的视频编解码器进行压缩。然而,现有的视频编解码器最初是针对自然视觉信号设计的,并且它未能考虑点云的特性。因此,在从点云生成的几何信息的压缩中仍然存在问题。首先,现有率失真优化(RDO)中的失真模型与几何质量评估指标不一致。其次,视频编解码器中的预测方法未能考虑远层的最高深度值大于或等于近层的对应最低深度值的事实。提出了一种用于动态点云数据压缩的高级几何表面编码(AGSC)方法.该方法由两个模块组成,包括基于误差投影模型(EPM)的RDO和基于占用图(OM)的合并预测。首先,提出了一种新的失真模型来描述现有视频编解码器中的失真模型与几何质量度量之间的关系。其次,提出了基于EPM的RDO方法,将现有的失真模型投影到平面法线上,并将其简化为编码单元(CU)的平均法向量估计。最后,我们提出了基于OM的合并预测方法,在该方法中,合并模式的预测像素基于占用图进行细化。在标准点云上的实验结果表明,该方法平均节省了9.84%的几何压缩码率.
2021-03-11 eess.IV
PCAC-GAN: A Sparse-Tensor-Based Generative Adversarial Network for 3D Point Cloud Attribute Compression
提出PCAC-GAN,首个用GAN和稀疏卷积压缩点云属性的方法,自适应选择体素分辨率,性能优于现有学习法,视觉质量媲美G-PCC TMC13v23。
2024-07-19 eess.IV
Rate-Distortion Optimal Transform Coefficient Selection for Unoccupied Regions in Video-Based Point Cloud Compression
本文提出了一种新的方法来确定率失真优化的变换系数,有效地压缩视频生成的点云。该方法利用了广义频率选择性外推方法,迭代地确定率失真优化系数的二维离散余弦和正弦变换的所有基函数。该方法应用于在用于HEVC编码的基于视频的点云压缩中包含占用和未占用像素的块。在所提出的算法中,只有变换系数的值被改变,使得得到的比特流符合V-PCC标准。对于所有帧内编码的点云,可以观察到相对于标准编码,几何结构的比特率节省超过4%,纹理误差度量的比特率节省超过6%。这些节省是使用文献中的竞争方法获得的节省的两倍多。在随机接入的情况下,我们提出的方法优于竞争的V-PCC方法超过0.5%。
2022-06-24 eess.IV
Learned Multimodal Compression for Autonomous Driving
Simon Fraser University(西蒙菲莎大学)
针对自动驾驶传感器数据量大的问题,研究面向3D目标检测的相机与LiDAR多模态学习式压缩,对比联合编码与条件编码等方案,在nuScenes数据集上验证了融合模态联合编码的性能更优。
2024-08-15 cs.CV eess.IV
Cylindrical coordinates for LiDAR point cloud compression
我们提出了一种有效的体素化方法来编码的几何形状和属性的三维点云从自动驾驶汽车。由于传感器的圆形扫描轨迹,LiDAR点云的几何形状与RGBD相机捕获的点云的几何形状本质上不同。我们的方法利用这些特定的属性来表示圆柱坐标中的点,而不是传统的笛卡尔坐标。我们证明thatRegion自适应分层变换(RAHT)可以扩展到这个设置,导致属性编码的基础上的体积分区在圆柱坐标系。实验结果表明,我们提出的体素化优于传统的方法,基于笛卡尔坐标的这种类型的数据。我们观察到属性编码性能的显着改善,比特率减少了5- 10%,八叉树表示减少了35-45%。
2021-06-21 eess.IV
Real-Time Spatio-Temporal LiDAR Point Cloud Compression
University of Rochester(罗切斯特大学);PerceptIn, Inc.(感知智能公司)
实时压缩大量LiDAR点云对于无人机和自动驾驶汽车等自动驾驶机器至关重要。虽然大多数最近的先前工作集中在压缩单个点云帧,本文提出了一种新的系统,有效地压缩点云序列。利用点云帧序列中的空间和时间冗余的想法。我们首先确定一个关键帧的点云序列和空间编码的关键帧迭代平面拟合。然后,我们利用连续的点云在物理空间中有很大的重叠,因此空间编码的数据可以(重新)用于编码的时间流的事实。通过重用空间编码数据进行时域编码,不仅提高了压缩率,而且避免了冗余计算,从而显著提高了压缩速度。实验表明,我们的压缩系统实现了40倍到90倍的压缩率,明显高于MPEG的LiDAR点云压缩标准,同时保持了端到端的应用精度。同时,我们的压缩系统具有与当今LiDAR的点云生成速率相匹配的压缩速度,并优于现有的压缩系统,从而实现实时点云传输。
2020-08-16 cs.RO eess.IV
Hint: hierarchical inter-frame correlation for one-shot point cloud sequence compression
Aarhus University(奥胡斯大学)
HINT通过整合时间和空间相关性,实现了点云序列压缩的高效编码与解码,显著提升了压缩速度和比特率效率。
2026-01-27 eess.IV
4DAC: Learning Attribute Compression for Dynamic Point Clouds
Sun Yat-sen University(中山大学);University of Oxford(牛津大学);Shanghai Jiaotong University(上海交通大学)
随着三维数据采集设备的发展,获取的三维点云规模越来越大,对现有的数据压缩技术提出了挑战。虽然在静态点云压缩中已经实现了有前途的性能,但是利用点云序列内的时间相关性进行有效的动态点云压缩仍然是探索不足和具有挑战性的。在本文中,我们研究了属性(例如,颜色)压缩的动态点云,并提出了一个基于学习的框架,称为4DAC。为了减少数据中的时间冗余,我们首先使用深度神经网络构建3D运动估计和运动补偿模块。然后,由运动补偿组件产生的属性残差通过区域自适应分层变换被编码为残差系数。此外,我们还提出了一个深度条件熵模型来估计变换系数的概率分布,通过将时间上下文从连续的点云和运动估计/补偿模块。最后,数据流与预测的分布进行有损熵编码。在多个公开数据集上的实验表明,该方法具有较好的压缩性能。
2022-04-25 cs.CV eess.IV
M3-CVC: Controllable Video Compression with Multimodal Generative Models
State Key Laboratory of Integrated Chips and Systems(集成芯片与系统国家重点实验室);Fudan University(复旦大学)
本文提出M3-CVC框架,通过多模态生成模型、语义-运动关键帧选择、LMM时空细节提取和文本引导条件扩散压缩,在超低码率下显著超越VVC标准,提升视频语义与感知保真度。
2024-12-25 cs.CV eess.IV
3D Point Cloud Compression with Recurrent Neural Network and Image Compression Methods
Institute for Automotive Engineering (ika), RWTH Aachen University(亚琛工业大学汽车工程研究所(ika))
提出一种无损且校准的3D到2D转换方法,结合图像压缩和循环神经网络自监督深度压缩,有效压缩LiDAR点云数据,在定量和视觉性能上优于八叉树和原始数据压缩方法。
2024-02-18 cs.AI cs.CV eess.IV
VoxelContext-Net: An Octree based Framework for Point Cloud Compression
Beihang University(北京航空航天大学);Beijing Institute of Technology(北京理工大学);University of Sydney(悉尼大学)
在本文中,我们提出了一个两阶段的深度学习框架,称为VoxelContext-Net,用于静态和动态点云压缩。该方法结合了基于八叉树的方法和基于体素的方法,利用体素上下文对八叉树结构数据进行压缩。具体来说,我们首先提取的本地体素表示编码的空间相邻的上下文信息中的每个节点构造的八叉树。然后,在熵编码阶段,我们提出了一种基于体素上下文的深度熵模型,以无损的方式压缩非叶节点的符号。此外,对于动态点云压缩,我们还引入了来自时间相邻点云的局部体素表示,以利用时间依赖性。更重要的是,为了减轻八叉树构造过程中的失真,我们提出了一种基于体素上下文的3D坐标细化方法,以在解码器端产生更准确的重建点云,这适用于静态和动态点云压缩。在静态和动态点云基准数据集上的综合实验(例如,ScanNet和Semantic KITTI)清楚地证明了我们新提出的三维点云几何压缩方法VoxelContext-Net的有效性。
2021-05-05 cs.CV eess.IV
Patch-Based Deep Autoencoder for Point Cloud Geometry Compression
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
随着3D应用的日益广泛,点云数据压缩变得前所未有的重要和必要。在本文中,我们提出了一个基于块的压缩过程,使用深度学习,重点是有损点云几何压缩。与现有的点云压缩网络不同,它对整个点云应用特征提取和重建,我们将点云划分为补丁,并独立压缩每个补丁。在解码过程中,我们最终将解压缩的补丁组装成一个完整的点云。此外,我们通过补丁到补丁标准来训练我们的网络,即,利用局部重构损失进行优化,以逼近全局重构最优。我们的方法在率失真性能方面优于最先进的方法,特别是在低比特率下。此外,我们提出的压缩过程可以保证生成与输入相同数量的点。该方法的网络模型可以很容易地应用于其他点云重建问题,如上采样。
2021-10-18 cs.CV cs.MM eess.IV
Video-based compression for plenoptic point clouds
具有来自各个方向的多种颜色的全光点云是比通常仅具有一种颜色的一般点云更完整的表示。它更现实,但也带来了更大的数据量,需要有效压缩。压缩全光点云的现有技术方法是基于区域的自适应分层变换(RAHT)的扩展。据我们所知,除了RAHT之外,基于视频的点云压缩(V-PCC)也是一种有效的点云压缩方法。然而,据我们所知,还没有作品使用基于视频的解决方案来压缩全光点云。在本文中,我们首先扩展的V-PCC支持全光点云压缩生成多属性视频。然后,基于这些视频从多个视图具有非常高的相关性的观察,我们提出了使用多视图高效率视频编码来编码它们。我们进一步提出了一个基于块的填充方法,统一的未占用的属性像素从不同的视图,以减少其位成本。所提出的算法在V-PCC参考软件中实现。实验结果表明,该算法可以带来显着的比特率节省相比,国家的最先进的全光点云压缩方法。
2019-11-04 cs.MM eess.IV
Sparse Point Clouds Assisted Learned Image Compression
University of Science and Technology of China(中国科学技术大学);University of Missouri(密苏里大学)
本文提出一种在自动驾驶场景下利用稀疏点云辅助学习型图像压缩的新框架,通过投影生成深度图并预测图像提取多尺度结构特征作为附加信息,兼容多种主流模型,实验证明能持续提升压缩性能。
2024-12-20 cs.CV eess.IV
Deep probabilistic model for lossless scalable point cloud attribute compression
近年来,已经提出了几种利用先进的深度学习技术的点云几何压缩方法,但在属性压缩,特别是无损压缩方面的工作有限。在这项工作中,我们建立了一个端到端的多尺度点云属性编码方法(MNeT),逐步投影到多尺度潜在空间的属性。多尺度架构为属性概率建模提供了准确的上下文,从而使用单个网络预测最小化编码比特率。此外,我们的方法允许可伸缩的编码,较低的质量版本可以很容易地从有损压缩的比特流提取。我们验证了我们的方法上的一组点云MVUB和MPEG,并表明我们的方法优于最近提出的方法,并与最新的G-PCC版本14。此外,我们的编码时间大大快于G-PCC。
2023-03-11 cs.LG eess.IV
End-to-end learned Lossy Dynamic Point Cloud Attribute Compression
提出端到端动态点云属性有损压缩方法,利用高维卷积和上下文模型,相比MPEG RAHT平均节省38.1%码率。
2024-08-20 cs.LG eess.IV
SCP: Spherical-Coordinate-based Learned Point Cloud Compression
KDDI Research, Inc.(KDDI研究所);Waseda University(早稻田大学);Yokohama National University(横滨国立大学)
提出基于球坐标的模型无关点云压缩方法SCP,利用旋转激光雷达点云的圆形和方位角不变特征,并引入多级八叉树降低远处重建误差,在点对点PSNR BD-Rate上最高超越SOTA 29.14%。
2024-02-08 cs.CV eess.IV
GRASP-Net: Geometric Residual Analysis and Synthesis for Point Cloud Compression
InterDigital(InterDigital公司)
由于点云格式的通用性,点云压缩(PCC)是各种3-D应用的关键使能器。理想情况下,3D点云努力描绘连续的对象/场景表面。实际上,作为一组离散样本,点云是局部不连通且稀疏分布的。这种稀疏性阻碍了压缩点之间的局部相关性的发现。受分形维数分析的启发,我们提出了一种具有深度学习的异构方法用于有损点云几何压缩。在压缩输入的粗略表示的基础层之上,增强层被设计为应对具有挑战性的几何残差/细节。具体而言,基于点的网络被应用于将不稳定的局部细节转换为驻留在粗点云上的潜在特征。然后,启动在粗点云上操作的稀疏卷积神经网络。它利用粗糙几何的连续性/平滑性来压缩潜在特征作为增强比特流,这极大地有利于重建质量。当该比特流不可用时,例如,由于数据包丢失,我们支持具有相同架构的跳过模式,其直接从粗略点云生成几何细节。密集和稀疏点云的实验证明了我们的建议所达到的最先进的压缩性能。我们的代码可在https://github.com/InterDigitalInc/GRASP-Net上获得。
2022-09-09 cs.CV eess.IV
Geometric Prior Based Deep Human Point Cloud Geometry Compression
City University of Hong Kong(香港城市大学);Lingnan University(岭南大学)
针对高分辨率人体点云数据量巨大的压缩挑战,提出利用人体几何先验去除几何冗余的深度压缩框架,将点云视为几何先验与结构偏差的组合并压缩特征差异,以即插即用方式显著提升压缩性能且不降低质量。
2024-03-25 cs.CV eess.IV
3DAC: Learning Attribute Compression for Point Clouds
Sun Yat-sen University(中山大学);The Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);University of Oxford(牛津大学);Information Engineering University(信息工程大学);Shanghai Jiaotong University(上海交通大学);National University of Defense Technology(国防科技大学)
研究了大规模非结构化三维点云的属性压缩问题。通过深入探讨不同编码步骤和不同属性通道之间的关系,本文引入了一种深度压缩网络(3DAC)来显式压缩3D点云的属性并减少存储占用。具体地说,点云属性,如颜色和反射率,首先转换为变换系数。然后,我们提出了一个深度熵模型,通过考虑隐藏在属性变换和先前编码的属性中的信息来模拟这些系数的概率。最后,估计的概率被用来进一步压缩这些变换系数到最终的属性比特流。在室内和室外大规模开放点云数据集(包括ScanNet和SemanticKITTI)上进行的广泛实验证明了所提出的3DAC的卓越压缩率和重建质量。
2022-03-17 cs.CV eess.IV
Aggressive saliency-aware point cloud compression
针对点云数据量大需压缩的问题,提出一种结合点云几何特征与用户位置的显著性感知端到端压缩方案,通过显著性图差异化量化,在低比特率下效果显著优于MPEG的G-PCC算法。
2023-07-20 eess.IV eess.SP
Point Cloud-Assisted Neural Image Compression
Peking University(北京大学);Advanced Institute of Information Technology, Peking University(北京大学先进信息技术研究院)
本文首次利用点云辅助神经图像编解码器(PCA-NIC)及多模态特征融合模块(MMFFT),提升图像压缩性能,实现最先进效果。
2024-12-16 cs.CV eess.IV
Bits-to-Photon: End-to-End Learned Scalable Point Cloud Compression for Direct Rendering
Tandon School of Engineering, New York University(纽约大学坦登工程学院)
提出一种端到端学习的可缩放点云压缩方案,将比特流直接解码为可渲染3D高斯,联合优化比特率与渲染质量,显著提升渲染质量并降低解码渲染时间,支持实时高质量点云渲染。
2024-09-25 cs.CV eess.IV
PIVOT-Net: Heterogeneous Point-Voxel-Tree-based Framework for Point Cloud Compression
InterDigital
提出异构点云压缩框架PIVOT-Net,统一点、体素和树表示及其骨干网络,并引入上下文感知上采样和增强体素变换器,在多种点云上实现最先进压缩性能。
2024-02-11 cs.CV eess.IV
A Comprehensive Study and Comparison of Core Technologies for MPEG 3D Point Cloud Compression
Shandong University(山东大学);The City University of Hong Kong(香港城市大学)
基于点云的3D可视化表示由于其能够以更全面和身临其境的方式展示真实世界而变得越来越流行。然而,在有限的网络带宽下,由于其巨大的数据量,这是非常具有挑战性的传播这种媒体。因此,MPEG发起了点云压缩(PCC)的标准化,并提出了三种模型类别,即,TMC 1、TMC 2和TMC 3。由于TMC 1和TMC 3的3D几何压缩方法相似,因此将TMC 1和TMC 3进一步合并为一个新的平台,即TMC 13。本文首先介绍了3D点云压缩中常用的一些基本技术,然后详细回顾了这些测试模型的编码器架构,最后定量分析了它们在不同情况下的率失真性能以及复杂度(即,无损几何和无损颜色,无损几何和有损颜色,有损几何和有损颜色),使用MPEG推荐的16个基准3D点云。实验结果表明,对于密集点云,TMC 2的编码效率平均最高(尤其是有损几何和有损色彩压缩),而对于稀疏和噪声点云,TMC 13的编码效率最高,且时间复杂度较低。
2019-12-20 cs.CV eess.IV
Variable Rate Compression for Raw 3D Point Clouds
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
在本文中,我们提出了一种新的可变速率深度压缩架构,对原始3D点云数据进行操作。大多数基于学习的点云压缩方法都是对数据进行下采样表示。此外,许多现有技术需要针对不同的压缩率训练多个网络,以生成不同质量的合并点云。相比之下,我们的网络能够显式处理点云,并以全面的比特率生成压缩描述。此外,我们的方法确保了体素化过程不会丢失信息,点云的密度不会影响编码器/解码器的性能。广泛的实验评估表明,我们的模型获得了最先进的结果,它是计算效率高,它可以直接与点云数据,从而避免了昂贵的体素化表示。
2022-05-16 cs.CV cs.RO eess.IV
Deep AutoEncoder-based Lossy Geometry Compression for Point Clouds
Peking University Shenzhen Graduate School(北京大学深圳研究生院);Tencent America(腾讯美国);Advanced Institute of Information Technology, Peking University(北京大学先进信息研究院)
点云是一种基本的3D表示,广泛应用于自动驾驶等现实世界的应用。点云作为一种新兴的媒体格式,其特点是复杂性和不规则性,需要比现有编解码器更灵活的压缩算法。最近,自动编码器(AE)在许多视觉分析任务以及图像压缩中显示出其有效性,这激励我们将其应用于点云压缩。在本文中,我们提出了一种通用的基于自动编码器的有损几何点云压缩架构。据我们所知,它是第一个基于自动编码器的几何压缩编解码器,直接将点云作为输入,而不是体素网格或图像集合。与手工编解码器相比,这种方法可以更快地适应以前看不到的媒体内容和媒体格式,同时实现具有竞争力的性能。我们的架构包括一个基于点网络的编码器,一个均匀量化器,一个熵估计块和一个非线性合成变换模块。在点云有损几何压缩中,实验结果表明,该方法优于MPEG-3DG组在第125次会议上公布的第1类和第3类测试模型(TMC 13),平均获得了73.15%的BD率增益。
2019-04-18 cs.CV cs.MM eess.IV
SEDD-PCC: A Single Encoder-Dual Decoder Framework For End-To-End Learned Point Cloud Compression
National Chung Cheng University(国立中正大学)
提出SEDD-PCC框架,采用单编码器-双解码器联合压缩点云几何与属性,引入知识蒸馏提升效率,性能优于现有方法。
2025-05-22 cs.CV eess.IV
PointCompress3D: A Point Cloud Compression Framework for Roadside LiDARs in Intelligent Transportation Systems
Technical University of Munich(慕尼黑工业大学)
针对智能交通系统中路侧LiDAR点云的高效处理需求,提出专用压缩框架PointCompress3D,适配整合三种前沿方法,在TUMTraf数据集上实现50倍压缩、10FPS帧率,且检测性能与原始数据相当。
2024-10-29 cs.CV eess.IV
ECM-OPCC: Efficient Context Model for Octree-based Point Cloud Compression
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Department of Automation, Tsinghua University(清华大学自动化系);Department of Computer Science, Tsinghua University(清华大学计算机科学系)
针对基于八叉树的点云压缩中上下文不足或解码复杂度过高的问题,提出窗口约束多组编码、双 transformer 架构和随机掩码预训练,实现有损与无损压缩的最优性能并节省98%解码时间。
2023-12-09 cs.CV eess.IV
Generalized Gaussian Entropy Model for Point Cloud Attribute Compression with Dynamic Likelihood Intervals
针对现有点云属性压缩熵模型概率估计不准、算术编码用固定似然区间的问题,提出带形状参数的广义高斯熵模型与可动态调整区间的MED判别器,显著提升VAE类模型的率失真性能,还可推广至图像视频压缩。
2025-06-11 cs.CV eess.IV
DALD-PCAC: Density-Adaptive Learning Descriptor for Point Cloud Lossless Attribute Compression
City University of Hong Kong(香港城市大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院);University of Missouri-Kansas City(密苏里大学-堪萨斯城分校);Tencent Media Laboratory(腾讯媒体实验室)
DALD-PCAC通过密度适应学习描述符和注意力机制,实现点云无损属性压缩的高效压缩与鲁棒性提升。
2026-01-18 cs.CV eess.IV
Motion estimation and filtered prediction for dynamic point cloud attribute compression
KDDI Research, Inc.(KDDI综合研究所)
在点云压缩中,由于不规则的几何形状,利用时间冗余进行帧间预测编码具有挑战性。提出了一种基于块的帧间编码的彩色属性压缩方法。该方案包括整数精度的运动估计和一个自适应的基于图形的环路滤波方案,以改善属性预测。所提出的基于块的运动估计方案包括利用几何和颜色属性的初始运动搜索,随后是仅最小化颜色预测误差的运动细化。为了进一步提高颜色预测,我们提出了一个顶点域低通图滤波方案,可以自适应地去除噪声的预测计算从运动估计具有不同的精度。我们的实验表明,显着的编码增益超过国家的最先进的编码方法。
2022-10-28 cs.CV eess.IV
Lossless Point Cloud Geometry and Attribute Compression Using a Learned Conditional Probability Model
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
本文提出一种基于稀疏张量深度神经网络的无损点云压缩方法,统一表示几何与颜色属性,构建自回归上下文模型,相比MPEG方法总比特率降低22.6%。
2024-03-20 cs.LG eess.IV
Dynamic Point Cloud Geometry Compression Using Multiscale Inter Conditional Coding
Nanjing University(南京大学);Hangzhou Normal University(杭州师范大学)
这项工作扩展了多尺度稀疏表示(MSR)框架开发的静态点云几何压缩(PCGC),以支持动态PCGC通过使用多尺度间条件编码。为此,前一点云几何(PCG)帧的重构被逐步缩小尺度以生成多尺度时间先验,其然后被按尺度转移并与来自同一帧的较低尺度空间先验整合以形成上下文信息,从而在从一个尺度到另一个尺度处理当前PCG帧时改进占用概率近似。根据标准化委员会定义的通用测试条件(CTC),所提出的方法呈现了最先进的(SOTA)压缩性能,与最新的标准兼容的V-PCC相比,产生78%的有损BD速率增益,与最新的G-PCC相比,产生45%的无损比特率降低。即使是最近出现的基于学习的解决方案,我们的方法仍然显示出显着的性能提升。
2023-01-28 cs.CV eess.IV
Multiscale Point Cloud Geometry Compression
Nanjing University(南京大学);Hangzhou Normal University(杭州师范大学);University of Missouri(密苏里大学)
近年来,基于点云的应用程序的增长,因为它的现实和细粒度的表示三维物体和场景。然而,压缩稀疏、非结构化和高精度的3D点以实现高效通信是一个具有挑战性的问题。在本文中,利用点云的稀疏性,我们提出了一个多尺度的端到端的学习框架,通过渐进重采样分层重建三维点云几何(PCG)。该框架是在一个基于稀疏卷积的自动编码器上开发的,用于点云压缩和重建。对于只有二进制占用属性的输入PCG,我们的框架将其转换为一个缩小的点云在瓶颈层,拥有几何和相关的功能属性。与MPEG标准的基于视频的点云压缩(V-PCC)和基于几何的点云压缩(G-PCC)方法相比,该方法的BD率分别达到40%和70%以上(Bjontegaard Delta Rate)降低。它的编码运行时间与G-PCC相当,仅为V-PCC的1.5%。
2020-11-07 cs.CV eess.IV
Motion Estimation Techniques for Volumetric Video Attribute Compression
University of Southern California(南加州大学);KDDI Research, Inc.(KDDI研究所)
针对点云属性时域冗余难消除的问题,提出三类运动估计编码方案,在有损几何条件下较现有标准最高可实现55.3%的平均码率节省。
2026-07-07 cs.CV eess.IV
Point Cloud Compression and Objective Quality Assessment: A Survey
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作中位网创新中心);University of Missouri–Kansas City(密苏里大学-堪萨斯城分校);Department of Electrical and Computer Engineering, University of Canterbury(坎特伯雷大学电子与计算机工程系)
本文综述了点云压缩与质量评估的最新进展,分析了基于手工和学习的PCC算法及客观PCQA指标,通过基准测试比较了代表性方法,并指出了未来研究方向以支持更高效的3D应用。
2025-06-28 cs.CV eess.IV
Dynamic Point Cloud Compression with Cross-Sectional Approach
Charles Sturt University(查尔斯特大学)
动态点云的最新发展引入了模仿自然现实的可能性,并极大地提高了生活质量。然而,为了成功地广播,动态点云需要更高的压缩,由于其巨大的数据量相比,传统的视频。最近,MPEG最终确定了一个基于视频的点云压缩标准,称为V-PCC。然而,V-PCC由于昂贵的正常计算和分割而需要巨大的计算时间,牺牲一些点以限制2D补丁的数量,并且不能占据2D帧中的所有空间。所提出的方法解决了这些限制,通过使用一种新的横截面的方法。与VPCC相比,这种方法减少了昂贵的法线估计和分割,保留了更多的点,并利用更多的空间来生成2D帧。使用标准视频序列的实验结果表明,该技术可以实现更好的压缩,在几何和纹理数据相比,V-PCC标准。
2022-04-25 cs.CV cs.MM eess.IV
Attribute Artifacts Removal for Geometry-based Point Cloud Compression
University of Science and Technology of China(中国科学技术大学)
基于几何的点云压缩(G-PCC)可以获得显著的点云压缩效率。然而,它仍然导致严重的属性压缩伪像,特别是在低比特率场景下。在本文中,我们提出了一个多尺度图注意力网络(MS-GAT),以消除由G-PCC压缩的点云属性的伪影。首先基于点云几何坐标构造图,然后利用切比雪夫图卷积提取点云属性的特征。考虑到一个点可能与附近和远离它的点相关,我们提出了一个多尺度方案来捕获当前点与其相邻点和远点之间的短期和长期相关性。为了解决不同点可能具有由自适应量化引起的不同程度的伪影的问题,我们引入每个点的量化步长作为所提出的网络的额外输入。我们还在网络中加入了一个加权图关注层,以特别关注具有更多属性工件的点。据我们所知,这是G-PCC的第一个属性伪影去除方法。我们验证了我们的方法在各种点云的有效性。客观的比较结果表明,我们提出的方法实现了平均9.74%的BD率减少相比Predlift和10.13%的BD率减少相比,RAHT。主观比较结果表明,减少了诸如颜色偏移、模糊和量化噪声的视觉伪影。
2022-03-01 cs.CV eess.IV
Fractional Motion Estimation for Point Cloud Compression
University of Southern California(南加州大学);KDDI Research Inc(KDDI研究所)
受视频编码中分数像素运动的成功启发,我们探索了具有分数体素分辨率的运动估计的设计,用于压缩动态3D点云的颜色属性。我们提出的基于块的分数体素运动估计方案考虑了点云和视频之间的根本差异,即,体素在帧内和跨帧分布的不规则性。我们表明,运动补偿可以受益于更高的分辨率参考和更准确的位移提供的分数精度。我们提出的方案显着优于可比的方法,只使用整数运动。所提出的方案可以与使用诸如区域自适应图傅里叶变换和区域自适应哈尔变换的变换的最新系统相结合,并向其添加相当大的增益。
2022-02-01 cs.CV eess.IV
Density-preserving Deep Point Cloud Compression
Google(谷歌);Fudan University(复旦大学)
点云的局部密度对于表示局部细节是至关重要的,但现有的点云压缩方法忽略了这一点。为了解决这个问题,我们提出了一种新的深点云压缩方法,保留局部密度信息。我们的方法以自动编码器的方式工作:编码器对点进行下采样并学习逐点特征,而解码器使用这些特征对点进行上采样。具体来说,我们提出了编码的局部几何和密度与三个嵌入:密度嵌入,局部位置嵌入和祖先嵌入。在解码过程中,我们明确预测每个点的上采样因子,以及上采样点的方向和尺度。为了减轻现有方法中的聚集点问题,我们设计了一个新的子点卷积层,和一个自适应尺度的上采样块。此外,我们的方法还可以压缩逐点属性,如法线。SemanticKITTI和ShapeNet上的大量定性和定量结果表明,我们的方法实现了最先进的率失真权衡。
2022-04-27 cs.CV eess.IV
Efficient LiDAR Point Cloud Geometry Compression Through Neighborhood Point Attention
Nanjing University(南京大学)
尽管多尺度稀疏张量的卷积表示在精确建模密集对象点云几何分量压缩的占用概率方面表现出了卓越的效率,但其表示稀疏LiDAR点云几何(PCG)的能力在很大程度上受到限制。这是因为:1)卷积的固定感受野不能很好地表征极端和不均匀分布的稀疏LiDAR点; 2)具有固定权重的预训练卷积不足以动态捕获以输入为条件的信息。因此,这项工作提出了邻域点注意(NPA)来解决这些问题,我们首先使用k个最近的邻居(kNN)来构建自适应的局部邻域,然后利用自注意力机制来动态地聚合该邻域内的信息。这种NPA被设计为NPAFormer,以最好地利用跨尺度和同尺度相关性进行几何占用概率估计。与使用标准化G-PCC的锚点相比,我们的方法在有损压缩下提供了>17%的BD速率增益,并且在SemanticKITTI和Ford数据集中使用流行的LiDAR点云的无损场景下提供了>14%的比特率降低。与使用注意力优化八叉树编码方法的最新(SOTA)解决方案相比,我们的方法需要更少的解码运行时间,平均约640倍的加速比,同时仍然呈现出更好的压缩效率。
2022-08-26 cs.CV eess.IV
UniPCGC: Towards Practical Point Cloud Geometry Compression via an Efficient Unified Approach
Peng Cheng Laboratory(鹏城实验室)
针对现有基于学习的点云压缩方法复杂度高、模式有限、不支持可变码率的问题,提出统一轻量框架UniPCGC,通过UELC和VRCM模块实现多模式支持,无损、有损压缩性能均优于现有最优方法。
2025-03-24 cs.AI cs.CV eess.IV
HybridGS: High-Efficiency Gaussian Splatting Data Compression using Dual-Channel Sparse Representation and Point Cloud Encoder
Qualcomm(高通公司)
HybridGS提出结合紧凑生成与标准化点云编码的3DGS压缩框架,通过双通道稀疏表示和码率控制,在保持重建质量的同时显著提升编解码速度。
2025-05-03 cs.CV eess.IV
Point Cloud Compression via Constrained Optimal Transport
School of Software, Dalian University of Technology(大连理工大学软件学院)
本文提出COT-PCC,将点云压缩建模为约束最优传输问题,结合GAN和比特率损失,并引入可学习采样模块,在稀疏和稠密数据集上优于现有方法。
2024-03-13 cs.CV eess.IV
SurfelSoup: Learned Point Cloud Geometry Compression With a Probablistic SurfelTree Representation
Department of Electrical and Computer Engineering, New York University Tandon School of Engineering, Brooklyn, NY, USA(电气工程系,纽约大学塔能工程学院,布鲁克林,纽约,美国)
SurfelSoup通过概率Surfel树结构实现点云几何压缩,提升压缩效率与表面重建质量。
2026-01-30 cs.CV eess.IV
Rate-distortion Optimized Point Cloud Preprocessing for Geometry-based Point Cloud Compression
School of Telecommunications Engineering, Xidian University(电子科技大学电信工程学院);School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子信息技术学院);School of Engineering, Royal Melbourne Institute of Technology(皇家墨尔本理工学院工程学院)
本文提出了一种基于率失真优化的点云预处理框架,结合可微替代模型与体素化网络,提升G-PCC效率,实现38.84%的BD-rate减少。
2025-08-03 cs.CV eess.IV
Rate-Distortion Modeling for Bit Rate Constrained Point Cloud Compression
点云作为三维真实世界的主要表现形式之一,非常适合虚拟现实和增强现实应用,得到了广泛的应用。为了减少庞大的数据量,人们对点云数据压缩进行了大量的研究。然而,给定目标比特率,如何正确选择颜色和几何量化参数来压缩点云仍然是一个悬而未决的问题。提出了一种基于率失真模型的点云压缩量化参数选择方法。首先,为了克服点云畸变测量中的不确定性,提出了一种将几何畸变和颜色畸变相结合的统一模型。在这个模型中,我们考虑到点云的几何和颜色变量之间的相关性,并推导出一个无量纲的量来表示整体质量下降。然后,我们推导出总失真和比特率与量化参数的关系。最后,我们制定的比特率约束的点云压缩作为一个约束最小化问题,使用派生的多项式模型,并推导出通过迭代数值方法的解决方案。实验结果表明,该算法在不同的目标比特率下都能获得最佳的解码点云质量,且性能明显优于基于视频率失真模型的点云压缩方案。
2022-11-19 cs.IT cs.MM eess.IV
IPDAE: Improved Patch-Based Deep Autoencoder for Lossy Point Cloud Geometry Compression
点云数据是三维内容的重要表示形式,在虚拟现实、混合现实、自动驾驶等领域有着广泛的应用。随着点云数据中数据点数量的增加,如何有效地压缩点云数据成为一个具有挑战性的问题。在本文中,我们提出了一套显着的改进,以补丁为基础的点云压缩,即,用于熵编码的可学习上下文模型、用于采样质心点的八叉树编码以及集成的压缩和训练过程。此外,我们还提出了一个对抗网络来提高重建过程中点的均匀性。我们的实验表明,改进的基于补丁的自动编码器优于国家的最先进的率失真性能方面,稀疏和大规模的点云。更重要的是,我们的方法可以保持较短的压缩时间,同时保证重建质量。
2022-08-04 cs.CV cs.IT cs.MM