C-Flow: Conditional Generative Flow Models for Images and 3D Point Clouds
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（机器人与工业信息研究所（CSIC-UPC））；Google Research（谷歌研究院）
基于流的生成模型具有非常理想的特性，如精确对数似然估计和精确潜变量推断，但它们仍处于起步阶段，并没有像替代生成模型那样受到关注。在本文中，我们介绍了C-Flow，一种新的调节方案，使规范化流到一个全新的场景，具有很大的可能性，多模态数据建模。C-Flow基于可逆映射的并行序列，其中源流在每一步都引导目标流，从而实现对生成过程的细粒度控制。我们还设计了一种新的策略来建模无序的3D点云，结合条件化方案，使得有可能解决从单个图像的3D重建及其逆问题，即渲染给定点云的图像。我们证明了我们的调节方法是非常适应性，也适用于图像操作，风格转移和多模态图像到图像映射在不同的领域，包括RGB图像，分割图，和边缘掩模。
2020-04-03 cs.CV
FESTA: Flow Estimation via Spatial-Temporal Attention for Scene Point Clouds
InterDigital（交互数字公司）；The City College of New York（纽约城市学院）
场景流描述了3D场景的动态，这对于自动驾驶、机器人导航、AR/VR等各种应用至关重要。随着深度传感技术的发展，通过点云可以获得精确的3D测量，这引发了3D场景流的新研究。然而，由于点云采样模式的稀疏性和不规则性，从点云中提取场景流仍然具有挑战性。与不规则采样相关的一个主要问题被确定为点集抽象/特征提取期间的随机性-这是许多流量估计场景中的基本过程。因此，提出了一种新的注意空间抽象（SA^2）层，以减轻不稳定的抽象问题。此外，提出了具有注意力的时间抽象（TA^2）层来纠正时间域中的注意力，从而在更大范围内缩放运动。广泛的分析和实验验证了我们的方法的动机和显着的性能增益，被称为通过时空注意流估计（FESTA），相比，几个国家的最先进的场景流估计基准。
2021-12-06 cs.CV
PointFlowHop: Green and Interpretable Scene Flow Estimation from Consecutive Point Clouds
University of Southern California（南加州大学）；Tencent America（腾讯美国）
提出了一种高效的三维场景流估计方法PointFlowHop。PointFlowHop采用两个连续的点云，并确定第一个点云中每个点的3D流矢量。PointFlowHop将场景流估计任务分解为一组子任务，包括自我运动补偿、对象关联和逐对象运动估计。它遵循绿色学习（GL）管道，采用前馈数据处理路径，因此其底层机制比基于网络参数端到端优化的深度学习（DL）解决方案更加透明。我们在stereoKITTI和Argoverse LiDAR点云数据集上进行了实验，并证明PointFlowHop优于深度学习方法，模型尺寸小，训练时间短。此外，我们比较了PointFlowHop和其他基于学习的推理方法所需的浮点运算（FLOPs），并显示其在计算复杂性方面的巨大节省。
2023-02-27 cs.CV
ConvPoint: Continuous Convolutions for Point Cloud Processing
ONERA（法国国家航空航天研究院）；Université Paris-Saclay（巴黎萨克雷大学）
点云是非结构化和无序的数据，而不是图像。因此，大多数针对图像开发的机器学习方法不能直接转移到点云。在本文中，我们提出了一个推广的离散卷积神经网络（CNN），以处理点云取代离散核连续的。这个公式很简单，允许任意点云大小，并且可以很容易地用于设计类似于2D CNN的神经网络。我们目前的实验结果与各种架构，突出所提出的方法的灵活性。我们获得竞争力的结果相比，国家的最先进的形状分类，部分分割和语义分割的大规模点云。
2020-02-19 cs.CV
HCRF-Flow: Scene Flow from Point Clouds with Continuous High-order CRFs and Position-aware Flow Embedding
Nanyang Technological University（南洋理工大学）；University of Adelaide（阿德莱德大学）；Institute for Infocomm Research A*STAR（新加坡科技研究局资讯通信研究院）
三维点云中的场景流在理解动态环境中起着重要作用。虽然深度神经网络已经取得了重大进展，但性能远不能令人满意，因为仅考虑了每点的平移运动，忽略了局部区域中刚性运动的约束。为了解决这个问题，我们建议引入运动一致性来强制相邻点之间的平滑性。此外，还通过共享每个局部区域内所有点的唯一刚性运动参数来添加对局部变换的刚性的约束。为此，高阶CRF的关系模块（Con-HCRFs）部署，探索点的光滑度和区域的刚性。为了使CRF具有判别性一元项，我们还引入了一个位置感知的流量估计模块，将其并入Con-HCRF。在FlyingThings3D和KITTI上进行的综合实验表明，我们提出的框架（HCRF-Flow）实现了最先进的性能，并大大优于以前的方法。
2021-05-17 cs.CV
PV-RAFT: Point-Voxel Correlation Fields for Scene Flow Estimation of Point Clouds
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
在本文中，我们提出了一个点-体素递归所有对场变换（PV-RAFT）的方法来估计场景流从点云。由于点云是不规则和无序的，这是具有挑战性的，有效地提取特征的所有对字段在3D空间中，所有对相关性在场景流估计中起着重要作用。为了解决这个问题，我们提出了点-体素相关字段，它捕获点对的本地和远程依赖关系。为了捕获基于点的相关性，我们采用了K-最近邻搜索，保留了局部区域的细粒度信息。通过对点云进行多尺度的体素化，构建金字塔相关体素来模拟长距离对应关系。结合这两种类型的相关性，我们的PV-RAFT利用所有对关系来处理小位移和大位移。我们在FlyingThings 3D和KITTI Scene Flow 2015数据集上评估了所提出的方法。实验结果表明，PV-RAFT方法的性能明显优于现有的方法。
2021-05-12 cs.CV
Point-MF: Stabilizing One-Step Mean Flows for Single-Image Point Cloud Reconstruction
The University of Electro-Communications（电子通信大学）
本文提出Point-MF框架，通过均流与辅助损失实现单图像点云重建，以单次网络调用完成高精度重建，提升效率与质量。
2026-10-06 cs.CV
Flow-based GAN for 3D Point Cloud Generation from a Single Image
University of Twente（特文特大学）
从单个二维图像生成三维点云对于三维场景理解应用是非常重要的。为了重建图像中所示的对象的整个3D形状，现有的基于深度学习的方法使用点云的显式或隐式生成建模，然而，其质量有限。在这项工作中，我们的目标是通过引入混合显式-隐式生成建模方案来缓解这个问题，该方案继承了基于流的显式生成模型，用于以任意分辨率采样点云，同时通过利用隐式生成对抗网络（GANs）来改善点云的详细3D结构。我们在大规模合成数据集ShapeNet上进行了评估，实验结果证明了该方法的优越性能。此外，我们的方法的泛化能力证明了跨类别的合成图像，以及通过测试的真实图像从PASCAL 3D+数据集。
2022-10-08 cs.CV
Occlusion Guided Self-supervised Scene Flow Estimation on 3D Point Clouds
Tel Aviv University（特拉维夫大学）
理解两个连续时间帧之间稀疏采样点的3D空间流动是现代几何驱动系统的核心，如VR/AR，机器人和自动驾驶。由于缺乏真实的、非模拟的、标记的数据，因此强调了自我或无监督的深度架构的重要性。本文提出了一种新的自监督训练方法和一种用于遮挡情况下的三维场景流估计的体系结构。在这里，我们表明，智能流量预测和遮挡检测之间的多层融合优于传统架构的遮挡和非遮挡的情况下，由一个很大的利润。我们报告了Flyingthings 3D和KITTI数据集的最新结果，用于监督和自我监督训练。
2021-10-17 cs.CV
Self-Point-Flow: Self-Supervised Scene Flow Estimation from Point Clouds with Optimal Transport and Random Walk
Nanyang Technological University（南洋理工大学）
由于带注释的场景流数据的稀缺性，点云中的自监督场景流学习越来越受到人们的关注。在自监督的方式下，建立两个点云之间的对应关系来近似场景流是一种有效的方法。以往的匹配方法往往只考虑点坐标上的距离，忽略了其他判别性指标，如颜色和表面法线等，而这些判别性指标往往能为精确匹配提供有用的线索;以及（2）由于匹配是在不受约束的情况下操作的，其中多个点可能以相同的对应点结束，因此它经常产生低于标准的性能。为了解决这些问题，我们制定了这个匹配任务作为一个最优的运输问题。输出的最优分配矩阵可以用来指导伪地面真值的生成。在这个最优的运输，我们设计的运输成本，考虑多个描述符，并鼓励一对一的匹配质量平等的约束。同时，在点上构造一个图，引入随机游走模块以提高伪标签的局部一致性。在FlyingThings 3D和KITTI上的综合实验表明，该方法在自监督学习方法中达到了最先进的性能。我们的自监督方法甚至可以与一些监督学习方法相提并论，尽管我们不需要任何基础事实流进行训练。
2021-05-18 cs.CV
RFNet-4D++: Joint Object Reconstruction and Flow Estimation from 4D Point Clouds with Cross-Attention Spatio-Temporal Features
The Hong Kong University of Science and Technology（香港科技大学）；Deakin University（迪肯大学）；Trinity College Dublin（都柏林圣三一学院）；Woven by Toyota（丰田Woven公司）
本文提出RFNet-4D++网络，通过交叉注意力时空特征联合学习4D点云的物体重建与光流估计，实现最先进性能且训练推理更快。
2023-10-17 cs.CV
AdvectiveNet: An Eulerian-Lagrangian Fluidic reservoir for Point Cloud Processing
Dartmouth College（达特茅斯学院）；Rutgers University（罗格斯大学）
本文提出了一种新的物理学启发的深度学习方法，用于点云处理，其动机是流体力学中的自然流动现象。我们的学习架构使用静态背景网格在欧拉世界空间中共同定义数据，使用移动粒子在拉格朗日材料空间中定义数据。通过引入这种欧拉-拉格朗日表示，我们能够使用从广义高维力场产生的流速自然地演化和积累粒子特征。我们通过解决各种点云分类和分割问题，展示了该系统的有效性。整个几何库和数据流模拟了经典PIC/FLIP方案在建模自然流时的管道，桥接了几何机器学习和物理仿真的学科。
2020-06-24 cs.CV
FLOT: Scene Flow on Point Clouds Guided by Optimal Transport
ENPC（巴黎高科桥梁学院）
我们提出并研究了一种称为FLOT的方法，估计点云上的场景流。我们通过注意到点云上的场景流估计简化为在完美世界中估计置换矩阵来开始FLOT的设计。受最近的图匹配工作的启发，我们建立了一个方法来找到这些对应借用工具，从最佳运输。然后，我们放宽运输的限制，考虑到现实世界的不完善。两点之间的传输成本由在完全监督下使用合成数据集训练的神经网络提取的深度特征之间的成对相似性给出。我们的主要发现是，FLOT可以在合成和真实世界的数据集上执行现有的最佳方法，同时需要更少的参数，并且不使用多尺度分析。我们的第二个发现是，在所考虑的训练数据集上，大部分性能可以通过学习的传输成本来解释。这产生了一个更简单的方法，FLOT $_0$，它是使用最佳传输参数的特定选择获得的，并且几乎与FLOT一样好。
2020-07-22 cs.CV
Fast Point Cloud Generation with Straight Flows
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Reality Labs（元宇宙现实实验室）
扩散模型已成为点云生成的有力工具。驱动从噪声中生成高质量样本的令人印象深刻的性能的一个关键组件是迭代去噪数千步。虽然有益，但学习步骤的复杂性限制了其在许多3D现实世界中的应用。为了解决这一限制，我们提出了点直流（PSF），一个模型，表现出令人印象深刻的性能，使用一个步骤。我们的想法是基于标准扩散模型的重新表述，它优化了弯曲的学习轨迹为直线路径。此外，我们开发了一种蒸馏策略，将直线路径缩短为一个步骤，而不会损失性能，使应用程序能够在3D现实世界中具有延迟约束。我们对多个3D任务进行了评估，发现我们的PSF执行标准扩散模型，优于其他高效的3D点云生成方法。在现实世界的应用程序中，例如点云完成和低延迟设置中的无训练文本引导生成，PSF表现良好。
2022-12-04 cs.CV
Learning Scene Flow in 3D Point Clouds with Noisy Pseudo Labels
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们提出了一种新的场景流方法，捕捉点云的三维运动，而不依赖于地面实况场景流注释。由于点云的不规则性和稀疏性，获取地面实况场景流注释是昂贵且耗时的。一些现有技术的方法通过从点云近似伪场景流标签，以自监督学习方式训练场景流网络。然而，这些方法无法达到完全监督方法的性能水平，由于点云的局限性，如稀疏性和缺乏颜色信息。为了提供一种替代方案，我们提出了一种新的方法，利用单目RGB图像和点云生成伪场景流标签训练场景流网络。我们的伪标签生成模块推断伪场景标签的点云，共同利用丰富的外观信息，在单目图像和点云的几何信息。为了进一步减少噪声伪标签对训练的负面影响，我们提出了一个噪声标签感知的训练方案，通过利用点的几何关系。实验结果表明，我们的方法不仅优于最先进的自监督方法，而且优于一些使用准确的地面实况流的监督方法。
2022-03-23 cs.AI cs.CV
Consistent Two-Flow Network for Tele-Registration of Point Clouds
Shenzhen University（深圳大学）；University College London（伦敦大学学院）；Adobe Research（奥多比研究院）；Tel Aviv University（特拉维夫大学）
部分观测值的刚性配准是许多应用领域中的一个基本问题。在计算机图形学中，特别关注由扫描设备生成的两个部分点云之间的配准。当两个点云之间的重叠区域很小时，最先进的配准技术仍然很困难，如果扫描对之间没有重叠，则完全失败。在本文中，我们提出了一种基于学习的技术，解决了这个问题，并允许点云之间的注册，在任意姿势，并有很少甚至没有重叠，设置已被称为远程注册。我们的技术是基于一种新的神经网络设计，学习一类形状的先验，并可以完成部分形状。关键想法是以相互加强的方式将注册和完成任务结合起来。特别是，我们同时训练注册网络和完成网络使用两个耦合流，一个注册和完成，一个完成和注册，并鼓励两个流产生一致的结果。我们表明，与每个单独的流相比，这种双流训练导致了鲁棒性和可靠的远程配准，从而实现了更好的点云预测，完成了配准扫描。值得一提的是，我们的神经网络中的每个组件在完成和注册方面都优于最先进的方法。我们进一步分析了我们的网络与几个消融研究，并证明了它的性能在大量的部分点云，合成和现实世界中，只有很少或没有重叠。
2021-10-11 cs.CV
CMU-Flownet: Exploring Point Cloud Scene Flow Estimation in Occluded Scenario
Xiamen University（厦门大学）；University of Copenhagen（哥本哈根大学）
针对点云场景流估计中遮挡处理存在的信息利用不足、上采样纠错能力弱的问题，提出集成遮挡估计模块与相关矩阵上采样的CMU-Flownet，在遮挡数据集上实现SOTA性能。
2024-04-16 cs.CV
Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds
Sichuan University（四川大学）；The University of Western Australia（西澳大学）；Central South University（中南大学）；Monash University（莫纳什大学）
点云场景流估计对于自动驾驶中的动态场景导航具有重要的实际意义。由于场景流标签难以获取，现有方法都是在合成数据上训练模型，然后再将其转换到真实场景中。然而，现有的合成数据集和真实场景之间的巨大差异导致模型传输不佳。我们为解决这一问题作出了两项重大贡献。首先，我们为GTA-V引擎开发了一个点云收集器和场景流注释器，以自动获得各种真实感训练样本，而无需人工干预。在此基础上，我们开发了一个大规模的合成场景流数据集GTA-SF。其次，我们提出了一个基于平均教师的领域自适应框架，利用自我生成的伪标签的目标域。它还明确地结合了形状变形正则化和表面对应细化，以解决域转移中的失真和错位。通过大量的实验，我们表明，我们的GTA-SF数据集导致模型泛化到三个真实数据集（即，Waymo，Lyft和KITTI）与最广泛使用的FT 3D数据集相比。此外，我们的框架在六个源-目标数据集对上实现了卓越的自适应性能，显著缩小了60%的平均域差距。有关数据和代码，请访问https://github.com/leolyj/DCA-SRSFE
2022-03-31 cs.CV
RMS-FlowNet++: Efficient and Robust Multi-Scale Scene Flow Estimation for Large-Scale Point Clouds
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
RMS-FlowNet++提出一种基于随机采样和流嵌入块的高效多尺度场景流估计架构，在保持高精度的同时显著降低内存需求，并可一次处理超过250K点的稠密点云。
2024-07-01 cs.CV
FUSE-Flow: Scalable Real-Time Multi-View Point Cloud Reconstruction Using Confidence
FUSE-Flow通过自适应空间哈希加权聚合方法，实现高吞吐量低延迟的实时多视角点云重建，提升重建稳定性和几何保真度。
2026-02-05 cs.CV
EgoFlowNet: Non-Rigid Scene Flow from Point Clouds with Ego-Motion Support
The University of Kaiserslautern-Landau (RPTU)（凯泽斯劳滕-兰道大学）
EgoFlowNet提出一种弱监督点级场景流估计网络，通过二值分割掩码隐式驱动自运动与场景流分支，结合共享代价体和多尺度局部细化，在KITTI真实场景中优于现有方法。
2024-07-03 cs.CV
Flow AM: Generating Point Cloud Global Explanations by Latent Alignment
AI Group TU Dortmund（多特蒙德工业大学AI组）
针对点云模型全局解释保真度不足的问题，提出基于激活流的AM方法，无需生成模型即可生成可感知的全局解释，显著提升了解释的可感知性与保真度。
2024-04-29 cs.CV
Hierarchical Attention Learning of Scene Flow in 3D Point Clouds
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
场景流表示动态环境中每个点的三维运动。像光流表示的像素在2D图像中的运动，场景流的3D运动表示的许多应用，如自动驾驶和服务机器人。研究了从两个连续的三维点云数据中估计场景流的问题。本文提出了一种新型的双注意力分层神经网络，用于学习相邻帧中点特征的相关性，逐层由粗到细细化场景流。所提出的网络有一个新的多为少的分层架构。以多换少是指场景流估计的输入点数大于输出点数，这带来了更多的输入信息，并平衡了精度和资源消耗。在这种层次结构中，不同层次的场景流分别生成和监督。引入了一种新的注意嵌入模块，以块到块的方式使用双注意方法聚合相邻点的特征。在我们的网络设计中，仔细考虑了流嵌入和流监督的适当层。实验表明，该网络在FlyingThings3D和KITTI Scene Flow 2015数据集上的3D场景流估计性能优于最先进的性能。我们还将所提出的网络应用于现实的LiDAR测距任务，这是自动驾驶中的一个关键问题。实验结果表明，我们提出的网络可以优于基于ICP的方法，并显示出良好的实际应用能力。
2020-10-12 cs.CV
FlowNet3D: Learning Scene Flow in 3D Point Clouds
Stanford University（斯坦福大学）；Facebook AI Research（脸书人工智能研究院）
机器人和人机交互中的许多应用可以受益于理解动态环境中点的3D运动，广泛称为场景流。虽然大多数以前的方法集中在立体和RGB-D图像作为输入，很少尝试直接从点云估计场景流。在这项工作中，我们提出了一种名为$FlowNet3D$的新型深度神经网络，它以端到端的方式从点云学习场景流。我们的网络同时学习点云和表示点运动的流嵌入的深度层次特征，由两个新提出的点集学习层支持。我们评估了来自FlyingThings 3D的具有挑战性的合成数据和来自KITTI的真实激光雷达扫描的网络。仅在合成数据上训练，我们的网络成功地推广到真实扫描，优于各种基线，并显示出与现有技术竞争的结果。我们还展示了我们的场景流输出的两个应用（扫描配准和运动分割），以显示其潜在的广泛用例。
2019-07-21 cs.CV cs.LG
Occlusion Guided Scene Flow Estimation on 3D Point Clouds
Tel Aviv University（特拉维夫大学）
3D场景流估计是感知给定深度或距离传感器的环境的重要工具。与光流不同，数据通常是稀疏的，并且在大多数情况下，在两个时间采样之间被部分遮挡。在这里，我们提出了一个新的场景流架构称为OGSF-Net紧密耦合的学习帧之间的流动和闭塞。它们的耦合共生导致更准确地预测空间流动。与传统的多动作网络不同，我们的统一方法在整个网络中融合，提高了遮挡检测和流量估计的性能。我们的架构是第一个衡量点云上的3D场景流估计中的遮挡。在Flyingthings 3D和KITTI等关键数据集中，我们实现了最先进的结果。
2021-04-19 cs.CV cs.LG
HPLFlowNet: Hierarchical Permutohedral Lattice FlowNet for Scene Flow Estimation on Large-scale Point Clouds
Stanford University（斯坦福大学）；University of California, Davis（加州大学戴维斯分校）；TuSimple（图森未来）
我们提出了一种新的深度神经网络架构，用于直接对大规模3D点云进行端到端场景流估计。受双边卷积层（BCL）的启发，我们提出了新的DownBCL，UpBCL和CorrBCL操作，从非结构化点云恢复结构信息，并融合来自两个连续点云的信息。操作离散和稀疏的permutohedral格点，我们的架构设计是节俭的计算成本。我们的模型可以有效地处理一对点云帧，每帧最多86K个点。我们的方法在FlyingThings3D和KITTI Scene Flow 2015数据集上实现了最先进的性能。此外，在合成数据上训练，我们的方法对真实世界的数据和不同的点密度表现出很强的泛化能力，而无需微调。
2019-06-12 cs.CV cs.LG eess.IV
Conditional Invertible Flow for Point Cloud Generation
Tooploox；University of Wrocław（弗罗茨瓦夫大学）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；NavAlgo
本文重点介绍了一种新的三维点云生成方法，利用可逆的流动为基础的模型。该方法的主要思想是将点云视为使用云特定的神经网络建模的3D空间中的概率密度。为了捕捉点云之间的相似性，我们依赖于网络之间的参数共享，每个云只有一个小的嵌入向量来定义它。我们使用可逆流网络来生成单个点云，并正则化嵌入向量。我们以定性和定量的方式评估模型的生成能力。
2019-10-16 cs.CV cs.LG stat.ML
Not-So-Optimal Transport Flows for 3D Point Cloud Generation
The Chinese University of Hong Kong（香港中文大学）；NVIDIA（英伟达公司）
针对等变OT流在大型点云上扩展性差且轨迹初期难学习的问题，提出离线预计算近似OT并结合独立耦合构建混合耦合的流模型，在ShapeNet多项任务上优于扩散与流方法。
2025-02-18 cs.AI cs.CV
PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）；NVIDIA（英伟达）
随着3D点云成为多种视觉和图形应用的首选表示，合成或重建高分辨率、高保真度点云的能力变得至关重要。尽管最近深度学习模型在点云的判别任务中取得了成功，但生成点云仍然具有挑战性。本文提出了一个原则性的概率框架，通过将它们建模为分布的分布来生成3D点云。具体来说，我们学习了一个两级分布层次结构，其中第一级是形状的分布，第二级是给定形状的点的分布。这个公式允许我们对形状进行采样，并从形状中采样任意数量的点。我们的生成模型名为PointFlow，它通过连续的归一化流来学习分布的每个级别。规范化流的可逆性使得在训练期间能够计算可能性，并且允许我们在变分推理框架中训练我们的模型。从经验上讲，我们证明了PointFlow在点云生成方面具有最先进的性能。我们还表明，我们的模型可以忠实地重建点云，并以无监督的方式学习有用的表示。该代码将在https://github.com/stevenygd/PointFlow上提供。
2019-09-02 cs.CV cs.LG
Scene Flow from Point Clouds with or without Learning
Argo AI；Georgia Institute of Technology（佐治亚理工学院）；The University of Adelaide（阿德莱德大学）
场景流是场景的三维（3D）运动场。它提供有关动态环境中对象的空间排列和变化率的信息。目前基于学习的方法寻求直接从点云估计场景流，并已实现最先进的性能。然而，监督学习方法本质上是领域特定的，并且需要大量的标记数据。在真实世界的点云上对场景流进行注释是昂贵且具有挑战性的，并且缺乏这样的数据集最近引发了对自监督学习方法的兴趣。如何在没有标记的真实世界数据的情况下准确和鲁棒地学习场景流表示仍然是一个悬而未决的问题。在这里，我们提出了一个简单的和可解释的目标函数，从点云恢复场景流。我们使用点云的图拉普拉斯算子来正则化场景流，使其“尽可能刚性”。我们提出的目标函数可以使用或不学习-作为一个自我监督信号学习场景流表示，或作为一个非学习为基础的方法，其中场景流在运行时进行优化。我们的方法在许多数据集上都优于相关的工作。我们还展示了我们所提出的方法的两个应用程序的直接应用：运动分割和点云致密化。
2020-10-31 cs.CV cs.LG cs.RO
Direct simple computation of middle surface between 3D point clouds and/or discrete surfaces by tracking sources in distance function calculation algorithms
Department of Mathematics and Descriptive Geometry, Faculty of Civil Engineering, Slovak University of Technology in Bratislava（斯洛伐克布拉迪斯拉发技术大学土木工程学院数学与画法几何系）
在本文中，我们介绍了新的方法来计算各种三维数据集，如点云和/或离散表面之间的中间表面。传统的中间曲面是通过检测计算距离函数中的奇异点来获得的，如脊线、三结点等，这需要计算二阶微分特征，还必须应用一些几何学。与此相反，我们只通过计算距离函数本身来确定中间曲面，这是一种快速简单的方法。我们提出并比较了快速扫描法，矢量距离变换算法，快速行进法，和Dijkstra-Pythagoras方法在寻找三维数据集之间的中间表面的结果。
2021-12-17 cs.CG cs.CV cs.NA
Representing Point Clouds with Generative Conditional Invertible Flow Networks
University of Wrocław（弗罗茨瓦夫大学）；Tooploox；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Warsaw University of Technology（华沙理工大学）；NavAlgo
在本文中，我们提出了一种简单而有效的方法来表示点云作为一组样本从云特定的概率分布。这种解释与点云的内在特征相匹配：点的数量及其在云中的顺序并不重要，因为所有点都是从对象边界附近绘制的。我们假设将每个云表示为由生成神经网络定义的参数化概率分布。一旦经过训练，这样的模型就为点云操作提供了一个自然的框架，例如将新云对齐到默认的空间方向。为了利用同类对象之间的相似性并提高模型性能，我们转向权重共享：对属于同一家族中的对象的点的密度进行建模的网络共享所有参数，除了一个小的特定于对象的嵌入向量。我们表明，这些嵌入向量捕捉对象之间的语义关系。我们的方法利用生成可逆流网络来学习嵌入以及生成点云。多亏了这个公式，与类似的方法相反，我们能够以端到端的方式训练我们的模型。因此，我们的模型在基准数据集上提供了具有竞争力或优越的定量结果，同时通过生成网络实现了前所未有的云操作任务，如点云配准和再生。
2020-10-07 cs.CV cs.LG
Scalable Scene Flow from Point Clouds in the Real World
Google Brain（谷歌大脑）；Waymo
自动驾驶车辆在高度动态的环境中运行，需要准确评估场景的哪些方面正在移动以及它们正在移动到哪里。一种流行的3D运动估计方法（称为场景流）是采用来自连续LiDAR扫描的3D点云数据，尽管这种方法受到现实世界的小尺寸注释LiDAR数据的限制。在这项工作中，我们引入了一个新的大规模数据集的场景流估计来自相应的跟踪的3D对象，这是$\sim$ 1,000 $\times$大于以前的真实世界的数据集的注释帧的数量。我们展示了以前的工作是如何基于可用的真实LiDAR数据量进行限制的，这表明需要更大的数据集才能实现最先进的预测性能。此外，我们还展示了以前在点云上操作的算法，如下采样，如何严重降低性能，从而激发了一类新的模型，这些模型在全点云上易于处理。为了解决这个问题，我们引入了FastFlow 3D架构，它提供了实时的推理的全点云。此外，我们设计了人类可解释的指标，通过考虑自我运动和提供每个对象类型的故障，更好地捕捉现实世界的各个方面。我们希望这个数据集可以为开发真实世界场景流系统提供新的机会。
2021-10-25 cs.CV cs.LG
Bi-PointFlowNet: Bidirectional Learning for Point Cloud Based Scene Flow Estimation
Sungkyunkwan University（成均馆大学）
在计算机视觉中，提取场景间逐点运动的场景流估计是一项重要的任务。然而，现有的估计方法都只利用单向特性，限制了准确性和通用性。本文提出了一种新的场景流估计结构，使用双向流嵌入层。所提出的双向层沿前向和后向学习特征，从而增强估计性能。此外，分层特征提取和变形提高了性能并减少了计算开销。实验结果表明，该架构实现了一个新的国家的最先进的记录，优于其他方法与大幅度在FlyingThings3D和KITTI基准测试。代码可在https://github.com/cwc1260/BiFlow上获得。
2022-07-15 cs.AI cs.CV
SCTN: Sparse Convolution-Transformer Network for Scene Flow Estimation
KAUST（阿卜杜拉国王科技大学）
我们提出了一种新的场景流估计方法来捕获和推断点云的三维运动。估计点云的3D运动是具有挑战性的，因为点云是无序的并且其密度是显著不均匀的。这种非结构化数据在匹配点云之间的对应点时造成困难，导致不准确的流量估计。我们提出了一种新的架构称为稀疏卷积-Transformer网络（SCTN），配备了Transformer的稀疏卷积。具体而言，通过利用稀疏卷积，SCTN将不规则点云转换为局部一致的流特征，用于估计对象/局部对象部分内的连续和一致的运动。我们进一步建议显式学习点关系使用点Transformer模块，不同于现有的方法。我们表明，学习的基于关系的上下文信息是丰富的，有助于匹配对应点，有利于场景流量估计。此外，提出了一种新的损失函数，根据特征相似性自适应地激励流一致性。大量的实验表明，我们提出的方法实现了一个新的艺术状态的场景流量估计。我们的方法在FlyingThings 3D和KITTI Scene Flow上分别实现了0.038和0.037（EPE 3D）的误差，大大优于以前的方法。
2022-03-09 cs.AI cs.CV
Attack on Scene Flow using Point Clouds
Sharif University of Technology（谢里弗大学）；ICT Research Institute（信息与通信技术研究所）
针对场景流网络提出白盒对抗攻击方法，在KITTI和FlyingThings3D数据集上实现平均端点误差相对下降33.7%，并揭示单维度或单颜色通道攻击的影响。
2026-05-31 cs.CV cs.LG cs.MM
3D Scene Flow Estimation on Pseudo-LiDAR: Bridging the Gap on Estimating Point Motion
China University of Mining and Technology（中国矿业大学）；Shanghai Jiao Tong University（上海交通大学）
3D场景流描述了3D欧氏空间中当前时刻的点如何流动到下一时刻，具有自主推断场景中所有对象的非刚性运动的能力。以往的从图像中估计场景流的方法有其局限性，即通过分别估计光流和视差来分割3D场景流的整体性质。从点云数据中学习三维场景流还面临着合成数据与真实数据之间的差距以及LiDAR点云数据的稀疏性等困难。本文利用生成的稠密深度图获得显式的3D坐标，实现了从2D图像直接学习3D场景流。通过将2D像素的密集性质引入到3D空间中，提高了预测场景流的稳定性。通过统计方法去除生成的3D点云中的离群点，以减弱噪声点对3D场景流估计任务的影响。提出了视差一致性丢失算法，以实现更有效的三维场景流的无监督学习。所提出的方法的自监督学习的三维场景流的真实世界的图像进行了比较，与各种方法的合成数据集上的学习和学习激光雷达点云。多个场景的流量指标的比较显示，以证明引入伪激光雷达点云场景流量估计的有效性和优越性。
2022-09-27 cs.AI cs.CV
TEMPO: Feature-Endowed Teichmüller Extremal Mappings of Point Clouds
近几十年来，3D点云的使用在计算机行业中得到了广泛的应用。点云分析技术的发展越来越重要。特别是，点云的映射一直是一个具有挑战性的问题。在本文中，我们开发了一个离散模拟的Teichmüller极值映射，保证一致的共形性扭曲，在点云表面。基于离散模拟，我们提出了一种新的方法称为TEMPO计算特征赋予点云之间的Teichmüller极值映射。使用我们提出的方法，Teichmüller度量的引入来评估点云的相异性。因此，我们的算法能够对点云进行准确的识别和分类。实验结果证明了该方法的有效性。
2016-04-26 cs.CG cs.CV cs.GR
PointPWC-Net: A Coarse-to-Fine Network for Supervised and Self-Supervised Scene Flow Estimation on 3D Point Clouds
CORIS Institute, Oregon State University（俄勒冈州立大学CORIS研究所）；Nuro, Inc.（Nuro公司）
我们提出了一种新的端到端的深度场景流模型，称为PointPWC-Net，在3D点云上以粗到细的方式。在粗略级别计算的流被上采样并扭曲到更精细的级别，使得该算法能够适应大的运动而没有禁止的搜索空间。我们引入了新的成本体积，上采样和扭曲层，以有效地处理3D点云数据。与传统的成本卷需要在高维网格上穷尽计算所有成本值不同，我们的基于点的公式将成本卷离散化到输入3D点上，PointConv操作有效地计算成本卷上的卷积。在FlyingThings 3D上的实验结果大大优于现有技术。我们进一步探索了新的自我监督损失来训练我们的模型，并取得了与最先进的监督损失训练相当的结果。在没有任何微调的情况下，我们的方法在KITTI Scene Flow 2015数据集上也表现出了很好的泛化能力，优于所有以前的方法。
2020-07-31 cs.CV cs.LG eess.IV
Rectified Point Flow: Generic Point Cloud Pose Estimation
Stanford University（斯坦福大学）；NVIDIA Research（NVIDIA研究）
提出整流点流，一种统一条件生成框架，通过学习点级速度场实现点云配准与形状装配，无需对称标签，在六个基准上达到最先进性能。
2025-10-24 cs.AI cs.CV cs.RO
Dynamic Point Cloud Denoising via Manifold-to-Manifold Distance
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
3D动态点云提供了真实世界物体或运动场景的自然离散表示，在沉浸式远程呈现、自动驾驶、监控、\etc等领域具有广泛的应用。然而，由于硬件、软件或其他原因，动态点云经常受到噪声的干扰。虽然已经提出了大量的方法用于静态点云去噪，但很少有人努力用于动态点云的去噪，由于空间和时间上的不规则采样模式，这是非常具有挑战性的。在本文中，我们表示动态点云自然的时空图，并利用时间的一致性相对于底层表面（流形）。特别是，我们定义了一个流形到流形的距离和它的离散对应的图形来衡量的变化为基础的内在距离之间的表面补丁在时间域中，提供了图形运营商是离散对应的黎曼流形上的泛函。然后，我们建立相应的表面补丁之间的时间距离和空间域中相邻的补丁之间的点的时空图连通性。利用初始图形表示，我们将动态点云去噪公式化为所需点云和底层图形表示的联合优化，通过空间平滑性和时间一致性进行正则化。我们重新制定的优化，并提出了一个有效的算法。实验结果表明，无论是在高斯噪声还是模拟激光雷达噪声下，该方法的性能均显着优于最先进的静态点云去噪方法中每帧的独立去噪。
2020-10-28 cs.CV cs.LG cs.MM
Hierarchical Flow Matching for 3D Point Cloud Generation
Shandong Normal University（山东师范大学）；University of Macau（澳门大学）
针对现有三维点云生成方法的缺陷，提出分层流匹配（HFM），将流匹配扩展为双级结构，在ShapeNet等基准上实现了有竞争力的生成性能。
2026-08-07 cs.CV
GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation
The University of Sydney（悉尼大学）
从投影视图（如范围视图（RV）和鸟瞰视图（BEV））中分割点云语义分割已被深入研究。不同的视图获取点云的不同信息，因此彼此互补。然而，现有的基于投影的点云语义分割方法在预测不同视图时通常采用香草后期融合策略，未能在表示学习过程中从几何角度探索互补信息。在本文中，我们引入了一个几何流网络（GFNet），探索不同的视图之间的几何对应关系，在一个融合前的搜索方式。具体而言，我们设计了一种新的几何流模块（GFM）双向对齐和传播的互补信息，根据几何关系下的端到端的学习计划在不同的视图。我们在两个广泛使用的基准数据集SemanticKITTI和nuScenes上进行了大量的实验，以证明我们的GFNet用于基于项目的点云语义分割的有效性。具体地说，GFNet不仅显著提高了每个视图的性能，而且在所有现有的基于投影的模型上实现了最先进的结果。代码可在\url{https://github.com/haibo-qiu/GFNet}上获得。
2022-09-24 cs.CV
Efficient Point Clouds Upsampling via Flow Matching
Lappeenranta-Lahti University of Technology LUT（拉彭兰塔-拉赫蒂理工大学LUT）；The Hong Kong Polytechnic University（香港理工大学）；Technical University of Munich（慕尼黑工业大学）
提出PUFM流匹配方法，通过中点插值和基于EMD的预对齐直接将稀疏点云映射为稠密点云，在减少采样步骤的同时提升上采样质量并增强泛化能力。
2025-01-25 cs.CV eess.SP
Equivariant Flow Matching for Point Cloud Assembly
CTH（查尔姆斯理工大学）；Ant Group（蚂蚁集团）
本文提出等变扩散装配模型，通过学习相关向量场实现点云装配，有效提升数据效率和处理非重叠输入的能力。
2026-01-24 cs.AI cs.CV
CloudBreaker: Breaking the Cloud Covers of Sentinel-2 Images using Multi-Stage Trained Conditional Flow Matching on Sentinel-1
Computer Science and Engineering（计算机科学与工程）；Bangladesh University of Engineering and Technology（孟加拉工程与技术大学）；Institute of Water and Flood Management（水与洪水管理研究所）
针对云层覆盖导致多光谱图像缺失的问题，提出CloudBreaker框架，利用Sentinel-1雷达数据通过多阶段条件流匹配生成Sentinel-2光学图像及植被和水体指数，并首次结合余弦调度，取得高保真结果。
2025-08-05 cs.CV eess.IV
MedPCFM-TED: One-Step Point Cloud Flow Matching for Implant Generation via Teacher-Guided Endpoint Distillation
AGH University of Krakow（克拉科夫AGH科技大学）；Sano Centre for Computational Medicine（萨诺计算医学中心）
针对颅骨植入物生成中推理耗时的问题，提出教师引导端点蒸馏（TED）的一步式流匹配框架，在SkullBreak和SkullFix基准上实现高质量快速生成，每样本仅需0.04秒。
2026-09-16 cs.CV cs.LG
