Residual 3D Scene Flow Learning with Context-Aware Feature Extraction
Shanghai Jiao Tong University(上海交通大学)
场景流估计是预测点云或图像的两个连续帧之间的逐点或逐像素3D位移向量的任务,其在服务机器人和自动驾驶等领域具有重要应用。虽然已有许多工作对基于点云的场景流估计进行了大量的探索,但有两个问题尚未得到很好的解决:1)重复模式中相邻帧的点可能由于其邻域的相似空间结构而被错误地关联; 2)长距离运动的点云相邻帧之间的场景流可能被不准确地估计。为了解决第一个问题,本文提出了一种新的上下文感知集合卷积层,利用欧氏空间的上下文结构信息,学习局部点特征的软聚合权重。该设计的灵感来自于人类在具有重复模式的场景理解期间对上下文结构信息的感知。将上下文感知的集合卷积层并入3D点云的上下文感知的点特征金字塔模块中,用于场景流估计。对于第二个问题,在剩余流细化层中提出了一个显式的剩余流学习结构,以应对长距离移动。在FlyingThings 3D和KITTI场景流数据集上的实验和烧蚀研究证明了每个组件的有效性。定性结果表明,该算法较好地解决了模糊帧间关联和长距离运动估计问题。在FlyingThings 3D和KITTI场景流数据集上的定量结果表明,所提出的方法达到了最先进的性能,超过了我们所知的所有其他以前的作品至少25%。
2022-01-15 cs.CV
FlowAD: Ego-Scene Interactive Modeling for Autonomous Driving
AutoLab, School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院AutoLab);Baidu Inc(百度公司)
本文提出FlowAD框架,通过自体场景交互建模提升自动驾驶性能,利用场景流建模动态变化,结合新颖的FCP指标评估场景理解能力,实验表明其在碰撞率和驾驶评分上均优于现有方法。
2026-03-11 cs.CV
Learning Temporal 3D Semantic Scene Completion via Optical Flow Guidance
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);State Key Laboratory of Advanced Design and Manufacturing Technology for Vehicle, Hunan University(车辆先进设计与制造技术国家重点实验室)
本文提出FlowScene方法,通过光流引导的时序聚合和遮挡引导的体素细化,解决三维语义场景补全中运动动态与时序一致性不足的问题,在SemanticKITTI和SSCBench-KITTI-360上取得最优性能。
2025-11-10 cs.CV
Neural Eulerian Scene Flow Fields
University of Pennsylvania(宾夕法尼亚大学);NVIDIA(英伟达);Carnegie Mellon University(卡内基梅隆大学)
EulerFlow通过神经先验估计空间时间微分方程,实现高质量场景流估计,在多个领域表现优异,超越现有方法。
2025-12-04 cs.CV
ICP-Flow: LiDAR Scene Flow Estimation with ICP
Delft University of Technology(代尔夫特理工大学)
提出无需学习的ICP-Flow,利用ICP算法与基于直方图的初始化估计LiDAR刚性运动场景流,在多个数据集上超越基线,并支持实时推理与长间隔估计。
2024-03-21 cs.CV
3DSFLabelling: Boosting 3D Scene Flow Estimation by Pseudo Auto-labelling
PhiGent Robotics(菲根特机器人公司);University of Cambridge(剑桥大学);Shanghai Jiaotong University(上海交通大学)
针对真实LiDAR点云3D场景流标签稀缺问题,提出3DSFLabelling伪自动标注与运动增强方法,在多个真实数据集上显著超越现有监督和无监督方法。
2024-03-01 cs.CV
SSF: Sparse Long-Range Scene Flow for Autonomous Driving
KTH Royal Institute of Technology(瑞典皇家理工学院);Scania Group(斯堪尼亚集团);Stanford University(斯坦福大学)
提出稀疏场景流方法SSF,采用稀疏卷积主干和虚拟体素融合方案解决长程点云特征匹配问题,在Argoverse2数据集上实现最先进的长程场景流估计。
2025-01-29 cs.CV
Motion Cues from Image-based Point Tracking for LiDAR Scene Flow Estimation
Korea University(韩国大学);Purdue University(普渡大学);KAIST(韩国科学技术院);Hyundai Motor Company(现代汽车公司)
本文提出TrackCue框架,通过图像点跟踪获取密集轨迹以改进LiDAR场景流估计中的动态物体表示,通过视觉一致的运动补偿策略和视觉运动线索提升来实现更准确的静态-动态分类和更可靠的场景流学习。
2026-11-06 cs.CV
S3-Net: A Fast and Lightweight Video Scene Understanding Network by Single-shot Segmentation
Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学)
视频中的实时理解在自动驾驶等各种人工智能应用中至关重要。提出了一种用于视频场景理解的快速单镜头分割策略。提出的网络,称为S3-Net,快速定位和分割的目标子场景,同时提取结构化的时间序列语义特征作为输入的LSTM为基础的时空模型。利用张量化和量化技术,S3-Net旨在成为边缘计算的轻量级。使用CityScapes,UCF 11,HMDB 51和MOMENTS数据集的实验表明,与UCF 11上基于3D-CNN的方法相比,所提出的S3-Net实现了8.1%的准确性提高,存储减少了6.9倍,在CityScapes上使用GTX1080Ti GPU的推理速度为22.8 FPS。
2020-11-04 cs.CV
Flow4D: Leveraging 4D Voxel Network for LiDAR Scene Flow Estimation
DGIST(大邱庆北科学技术院);Carnegie Mellon University(卡内基梅隆大学)
针对现有激光雷达场景流方法时空特征提取隐式、信息缺失的问题,提出带STDB模块的Flow4D 4D体素网络,利用五帧点云显式提取时空特征,实时运行下性能超SOTA 45.9%,获2024 Argoverse 2场景流挑战赛冠军。
2024-07-10 cs.CV
MeshBind: Point-to-Mesh Binding for Non-Rigid Scene Flow Automatic Annotation
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology(南方科技大学可信自主系统研究院)
本文提出MeshBind方法,结合多视图模块、局部帧绑定技术与三层流配准流水线实现非刚性场景流自动标注,发布SFB基准,微调后可大幅降低非刚性场景流的端点误差。
2026-10-12 cs.CV
Fast Kernel Scene Flow
Australian Institute for Machine Learning(澳大利亚机器学习研究院);The University of Adelaide(阿德莱德大学)
针对现有深度场景流方法的效率问题,提出基于经典核表示与位置编码核的场景流估计方法,通过求解线性系统实现,在大规模激光雷达点云上达到SOTA性能且接近实时,泛化性强,适用于机器人与自动驾驶场景。
2024-03-09 cs.CV
Learning Optical Flow, Depth, and Scene Flow without Real-World Labels
Toyota Research Institute(丰田研究院)
自监督单目深度估计使机器人能够从原始视频流中学习3D感知。这种可扩展的方法利用投影几何和自我运动来通过视图合成进行学习,假设世界主要是静态的。自动驾驶和人机交互中常见的动态场景违反了这一假设。因此,它们需要明确地建模动态对象,例如通过估计逐像素3D运动,即场景流。然而,深度和场景流的同时自监督学习是不适定的,因为存在导致相同3D点的无限多个组合。在本文中,我们提出了草案,一种新的方法,能够联合学习深度,光流,场景流相结合的合成数据与几何自我监督。在RAFT架构的基础上,我们学习光流作为一个中间任务,通过三角测量引导深度和场景流学习。我们的算法还利用跨任务的时间和几何一致性损失来改善多任务学习。我们的DRAFT架构在标准KITTI基准的自监督单眼设置中同时建立了所有三项任务的最新技术水平。项目页面:https://sites.google.com/tri.global/draft。
2022-06-10 cs.CV cs.LG
Deep Rigid Instance Scene Flow
Uber Advanced Technologies Group(优步先进技术集团);Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学)
在本文中,我们解决了自动驾驶背景下的场景流量估计问题。我们利用深度学习技术以及强大的先验知识,因为在我们的应用领域中,场景的运动可以由机器人的运动和场景中演员的3D运动组成。我们将问题表述为深层结构模型中的能量最小化,可以通过展开高斯-牛顿求解器在GPU中有效地解决该问题。我们在具有挑战性的KITTI场景流数据集上的实验表明,我们的性能远远优于最先进的技术,同时速度快了800倍。
2019-04-18 cs.CV cs.RO
Just Go with the Flow: Self-Supervised Scene Flow Estimation
Carnegie Mellon University(卡内基梅隆大学)
当与高度动态的环境交互时,场景流允许自治系统推理多个独立对象的非刚性运动。这在自动驾驶领域尤其令人感兴趣,在该领域中,许多汽车、人、自行车和其他物体需要被准确地跟踪。当前最先进的方法需要来自自动驾驶场景的带注释的场景流数据,以利用监督学习来训练场景流网络。作为替代方案,我们提出了一种训练场景流的方法,该方法使用两个自监督损失,基于最近邻和循环一致性。这些自监督损失使我们能够在大型未标记的自动驾驶数据集上训练我们的方法;所产生的方法与当前最先进的监督性能相匹配,不使用真实世界的注释,并且在较小的标记数据集上将我们的自监督方法与监督学习相结合时,超过了最先进的性能。
2020-04-13 cs.CV cs.LG cs.RO
DeFlow: Decoder of Scene Flow Network in Autonomous Driving
KTH Royal Institute of Technology(瑞典皇家理工学院);Scania CV AB(斯堪尼亚商用车公司);The Hong Kong University of Science and Technology(香港科技大学)
针对自动驾驶场景流估计中点云体素化丢失点级特征的问题,本文提出DeFlow方法,通过GRU细化实现体素特征到点特征的转换,结合考虑静动态点数据不平衡的新型损失函数,在Argoverse 2数据集上取得大规模点云场景流估计的当前最优性能,且效率更优,代码已开源。
2024-01-29 cs.CV cs.RO
Weakly Supervised Learning of Rigid 3D Scene Flow
Stanford University(斯坦福大学);NVIDIA(英伟达);ETH Zurich(苏黎世联邦理工学院)
我们提出了一个数据驱动的场景流估计算法,利用观察,许多3D场景可以解释为刚体移动代理的集合。在我们的方法的核心在于一个深的架构,能够在\textbf{object-level}的原因,考虑与其他3D任务的3D场景流。这种对象级别的抽象,使我们能够放松的要求,密集的场景流监督更简单的二进制背景分割掩模和自我运动注释。我们温和的监督要求使我们的方法非常适合最近发布的自动驾驶的大规模数据汇集,其中不包含密集的场景流注释。作为输出,我们的模型提供了低级别的线索,如逐点流和更高级别的线索,如整体场景理解在刚性对象的水平。我们进一步提出了一个测试时优化细化预测的刚性场景流。我们在四个不同的自动驾驶数据集上展示了我们方法的有效性和泛化能力。我们在\url{github.com/zgojcic/Rigid3DSceneFlow}下发布源代码和预训练模型。
2021-02-17 cs.AI cs.CV cs.LG
SeFlow: A Self-Supervised Scene Flow Method in Autonomous Driving
KTH Royal Institute of Technology(瑞典皇家理工学院);Scania CV AB(斯堪尼亚汽车股份有限公司);Mercedes-Benz AG(梅赛德斯-奔驰股份公司);University of Tübingen(蒂宾根大学)
针对自监督场景流估计中点分布不平衡、缺乏物体级运动约束的问题,提出整合动态分类的SeFlow方法,通过分类设计针对性目标函数、结合聚类一致性与点关联优化估计,在自动驾驶数据集上实现自监督场景流任务的SOTA且支持实时运行。
2024-09-17 cs.CV cs.RO
FlowCalib: LiDAR-to-Vehicle Miscalibration Detection using Scene Flows
TUM School of Engineering and Design, Chair of Automotive Technology, Technical University of Munich(慕尼黑技术大学工程与设计学院,汽车技术教授职位);TUM School of Computation, Information and Technology, Technical University of Munich(慕尼黑技术大学计算、信息与技术学院)
FlowCalib通过分析场景流中的运动线索,首次提出利用神经网络和几何描述符检测激光雷达到车辆的误校准问题。
2026-01-30 cs.CV cs.RO
Fast and Efficient Scene Categorization for Autonomous Driving using VAEs
Maynooth University(梅努斯大学);Valeo Vision Systems(法雷奥视觉系统公司)
场景分类是一个有用的先驱任务,它为许多高级计算机视觉任务提供先验知识,在基于内容的图像索引和检索系统中具有广泛的应用。尽管数据驱动方法在计算机视觉领域中取得了成功,例如目标检测、语义分割等,但是它们在学习用于场景识别的高级特征中的应用没有取得相同程度的成功。我们建议生成一个快速,高效的中间可解释的广义全局描述符,从图像中捕获粗特征,并使用分类头将描述符映射到3个场景类别:农村,城市和郊区。我们以无监督的方式训练一个变分自编码器,并将图像映射到一个受约束的多维潜在空间,并使用潜在向量作为紧凑的嵌入,作为图像的全局描述符。实验结果表明,VAE特征向量从图像中捕获了粗糙信息,支持其作为全局描述符的使用。建议的全局描述符是非常紧凑的嵌入长度为128,显着更快的计算,是强大的季节和光照变化,同时捕捉足够的场景信息所需的场景分类。
2022-10-26 cs.CV cs.LG
Novel Video Prediction for Large-scale Scene using Optical Flow
University of Victoria(维多利亚大学);Tongji University(同济大学);Horizon Robotics Inc.(地平线机器人有限公司)
预测未来帧是自动驾驶研究中的一个关键挑战。大多数现有的视频预测方法试图在简单和固定的场景中生成未来帧。在本文中,我们提出了一种新的和有效的光流条件的视频预测任务的方法,应用到复杂的城市场景。与以前的工作相比,预测模型只需要视频序列和光流序列进行训练和测试。我们的方法使用丰富的时空特征的视频序列。该方法充分利用了从相邻图像和前一图像之间的光流图中提取的运动信息。在KITTI数据集和Cityscapes数据集上的实验验证了该方法的有效性。
2018-05-30 cs.CV cs.LG stat.ML
MambaFlow: A Novel and Flow-guided State Space Model for Scene Flow Estimation
South China Normal University(华南师范大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Tongji University(同济大学)
提出MambaFlow,一种基于Mamba解码器的场景流估计网络,通过流引导全局注意力与场景自适应损失,在Argoverse 2上实现实时最先进性能。
2025-02-24 cs.AI cs.CV
Self-Supervised Multi-Frame Neural Scene Flow
Shanghai Jiao Tong University(上海交通大学);University of Adelaide(阿德莱德大学);RMIT University(皇家墨尔本理工大学);University of Technology Sydney(悉尼科技大学);University of Southern California(南加州大学)
本文通过均匀稳定性理论揭示了NSFP泛化能力与输入点云数量成反比,据此提出一种利用跨多帧历史点云的自监督多帧场景流估计方法,并在Waymo Open和Argoverse数据集上实现了SOTA性能。
2024-03-24 cs.AI cs.CV cs.LG
CorrelationFlow: A Training-Free Geometric Approach for LiDAR Scene Flow Estimation
Nantes Université(南特大学);University of Nottingham(诺丁汉大学);University of Queensland(昆士兰大学);TU Delft(代尔夫特理工大学)
针对激光雷达场景流估计的单一模式问题,本文提出无训练几何框架CorrelationFlow,在Argoverse 2026挑战赛多域测试集上的无监督方法中排名第二,且远距离性能优于学习方法。
2026-10-19 cs.CV cs.RO
Flow-guided Motion Prediction with Semantics and Dynamic Occupancy Grid Maps
Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所)
提出一种利用动态占用栅格地图和语义信息预测未来场景流与车辆语义栅格的多任务框架,在NuScenes数据集上验证了其提升预测及保留动态车辆的能力。
2024-07-22 cs.AI cs.CV cs.RO
Combining Stereo Disparity and Optical Flow for Basic Scene Flow
DFKI – German Research Center for Artificial Intelligence(德国人工智能研究中心)
场景流是对3D中真实世界运动的描述,它包含比光流更多的信息。由于其复杂性,在汽车或商用车辆背景下不存在足够鲁棒和准确的实时场景流估计的适用变体。因此,许多应用替代地估计2D光流。在本文中,我们研究了最高性能的最先进的光流和立体视差算法的组合,以实现一个基本的场景流。在公开的KITTI场景流基准测试中,我们证明了组合方法的合理精度,并显示了其计算速度。
2018-01-15 cs.CV
Dense Scene Flow from Stereo Disparity and Optical Flow
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心(DFKI))
场景流描述3D场景中的3D运动。它可以被建模为单个任务,或者可以从立体深度和光流估计的辅助任务中重建。虽然第二种方法可以通过使用实时辅助方法来实现实时性能,但它通常会产生非密集结果。在这种表示的场景流估计的基本组合方法中,我们将通过插值来解决非密度问题。
2018-08-30 cs.CV
MonoPLFlowNet: Permutohedral Lattice FlowNet for Real-Scale 3D Scene FlowEstimation with Monocular Images
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
在三维计算机视觉中,真实场景流的估计变得越来越重要。一些工作成功地估计真实规模的三维场景流激光雷达。然而,这些无处不在的和昂贵的传感器仍然不太可能被广泛装备用于实际应用。其他作品使用单目图像来估计场景流,但它们的场景流估计是用尺度模糊度归一化的,其中需要额外的深度或点云地面实况来恢复真实尺度。尽管它们在2D中表现良好,但这些作品不能提供准确可靠的3D估计。我们提出了一个基于置换面体格的深度学习架构- MonoPLFlowNet。与以前的所有作品不同,我们的MonoPLFlowNet是第一个只使用两个连续的单目图像作为输入的作品,而深度和3D场景流都是以真实规模估计的。我们的真实规模的场景流量估计优于所有国家的最先进的单目图像为基础的作品恢复到真实规模的地面真相,并与激光雷达方法。作为一个副产品,我们的实际规模的深度估计也优于其他国家的最先进的作品。
2021-11-24 cs.CV
Scene Flow Estimation: A Survey
Harbin Engineering University(哈尔滨工程大学)
本文首先对场景流估计领域进行了回顾,分析和比较了场景流估计的方法、技术挑战、评价方法和性能。从场景表示、数据源、计算方式等方面对现有算法进行了分类,并对每类算法的优缺点进行了简要比较。列举了数据集和评估协议,并介绍了最具代表性的方法的性能。一个未来的愿景说明了几个问题提出讨论。本文对场景流估计技术进行了综述和分析。
2017-05-21 cs.CV
Simultaneous Stereo Video Deblurring and Scene Flow Estimation
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
由于摄像机和动态对象之间的大的相对运动以及大的深度变化,用于户外场景的视频经常显示令人不快的模糊效果。现有的作品通常专注于单眼视频去模糊。在本文中,我们提出了一种新的方法去模糊立体视频。特别是,我们利用分段平面假设的场景和利用场景流信息去模糊的图像。与使用预先计算的场景流的现有方法[31]不同,我们提出了一个单一的框架来联合估计场景流和去模糊图像,其中来自场景流估计和模糊信息的运动线索可以相互加强,并产生比传统场景流估计或立体去模糊方法更好的结果。我们在两个可用的数据集上对我们的方法进行了广泛的评估,并在流量估计和消除模糊效应方面取得了显着的改进。
2017-04-11 cs.CV
FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based Rendering of Dynamic Scenes
Chalmers University of Technology(查尔姆斯理工大学)
针对现有动态场景新视角合成方法单场景优化耗时长的问题,提出FlowIBR方法,结合静态场景预训练的神经IBR模型与逐场景优化的场景流场,在消费级GPU上将优化时间降一个数量级且渲染质量相当。
2024-04-15 cs.CV
SceneFlowFields++: Multi-frame Matching, Visibility Prediction, and Robust Interpolation for Scene Flow Estimation
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);BMW Group(宝马集团)
最先进的场景流算法追求准确性、运行时间和鲁棒性的相互冲突的目标。随着逐像素匹配和稀疏到密集插值的成功概念,我们推动了场景流估计的极限。避免对域或问题的强假设产生更鲁棒的算法。该算法是快速的,因为我们避免了显式正则化匹配过程中,这允许一个有效的计算。使用多个时间步长的图像信息和基于先前结果的显式可见性预测,我们在不同的数据集上实现了有竞争力的性能。我们的贡献和结果进行了评价比较实验。总的来说,我们提出了一个准确的场景流算法,比任何单个基准领导者更快,更通用。
2019-10-28 cs.CV
RMS-FlowNet: Efficient and Robust Multi-Scale Scene Flow Estimation for Large-Scale Point Clouds
DFKI – German Research Center for Artificial Intelligence(德国人工智能研究中心);BMW Group(宝马集团)
所提出的RMS-FlowNet是一种新型的端到端的基于学习的架构,用于精确和高效的场景流估计,可以在高密度的点云上操作。对于分层场景流估计,现有的方法依赖于昂贵的最远点采样(FPS)或基于结构的缩放,这降低了它们处理大量点的能力。与这些方法不同,我们基于我们的全监督架构的随机采样(RS)的多尺度场景流预测。为此,我们提出了一种新的流嵌入设计,它可以预测更强大的场景流结合RS。我们的RMS-FlowNet具有很高的准确性,提供了比最先进的方法更快的预测速度,并且一次可以有效地处理超过250 K点的连续密集点云。我们的综合实验验证了RMS-FlowNet在具有不同点云密度的FlyingThings 3D数据集上的准确性,并验证了我们的设计选择。此外,我们表明,我们的模型具有竞争力的能力,可以在不进行微调的情况下推广到KITTI数据集的真实场景。
2022-04-01 cs.CV
Fast SceneScript: Fast and Accurate Language-Based 3D Scene Understanding via Multi-Token Prediction
Qualcomm XR Labs(高通XR实验室);University of Amsterdam(阿姆斯特丹大学)
本文提出Fast SceneScript,通过多令牌预测和自适应解码方法,在保持精度的同时提升3D场景理解的推理速度,实验表明其在合成和真实数据集上表现优异。
2026-03-31 cs.CV
DiffSF: Diffusion Models for Scene Flow Estimation
Linköping University(林雪平大学)
场景流估计是各种现实世界应用的重要组成部分,特别是对于自主智能体,例如自动驾驶汽车和机器人。虽然最近的场景流估计方法实现了合理的精度,但它们对现实世界系统的适用性还受益于可靠性措施。为了提高准确性,同时还提供了一个估计的不确定性,我们提出了DiffSF,结合基于变换的场景流估计与去噪扩散模型。在扩散过程中,通过加入高斯噪声,地面真实场景流矢量场逐渐扰动。在反向过程中,从随机采样的高斯噪声开始,通过调节源和目标点云来恢复场景流矢量场预测。我们表明,扩散过程大大增加了预测的鲁棒性相比,现有的方法,导致在标准场景流量估计基准的最先进的性能。此外,通过使用不同的初始状态进行多次采样,去噪过程可以预测多个假设,这使得可以测量输出的不确定性,从而使我们的方法能够检测到大多数不准确的预测。该代码可在https://github.com/ZhangYushan3/DiffSF上获得。
2024-10-04 cs.CV
Hierarchical Attention Learning of Scene Flow in 3D Point Clouds
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学)
场景流表示动态环境中每个点的三维运动。像光流表示的像素在2D图像中的运动,场景流的3D运动表示的许多应用,如自动驾驶和服务机器人。研究了从两个连续的三维点云数据中估计场景流的问题。本文提出了一种新型的双注意力分层神经网络,用于学习相邻帧中点特征的相关性,逐层由粗到细细化场景流。所提出的网络有一个新的多为少的分层架构。以多换少是指场景流估计的输入点数大于输出点数,这带来了更多的输入信息,并平衡了精度和资源消耗。在这种层次结构中,不同层次的场景流分别生成和监督。引入了一种新的注意嵌入模块,以块到块的方式使用双注意方法聚合相邻点的特征。在我们的网络设计中,仔细考虑了流嵌入和流监督的适当层。实验表明,该网络在FlyingThings3D和KITTI Scene Flow 2015数据集上的3D场景流估计性能优于最先进的性能。我们还将所提出的网络应用于现实的LiDAR测距任务,这是自动驾驶中的一个关键问题。实验结果表明,我们提出的网络可以优于基于ICP的方法,并显示出良好的实际应用能力。
2020-10-12 cs.CV
Cascaded Scene Flow Prediction using Semantic Segmentation
Brown University(布朗大学);NVIDIA(英伟达);UC Irvine(加州大学欧文分校)
给定来自一对立体相机的两个连续帧,3D场景流方法同时估计所观察场景的3D几何形状和运动。许多现有的方法使用超像素进行正则化,但可能会预测刚性移动对象内部不一致的形状和运动。相反,我们假设场景由在静态背景前面刚性移动的前景对象组成,并使用语义线索来产生像素精确的场景流估计。我们的级联分类框架通过迭代地改进语义分割掩模、立体对应、3D刚性运动估计和光流场来精确地建模3D场景。我们在具有挑战性的KITTI自动驾驶基准上评估了我们的方法,并表明考虑分段车辆的运动会带来最先进的性能。
2017-10-05 cs.CV
Scene Flow to Action Map: A New Representation for RGB-D based Action Recognition with Convolutional Neural Networks
University of Wollongong(卧龙岗大学);China University of Geosciences(中国地质大学)
场景流描述了真实世界中三维物体的运动,可能是三维动作识别的基础。然而,它用于动作识别,特别是在卷积神经网络(ConvNets)的背景下,以前没有研究过。在本文中,我们提出了从RGB-D数据中提取和使用场景流进行动作识别。以前的工作已经考虑了深度和RGB模态作为单独的通道,并提取特征用于以后的融合。我们采取不同的方法,并考虑作为一个实体的模态,从而允许特征提取的动作识别在开始。提出了利用场景流进行动作识别的两个关键问题:如何组织场景流矢量和如何基于场景流表示视频的长期动态特性。为了在可用数据集上正确计算场景流,我们提出了一种有效的自校准方法,在不知道相机参数的情况下在空间上对齐RGB和深度数据。基于场景流矢量,我们提出了一种新的表示,即场景流动作图(SFAM),描述了几个长期的时空动态动作识别。我们采用一个通道变换核,将场景流向量转换到一个类似RGB的最佳颜色空间。这种转换比ImageNet更好地利用了经过训练的ConvNets模型。实验结果表明,这种新的表示方法在两个大型公共数据集上的性能可以超过最先进的方法。
2017-03-27 cs.CV
MonoComb: A Sparse-to-Dense Combination Approach for Monocular Scene Flow
German Research Center for Artificial Intelligence – DFKI(德国人工智能研究中心–DFKI);BMW Group(宝马集团)
与汽车应用中使用更多样化和更多传感器的持续趋势相反,这项工作试图解决单目相机设置下的复杂场景流问题,即使用单个传感器。为此,我们利用最新的成果,在单一图像的深度估计,光流,稀疏到密集的插值,并提出了一个单目组合的方法(MonoComb)来计算密集的场景流。MonoComb使用光流将重建的3D位置与时间相关,并对遮挡区域进行插值。通过这种方式,现有的单目方法在动态前景区域中表现出色,这导致了在具有挑战性的KITTI 2015场景流基准测试中竞争对手中的第二好结果。
2020-11-12 cs.CV
FESTA: Flow Estimation via Spatial-Temporal Attention for Scene Point Clouds
InterDigital(交互数字公司);The City College of New York(纽约城市学院)
场景流描述了3D场景的动态,这对于自动驾驶、机器人导航、AR/VR等各种应用至关重要。随着深度传感技术的发展,通过点云可以获得精确的3D测量,这引发了3D场景流的新研究。然而,由于点云采样模式的稀疏性和不规则性,从点云中提取场景流仍然具有挑战性。与不规则采样相关的一个主要问题被确定为点集抽象/特征提取期间的随机性-这是许多流量估计场景中的基本过程。因此,提出了一种新的注意空间抽象(SA^2)层,以减轻不稳定的抽象问题。此外,提出了具有注意力的时间抽象(TA^2)层来纠正时间域中的注意力,从而在更大范围内缩放运动。广泛的分析和实验验证了我们的方法的动机和显着的性能增益,被称为通过时空注意流估计(FESTA),相比,几个国家的最先进的场景流估计基准。
2021-12-06 cs.CV
FastScene: Text-Driven Fast 3D Indoor Scene Generation via Panoramic Gaussian Splatting
Sun Yat-sen University(中山大学);Guangdong Provincial Key Laboratory of Fire Science and Intelligent Emergency Technology(广东省火灾科学与智能应急技术重点实验室)
本文提出 FastScene 框架,由文本生成全景图并结合 CVS、PNVI、MVP 与 3DGS 重建,实现更快、更高质量且一致的 3D 室内场景生成。
2024-05-09 cs.CV
Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes
Cornell Tech(康奈尔科技学院);Adobe Research(Adobe研究院)
我们提出了一种方法来执行新的视图和时间合成的动态场景,只需要一个单目视频与已知的相机构成作为输入。为此,我们引入了神经场景流场,这是一种新的表示方法,它将动态场景建模为外观,几何形状和3D场景运动的时变连续函数。我们的表示是通过神经网络优化,以适应所观察到的输入视图。我们表明,我们的表示可用于复杂的动态场景,包括薄结构,视图相关的效果,和自然的运动程度。我们进行了大量的实验,证明我们的方法显着优于最近的单目视图合成方法,并显示在各种现实世界的视频时空视图合成的定性结果。
2021-04-21 cs.CV
Zero-Shot Monocular Scene Flow Estimation in the Wild
NVIDIA Research(英伟达研究院);Brown University(布朗大学)
针对场景流预测泛化性差的问题,提出联合几何与运动估计、百万级合成数据配方及有效参数化方法,实现野外零样本单目场景流估计。
2025-01-20 cs.CV
Dense Wide-Baseline Scene Flow From Two Handheld Video Cameras
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Intel Visual Computing Institute(英特尔视觉计算研究所);University of Bath(巴斯大学)
我们提出了一种新的技术,用于计算密集的场景流从两个手持视频与宽相机基线和不同的光度特性,由于不同的传感器或相机设置,如曝光和白平衡。我们的技术在两个方面比现有的方法创新:(1)它支持独立移动的摄像机,(2)它计算密集的场景流的宽基线scenaries.We实现了这一点,结合国家的最先进的宽基线对应发现与变分场景流公式。首先,我们使用DAISY描述符计算密集的宽基线对应关系,用于相机之间的匹配和随时间的变化。然后,我们使用一种新的边缘保持拉普拉斯对应完成技术检测和替换遮挡像素的对应字段。最后,我们完善的计算对应领域的变分场景流配方。我们展示了从具有挑战性的数据集计算出的密集场景流结果,这些数据集具有独立移动的手持式摄像机(摄像机设置不同)。
2016-09-16 cs.CV
SF3D-RGB: Scene Flow Estimation from Monocular Camera and Sparse LiDAR
Islamic University of Gaza(加沙伊斯兰大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
SF3D-RGB通过结合单目图像和稀疏LiDAR数据,提出了一种端到端深度学习架构,实现了更高效且准确的场景流估计。
2026-02-25 cs.CV
Occlusions, Motion and Depth Boundaries with a Generic Network for Disparity, Optical Flow or Scene Flow Estimation
University of Freiburg(弗莱堡大学)
遮挡在视差和光流估计中起着重要作用,因为在遮挡区域中匹配成本不可用,并且遮挡指示深度或运动边界。此外,遮挡是相关的运动分割和场景流估计。在本文中,我们提出了一个有效的基于学习的方法来估计遮挡面积联合视差或光流。估计的遮挡和运动边界明显改善了最先进的水平。此外,我们提出的网络与流行的KITTI基准和良好的通用性能的最先进的性能。利用估计的遮挡,我们还显示了改进的运动分割和场景流估计的结果。
2018-08-08 cs.CV
Automated Scene Flow Data Generation for Training and Verification
DFKI(德国人工智能研究中心);Bit-TS(Bit-TS公司);BMW(宝马集团)
场景流描述了图像中每个像素的3D位置以及3D运动。这些算法是许多最先进的自主或自动驾驶功能的基础。为了验证和训练,需要大量的地面实况数据,这对于真实数据是不可用的。在本文中,我们展示了一种技术,以创建合成数据与密集和精确的场景流地面实况。
2018-08-31 cs.CV
SceneFlowFields: Dense Interpolation of Sparse Scene Flow Correspondences
DFKI - German Research Center for Artificial Intelligence(德国人工智能研究中心);BMW Group(宝马集团)
虽然大多数场景流方法使用变分优化或强刚性运动假设,我们第一次表明,场景流也可以通过稀疏匹配的密集插值来估计。为此,我们发现稀疏的匹配在两个立体图像对,没有任何事先正则化检测和执行密集的插值保留几何和运动边界,通过使用边缘信息。变分能量最小化的几次迭代进行,以完善我们的结果,这是彻底评估的KITTI基准和另外相比,国家的最先进的MPI Sintel。对于在汽车背景下的应用,我们进一步表明,一个可选的自我运动模型有助于提高性能,并顺利融入我们的方法,以产生一个分割的场景成静态和动态的部分。
2017-10-27 cs.CV
Flow4R: Unifying 4D Reconstruction and Tracking with Scene Flow
Technical University of Munich(慕尼黑技术大学);MCML;University of Cambridge(剑桥大学)
Flow4R通过统一的场景流表示,在4D重建与跟踪任务中实现最先进的性能。
2026-07-28 cs.CV
Self-Supervised 3D Scene Flow Estimation Guided by Superpoints
Nanjing University of Science and Technology(南京理工大学)
针对现有超点生成方法难以适配复杂3D场景导致场景流估计不准的问题,提出迭代式端到端超点引导的自监督3D场景流估计框架,动态更新超点并结合双向流、GRU精化点级流,在多数据集上取得优异性能。
2023-05-04 cs.CV
Semantic Flow: Learning Semantic Field of Dynamic Scenes from Monocular Videos
Xi’an Jiaotong University(西安交通大学);Tsinghua University(清华大学);Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai AI Laboratory(上海人工智能实验室)
提出 Semantic Flow,从单目视频的连续三维流中学习动态场景语义场,并通过体密度先验与注意力机制实现场景编辑、补全、跟踪和新场景适配。
2024-04-08 cs.CV
SF2SE3: Clustering Scene Flow into SE(3)-Motions via Proposal and Selection
University of Freiburg(弗赖堡大学)
我们提出了SF 2SE 3,一种新的方法来估计场景动态的分割成独立移动的刚性对象和它们的SE(3)运动的形式。SF 2SE 3可在两个连续的立体或RGB-D图像上运行。首先,噪声场景流通过应用现有的光流和深度估计算法获得。SF 2SE 3然后迭代地(1)采样像素集以计算SE(3)-运动建议,以及(2)相对于最大覆盖公式选择最佳SE(3)-运动建议。最后,通过基于与输入场景流的一致性和空间接近性将像素唯一地分配给所选择的SE(3)运动来形成对象。主要的新颖之处是一个更明智的战略抽样的议案和最大的覆盖范围制定的建议选择。我们进行评估多个数据集上的应用SF 2SE 3场景流估计,对象分割和视觉里程计。SF 2SE 3在场景流估计方面的表现与现有技术相当,并且在分割和测距方面更准确。
2022-09-26 cs.CV
What Matters for 3D Scene Flow Network
Shanghai Jiao Tong University(上海交通大学);University of California, Berkeley(加州大学伯克利分校)
基于点云的三维场景流估计是计算机视觉中的一个底层三维运动感知任务。流嵌入是场景流估计中常用的一种技术,它对相邻帧之间的点运动进行编码。因此,流嵌入捕捉正确的运动总体方向是至关重要的。然而,以前的作品只搜索本地,以确定一个软对应,忽略了遥远的点,原来是实际的匹配。此外,估计的对应关系通常来自相邻点云的前向方向,并且可能与从后向方向获取的估计的对应关系不一致。为了解决这些问题,我们提出了一种新的全对全流嵌入层,在初始场景流估计过程中进行向后可靠性验证。此外,我们还研究和比较了三维场景流网络关键组件的几种设计选择,包括点相似度计算、预测器输入元素、预测器和细化级设计。在仔细选择了最有效的设计之后,我们能够呈现一个在FlyingThings3D和KITTI场景流数据集上实现最先进性能的模型。我们提出的模型在FlyingThings3D数据集上超过所有现有方法至少38.2%,在KITTI Scene Flow数据集上超过24.7%。我们在https://github.com/IRMVLab/3DFlow上发布代码。
2022-07-19 cs.CV
MS-RAFT-3D: A Multi-Scale Architecture for Recurrent Image-Based Scene Flow
University of Stuttgart(斯图加特大学)
本文提出MS-RAFT-3D多尺度架构,将光流分层思想推广到图像场景流,在KITTI和Spring上分别超越现有方法8.7%和65.8%。
2025-06-02 cs.CV