Distilling Diffusion Models to Efficient 3D LiDAR Scene Completion
Zhejiang University(浙江大学);Peking University(北京大学);Zhejiang Green Zhixing Technology co., ltd(浙江绿色智行科技有限公司)
本文提出ScoreLiDAR蒸馏方法并设计Structural Loss,使3D LiDAR场景补全扩散模型以更少采样步数实现高质量补全,在SemanticKITTI上提速超5倍。
2025-07-28 cs.CV
Semantic Scene Completion Combining Colour and Depth: preliminary experiments
Universidade de Brasília(巴西利亚大学);University of Surrey(萨里大学)
语义场景完成是从单视图观察产生具有场景的语义标签的体积占用的完整3D体素表示的任务。我们建立在Song等人(CVPR 2017)最近的工作基础上,他们提出了SSCnet,这是一种在单个端到端3D卷积网络中执行场景完成和语义标记的方法。SSCnet仅使用深度图作为输入,尽管深度图通常是从也捕获颜色信息的设备(如RGBD传感器和立体相机)中获得的。在这项工作中,我们研究了RGB颜色通道改善SSCnet的潜力。
2018-02-13 cs.CV
Diffusion Distillation With Direct Preference Optimization For Efficient 3D LiDAR Scene Completion
Zhejiang University(浙江大学);Peking University(北京大学);Zhejiang Green Zhixing Technology co., ltd(浙江绿智行科技有限公司)
针对扩散模型在3D LiDAR场景补全中采样慢的问题,提出Distillation-DPO框架,通过生成不同初始噪声的补全场景、以评估指标构建偏好样本对并优化学生模型,实现补全速度超5倍提升且性能更优,为偏好对齐蒸馏提供新方法。
2025-04-16 cs.CV
Semantic Segmentation-assisted Scene Completion for LiDAR Point Clouds
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学控制科学与工程学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
室外场景补全是三维场景理解中的一个具有挑战性的问题,在智能机器人和自动驾驶中起着重要作用。由于激光雷达数据的稀疏性,使得三维场景的补全和语义分割变得更加复杂。由于语义特征可以为完成任务提供约束和语义先验,因此它们之间的关系值得探讨。因此,我们提出了一个端到端的语义分割辅助场景完成网络,包括一个2D完成分支和一个3D语义分割分支。具体地说,该网络以原始点云作为输入,并将分割分支的特征分层合并到完成分支中以提供语义信息。通过采用BEV表示和3D稀疏卷积,我们可以在保持有效表达的同时受益于较低的操作数。此外,分割分支的解码器被用作辅助,可以在推理阶段丢弃,以节省计算消耗。大量的实验表明,我们的方法在SemanticKITTI数据集上具有低延迟的竞争力。代码和模型将在https://github.com/jokester-zzz/SSA-SC上发布。
2021-09-23 cs.CV
Self-supervised Point Cloud Completion on Real Traffic Scenes via Scene-concerned Bottom-up Mechanism
ShanghaiTech University(上海科技大学);Chinese University of Hong Kong(香港中文大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程研究中心)
由于自遮挡、外部遮挡和有限的传感器分辨率,实际扫描总是错过物体的部分几何形状。点云完成旨在为对象的不完整3D扫描提供完整的形状。目前基于深度学习的方法在训练过程中依赖于大规模的完整形状,这些形状通常是从合成数据集中获得的。由于域间隙,它不适用于实际扫描。在本文中,我们提出了一种自监督点云完成方法(TraPCC)的车辆在真实的交通场景中没有任何完整的数据。基于车辆的对称性和相似性,利用连续的点云框架构建车辆存储体作为参考。我们设计了一个自自底向上的【形】的机制,专注于局部几何细节和全球形状特征的输入。此外,我们设计了一个场景图在网络中的帮助下,注意到周围的车辆的缺失部分。实验结果表明,TraPCC算法在KITTI和nuScenes流量数据集上,即使在没有完整数据的情况下,也能获得较好的实扫描完成性能.我们还展示了3D检测的下游应用,这得益于我们的完成方法。
2022-03-20 cs.CV
Extreme Relative Pose Estimation for RGB-D Scans via Scene Completion
University of Texas at Austin(德克萨斯大学奥斯汀分校);UT Austin(德克萨斯大学奥斯汀分校);Phillips Academy Andover(安多弗菲利普斯学院);Snap Research(Snap研究);Zhejiang University(浙江大学);Facebook AI Research(Facebook人工智能研究院)
在计算机视觉、机器人和计算机图形学中,估计相同底层环境的两个RGB-D扫描之间的相对刚性姿态是一个基本问题。大多数现有的方法只允许有限的最大相对姿态变化,因为它们需要输入扫描之间的相当大的重叠。我们引入了一种新的深度神经网络,它将范围扩展到极端的相对姿态,输入扫描之间几乎没有重叠。关键思想是推断关于底层环境的更完整的场景信息,并在完成的扫描上进行匹配。特别是,我们的方法不是仅从每次扫描中执行场景完成,而是在相对姿势估计和场景完成之间交替。这允许我们通过利用来自后期迭代的两个输入扫描的信息来执行场景完成,从而为场景完成和相对姿态估计两者带来更好的结果。基准数据集上的实验结果表明,我们的方法导致相当大的改进,国家的最先进的方法相对姿态估计。特别是,我们的方法提供了令人鼓舞的相对姿态估计,即使在非重叠扫描之间。
2019-01-05 cs.CV
Boosting Self-Supervision for Single-View Scene Completion via Knowledge Distillation
TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本研究提出MVBTS多视图密度场融合自监督方法,通过知识蒸馏训练KDBTS单视图场景补全网络,在占据预测尤其是遮挡区域达到SOTA性能。
2024-04-11 cs.CV
EdgeNet: Semantic Scene Completion from a Single RGB-D Image
University of Brasilia(巴西利亚大学);University of Surrey(萨里大学)
语义场景完成是从单个视点预测具有场景的对应语义标签的体积占用的完整3D表示的任务。以前的工作语义场景完成从RGB-D数据要么只使用深度或深度与颜色的2D图像投影到3D体积导致稀疏的数据表示。在这项工作中,我们提出了一种新的策略,在3D空间中使用边缘检测和翻转截断符号距离编码的颜色信息。我们还提出了EdgeNet,一种新的端到端的神经网络架构,能够处理深度和边缘信息融合产生的功能。实验结果表明,对于端到端方法,与真实数据上的最新结果相比,改进了6.9%。
2020-09-06 cs.CV
SceneCompleter: Dense 3D Scene Completion for Generative Novel View Synthesis
Department of Electronic Engineering, Tsinghua University(电子工程系,清华大学);Department of Automation, Tsinghua University(自动化系,清华大学)
提出SceneCompleter,通过几何-外观双流扩散模型在RGBD潜空间进行密集3D场景补全,并引入场景嵌入器整合全局信息,实现跨视角一致的生成式新视角合成。
2026-06-17 cs.CV
Zero-Shot Multi-Object Scene Completion
Carnegie Mellon University(卡内基梅隆大学);Toyota Research Institute(丰田研究所)
本文提出 OctMAE,结合八叉树 U-Net 与潜在三维 MAE,并引入遮挡掩码和三维旋转嵌入,实现从单张 RGB-D 图像对多物体场景的高质量近实时零样本补全。
2024-08-30 cs.CV
CasFusionNet: A Cascaded Network for Point Cloud Semantic Scene Completion by Dense Feature Fusion
Huazhong University of Science and Technology(华中科技大学)
语义场景补全(SSC)的目的是完成一个部分的三维场景,并同时预测其语义。现有的大多数工作采用体素表示,从而遭受的增长的内存和计算成本的体素分辨率的增加。虽然有一些工作试图从三维点云的角度来解决SSC,但他们没有充分利用场景完成和语义分割这两个任务之间的相关性和互补性。在我们的工作中,我们提出了CasFusionNet,一种新颖的级联网络,用于通过密集特征融合实现点云语义场景完成。具体来说,我们设计了(i)一个全局完成模块(GCM),以产生一个上采样和完整的,但粗糙的点集,(ii)一个语义分割模块(SSM),以预测由GCM生成的完成点的每点语义标签,以及(iii)一个局部细化模块(LRM),以进一步细化粗糙的完成点和相关的标签从局部的角度来看。我们通过在每一层中的密集特征融合来组织上述三个模块,并且级联总共四个层,其中我们还在每一层之间使用特征融合以充分利用信息。在我们编译的两个基于点的数据集上的定量和定性结果都验证了我们的CasFusionNet在场景完成和语义分割方面与最先进的方法相比的有效性和优越性。代码和数据集可在https://github.com/JinfengX/CasFusionNet上获得。
2022-11-24 cs.CV
LiFlow: Flow Matching for 3D LiDAR Scene Completion
University of Wuppertal(乌尔姆大学)
LiFlow通过流匹配框架改进3D激光雷达场景补全,采用最近邻损失和切封距离损失提升点云对齐效果,实现多指标最优性能。
2026-02-02 cs.CV
3D Semantic Scene Completion from a Single Depth Image using Adversarial Training
RWTH Aachen University(亚琛工业大学);University of Bonn(波恩大学)
我们解决了3D语义场景完成的任务,即,给定单个深度图像,我们预测表示场景的3D网格中的体素的语义标签和占用。鉴于最近引入的生成对抗网络(GAN),我们的目标是探索这种模型的潜力和各种重要设计选择的效率。我们的结果表明,使用条件GANs优于普通GAN设置。我们在几个数据集上评估这些架构设计。基于我们的实验,我们证明了GANs能够在干净注释的情况下优于基线3D CNN的性能,但它们遭受对齐不良的注释。
2019-05-15 cs.CV
3D Gated Recurrent Fusion for Semantic Scene Completion
The University of Adelaide(阿德莱德大学);Nanjing University of Science and Technology(南京理工大学);Northwestern Polytechnical University(西北工业大学);ETH Zurich(苏黎世联邦理工学院)
本文研究语义场景补全任务中的数据融合问题,该任务可以同时处理语义标注和场景补全。RGB图像包含对象的纹理细节,这对于语义场景理解至关重要。同时,深度图像捕获与形状完成高度相关的几何线索。使用RGB和深度图像可以进一步提高SSC的准确性,而不是孤立地采用一种模态。我们提出了一种3D门控递归融合网络(GRFNet),它通过使用门和记忆模块来学习自适应地选择和融合来自深度和RGB的相关信息。在单级融合的基础上,进一步提出了一种多级融合策略,该策略可以对网络中不同阶段之间的相关性进行建模。在两个基准数据集上进行的大量实验证明了GRFNet在SSC数据融合中的优越性能和有效性。代码将提供。
2020-02-17 cs.CV
Vision-based 3D Semantic Scene Completion via Capture Dynamic Representations
本文提出CDScene方法,通过多模态大模型提取2D语义并对齐到3D空间,将场景解耦为动态与静态特征并自适应融合,在多个基准上实现了鲁棒且准确的视觉语义场景补全。
2025-05-05 cs.CV
SCPNet: Semantic Scene Completion on Point Cloud
Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);ShanghaiTech University(上海科技大学)
由于稀疏和不完整的输入,大量不同尺度的对象以及移动对象的固有标签噪声,训练用于语义场景完成(SSC)的深度模型具有挑战性。针对上述问题,我们提出了以下三种解决方案:1)重新设计完井子网络。我们设计了一个新的完成子网络,它由多个多路径块(MPB)聚合多尺度特征,是免费的有损下采样操作。2)从多框架模型中提取丰富的知识。我们设计了一个新的知识蒸馏目标,称为密集到稀疏知识蒸馏(DSKD)。它将密集的、基于关系的语义知识从多框架教师转移到单框架学生,显著提高了单框架模型的表示学习。3)完成标签整改。我们提出了一种简单而有效的标签校正策略,该策略使用现成的全景分割标签来去除完成标签中的动态对象的痕迹,大大提高了深度模型的性能,特别是对于那些移动对象。在两个公共SSC基准中进行了广泛的实验,即,SemanticKITTI和SemanticPOSS。我们的SCPNet在SemanticKITTI语义场景完成挑战中排名第一,并以7.2 mIoU的优势超过竞争对手S3CNet。SCPNet在SemanticPOSS数据集上的性能也优于以前的完成算法。此外,我们的方法也取得了SemanticKITTI语义分割任务的竞争力的结果,显示在场景完成的知识是有益的分割任务。
2023-03-13 cs.CV
Not All Voxels Are Equal: Semantic Scene Completion from the Point-Voxel Perspective
Peking University(北京大学);Chinese University of Hong Kong(香港中文大学)
我们重新语义场景完成(SSC),一个有用的任务来预测三维场景的语义和占用表示,在本文中。许多用于此任务的方法总是基于体素化场景表示以保持局部场景结构。然而,由于可见空体素的存在,当网络深入时,这些方法总是存在大量的计算冗余,从而限制了完成质量。为了解决这个难题,我们提出了我们的新的点体素聚合网络的这项任务。首先,我们通过去除这些可见的空体素,将体素化的场景转换为点云,并采用深度点流从场景中有效地捕获语义信息。同时,只包含两个3D卷积层的轻量体素流保留了体素化场景的局部结构。此外,我们还设计了一个各向异性体素聚合算子,将体素流中的结构细节融合到点流中,并设计了一个语义感知的传播模块,通过语义标签来增强点流中的上采样过程。我们证明了我们的模型在两个基准上远远超过了最先进的技术,只有深度图像作为输入。
2023-03-20 cs.CV
Attention-based Multi-modal Fusion Network for Semantic Scene Completion
Tsinghua University(清华大学);Sun Yat-sen University(中山大学)
本文提出了一种名为基于注意力的多模态融合网络(AMFNet)的端到端3D卷积网络,用于从单视图RGB-D图像推断体积3D场景的占用和语义标签的语义场景完成(SSC)任务。与以往只使用从RGB-D图像中提取的语义特征的方法相比,所提出的AMFNet通过利用从RGB-D图像中推断2D语义分割的经验以及空间维度上的可靠深度线索来学习同时执行有效的3D场景完成和语义分割。它是通过采用一个多模态融合架构,从二维语义分割和三维语义完成网络授权的剩余注意力块。我们在合成的SUNCG-RGBD数据集和真实的NYUv 2数据集上验证了我们的方法,结果表明,我们的方法在合成的SUNCG-RGBD数据集和真实的NYUv 2数据集上分别实现了2.5%和2.6%的增益。
2020-04-16 cs.CV
LODE: Locally Conditioned Eikonal Implicit Scene Completion from Sparse LiDAR
Tsinghua University(清华大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR));University of Chinese Academy of Sciences(中国科学院大学)
场景补全是指从复杂3D场景的不完整感知中获得密集场景表示。这有助于机器人在自动驾驶等场景中检测多尺度障碍物并分析物体遮挡。最近的进展表明,隐式表示学习可以用于连续场景完成,并通过像Eikonal方程的物理约束来实现。然而,以往的Eikonal完备化方法只能在几十个网格的尺度下证明水密网格上的结果。他们都没有成功地做了非防水激光雷达点云的开放大场景规模的数千个场景。在本文中,我们提出了一种新的Eikonal制定的条件的隐式表示的局部形状先验的功能作为密集的边界值约束,并证明它的工作SemanticKITTI和SemanticPOSS。它还可以扩展到语义Eikonal场景完成,只需对网络架构进行少量修改。通过大量的定量和定性结果,我们证明了现有Eikonal方法的优点和缺点,这自然会导致新的局部条件制定。值得注意的是,我们在SemanticKITTI上将IoU从31.7%提高到51.2%,在SemanticPOSS上从40.5%提高到48.7%。我们广泛地消融我们的方法,并证明所提出的配方是强大的实现超参数的广泛。代码和模型可在https://github.com/AIR-DISCOVER/LODE上公开获取。
2023-02-27 cs.CV
ScanComplete: Large-Scale Scene Completion and Semantic Segmentation for 3D Scans
Stanford University(斯坦福大学);Brown University(布朗大学);Google(谷歌);DeepMind(深度思维);Technical University of Munich(慕尼黑工业大学)
我们介绍ScanComplete,一种新的数据驱动的方法,用于将场景的不完整3D扫描作为输入,并预测完整的3D模型以及每体素语义标签。我们的方法的关键贡献是它能够处理具有不同空间范围的大型场景,随着场景大小的增加,管理数据大小的立方增长。为此,我们设计了一个完全卷积生成的3D CNN模型,其滤波器内核对整个场景大小是不变的。该模型可以在场景子体积上进行训练,但在测试时可以部署在任意大的场景上。此外,我们提出了一个由粗到细的推理策略,以产生高分辨率的输出,同时还利用大的输入上下文大小。在一系列广泛的实验中,我们仔细评估了不同的模型设计选择,考虑了确定性和概率模型的完成和语义推理。我们的研究结果表明,我们优于其他方法,不仅在处理的环境和处理效率的大小,而且在完成质量和语义分割性能方面的显着保证金。
2018-03-28 cs.CV
Scaling Diffusion Models to Real-World 3D LiDAR Scene Completion
Center for Robotics, University of Bonn(波恩大学机器人中心);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出将扩散模型直接应用于3D点云以实现真实世界场景补全,通过重新表述扩散过程并提出正则化损失稳定去噪,在单次LiDAR扫描输入下生成比现有方法更详细的完整场景。
2024-03-20 cs.CV
Two Stream 3D Semantic Scene Completion
University of Bonn(波恩大学);RWTH Aachen University(亚琛工业大学)
推断被遮挡的表面的3D几何形状和语义意义是一项非常具有挑战性的任务。最近,已经提出了第一种端到端学习方法,其从单个深度图像完成场景。该方法体素化的场景,并预测每个体素,如果它被占用,如果它被占用,语义类标签。在这项工作中,我们提出了一个两个流的方法,利用深度信息和语义信息,这是从RGB图像推断,这项任务。该方法构造了一个不完整的3D语义张量,它使用一个紧凑的三通道编码的推断的语义信息,并使用3D CNN来推断完整的3D语义张量。在我们的实验评估中,我们表明,所提出的两个流的方法大大优于国家的最先进的语义场景完成。
2019-05-15 cs.CV
In Depth Bayesian Semantic Scene Completion
Lund University(隆德大学)
这项工作研究语义场景完成,其目的是预测我们周围的三维语义分割,即使有些地区被遮挡。为此,我们构建了一个贝叶斯卷积神经网络(BCNN),它不仅能够执行分割,但也预测模型的不确定性。这是标准CNN中不存在的重要功能。我们在MNIST数据集上表明,当处理训练阶段看不见的数字时,贝叶斯方法在准确性,精确度和召回率方面的表现与标准CNN相同或更好。额外的好处是有更好的校准分数和表达模型不确定性的能力。然后,我们展示了语义场景完成任务的结果,其中在SUNC数据集上的测试时引入了一个类别。在这个更复杂的任务中,贝叶斯方法优于标准的CNN。表现出更好的交集得分,并且在平均精度和分离得分方面表现出色。
2020-10-16 cs.CV
IPFormer: Visual 3D Panoptic Scene Completion with Context-Adaptive Instance Proposals
Fraunhofer Institute IVI(弗劳恩霍夫研究所IVI);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);University of California, Los Angeles(加州大学洛杉矶分校)
IPFormer通过上下文自适应实例提案实现视觉3D全景场景补全,提升场景理解与泛化能力。
2026-01-24 cs.CV
Towards Balanced RGB-TSDF Fusion for Consistent Semantic Scene Completion by 3D RGB Feature Completion and a Classwise Entropy Loss Function
School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)理工学院);School of Artificial Intelligence, Shenzhen Polytechnic University(深圳职业技术大学人工智能学院)
针对RGB-TSDF融合中因RGB特征稀疏导致的不一致问题,提出两阶段网络,通过三维RGB特征补全模块和类别熵损失函数实现均衡融合,在公开数据集上取得不依赖额外数据的最优语义场景补全性能。
2024-11-23 cs.CV
Amodal Completion and Size Constancy in Natural Scenes
University of California, Berkeley(加州大学伯克利分校)
我们考虑的问题,丰富当前的目标检测系统与veridical对象的大小和相对深度估计从一个单一的图像。这方面存在一些技术挑战,例如遮挡、缺乏校准数据以及对象大小和距离之间的比例模糊。这些问题在以前的工作中没有得到全面的处理。在这里,我们建议通过建立在对象识别的进步和使用最近创建的大规模数据集来解决这些问题。我们首先介绍了非模态限界框完成的任务,其目的是推断图像中的对象实例的完整范围。然后,我们提出了一个概率框架,用于从可用的注释中学习特定于类别的对象大小分布,并利用这些与amodal完成相结合来推断新图像中的真实大小。最后,我们介绍了一个焦距预测方法,利用场景识别,以克服固有的缩放模糊性,我们展示了具有挑战性的现实世界场景的定性结果。
2015-10-01 cs.CV
Probabilistic Implicit Scene Completion
Seoul National University(首尔国立大学)
我们提出了一个概率形状完成方法扩展到连续几何的大规模三维场景。3D场景的真实世界扫描遭受大量丢失的数据,这些数据与未分割的对象混杂在一起。形状补全问题本质上是不适定的,高质量的结果需要考虑多种可能结果的可扩展解决方案。我们采用生成元胞自动机,学习多模态分布,并将公式转换为处理大规模连续几何。局部连续形状被增量地生成为稀疏体素嵌入,其包含每个被占用单元的潜在代码。我们正式推导出我们的稀疏体素嵌入的训练目标最大化完整形状分布的变分下界,因此我们的渐进生成构成了一个有效的生成模型。实验表明,我们的模型成功地生成了各种可信的场景,忠实于输入,特别是当输入遭受大量的丢失数据。我们还证明,我们的方法优于确定性模型,即使在不太模糊的情况下,有少量的丢失数据,这推断概率公式是高质量的几何完成输入扫描表现出任何程度的完整性至关重要。
2022-04-04 cs.CV
VisHall3D: Monocular Semantic Scene Completion from Reconstructing the Visible Regions to Hallucinating the Invisible Regions
Xi’an Jiaotong University, China(西安交通大学)
提出两阶段单目语义场景补全框架 VisHall3D,通过 VisFrontierNet 重建可见区域、OcclusionMAE 推断遮挡区域,缓解特征纠缠与几何不一致,并在两个基准上达到 SOTA。
2025-07-25 cs.CV
IMENet: Joint 3D Semantic Scene Completion and 2D Semantic Segmentation through Iterative Mutual Enhancement
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院)
3D语义场景完成和2D语义分割是两个紧密相关的任务,它们对于室内场景理解都是必不可少的,因为它们使用正相关的高级特征来预测相同的语义类。目前的方法使用从早期融合的RGB-D图像中提取的2D特征进行2D分割,以提高3D场景的完整性。我们认为,这种顺序的计划并不能确保这两个任务完全受益于对方,并提出了一个迭代相互增强网络(IMENet)来解决他们联合,互动细化这两个任务在后期预测阶段。具体而言,两个细化模块下开发的两个任务的统一框架。第一个是2D可变形上下文金字塔(DCP)模块,其接收来自当前3D预测的投影以细化2D预测。进而,提出了3D可变形深度注意力(DDA)模块,以利用来自2D预测的重新投影结果来更新粗略的3D预测。这种迭代融合发生在后期阶段两个任务的稳定高级特征上。在NYU和NYUCAD数据集上的大量实验验证了所提出的迭代后期融合方案的有效性,并且我们的方法在3D语义场景完成和2D语义分割方面都优于现有技术。
2021-06-29 cs.CV
Feed-Forward SceneDINO for Unsupervised Semantic Scene Completion
TU Munich(慕尼黑工业大学);TU Darmstadt(达姆施塔特工业大学);University of Oxford(牛津大学);MCML(慕尼黑机器学习中心);ELIZA
本文提出前馈 SceneDINO,仅利用多视图一致性自监督从单图推断三维几何与 DINO 特征,并通过三维特征蒸馏实现无监督语义场景补全,取得当前最优分割精度。
2025-07-25 cs.CV
RGBD Based Dimensional Decomposition Residual Network for 3D Semantic Scene Completion
Nanjing University of Science and Technology(南京理工大学);The University of Adelaide(阿德莱德大学)
RGB图像与深度图像不同,因为它们携带更多关于颜色和纹理信息的细节,这些细节可以用作深度的重要补充,以提高3D语义场景完成(SSC)的性能。SSC由三维形状完成和语义场景标注两部分组成,而现有的方法大多以深度作为唯一输入,存在性能瓶颈。此外,最先进的方法采用具有繁琐网络和巨大参数的3D CNN。我们介绍了一种用于3D密集预测任务的轻量级维度分解残差网络(DDR)。新的因子分解卷积层有效地减少了网络参数,提出的深度和彩色图像的多尺度融合机制可以同时提高完成和分割精度。我们的方法在两个公共数据集上表现出出色的性能。与最新的方法SSCNet相比,我们在SC-IoU中获得了5.9%的增益,在SSC-IOU中获得了5.7%的增益,尽管与SSCNet相比仅使用了21%的网络参数和16.6%的FLOP。
2019-05-01 cs.CV
Geospatial-Prior Guidance for 3D Semantic Scene Completion
本文提出GeoScene框架,结合卫星图像与OpenStreetMap线索作为软先验,通过学习可靠性权重控制特征细化,在SemanticKITTI等数据集上提升了三维语义场景补全的几何与语义性能。
2026-08-05 cs.CV
Point Cloud Scene Completion with Joint Color and Semantic Estimation from Single RGB-D Image
Dalian University of Technology(大连理工大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong (ShenZhen)(香港中文大学(深圳));Princeton University(普林斯顿大学)
提出了一种基于深度强化学习的渐进式视图修复方法,在体指导下完成彩色语义点云场景的修复,实现了对严重遮挡的单幅RGB-D图像的高质量场景重建。我们的方法是端到端的,由三个模块组成:三维场景体重建,二维RGB-D和分割图像修补,多视图选择完成。对于一幅RGB-D图像,该方法首先预测其语义分割图,并通过3D体积分支获得体积场景重建,作为下一个视图修复步骤的指导,该步骤试图弥补缺失的信息;第三步涉及在输入的相同视图下投影体积,将它们连接以完成当前视图RGB-D和分割图,以及将所有RGB-D和分割图集成到点云中。由于遮挡区域不可用,我们采用A3 C网络扫视周围,并逐步选择下一个最佳视图进行大孔完成,直到场景得到充分重建,同时保证有效性。所有步骤都是共同学习的,以实现稳健和一致的结果。我们对3D-FUTURE数据进行了大量的实验,进行了定性和定量评估,获得了比最先进技术更好的结果。
2022-10-12 cs.CV
Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for 3D Point Scene Completion from a Single Depth Image
The Chinese University of Hong Kong(Shenzhen)(香港中文大学(深圳));Dalian University of Technology(大连理工大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);Texas A&M University(得克萨斯农工大学)
本文提出了一种基于深度强化学习的渐进式视图修复方法,在体指导下完成三维点场景的修复,实现了从单个深度图像重建高质量的场景。我们的方法是端到端的,由三个模块组成:3D场景体重建,2D深度图修复和多视图选择完成。给定单个深度图像,我们的方法首先通过3D体积分支来获得体积场景重建,作为下一个视图修复步骤的指导,该步骤试图弥补缺失的信息;第三步涉及将体积投影到输入的同一视图下,将它们连接起来以完成当前视图深度,并将所有深度集成到点云中。由于遮挡区域不可用,我们求助于深度Q-Network来环顾四周,并逐步选择下一个最佳视图来完成大洞,直到场景得到充分重建,同时保证有效性。所有步骤都是共同学习的,以实现稳健和一致的结果。我们进行了定性和定量的评估与广泛的实验上的SUCG数据,获得更好的结果比最先进的。
2019-03-12 cs.CV
HD$^2$-SSC: High-Dimension High-Density Semantic Scene Completion for Autonomous Driving
针对自动驾驶中基于相机的3D语义场景补全存在的输入输出维度及标注现实密度差距问题,提出HD²-SSC框架,通过高维度语义解耦和高密度占据精修模块提升预测效果,在两个数据集上验证了有效性。
2025-11-13 cs.CV
SG-NN: Sparse Generative Neural Networks for Self-Supervised Scene Completion of RGB-D Scans
Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的方法,通过推断未观察到的场景几何形状,将部分和嘈杂的RGB-D扫描转换为高质量的3D场景重建。我们的方法是完全自我监督的,因此可以只在真实世界的不完整扫描上进行训练。为了实现自我监督,我们从一个给定的(不完整的)3D扫描中删除帧,以使其更加不完整;然后通过将同一扫描的两个级别的局部性相关联,同时掩盖从未观察到的区域,来制定自我监督。通过在大型训练集上进行泛化,我们可以预测3D场景的完成,而无需看到任何完全完整的几何体的3D扫描。结合一个新的3D稀疏生成神经网络架构,我们的方法是能够预测高度详细的表面在一个由粗到细的分层方式,生成3D场景在2厘米的分辨率,超过现有的国家的最先进的方法的分辨率的两倍,以及优于他们的重建质量的显着保证金。
2020-03-24 cs.CV
Towards Real-Time and Adaptable LiDAR Scene Completion
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
提出RapidLiDAR方法,以自适应初始化模块和多尺度重建模块实现激光雷达场景补全,速度达0.1秒/帧,比现有最快方法快2.3倍,性能与SOTA相当。
2026-08-18 cs.CV
Learning Temporal 3D Semantic Scene Completion via Optical Flow Guidance
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);State Key Laboratory of Advanced Design and Manufacturing Technology for Vehicle, Hunan University(车辆先进设计与制造技术国家重点实验室)
本文提出FlowScene方法,通过光流引导的时序聚合和遮挡引导的体素细化,解决三维语义场景补全中运动动态与时序一致性不足的问题,在SemanticKITTI和SSCBench-KITTI-360上取得最优性能。
2025-11-10 cs.CV
Disentangling Instance and Scene Contexts for 3D Semantic Scene Completion
Huazhong University of Science and Technology(华中科技大学)
提出DISC双流范式,通过类查询替换体素查询并设计专门解码模块,解耦优化实例与场景上下文,在单帧输入下于SemanticKITTI和SSCBench-KITTI-360基准上实现SOTA性能并显著提升实例mIoU。
2025-07-11 cs.CV
Octree Diffusion for Semantic Scene Generation and Completion
University of Colorado Boulder(科罗拉多大学博尔德分校);Autonomous Robotics and Perception Group(自主机器人与感知实验室)
本文提出Octree Latent Semantic Diffusion框架,通过八叉树隐式表示实现跨域的3D语义场景补全、扩展和生成,结合结构扩散与语义扩散生成语义标签,无需重训练即可完成单扫描的补全与零样本泛化。
2026-03-31 cs.CV
Depth Based Semantic Scene Completion with Position Importance Aware Loss
School of Computer Science, The University of Adelaide(阿德莱德大学计算机学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Autonomous Systems Lab, ETH Zurich(苏黎世联邦理工学院自主系统实验室)
语义场景完成(SSC)是指在完成3D形状的同时推断场景的3D语义分割的任务。我们提出了PALNet,一种新的混合网络SSC的基础上单深度。PALNet利用双流网络从多个阶段提取2D和3D特征,使用细粒度的深度信息来有效地捕获场景的上下文以及几何线索。当前的SSC方法同等对待场景的所有部分,导致对对象内部的不必要的关注。为了解决这个问题,我们提出了位置感知损失(PA-损失),它在训练网络时是位置重要性感知的。具体来说,PA损失考虑局部几何各向异性来确定场景内不同位置的重要性。它有利于恢复关键细节,如对象的边界和场景的角落。在两个基准数据集上的综合实验证明了该方法的有效性和优越的性能。模型和视频演示可以在https://github.com/UniLauX/PALNet上找到。
2020-01-30 cs.CV
Semantic Scene Completion using Local Deep Implicit Functions on LiDAR Data
TU Delft(代尔夫特理工大学);Mercedes-Benz AG(梅赛德斯-奔驰集团);Esslingen University of Applied Sciences(埃斯林根应用科学大学)
语义场景完成是在给定范围内联合估计对象和表面的3D几何形状和语义的任务。这是一个特别具有挑战性的任务,对现实世界的数据是稀疏和闭塞。我们提出了一种基于局部深度隐式函数的场景分割网络,作为一种新的基于学习的场景完成方法。与以前的工作场景完成,我们的方法产生一个连续的场景表示,是不是基于体素化。我们将原始点云编码到本地的潜在空间中,并以多种空间分辨率进行编码。全局场景完成函数随后从局部化函数块组装。我们表明,这种连续的表示是适合于编码的几何和语义属性广泛的户外场景,而不需要空间离散化(从而避免了场景细节和场景的范围,可以覆盖的水平之间的权衡)。我们训练和评估我们的方法语义注释激光雷达扫描从语义KITTI数据集。我们的实验验证了我们的方法生成了一个强大的表示,可以解码成一个给定场景的密集的3D描述。我们的方法的性能超越了语义KITTI场景完成基准的几何完成交叉联合(IoU)方面的最先进的。
2021-04-12 cs.CV cs.LG
DepthSSC: Monocular 3D Semantic Scene Completion via Depth-Spatial Alignment and Voxel Adaptation
University of Washington(华盛顿大学);Sun Yat-sen University(中山大学);Taiyuan University of Technology(太原理工大学);Central South University(中南大学)
针对单目3D语义场景补全中物体形状预测不准和边界分类错误的问题,提出集成ST-GF模块与GAV的DepthSSC方法,实现空间与深度信息精确对齐,在SemanticKITTI等数据集上取得SOTA性能。
2024-11-25 cs.CV
Adversarial Semantic Scene Completion from a Single Depth Image
Technische Universität München(慕尼黑工业大学)
我们提出了一种方法来重建,完整和语义标记的3D场景从一个单一的输入深度图像。我们通过一种基于对抗学习的新架构来提高回归语义3D地图的准确性。特别是,我们建议使用多个对抗性损失项,这些项不仅可以强制执行与地面真实值有关的现实输出,而且还可以有效嵌入内部特征。这是通过将处理部分2.5D数据的编码器的潜在特征与从训练成重建完整语义场景的变分3D自动编码器提取的潜在特征相关联来完成的。此外,与其他完全通过3D卷积操作的方法不同,在测试时,我们在下采样期间保留了输入的原始2.5D结构,以提高模型内部表示的有效性。我们在语义场景完成的主要基准数据集上测试我们的方法,以定性和定量地评估我们的建议的有效性。
2018-10-25 cs.CV
SSDD-GAN: Single-Step Denoising Diffusion GAN for Cochlear Implant Surgical Scene Completion
针对乳突切除术后手术场景补全问题,提出SSDD-GAN,结合扩散模型与GAN的对抗优化,通过真实手术数据集自监督训练,零样本应用于目标数据集,提升结构相似性6%,增强场景补全效果与数据集实用性。
2025-02-08 cs.CV
VOIC: Visible-Occluded Integrated Guidance for 3D Semantic Scene Completion
Research Institute of Trustworthy Autonomous Systems, Southern University of Science and Technology(可信自主系统研究院,南方科技大学);Department of Computer Science and Engineering, Southern University of Science and Technology(计算机科学与工程系,南方科技大学);School of Computer Science, University of Nottingham Ningbo China(宁波大学计算机学院);Department of Electronic and Information Engineering, Changchun University(电子与信息工程学院,长春大学)
提出VOIC网络,通过解耦可见区域感知与遮挡区域推理,利用离线可见区域标签提取策略和双解码器框架,在SemanticKITTI和SSCBench-KITTI360上实现最先进的3D语义场景补全性能。
2026-06-02 cs.CV
Automatic Objects Removal for Scene Completion
University of North Georgia(北乔治亚大学);Lawrence Technological University(劳伦斯理工大学);University Massachusetts Dartmouth(麻省大学达特茅斯分校);South Dakota State University(南达科他州立大学);University of Kentucky(肯塔基大学)
随着基于网络的相机和移动设备的爆炸性增长,数十亿张照片被上传到互联网上。我们可以轻松地收集大量的照片流,用于各种目标,例如3D场景重建和其他大数据应用。然而,这不是一件容易的事情,因为检索到的照片既没有对齐也没有校准。此外,由于人、车辆等前景物体的遮挡,寻找特征对应关系和重建真实感场景更具挑战性。在本文中,我们提出了一种基于结构的图像完成算法的对象删除,产生视觉上合理的内容与一致的结构和场景纹理。我们使用边缘匹配技术来推断未知区域的潜在结构。在估计结构的驱动下,沿着估计曲线自动进行纹理合成。我们评估所提出的方法对不同类型的图像:从高度结构化的室内环境的自然场景。我们的实验结果表明,令人满意的性能,可用于后续的大数据处理:三维场景重建和位置识别。
2015-01-23 cs.CV
Neural Part Priors: Learning to Optimize Part-Based Object Completion in RGB-D Scans
Technical University of Munich(慕尼黑工业大学)
近年来,3D对象识别取得了重大进展,在现实世界的3D扫描基准测试中表现出令人印象深刻的性能,但缺乏对象部分推理,这是更高级别场景理解(如对象间相似性或对象功能)的基础。因此,我们建议利用标注有零件信息的3D形状的大规模合成数据集来学习神经零件先验(NPP),这是表征几何零件先验的可优化空间。至关重要的是,我们可以优化学习的零件先验,以便在测试时适合真实世界的扫描3D场景,从而实现这些场景中真实物体的鲁棒零件分解,该场景还可以估计物体的完整几何形状,同时准确地拟合观察到的真实几何形状。此外,这使得能够对场景中的几何相似的检测到的对象进行全局优化,这些对象通常具有很强的几何共性,从而实现场景一致的部分分解。在ScanNet数据集上的实验表明,NPP在真实场景中的部分分解和对象完成方面明显优于现有技术。
2023-03-25 cs.CV
PatchScene: Patch-based Voxel Diffusion for Large-Scale Scene Completion
MEGVII Technology(MEGVII技术有限公司);Qianli Technology(千利技术);Peking University(北京大学);Northeastern University, China(中国东北大学);Northwest Polytechnical University, Xi’an(西北工业大学西安校区)
提出PatchScene,一种基于体素块扩散的框架,通过局部3D区域细粒度生成、置信度引导的时空融合和环形流扩散策略,实现大规模LiDAR场景补全,在SemanticKITTI上达到最优性能并展现强泛化能力。
2026-10-05 cs.CV
NDC-Scene: Boost Monocular 3D Semantic Scene Completion in Normalized Device Coordinates Space
University of Washington(华盛顿大学);The University of Sydney(悉尼大学);Shanghai AI Laboratory(上海人工智能实验室);CUHK-SenseTime Joint Laboratory(香港中文大学-商汤科技联合实验室);CPII under InnoHK(InnoHK下属CPII机构)
提出NDC-Scene网络,通过将2D特征图扩展至归一化设备坐标空间并采用深度自适应双解码器,解决单目3D语义场景补全中的特征模糊、位姿模糊和计算不平衡问题,在SemanticKITTI和NYUv2上超越现有方法。
2023-10-11 cs.CV
SSCNav: Confidence-Aware Semantic Scene Completion for Visual Semantic Navigation
本文重点介绍视觉语义导航,主动代理导航到一个特定的目标对象类别在一个未知的环境中产生的行动的任务。为了完成这个任务,算法应该同时定位和导航到类别的实例。与传统的点目标导航相比,该任务要求智能体在室内环境之前具有更强的上下文。我们介绍SSCNav,一种算法,明确地使用一个信任感知语义场景完成模块来完成场景和指导代理的导航规划模型的场景先验。给定对环境的部分观察,SSCNav首先推断出一个完整的场景表示,其中包含未观察场景的语义标签以及与其自身预测相关联的置信度图。然后,策略网络从场景完成结果和置信度图推断动作。实验结果表明,该场景补全模块提高了下游导航策略的效率。视频、代码和数据:https://sscnav.cs.columbia.edu/
2021-03-22 cs.CV cs.RO
Cascaded Context Pyramid for Full-Resolution 3D Semantic Scene Completion
Dalian University of Technology(大连理工大学);University of Adelaide(阿德莱德大学);Sichuan University(四川大学);China Science IntelliCloud Technology Co.Ltd(中科智云科技有限公司)
语义场景补全(SSC)的目的是同时预测三维场景的体积占用和语义类别。它帮助智能设备理解周围的场景并与之交互。由于高内存需求,目前的方法只能产生低分辨率的完成预测,并通常丢失的对象细节。此外,他们还忽略了多尺度空间上下文,这对三维推理起着至关重要的作用。为了解决这些问题,在这项工作中,我们提出了一种新的深度学习框架,命名为级联上下文金字塔网络(CCPNet),联合推断的占用和语义标签的体积3D场景从一个单一的深度图像。CCPNet通过级联上下文金字塔提高了标签的一致性。同时,基于低层特征,通过GRR模块逐步恢复对象的精细结构。我们提出的框架有三个突出的优点:(1)它显式地建模的三维空间环境的性能提高;(2)全分辨率的三维体积产生的结构保持细节;(3)轻量级的模型与低内存需求的捕获具有良好的可扩展性。大量的实验表明,尽管采用单视图深度图,我们提出的框架可以生成高质量的SSC结果,并且在合成SUCG和真实纽约大学数据集上的性能优于最先进的方法。
2019-08-01 cs.CV
Scene Completeness-Aware Lidar Depth Completion for Driving Scenario
University of Southern California(南加州大学)
本文提出SCADC方法,利用立体图像视差辅助稀疏激光雷达深度补全,首次关注驾驶场景中上部区域的结构完整性,并在KITTI精度与完整性及室外RGBD语义分割上验证有效性。
2024-01-17 cs.CV cs.RO
Efficient Semantic Scene Completion Network with Spatial Group Convolution
Tsinghua University(清华大学);Intel Labs China(英特尔中国研究院)
我们引入了空间群卷积(SGC)来加速3D密集预测任务的计算。SGC与组卷积正交,组卷积作用于空间维度而不是特征通道维度。该算法将输入体素分成不同的组,然后对这些组进行3D稀疏卷积。由于在执行卷积时只考虑有效体素,因此可以显著减少计算量,但精度略有损失。语义场景完成任务,其目的是预测一个完整的3D体积与语义标签从一个单一的深度图像上所提出的操作进行了验证。通过SGC,我们进一步提出了一个高效的3D稀疏卷积网络,它利用了多尺度架构和从粗到细的预测策略。评估是在SUNC数据集上进行的,实现了最先进的性能和快速。代码可在https://github.com/zjhthu/SGC-Release.git上获得
2019-07-11 cs.CV