Semantic Scene Completion via Integrating Instances and Scene in-the-Loop
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）；Samsung Research Institute China - Beijing（三星中国研究院（北京））；Xidian University（西安电子科技大学）
语义场景完成旨在从单视图深度或RGBD图像重建具有精确体素语义的完整3D场景。这是室内场景理解的一个关键而又具有挑战性的问题。在这项工作中，我们提出了一个新的框架命名为场景实例场景网络（\textit{SISNet}），它利用实例和场景级语义信息。我们的方法是能够推断细粒度的形状细节，以及附近的对象，其语义类别很容易混淆。关键的见解是，我们解耦的实例从一个粗略完成的语义场景，而不是一个原始的输入图像，以指导重建的实例和整个场景。SISNet进行迭代的场景到实例（SI）和实例到场景（IS）语义完成。具体地，SI能够对对象的周围上下文进行编码，以有效地将实例与场景解耦，并且每个实例可以被体素化为更高的分辨率以捕获更精细的细节。使用IS，细粒度的实例信息可以被集成回3D场景中，从而导致更准确的语义场景完成。利用这种迭代机制，场景和实例完成彼此受益，以实现更高的完成精度。广泛的实验表明，我们提出的方法在真实的NYU，NYUCAD和合成SUNG-RGBD数据集上的性能始终优于最先进的方法。代码和补充材料可在\url{https://github.com/yjcaimeow/SISNet}上获得。
2021-06-06 cs.CV
InstanceSplat: Instance-Aware Feed-Forward 3D Gaussian Splatting for Scene Understanding
InstanceSplat是统一前馈3DGS框架，通过单次前向传播构建联合编码多信息的实例感知高斯表示，以实例为中心的学习策略实现重建与场景理解互益，在多任务上达到SOTA性能与强泛化性。
2026-08-10 cs.CV
Learning Instance Representation Banks for Aerial Scene Classification
Wuhan University（武汉大学）
由于鸟瞰的关系，空中场景在物体分布和空间排列方面比自然场景更加复杂，因此学习有区别的场景表示仍然具有挑战性。最近的解决方案设计了\textit{local semantic descriptors}，以便可以适当地突出显示感兴趣区域（ROI）。然而，每个局部描述符具有有限的描述能力和整体的场景表示仍然有待细化。在本文中，我们解决了这个问题，设计了一个新的表示集命名为\textit{instance representation bank}（IRB），它统一了多个本地描述符下的多实例学习（MIL）制定。这个统一的框架是不平凡的，因为所有的本地语义描述符可以对齐到相同的场景方案，增强场景表示能力。具体来说，我们的IRB学习框架包括一个骨干，一个实例表示银行，一个语义融合模块和场景方案对齐损失函数。所有组件都以端到端的方式组织。在三个空中场景基准上的大量实验表明，我们提出的方法优于最先进的方法，有很大的利润。
2022-05-27 cs.CV
I-Scene: 3D Instance Models are Implicit Generalizable Spatial Learners
Purdue University（普渡大学）；NVIDIA Research（英伟达研究）
I-Scene提出了一种基于3D实例模型的隐式空间学习方法，通过重新编程生成器实现跨场景的泛化能力，展示了其在空间推理和生成中的潜力。
2026-01-07 cs.CV
Point-based Instance Completion with Scene Constraints
Oregon State University（俄勒冈州立大学）
本文提出了一种基于点云的实例补全模型，通过引入场景约束和交叉注意力机制，实现对场景中任意尺度和姿态的对象的稳健补全。
2026-03-09 cs.CV
GroupForward: Building Referable 3D Scenes via Instance-Grouped Feed-Forward Gaussian Splatting
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）
GroupForward是一种实例分组前馈高斯溅射模型，可从稀疏多视图图像重建3D场景，结合RSRF实现复杂3D参考推理，提升了语义重建与参考推理的性能。
2026-08-19 cs.CV
UnScene3D: Unsupervised 3D Instance Segmentation for Indoor Scenes
Technical University of Munich（慕尼黑工业大学）；Technion（以色列理工学院）；NVIDIA（英伟达）
UnScene3D提出首个全无监督室内三维实例分割方法，利用自监督颜色与几何特征生成伪掩码并结合几何过分割与自训练，将平均精度提升超过300%。
2024-04-30 cs.CV
Learning Instance-Aware Correspondences for Robust Multi-Instance Point Cloud Registration in Cluttered Scenes
National University of Defense Technology（国防科技大学）；Defense Innovation Institute, Academy of Military Sciences（军事科学院国防创新研究院）
针对杂乱场景多实例点云配准中对应关系易受背景和其他实例干扰的问题，提出由粗到细的 MIRETR，利用实例掩码提取可靠对应并进行候选优化，在 ROBI 上 F1 提升 16.6 分。
2024-04-06 cs.CV
Disentangling Instance and Scene Contexts for 3D Semantic Scene Completion
Huazhong University of Science and Technology（华中科技大学）
提出DISC双流范式，通过类查询替换体素查询并设计专门解码模块，解耦优化实例与场景上下文，在单帧输入下于SemanticKITTI和SSCBench-KITTI-360基准上实现SOTA性能并显著提升实例mIoU。
2025-07-11 cs.CV
InstDrive: Instance-Aware 3D Gaussian Splatting for Driving Scenes
University of Science and Technology Beijing（北京科技大学）
针对现有驾驶场景3D重建方法缺乏实例级理解、不适用于室外场景的问题，提出实例感知3D高斯泼溅框架InstDrive，结合SAM伪掩码、体素损失与轻量码本，首次在动态开放世界驾驶场景中实现3D实例分割。
2025-10-29 cs.CV
SCION: Scene Composition with Instanced Neural Primitives
Princeton University（普林斯顿大学）
SCION提出层次化组合场景表示，用可复用基元和轻量级实例替代独立高斯，实现紧凑、可控、可编辑的神经场景表示。
2026-10-06 cs.CV
DIAL-GS: Dynamic Instance Aware Reconstruction for Label-free Street Scenes with 4D Gaussian Splatting
Chenpeng Su ∗ , Wenhua Wu ∗ , Chensheng Peng, Tianchen Deng, Zhe Liu, Hesheng Wang †（无明确机构）
针对现有自监督街景重建方法无法区分动态对象的问题，提出DIAL-GS方法，通过4D高斯溅射实现实例感知的动态重建，性能优于现有基线。
2026-09-04 cs.CV
PixelLink: Detecting Scene Text via Instance Segmentation
Zhejiang University（浙江大学）；CVTE Research（CVTE研究院）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
大多数最先进的场景文本检测算法是基于深度学习的方法，其依赖于限界框回归并执行至少两种预测：文本/非文本分类和位置回归。在这些方法中，回归在边界框的获取中起着关键作用，但它不是必不可少的，因为文本/非文本预测也可以被认为是一种本身包含完整位置信息的语义分割。然而，场景图像中的文本实例通常彼此非常接近，使得它们很难通过语义分割分离。因此，需要实例分割来解决这个问题。提出了一种基于实例分割的场景文本检测算法PixelLink。文本实例首先通过将同一实例中的像素链接在一起来分割。然后直接从分割结果中提取文本边界框，而无需位置回归。实验表明，与基于回归的方法相比，PixelLink在多个基准测试中可以获得更好或相当的性能，同时需要更少的训练迭代次数和更少的训练数据。
2018-01-04 cs.CV
Semantic Instance Annotation of Street Scenes by 3D to 2D Label Transfer
University of Washington（华盛顿大学）；MPI for Intelligent Systems Tübingen（图宾根马克斯·普朗克智能系统研究所）
语义标注对于对象识别、语义分割或场景理解的训练模型至关重要。不幸的是，在非常大的规模上对图像进行像素级注释是劳动密集型的，并且只有很少的标记数据可用，特别是在实例级和街道场景中。在本文中，我们建议通过将语义实例标记任务从2D提升到3D来解决这个问题。鉴于从立体或激光数据重建，我们注释静态的3D场景元素与粗糙的边界图元，并开发一个模型，将此信息转移到图像域。我们利用我们的方法来获得一个新的郊区的视频数据集，我们已经收集了2D标签，导致400k的语义和实例图像注释。我们的方法与最先进的标签传输基线的比较表明，3D信息可以实现更有效的注释，同时提高准确性和时间一致性标签。
2016-04-12 cs.CV
IPFormer: Visual 3D Panoptic Scene Completion with Context-Adaptive Instance Proposals
Fraunhofer Institute IVI（弗劳恩霍夫研究所IVI）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of California, Los Angeles（加州大学洛杉矶分校）
IPFormer通过上下文自适应实例提案实现视觉3D全景场景补全，提升场景理解与泛化能力。
2026-01-24 cs.CV
IS-Fusion: Instance-Scene Collaborative Fusion for Multimodal 3D Object Detection
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；University of Macau（澳门大学）；The University of Hong Kong（香港大学）；Inceptio（嬴彻科技）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Zhejiang University（浙江大学）
针对BEV表示中目标小、点云稀疏导致3D感知困难的问题，提出多模态融合框架IS-Fusion，通过分层场景融合和实例引导融合模块联合捕获实例与场景级上下文，生成实例感知BEV表示，在nuScenes基准上超越现有方法。
2024-03-22 cs.CV
InstaScene: Towards Complete 3D Instance Decomposition and Reconstruction from Cluttered Scenes
State Key Lab of CAD & CG（CAD与CG国家重点实验室）；ByteDance（字节跳动）
本文提出 InstaScene，通过空间对比学习和原位生成，在杂乱场景中实现任意实例的精确分解与几何忠实的完整三维重建。
2025-07-21 cs.CV
MIDI: Multi-Instance Diffusion for Single Image to 3D Scene Generation
Beihang University（北京航空航天大学）；VAST；Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
MIDI提出多实例扩散模型，将单图像三维生成从单对象扩展到多对象场景，通过多实例注意力机制同时生成多个三维实例并保持空间关系，在合成、真实和风格化场景上取得领先性能。
2025-07-17 cs.CV
Consensus Feature Network for Scene Parsing
Baidu Research（百度研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
场景解析是具有挑战性的，因为它的目的是分配一个语义类别的场景图像中的每个像素。因此，像素级特征是场景解析所需的。然而，分类网络是由判别部分主导的，因此直接将分类网络应用于场景解析将导致同一实例内以及同一类别的实例之间的解析预测不一致。为了解决这个问题，我们提出了两个变换单元来学习像素级一致性特征。一个是实例一致性转换（ICT）单元，通过聚合同一实例中的特征来学习实例级一致性特征。另一个是类别一致性变换（CCT）单元，通过保持场景图像中同一类别实例之间特征的一致性来追求类别级一致性特征。拟议的信息和通信技术股和有条件现金流股重量轻、以数据为驱动力、可进行端到端培训。这两个单元学习的特征在实例级和类别级都更加一致。此外，我们提出了共识特征网络（CFNet）的基础上提出的ICT和CCT单位，并证明了我们的方法中的每个组件的有效性，通过进行广泛的消融实验。最后，我们提出的CFNet在四个数据集上实现了具有竞争力的性能，包括Cityscapes，Pascal Context，CamVid和COCO Stuff。
2019-12-01 cs.CV
All Grains, One Scheme (AGOS): Learning Multi-grain Instance Representation for Aerial Scene Classification
Wuhan University（武汉大学）；University of California, San Diego（加州大学圣地亚哥分校）
空中场景分类仍然具有挑战性：1）确定场景方案的关键对象的大小变化很大; 2）许多与场景方案无关的对象经常淹没在图像中。因此，如何有效地从各种大小的感兴趣区域（ROI），并建立更多的歧视性表示，从这样复杂的对象分布是至关重要的理解空中场景。在本文中，我们提出了一种新的全谷物，一个计划（AGOS）的框架来应对这些挑战。据我们所知，这是第一个将经典的多示例学习扩展到多粒度公式化的工作。该模型由多粒度感知模块（MGP）、多分支多实例表示模块（MBMIR）和自对准语义融合模块（SSF）组成。首先，我们的MGP保留了来自骨干的差分膨胀卷积特征，这放大了来自多颗粒的鉴别信息。然后，我们的MBMIR突出了MIL制定下的多粒度表示的关键实例。最后，我们的SSF允许我们的框架从多粒度的实例表示中学习相同的场景方案，并将它们融合，从而使整个框架作为一个整体进行优化。值得注意的是，我们的AGOS非常灵活，可以以即插即用的方式轻松适应现有的CNN。UCM，AID和NWPU基准上的大量实验表明，我们的AGOS实现了与最先进的方法相当的性能。
2022-05-06 cs.CV
Instance Segmentation in 3D Scenes using Semantic Superpoint Tree Networks
South China University of Technology（华南理工大学）；DexForce Technology Co., Ltd.（德福斯科技有限公司）；Pazhou Laboratory（琶洲实验室）；Peng Cheng Laboratory（鹏城实验室）
三维场景中的实例分割是场景理解的基础。由于数据不规则性和实例数量不确定性的复合因素，这仍然具有挑战性。最先进的方法在很大程度上依赖于一个通用管道，该管道首先学习在语义和实例级别上有区别的逐点特征，然后是用于提出对象实例的单独的点分组步骤。虽然很有前途，但它们的缺点是：（1）第二步不受实例分割的主要目标的监督，以及（2）它们的逐点特征学习和分组对于处理数据不规则性不太有效，可能导致碎片分割。为了解决这些问题，我们在这项工作中提出了一个端到端的解决方案的语义超点树网络（SSTNet）提出对象实例从场景点。SSTNet中的关键是一个中间的语义超点树（SST），它是基于学习到的超点语义特征构建的，并且将在中间树节点处被遍历和分裂，用于对象实例的建议。我们还在SSTNet中设计了一个细化模块，称为CSTNet，以修剪可能被错误地分组到实例提案中的超点。在ScanNet和S3DIS上的实验表明了该方法的有效性。在提交时，SSTNet在ScanNet（V2）排行榜上排名第一，mAP比第二好的方法高2%。PyTorch的源代码可以在https://github.com/Gorilla-Lab-SCUT/SSTNet上找到。
2021-08-17 cs.CV
IDSplat: Instance-Decomposed 3D Gaussian Splatting for Driving Scenes
Zenseact；Chalmers University of Technology（瑞典查尔姆斯理工大学）；University of Amsterdam（阿姆斯特丹大学）
IDSplat通过实例分解和可学习运动轨迹重建动态驾驶场景，无需人工标注，实现场景分离与泛化。
2026-03-23 cs.CV
ASSIST-3D: Adapted Scene Synthesis for Class-Agnostic 3D Instance Segmentation
ASSIST-3D通过异构对象选择、场景布局生成和点云构建，提升无类别3D实例分割的泛化能力。
2025-12-10 cs.CV
Large Scale Joint Semantic Re-Localisation and Scene Understanding via Globally Unique Instance Coordinate Regression
University of Cambridge（剑桥大学）
在这项工作中，我们提出了一种新的方法，联合语义定位和场景理解。我们的工作是出于对定位算法的需求，这些算法不仅可以预测6-DoF相机姿态，还可以同时识别周围的物体并估计3D几何形状。这种能力对于与环境交互的计算机视觉引导系统至关重要：自动驾驶，增强现实和机器人技术。特别是，我们提出了一个两步程序。在第一步中，我们训练一个卷积神经网络，以联合预测静态对象（例如建筑物）的每个实例的每像素全局唯一实例标签和相应的局部坐标。在第二步中，我们通过结合对象中心坐标和局部坐标来获得场景坐标，并使用它们来执行6-DoF相机位姿估计。我们在真实世界（CamVid-360）和人工（SceneCity）自动驾驶数据集上评估了我们的方法。我们获得更小的平均距离和角度误差比国家的最先进的6自由度姿态估计算法的基础上直接姿态回归和姿态估计从场景坐标的所有数据集。我们的贡献包括：（i）作为对象实例识别和局部坐标回归的两个独立任务的场景坐标回归的新公式化，以及我们提出的解决方案允许预测静态对象的准确3D几何形状并在（ii）比场景坐标回归方法先前尝试的大几个数量级的地图上估计相机的6-DoF姿态的演示，以及（iii）轻量级，从3D图元（如建筑物对齐的长方体）构建的近似3D贴图。
2019-09-23 cs.CV
Multiple instance dense connected convolution neural network for aerial image scene classification
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）；Faculty of Information Engineering, China University of Geosciences（中国地质大学（武汉）信息工程学院）
随着深度学习的发展，许多最先进的自然图像场景分类方法已经表现出令人印象深刻的性能。当前的卷积神经网络倾向于提取场景中的全局特征和全局语义信息，而地理空间对象可以位于航拍图像场景中的任何位置，并且它们的空间布置趋于复杂。一种可能的解决方案是保留更多的本地语义信息并增强特征传播。提出了一种端到端的多实例稠密连接卷积神经网络（MIDCCNN）用于航空影像场景分类。首先，建立一个23层的稠密连接卷积神经网络（DCCNN），并作为骨干提取卷积特征。它能够保持中低层卷积特征。然后，提出了一种基于注意力的多实例池，以突出航空图像场景中的局部语义。最后，我们最大限度地减少袋级预测和地面真值标签之间的损失，以便可以直接训练整个框架。在三个航空图像数据集上的实验表明，我们提出的方法可以大大优于当前基线。
2019-08-22 cs.CV
Consistent Instance Field for Dynamic Scene Understanding
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；United Imaging Intelligence（联合影像智能）
本文提出了一种基于变形3D高斯的连续概率时空表示，用于动态场景理解，通过解耦可见性与实例身份，提升新颖视角分割和开放词汇4D查询任务的性能。
2025-12-16 cs.CV
Director: Instance-aware Gaussian Splatting for Dynamic Scene Modeling and Understanding
ShanghaiTech University（上海科技大学）；ByteDance（字节跳动）
Director通过联合建模人类性能、高保真渲染和实例级语义，实现动态场景的时空高斯表示，提升动态场景理解的稳定性与准确性。
2026-04-02 cs.CV
Panoptic 3D Scene Reconstruction From a Single RGB Image
Technical University of Munich（慕尼黑工业大学）
从单个图像中理解3D场景是各种任务的基础，例如机器人、运动规划或增强现实。现有的从单个RGB图像进行3D感知的工作倾向于仅关注几何重建，或者关注具有语义分割或实例分割的几何重建。受2D全景分割的启发，我们提出将几何重建、3D语义分割和3D实例分割的任务统一到全景3D场景重建的任务中-从单个RGB图像，预测图像的相机截头体中场景的完整几何重建，以及语义和实例分割。因此，我们提出了一种新的方法，从一个单一的RGB图像的整体三维场景理解，学习提升和传播2D功能从输入图像的三维体积场景表示。我们证明，这种整体视图的联合场景重建，语义，和实例分割是有益的独立处理的任务，从而优于其他方法。
2022-05-16 cs.CV
SAMV-DUSt3R: Instance-Centric 3D Scene Decoupling from Sparse Multi-Views
Northeastern University（东北大学）
提出SAMV-DUSt3R，将SAM2掩码注入MV-DUSt3R，通过交叉流掩码块和空间RankGNN实现实例级三维解耦，精度提升11%。
2026-09-11 cs.CV
Training-Free Instance-Aware 3D Scene Reconstruction and Diffusion-Based View Synthesis from Sparse Images
The University of Adelaide（阿德莱德大学）
本文提出一种无需训练的系统，从稀疏未定位RGB图像重建、理解并渲染3D室内场景，通过点云重建、2D到3D实例提升和扩散模型渲染实现高保真结果，支持实例编辑。
2026-03-22 cs.CV
FurnSet: Exploiting Repeats for 3D Scene Reconstruction
University of Calgary（卡尔加里大学）
FurnSet通过显式识别和利用重复物体实例提升3D场景重建质量，结合场景级和物体级条件引导重建，并利用点云优化布局。
2026-04-22 cs.CV
DepR: Depth Guided Single-view Scene Reconstruction with Instance-level Diffusion
ShanghaiTech University（上海科技大学）；UC San Diego（加州大学圣地亚哥分校）；Lambda, Inc.（Lambda公司）；Stanford University（斯坦福大学）
本研究提出深度引导的单视角场景重建框架DepR，通过在训练与推理全程利用深度信息，结合实例级扩散与组合式范式，在有限合成数据训练下实现了SOTA性能与强泛化性。
2025-07-30 cs.CV
U4D: Unsupervised 4D Dynamic Scene Understanding
University of Surrey（萨里大学）
我们介绍了第一种方法来解决具有挑战性的问题，无监督的4D视觉场景理解的复杂动态场景与多个交互的人从多视角视频。我们的方法同时估计一个详细的模型，其中包括每像素的语义和时间相干重建，以及利用照片的一致性，语义和运动信息的实例级分割。我们进一步利用最近的进展，在三维姿态估计约束联合语义实例分割和四维时间相干重建。这使得在复杂的动态场景中的多个交互的人的每个人的语义实例分割成为可能。对具有挑战性的室内和室外序列的最先进的方法的联合视觉场景理解框架的广泛评估表明，在语义分割，重建和场景流的准确性显着（约40%）的改善。
2019-07-23 cs.CV
RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction
SRIBD CUHKSZ（香港中文大学（深圳）机器人与人工智能研究院）；Bournemouth University（伯恩茅斯大学）；Technical University of Munich（慕尼黑工业大学）
从点云的语义场景理解是特别具有挑战性的，因为点仅反映底层3D几何的稀疏集合。以往的工作通常是将点云转换为规则的网格（如体素或鸟瞰图），并采用基于网格的卷积来进行场景理解。在这项工作中，我们引入了RfD-Net，它可以直接从原始点云联合检测和重建密集的物体表面。我们的方法不是用规则的网格来表示场景，而是利用点云数据的稀疏性，并专注于预测具有高对象性的形状。通过这种设计，我们将实例重建解耦为全局对象定位和局部形状预测。它不仅减轻了从稀疏3D空间学习2D流形表面的困难，每个对象建议中的点云传达了支持隐式函数学习的形状细节，以重建任何高分辨率表面。我们的实验表明，实例检测和重建呈现互补的效果，其中形状预测头在改进目标检测与现代3D建议网络骨干上显示出一致的效果。定性和定量的评估进一步表明，我们的方法始终优于国家的最先进的，并提高了超过11的网格IoU在对象重建。
2020-11-30 cs.CV
Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds
Bosch Research, Robert Bosch GmbH（博世研究，罗伯特·博世有限公司）；Institute for Neuro- and Bioinformatics, University of Lübeck（神经与生物信息学研究所，吕贝克大学）
本文提出PointINS框架，通过几何感知学习增强点云表示，引入ODR和SCR正则化策略，提升实例定位性能，在多个数据集上实现更优的mAP和PQ指标。
2026-09-15 cs.CV
FAST3DIS: Feed-forward Anchored Scene Transformer for 3D Instance Segmentation
Goertek Alpha Labs（歌尔阿尔法实验室）
本文提出FAST3DIS，一种端到端的3D实例分割方法，通过前馈锚定场景Transformer避免后处理聚类，提升分割精度与效率。
2026-03-27 cs.CV
Learning to Predict More Accurate Text Instances for Scene Text Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
目前，基于深度神经网络的多方向文本检测方法在各种基准测试中取得了令人满意的性能。然而，任意形状文本的检测仍然存在一些困难，特别是对于任意形状文本实例的简单和适当的表示。在本文中，提出了一种基于像素的文本检测器，以方便在一个简单的方式表示和预测的任意形状的文本实例。首先，为了减轻目标顶点排序的影响，实现任意形状文本实例的直接回归，提出了与起点无关的坐标回归损失。此外，为了预测更准确的文本实例，文本实例准确性损失被提出作为辅助任务，以细化预测坐标的指导下IoU。为了评估我们的检测器的有效性，广泛的实验已经进行了公共基准测试，其中包含任意形状的文本实例和多方向的文本实例。在Total-Text基准测试中，我们获得了84.8%的F-测度。实验结果表明，该方法可以达到最佳的性能。
2020-04-16 cs.CV
Point Scene Understanding via Disentangled Instance Mesh Reconstruction
Peking University（北京大学）；Chinese University of Hong Kong（香港中文大学）
基于点云的语义场景重建是三维场景理解的一项重要而又具有挑战性的任务。该任务不仅需要识别场景中的每个实例，还需要基于部分观察点云恢复它们的几何形状。现有的方法通常尝试基于来自基于检测的主干的不完整点云建议来直接预测完整对象的占用值。然而，该框架总是无法重建高保真网格由于各种检测到的假阳性对象的建议和不完整的点观测学习完整对象的占用值的模糊性的障碍。为了克服这一障碍，我们提出了一个有效点场景理解的解纠缠实例网格重建（DIMR）框架。一个基于分割的骨干应用，以减少假阳性的对象建议，这进一步有利于我们对识别和重建之间的关系的探索。基于准确的建议，我们利用网格感知的潜在代码空间来解开形状完成和网格生成的过程，减轻不完整的点观测引起的歧义。此外，通过在测试时访问CAD模型池，我们的模型还可以通过执行网格检索来提高重建质量，而无需额外的训练。我们彻底评估重建的网格质量与多个指标，并证明我们的方法在具有挑战性的ScanNet数据集上的优越性。代码可在\url{https://github.com/ashawkey/dimr}上获得。
2022-07-18 cs.CV
ReScene4D: Temporally Consistent Semantic Instance Segmentation of Evolving Indoor 3D Scenes
Stanford University（斯坦福大学）；Meta Reality Labs Research（Meta现实实验室）
ReScene4D提出了一种新的4D室内语义实例分割方法，通过时空对比损失、掩码和序列化技术，在无需密集观测的情况下实现实例跟踪和性能提升，引入t-mAP指标评估时空一致性。
2026-04-01 cs.CV
Inst3D-LMM: Instance-Aware 3D Scene Understanding with Multi-modal Instruction Tuning
Zhejiang University（浙江大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对现有3D场景理解LMM忽略2D-3D特征交互与空间关系的问题，提出Inst3D-LMM模型，通过MCMF与3D-ISR模块实现多模态融合与空间关系建模，端到端多任务指令调优后在多项3D任务上超越SOTA。
2025-06-16 cs.CV
HUNTER: Unsupervised Human-centric 3D Detection via Transferring Knowledge from Synthetic Instances to Real Scenes
ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Innovation Academy for Microsatellites, Chinese Academy of Sciences（中国科学院微小卫星创新研究院）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
提出无监督3D检测方法HUNTER，通过从合成人体实例向真实场景迁移知识，解决以人为中心场景标注数据不足的问题，在HuCenLife数据集上mAP提升87.8%，接近监督方法性能。
2024-03-15 cs.CV
Gaussian Difference: Find Any Change Instance in 3D Scenes
College of Computer Science and Technology, Civil Aviation University of China（中国民航大学计算机科学与技术学院）
针对非受控3D场景中的实例级变化检测难题，提出基于4D高斯嵌入与标识符比较的新方法，显著优于现有技术，具备高精度和光照鲁棒性。
2025-02-24 cs.CV
I3CL:Intra- and Inter-Instance Collaborative Learning for Arbitrary-shaped Scene Text Detection
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
用于自然场景中的任意形状文本检测的现有方法面临两个关键问题，即，1)在文本实例中的间隙处的断裂检测;以及2）具有不同背景上下文的任意形状的文本实例的不准确检测。为了解决这些问题，我们提出了一种新的方法命名为内和实例间协作学习（I3 CL）。具体来说，为了解决第一个问题，我们设计了一个具有多个感受野的有效卷积模块，它能够在文本实例中的局部和长范围内协作学习更好的字符和间隙特征表示。为了解决第二个问题，我们设计了一个基于实例的Transformer模块，利用不同文本实例之间的依赖关系和一个全局上下文模块，利用语义上下文从共享的背景，这是能够协作学习更多的歧视性文本特征表示。通过这种方式，I3 CL可以在统一的端到端可训练框架中有效地利用实例内和实例间的依赖关系。此外，为了充分利用未标记的数据，我们设计了一种有效的半监督学习方法，通过集成策略来利用伪标签。在没有花里胡哨的情况下，实验结果表明，所提出的I3 CL在三个具有挑战性的公共基准上设置了新的最先进的结果，即，ICDAR 2019-ArT的F测量值为77.5%，Total-Text为86.9%，CTW-1500为86.4%。值得注意的是，我们采用ResNeSt-101主干的I3 CL在ICDAR 2019-ArT排行榜上排名第一。源代码将在https://github.com/ViTAE-Transformer/ViTAE-Tran…
2022-04-20 cs.CV
Scene Graph Generation via Conditional Random Fields
本文提出 SG-CRF 场景图生成模型，通过建模关系三元组主宾语顺序及节点语义兼容性，在 CLEVR、VRD 和 Visual Genome 上提升 Recall@100。
2024-01-23 cs.CV
Towards 3D Object-Centric Feature Learning for Semantic Scene Completion
本文提出Ocean框架，通过分解场景为独立物体实例，提升语义场景补全的精度和性能。
2025-12-22 cs.CV
Instance-incremental Scene Graph Generation from Real-world Point Clouds via Normalizing Flows
Beijing University of Posts and Telecommunications（北京邮电大学）；China Academy of Railway Sciences Corporation Limited（中国铁道科学研究院集团有限公司）
针对真实点云场景的实例增量式场景图生成任务，提出基于归一化流的3D自回归框架3D-ANF，在室内外数据集上均取得最优性能，可支撑AR等应用的物体插入需求。
2023-08-28 cs.CV
Holo-Captioning: Toward the Text Equivalent of 3D Scenes
Visual AI Lab, The University of Hong Kong（香港大学视觉人工智能实验室）；Frontier Robotics（前沿机器人）
研究提出全息字幕任务，先将其定义为生成结构化文本描述，开发字幕引擎及大规模基准，在此基础上提出HoloScribe模型，还给出评估指标和测试集，该模型性能超现有方法。
2026-07-07 cs.CV
DeepSportLab: a Unified Framework for Ball Detection, Player Instance Segmentation and Pose Estimation in Team Sports Scenes
UCLouvain（鲁汶大学）；SportRadar AG（SportRadar公司）
本文提出了一个统一的框架，（i）定位球，（ii）预测的姿态，（iii）分割的团队运动场景中的球员的实例面具。这些问题在自动化体育分析，制作和广播中具有很高的兴趣。一种常见的做法是通过利用通用的最先进的模型\eg、Panoptic-DeepLab来单独解决每个问题。除了由单任务模型的倍增导致的增加的复杂性之外，由于团队运动场景的复杂性和特异性，例如强遮挡和运动模糊，使用现成模型也阻碍了性能。为了克服这些局限性，我们提出了一个训练单一的模型，同时预测球和球员面具和姿势相结合的部分强度场和空间嵌入原则。部分强度字段提供球和球员位置，以及球员关节位置。然后利用空间嵌入将玩家实例像素与其各自的玩家中心相关联，但也将玩家关节分组为骨架。我们在DeepSport篮球数据集上证明了所提出的模型的有效性，实现了与单独处理每个任务的SoA模型相当的性能。
2021-12-01 cs.CV
SRDA: Generating Instance Segmentation Annotation Via Scanning, Reasoning And Domain Adaptation
Shanghai Jiaotong University（上海交通大学）
实例分割是计算机视觉中的一个重要问题。然而，为这项任务准备带注释的数据是非常耗时和昂贵的。通过结合3D扫描，推理和基于GAN的领域自适应技术的优点，我们引入了一种名为SRDA的新管道，以非常小的努力获得大量的训练样本。我们的管道非常适合可扫描的场景，即大多数室内和一些室外场景。为了评估我们的性能，我们构建了三个代表性的场景和一个新的数据集，其中包含各种常见对象类别的3D模型和带注释的真实场景图像。大量的实验表明，我们的流水线可以实现体面的实例分割性能给出非常低的人力成本。
2018-07-13 cs.CV
AG$^2$aussian: Anchor-Graph Structured Gaussian Splatting for Instance-Level 3D Scene Understanding and Editing
Shandong University（山东大学）
本文提出AG$^2$aussian框架，利用锚点图结构组织语义特征并规范高斯基元，实现干净准确的实例级高斯选择，在交互查询、开放词汇查询、物体移除和物理模拟等应用中展现出优势。
2025-08-03 cs.CV
Superpoint Transformer for 3D Scene Instance Segmentation
South China University of Technology（华南理工大学）
现有的三维实例分割方法大多是通过扩展用于三维目标检测或三维语义分割的模型来实现的。然而，这些非直接的方法有两个缺点：1）不精确的边界框或不令人满意的语义预测限制了整个3D实例分割框架的性能。2)现有的方法需要一个耗时的聚合中间步骤。针对这些问题，提出了一种基于Superpoint Transformer的端到端三维实例分割方法SPFormer。它将点云中的潜在特征组合成超点，通过查询向量直接预测实例，而不依赖于目标检测或语义分割的结果。该框架的关键是一个新颖的查询解码器和Transformers器，它可以通过超点交叉注意力机制捕获实例信息，并生成实例的超点掩码。SPFormer通过基于超点掩码的二分匹配实现网络训练，不需要中间的聚合步骤，加快了网络的速度。在ScanNetv2和S3DIS基准测试上的大量实验验证了该方法的简洁性和有效性。值得注意的是，SPFormer在ScanNetv2隐藏测试集上的mAP方面超过了最先进的方法4.3%，同时保持了快速的推理速度（每帧247 ms）。代码可在https://github.com/sunjiahao1999/SPFormer上获得。
2022-11-28 cs.CV
Plug-and-Play DISep: Separating Dense Instances for Scene-to-Pixel Weakly-Supervised Change Detection in High-Resolution Remote Sensing Images
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）；Institute of Artificial Intelligence, Wuhan University（武汉大学人工智能研究院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Graduate School of Frontier Sciences, University of Tokyo（东京大学前沿科学研究生院）；Institute of Geodesy and Photogrammetry, ETH Zürich（苏黎世联邦理工学院大地测量与摄影测量研究所）
针对弱监督变化检测中密集变化实例粘连问题，提出即插即用的DISep三步迭代训练方法，以极小训练成本增强多种WSCD及全监督方法并达到SOTA。
2025-01-10 cs.CV
Fused Text Segmentation Networks for Multi-oriented Scene Text Detection
Shanghai Jiao Tong University（上海交通大学）；Westone Cryptologic Research Center（威斯顿密码学研究中心）；Xiamen No.1 High School（厦门第一中学）
本文从实例感知的语义分割角度提出了一种面向多方向场景文本检测的端-端框架。我们提出了融合文本分割网络，它在特征提取过程中结合了多层次特征，因为文本实例可能依赖于比一般对象更精细的特征表达。该算法结合语义分割任务和基于区域建议的目标检测任务的优点，同时对文本实例进行检测和分割。在不涉及任何额外管道的情况下，我们的方法在多方向场景文本检测基准上超过了当前最先进的水平：ICDAR 2015偶然场景文本和MSRA-TD 500分别达到Hmean 84.1%和82.0%。此外，我们报告了包含弯曲文本的总文本的基线，这表明所提出的方法的有效性。
2018-05-07 cs.CV
EgoSplat: Open-Vocabulary Egocentric Scene Understanding with Language Embedded 3D Gaussian Splatting
Xidian University（西安电子科技大学）；Sun Yat-sen University（中山大学）
本文提出EgoSplat框架，结合SAM2多视图实例特征聚合与时空瞬态预测，在开放词汇第一人称场景理解的定位和分割任务上取得新SOTA。
2025-03-14 cs.CV
