FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos
Qualcomm Technologies, Inc.（高通技术公司）；University of Cambridge（剑桥大学）
FastCAD提出一种实时单阶段方法，同时检索并对齐场景中所有物体的CAD模型，通过对比学习蒸馏形状嵌入，在Scan2CAD基准上超越现有方法并实现50倍加速，显著提升视频设置下的对齐与重建准确率。
2024-03-22 cs.CV
MiCADangelo: Fine-Grained Reconstruction of Constrained CAD Models from 3D Scans
SnT, University of Luxembourg（斯蒂尔研究所，卢森堡大学）
提出受人类设计师启发的CAD逆向工程方法，利用多平面横截面提取2D图案，首次将草图约束纳入重建，实现细粒度可编辑模型，优于现有技术。
2025-10-27 cs.CV
SHARP Challenge 2023: Solving CAD History and pArameters Recovery from Point clouds and 3D scans. Overview, Datasets, Metrics, and Baselines
Artec 3D（Artec 3D公司）
SHARP挑战赛2023通过专门数据集和赛道，推动从3D扫描中逆向工程CAD模型的研究，提出基线方法和评估指标，并公开数据集与工具。
2023-08-30 cs.CV
DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents
DreamTraj利用含细粒度指令的MOVE数据集，从单张RGB图像和任务指令读取冻结视频扩散模型中间表示，直接解码6自由度物体轨迹，性能优于传统方法且速度提升4.6倍。
2026-08-04 cs.CV
HOC-Search: Efficient CAD Model and Pose Retrieval from RGB-D Scans
Graz University of Technology（格拉茨技术大学）；École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
提出一种基于RGB-D扫描的高效CAD模型与位姿自动化检索方法，利用“渲染并比较”目标函数和受蒙特卡洛树搜索启发的快速搜索树，在给定3D边界框下同时检索物体类别、模型及位姿，速度比穷举搜索快10至120倍。
2023-09-12 cs.CV
SceneCAD: Predicting Object Alignments and Layouts in RGB-D Scans
Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）；Occipital Inc.（Occipital公司）
我们提出了一种新的方法来重建轻量级的，基于CAD的表示商品RGB-D传感器扫描的3D环境。我们的主要思想是共同优化的CAD模型对齐以及布局估计的扫描场景，明确建模对象之间的相互关系对象和对象布局。由于对象的安排和场景布局是内在耦合，我们表明，共同处理的问题显着有助于产生全局一致的表示场景。通过建立几何体之间的密集对应关系，将CAD对象模型与场景对齐，并引入层次化布局预测方法，从场景的角点和边估计布局平面，为此，提出了一种消息传递图神经网络来建模对象与布局之间的相互关系，指导场景中全局对象对齐的生成.通过考虑全局场景布局，与最先进的方法相比，我们实现了显着改进的CAD对齐，在SUCG上的对齐准确度从41.83%提高到58.41%，在ScanNet上的对齐准确度从50.05%提高到61.24%。由此产生的CAD为基础的表示，使我们的方法非常适合在内容创建，如增强或虚拟现实的应用程序。
2020-03-27 cs.CV
MF-UAVPose6D: A Model-Free Monocular 6-DoF Pose Estimation Framework for Fixed-Wing UAVs
School of Aerospace Engineering, Beijing Institute of Technology（北京理工大学航空工程学院）；Technology Innovation Institute（技术创新研究所）
提出一种无模型单目6自由度姿态估计框架MF-UAVPose6D，通过热图引导中心定位、视角感知模块、动态拓扑采样和解耦平移旋转解码，实现无需CAD模型的固定翼无人机姿态估计。
2026-06-29 cs.CV cs.RO
PvDeConv: Point-Voxel Deconvolution for Autoencoding CAD Construction in 3D
SnT, University of Luxembourg（卢森堡大学SnT）；Artec3D
我们提出了一个点体素反卷积（PVDeConv）模块的三维数据自动编码。为了证明其效率，我们学习合成10 k个点的高分辨率点云，这些点密集地描述了计算机辅助设计（CAD）模型的底层几何形状。扫描伪影，如突起、缺失零件、平滑边缘和孔，不可避免地出现在制造的CAD对象的真实3D扫描中。从3D扫描学习原始CAD模型构造需要地面实况与对象的相应3D扫描一起可用。为了解决这一差距，我们引入了一个新的专用数据集CC 3D，其中包含50 k+对CAD模型及其相应的3D网格。该数据集用于学习从成对的3D扫描- CAD模型中采样的点云的卷积自动编码器。与在ShapeNet上训练的其他生成点云采样模型相比，这个新数据集的挑战得到了证明。与最先进的3D数据生成模型相比，CC 3D自动编码器在内存消耗和训练时间方面非常高效。
2021-01-12 cs.CV cs.LG
CAD-Estate: Large-scale CAD Model Annotation in RGB Videos
Google Research（谷歌研究院）；TUM（慕尼黑工业大学）
本文提出半自动RGB视频CAD标注方法，构建含101k实例、12k个CAD模型和20k个视频的CAD-Estate数据集，并验证其可提升Mask2CAD在Scan2CAD上的3D重建与位姿估计性能。
2023-08-14 cs.CV
CAD Priors for Accurate and Flexible Instance Reconstruction
Technische Universität München（慕尼黑工业大学）；Siemens AG（西门子公司）
我们提出了一种有效的和自动的方法，从多个，无组织和非结构化的点云，在存在动态的混乱和闭塞的情况下，大的3D对象的实例的准确重建。与传统的扫描，其中背景被假定为是相当静态的，我们的目标是在处理动态杂波的背景急剧变化的对象扫描过程中。目前，除非首先将感兴趣的对象从场景的其余部分中分割出来，否则用可用的方法来解决这个问题是乏味的。我们通过假设先前的CAD模型的可用性来解决这个问题，大致类似于要重建的对象。这种假设在工业检测或逆向工程等应用中几乎总是成立的。借助这种先验代理，我们提出了一种完全增强的管道，能够自动检测和分割场景中的感兴趣对象，并在线创建具有线性复杂性的姿态图。这允许初始扫描对准到CAD模型空间，然后在没有CAD约束的情况下对其进行细化，以完全恢复高保真度3D重建，精确到传感器噪声水平。我们还提出了一种新的目标检测方法，局部隐式形状模型（LISM），并给出了一个快速验证方案。我们在多个数据集上评估了我们的方法，证明了从小尺寸到$125m^3$精确重建对象的能力。
2017-08-16 cs.CV
Vid2CAD: CAD Model Alignment using Multi-View Constraints from Videos
Google Research（谷歌研究院）；Technical University of Munich（慕尼黑工业大学）
我们解决的任务是将CAD模型与包含多个对象的复杂场景的视频序列对齐。我们的方法可以处理任意视频，并完全自动恢复其中出现的每个对象的9 DoF姿态，从而将它们对齐到一个共同的3D坐标系中。我们的方法的核心思想是集成神经网络预测从各个帧的时间全局，多视图约束优化配方。该集成过程解决了每帧预测中的尺度和深度模糊性，并且通常改进了所有姿态参数的估计。通过利用多视图约束，我们的方法还解决了遮挡和处理在各个帧中的视图之外的对象，从而将所有对象重建为场景的单个全局一致的CAD表示。与我们建立的最先进的单帧方法Mask2CAD相比，我们在Scan2CAD数据集上实现了实质性的改进（从11.6%到30.7%的类平均准确度）。
2022-01-25 cs.CV
Leveraging Automatic CAD Annotations for Supervised Learning in 3D Scene Understanding
Inst. of Visual Computing, Graz Univ. of Technology, Austria（视觉计算研究所，格拉茨技术大学，奥地利）；LIGM, École des Ponts et Chaussees, IP Paris, CNRS, France（LIGM，巴黎理工学院，IP巴黎，CNRS，法国）
针对3D场景理解中人工3D标注难度大、成本高的问题，提出用自动CAD模型检索生成的标注作为监督训练真值，在ScanNet++ v1上验证其训练的模型在两项任务上优于人工标注训练的模型，并发布标注集与模型。
2025-05-16 cs.CV
BRep Boundary and Junction Detection for CAD Reverse Engineering
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH））；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道工业大学（RPTU Kaiserslautern-Landau））
本文提出了一种有监督的边界表示检测网络BRepDetNet，通过在训练期间最小化focal-loss和NMS，从3D扫描中检测BRep边界和交点，将Scan-to-CAD问题分解为Scan-to-BRep，为基于特征的CAD逆向工程建模提供了基础并取得了令人瞩目的结果。
2024-09-21 cs.CV cs.LG cs.MM
SPARC: Sparse Render-and-Compare for CAD model alignment in a single RGB image
University of Cambridge（剑桥大学）
从单个图像估计静态对象的3D形状和姿态对于机器人、增强现实和数字内容创建具有重要应用。这通常是通过直接网格预测来完成的，这会产生不切实际的、过度镶嵌的形状，或者通过将形状预测公式化为检索任务，然后进行CAD模型对齐。从二维图像特征直接预测CAD模型的位姿是困难和不准确的。一些作品，如ROCA，回归归一化的对象坐标，并使用这些计算姿势。虽然这可以产生更准确的姿态估计，但预测归一化的对象坐标容易出现系统故障。利用高效的Transformer架构，我们证明了一个稀疏的，迭代的，渲染和比较的方法是更准确和强大的，而不是依赖于归一化的对象坐标。为此，我们结合了2D图像信息，包括稀疏的深度和表面法线值，我们估计直接从图像与3D CAD模型信息在早期融合。特别是，我们以初始的随机姿势重新投影从CAD模型中采样的点，并计算它们的深度和表面法线值。该组合信息是位姿预测网络SPARC-Net的输入，我们训练SPARC-Net以预测9 DoF CAD模型位姿更新。CAD模型被再次重新投影，并且预测下一个姿态更新。我们的对齐过程仅经过3次迭代就收敛了，将具有挑战性的真实数据集ScanNet的最先进性能从25.0%提高到31.8%。代码将在https://github.com/florianlanger/SPARC上发布。
2022-10-03 cs.CV
MRC-Net: 6-DoF Pose Estimation with MultiScale Residual Correlation
Amazon Inc.（亚马逊公司）
提出MRC-Net，一种基于多尺度残差相关性层的两阶段单张RGB图像6自由度位姿估计方法，在四个BOP基准数据集上达到SOTA且无需复杂后处理。
2024-03-20 cs.CV
You Only Scan Once: A Dynamic Scene Reconstruction Pipeline for 6-DoF Robotic Grasping of Novel Objects
Advanced Robotics Centre, National University of Singapore（新加坡国立大学先进机器人中心）；Integrative Sciences and Engineering Programme, National University of Singapore Graduate School（新加坡国立大学研究生院整合科学与工程项目）
针对遮挡和动态环境导致抓取规划受限的问题，本文提出两阶段动态场景重建流水线，通过网格重建、新物体位姿跟踪与实时点云变换，显著提升6-DoF抓取算法精度。
2024-04-04 cs.CV cs.RO
CAOA -- Completion-Assisted Object-CAD Alignment
University at Albany（奥尔巴尼大学）
提出CAOA方法，结合语义感知点云补全和对称感知相对位姿估计，在Scan2CAD上实现17%精度提升，并发布S2C-Completion数据集。
2026-06-23 cs.AI cs.CV cs.LG
Floor-SP: Inverse CAD for Floorplans by Sequential Room-wise Shortest Path
Simon Fraser University（西蒙弗雷泽大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
本文提出了一种新的方法，自动平面图重建RGBD扫描，室内测绘研究的一个重要里程碑。该方法，被称为Floor-SP，制定了一个新的优化问题，其中房间坐标下降顺序解决动态规划优化布图结构。目标函数由深度神经网络引导的数据项、鼓励相邻房间共享角落和墙壁的一致性项以及模型复杂性项组成。与大多数其他方法不同，该方法不需要使用阈值进行角点/边缘检测。我们已经对527套公寓或房屋的生产质量RGBD扫描进行了评估，其中包括许多非曼哈顿结构的单位。定性和定量评估表明，与当前最先进的技术相比，性能有了显著的提高。请参阅我们的项目网站http://jcchen.me/floor-sp/获取代码和数据。
2019-08-19 cs.CV
View2CAD: Reconstructing View-Centric CAD Models from Single RGB-D Scans
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）
提出从单张RGB-D图像精确重建CAD形状的方法，引入以视图为中心的VB-Rep表示处理可见性与几何不确定性，结合全景分割与迭代几何优化，在合成与真实数据上实现高质量重建并弥合现实差距。
2025-04-05 cs.CV cs.GR
Zero-shot Inexact CAD Model Alignment from a Single Image
VISTEC, Thailand（泰国VISTEC）；Technical University of Munich, Germany（德国慕尼黑技术大学）
本文提出一种无需位姿标注的弱监督9自由度对齐方法，利用基础特征构建多视图一致特征空间并结合纹理不变位姿细化，在ScanNet25k和SUN2CAD上取得最优结果。
2025-07-04 cs.CV
Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image
Google Research, Brain Team（谷歌研究院，大脑团队）；Technical University of Munich（慕尼黑工业大学）
从RGB图像输入的物体形状的3D感知是语义场景理解的基础，在我们的空间三维现实世界环境中基于图像的感知。为了实现对象的图像视图和3D形状之间的映射，我们利用现有的大型数据库中的CAD模型先验，并提出了一种新的方法来构建一个联合嵌入空间之间的2D图像和3D CAD模型在一个补丁明智的方式-建立一个对象的图像视图的补丁和补丁的CAD几何形状之间的对应关系。这使得能够进行零件相似性推理，以检索与新图像视图相似的CAD，而无需在数据库中进行精确匹配。我们的补丁嵌入提供了更强大的CAD检索的形状估计在我们的端到端的CAD模型的形状和姿态的估计在一个单一的输入图像中检测到的对象。在野外，复杂的图像从ScanNet的实验表明，我们的方法是更强大的比最先进的在现实世界中的场景没有任何确切的CAD匹配。
2021-08-20 cs.CV
DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image
Technical University of Munich（慕尼黑工业大学）
DiffCAD提出首个弱监督概率性CAD检索与对齐方法，利用扩散模型从单张RGB图像生成多假设CAD重建，仅用合成数据训练即可在Scan2CAD上超越有监督SOTA 5.9%。
2024-06-06 cs.CV
ROCA: Robust CAD Model Retrieval and Alignment from a Single Image
Technical University of Munich（慕尼黑工业大学）
我们提出了ROCA，一种新的端到端的方法，检索和对齐3D CAD模型从形状数据库到一个单一的输入图像。这使得能够从2D RGB观察到观察到的场景的3D感知，其特征在于轻量、紧凑、干净的CAD表示。我们的方法的核心是基于密集的2D-3D对象对应和Procrustes对齐的可微对齐优化。因此，ROCA可以提供鲁棒的CAD对齐，同时通过利用2D-3D对应来学习几何相似的CAD模型来通知CAD检索。在ScanNet的具有挑战性的真实图像上进行的实验表明，ROCA在检索感知CAD对齐准确度方面从9.5%显著提高到17.6%。
2022-07-24 cs.CV cs.GR cs.LG
Accurate Instance-Level CAD Model Retrieval in a Large-Scale Database
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了一种新的解决方案，从大型数据库中细粒度检索干净的CAD模型，以恢复RGBD扫描的详细对象形状的几何形状。不像以前的工作只是索引到一个适度的小数据库中使用的对象形状描述符，并接受顶级检索结果，我们认为，在一个大规模的数据库的情况下，更准确的模型可以在附近的描述符。更重要的是，我们建议，形状描述符在实例级别的独特性不足，可以弥补基于几何的重新排名其邻域。我们的方法首先利用学习表示的区分能力来区分不同类别的模型，然后使用一种新的鲁棒点集距离度量来重新排序CAD邻域，从而在大型形状数据库中实现细粒度检索。在真实世界数据集上的评估表明，我们的基于几何的重新排序是一个概念上简单，但非常有效的方法，可以导致显着提高检索精度相比，国家的最先进的。
2022-07-04 cs.CV
OnePose: One-Shot Object Pose Estimation without CAD Models
Zhejiang University（浙江大学）；TUM（慕尼黑工业大学）；SenseTime Research（商汤科技研究院）
我们提出了一种新的方法命名为OnePose的物体姿态估计。与现有的实例级或类别级方法不同，OnePose不依赖于CAD模型，可以处理任意类别的对象，而无需特定于实例或类别的网络训练。OnePose从视觉定位中汲取了灵感，只需要对物体进行简单的RGB视频扫描即可构建物体的稀疏SfM模型。然后，该模型注册到新的查询图像与一个通用的特征匹配网络。为了缓解现有视觉定位方法运行缓慢的问题，我们提出了一种新的图形注意力网络，该网络直接将查询图像中的2D兴趣点与SfM模型中的3D点相匹配，从而实现高效和鲁棒的姿态估计。结合基于特征的姿态跟踪器，OnePose能够实时稳定地检测和跟踪日常家居物品的6D姿态。我们还收集了一个大规模的数据集，其中包括450个序列的150个对象。
2022-05-24 cs.CV
CAD-to-CT Registration of Cylindrical Objects via Ellipse-Based Axis Estimation
Department of Complex Systems, National Centre for Nuclear Research（复杂系统系，国家核研究中心）；ImagineRT sp. z o.o.（ImagineRT公司）；National Centre for Nuclear Research（国家核研究中心）
提出一种两阶段几何配准方法，通过检测CT切片中的椭圆截面估计旋转轴，再通过体素化CAD模型并最大化与CT扫描的体积重叠实现圆柱体（电离室）的精确配准，无需强度校准或特征匹配，倾斜和方向误差低于0.1°。
2026-06-01 cs.CE cs.CV
Scene Recomposition by Learning-based ICP
University of Washington（华盛顿大学）
通过在房间内移动深度传感器，我们可以计算环境的3D CAD模型，捕获房间的形状和内容，如椅子，桌子，沙发和桌子。我们不是重建几何体，而是将场景中的每个对象与数千个对象的CAD模型进行匹配、放置和对齐。除了全自动系统之外，关键的技术贡献是基于深度强化学习的将CAD模型与3D扫描对齐的新方法。这种方法，我们称之为基于学习的ICP，通过学习最佳匹配点和对象视点的条件，优于文献中的ICP方法。LICP仅使用合成数据学习对齐，并且不需要真实场景扫描中的对象姿态或关键点对匹配的地面实况注释。虽然LICP是在合成数据上训练的，并且没有3D真实场景注释，但它在真实场景中优于学习的局部深度特征匹配和基于几何的对齐方法。在SceneNN和ScanNet的真实场景数据集以及SUNC的合成场景上对所提出的方法进行了评估。高品质的结果证明了一系列的现实世界的场景，与杂波，观点和闭塞的鲁棒性。
2020-04-07 cs.CV cs.LG
Single-Stage Keypoint-Based Category-Level Object Pose Estimation from an RGB Image
NVIDIA（英伟达）；Georgia Institute of Technology（佐治亚理工学院）
关于6-DoF对象姿态估计的先前工作主要集中在实例级处理上，其中纹理CAD模型可用于被检测的每个对象。类别级6自由度姿态估计是开发在非结构化真实世界场景中操作的机器人视觉系统的重要一步。在这项工作中，我们提出了一个单阶段，基于关键点的方法，用于类别级对象姿态估计，使用单个RGB图像作为输入，在已知类别内的未知对象实例上进行操作。所提出的网络执行2D目标检测，检测2D关键点，估计6自由度姿态，并回归相对边界长方体尺寸。这些数量是以顺序的方式估计的，利用最近的convGRU思想将信息从更容易的任务传播到更困难的任务。我们在设计选择中倾向于简单：通用长方体顶点坐标，单级网络和单目RGB输入。我们在具有挑战性的Objectron基准上进行了广泛的实验，在3D IoU指标上优于最先进的方法（比MobilePose单阶段方法高27.6%，比相关的两阶段方法高7.1%）。
2022-05-12 cs.CV cs.RO
6-DoF Pose Estimation of Household Objects for Robotic Manipulation: An Accessible Dataset and Benchmark
NVIDIA（英伟达）
我们提出了一个新的数据集6自由度姿态估计已知的对象，重点是机器人操作研究。我们提出了一套玩具杂货店的对象，其物理实例是随时可供购买，并适当大小的机器人抓取和操纵。我们提供了这些物体的3D扫描纹理模型，适用于生成合成训练数据，以及具有挑战性的，杂乱的场景中的物体的RGBD图像，这些场景表现出部分遮挡，极端光照变化，每个图像多个实例，以及各种姿势。使用半自动的RGBD到模型纹理对应，图像被注释为精确到几毫米内的地面真实姿势。我们还提出了一个新的姿态评估度量称为ADD-H匈牙利分配算法的基础上，是强大的对称性对象的几何形状，而不需要显式枚举。我们为所有玩具杂货店对象共享预训练的姿势估计器，以及它们在验证集和测试集上的基线性能。我们将此数据集提供给社区，以帮助将计算机视觉研究人员的努力与机器人专家的需求联系起来。
2022-12-15 cs.CV cs.RO
Model2Scene: Learning 3D Scene Representation via Contrastive Language-CAD Models Pre-training
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Inceptio（嬴彻科技）；ShanghaiTech University（上海科技大学）；The University of Sydney（悉尼大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Texas A&M University（德克萨斯农工大学）
提出Model2Scene框架，通过混合增强CAD模型、DCR特征正则化和语言-点特征对比预训练，从CAD模型与语言中学习可迁移的3D场景表示。
2023-09-29 cs.CV
Extrusion Segmentation Strategy to improve CAD Reconstruction from Point Cloud
Institute of Geodesy and Photogrammetry（测绘院）
本文提出一种挤压分割策略，通过将点云分割为独立的挤压部分，提高CAD重建的泛化能力和鲁棒性，从而提升深度学习模型的重建性能。
2026-05-09 cs.AI cs.CV
Sparse Multi-Object Render-and-Compare
University of Cambridge（剑桥大学）
提出Multi-SPARC网络架构，通过联合对齐多个检测到的CAD模型解决多目标3D重建问题，在ScanNet数据集上实现单视图最先进性能。
2023-10-17 cs.CV
Recognising geometric primitives in 3D point clouds of mechanical CAD objects
Istituto di Matematica Applicata e Tecnologie Informatiche “E. Magenes”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会“E. Magenes”应用数学与信息技术研究所）
本文提出一种基于Hough变换的方法，用于在含噪声、离群点和缺失部分的机械CAD点云中识别简单与复杂几何基元，并通过几何描述符聚合减少过分割，实验表明其具有较强鲁棒性和竞争力。
2023-01-11 cs.CV cs.GR
Scalable Unseen Objects 6-DoF Absolute Pose Estimation with Robotic Integration
National Engineering Research Center for Robot Visual Perception and Control Technology, School of Artificial Intelligence and Robotics, Hunan University（机器人视觉感知与控制技术国家工程研究中心，人工智能与机器人学院，湖南大学）；School of Architecture and Art, Central South University（建筑与艺术学院，中南大学）；School of Computing and Communications, Lancaster University（计算与通讯学院，兰卡斯特大学）；Department of Computer Science and Software Engineering, The University of Western Australia（计算机科学与软件工程系，西澳大学）；School of Electrical and Electronic Engineering, Nanyang Technological University（电子与电气工程学院，南洋理工大学）
本文提出SinRef-6D方法，通过单张姿态标注的RGB-D图像实现未知物体六自由度位姿估计，利用状态空间模型解决大位姿差异和单视角信息有限的问题，实验验证其在多个基准和真实场景中的优越可扩展性。
2026-04-17 cs.CV cs.RO
SUFLECA: Scaling Up Feature Learning for CAD-to-image Alignment
Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability, and Trust (SnT), University of Luxembourg（自动化与机器人研究组，卢森堡大学跨学科安全、可靠性与信任中心（SnT））；Faculty of Science, Technology, and Medicine, University of Luxembourg（卢森堡大学科学、技术与医学学院）；I3A, Universidad de Zaragoza（萨拉戈萨大学I3A）
研究旨在解决CAD到图像对齐问题，提出弱监督框架SUFLECA。通过归一化物体坐标监督扩大特征学习，结合几何一致匹配算法，能准确快速对齐，在ScanNet25k上取得优异成绩，优于零样本基线并超越全监督方法。
2026-08-31 cs.CV cs.RO
Method for the generation of depth images for view-based shape retrieval of 3D CAD model from partial point cloud
Jeonbuk National University（全北国立大学）；Kyungpook National University（庆北国立大学）
激光扫描仪可以很容易地以点云的形式获取物理环境的几何数据。从点云数据中识别物体是工业三维重建中经常需要解决的问题，它不仅需要几何信息，还需要语义信息。然而，识别过程往往是三维重建的瓶颈，因为它需要专业知识和密集的劳动。为了解决这个问题，已经开发了各种方法来通过从输入几何查询中检索数据库中的对应模型来识别对象。近年来，将几何数据转换为图像并应用基于视图的3D形状检索的技术已经证明了高精度。深度图像将深度值编码为像素的强度，常用于基于视点的三维形状检索。然而，由于遮挡和视线的限制，从物体上采集的几何数据往往是不完整的。由遮挡点云生成的图像由于信息丢失而降低了基于视点的三维物体检索的性能。本文提出了一种基于视点的点云三维形状检索的视点和图像分辨率估计方法。提出了通过从采样视点和图像分辨率计算数据采集速率和密度来自动选择视点和图像分辨率。实验结果表明，该方法在不同的数据集上对图像的检索性能进行了比较。此外，基于视图的三维形状检索性能与深度卷积神经网络已与所提出的方法进行了实验。
2020-06-30 cs.CV
LASA: Instance Reconstruction from Real Scans using A Large-scale Aligned Shape Annotation Dataset
CUHKSZ（香港中文大学（深圳））；Technical University of Munich（慕尼黑工业大学）
针对现有数据集限制数据驱动方法在真实扫描实例重建中性能的问题，构建了含10412条对齐CAD标注的LASA数据集，并提出DisCo重建方法与OccGOD检测方法，实现两项任务的SOTA性能。
2023-12-19 cs.CV
Addressing the Sim2Real Gap in Robotic 3D Object Classification
TU Wien（维也纳工业大学）
利用3D数据进行对象分类是任何场景理解方法的重要组成部分。它在各种社区中获得了极大的兴趣，最引人注目的是机器人和计算机图形学。虽然深度学习的出现推动了3D对象分类领域的发展，但使用这种数据类型的大多数工作仅在CAD模型数据集上进行评估。因此，目前的工作并没有解决真实数据和人为数据之间存在的差异。在这项工作中，我们研究了这一差距，在机器人的背景下，专门解决的问题时，从人工CAD模型转移到真正的重建对象的分类。这是通过在ModelNet（CAD模型）上训练和在ScanNet（重建对象）上评估来执行的。我们表明，标准方法在这项任务中表现不佳。因此，我们介绍了一种方法，仔细采样对象的部分，在各种变换下是可再现的，因此强大的。使用图卷积分类的组成部分的图形，我们的方法显着提高了基线。
2019-10-28 cs.CV cs.RO
You Only Pose Once: A Minimalist's Detection Transformer for Monocular RGB Category-level 9D Multi-Object Pose Estimation
PIT IN Co.（PIT IN公司）
YOPO提出了一种单阶段的检测转换器，通过端到端训练实现类别级9D多目标姿态估计，取得了新的状态-of-the-art成果。
2026-03-10 cs.CV cs.RO
Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve
Google AI（谷歌人工智能）；Robotics at Google（谷歌机器人）；Technical University of Munich（慕尼黑工业大学）
物体识别在图像领域取得了重大进展，主要集中在2D感知上。我们建议利用现有的大规模3D模型数据集，通过构建基于CAD的对象及其姿态表示来理解图像中看到的对象的底层3D结构。我们提出了Mask 2CAD，它联合检测真实世界图像中的对象，并为每个检测到的对象，优化最相似的CAD模型及其姿态。我们构建了一个联合嵌入空间之间的检测区域的图像对应的对象和3D CAD模型，使检索的CAD模型的输入RGB图像。这产生了图像中对象的干净，轻量级的表示;这种基于CAD的表示确保了内容创建或交互式场景等应用程序的有效，高效的形状表示，并朝着理解现实世界图像到合成域的转换迈出了一步。Pix 3D的真实世界图像上的实验证明了我们的方法相比最先进的优势。为了方便未来的研究，我们还提出了一个新的图像到3D的扫描网络的基线，其功能更大的形状多样性，现实世界的闭塞，并具有挑战性的图像视图。
2020-07-26 cs.CV cs.LG eess.IV
SepicNet: Sharp Edges Recovery by Parametric Inference of Curves in 3D Shapes
University of Luxembourg（卢森堡大学）；Artec 3D（Artec 3D（阿泰克三维））
SepicNet提出一种端到端可微的深度网络，通过参数化曲线推断和自适应点云采样，在5万三维扫描数据集上显著提升锐利边缘检测与恢复效果。
2023-04-13 cs.CV cs.GR
PlanaReLoc: Camera Relocalization in 3D Planar Primitives via Region-Based Structure Matching
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出PlanaReLoc，利用3D平面原语和地图进行轻量级6自由度相机重定位，通过深度匹配和统一嵌入空间实现可靠的跨模态结构对应。
2026-03-21 cs.AI cs.CV
RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection
Tsinghua University（清华大学）；UCLA（加州大学洛杉矶分校）；University of Washington（华盛顿大学）
三维点云理解近年来取得了很大的进展。然而，一个主要的瓶颈是注释的真实数据集的稀缺性，特别是与2D目标检测任务相比，因为注释场景的真实扫描涉及大量劳动。解决这个问题的一个有希望的解决方案是更好地利用由CAD对象模型组成的合成数据集，以促进对真实数据集的学习。这可以通过预训练和微调过程来实现。然而，最近关于3D预训练的工作在将合成对象上学习的特征转移到其他现实世界应用时表现出失败。在这项工作中，我们提出了一个新的方法称为RandomRooms来实现这一目标。特别是，我们建议通过使用合成CAD数据集中的对象来生成场景的随机布局，并通过对从同一组合成对象生成的两个随机场景应用对象级对比学习来学习3D场景表示。以这种方式预训练的模型可以在稍后对3D目标检测任务进行微调时用作更好的初始化。实验结果表明，该方法在多个基本模型的下游三维检测任务中表现出了一致的性能改善，尤其是在使用较少训练数据的情况下，这有力地证明了该方法的有效性和推广性。得益于合成数据中丰富的语义知识和多样化的对象，我们的方法在广泛使用的3D检测基准ScanNetV 2和SUN RGB-D上建立了新的最先进的技术。我们希望我们的尝试提供一个新的视角，桥接对象和场景级的3D理解。
2021-08-17 cs.AI cs.CV cs.LG
