CADEngBench: It Looks Like CAD, but Does It Work? Evaluating Parametric Design, Assembly Reasoning, and Physics Simulation
本文提出CADEngBench双轨基准，从参数化设计、装配推理等维度评估8种多模态代码模型，发现编辑现有CAD更易，复杂编辑与匹配FEA仍难，装配预测存在缺陷，强调CAD评估需关注工程行为而非外观。
2026-08-11 cs.AI cs.CV cs.LG
Vid2CAD: CAD Model Alignment using Multi-View Constraints from Videos
Google Research（谷歌研究院）；Technical University of Munich（慕尼黑工业大学）
我们解决的任务是将CAD模型与包含多个对象的复杂场景的视频序列对齐。我们的方法可以处理任意视频，并完全自动恢复其中出现的每个对象的9 DoF姿态，从而将它们对齐到一个共同的3D坐标系中。我们的方法的核心思想是集成神经网络预测从各个帧的时间全局，多视图约束优化配方。该集成过程解决了每帧预测中的尺度和深度模糊性，并且通常改进了所有姿态参数的估计。通过利用多视图约束，我们的方法还解决了遮挡和处理在各个帧中的视图之外的对象，从而将所有对象重建为场景的单个全局一致的CAD表示。与我们建立的最先进的单帧方法Mask2CAD相比，我们在Scan2CAD数据集上实现了实质性的改进（从11.6%到30.7%的类平均准确度）。
2022-01-25 cs.CV
VGGT-CAD: Reconstructing Parametric CAD 3D Model with Geometric Grounding
Nanjing University of Science and Technology（南京理工大学）；KOKONI3D, Moxin (Huzhou) Technology Co., Ltd.（KOKONI3D，魔芯（湖州）科技有限公司）；Nanjing Institute of Agricultural Mechanization, Ministry of Agriculture and Rural Affairs（农业农村部南京农业机械化研究所）
提出VGGT-CAD框架，利用预训练三维几何先验和可变视图聚合模块，从单/多视图观测重建参数化CAD模型，并构建VideoCAD基准验证效果。
2026-09-21 cs.CV
CAD-Deform: Deformable Fitting of CAD Models to 3D Scans
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Technical University of Munich（慕尼黑工业大学）；New York University（纽约大学）
形状检索和对齐是将3D扫描转化为轻量级CAD表示的一种有前途的途径，可用于移动或AR/VR游戏场景等内容创建。不幸的是，CAD模型检索受到标准3D形状集合中模型的可用性的限制（例如，ShapeNet）。在这项工作中，我们解决这个缺点，通过引入CAD变形，一种方法，获得更准确的CAD扫描适合非刚性变形检索的CAD模型。我们的主要贡献是一个新的非刚性变形模型，结合了平滑变换和保留尖锐特征，同时实现了从CAD模型到3D扫描的非常紧密的拟合，并保持了手工建模CAD对象的干净，高质量的表面特性。一系列彻底的实验表明，我们的方法实现了显着更紧密的扫描到CAD拟合，允许更准确的数字复制的扫描现实世界的环境，同时保留重要的几何特征存在于合成CAD环境。
2020-07-23 cs.CV
Weakly-Supervised End-to-End CAD Retrieval to Scan Objects
Technical University of Munich（慕尼黑工业大学）
CAD模型检索到现实世界的场景观察已经显示出强大的承诺作为对象的3D感知和干净，轻量级的基于网格的场景表示的基础;然而，目前的方法来检索CAD模型的查询扫描依赖于昂贵的手动注释的CAD扫描对象的1：1关联，通常包含较低级别的几何差异。因此，我们提出了一种新的弱监督的方法来检索语义和结构相似的CAD模型的查询3D扫描场景，而不需要任何CAD扫描的关联，只有目标检测信息为导向的边界框。我们的方法利用完全可区分的顶部$k$检索层，使端到端的训练引导的几何和感知相似性的顶部检索的CAD模型的扫描查询。我们证明了我们的弱监督方法可以在具有挑战性的现实世界ScanNet扫描上胜过全监督检索方法，并保持对看不见的类别的鲁棒性，在zero-shot CAD检索中实现了比全监督状态更高的性能。
2022-03-24 cs.CV
End-to-End CAD Model Retrieval and 9DoF Alignment in 3D Scans
Technical University of Munich（慕尼黑工业大学）
我们提出了一种新颖的，端到端的方法来对齐CAD模型的3D扫描的场景，使嘈杂的，不完整的3D扫描到一个紧凑的，CAD重建干净，完整的对象几何形状的转换。我们的主要贡献在于制定一个可微的Procrustes对齐，是配对的感知密集对象对应预测。为了同时将CAD模型与扫描场景的所有对象对齐，我们的方法检测对象位置，然后在统一的对象空间中预测扫描和CAD几何形状之间的密集对象对应关系，以及最近邻CAD模型，然后两者都用于通知可微的Procrustes对齐。我们的方法以完全卷积的方式运行，使CAD模型与扫描对象在单个向前传递中对齐。这使得我们的方法能够优于$19.04\%$用于CAD模型与扫描对齐的最先进方法，并且$\approx 250\times$的运行时间比以前的数据驱动方法更快。
2019-06-10 cs.CV
Scan2CAD: Learning CAD Model Alignment in RGB-D Scans
Technical University of Munich（慕尼黑工业大学）；Simon Fraser University（西蒙弗雷泽大学）
我们提出了Scan 2CAD，一种新的数据驱动的方法，学习对齐干净的3D CAD模型从形状数据库的噪声和不完整的几何形状的商品RGB-D扫描。对于室内场景的3D重建，我们的方法将一组CAD模型作为输入，并预测将每个模型与底层扫描几何结构对齐的9DoF姿势。为了解决这个问题，我们创建了一个新的扫描到CAD对齐数据集，该数据集基于1506个ScanNet扫描，其中包含ShapeNet的14225个CAD模型及其扫描中的对应对象之间的97607个注释关键点对。我们的方法在3D扫描中选择一组代表性的关键点，我们发现这些关键点与CAD几何形状相对应。为此，我们设计了一种新的3D CNN架构，它可以学习真实对象和合成对象之间的联合嵌入，并从中预测对应的热图。基于这些对应的热图，我们制定了一个变分能量最小化，将一组给定的CAD模型与重建对齐。我们在新引入的Scan 2CAD基准上评估了我们的方法，在该基准上，我们的性能优于手工制作的特征描述符以及最先进的基于CNN的方法21.39%。
2018-11-27 cs.CV
SynJAC: Synthetic-data-driven Joint-granular Adaptation and Calibration for Domain Specific Scanned Document Key Information Extraction
The University of Western Australia（西澳大学）；The University of Melbourne（墨尔本大学）；Hunan University（湖南大学）
SynJAC通过合成数据驱动的联合细粒度适应与校准，有效提升扫描文档关键信息提取的效率与性能。
2025-12-17 cs.CV
ST-DiffEye: Diffusion-based Continuous Gaze Generation via Joint Scanpath-Trajectory Modeling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出ST-DiffEye，一种联合轨迹-扫描路径扩散框架，通过将两者拼接为额外输入通道进行联合建模，并引入基于连续排序概率得分（CRPS）的评估方法，在视觉搜索和自由观看任务上达到最先进性能。
2026-06-16 cs.CV
Automatically Annotating Indoor Images with CAD Models via RGB-D Scans
Graz University of Technology（格拉茨技术大学）；École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
提出了一种基于RGB-D扫描的室内场景图像自动标注方法。通过3D专家的视觉评估，我们表明，我们的方法检索的注释至少与手动注释一样准确，因此可以用作地面实况，而无需手动注释3D数据的负担。我们使用合成分析方法来实现这一点，该方法将CAD模型的渲染与捕获的场景进行比较。我们引入了一个“克隆过程”，识别具有相同几何形状的对象，用相同的CAD模型注释这些对象。这使我们能够获得ScanNet数据集和最近的ARKitScenes数据集的完整注释。
2022-12-22 cs.CV
Text-Aided Multi-Modal Panoptic Symbol Spotting for CAD Floor Plan Drawings
CCSE Lab, Beihang University（北京航空航天大学CCSE实验室）；School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院）；The Hong Kong Polytechnic University（香港理工大学）
针对CAD平面图全景符号识别中现有方法未充分利用文本注释的问题，提出多模态框架TextCAD，设计TACE编码注释语义，引入语义层次对齐框架，实验表明该方法有效提升符号识别性能并达最优。
2026-07-15 cs.AI cs.CV
FastCAD: Real-Time CAD Retrieval and Alignment from Scans and Videos
Qualcomm Technologies, Inc.（高通技术公司）；University of Cambridge（剑桥大学）
FastCAD提出一种实时单阶段方法，同时检索并对齐场景中所有物体的CAD模型，通过对比学习蒸馏形状嵌入，在Scan2CAD基准上超越现有方法并实现50倍加速，显著提升视频设置下的对齐与重建准确率。
2024-03-22 cs.CV
MiCADangelo: Fine-Grained Reconstruction of Constrained CAD Models from 3D Scans
SnT, University of Luxembourg（斯蒂尔研究所，卢森堡大学）
提出受人类设计师启发的CAD逆向工程方法，利用多平面横截面提取2D图案，首次将草图约束纳入重建，实现细粒度可编辑模型，优于现有技术。
2025-10-27 cs.CV
SHARP Challenge 2023: Solving CAD History and pArameters Recovery from Point clouds and 3D scans. Overview, Datasets, Metrics, and Baselines
Artec 3D（Artec 3D公司）
SHARP挑战赛2023通过专门数据集和赛道，推动从3D扫描中逆向工程CAD模型的研究，提出基线方法和评估指标，并公开数据集与工具。
2023-08-30 cs.CV
DAVINCI: A Single-Stage Architecture for Constrained CAD Sketch Inference
Interdisciplinary Centre for Security, Reliability and Trust (SnT), University of Luxembourg（安全、可靠与信任跨学科中心（SnT），卢森堡大学）；Artec 3D
提出DAVINCI单阶段架构，联合实现CAD草图参数化与约束推理以减少误差累积，在SketchGraphs数据集上取得最优结果，还引入CPTs增强策略降低数据依赖并构建含8000万增强草图的CPTSketchGraphs数据集。
2024-10-30 cs.CV cs.HC
GeoFusion-CAD: Structure-Aware Diffusion with Geometric State Space for Parametric 3D Design
Zhejiang University of Technology（之江大学）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北航）
本文提出GeoFusion-CAD，一种端到端扩散框架，通过几何状态空间建模实现长序列参数化3D设计生成，解决了传统方法在复杂几何拓扑依赖下的扩展性问题。
2026-03-23 cs.CV cs.GR
Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve
Google AI（谷歌人工智能）；Robotics at Google（谷歌机器人）；Technical University of Munich（慕尼黑工业大学）
物体识别在图像领域取得了重大进展，主要集中在2D感知上。我们建议利用现有的大规模3D模型数据集，通过构建基于CAD的对象及其姿态表示来理解图像中看到的对象的底层3D结构。我们提出了Mask 2CAD，它联合检测真实世界图像中的对象，并为每个检测到的对象，优化最相似的CAD模型及其姿态。我们构建了一个联合嵌入空间之间的检测区域的图像对应的对象和3D CAD模型，使检索的CAD模型的输入RGB图像。这产生了图像中对象的干净，轻量级的表示;这种基于CAD的表示确保了内容创建或交互式场景等应用程序的有效，高效的形状表示，并朝着理解现实世界图像到合成域的转换迈出了一步。Pix 3D的真实世界图像上的实验证明了我们的方法相比最先进的优势。为了方便未来的研究，我们还提出了一个新的图像到3D的扫描网络的基线，其功能更大的形状多样性，现实世界的闭塞，并具有挑战性的图像视图。
2020-07-26 cs.CV cs.LG eess.IV
HOC-Search: Efficient CAD Model and Pose Retrieval from RGB-D Scans
Graz University of Technology（格拉茨技术大学）；École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
提出一种基于RGB-D扫描的高效CAD模型与位姿自动化检索方法，利用“渲染并比较”目标函数和受蒙特卡洛树搜索启发的快速搜索树，在给定3D边界框下同时检索物体类别、模型及位姿，速度比穷举搜索快10至120倍。
2023-09-12 cs.CV
Text-Enhanced Panoptic Symbol Spotting in CAD Drawings
Railway Siyuan Survey and Design Group Co., Ltd.（铁路硅谷勘察设计集团有限公司）；School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通运输科学与工程学院）
针对现有CAD全景符号识别方法忽略文本注释及图元关系建模不足的问题，提出结合文本注释的框架，通过联合建模几何与文本图元并引入类型感知注意力机制，显著提升了识别性能与鲁棒性。
2025-10-13 cs.AI cs.CV
SceneCAD: Predicting Object Alignments and Layouts in RGB-D Scans
Technical University of Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）；Occipital Inc.（Occipital公司）
我们提出了一种新的方法来重建轻量级的，基于CAD的表示商品RGB-D传感器扫描的3D环境。我们的主要思想是共同优化的CAD模型对齐以及布局估计的扫描场景，明确建模对象之间的相互关系对象和对象布局。由于对象的安排和场景布局是内在耦合，我们表明，共同处理的问题显着有助于产生全局一致的表示场景。通过建立几何体之间的密集对应关系，将CAD对象模型与场景对齐，并引入层次化布局预测方法，从场景的角点和边估计布局平面，为此，提出了一种消息传递图神经网络来建模对象与布局之间的相互关系，指导场景中全局对象对齐的生成.通过考虑全局场景布局，与最先进的方法相比，我们实现了显着改进的CAD对齐，在SUCG上的对齐准确度从41.83%提高到58.41%，在ScanNet上的对齐准确度从50.05%提高到61.24%。由此产生的CAD为基础的表示，使我们的方法非常适合在内容创建，如增强或虚拟现实的应用程序。
2020-03-27 cs.CV
F-CAD: A Framework to Explore Hardware Accelerators for Codec Avatar Decoding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Facebook Reality Labs Research（Facebook现实实验室研究部）
创建具有真实感渲染的虚拟化身是提供高度沉浸式虚拟现实（VR）体验的最重要和最具挑战性的任务之一。它不仅需要复杂的基于深度神经网络（DNN）的编解码器化身解码器来确保高视觉质量和精确的运动表达，还需要高效的硬件加速器来确保使用轻量级边缘设备（如无限制的VR头显）进行流畅的实时渲染。然而，现有的硬件加速器无法提供足够的性能和效率，目标是由多分支DNN组成并需要苛刻的计算和存储器资源的解码器。为了解决这些问题，我们提出了一个自动化框架，称为F-CAD（Facebook编解码器头像加速器设计），探索和提供优化的硬件加速器编解码器头像解码。新技术包括：1）新的加速器架构，以有效地处理多分支DNN; 2）多分支动态设计空间，以实现细粒度的架构配置;以及3）有效的架构搜索，用于基于特定于应用的需求和硬件资源约束来挑选优化的硬件设计。据我们所知，F-CAD是第一个支持编解码器化身解码器硬件加速整个设计流程的自动化工具，允许在流行的机器学习框架中对解码器设计进行联合优化，以及相应的定制加速器设计，并进行周期精确评估。结果表明，F-CAD生成的加速器在运行最新的编解码器化身解码器时，可以提供高达122.1帧每秒（FPS）和91.6%的硬件效率。与最先进的设计相比，F-CAD通过针对相同的硬件设备，实现了比DNNBuilder和HybridDNN高4.0倍和2.8倍的吞吐量，高62.5%和21.2%的效…
2021-03-08 cs.AR cs.CV
CAD Priors for Accurate and Flexible Instance Reconstruction
Technische Universität München（慕尼黑工业大学）；Siemens AG（西门子公司）
我们提出了一种有效的和自动的方法，从多个，无组织和非结构化的点云，在存在动态的混乱和闭塞的情况下，大的3D对象的实例的准确重建。与传统的扫描，其中背景被假定为是相当静态的，我们的目标是在处理动态杂波的背景急剧变化的对象扫描过程中。目前，除非首先将感兴趣的对象从场景的其余部分中分割出来，否则用可用的方法来解决这个问题是乏味的。我们通过假设先前的CAD模型的可用性来解决这个问题，大致类似于要重建的对象。这种假设在工业检测或逆向工程等应用中几乎总是成立的。借助这种先验代理，我们提出了一种完全增强的管道，能够自动检测和分割场景中的感兴趣对象，并在线创建具有线性复杂性的姿态图。这允许初始扫描对准到CAD模型空间，然后在没有CAD约束的情况下对其进行细化，以完全恢复高保真度3D重建，精确到传感器噪声水平。我们还提出了一种新的目标检测方法，局部隐式形状模型（LISM），并给出了一个快速验证方案。我们在多个数据集上评估了我们的方法，证明了从小尺寸到$125m^3$精确重建对象的能力。
2017-08-16 cs.CV
BRep Boundary and Junction Detection for CAD Reverse Engineering
German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH））；RPTU Kaiserslautern-Landau（凯泽斯劳滕-兰道工业大学（RPTU Kaiserslautern-Landau））
本文提出了一种有监督的边界表示检测网络BRepDetNet，通过在训练期间最小化focal-loss和NMS，从3D扫描中检测BRep边界和交点，将Scan-to-CAD问题分解为Scan-to-BRep，为基于特征的CAD逆向工程建模提供了基础并取得了令人瞩目的结果。
2024-09-21 cs.CV cs.LG cs.MM
CAOA -- Completion-Assisted Object-CAD Alignment
University at Albany（奥尔巴尼大学）
提出CAOA方法，结合语义感知点云补全和对称感知相对位姿估计，在Scan2CAD上实现17%精度提升，并发布S2C-Completion数据集。
2026-06-23 cs.AI cs.CV cs.LG
Floor-SP: Inverse CAD for Floorplans by Sequential Room-wise Shortest Path
Simon Fraser University（西蒙弗雷泽大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
本文提出了一种新的方法，自动平面图重建RGBD扫描，室内测绘研究的一个重要里程碑。该方法，被称为Floor-SP，制定了一个新的优化问题，其中房间坐标下降顺序解决动态规划优化布图结构。目标函数由深度神经网络引导的数据项、鼓励相邻房间共享角落和墙壁的一致性项以及模型复杂性项组成。与大多数其他方法不同，该方法不需要使用阈值进行角点/边缘检测。我们已经对527套公寓或房屋的生产质量RGBD扫描进行了评估，其中包括许多非曼哈顿结构的单位。定性和定量评估表明，与当前最先进的技术相比，性能有了显著的提高。请参阅我们的项目网站http://jcchen.me/floor-sp/获取代码和数据。
2019-08-19 cs.CV
View2CAD: Reconstructing View-Centric CAD Models from Single RGB-D Scans
University of Washington（华盛顿大学）；Massachusetts Institute of Technology（麻省理工学院）
提出从单张RGB-D图像精确重建CAD形状的方法，引入以视图为中心的VB-Rep表示处理可见性与几何不确定性，结合全景分割与迭代几何优化，在合成与真实数据上实现高质量重建并弥合现实差距。
2025-04-05 cs.CV cs.GR
SketchDNN: Joint Continuous-Discrete Diffusion for CAD Sketch Generation
Department of Computer Science, Miami-Oxford University, Oxford OH, USA（计算机科学系，迈阿密-牛津大学，牛津 OH，美国）
该研究针对CAD草图生成，提出SketchDNN模型，通过统一连续-离散扩散过程联合建模参数与类别标签，创新高斯-Softmax扩散解决异质性与排列不变性问题，在SketchGraphs数据集上显著提升生成质量并建立新基准。
2025-08-20 cs.CV cs.LG
Patch2CAD: Patchwise Embedding Learning for In-the-Wild Shape Retrieval from a Single Image
Google Research, Brain Team（谷歌研究院，大脑团队）；Technical University of Munich（慕尼黑工业大学）
从RGB图像输入的物体形状的3D感知是语义场景理解的基础，在我们的空间三维现实世界环境中基于图像的感知。为了实现对象的图像视图和3D形状之间的映射，我们利用现有的大型数据库中的CAD模型先验，并提出了一种新的方法来构建一个联合嵌入空间之间的2D图像和3D CAD模型在一个补丁明智的方式-建立一个对象的图像视图的补丁和补丁的CAD几何形状之间的对应关系。这使得能够进行零件相似性推理，以检索与新图像视图相似的CAD，而无需在数据库中进行精确匹配。我们的补丁嵌入提供了更强大的CAD检索的形状估计在我们的端到端的CAD模型的形状和姿态的估计在一个单一的输入图像中检测到的对象。在野外，复杂的图像从ScanNet的实验表明，我们的方法是更强大的比最先进的在现实世界中的场景没有任何确切的CAD匹配。
2021-08-20 cs.CV
DiffCAD: Weakly-Supervised Probabilistic CAD Model Retrieval and Alignment from an RGB Image
Technical University of Munich（慕尼黑工业大学）
DiffCAD提出首个弱监督概率性CAD检索与对齐方法，利用扩散模型从单张RGB图像生成多假设CAD重建，仅用合成数据训练即可在Scan2CAD上超越有监督SOTA 5.9%。
2024-06-06 cs.CV
Joint Neural SDF Reconstruction and Semantic Segmentation for CAD Models
New Jersey Institute of Technology（新泽西理工学院）
本研究提出一种CAD模型神经SDF联合重建与语义分割流程，增设轻量分割头，支持任意零件数网格的单次重建与分割，在ABC数据集上表现优异，为无固定分类体系的语义结构化CAD网格获取提供实用方案。
2025-10-04 cs.CV cs.GR
SPARC: Sparse Render-and-Compare for CAD model alignment in a single RGB image
University of Cambridge（剑桥大学）
从单个图像估计静态对象的3D形状和姿态对于机器人、增强现实和数字内容创建具有重要应用。这通常是通过直接网格预测来完成的，这会产生不切实际的、过度镶嵌的形状，或者通过将形状预测公式化为检索任务，然后进行CAD模型对齐。从二维图像特征直接预测CAD模型的位姿是困难和不准确的。一些作品，如ROCA，回归归一化的对象坐标，并使用这些计算姿势。虽然这可以产生更准确的姿态估计，但预测归一化的对象坐标容易出现系统故障。利用高效的Transformer架构，我们证明了一个稀疏的，迭代的，渲染和比较的方法是更准确和强大的，而不是依赖于归一化的对象坐标。为此，我们结合了2D图像信息，包括稀疏的深度和表面法线值，我们估计直接从图像与3D CAD模型信息在早期融合。特别是，我们以初始的随机姿势重新投影从CAD模型中采样的点，并计算它们的深度和表面法线值。该组合信息是位姿预测网络SPARC-Net的输入，我们训练SPARC-Net以预测9 DoF CAD模型位姿更新。CAD模型被再次重新投影，并且预测下一个姿态更新。我们的对齐过程仅经过3次迭代就收敛了，将具有挑战性的真实数据集ScanNet的最先进性能从25.0%提高到31.8%。代码将在https://github.com/florianlanger/SPARC上发布。
2022-10-03 cs.CV
ROCA: Robust CAD Model Retrieval and Alignment from a Single Image
Technical University of Munich（慕尼黑工业大学）
我们提出了ROCA，一种新的端到端的方法，检索和对齐3D CAD模型从形状数据库到一个单一的输入图像。这使得能够从2D RGB观察到观察到的场景的3D感知，其特征在于轻量、紧凑、干净的CAD表示。我们的方法的核心是基于密集的2D-3D对象对应和Procrustes对齐的可微对齐优化。因此，ROCA可以提供鲁棒的CAD对齐，同时通过利用2D-3D对应来学习几何相似的CAD模型来通知CAD检索。在ScanNet的具有挑战性的真实图像上进行的实验表明，ROCA在检索感知CAD对齐准确度方面从9.5%显著提高到17.6%。
2022-07-24 cs.CV cs.GR cs.LG
Accurate Instance-Level CAD Model Retrieval in a Large-Scale Database
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
我们提出了一种新的解决方案，从大型数据库中细粒度检索干净的CAD模型，以恢复RGBD扫描的详细对象形状的几何形状。不像以前的工作只是索引到一个适度的小数据库中使用的对象形状描述符，并接受顶级检索结果，我们认为，在一个大规模的数据库的情况下，更准确的模型可以在附近的描述符。更重要的是，我们建议，形状描述符在实例级别的独特性不足，可以弥补基于几何的重新排名其邻域。我们的方法首先利用学习表示的区分能力来区分不同类别的模型，然后使用一种新的鲁棒点集距离度量来重新排序CAD邻域，从而在大型形状数据库中实现细粒度检索。在真实世界数据集上的评估表明，我们的基于几何的重新排序是一个概念上简单，但非常有效的方法，可以导致显着提高检索精度相比，国家的最先进的。
2022-07-04 cs.CV
OnePose: One-Shot Object Pose Estimation without CAD Models
Zhejiang University（浙江大学）；TUM（慕尼黑工业大学）；SenseTime Research（商汤科技研究院）
我们提出了一种新的方法命名为OnePose的物体姿态估计。与现有的实例级或类别级方法不同，OnePose不依赖于CAD模型，可以处理任意类别的对象，而无需特定于实例或类别的网络训练。OnePose从视觉定位中汲取了灵感，只需要对物体进行简单的RGB视频扫描即可构建物体的稀疏SfM模型。然后，该模型注册到新的查询图像与一个通用的特征匹配网络。为了缓解现有视觉定位方法运行缓慢的问题，我们提出了一种新的图形注意力网络，该网络直接将查询图像中的2D兴趣点与SfM模型中的3D点相匹配，从而实现高效和鲁棒的姿态估计。结合基于特征的姿态跟踪器，OnePose能够实时稳定地检测和跟踪日常家居物品的6D姿态。我们还收集了一个大规模的数据集，其中包括450个序列的150个对象。
2022-05-24 cs.CV
CAD-to-CT Registration of Cylindrical Objects via Ellipse-Based Axis Estimation
Department of Complex Systems, National Centre for Nuclear Research（复杂系统系，国家核研究中心）；ImagineRT sp. z o.o.（ImagineRT公司）；National Centre for Nuclear Research（国家核研究中心）
提出一种两阶段几何配准方法，通过检测CT切片中的椭圆截面估计旋转轴，再通过体素化CAD模型并最大化与CT扫描的体积重叠实现圆柱体（电离室）的精确配准，无需强度校准或特征匹配，倾斜和方向误差低于0.1°。
2026-06-01 cs.CE cs.CV
Scene Recomposition by Learning-based ICP
University of Washington（华盛顿大学）
通过在房间内移动深度传感器，我们可以计算环境的3D CAD模型，捕获房间的形状和内容，如椅子，桌子，沙发和桌子。我们不是重建几何体，而是将场景中的每个对象与数千个对象的CAD模型进行匹配、放置和对齐。除了全自动系统之外，关键的技术贡献是基于深度强化学习的将CAD模型与3D扫描对齐的新方法。这种方法，我们称之为基于学习的ICP，通过学习最佳匹配点和对象视点的条件，优于文献中的ICP方法。LICP仅使用合成数据学习对齐，并且不需要真实场景扫描中的对象姿态或关键点对匹配的地面实况注释。虽然LICP是在合成数据上训练的，并且没有3D真实场景注释，但它在真实场景中优于学习的局部深度特征匹配和基于几何的对齐方法。在SceneNN和ScanNet的真实场景数据集以及SUNC的合成场景上对所提出的方法进行了评估。高品质的结果证明了一系列的现实世界的场景，与杂波，观点和闭塞的鲁棒性。
2020-04-07 cs.CV cs.LG
CAD-NeRF: Learning NeRFs from Uncalibrated Few-view Images by CAD Model Retrieval
National University of Defense Technology（国防科技大学）
CAD-NeRF针对无位姿少视图NeRF重建难题，提出通过ShapeNet CAD模型库检索相似形状作为密度监督与位姿初始化，并联合优化密度场变形和相机位姿，实现自监督高精度重建。
2025-05-05 cs.CV
BRepCLIP: Contrastive Multimodal Pretraining on BRep Primitives for CAD Understanding
DFKI, Germany（德意志联邦共和国DFKI）；RPTU Kaiserslautern-Landau, Germany（德国凯撒斯劳滕-兰道大学）
提出BRepCLIP框架，通过对比预训练对齐CAD边界表示（BRep）几何与语言/图像嵌入，显著提升检索和零样本分类性能。
2026-06-03 cs.CV
A novel method for automatic localization of joint area on knee plain radiographs
University of Oulu（奥卢大学）；Oulu University Hospital（奥卢大学医院）
骨关节炎（OA）是一种常见的肌肉骨骼疾病，通常通过临床检查后的影像学评估进行诊断。然而，由从业者进行的视觉评估具有主观性，并且高度依赖于经验。计算机辅助诊断（CAD）可以提高膝关节X线检查的客观性。膝关节OA CAD的第一个基本步骤是自动定位关节区域。然而，根据文献，这项任务本身仍然具有挑战性。本研究的目的是开发新的和计算效率高的方法来解决这个问题。在此，使用三个不同的膝关节X线片数据集（n = 473/93/77）来验证该方法的总体性能。我们的流水线由两部分组成：基于解剖学的关节区域建议和使用方向向量直方图和预训练的支持向量机分类器得分对其进行评估。所用数据集的所得结果显示，并集上的平均交集等于：0.84、0.79和0.78。该方法使用高端计算机，可以在14- 16 ms内自动注释传统膝关节X光片，并在170 ms内自动注释高分辨率X光片。我们的研究结果表明，开发的方法是适合于大规模的分析。
2017-04-05 cs.CV
Geometric Digital Twinning of Industrial Facilities: Retrieval of Industrial Shapes
University of Florida（佛罗里达大学）；University of Cambridge（剑桥大学）
本文设计，实现和基准测试一种新的形状检索方法，可以准确地匹配个人标记的点簇（实例）现有的工业设施与各自的CAD模型。它采用图像和点云深度学习网络的组合来分类实例并将其匹配到几何相似的CAD模型。它扩展了我们以前的研究几何数字孪生生成从点云数据，这是目前一个繁琐的，手动的过程。实验结果表明，该网络能够可靠地检索CAD模型，准确率为85.2%.所提出的研究是一个基本框架，使几何数字孪生（gDT）管道，并将真正的几何配置到数字孪生。
2022-02-10 cs.CV
Model2Scene: Learning 3D Scene Representation via Contrastive Language-CAD Models Pre-training
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Inceptio（嬴彻科技）；ShanghaiTech University（上海科技大学）；The University of Sydney（悉尼大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Texas A&M University（德克萨斯农工大学）
提出Model2Scene框架，通过混合增强CAD模型、DCR特征正则化和语言-点特征对比预训练，从CAD模型与语言中学习可迁移的3D场景表示。
2023-09-29 cs.CV
Extrusion Segmentation Strategy to improve CAD Reconstruction from Point Cloud
Institute of Geodesy and Photogrammetry（测绘院）
本文提出一种挤压分割策略，通过将点云分割为独立的挤压部分，提高CAD重建的泛化能力和鲁棒性，从而提升深度学习模型的重建性能。
2026-05-09 cs.AI cs.CV
Sparse Multi-Object Render-and-Compare
University of Cambridge（剑桥大学）
提出Multi-SPARC网络架构，通过联合对齐多个检测到的CAD模型解决多目标3D重建问题，在ScanNet数据集上实现单视图最先进性能。
2023-10-17 cs.CV
Look Where You Can: Active View Selection for CAD Reconstruction under Occlusion
Helmholtz-Zentrum Hereon（亥姆霍兹中心赫伦研究所）；Leuphana Universität Lüneburg（吕讷堡大学）；Universität des Saarlandes（萨尔大学）；Technische Universität Hamburg（汉堡工业大学）
本研究提出SightCAD框架，将视角可行性作为约束，联合训练视角选择器与CAD生成VLM，在多基准的遮挡场景CAD重建任务中显著优于基线，可执行程序占比高。
2026-10-09 cs.CV
Recognising geometric primitives in 3D point clouds of mechanical CAD objects
Istituto di Matematica Applicata e Tecnologie Informatiche “E. Magenes”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会“E. Magenes”应用数学与信息技术研究所）
本文提出一种基于Hough变换的方法，用于在含噪声、离群点和缺失部分的机械CAD点云中识别简单与复杂几何基元，并通过几何描述符聚合减少过分割，实验表明其具有较强鲁棒性和竞争力。
2023-01-11 cs.CV cs.GR
JamMa: Ultra-lightweight Local Feature Matching with Joint Mamba
School of Automation, Southeast University（东南大学自动化学院）
提出基于Mamba的超轻量级特征匹配器JamMa，通过联合扫描合并策略JEGO实现两图高频交互与全局感受野，在参数和计算量减半的情况下性能优于基于注意力的匹配器。
2025-03-05 cs.CV
Zero-shot Inexact CAD Model Alignment from a Single Image
VISTEC, Thailand（泰国VISTEC）；Technical University of Munich, Germany（德国慕尼黑技术大学）
本文提出一种无需位姿标注的弱监督9自由度对齐方法，利用基础特征构建多视图一致特征空间并结合纹理不变位姿细化，在ScanNet25k和SUN2CAD上取得最优结果。
2025-07-04 cs.CV
SUFLECA: Scaling Up Feature Learning for CAD-to-image Alignment
Automation and Robotics Research Group, Interdisciplinary Centre for Security, Reliability, and Trust (SnT), University of Luxembourg（自动化与机器人研究组，卢森堡大学跨学科安全、可靠性与信任中心（SnT））；Faculty of Science, Technology, and Medicine, University of Luxembourg（卢森堡大学科学、技术与医学学院）；I3A, Universidad de Zaragoza（萨拉戈萨大学I3A）
研究旨在解决CAD到图像对齐问题，提出弱监督框架SUFLECA。通过归一化物体坐标监督扩大特征学习，结合几何一致匹配算法，能准确快速对齐，在ScanNet25k上取得优异成绩，优于零样本基线并超越全监督方法。
2026-08-31 cs.CV cs.RO
SCAN: A Spatial Context Attentive Network for Joint Multi-Agent Intent Prediction
University of Virginia（弗吉尼亚大学）；Iowa State University（爱荷华州立大学）
自主智能体在以人为中心的环境中的安全导航需要能够理解和预测邻近行人的运动。然而，预测行人意图是一个复杂的问题。行人的运动是由复杂的社会导航规范，是依赖于邻居的轨迹，是多模态的性质。在这项工作中，我们提出了SCAN，一个空间上下文注意网络，可以共同预测社会可接受的多个未来轨迹的场景中的所有行人。SCAN编码的影响，空间上接近的邻居使用一种新的空间注意力机制的方式，依赖于较少的假设，是参数有效的，是更可解释的最先进的空间注意力的方法相比。通过在几个数据集上的实验，我们证明了我们的方法在预测意图的准确性方面也可以定量地优于最先进的轨迹预测方法。
2021-03-23 cs.CV cs.MA
CADSplat: Sparse-View 3D Gaussian Splatting Aided by CAD Models for Robust, Photorealistic Digital-Twin Reconstruction
Digital Future Lab, Flanders Make, Hasselt University（数字未来实验室，法兰德斯制造，哈瑟尔特大学）
CADSplat利用CAD模型作为形状先验，通过锚定3D高斯泼溅并联合优化变形场，从稀疏视角图像重建逼真数字孪生，在少视图下优于现有基线，并支持多种下游应用。
2026-09-17 cs.CV cs.GR
Method for the generation of depth images for view-based shape retrieval of 3D CAD model from partial point cloud
Jeonbuk National University（全北国立大学）；Kyungpook National University（庆北国立大学）
激光扫描仪可以很容易地以点云的形式获取物理环境的几何数据。从点云数据中识别物体是工业三维重建中经常需要解决的问题，它不仅需要几何信息，还需要语义信息。然而，识别过程往往是三维重建的瓶颈，因为它需要专业知识和密集的劳动。为了解决这个问题，已经开发了各种方法来通过从输入几何查询中检索数据库中的对应模型来识别对象。近年来，将几何数据转换为图像并应用基于视图的3D形状检索的技术已经证明了高精度。深度图像将深度值编码为像素的强度，常用于基于视点的三维形状检索。然而，由于遮挡和视线的限制，从物体上采集的几何数据往往是不完整的。由遮挡点云生成的图像由于信息丢失而降低了基于视点的三维物体检索的性能。本文提出了一种基于视点的点云三维形状检索的视点和图像分辨率估计方法。提出了通过从采样视点和图像分辨率计算数据采集速率和密度来自动选择视点和图像分辨率。实验结果表明，该方法在不同的数据集上对图像的检索性能进行了比较。此外，基于视图的三维形状检索性能与深度卷积神经网络已与所提出的方法进行了实验。
2020-06-30 cs.CV
eRAKI: Fast Robust Artificial neural networks for K-space Interpolation (RAKI) with Coil Combination and Joint Reconstruction
Tsinghua University（清华大学）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）；Harvard Medical School（哈佛医学院）
RAKI可以通过仅使用来自每个特定扫描的自动校准信号（ACS）训练模型来执行无数据库MRI重建。由于它为每个单独的线圈训练单独的模型，因此使用RAKI进行学习和推理在计算上可能会受到限制，特别是对于大型3D数据集。在本摘要中，我们通过直接学习线圈组合目标来加速RAKI超过200倍，并使用多个回波的联合重建以及椭圆CAIPI采样方法来进一步提高重建性能。我们进一步将这些改进部署在定量成像中，并从快速EPTI扫描中快速获得T2和T2* 参数图。
2021-07-07 cs.CV
GACO-CAD: Geometry-Augmented and Conciseness-Optimized CAD Model Generation from Single Image
本文提出两阶段后训练框架 GACO-CAD，通过深度/法线几何先验与组长度奖励，提升单图像参数化 CAD 生成的几何准确性和建模简洁性。
2025-10-20 cs.AI cs.CV
Addressing the Sim2Real Gap in Robotic 3D Object Classification
TU Wien（维也纳工业大学）
利用3D数据进行对象分类是任何场景理解方法的重要组成部分。它在各种社区中获得了极大的兴趣，最引人注目的是机器人和计算机图形学。虽然深度学习的出现推动了3D对象分类领域的发展，但使用这种数据类型的大多数工作仅在CAD模型数据集上进行评估。因此，目前的工作并没有解决真实数据和人为数据之间存在的差异。在这项工作中，我们研究了这一差距，在机器人的背景下，专门解决的问题时，从人工CAD模型转移到真正的重建对象的分类。这是通过在ModelNet（CAD模型）上训练和在ScanNet（重建对象）上评估来执行的。我们表明，标准方法在这项任务中表现不佳。因此，我们介绍了一种方法，仔细采样对象的部分，在各种变换下是可再现的，因此强大的。使用图卷积分类的组成部分的图形，我们的方法显着提高了基线。
2019-10-28 cs.CV cs.RO
