S23DR 2026: End-to-End 3D Wireframe Prediction via DETR-Style Set Prediction with Contrastive Denoising
University of California, Berkeley(加州大学伯克利分校)
提出WireframeDETR方法,直接对3D点云进行DETR风格集合预测,无需中间顶点检测,通过对比去噪训练、多尺度编码器和渐进辅助损失权重实现端到端3D线框预测,在S23DR 2026挑战赛上取得0.575 HSS。
2026-06-16 cs.CV
CLR-Wire: Towards Continuous Latent Representations for 3D Curve Wireframe Generation
College of Computer Science & Software Engineering(计算机科学与软件工程学院);Shenzhen University(深圳大学)
CLR-Wire通过注意力驱动VAE将三维线框的几何与拓扑统一编码为连续隐表示,并结合流匹配模型实现无条件及点云/图像条件生成,在准确性、新颖性和多样性上优于现有方法。
2025-05-03 cs.CV cs.GR
Neural Network Based Reconstruction of a 3D Object from a 2D Wireframe
Cornell University(康奈尔大学)
我们提出了一种新的方法来构建一个3D表示从一个2D线框图。绘画只是一个3D物体在2D表面上的平行投影;人类能够很容易地从2D表示中重新创建心理3D模型,但这个过程很难在计算上模拟。我们假设我们执行此构造的能力依赖于2D场景中的角度以及其他几何属性。能够自动再现该重建过程将允许高效且鲁棒的3D草图接口。我们的研究集中在草图中可观察到的2D几何形状和从潜在的3D构造中导出的3D几何形状之间的关系。我们提出了一个完全自动化的系统,从2D线框使用神经网络结合遗传搜索算法构建3D表示。
2010-07-14 cs.CV
CGGT: Curve-Grounded Geometry Transformer for 3D Parametric Curve Reconstruction
National University of Defense Technology(国防科技大学);Hunan University(湖南大学);Shenzhen University(深圳大学)
提出CGGT,一种曲线接地几何变换器,从稀疏无位姿多视图图像中直接预测相机、深度和曲线掩码,经参数优化重建可编辑3D曲线,并构建Wireframe-100K数据集,在稀疏视图下显著提升精度与效率,且泛化至真实图像。
2026-09-15 cs.CV
Structured Semantic 3D Reconstruction (S23DR) Challenge 2025 -- Winning solution
Dept. of Cybernetics FEE, Czech Technical University(控制系,捷克技术大学)
本文提出一种两阶段三维深度学习方法,直接从稀疏点云和语义分割预测房屋屋顶线框,在S23DR挑战赛2025中以0.43的HSS获胜。
2025-06-19 cs.CV
Semantic Room Wireframe Detection from a Single View
Lund University(隆德大学)
利用单眼运动恢复结构运动恢复结构系统重建具有有限纹理信息或具有重复纹理的室内表面(在墙壁和天花板中常见的情况)可能是困难的。我们提出了一个语义房间线框检测任务,从一个单一的透视图像预测语义线框。这样的预测可以与形状先验一起使用,以估计房间布局并帮助重建。为了训练和测试所提出的算法,我们从模拟的Structured 3D数据集创建一组新的注释。我们定性地表明,SRW-Net处理复杂的房间几何形状比以前的房间布局估计算法更好,同时在非语义线框检测中定量地表现出基线。
2022-06-01 cs.CV
Explaining Human Preferences via Metrics for Structured 3D Reconstruction
ETH Zurich, Switzerland(苏黎世联邦理工学院);Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克技术大学电子工程学院);Hover Inc., USA(Hover公司)
该研究围绕结构化3D重建的自动化评估指标展开,分析现有指标缺陷,结合专家偏好验证指标特性,给出场景化选型建议,并提出基于人类专家判断蒸馏的学习型指标。
2025-10-06 cs.CV
Edge Prediction for Roof Wireframe Reconstruction with Transformers
Centre for Mathematical Sciences, Lund University(卢德大学数学科学中心)
提出一种端到端Transformer编码器-解码器架构,利用稀疏SfM点云和语义分割图重建3D屋顶线框,在HoHo 22k数据集上取得0.6476的混合结构分数,位列挑战赛第二名。
2026-06-01 cs.CV
Detecting Line Segments in Motion-blurred Images with Events
School of Electronic Information, Wuhan University(武汉大学电子信息学院);School of Computer Science, Wuhan University(武汉大学计算机学院);Baidu Inc(百度公司)
针对运动模糊图像中的线段检测难题,本文提出融合图像纹理与事件边缘的帧-事件特征融合网络,并构建FE-Wireframe和FE-Blurframe数据集,显著提升真实模糊场景的检测精度。
2022-11-20 cs.CV
Sign-Agnostic Implicit Learning of Surface Self-Similarities for Shape Modeling and Reconstruction from Raw Point Clouds
South China University of Technology(华南理工大学);Pazhou Lab(琶洲实验室);Peng Cheng Lab(鹏城实验室);Southern University of Science and Technology(南方科技大学)
从物体的原始点云进行形状建模和重建是视觉和图形学研究中的一个基本挑战。经典的方法考虑解析形状先验,然而,当扫描点偏离清洁和完整的理想条件时,它们的性能下降。数据驱动的方法最近取得了重要进展,该方法从辅助训练形状集学习隐式表面表示的全局和/或局部模型。基于局部曲面片的自相似形状模式在整个物体表面上重复的普遍现象,我们的目标是推进数据驱动的策略,并提出学习局部隐式曲面网络以实现整个表面的共享、自适应建模,从而从原始点云直接进行表面重建;我们还通过改进各个表面块的优化潜在代码之间的相关性来增强表面自相似性的杠杆作用。考虑到原始点的方向可能不可用或有噪声,我们将符号不可知学习扩展到我们的局部隐式模型中,这使得我们能够从无符号输入中恢复局部表面的有符号隐式场。我们将我们的框架称为表面自相似性的符号不可知内隐学习(SAIL-S3)。通过对局部符号翻转进行全局后优化,SAIL-S3能够直接对原始的、无方向的点云进行建模,并重建高质量的物体表面。实验结果表明,该方法优于现有的方法。
2021-06-08 cs.CV
Pose Estimation and 3D Reconstruction of Vehicles from Stereo-Images Using a Subcategory-Aware Shape Prior
Institute of Photogrammetry and GeoInformation, Leibniz Universität Hannover(莱布尼茨汉诺威大学摄影测量与地理信息研究所)
物体的3D重建是计算机视觉的许多高度相关应用(如移动机器人或自动驾驶)的先决条件。为了处理从其2D投影重建3D对象的逆问题,常见的策略是通过建立3D模型并将其对准到2D图像平面来将先验对象知识并入重建方法中。然而,目前的方法是有限的,由于不充分的形状先验和不充分的衍生图像观测与3D模型的可靠对准。本文的目标是展示三维物体重建如何从更复杂的形状先验和从图像推断的不同观察类型的组合合并中获益。我们引入了一个子类感知的变形车辆模型,利用预测的车辆类型的车辆形状的更适当的正则化。提出了一种多分支CNN来获得车辆类型和方向的预测。该信息也被引入作为模型拟合的先验信息。此外,CNN提取车辆关键点和线框,这非常适合模型到图像的关联和模型拟合。姿态估计和重建的任务是由一个通用的概率模型。使用两个具有挑战性的现实世界的数据集进行了广泛的实验,这两个数据集上的开发形状先验的好处可以显示出来。与最先进的车辆姿态估计方法的比较表明,所提出的方法表现相当或更好,确认了所开发的形状先验和概率模型用于车辆重建的适用性。
2021-07-22 cs.CV
Transientangelo: Few-Viewpoint Surface Reconstruction Using Single-Photon Lidar
University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对少视角三维表面重建问题,提出Transientangelo方法,利用单光子激光雷达的原始瞬态测量数据优化神经表面表示,结合新正则化策略提升光子噪声鲁棒性(每像素10光子即可重建),性能优于传统方法。
2024-11-29 cs.CV
Enhancement of 3D Gaussian Splatting using Raw Mesh for Photorealistic Recreation of Architectures
Southeast University(东南大学)
本文提出利用现有原始3D模型引导3D Gaussian Splatting捕捉建筑基本形状,在非系统化拍摄下改善纹理与细节的视觉质量,提升建筑设计领域的3D重建效果。
2024-09-26 cs.CV
Deep Surface Reconstruction from Point Clouds with Visibility Information
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);IGN-ENSG(法国国立地理科学学院);Ecole des Ponts(巴黎综合理工学院桥梁学校);CNRS(法国国家科学研究中心)
大多数当前用于从点云重建表面的神经网络忽略传感器姿态并且仅对原始点定位进行操作。然而,传感器的可见性,持有有关空间占用和表面取向的有意义的信息。在本文中,我们提出了两种简单的方法来增强原始点云的可见性信息,因此它可以直接由表面重建网络以最小的适应性来利用。我们提出的修改一致地提高了生成的表面的准确性以及网络对看不见的形状域的泛化能力。我们的代码和数据可在https://github.com/raphaelsulzer/dsrv-data上获得。
2022-02-03 cs.CV
PointCaps: Raw Point Cloud Processing using Capsule Networks with Euclidean Distance Routing
University of Moratuwa(莫拉图瓦大学);Florida International University(佛罗里达国际大学);University of Maryland, College Park(马里兰大学帕克分校)
利用胶囊网络处理原始点云由于其能够保持输入数据的空间一致性而被广泛用于分类、重建和分割。然而,大多数现有的基于胶囊的网络方法计算量大,并且无法将整个点云表示为单个胶囊。我们通过提出PointCaps来解决现有基于胶囊网络的方法中的这些限制,PointCaps是一种具有参数共享的新型卷积胶囊架构。随着PointCaps,我们提出了一种新的欧几里德距离路由算法和类独立的潜在表示。潜在表示捕获点云的物理可解释的几何参数,通过动态欧几里得路由,PointCaps很好地表示了点的空间(点到零件)关系。与最先进的胶囊网络相比,PointCaps的参数数量明显减少,需要的FLOP数量也明显减少,同时实现了更好的重建,原始点云的分类和分割精度相当。
2022-08-21 cs.CV
FujinSplat: Seeing Through Smoke with RAW-Domain Gaussian Splatting
Hefei University of Technology(合肥工业大学);The Hong Kong University of Science and Technology, Guangzhou(香港科技大学(广州));The University of Tokyo(东京大学)
FujinSplat在RAW域中分离烟雾介质与ISP变换,通过基础ISP和场景无关控制器修正视图,训练静态3D高斯表示,在RealX3D基准上显著超越现有方法。
2026-10-06 cs.CV
HDRSplat: Gaussian Splatting for High Dynamic Range 3D Scene Reconstruction from Raw Images
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
HDRSplat提出直接基于14-bit线性raw图像训练3DGS,通过线性HDR损失函数和光栅化调优克服点云初始化敏感性,实现快速且高保真的高动态范围3D场景重建。
2024-07-23 cs.CV eess.IV
FullCircle: Effortless 3D Reconstruction from Casual 360$^\circ$ Captures
Simon Fraser University(西蒙弗雷泽大学);Bilkent University(比尔肯特大学);University of British Columbia(不列颠哥伦比亚大学);University of Toronto(多伦多大学)
本文提出了一种直接从原始360度摄像机捕获数据进行3D重建的实用流程,无需特殊拍摄协议或预处理,且对人类操作员的干扰具有鲁棒性,展示了360度拍摄在随意重建中的优势。
2026-03-23 cs.CV
LRM-Zero: Training Large Reconstruction Models with Synthesized Data
Stony Brook University(石溪大学);Adobe Research(奥多比研究院);Kiel University(基尔大学)
本研究提出完全基于合成3D数据集Zeroverse训练的大型重建模型LRM-Zero,无需真实物体语义即可实现高质量稀疏视角3D重建,性能与使用真实数据训练的模型相当。
2024-11-01 cs.CV cs.LG
MMBaT: A Multi-task Framework for mmWave-based Human Body Reconstruction and Translation Prediction
Shanghai Jiao Tong University(上海交通大学)
针对毫米波雷达点云人体重建中噪声多、人体点稀疏不一致的问题,提出多任务框架mmBaT,同时重建人体并预测帧间平移以提取人体点云,在不同噪声水平的公开数据集上实现了更优的重建性能与泛化能力。
2023-12-16 cs.CV
3D Face Modeling From Diverse Raw Scan Data
Michigan State University(密歇根州立大学)
传统的3D人脸模型使用线性子空间从单个数据库的有限扫描中学习人脸的潜在表示。从不同的3D数据库中构建大规模人脸模型的主要障碍在于原始扫描之间缺乏密集的对应关系。为了解决这些问题,本文提出了一个创新的框架,从不同的原始3D扫描数据库中联合学习非线性人脸模型,并在扫描之间建立密集的点对点对应关系。具体来说,通过将输入扫描视为无组织的点云,我们探索使用PointNet架构将点云转换为身份和表情特征表示,解码器网络从中恢复其3D人脸形状。此外,我们提出了一个弱监督学习的方法,不需要对应标签的扫描。我们证明了我们提出的方法的优越的密集对应和表示能力,以及它对单图像三维人脸重建的贡献。
2019-08-13 cs.CV
SAL: Sign Agnostic Learning of Shapes from Raw Data
Weizmann Institute of Science(魏茨曼科学研究所)
最近,神经网络已被用作表面重建、建模、学习和生成的隐式表示。到目前为止,将神经网络训练为表面的隐式表示需要从地面实况带符号隐式函数(例如带符号距离或占用函数)采样的训练数据,这些函数非常难以计算。在本文中,我们介绍了符号不可知学习(SAL),这是一种深度学习方法,用于直接从原始的无符号几何数据(如点云和三角汤)中学习隐式形状表示。我们已经测试了SAL在从非定向点云进行表面重建的挑战性问题上,以及直接从原始扫描数据集进行端到端的人体形状空间学习,并与当前方法相比实现了最先进的重建。我们相信SAL为许多具有真实数据的几何深度学习应用打开了大门,减轻了通常艰苦的手动预处理。
2020-03-31 cs.CV cs.GR cs.LG
Monocular 3D Fingerprint Reconstruction and Unwarping
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
与接触式指纹采集技术相比,非接触式指纹采集具有皮肤变形小、指纹面积大、采集卫生等优点。然而,透视失真是非接触式指纹识别中的一个挑战,它改变了脊线方向、频率和细节点位置,从而导致识别精度下降。我们提出了一种基于学习的纹理形状算法,从一个单一的图像重建三维手指形状和unwarp的原始图像,以抑制透视失真。在非接触式指纹数据库上的实验结果表明,该方法具有较高的三维重建精度。非接触-接触匹配和非接触-非接触匹配实验表明,该方法提高了匹配精度。
2022-05-02 cs.CV
From Chaos to Clarity: 3DGS in the Dark
Nanyang Technology University(南洋理工大学)
针对含噪 raw 图像导致 3DGS 过拟合、质量与速度下降的问题,提出融合噪声提取器和噪声分布先验损失的自监督 HDR 3DGS 框架,并在 RawNeRF 上实现质量与推理速度双提升。
2024-06-12 cs.CV eess.IV
CAP-UDF: Learning Unsigned Distance Functions Progressively from Raw Point Clouds with Consistency-Aware Field Optimization
School of Software, Tsinghua University(清华大学软件学院);Center for Artificial Intelligence and Robotics, New York University Abu Dhabi(纽约大学阿布扎比分校人工智能与机器人中心);Wayne State University(韦恩州立大学)
本文提出CAP-UDF方法,通过一致性约束逐步学习无符号距离函数,实现从原始点云重建开放表面,并在实验中显著优于现有方法。
2024-05-24 cs.CV
Three Dimensional Reconstruction of Botanical Trees with Simulatable Geometry
Stanford University(斯坦福大学);Industrial Light & Magic(工业光魔公司)
我们解决了具有挑战性的问题,创建完整和准确的三维重建的植物树与拓扑和几何精度所需的后续物理模拟,例如,在响应风力。虽然我们的方法的某些方面将受益于各种改进,我们的结果超过了最先进的,特别是在几何和拓扑的复杂性和准确性。从连接到无人机的摄像机获取的二维的RGB图像数据开始,我们创建点云,纹理三角形网格,以及可模拟和蒙皮的圆柱形铰接刚体模型。我们讨论了管道每一步的优缺点,为了刺激未来的研究,我们将管道每一步的原始和处理数据以及最终的几何重建公开。
2018-12-20 cs.CV
BS3D: Building-scale 3D Reconstruction from RGB-D Images
University of Oulu(奥卢大学);Aalto University(阿尔托大学);Tampere University(坦佩雷大学)
已经提出了用于同时定位与地图构建(SLAM)和相关问题的各种数据集。现有的数据集通常包括小环境,具有不完整的地面实况,或缺乏重要的传感器数据,例如深度和红外图像。我们提出了一个易于使用的框架,用于使用消费者深度相机获取建筑规模的3D重建。与复杂和昂贵的采集设置不同,我们的系统支持众包,这可以极大地有利于数据饥渴的算法。与类似的系统相比,我们利用原始深度图进行里程计算和循环闭合细化,从而获得更好的重建效果。我们获得了一个建筑规模的三维数据集(BS 3D),并证明其价值,通过训练改进的单目深度估计模型。作为一个独特的实验,我们基准的视觉惯性里程计方法使用彩色和主动红外图像。
2023-01-03 cs.CV
PointNeuron: 3D Neuron Reconstruction via Geometry and Topology Learning of Point Clouds
University of Sydney(悉尼大学)
从三维显微图像重建神经元是研究脑连接和神经元形态学的一项重要技术。现有的重建框架使用基于卷积的分割网络在应用跟踪算法之前将神经元从噪声背景中分割出来。跟踪结果对原始图像质量和分割精度敏感。在本文中,我们提出了一个新的框架三维神经元重建。我们的核心思想是利用点云的几何表示能力来更好地探索神经元的内在结构信息。我们提出的框架采用一个图卷积网络来预测神经骨架点,另一个产生这些点的连通性。我们最终通过解释预测的点坐标、半径和连接来生成目标SWC文件。在BigNeuron项目的Janelia-Fly数据集上进行评估,我们表明我们的框架实现了具有竞争力的神经元重建性能。我们对点云的几何和拓扑学习可以进一步有益于3D医学图像分析,例如心脏表面重建。我们的代码可在https://github.com/RunkaiZhao/PointNeuron上获得。
2022-10-18 cs.CV
MultiPull: Detailing Signed Distance Functions by Pulling Multi-Level Queries at Multi-Step
School of Software, Tsinghua University(清华大学软件学院);Tencent(腾讯公司);Wayne State University(韦恩州立大学)
MultiPull提出一种从原始点云学习多尺度隐式场的新方法,通过频率特征映射和空间距离、法线一致性约束,从粗到细优化SDF,在物体和场景基准上超越现有技术。
2024-11-02 cs.CV
Automated Reconstruction of 3D Open Surfaces from Sparse Point Clouds
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
真实世界的3D数据可能包含由显著表面间隙定义的复杂细节。这些开放表面的自动重建(例如,非防水网格)对于混合现实应用中的环境合成来说是一个具有挑战性的问题。现有的基于学习的隐式重建技术可以在闭曲面重建上达到很高的保真度。然而,它们依赖于表面内部和外部之间的区别,使得它们无法重建开放表面。最近,一类新的隐式函数在通过回归无符号距离场来重建开放曲面方面显示出了希望。然而,这些方法依赖于原始数据的离散化表示,这会丢失重要的表面细节,并可能导致重建中的离群值。我们提出了IPVNet,这是一种基于学习的隐式模型,它通过利用原始点云数据及其离散体素对应物来预测3D空间中表面和查询点之间的无符号距离。在合成和真实世界公共数据集上的实验表明,IPVNet的性能优于现有技术,同时在重建中产生的离群值要少得多。
2023-01-18 cs.CV cs.GR
Leveraging Thermal Modality to Enhance Reconstruction in Low-Light Conditions
Johns Hopkins University(约翰斯·霍普金斯大学);Southern University of Science and Technology(南方科技大学)
本文提出 Thermal-NeRF 模型,利用热成像和可见光 raw 图像作为输入,实现低光照条件下的高质量新视角合成,并构建了首个多视角热成像与可见光数据集 (MVTV) 支持多模态 NeRF 研究。
2024-03-21 cs.CV cs.GR
IPVNet: Learning Implicit Point-Voxel Features for Open-Surface 3D Reconstruction
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
针对开放表面3D重建易产生伪影、离群点的问题,提出融合点云与体素特征的隐式模型IPVNet,通过预测无符号距离实现高精度重建,性能优于现有方法且离群点更少。
2023-11-05 cs.CV cs.GR
Edge Preserving Implicit Surface Representation of Point Clouds
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);SmartMore Co., Ltd.(思谋科技有限公司);National University of Defense Technology(国防科技大学)
直接从原始数据中学习隐式曲面由于其优良的性能,近年来已成为三维重建任务中非常有吸引力的表示方法。然而,随着原始数据质量的恶化,隐式函数往往导致不满意的重建结果。为此,我们提出了一种新的边缘保持隐式曲面重建方法,它主要包括一个可微Laplican正则化和动态边缘采样策略。其中,微分Laplacian正则化算子能有效缓解点云质量恶化导致的隐式曲面不光滑;同时,为了减少隐式曲面边缘区域的过度平滑,提出了一种在点云锐边附近采样的动态边缘提取策略,有效避免了Laplacian正则化算子对所有区域的平滑。最后,我们将它们与一个简单的正则化项相结合,以实现鲁棒的隐式曲面重建。实验结果表明,与现有的方法相比,该方法明显提高了三维重建结果的质量。实验结果表明,该方法可以方便有效地应用于点云边缘特征提取、法线估计等分析任务。
2023-01-12 cs.CV cs.GR
Holo360D: A Large-Scale Real-World Dataset with Continuous Trajectories for Advancing Panoramic 3D Reconstruction and Beyond
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));South China Normal University(华南师范大学)
本文提出Holo360D数据集,包含109495张全景图像及注册点云、网格和对齐相机姿态,通过连续轨迹和高完整性深度图提升全景3D重建性能,建立新基准并提供有效微调策略。
2026-06-08 cs.CV cs.GR
3DRIMR: 3D Reconstruction and Imaging via mmWave Radar based on Deep Learning
UMass Boston(马萨诸塞大学波士顿分校)
毫米波雷达已被证明是一种有效的传感技术,在低能见度,烟雾,灰尘和浓雾环境。然而,由于雷达数据的稀疏性、低分辨率、镜面反射性、高噪声性以及多路径引起的阴影反射和伪影等特点,挖掘雷达感测的潜力来重建3D物体形状仍然是一个巨大的挑战。在本文中,我们提出了通过毫米波雷达(3DRIMR)进行3D重建和成像,这是一种基于深度学习的架构,可以基于稀疏的原始毫米波雷达强度数据,以密集的详细点云格式重建物体的3D形状。该架构由两个背靠背的条件GAN深度神经网络组成:第一个生成器网络基于原始雷达强度数据生成2D深度图像,第二个生成器网络基于第一个生成器的结果输出3D点云。该架构利用了卷积神经网络的卷积操作(提取局部结构邻域信息)和点云的效率和详细几何捕获能力(而不是3D空间或距离场的昂贵体素化)。我们的实验已经证明了3DRIMR的有效性,在重建3D对象,其性能优于标准技术。
2021-08-05 cs.CV cs.LG eess.IV
Learning Modified Indicator Functions for Surface Reconstruction
Tsinghua University(清华大学);Yanqi Lake Beijing Institute of Mathematical Sciences and Applications(北京雁栖湖应用数学研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
曲面重建是三维图形学中的一个基本问题。本文提出了一种基于学习的无法线原始点云隐式曲面重构方法。我们的方法受到势能理论中高斯引理的启发,给出了指示函数的显式积分公式。我们设计了一种新的深度神经网络来执行表面积分,并从非定向和噪声点云中学习修改后的指示函数。我们将具有不同尺度的特征连接起来,以获得对积分的精确逐点贡献。此外,我们提出了一种新的表面元素特征提取器学习局部形状属性。实验结果表明,该方法能够从不同噪声尺度的点云生成具有高法向一致性的光滑曲面,与现有的数据驱动和非数据驱动方法相比,具有最佳的重构性能。
2022-02-20 cs.CV cs.GR
GPR-based Model Reconstruction System for Underground Utilities Using GPRNet
The City College of New York(纽约市立学院)
探地雷达(Ground Penetrating Radar,GPR)是探测和定位地下物体(即,钢筋、公用管道)。以往的研究大多集中在基于地质雷达图像的特征检测上,没有一个能够处理稀疏的地质雷达测量数据,成功地重建出非常精细和详细的地下目标三维模型,以达到更好的可视化效果。为了解决这一问题,本文提出了一种新的机器人系统来收集探地雷达数据,定位地下设施,并重建地下目标的密集点云模型。该系统由三个模块组成:1)基于视觉惯性的探地雷达数据汇集模块,其利用全向机器人提供的定位信息对探地雷达测量结果进行标记; 2)深度神经网络(DNN)迁移模块,其将原始探地雷达B扫描图像解释为对象模型的横截面; 3)基于DNN的3D重建模块,即,GPRNet,以精细的三维点云生成地下实用模型。本文通过定量和定性的实验结果验证了该方法可以在稀疏输入的基础上生成密集而完整的管道设施点云模型,探地雷达原始数据的不完整性和各种噪声。在合成数据和现场测试数据上的实验结果进一步证明了该方法的有效性。
2021-05-18 cs.CV cs.RO eess.IV
RealX3D: A Physically-Degraded 3D Benchmark for Multi-view Visual Restoration and Reconstruction
The University of Tokyo(东京大学);National Institute of Informatics(日本信息处理学会);Tohoku University(东北大学);University of Würzburg(乌尔姆大学);RIKEN AIP(理化学研究所AIP)
RealX3D是一个用于多视图视觉修复和3D重建的现实捕获基准,通过多种物理退化测试评估方法的性能。
2026-01-21 cs.CV cs.MM
Revisiting LiDAR Registration and Reconstruction: A Range Image Perspective
Carnegie Mellon University(卡内基梅隆大学);POSTECH(浦项科技大学)
旋转LiDAR数据在3D视觉任务中很普遍。由于LiDAR数据以点云的形式呈现,因此通常需要昂贵的3D操作。本文回顾了旋转激光雷达的扫描形成,并提出了一个圆柱形的距离图像表示与射线的投影/非投影模型。它建立在原始扫描的基础上,支持从2D到3D的无损转换,允许快速的2D操作,包括基于2D索引的邻居搜索和下采样。然后,据我们所知,我们提出了第一个多尺度配准和密集符号距离函数(SDF)重建系统的激光雷达距离图像。我们进一步收集了一个数据集的室内和室外激光雷达场景的构成范围图像格式。对建议的数据集和KITTI数据集进行了配准和重建的综合评价。实验表明,我们的方法优于表面重建基线,并实现了与最先进的激光雷达配准方法(包括基于现代学习的配准方法)相似的性能。由于简单,我们的配准运行在100 Hz和SDF重建实时的。将发布数据集和模块化的C++/Python工具箱。
2022-03-28 cs.CV cs.RO
RAW-Flow: Advancing RGB-to-RAW Image Reconstruction with Deterministic Latent Flow Matching
RAW-Flow通过确定性潜在流匹配方法,提升RGB到RAW图像重建的精度和结构细节恢复能力。
2026-01-28 cs.CV
Edit-aware RAW Reconstruction
AI Center–Toronto, Samsung Electronics(多伦多人工智能中心,三星电子)
本文提出了一种编辑感知的损失函数,用于提升RAW重建在不同渲染风格和编辑操作下的鲁棒性,通过可微的图像信号处理器模拟真实摄影流程,提升sRGB重建质量。
2026-04-23 cs.CV
3D Reconstruction of Multiple Objects by mmWave Radar on UAV
UMass Boston(马萨诸塞大学波士顿分校)
在本文中,我们探讨了利用安装在无人机上的毫米波雷达传感器来重建空间中多个物体的3D形状的可行性。无人机在太空中的不同位置盘旋,其机载雷达传感器通过合成孔径雷达(SAR)操作扫描太空收集原始雷达数据。雷达数据被发送到深度神经网络模型,该模型输出空间中多个对象的点云重建。我们评估两种不同的模型。模型1是我们最近提出的3DRIMR/R2 P模型,模型2是通过在模型1的处理管道中添加分割阶段而形成的。我们的实验表明,这两种模型是有前途的解决多目标重建问题。我们还表明,模型2,尽管产生更密集,更平滑的点云,可能会导致更高的重建损失,甚至丢失的对象。此外,我们发现,这两个模型是强大的高噪声雷达数据不稳定的SAR操作,由于不稳定或振动的小型无人机悬停在其预定的扫描点。我们的探索性研究表明,毫米波雷达传感在三维物体重建中的应用是一个很有前途的方向。
2022-11-03 cs.AI cs.CV eess.SP
$\mathbf{R}^3$: Reconstruction, Raw, and Rain: Deraining Directly in the Bayer Domain
Department of ECE Technion(电子工程系技术学院);Department of CS Technion(计算机科学系技术学院);School of ECE Ben-Gurion University(电子工程学院巴伊伦大学)
本文提出在原始拜耳马赛克上直接进行雨去除,通过Raw-Rain基准和ICS度量,实现更优的重建效果并提升效率。
2026-10-22 cs.CV
MambaRaw: Selective State Space Modeling for Efficient 4K Raw Image Reconstruction
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Dalian University of Technology(大连理工大学);Microsoft Research Asia(微软亚洲研究院);Hong Kong University of Science and Technology(香港科技大学);School of Computer Science, Peking University(北京大学计算机科学学院)
提出MambaRaw框架,利用状态空间模型高效估计熵参数,通过TileMambaBlock和能量感知精化模块实现4K原始图像的高效重建,在三个相机数据集上达到最优性能。
2026-06-24 cs.CV
High Dynamic Range Video Reconstruction from Single-Exposure Raw Sequences
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang Provincial Key Laboratory of Low Altitude Ubiquitous Networking Technology, Hangzhou Dianzi University(浙江省低空泛在组网技术重点实验室,杭州电子科技大学);Institute of Microelectronics, Chinese Academy of Sciences(中国科学院微电子研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Institute of Technology(北京理工大学)
针对单曝光原始视频的HDR重建难题,提出RawHDRV端到端框架,利用Bayer数据线性响应与通道特性,结合通道分解对齐融合、曝光互补掩码恢复及掩码引导颜色损失,构建大规模数据集,实现最先进性能。
2026-09-24 cs.CV
Raw-JPEG Adapter: Efficient Raw Image Compression with JPEG
AI Center-Toronto, Samsung Electronics(AI中心-多伦多,三星电子)
RawJPEG Adapter通过轻量可学习的预处理管道,实现RAW图像的高效JPEG压缩,提升保真度并平衡压缩比与重建准确性。
2026-03-04 cs.CV
HDR Video Reconstruction with a Large Dynamic Dataset in Raw and sRGB Domains
Tianjin University(天津大学)
本文利用交错传感器构建了包含85个场景的大规模Raw与sRGB域LDR-HDR视频数据集,并提出基于金字塔流引导变形卷积的Raw-HDRNet,证明Raw输入能显著提升HDR视频重建质量。
2023-04-12 cs.CV eess.IV
A Learnable Color Correction Matrix for RAW Reconstruction
Shanghai University(上海大学)
本文提出一种超轻量级RAW重建方法,通过单个卷积层学习颜色校正矩阵来近似逆ISP,生成的模拟RAW图像在预训练RAW域目标检测器时可达到与复杂逆ISP方法相当的性能提升。
2024-09-04 cs.CV eess.IV
ERIENet: An Efficient RAW Image Enhancement Network under Low-Light Environment
Beijing Institute of Technology(北京理工大学)
ERIENet通过高效卷积模块和绿色通道引导分支,在低光照环境下实现高效的RAW图像增强,具有更高的效率和速度。
2025-12-17 cs.CV
Raw Image Reconstruction with Learned Compact Metadata
Nanyang Technological University(南洋理工大学);Peng Cheng Lab(鹏城实验室);The Hong Kong Polytechnic University(香港理工大学)
虽然原始图像表现出优于sRGB图像的优点(例如,线性度和细粒度量化级),但是由于大的存储需求,它们没有被普通用户广泛使用。最近的工作提出通过在原始图像像素空间中设计采样掩码来压缩原始图像,导致次优图像表示和冗余元数据。在本文中,我们提出了一个新的框架,学习一个紧凑的表示在潜在的空间作为元数据在一个端到端的方式。此外,我们提出了一种新的sRGB引导的上下文模型与改进的熵估计策略,这导致更好的重建质量,更小的元数据的大小,和更快的速度。我们说明了如何建议的原始图像压缩方案可以自适应地分配更多的位,从全球的角度来看,是重要的图像区域。实验结果表明,该方法在未压缩的sRGB图像和JPEG图像上都能以较小的元数据获得较好的原始图像重建效果。
2023-02-28 cs.CV eess.IV
SpiralDiff: Spiral Diffusion with LoRA for RGB-to-RAW Conversion Across Cameras
School of Electrical and Information Engineering, Tianjin University(天津大学电气与信息工程学院);State key laboratory of Smart Power Distribution Equipment and System, Tianjin University(天津大学智能电力分配设备与系统国家重点实验室)
SpiralDiff通过信号依赖噪声加权策略和CamLoRA模块,提升跨相机RGB到RAW转换的重建质量及下游任务性能。
2026-03-16 cs.CV
RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image
Beijing Institute of Technology(北京理工大学);Hangzhou Dianzi University(杭州电子科技大学)
本文提出RawHDR模型,利用Raw传感器数据而非LDR sRGB图像,通过曝光掩码分离困难区域,并引入双强度与全局空间指导,实现高动态范围图像重建,实验验证了其优越性。
2023-09-05 cs.CV eess.IV
Learning sRGB-to-Raw-RGB De-rendering with Content-Aware Metadata
York University(约克大学);Samsung AI Center – Toronto(三星人工智能中心多伦多分部)
大多数相机图像由相机硬件以标准RGB(sRGB)格式渲染和保存。由于相机内的照片整理例程,非线性sRGB图像对于假定像素值和场景辐射之间的直接关系的计算机视觉任务是不期望的。对于这样的应用,优选线性原始RGB传感器图像。以原始RGB格式保存图像仍然不常见,这是由于大量存储需求和许多成像应用程序缺乏支持。已经提出了几种“原始重建”方法,其利用在捕获时从原始RGB图像采样并嵌入到sRGB图像中的专用元数据。此元数据用于参数化映射函数,以便在需要时将sRGB图像反渲染回其原始原始RGB格式。现有的原始重建方法依赖于简单的采样策略和全局映射来执行去渲染。本文介绍了如何通过联合学习采样和重建来改善去渲染结果。我们的实验表明,我们学习的采样可以适应图像内容,以产生比现有方法更好的原始重建。我们还描述了一个在线微调策略的重建网络,以进一步改善结果。
2022-06-03 cs.CV eess.IV
RAW Image Reconstruction from RGB on Smartphones. NTIRE 2025 Challenge Report
本文报告NTIRE 2025第二届从sRGB重建RAW图像挑战赛,旨在无元数据条件下逆转ISP变换恢复智能手机RAW图像,超过150名参与者提交高效模型,所提方法与基准确立了生成逼真RAW数据的最新水平。
2025-06-02 cs.CV eess.IV