VisTa3D: A Dataset and Benchmark for Thin Object Reconstruction from Vision, Tactile, and 3D Point Clouds
Yale University(耶鲁大学);Yale Vision Laboratory(耶鲁视觉实验室);GRAB Lab(GRAB实验室)
VisTa3D是首个含视觉、触觉等数据的薄物体重建数据集,作者在其上基准测试现有模型发现其保真度低,还提出视觉-深度-触觉基线模型以探究触觉数据对薄物体重建的辅助作用。
2026-09-01 cs.CV
VolumeFusion: Deep Depth Fusion for 3D Scene Reconstruction
KAIST(韩国科学技术院);DGIST(大邱庆北科学技术院)
传统的多视图立体视觉技术从一组标定的视图重建3D场景时,依赖于两个不同的阶段:局部深度图计算和全局深度图融合。最近的研究集中在通过使用传统深度融合方法或通过回归截断符号距离函数(TSDF)的直接3D重建网络进行深度估计的深度神经架构。在本文中,我们主张用深度神经网络复制传统的两阶段框架,以提高结果的可解释性和准确性。如前所述,我们的网络分两步操作:1)使用深度MVS技术对局部深度图进行局部计算,以及2)深度图和图像的特征融合以构建单个TSDF体积。为了提高从非常不同的视点(例如,大基线和旋转),我们引入了一个旋转不变的3D卷积核,称为PosedConv。通过在ScanNet数据集上进行的一系列实验,强调了所提出的架构的有效性,其中我们的方法与传统和深度学习技术相比具有优势。
2021-08-19 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu(奥卢大学);Aalto University(阿尔托大学)
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器(如Microsoft Kinect)生成,深度图都有噪声,并且可能具有较差的初始配准。在本文中,我们介绍了一种方法,这是能够处理离群值,特别是,甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中,以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后,将原始深度图重新配准到融合点云以细化原始相机外部参数。然后,再次使用细化的外部参数执行融合。重复此过程,直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
PeeledHuman: Robust Shape Representation for Textured 3D Human Body Reconstruction
IIIT Hyderabad(印度国际信息技术学院海得拉巴分校)
我们介绍PeeledHuman -一种新的形状表示的人体是强大的自我闭塞。PeeledHuman将人体编码为一组2D的Peeled Depth和RGB贴图,通过对3D身体模型执行光线跟踪并将每条光线延伸到其第一个交点之外来获得。与其他表示相比,这种表述使我们能够有效地处理自遮挡。给定一个单目RGB图像,我们使用我们的新框架- PeelGAN以端到端的生成对抗方式学习这些Peeled映射。我们使用3D倒角损失和其他2D损失来训练PeelGAN,以在双分支设置中生成每个像素的多个深度值和每个顶点的对应RGB场。在我们简单的非参数化解决方案中,生成的Peeled Depth贴图被反向投影到3D空间,以获得完整的纹理3D形状。对应的RGB贴图提供顶点级纹理细节。我们比较了我们的方法与当前的参数和非参数方法在三维重建,发现我们实现了国家的最先进的结果。我们证明了我们的代表公开可用的BUFF和MonoPerfCap数据集,以及宽松的服装数据收集我们校准的多Kinect设置的有效性。
2020-11-02 cs.CV
MAGiSt3R: Multi-Agent Feed-forward 3D Reconstruction from Monocular RGB Videos
University of Bologna(博洛尼亚大学);The University of Hong Kong(香港大学);Southeast University(东南大学);Monash University(莫纳什大学)
研究基于单目RGB视频的多智能体3D重建问题,核心方法是用3R家族前馈模型和MAGMA合并模型,并进行姿态图优化,主要贡献是在合成和真实数据集上验证该框架相比现有方法有更高重建和相机跟踪精度。
2026-07-17 cs.CV
Stereo-GS: Multi-View Stereo Vision Model for Generalizable 3D Gaussian Splatting Reconstruction
Department of Computer Science, Hong Kong Baptist University(香港 Baptist 大学计算机科学系);NVIDIA AI Technology Center, NVIDIA(NVIDIA 人工智能技术中心);School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学)
Stereo-GS通过立体视觉和解耦框架实现高效通用3D高斯点云重建,无需依赖相机参数,提升鲁棒性和实用性。
2026-01-01 cs.CV
DensePose 3D: Lifting Canonical Surface Maps of Articulated Objects to the Third Dimension
Facebook AI Research(Facebook AI研究院)
我们解决了人类和动物等铰接物体的单眼3D重建问题。我们贡献了DensePose 3D,这是一种可以仅从2D图像注释以弱监督方式学习这种重建的方法。这与先前的可变形重建方法形成鲜明对比,这些方法使用参数模型,例如在3D对象扫描的大型数据集上预训练的SMPL。因为它不需要3D扫描,所以DensePose 3D可用于学习广泛的关节类别,例如不同的动物物种。该方法以端到端的方式学习将给定类别特定的3D模板网格软划分为刚性部件以及预测部件运动的单目重建网络,使得它们正确地重新投影到对象的2D DensePose-like表面注释上。将对象分解为部件是正则化的,通过将部件分配表示为Laplace-Beltrami算子的光滑本征函数的组合。与最先进的非刚性结构运动基线相比,我们在人类和动物类别的合成和真实数据上都有显着改进。
2021-08-31 cs.CV
Event-Based Dense Reconstruction Pipeline
Beijing Institute of Aerospace Systems Engineering(北京宇航系统工程研究所);China Academy of Launch Vehicle Technology(中国运载火箭技术研究院)
事件摄像机是一种不同于传统摄像机的新型传感器。每个像素由事件异步触发。触发事件是照射在像素上的亮度的变化。如果亮度的增量或减量高于某个阈值,则输出事件。与传统相机相比,事件相机具有高动态范围和无运动模糊的优点。由于事件是由强度边缘的表观运动引起的,因此大多数3D重建图仅由场景边缘组成,即,半稠密映射,这对于某些应用是不够的。在本文中,我们提出了一个流水线实现基于事件的密集重建。首先,使用深度学习从事件重建强度图像。然后,运动恢复结构(SfM)被用来估计相机的内在,外在和稀疏点云。最后,利用多视图立体视觉(MVS)完成稠密重建。
2022-03-23 cs.CV
Joint 3D Reconstruction of a Static Scene and Moving Objects
KTH Royal Institute of Technology(瑞典皇家理工学院);Mitsubishi Electric Research Labs(三菱电机研究实验室)
我们提出了一种技术,同时三维重建的静态区域和刚性移动的物体在场景中。RGB-D帧被表示为特征的集合,这些特征是点和平面。我们将特征分类为静态和动态区域,并为每个区域生成单独的地图,静态和对象地图。为了对每个帧中的特征进行鲁棒分类,我们将通过将不同组的特征注册到不同的地图而获得的多个基于RANSAC的注册结果进行融合,包括(1)将所有特征注册到静态地图,(2)将所有特征注册到每个对象地图,以及(3)将特征的子集(每个子集形成一个片段)注册到每个对象地图。这种多组配准方法旨在克服以下挑战:场景可以由静态区域主导,使得对象跟踪更加困难;与静态区域相比,移动对象在帧之间可能具有更大的姿态变化。我们展示了室内场景中各种形状的物体的定性结果。该技术使飞行中的对象模型生成用于机器人操作。
2018-02-13 cs.CV
Perspective-aware fusion of incomplete depth maps and surface normals for accurate 3D reconstruction
Austrian Institute of Technology(奥地利技术研究所);Center for Vision, Automation and Control(视觉、自动化与控制中心);Competence unit High-Performance Vision System(高性能视觉系统能力单元)
本文提出一种视角感知的对数深度融合方法,通过显式考虑透视投影,提升基于单视角相机的深度和法线图的3D重建精度,并利用法线信息填补缺失深度数据。
2026-02-07 cs.CV eess.SP
Collaborative Dense SLAM
Maynooth University(梅努斯大学)
在本文中,我们提出了一个新的系统,现场协作稠密表面重建。协作机器人、多参与者增强现实和人机交互都是协作映射可以用于更大的代理自主性的情况的示例。我们的系统建立在ElasticFusion的基础上,允许许多相机从未知的初始相对位置开始,利用原始算法维护本地地图。通过在这些本地地图上执行视觉地点识别,系统可以识别两个地图何时在空间中重叠,从而提供地图间约束,系统可以从该地图间约束导出两个地图的相对姿态。使用这些产生的姿势约束,我们的系统执行地图合并,允许多个相机融合到一个共享的重建他们的测量。这种方法的优点是,它避免了重复的结构后,循环关闭,其中多个摄像机遍历相同的区域的环境。此外,它允许相机直接利用和更新系统内其他相机先前映射的环境区域。我们使用合成ICL-NUIM数据集和真实世界的Freiburg数据集提供定量和定性分析,包括多相机映射对表面重建精度,相机姿态估计精度和整体处理时间的影响。我们还包括定性结果的形式,样本重建的房间大小的环境,多达3个摄像机进行交叉和循环轨迹。
2018-11-21 cs.CV
3D Surface Reconstruction From Multi-Date Satellite Images
Fraunhofer IOSB(弗劳恩霍夫光电、系统技术与图像处理研究所)
精确的三维环境模型重建是摄影测量领域最基本的目标之一。由于卫星图像为获得大规模环境重建提供了合适的属性,因此存在多种基于立体匹配的方法来重建卫星图像对的点云。最近,第一个运动恢复结构(SfM)为基础的方法已经提出,它允许从多个卫星图像重建点云。在这项工作中,我们提出了一个扩展的SfM为基础的管道,使我们能够重建不仅点云,但防水网格,包括纹理信息。我们提供了几个步骤,是强制性的,以利用国家的最先进的网格重建算法的卫星图像的背景下的详细描述。这包括有限投影相机校准矩阵的分解、对应深度图和输入图像的偏斜校正以及从重新参数化的深度值恢复真实世界深度图。本文提出了一个广泛的定量评估多日期的卫星图像表明,所提出的管道结合当前的网格算法优于国家的最先进的点云重建算法的完整性和中值误差。我们公开了我们管道的源代码。
2021-04-03 cs.CV
Augmented Reality in Cultural Heritage: A Dual-Model Pipeline for 3D Artwork Reconstruction
Department of Computer Science, Sapienza University(计算机科学系,萨皮恩扎大学);Department of Mathematics and Computer Science, University of Udine(数学与计算机科学系,乌迪内大学)
本文提出一种面向博物馆的双模型增强现实流水线,结合GLPN与Depth-Anything从单张图像重建艺术品三维模型,显著提升重建精度与视觉真实感。
2025-07-18 cs.CV
Recovery of Point Clouds on Surfaces: Application to Image Reconstruction
University of Iowa(爱荷华大学)
我们介绍了一个框架,在高维空间中的光滑表面上的点的恢复,与应用程序的动态成像。我们假设曲面是带限函数的零水平集。我们证明了曲面上点的指数映射满足湮灭关系,这意味着它们位于有限维子空间中。我们依赖于核范数最小化的地图,以恢复从噪声和采样不足的测量点。由于这种直接的方法遭受灾难的维度,我们引入了一个迭代的加权算法,使用“内核技巧”。由此产生的算法有相似之处,迭代算法中使用的图形信号处理(GSP),这个框架可以被看作是一个连续域替代离散GSP理论。该算法在恢复自由呼吸和非门控心脏数据中的使用显示了该框架在实际应用中的潜力。
2018-01-03 cs.CV
Learning to Correct 3D Reconstructions from Multiple Views
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
本文是关于降低成本的建设良好的大规模三维重建事后。我们渲染现有重建的2D视图,并训练卷积神经网络(CNN),该网络可以细化逆深度以匹配更高质量的重建。由于我们校正的视图是从相同的重建中渲染的,因此它们共享相同的几何体,因此重叠的视图彼此互补。我们从两个方面利用这一点。首先,我们在训练过程中施加一个损失,引导对相邻视图的预测具有相同的几何形状,并已被证明可以提高性能。其次,在以前的工作,它独立地纠正每个视图相反,我们还作出预测的相邻视图集联合。这是通过扭曲视图之间的特征图来实现的,从而绕过了内存密集型3D计算。我们观察到特征图中的特征是视点相关的,并提出了一种方法,用于从视图之间的相对姿态中使用多层感知器生成的动态过滤器来转换特征。在我们的实验中,我们表明,这最后一步是必要的成功融合视图之间的特征映射。
2020-01-22 cs.CV cs.RO
Peering into the Unknown: Active View Selection with Neural Uncertainty Maps for 3D Reconstruction
Deep NeuroCognition Lab, Nanyang Technological University, Singapore(深神经认知实验室,南洋理工大学,新加坡);Fudan University, China(复旦大学,中国)
本文提出了一种基于神经不确定性地图的主动视角选择方法,通过轻量级神经网络预测视角不确定性,从而提升3D重建的准确性和效率。
2026-02-24 cs.AI cs.CV
LMD: Faster Image Reconstruction with Latent Masking Diffusion
Tsinghua University(清华大学);Huazhong University of Science and Technology(华中科技大学)
针对扩散概率模型和掩码自编码器训练成本高的问题,提出基于潜空间掩码扩散的LMD框架,结合两者优势设计渐进式掩码扩散模型,训练速度提升3倍以上且精度几乎无损,下游任务推理速度更优。
2023-12-13 cs.AI cs.CV
Memory Over Maps: 3D Object Localization Without Reconstruction
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
本文提出无需重建的3D物体定位方法,通过轻量级视觉记忆实现快速场景索引,显著降低预处理成本,验证了基于图像的场景记忆可替代密集3D重建。
2026-04-20 cs.CV cs.RO
Pseudo-MRI-Guided PET Image Reconstruction Method Based on a Diffusion Probabilistic Model
Washington University in St. Louis(圣路易斯华盛顿大学);Yale University(耶鲁大学);Western University(西安大略大学);Lawson Health Research Institute(劳森健康研究所);McGill University(麦吉尔大学);Siemens Healthineers AG(西门子医疗保健公司);Mallinckrodt Institute of Radiology(马林克罗特放射学研究所)
针对缺乏配对MRI的PET扫描无法利用解剖引导提升图像质量的问题,提出基于扩散概率模型从FDG-PET推断T1w-MRI并引导PET重建的方法,实验证明其能改善图像质量且效果与真实MRI引导相当。
2024-03-26 cs.CV eess.IV
Uncertainty depth estimation with gated images for 3D reconstruction
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);Ulm University(乌尔姆大学)
门控成像是一种用于自动驾驶汽车的新兴传感器技术,即使在恶劣天气影响下也能提供高对比度图像。事实证明,该技术甚至可以生成高保真度的密集深度图,其精度可与扫描激光雷达系统相媲美。在这项工作中,我们扩展了最近的Gated2Depth框架与任意的不确定性提供了一个额外的信心措施的深度估计。这种置信度可以帮助过滤掉没有任何照明的区域中的不确定估计。此外,我们表明,在LiDAR深度补全算法生成的密集深度图上进行训练可以进一步提高性能。
2020-03-11 cs.CV eess.IV
Out-of-Core Surface Reconstruction via Global $TGV$ Minimization
Agisoft LLC(Agisoft公司)
我们提出了一个外的核心变分方法从一组对齐的深度图的表面重建。输入深度图应该从常规照片重建或/和可以是陆地LIDAR点云的表示。我们的方法基于通过总广义变分最小化($TGV$)进行的表面重建,因为它具有强大的基于可见性的噪声过滤特性和GPU友好性。我们的主要贡献是一个外的核心OpenCL加速适应这种数值算法,可以处理任意大的现实世界的场景与规模的多样性。
2021-08-14 cs.CV cs.DC cs.GR
Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction
Univ. of California, Berkeley(加州大学伯克利分校);Univ. of Southern California(南加州大学)
从一幅RGB图像进行三维重建是计算机视觉中一个具有挑战性的问题。以前的方法通常是完全数据驱动的,这导致不准确的3D形状恢复和有限的泛化能力。在这项工作中,我们专注于对象级3D重建,并提出了一个基于几何的端到端深度学习框架,该框架首先检测通常存在于人造对象中的反射对称的镜像平面,然后通过找到对称的图像内像素对应来预测深度图。我们的方法充分利用了几何线索,从对称性在测试时间内,通过建立平面扫描成本卷,一个强大的工具,已被用于多视图立体视觉。据我们所知,这是第一个工作,使用的概念,成本量在单图像三维重建的设置。我们对ShapeNet数据集进行了广泛的实验,发现我们的重建方法在相机姿态和深度图的准确性方面显着优于以前最先进的单视图3D重建网络,而不需要对象完全对称。代码可在https://github.com/zhou13/symmetrynet上获得。
2020-06-17 cs.CV cs.LG
3D Shape Reconstruction from Sketches via Multi-view Convolutional Networks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了一种方法,用于重建三维形状从二维草图的线条画的形式。我们的方法需要作为输入一个单一的草图,或多个草图,并输出一个密集的点云表示输入草图的3D重建(ES)。然后将点云转换为多边形网格。我们方法的核心是一个深度的编码器-解码器网络。编码器将草图转换为编码形状信息的紧凑表示。解码器将该表示转换为从多个输出视点捕获底层表面的深度和法线图。然后,通过解决一个优化问题,融合所有视点的深度和法线,将多视图地图合并为3D点云。基于我们的实验,与其他方法相比,如体积网络,我们的架构提供了几个优点,包括更忠实的重建,更高的输出表面分辨率,更好地保持拓扑结构和形状结构。
2017-09-29 cs.CV cs.GR
DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using Single-View Depth and Gradient Predictions
Imperial College London(伦敦帝国理工学院);Dyson Technology Ltd.(戴森科技有限公司)
虽然由稀疏单目同时定位和映射(SLAM)系统创建的基于关键点的地图对于相机跟踪是有用的,但是对于许多机器人任务可能需要密集的3D重建。涉及深度相机的解决方案在范围和室内空间方面受到限制,并且基于使帧之间的光度误差最小化的密集重建系统通常受到不良约束并且遭受尺度模糊。为了解决这些问题,我们提出了一种3D重建系统,该系统利用卷积神经网络(CNN)的输出来为包括度量尺度的关键帧生成完全密集的深度图。我们的系统DeepFusion能够在GPU上生成实时的【形】密集重建。它使用网络产生的学习不确定性,以概率方式将半密集多视图立体算法的输出与CNN的深度和梯度预测融合在一起。虽然网络只需要在每个关键帧运行一次,但我们能够对每个新帧的深度图进行优化,以便不断利用新的几何约束。基于其在合成和真实世界数据集上的性能,我们证明了DeepFusion能够至少与其他类似系统一样好地执行。
2022-07-25 cs.CV cs.RO
Attention Aware Cost Volume Pyramid Based Multi-view Stereo Network for 3D Reconstruction
PLA Strategic Support Force Information Engineering University(中国人民解放军战略支援部队信息工程大学)
我们提出了一个有效的多视图立体视觉(MVS)网络的三维重建从多视图图像。虽然先前的基于学习的重建方法执行得相当好,但是它们中的大多数使用在每个平面处具有固定深度假设的平面扫描体积来以固定分辨率估计深度图,这需要密集采样的平面以获得期望的精度,因此难以实现高分辨率深度图。在本文中,我们介绍了一个粗到细的深度推理策略,以实现高分辨率的深度。该策略估计粗略级别的深度图,而更精细级别的深度图被认为是来自先前级别的具有逐像素深度残差的上采样深度图。因此,我们缩小了深度搜索范围与先验信息从以前的水平和构建新的成本量从像素级深度残差进行深度图细化。然后,由于所有参数在不同级别之间共享,因此可以迭代地实现最终的深度图。在每个层次上,自注意层被引入到特征提取块中,用于捕获深度推理任务的长程依赖关系,并且使用相似性度量而不是先前工作中使用的基于方差的方法来生成成本体积。实验在DTU基准数据集和最近发布的BlendedMVS数据集上进行。结果表明,我们的模型可以优于大多数最先进的(SOTA)方法。该项目的代码库位于https://github.com/ArthasMil/AACVP-MVSNet。
2020-11-25 cs.CV cs.LG eess.IV
A Modular Conditional Diffusion Framework for Image Reconstruction
MTS AI
针对现有扩散概率模型用于图像复原时任务专属、训练成本高的问题,提出模块化DP-IR框架,仅需训练0.7M参数的小模块即可结合预训练模型优势,还可四倍降低采样计算量,在多项任务基准上感知质量更优且保真度具竞争力。
2024-11-08 cs.AI cs.CV eess.IV
DynamicVGGT: Learning Dynamic Point Maps for 4D Scene Reconstruction in Autonomous Driving
Fudan University(复旦大学);Huawei(华为);Yinwang Intelligent Technology(依文智能技术);Shanghai Innovation Institute(上海创新研究院);CUHK(香港中文大学)
DynamicVGGT通过联合预测当前和未来点图,结合Motion-aware Temporal Attention模块和动态3D高斯点散射头,实现了自动驾驶中4D动态场景的高精度重建。
2026-03-09 cs.CV
DiffS-NOCS: 3D Point Cloud Reconstruction through Coloring Sketches to NOCS Maps Using Diffusion Models
Beijing University of Posts and Telecommunications(北京邮电大学);Tsinghua University(清华大学);Zhongguancun Academy(中关村学院);Beijing Normal University(北京师范大学)
本文提出DiffS-NOCS,利用扩散模型和ControlNet将草图转换为多视图NOCS图,并通过特征级多视图聚合提升三维一致性,实现可控且细粒度的三维点云重建。
2025-08-23 cs.CV
Laplacian Pyramid Reconstruction and Refinement for Semantic Segmentation
University of California, Irvine(加州大学尔湾分校)
CNN架构具有出色的识别性能,但依赖于空间池,这使得它们难以适应需要密集,像素精确标记的任务。本文的主要贡献有两点:(1)我们证明了虽然卷积特征映射的表观空间分辨率较低,但高维特征表示包含重要的亚像素定位信息。(2)我们描述了一种基于拉普拉斯金字塔的多分辨率重建架构,该架构使用来自较高分辨率特征图的跳过连接和乘法门控来连续细化从较低分辨率图重建的段边界。这种方法在PASCAL VOC和Cityscapes分割基准上产生了最先进的语义分割结果,而无需采用更复杂的随机场推理或实例检测驱动的架构。
2016-07-30 cs.CV
Amortized Set Prediction for Inverse IFS Reconstruction from Density Maps
Faculty of Information Engineering, Fukuoka Institute of Technology(福冈工业大学信息工程学院)
该研究提出摊销集预测方法,通过学习估计器从密度图直接预测仿射映射集,解决逆IFS重建问题,在合成与真实图像上均实现更快且更优的重建效果。
2026-10-28 cs.CV
Just-in-Time Reconstruction: Inpainting Sparse Maps using Single View Depth Predictors as Priors
The University of Adelaide(阿德莱德大学);Australian Center for Robotic Vision(澳大利亚机器人视觉中心);Monash University(莫纳什大学)
我们提出了“即时重建”作为实时图像引导修复的地图与任意规模和稀疏生成一个完全密集的深度图的图像。特别是,我们的目标是使用单视图深度预测网络作为虚拟深度传感器,对从单目视觉SLAM系统或稀疏传感器获得的稀疏地图进行修补。我们采用了一种相当标准的数据融合方法,通过在一个新的全连接条件随机场(CRF)上执行推理来产生融合的深度图,该CRF由输入深度图及其像素置信度权重参数化。至关重要的是,我们通过卷积神经网络(CNN)以数据依赖的方式获得了参数化CRF模型的置信度权重,该CNN被训练为在给定每个输入深度图和相关RGB图像的源的情况下对条件深度误差分布进行建模。我们的CRF模型惩罚其节点中的绝对深度误差和其边缘中的成对尺度不变深度误差,并且基于置信度的融合最大限度地减少了离群输入深度值对融合结果的影响。我们展示了我们的方法的灵活性,通过实时修复的ORB-SLAM,Kinect和激光雷达深度图获得在室内和室外任意规模和不规则的稀疏量。
2018-05-11 cs.CV
Transformer Based Building Boundary Reconstruction using Attraction Field Maps
针对卫星影像中建筑物足迹重建难题,本文提出融合几何正则、多尺度特征与吸引场图的 Decoupled-PolyGCN,AP 和 AR 分别提升 6% 与 10%。
2025-07-22 cs.CV
Evaluating the Use of Reconstruction Error for Novelty Localization
Tufts University(塔夫茨大学)
深度自动编码器的逐像素重构误差通常用于图像新颖性检测和定位,假设具有高误差的像素指示输入图像的哪些部分是不熟悉的,因此可能是新颖的。具有高重构误差的像素与输入图像的新区域之间的这种假设相关性尚未得到验证,并且可能限制这些方法的准确性。在本文中,我们利用显着图来评估这种相关性是否存在。显着图直接揭示了每个输入像素的变化会影响重建损失的程度,而当层完全连接时,每个像素的重建误差可能归因于许多输入像素。我们比较显着性图重建误差图通过定性可视化以及定量之间的对应关系的前K个元素的新的和正常的图像。我们的研究结果表明,重建误差图不密切相关的像素在输入图像中的重要性,使他们不足以新奇定位。
2021-07-28 cs.CV cs.LG
Reconstruction of Contour Lines During the Digitization of Contour Maps to Build a Digital Elevation Model
Sikkim Manipal Institute of Technology(锡金马尼帕尔理工学院)
针对等高线地图数字化时等高线断裂导致数字高程模型出错的问题,提出利用最小欧几里得距离与梯度方向匹配端点,并采用三次Hermite样条插值技术重新连接断裂线段以构建平滑且准确的DEM。
2024-12-20 cs.CV
FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction
Nanjing University of Science and Technology(南京理工大学);Tencent AI Lab(腾讯人工智能实验室)
我们提出了一个大规模的面部UV纹理数据集,其中包含超过50,000个高质量的纹理UV贴图,具有均匀的光照,中性的表情和清洁的面部区域,这些都是在不同光照条件下渲染逼真的3D人脸模型所需的特性。该数据集源自大规模人脸图像数据集FFHQ,并借助我们的全自动和强大的UV纹理生产流水线。我们的流水线利用基于StyleGAN的面部图像编辑方法的最新进展,从单图像输入生成多视图归一化面部图像。一个精心设计的UV纹理提取,校正和完成程序,然后应用于从归一化的人脸图像产生高质量的UV地图。与现有的UV纹理数据集相比,我们的数据集具有更多样和更高质量的纹理图。我们进一步训练了一个基于GAN的纹理解码器,作为基于参数拟合的3D人脸重建的非线性纹理基础。实验表明,我们的方法提高了重建精度比国家的最先进的方法,更重要的是,产生高质量的纹理图,准备逼真的渲染。数据集、代码和预训练的纹理解码器可在https://github.com/csbhr/FFHQ-UV上公开获得。
2023-03-24 cs.CV
Magnetic Resonance Fingerprinting Reconstruction via Spatiotemporal Convolutional Neural Networks
Institute for Surgical Technology and Biomechanics, University of Bern(伯尔尼大学外科技术与生物力学研究所);Medical Imaging Research Center, Dayananda Sagar Institutions(达亚南达·萨加尔机构医学成像研究中心);Support Center for Advanced Neuroimaging (SCAN), Institute for Diagnostic and Interventional Neuroradiology, Inselspital, Bern University Hospital, University of Bern(伯尔尼大学伯尔尼大学医院因塞尔医院诊断与介入神经放射学研究所高级神经影像支持中心(SCAN))
磁共振指纹(MRF)在单次快速采集中量化多个核磁共振参数。标准MRF使用字典匹配来重建参数化映射,由于计算效率低而缺乏可扩展性。我们建议使用时空卷积神经网络进行MRF地图重建,该网络利用相邻MRF信号演变之间的关系来代替字典匹配。我们评估我们的多参数脑扫描方法,并将其与最近的三种MRF重建方法进行比较。我们的方法实现了国家的最先进的重建精度,并产生定性更有吸引力的地图相比,其他重建方法。此外,与基于字典的方法相比,重建时间显著减少。
2018-07-24 cs.CV
High-Quality Facial Albedo Generation for 3D Face Reconstruction from a Single Image using a Coarse-to-Fine Approach
School of Computer and Information(计算机与信息学院)
本文提出一种粗到细方法,通过UVAPM和细节生成器生成高质量的UV albedo地图,提升单图像3D人脸重建的纹理质量和真实性。
2025-06-16 cs.CV
DiffSOS: Acoustic Conditional Diffusion Model for Speed-of-Sound Reconstruction in Ultrasound Computed Tomography
Thayer School of Engineering, Dartmouth College(达特茅斯学院工程学院);NVIDIA Corp(NVIDIA公司)
DiffSOS通过条件扩散模型实现超声计算断层成像中声速的高精度重建,结合物理波测量与混合损失函数,提升重建质量和可靠性。
2026-02-27 cs.CV
Cross-domain Iterative Network for Simultaneous Denoising, Limited-angle Reconstruction, and Attenuation Correction of Low-dose Cardiac SPECT
Yale University(耶鲁大学)
提出CDI-Net跨域迭代网络,通过端到端连接投影域与图像域网络融合跨域信息,实现低剂量心脏SPECT同时去噪、有限角度重建和无CT衰减校正,提升了重建精度。
2023-05-17 cs.CV
Uniform Attention Maps: Boosting Image Fidelity in Reconstruction and Editing
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Du Xiaoman Technology(度小满科技)
针对免调优扩散模型图像编辑中保真度与精度难以平衡的问题,提出用统一注意力图替代传统交叉注意力以提升重建保真度,并结合自适应掩码引导编辑技术,有效减少失真且增强编辑一致性与稳健性。
2024-11-29 cs.AI cs.CV cs.LG
Subsurface Depths Structure Maps Reconstruction with Generative Adversarial Networks
Petroleum Overseas ME JSC(海外石油ME合资公司)
本文提出利用StyleGAN2-ADA和Pixel2Style2Pixel编码器两种生成对抗网络算法,从二维地震深度图重建精细三维构造图,并通过概率深度空间实现知识迁移,重建质量可与三维地震图相媲美。
2022-06-15 cs.CV cs.LG physics.geo-ph
Front2Back: Single View 3D Shape Reconstruction via Front to Back Prediction
University of British Columbia(英属哥伦比亚大学);Universidad Panamericana(泛美大学);Vector Institute(向量研究所)
从单个2D图像重建3D形状是经典的计算机视觉问题,其困难源于恢复被遮挡或仅部分观察到的表面的固有模糊性。最近的方法通过使用大部分非结构化的神经网络来解决这一挑战,该神经网络有效地提取3D形状的条件映射和先验。在这项工作中,我们通过利用三个核心观察来诱导结构和几何约束:(1)大多数日常物体的表面通常几乎完全暴露于典型的相对视图对;(2)日常物体通常表现出全局反射对称性,可以从单个视图准确预测;(3)3D形状的相对正交视图共享一致的轮廓。根据这些观察,我们首先预测正交2.5D可见表面图(深度、法线和轮廓),并检测该数据中的全局反射对称性;其次,我们使用正面图作为输入来预测背面深度和法线图,并且当可用时,使用这些图的对称反射;最后,我们使用最适合于该数据的表面重建方法从这些映射的并集重建3D网格。我们的实验表明,我们的框架优于国家的最先进的方法,从2D和2.5D数据的3D形状重建的输入保真度和细节保留。具体来说,我们在ShapeNet基准数据集中平均提高了12%的性能,对于某些类别的对象(例如,椅子和船)。
2020-01-31 cs.CV cs.GR
Adaptation to CT Reconstruction Kernels by Enforcing Cross-domain Feature Maps Consistency
Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI))
深度学习方法为分析胸部计算机断层扫描(CT)图像中的冠状病毒疾病(COVID-19)提供了重要帮助,包括识别,严重程度评估和分割。虽然早期开发的方法解决了缺乏数据和特定注释的问题,但目前的目标是建立一个用于临床的强大算法,具有更大的可用数据库。对于较大的数据集,出现了域偏移问题,影响了方法在未知数据上的性能。CT图像中域偏移的关键来源之一是用于从原始数据(正弦图)生成图像的重建内核的差异。在本文中,我们发现在平滑重建核上训练并在尖锐重建核上测试的模型的COVID-19分割质量有所下降。此外,我们比较了几种域适应方法来解决这个问题,例如特定于任务的增强和无监督的对抗学习。最后,我们提出了无监督自适应方法,称为F-一致性,优于以前的方法。我们的方法利用了一组未标记的CT图像对,其不同之处仅在于每对内的重建内核。它通过最小化成对特征图之间的均方误差(MSE)来加强网络隐藏表示(特征图)的相似性。我们展示了我们的方法在具有看不见的尖锐内核的测试数据集上实现了0.64 Dice Score,而基线模型的Dice Score为0.56。此外,F-Consistency在配对图像上的预测之间得分为0.80 Dice Score,几乎是基线得分0.46的两倍,超过了其他方法。我们还展示了F-一致性,以更好地概括看不见的内核,而没有特定的语义内容,例如,存在COVID-19病变。
2022-03-28 cs.CV eess.IV
ActMVS: Active Scene Reconstruction with Monocular Multi-View Stereo
Wangxuan Institute of Computer Technology, Peking University(北京大学王轩计算机技术研究所)
提出ActMVS框架,通过视图因子图构建和全局深度优化,实现单目相机在线生成高质量、全局一致的密集深度图,支持机器人/UAV的主动场景重建与安全轨迹规划。
2026-05-31 cs.CV cs.RO
Reconstruction of Quantitative Susceptibility Maps from Phase of Susceptibility Weighted Imaging with Cross-Connected $Ψ$-Net
Shanghai University(上海大学);Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
定量磁化率成像(QSM)是一种新的基于相位的磁化率定量技术。现有的QSM重建方法通常需要对高质量的相位数据进行复杂的预处理。在这项工作中,我们提出了一个新的价值,高通滤波相位数据产生的磁敏感加权成像(SWI),并开发了一个端到端的交叉连接的$Ψ$ -Net(C $Ψ$ -Net),重建QSM直接从这些相位数据在SWI没有额外的预处理。C $Ψ$ -Net在经典的U-Net中增加了一个中间分支,形成了一个类似$Ψ$的结构。在该分支的每一层都嵌入了专门设计的扩张的相互作用块,以扩大感受野,从而从更宽的空间范围的相位图像中捕获更多的磁化率信息。此外,利用分支间的交叉连接实现多分辨率特征融合,有助于C $Ψ$ -Net获取丰富的上下文信息,实现精确的重构。在人类数据集上的实验结果表明,C $Ψ$ -Net在我们的任务中取得了优于其他QSM重建算法的性能。
2021-01-12 cs.CV eess.IV physics.med-ph
An Algorithm for the SE(3)-Transformation on Neural Implicit Maps for Remapping Functions
University of Würzburg(维尔茨堡大学)
隐式表示由于其高效性和灵活性而被广泛用于物体重建。2021年,发明了一种名为神经隐式映射的新结构,用于增量重建。神经隐式映射解决了先前在线3D密集重建的低效内存成本问题,同时产生更好的质量。然而,神经隐式映射遭受其不支持重新映射的限制,因为扫描的帧在生成神经隐式映射之后被编码到深度先验中。这意味着,这个生成过程既不是可逆的,也不是一个深刻的先验是可转化的。不可重映射的属性使得它不能应用循环闭合技术。我们提出了一种基于神经隐式映射的转换算法来填补这一空白。由于我们的神经隐式映射是可转换的,因此我们的模型支持对这种特殊的潜在特征映射进行重新映射。实验表明,我们的重映射模块能够很好地将神经隐式映射转换为新的姿势。嵌入到SLAM框架中,我们的映射模型能够处理循环闭包的重新映射,并展示高质量的表面重建。%我们的实现可在github \footnote{\url{https://github.com/Jarrome/IMT_Mapping}}上为研究社区提供。
2022-06-17 cs.CV cs.RO
Brain Surface Reconstruction from MRI Images Based on Segmentation Networks Applying Signed Distance Maps
The University of Tokyo, Tokyo, Japan(日本 东京 东京大学);KTH Royal Institute of Technology, Stockholm, Sweden(瑞典 斯德哥尔摩 KTH皇家理工学院)
全脑表面提取是医学成像系统中的一个重要课题,因为它为神经外科医生提供了更广泛的手术计划和异常检测。为了解决当前缺乏先验形状信息的深度学习颅骨剥离方法所面临的问题,我们提出了一种新的网络架构,该架构结合了有符号距离场的知识,并引入了额外的拉普拉斯损失,以确保预测结果保留形状信息。我们通过对我们的脑磁共振成像数据集(111名患者)进行实验来验证我们新提出的方法。评估结果表明,我们的方法实现了可比的骰子分数,也减少了Hausdorff距离和平均对称表面距离,从而产生更稳定和光滑的大脑等值面。
2021-04-09 cs.CV cs.LG eess.IV
Spatially Regularized Parametric Map Reconstruction for Fast Magnetic Resonance Fingerprinting
University of Bern(伯尔尼大学);Bern University Hospital(伯尔尼大学医院);Institute of Myology(肌学研究所);CEA(法国原子能与替代能源委员会)
磁共振指纹(MRF)提供了一个独特的概念,同时和快速采集多个定量MR参数。尽管采集效率高,但MRF在临床中的采用受到其基于字典匹配的重建的阻碍,该重建在计算上要求很高并且缺乏可扩展性。在这里,我们提出了一种基于卷积神经网络的重建,它可以准确和快速地重建参数化映射,并且可以根据空间正则化的需求和重建的能力进行调整。我们使用MRF T1-FF(用于水(T1 H2O)和脂肪分数(FF)映射的T1弛豫时间的MRF序列)评估了该方法。我们证明了该方法的性能在一个高度异质性的数据集,包括164例各种神经肌肉疾病的大腿和腿部成像。我们经验性地展示了在重建过程中结合空间正则化的好处,并证明该方法从MR物理学的角度学习有意义的特征。此外,我们调查的方法来处理高度异质性的形态变化和它的泛化训练过程中看不见的解剖区域的能力。所获得的结果优于基于深度学习的MRF重建的最新技术。在50例患者的测试集中,与字典匹配相比,该方法实现了T1 H2O图的归一化均方误差为0.048 $\pm$ 0.011,FF图的归一化均方根误差为0.027 $\pm$ 0.004。结合快速MRF序列,所提出的方法具有在临床可行的时间内实现多参数MR成像的潜力。
2020-08-10 cs.CV eess.IV
More Than Meets the Eye: Self-Supervised Depth Reconstruction From Brain Activity
The Weizmann Institute of Science(魏茨曼科学研究所)
在过去的几年里,使用深度学习工具从fMRI大脑记录中重建观察到的自然图像取得了重大进展。在这里,我们第一次表明,观察到的2D自然图像的密集3D深度图也可以直接从fMRI大脑记录中恢复。我们使用一种现成的方法来估计自然图像的未知深度图。这适用于以下两种情况:(1)在功能磁共振成像扫描仪中呈现给受试者的少量图像(我们有功能磁共振成像记录的图像-称为“配对”数据),以及(2)大量没有功能磁共振成像记录的自然图像(“非配对数据”)。然后将估计的深度图用作辅助重建标准,以直接从fMRI进行深度重建的训练。我们提出了两种主要的方法:仅深度恢复和联合图像深度RGBD恢复。由于可用的“配对”训练数据(具有fMRI的图像)的数量很少,我们通过对许多“未配对”数据(没有fMRI的自然图像和深度图)进行自监督循环一致性训练来丰富训练数据。这是使用我们新定义和训练的基于深度的感知相似性度量作为重建标准来实现的。我们表明,预测的深度图直接从功能磁共振成像优于其间接顺序恢复重建图像。我们进一步表明,从早期皮层视觉区的激活占主导地位,我们的深度重建结果,并提出手段来表征功能磁共振成像体素的深度信息调整的程度。这项工作增加了一个重要的解码信息层,扩展了目前视觉大脑解码能力的范围。
2022-03-22 cs.CV cs.LG q-bio.NC
Projective reconstruction in algebraic vision
Nagoya University(名古屋大学);Korea Institute for Advanced Study(韩国高等研究院);The University of Tokyo(东京大学)
本文讨论了从任意维的射影空间到由线性投影诱导的低维射影空间的乘积的有理映射的几何。特别地,我们给出了Hartley和Schaffalitzky [HS 09]的射影重构定理的代数几何变体。
2019-11-11 cs.CV math.AG
High-Quality 3D Face Reconstruction with Affine Convolutional Networks
Zhejiang University(浙江大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Beihang University(北京航空航天大学)
针对3D人脸重建中输入图像与UV输出空间错位的问题,提出Affine Convolution Networks学习仿射变换矩阵,无需参数和人工标注即可生成512x512高分辨率高质量UV图。
2023-10-22 cs.AI cs.CV cs.GR
NoSENSE: Learned unrolled cardiac MRI reconstruction without explicit sensitivity maps
Physikalisch-Technische Bundesanstalt (PTB)(联邦物理技术研究院)
本研究提出名为NoSENSE的学习式展开心脏MRI重建方法,无需显式估计线圈灵敏度图,通过含FiLM调制和线圈级DC模块的网络隐式利用线圈间关系,在CMRxRecon挑战赛两项赛道中均取得优异成绩,排名第4。
2024-10-07 cs.CV cs.LG eess.IV
Dual-Domain Coarse-to-Fine Progressive Estimation Network for Simultaneous Denoising, Limited-View Reconstruction, and Attenuation Correction of Cardiac SPECT
Yale University(耶鲁大学)
提出DuDoCFNet多任务双域渐进网络,通过跨域跨模态融合同时实现心脏SPECT低剂量去噪、有限视角重建与无CT衰减图生成,性能优于现有方法。
2024-01-23 cs.CV eess.IV
DIAR: Deep Image Alignment and Reconstruction using Swin Transformers
Technische Universität Berlin(柏林工业大学)
针对单帧图像存在伪影、多帧图像需对齐聚合才能获取完整信息的问题,本文构建深度学习流水线,用自制失真数据集训练Swin transformer实现图像同时对齐与重建,并探索神经特征图替代传统关键点检测器的效果与局限。
2023-10-17 cs.CV cs.LG