Template-Guided Reconstruction of Pulmonary Segments with Neural Implicit Functions
ELLIS Institute Finland(埃利斯研究所芬兰分所);Aalto University(阿alto大学);Department of Computer Science and Engineering(计算机科学与工程系);University at Buffalo, SUNY(布法罗大学);University of California San Diego(加州大学圣地亚哥分校);Yong Loo Lin School of Medicine, National University of Singapore(新加坡国立大学 Yong Loo Lin 医学院)
本文提出基于神经隐式函数的肺段重建方法,通过变形可学习模板实现高精度重建,并开发Lung3D数据集提升评估效果。
2025-12-15 cs.AI cs.CV cs.GR
LBFTI: Layer-Based Facial Template Inversion for Identity-Preserving Fine-Grained Face Reconstruction
College of Cyber Security, Jinan University(济南大学网络安全学院)
本文提出LBFTI方法,通过分解面部为前景、中景和背景三层,利用专用生成器和三阶段训练策略实现身份保持的细粒度面部重建,实验表明其在机器认证和人类感知相似性上均优于现有方法。
2026-04-20 cs.CV
ShapeGaussian: High-Fidelity 4D Human Reconstruction in Monocular Videos via Vision Priors
The University of Texas at Austin(德克萨斯大学奥斯汀分校);PAII Inc(PAII公司)
ShapeGaussian通过整合无模板的视觉先验,在单目视频中实现了高保真的4D人体重建,提高了重建的准确性和鲁棒性。
2026-02-05 cs.CV
LASR: Learning Articulated Shape Reconstruction from a Monocular Video
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
从视频或图像集合中进行刚性结构的三维重建已经取得了显着的进展。然而,由于其约束不足的性质,从RGB输入重建非刚性结构仍然具有挑战性。虽然基于模板的方法,如参数化形状模型,在建模已知对象类别的“封闭世界”方面取得了巨大的成功,但它们不能很好地处理新颖对象类别或离群形状的“开放世界”。在这项工作中,我们引入了一种无模板的方法来从单个视频中学习3D形状。它采用了一种分析合成策略,向前渲染对象的轮廓,光流,和像素值与视频观察,生成梯度,以调整相机,形状和运动参数进行比较。在不使用特定类别的形状模板的情况下,我们的方法忠实地从人类,动物和未知类别的对象的视频中重建非刚性3D结构。代码将在lasr-google.github.io上提供。
2021-05-06 cs.CV cs.GR
SMF: Template-free and Rig-free Animation Transfer using Kinetic Codes
University College London(伦敦大学学院);Dolby Laboratories(杜比实验室);Adobe Research(Adobe研究)
本文提出自监督运动场(SMF)框架,利用动力学编码实现无需模板和绑定的动画迁移,在未见运动和形状上达到新最先进水平。
2025-10-10 cs.CV cs.GR
Vehicle Reconstruction and Texture Estimation Using Deep Implicit Semantic Template Mapping
Tsinghua University(清华大学);Jilin University(吉林大学)
我们介绍VERTEX,一个有效的解决方案,以恢复3D形状和内在纹理的车辆从未校准的单目输入在现实世界的街道环境。为了充分利用车辆的模板先验知识,提出了一种基于隐式语义模板映射的几何和纹理联合表示方法。与现有的表示推断3D纹理分布相比,我们的方法显式地约束模板的2D表面上的纹理分布,以及避免固定的分辨率和拓扑结构的限制。此外,通过将全局和局部特征融合在一起,我们的方法能够在可见和不可见区域生成一致和详细的纹理。我们还贡献了一个新的合成数据集,包含830个精心制作的纹理汽车模型标记稀疏的关键点和渲染使用基于物理的渲染(PBRT)系统与测量HDRI天空图,以获得高度逼真的图像。实验证明了我们的方法在测试数据集和野外图像上的优越性能。此外,所提出的技术,使额外的应用,如3D车辆纹理转移和材料识别。
2021-03-29 cs.CV
TFS-NeRF: Template-Free NeRF for Semantic 3D Reconstruction of Dynamic Scene
Faculty of IT, Monash University(莫纳什大学信息技术学院);Indian Institute of Technology (IIT), Bombay(印度理工学院孟买分校)
针对动态场景中任意实体交互的三维重建挑战,提出无模板的TFS-NeRF,采用INN预测LBS权重、解耦实体运动,实现稀疏/单视角RGB视频的高效语义三维重建,性能优于现有方法。
2024-12-04 cs.CV
Leveraging the Learnable Vertex-Vertex Relationship to Generalize Human Pose and Mesh Reconstruction for In-the-Wild Scenes
Asilla Inc.(阿西拉公司);Hanoi University of Science and Technology(河内理工大学)
我们提出了MeshLeTemp,一个强大的方法,三维人体姿势和网格重建从一个单一的图像。在人体先验编码方面,我们建议使用可学习的模板人体网格,而不是以前最先进的方法所使用的恒定模板。所提出的可学习模板不仅反映了顶点之间的交互,而且还反映了人类的姿势和体型,能够适应不同的图像。我们进行了广泛的实验,以显示我们的方法在看不见的情况下的推广。
2022-11-08 cs.CV
TattTRN: Template Reconstruction Network for Tattoo Retrieval
Faculty of Computer Science, Technical University of Denmark(丹麦技术大学计算机科学学院)
针对纹身检索数据库匮乏的问题,该研究用无监督生成方法构建半合成均衡数据库,并提出TattTRN网络通过映射纹身模板增强特征区分度,在真实数据集上前20位检索准确率达99%。
2024-05-13 cs.CV
Resist : Reconstruction of irises from templates
University of Connecticut(康涅狄格大学)
虹膜识别系统将虹膜图像转换为特征向量。开创性的流水线将图像分割成虹膜和非虹膜像素,将该区域归一化为固定尺寸的矩形,并提取存储并称为模板的特征(Daugman,2009)。此模板存储在系统中。虹膜的未来读数可以被转换并与模板向量进行比较,以确定或验证个体的身份。由于模板通常存储在一起,因此它们是攻击者的重要目标。我们展示了如何在各种虹膜识别系统中反转模板。也就是说,我们展示了如何将模板转换成现实的虹膜图像,也被视为相同的虹膜由相应的识别系统。我们的反演是基于一个卷积神经网络架构,我们称之为RESIST(从模板重建虹膜)。我们将RESIST应用于传统的Gabor滤波器流水线,应用于DenseNet(Huang等人,CVPR 2017)特征提取器,以及无需归一化即可工作的DenseNet架构。两个DenseNet特征提取器都基于最近的ThirdEye识别系统(Ahmad和Fuller,BTAS 2019)。当使用ND-0405数据集进行训练和测试时,重建图像对于三个管道分别表现出100%、76%和96%的rank-1准确度。我们方法的核心类似于自动编码器。然而,独立训练核心产生低准确性。最终的架构集成到生成对抗网络中(Goodfellow等人,NeurIPS,2014)产生更高的准确性。
2021-04-13 cs.CR cs.CV
Topology-Preserving Shape Reconstruction and Registration via Neural Diffeomorphic Flow
University of California, Irvine(加州大学欧文分校)
深度隐式函数(DIF)表示3D几何形状,具有通过深度神经网络学习的连续符号距离函数。最近已经提出了基于DIF的方法来同时处理形状重建和密集点对应,通过学习DIF建模的形状模板来捕获同一类形状之间的语义关系。这些方法在重建3D形状和推断对应关系方面提供了很大的灵活性和准确性。然而,与基于网格的模板匹配方法不同,从这些方法构建的点对应本质上不保留形状的拓扑结构。这限制了它们在3D几何形状上的应用,其中存在基础拓扑结构并且重要,例如医学图像中的解剖结构。在本文中,我们提出了一个新的模型,称为神经同构流(NDF)学习深隐式形状模板,表示形状作为模板的条件同构变形,本质上保持形状拓扑。该变形是通过一个自动解码器实现的,该解码器由神经常微分方程(NODE)块组成,逐步将形状映射到隐式模板。我们进行了广泛的实验上的几个医学图像器官分割数据集,以评估NDF重建和对齐形状的有效性。NDF在准确性和质量方面始终实现最先进的器官形状重建和配准结果。源代码可在https://github.com/Siwensun/Neural_Diffeomorphic_Flow--NDF上公开获得。
2022-03-21 cs.CV
Template-Based Cortical Surface Reconstruction with Minimal Energy Deformation
Lab for AI in Medical Imaging, Technical University of Munich(人工智能医学成像实验室,慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出最小能量变形(MED)损失作为正则化项,集成到V2C-Flow模型中,在不降低重建精度和拓扑正确性的同时,显著提升了皮层表面重建的训练一致性与可复现性。
2025-09-18 cs.AI cs.CV cs.LG
Template-based Monocular 3D Shape Recovery using Laplacian Meshes
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们表明,通过扩展拉普拉斯形式主义,这是第一次在图形社区引入正则化3D网格,我们可以把单目3D形状重建的可变形表面给出对应的参考图像成一个更好的问题。这使我们能够通过简单地解决线性最小二乘问题来快速可靠地消除离群值。这产生初始3D形状估计,其不一定准确,但其2D投影是准确的。然后通过约束优化问题对初始形状进行细化,以输出最终的表面重建。我们的方法使我们能够降低表面重建问题的维数,而不牺牲精度,从而允许实时实现。
2015-05-06 cs.CV
PHRIT: Parametric Hand Representation with Implicit Template
Wuhan University(武汉大学);Technical University of Munich(慕尼黑工业大学);Tencent AI Lab(腾讯人工智能实验室)
本文提出 PHRIT,用带部件先验的 SDF 与变形场构建隐式参数化手部模板,支持骨骼和潜码驱动,在重建等任务上达到 SOTA。
2023-09-26 cs.CV
Low radiation tomographic reconstruction with and without template information
IIT Bombay(孟买印度理工学院);Monash University(莫纳什大学);IITB-Monash Research Academy(IITB-莫纳什研究院)
与标准剂量计算机断层扫描(CT)相比,低剂量断层扫描在医疗程序中具有更低的辐射风险。然而,X射线的强度越低,采集噪声越高,因此重建遭受伪影。大量的工作都集中在改进算法,以尽量减少这些文物。在这项工作中,我们提出了两种新的技术,重新缩放的非线性最小二乘法和泊松-高斯卷积,重建的基础图像利用一个准确或接近准确的统计模型的预测中的噪声。我们还提出了一种重建方法时,先验知识的基础对象的模板的形式。这适用于纵向研究,其中多次扫描同一对象以观察其随时间演变的变化。我们对3D数据的研究结果表明,先验信息可用于补偿低剂量伪影,我们证明,通过一种称为“再辐射”的方法,可以同时防止先验信息对测试对象中新变化的重建产生不利影响。此外,我们还提出了两种技术的正则化参数自动调整层析反演。
2019-12-23 cs.CV eess.IV
InterTrack: Tracking Human Object Interaction without Object Templates
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出InterTrack,一种无需物体模板的人与物体交互4D跟踪方法,通过分解为逐帧姿态跟踪与标准形状优化,并构建大规模合成数据集训练模型,显著优于现有方法。
2024-08-25 cs.CV
MoAngelo: Motion-Aware Neural Surface Reconstruction for Dynamic Scenes
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉玛尔机器学习与人工智能研究所)
MoAngelo 将静态重建方法 NeuralAngelo 扩展至动态场景,通过初始帧模板重建与形变场联合优化,实现高细节动态表面重建,并在 ActorsHQ 上取得领先精度。
2025-09-19 cs.AI cs.CV cs.GR
CLIP-FTI: Fine-Grained Face Template Inversion via CLIP-Driven Attribute Conditioning
CLIP-FTI通过CLIP驱动的属性条件化实现细粒度面部模板逆向,提升识别准确性和属性相似性,增强跨模型攻击的可转移性。
2025-12-17 cs.CV
X2BR: High-Fidelity 3D Bone Reconstruction from a Planar X-Ray Image with Hybrid Neural Implicit Methods
Ozyegin University(厄兹耶金大学)
本文提出X2BR混合神经隐式框架,结合ConvNeXt编码器与YOLOv9检测及SKEL模板配准,从单张平面X射线实现高保真三维骨骼重建,在数值精度与解剖真实感之间取得平衡。
2025-04-11 cs.CV
A Deep Error Correction Network for Compressed Sensing MRI
Xiamen University(厦门大学);Columbia University(哥伦比亚大学)
磁共振成像的压缩感知(CS-MRI)利用图像稀疏特性从非常少的傅立叶k空间测量值重建MRI。我们的目标是尽量减少重建中可能对其诊断质量产生负面影响的任何结构性错误。为此,我们提出了一种用于CS-MRI的深度纠错网络(DECN)。DECN模型由三个部分组成,我们称之为模块:指南或模板模块、纠错模块和数据保真度模块。现有的CS-MRI算法可以作为模板模块,用于指导重建。使用该模板作为指导,误差校正模块学习卷积神经网络(CNN)以调整模板图像的重建误差的方式映射k空间数据。我们的实验结果表明,建议DECN CS-MRI重建框架可以大大改善现有的反演算法,通过补充纠错CNN。
2018-03-23 cs.CV
Template-free Articulated Neural Point Clouds for Reposable View Synthesis
Delft University of Technology(代尔夫特理工大学)
本文提出一种基于点和线性混合蒙皮的无模板方法,联合学习动态NeRF与骨骼模型,实现高保真可重摆姿势视图合成,显著缩短训练时间。
2023-10-31 cs.CV cs.GR
Neural deformation fields for template-based reconstruction of cortical surfaces from MRI
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Ludwig-Maximilians-University(路德维希-马克西米利安-慕尼黑大学)
本文提出V2C-Flow深度网格变形方法,通过连续几何神经网络联合重建白质与软膜表面,实现快速、准确且带模板对应关系的MRI皮层重建。
2024-03-04 cs.CV eess.IV
ToCo-Mesh: Topology-Consistent Dynamic Mesh Reconstruction via Adaptive Tessellation and Surface-Aligned 2DGS
University of Science and Technology of China(中国科学技术大学)
提出ToCo-Mesh动态网格重建框架,通过双网格表示与误差驱动拆分合并实现自适应细化,结合表面对齐2DGS提升几何精度,在保持拓扑一致性的同时达到SOTA几何精度。
2026-09-28 cs.CV cs.GR
Physics-guided Shape-from-Template: Monocular Video Perception through Neural Surrogate Models
University of Bonn(波恩大学)
针对现有布料SfT重建方法不符合物理规律、噪声大或优化慢的问题,提出结合预训练神经代理模型与物理模拟的新型算法,可同时提取形状与物理参数,重建质量高且速度比φ-SfT快400-500倍。
2024-04-15 cs.CV cs.LG
DTF-Net: Category-Level Pose Estimation and Shape Reconstruction via Deformable Template Field
Beijing University of Posts and Telecommunications(北京邮电大学);Midea Group(美的集团)
提出基于隐式神经场的DTF-Net框架,通过设计可变形模板场表示类别形状与变形特征,结合位姿回归与多模态提取模块,实现了类别级6D位姿估计与3D形状重建,在合成与真实数据集上表现优越并支持真实机械臂抓取。
2023-08-04 cs.AI cs.CV cs.RO
Template Free Reconstruction of Human-object Interaction with Procedural Interaction Generation
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
针对人-物交互3D重建受限于真实数据和对象模板的问题,本文提出ProciGen程序化生成百万级交互数据集,并训练无模板的图像条件HDM,显著提升对未见对象的泛化与重建精度。
2024-04-06 cs.CV
Template-Based Feature Aggregation Network for Industrial Anomaly Detection
State Key Laboratory of Precision Measurement Technology and Instruments(精密测量技术与仪器国家重点实验室);Tsinghua University(清华大学);State Key Laboratory of Digital Manufacturing Equipment and Technology(数字制造装备与技术国家重点实验室);Huazhong University of Science and Technology(华中科技大学)
本文提出TFA-Net,通过模板特征聚合过滤异常特征,提升工业异常检测性能,实现高效率和实时性。
2026-03-24 cs.CV
Deep Shape-from-Template: Wide-Baseline, Dense and Fast Registration and Deformable Reconstruction from a Single Image
Universidad de Alcalá(阿尔卡拉大学);Universidad Rey Juan Carlos(胡安卡洛斯国王大学);Institut de Recherche contre les Cancers de l’Appareil Digestif(消化道癌症研究所);Université Clermont-Auvergne(克莱蒙奥弗涅大学)
本文提出了一种新的深度神经网络(DNN)方法--模板深度形状(DeepSfT)方法,用于解决单目图像中可变形物体的实时自动配准和三维重建问题,在多个方面推进了现有技术的发展。与现有的DNN SfT方法相比,它是第一个完全卷积的实时方法,可以处理任意对象的几何形状,拓扑结构和表面表示。它也不需要与真实数据的地面实况配准,并且可以很好地扩展到具有大量元素的非常复杂的对象模型。与以前的非DNN SfT方法相比,它不涉及运行时的数值优化,并且是一种密集的宽基线解决方案,不需要也不会受到基于特征的匹配的影响。它能够处理具有显著变形和视点变化的单个图像,并很好地处理遮挡,弱纹理和模糊的核心挑战。DeepSfT基于残差编码器-解码器结构和细化块。它是端到端训练的,采用了一种新的组合,即从对象模型的模拟渲染中进行的监督学习和使用标准RGB-D相机捕获的真实数据进行的半监督自动微调。用于微调和运行时的相机可以不同,使DeepSfT在现实世界中实用。我们表明,DeepSfT在非平凡模板方面的表现明显优于最先进的宽基线方法,并进行了定量和定性评估。
2021-02-28 cs.AI cs.CV cs.GR
DynoSurf: Neural Deformation-based Temporally Consistent Dynamic Surface Reconstruction
City University of Hong Kong(香港城市大学);Tencent Games(腾讯游戏);University of Science and Technology of China(中国科学技术大学);Texas A&M University(德克萨斯农工大学)
提出DynoSurf无监督框架,结合模板表面与可学习形变场,通过粗到细策略和可学习控制点实现无对应点云序列的时域一致动态表面重建,显著优于现有方法。
2024-07-22 cs.CV
SAFT: Shape and Appearance of Fabrics from Template via Differentiable Physical Simulations from Monocular Video
University of Bonn(波恩大学)
本文提出SAFT系统,利用单目视频和可微物理模拟重建织物三维形状与外观,通过两个正则化项解决深度模糊,将重建误差降低2.64倍,并恢复清晰细节。
2025-09-10 cs.CV
Image reconstruction through metamorphosis
Chinese Academy of Sciences(中国科学院);KTH – Royal Institute of Technology(瑞典皇家理工学院)
本文采用变形的框架来解决成像中的逆问题,包括联合重建和图像配准。所讨论的变形具有两个分量,一个是移动强度的几何变形,另一个是强度值本身的变形,例如,允许新结构的出现。这里开发的想法是通过注册,通过变形,模板到观察到的数据,从噪声和间接观察重建图像。与仅具有几何变化的配准不同,当模板的强度选择不佳时,该框架给出了良好的结果。我们表明,这种方法是一个定义良好的正则化方法(证明存在性,稳定性和收敛性),并提出了几个数值例子。
2018-06-22 cs.CV
SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video
University of Science and Technology of China(中国科学技术大学);Image Derivative Inc(图像衍生公司);Zhejiang University(浙江大学)
我们提出了SelfRecon,一种穿着人体重建方法,结合隐式和显式表示,从单目自旋转的人类视频恢复时空相干几何。显式方法需要一个预定义的模板网格为给定的序列,而模板是很难获得一个特定的主题。同时,固定的拓扑结构限制了重建精度和服装类型。隐式表示支持任意拓扑结构,由于其连续性,可以表示高保真的几何形状。然而,难以整合多帧信息以产生用于下游应用的一致的配准序列。我们建议结合这两种表示法的优点。我们利用显式网格的差分掩模损失来获得连贯的整体形状,而隐式表面上的细节则通过可微神经渲染来细化。同时,显式网格定期更新,以调整其拓扑结构的变化,并设计了一致性损失,以匹配两种表示。与现有的方法相比,SelfRecon可以产生高保真表面的任意穿着的人与自我监督优化。大量的实验结果表明,它的有效性,对真实捕获的单目视频。源代码可在www.example.com上获得。
2022-04-05 cs.CV cs.GR
xCloth: Extracting Template-free Textured 3D Clothes from a Monocular Image
IIIT Hyderabad(国际信息技术研究所海得拉巴分校)
现有的3D服装重建方法要么假设服装几何形状的预定义模板(将其限制为固定的服装样式),要么产生顶点着色的网格(缺乏高频纹理细节)。我们的新框架共同学习的几何和语义信息的服装表面从输入的单目图像的无模板纹理的三维服装数字化。更具体地说,我们建议扩展PeeledHuman表示来预测像素对齐,分层深度和语义映射,以提取3D服装。进一步利用分层表示来UV参数化提取的服装的任意表面,而无需任何人为干预以形成UV图谱。然后,通过首先将像素从输入图像投影到可见区域的UV空间,然后对被遮挡区域进行修补,以混合方式将纹理赋予UV图谱。因此,我们能够在保留单目图像的高频纹理细节的同时,对任意宽松的服装款式进行分类。我们在三个公开的数据集上实现了高保真的三维服装重建结果,并在互联网图像上进行了推广。
2022-08-27 cs.CV
A Semi-automatic Cranial Implant Design Tool Based on Rigid ICP Template Alignment and Voxel Space Reconstruction
Institute for Artificial Intelligence in Medicine, University Hospital Essen (AöR)(埃森大学医院人工智能医学研究所);Institute of Computer Graphics and Vision, Graz University of Technology(格拉茨技术大学计算机图形学与视觉研究所);University Hospital RWTH Aachen(亚琛工业大学医院);Institute of Medical Informatics, University Hospital RWTH Aachen(亚琛工业大学医院医学信息学研究所)
针对颅骨成形术中患者特异性植入物设计复杂且自动化程度低的问题,提出了一种基于刚性ICP模板对齐与体素空间重建的半自动设计工具,通过仅考虑缺陷边界附近的裁剪几何体显著改善对齐效果,并提供开源原型。
2024-03-19 cs.CV eess.IV
Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM
Stanford University(斯坦福大学);Adobe Research(奥多比研究实验室)
本文提出Human-LRM,一种无需模板先验的扩散引导前馈模型,利用LRM和Stable Diffusion从单视图重建三维人体,增强遮挡细节,性能优于现有方法。
2024-03-14 cs.CV
Share With Thy Neighbors: Single-View Reconstruction by Cross-Instance Consistency
LIGM, Ecole des Ponts, Univ Gustave Eiffel(古斯塔夫·埃菲尔大学 桥路学院 加斯帕尔·蒙日信息学实验室);Adobe Research(Adobe研究院);UC Berkeley(加州大学伯克利分校)
单视图重建的方法通常依赖于视点注释、轮廓、背景的缺失、同一实例的多个视图、模板形状或对称性。我们通过明确地利用不同对象实例的图像之间的一致性来避免所有这些监督和假设。因此,我们的方法可以从大量描绘相同对象类别的未标记图像中学习。我们的主要贡献是利用跨实例一致性的两种方法:(i)渐进式条件反射,一种训练策略,以课程学习的方式逐渐将模型从类别专业化到实例;(ii)邻居重建,具有相似形状或纹理的实例之间的一致性损失。我们的方法的成功也至关重要:我们的结构化自动编码架构将图像分解为明确的形状,纹理,姿势和背景;差分渲染的适应性配方;以及3D和姿势学习之间交替的新优化方案。我们比较了我们的方法,UNICORN,在不同的合成ShapeNet数据集上-需要多个视图作为监督的方法的经典基准-以及标准的真实图像基准(Pascal 3D + Car,CUB),其中大多数方法需要已知的模板和轮廓注释。我们还展示了适用于更具挑战性的现实世界的集合(CompCars,LSUN),其中轮廓不可用,图像不会在对象周围裁剪。
2022-07-25 cs.CV cs.GR
Dense image registration and deformable surface reconstruction in presence of occlusions and minimal texture
EPFL(洛桑联邦理工学院);KAIST(韩国科学技术院)
单目图像的可变形表面跟踪是众所周知的欠约束。闭塞通常使任务更具挑战性,并且如果表面没有足够的纹理,则可能导致失败。在这项工作中,我们明确地解决了纹理不良,闭塞表面的三维重建的问题,提出了一个框架的基础上的模板匹配方法,规模密集的强大功能的相关性得分。我们的方法进行了广泛的比较,目前的方法采用局部特征匹配和密集的模板对齐。我们测试的标准数据集,以及一个新的数据集(将公开)的稀疏纹理,闭塞的表面。我们的框架实现了国家的最先进的结果,以及不良纹理,闭塞的表面。
2015-09-25 cs.CV
Reconstructing Humans and Objects in Interaction using Large Reconstruction Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出MILO框架,利用大型重建模型(LRMs)从单张图像重构三维人体-物体交互,在多个基准场景中精度优于现有方法。
2026-08-28 cs.CV
To The Point: Correspondence-driven monocular 3D category reconstruction
University College London(伦敦大学学院);Snap Inc.(色拉布公司)
我们提出了到点(TTP),从一个单一的图像重建3D对象的方法,使用从弱监督学习的2D到3D对应。我们从2D图像中恢复3D形状,首先回归对应于3D模板顶点的2D位置,然后联合估计刚性相机变换和非刚性模板变形,通过3D形状投影最佳地解释2D位置。通过依赖3D-2D对应关系,我们使用简单的按样本优化问题来取代基于CNN的相机姿态和非刚性变形回归,从而获得更准确的3D重建。我们把这种优化作为一个微分层和训练整个系统在一个端到端的方式。我们报告了多个类别的系统定量改进,并提供了定性结果,包括不同的形状,姿势和纹理预测的例子。项目网址:https://fkokkinos.github.io/to_the_point/。
2021-06-10 cs.CV
Parameterize Structure with Differentiable Template for 3D Shape Generation
National Key Lab for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Texas A&M University(德克萨斯农工大学)
本文提出一种使用可微模板和固定长度参数化共享结构的方法,利用长方体三视图细节描述形状内部,从而实现具有复杂细节的3D形状重建、生成与平滑插值。
2024-10-15 cs.CV
Tomographic Reconstruction using Global Statistical Prior
IIT Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什研究学院);Monash University(莫纳什大学)
最近的研究断层重建的动机是需要有效地恢复详细的解剖从有限的测量。补偿日益稀疏的测量集合的方法之一是利用来自模板的信息,即,以已经重建的、结构相似的图像的形式可用的先前数据。为此,以前的工作已经利用了一组全球和补丁为基础的字典先验。在本文中,我们提出了一个全球性的前,以提高压缩感知框架内的层析重建的速度和质量。我们选择了一组潜在的代表性的2D图像,称为模板,建立一个特征空间,这是随后用于指导迭代重建一个类似的切片从稀疏采集数据。我们在各种数据集上的实验表明,使用适当的全局先验进行重建,除了速度更快之外,与现有技术相比,重建误差要低得多。
2017-12-06 cs.CV
Dynamic Multi-View Scene Reconstruction Using Neural Implicit Surface
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);HU Berlin(柏林洪堡大学)
重建一般动态场景对于许多计算机视觉和图形学应用是重要的。最近的工作表示动态场景与神经辐射场的真实感视图合成,而他们的表面几何是欠约束和噪声。其他作品引入表面约束的隐式神经表示解开静态场景重建的几何和外观场的模糊性。为了弥合渲染动态场景和恢复静态表面几何形状之间的差距,我们提出了一种无模板的方法来重建表面几何形状和外观,使用神经隐式表示从多视图视频。我们利用拓扑感知的变形和有符号的距离场,学习复杂的动态表面通过可微体渲染没有场景特定的先验知识,如模板模型。此外,我们提出了一种新的基于掩模的光线选择策略,以显着提高具有挑战性的时变区域的优化。在不同的多视点视频数据集上的实验表明,该方法实现了高逼真度的表面重建以及照片级真实感的新视图合成。
2023-02-28 cs.CV
HeartVolMesh: Cardiac Volumetric Mesh Reconstruction via Covariance-Guided Graph Deformation
Centre for Computational Imaging and Modelling in Medicine (CIMIM), University of Manchester(曼彻斯特大学医学计算成像与建模中心(CIMIM));Christabel Pankhurst Institute, University of Manchester(曼彻斯特大学克里斯塔贝尔·潘克赫斯特研究所);Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Division of Informatics, Imaging & Data Sciences, University of Manchester(曼彻斯特大学信息学、成像与数据科学部);NIHR Manchester Biomedical Research Centre, Manchester Academic Health Sciences Centre, University of Manchester(曼彻斯特大学NIHR曼彻斯特生物医学研究中心,曼彻斯特学术健康科学中心)
提出HeartVolMesh,将模板顶点提升为各向异性高斯核,用3D CNN-GNN预测位移和协方差,经协方差感知负对数似然损失训练,通过多步骤变形固定模板生成网格,实验表明其在精度上优于基于变形的基线。
2026-07-07 cs.CV
PrIntMesh: Precise Intersection Surfaces for 3D Organ Mesh Reconstruction
EPFL(瑞士联邦理工学院);UNC Charlotte(北卡罗来纳大学夏洛特分校);ELLIS Institute Finland(芬兰埃利斯研究所);Adis SA(Adis SA公司)
PrIntMesh通过统一系统重建方法,实现高精度的3D器官网格重建,有效处理共享界面并保持结构一致性。
2025-11-20 cs.CV
Motion-compensated cardiac MRI using low-rank diffeomorphic flow (DMoCo)
University of Virginia(弗吉尼亚大学);Siemens Healthineers International AG(西门子健康部国际有限公司);University of Wisconsin in Madison(威斯康星大学麦迪逊分校)
本文提出DMoCo算法,用低秩微分同胚流模型对自由呼吸三维心脏MRI进行无监督运动补偿重建,直接从k空间学习静态模板和运动参数,相比现有方法恢复效果更好。
2025-06-02 cs.AI cs.CV
Deformable Model-Driven Neural Rendering for High-Fidelity 3D Reconstruction of Human Heads Under Low-View Settings
Nanyang Technological University(南洋理工大学);Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院)
针对低视角3D人头重建易过拟合的问题,提出几何分解与两阶段由粗到细训练,无需3D监督或掩码,提升了重建与新视角合成性能。
2023-08-17 cs.CV
TFTrack: A Template-Free Framework for Efficient 3D Point Cloud Tracking
Stony Brook University(石溪大学);Carnegie Mellon University(卡内基梅隆大学);Hangzhou Dianzi University(杭州电子科技大学);Southeast University(东南大学);University of California, Riverside(加州大学河滨分校)
TFTrack提出首个无模板三维点云跟踪框架,仅利用先前边界框中心和大小直接跟踪当前帧,简化运动建模,在KITTI和nuScenes上性能与模板法相当,计算量减半,速度达120 FPS。
2026-09-09 cs.AI cs.CV
Unsupervised Severely Deformed Mesh Reconstruction (DMR) from a Single-View Image
基于多视点图像或视频的刚体三维重建的监督学习已经取得了很大的进展。然而,这是更具有挑战性的重建严重变形的物体从单视图的RGB图像在无监督的方式。虽然基于训练的方法,如特定类别级训练,已被证明可以成功地从单视图图像中重建刚性物体和轻微变形的物体,如鸟类,但由于顶点的语义不一致,它们不能有效地处理严重变形的物体,也不能应用于现实世界中的一些下游任务,这在定义所采用的要重建的对象的3D模板时是至关重要的。在这项工作中,我们引入了一种基于模板的方法来从单视图图像中推断3D形状,并将重建的网格应用于下游任务,即,绝对长度测量在不使用3D地面实况的情况下,我们的方法忠实地重建3D网格,并在严重变形的鱼数据集上的长度测量任务中实现了最先进的精度。
2022-01-23 cs.CV
MagicHOI: Leveraging 3D Priors for Accurate Hand-object Reconstruction from Short Monocular Video Clips
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
MagicHOI利用新视角合成扩散模型的3D先验,在视角变化有限的短单目视频中正则化不可见物体区域,结合接触约束,显著提升手物重建精度。
2025-08-07 cs.CV
Two-stream Fusion Model for Dynamic Hand Gesture Recognition using 3D-CNN and 2D-CNN Optical Flow guided Motion Template
IIT Guwahati(印度理工学院古瓦哈提分校)
手势的使用对于人机交互社区中的许多应用来说可以是有用的工具。在广泛的领域中,手势技术可以具体应用于手语识别、机器人手术等。在手势识别的过程中,由于手的形状和大小不同,正确检测和跟踪移动的手变得具有挑战性。这里的目标是跟踪手的运动,而不管手的形状、大小和颜色。为此,提出了一种光流引导的运动模板(OFMT)。OFMT是编码到单个图像中的姿势的运动信息的紧凑表示。在实验中,使用了不同的数据集,使用裸露的手与打开的手掌,和折叠的手掌戴着绿色手套,在这两种情况下,我们可以生成具有相同精度的OFMT图像。最近,与传统的手工制作的基于特征的技术相比,基于深度网络的技术已经显示出令人印象深刻的改进。此外,在文献中,可以看出,使用具有信息性输入数据的不同流有助于提高识别精度的性能。本文提出了一种基于光流的手势识别双流融合模型和一种简洁高效的运动模板。具体来说,双流网络由两层组成:将手势视频作为输入的3D卷积神经网络(C3 D)和将OFMT图像作为输入的2D-CNN。C3 D已经显示出其在捕获视频的时空信息方面的效率。而OFMT有助于消除不相关的手势,提供额外的运动信息。虽然每个流可以独立工作,但它们与融合方案相结合,以提高识别结果。我们已经在两个数据库上展示了所提出的双流网络的效率。
2020-07-17 cs.CV eess.IV
StainPIDR: A Pathological Image Decouplingand Reconstruction Method for Stain Normalization Based on Color Vector Quantization and Structure Restaining
School of Computer Science, Wuhan University(武汉大学计算机学院)
针对病理图像颜色差异导致诊断系统性能下降的问题,提出基于颜色向量量化与结构再染色的StainPIDR方法,通过解耦、再染色及模板选择实现有效染色归一化。
2025-06-22 cs.AI cs.CV eess.IV
CorticalFlow: A Diffeomorphic Mesh Deformation Module for Cortical Surface Reconstruction
CSIRO(联邦科学与工业研究组织);QUT(昆士兰科技大学);IMT - UMR5219(图卢兹数学研究所 - UMR5219);Data61(数据61研究所)
在本文中,我们介绍了CorticalFlow,这是一种新的几何深度学习模型,在给定三维图像的情况下,它可以学习将参考模板变形为目标对象。为了保持模板网格的拓扑属性,我们训练我们的模型在一组同构变换。这种流常微分方程(ODE)框架的新实现受益于小的GPU内存占用,允许生成具有数十万个顶点的表面。为了减少其离散分辨率引入的拓扑错误,我们推导出数值条件,提高预测三角形网格的流形。为了展示CorticalFlow的实用性,我们展示了它在大脑皮层表面重建这一具有挑战性的任务中的性能。与目前最先进的技术相比,CorticalFlow可以生成更好的表面,同时将计算时间从9.5分钟减少到1秒。更重要的是,CorticalFlow强制生成解剖学上合理的表面;缺乏解剖学上合理的表面一直是限制这种表面重建方法的临床相关性的主要障碍。
2022-06-06 cs.AI cs.CV
3D Magic Mirror: Clothing Reconstruction from a Single Image via a Causal Perspective
Sea-NExT Joint Lab, National University of Singapore(新加坡国立大学Sea-NExT联合实验室);Zhejiang University(浙江大学)
本文提出一种自监督学习方法,通过因果视角从单张图像重建3D非刚性物体,解决3D标注困难、模板限制和内在模糊性问题,实验表明其在时尚数据集上能实现高质量重建。
2023-03-13 cs.CV
ArticulatedFusion: Real-time Reconstruction of Motion, Geometry and Segmentation Using a Single Depth Camera
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出了一种实时的【形】动态场景重建方法,能够再现运动,几何形状,并同时从一个单一的RGB-D相机的实时深度流分割。我们的方法融合几何帧的帧,并使用分割增强的节点图结构来驱动注册步骤中的几何变形。提出了一种两级节点运动优化算法。节点运动的优化空间和物理上合理的变形范围大大减少,利用关节运动的优势,这是解决了一个有效的节点图分割方法。与以往的基于融合的动态场景重建方法相比,我们的实验表明,鲁棒性和改进的切向和遮挡运动的重建结果。
2018-07-19 cs.CV