Revisiting Image Reconstruction for Semi-supervised Semantic Segmentation
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
自动编码是一种经典的特征表示学习策略,其目的是通过瓶颈潜在表示重构输入图像。它已被证明是有效的半监督学习的辅助任务,但近年来已成为更复杂的方法已经提出了不太受欢迎。在本文中,我们重新审视使用图像重建作为辅助任务的想法,并将其与现代半监督语义分割框架。令人惊讶的是,我们发现,这样一个旧的想法在半监督学习可以产生竞争的结果与国家的最先进的语义分割算法。通过可视化图像重建模块的中间层激活,我们表明特征映射通道可以与语义概念很好地相关,这解释了为什么与重建任务的联合训练有助于分割任务。受我们观察的启发,我们进一步提出了对图像重建任务的修改,旨在进一步将对象线索与背景模式分离。从各种数据集上的实验评估,我们表明,使用重建作为辅助损失可以导致各种数据集和方法的一致改进。所提出的方法可以进一步导致以对象为中心的分割任务的显着改善。
2023-03-17 cs.CV
Self-supervised Deep Unrolled Model with Implicit Neural Representation Regularization for Accelerating MRI Reconstruction
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院生物医学成像中心)
本文提出零样本自监督MRI重建方法UnrollINR,将物理引导的深度展开架构与隐式神经表示正则化相结合,无需外部训练数据即可在高加速倍率下实现优于监督和自监督方法的扫描特定重建性能。
2025-11-07 cs.CV
MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views
UC San Diego(加州大学圣地亚哥分校);Qualcomm(高通公司)
本文提出MonoSelfRecon框架,利用体素-SDF、可泛化NeRF和新型自监督损失,首次从单目RGB实现纯自监督、显式且可泛化的室内三维网格重建。
2024-04-10 cs.CV
CP-Net: Contour-Perturbed Reconstruction Network for Self-Supervised Point Cloud Learning
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Alibaba Damo Academy(阿里巴巴达摩院);South China University of Technology(华南理工大学)
自监督学习尚未被充分探索用于点云分析。目前的框架主要是基于点云重建。仅给定3D坐标,这样的方法倾向于学习局部几何结构和轮廓,而不能理解高级语义内容。因此,它们在下游任务(如分类,分割等)中的性能不理想。为了填补这一空白,我们提出了一种通用的轮廓扰动重建网络(CP-Net),它可以有效地引导自监督重建来学习点云中的语义内容,从而提高点云表示的区分能力。首先,我们介绍了一个简洁的轮廓扰动增强模块的点云重建。在几何解缠的指导下,将点云分为轮廓分量和内容分量。随后,我们扰动的轮廓组件,并保留点云上的内容组件。因此,自我监督者可以有效地专注于语义内容,通过重建原始点云从这样的扰动。其次,我们使用这个扰动重建作为一个辅助分支,通过一个明显的双分支一致性损失指导基本重建分支的学习。在这种情况下,我们的CP-Net不仅可以捕获结构轮廓,还可以学习用于区分下游任务的语义内容。最后,我们进行了大量的点云基准测试的实验。部分分割结果表明,我们的CP-Net(mIoU的81.5%)优于以前的自监督模型,并缩小了与完全监督方法的差距。对于分类,我们在ModelNet 40(92.5%的准确率)和ScanObjectNN(87.9%的准确率)上获得了与全监督方法竞争的结果。代码和模型将在之后发布。
2022-03-28 cs.CV
Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Beijing Institute of Technology(北京理工大学)
近年来,基于深度学习的3D人脸重建方法在质量和效率方面都取得了可喜的成果。然而,训练深度神经网络通常需要大量的数据,而具有真实3D人脸形状的人脸图像却很少。在本文中,我们提出了一种新的深度3D人脸重建方法,1)利用一个强大的,混合损失函数的弱监督学习,同时考虑到低层次和感知层次的信息进行监督,和2)执行多图像人脸重建,利用互补信息从不同的图像形状聚合。我们的方法是快速,准确,鲁棒的遮挡和大姿态。我们在三个数据集上进行了全面的实验,系统地将我们的方法与最近的15种方法进行了比较,并展示了其最先进的性能。
2020-04-09 cs.CV
MetaSSP: Enhancing Semi-supervised Implicit 3D Reconstruction through Meta-adaptive EMA and SDF-aware Pseudo-label Evaluation
Doctoral Program in Empowerment Informatics(赋能信息学博士项目);University of Tsukuba(茨ukuba大学);Center for Computational Science(计算科学中心)
MetaSSP通过元适应性EMA和SDF-aware伪标签评估,提升半监督隐式3D重建的精度和效率,达到新的技术水平。
2026-02-05 cs.CV
Entity-enhanced Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);University of Science and Technology of China(中国科学技术大学);Nanjing University of Science and Technology(南京理工大学);Huawei Cloud & AI(华为云与人工智能部门)
弱监督指称表达式接地(REG)的目的是接地特定目标的语言表达式描述的图像,而缺乏目标和表达式之间的对应关系。在弱监督REG中存在两个主要问题。首先,缺乏区域级注释会导致建议和查询之间的歧义。其次,大多数弱监督REG方法忽略了所指对象的区分位置和上下文,导致难以区分目标对象和其他同类对象。为了解决上述问题,我们设计了一个实体增强的自适应重建网络(EARN)。具体而言,EARN包括三个模块:实体增强,自适应接地和协作重建。在实体增强中,我们计算语义相似度作为监督来选择候选建议。自适应接地计算的主题,位置和上下文与层次关注的候选提案的排名得分。协同重构从自适应重构、语言重构和属性分类三个方面对排序结果进行度量。自适应机制有助于缓解不同指称表达的差异。在五个数据集上的实验表明,EARN优于现有的最先进的方法。定性结果表明,建议EARN可以更好地处理的情况下,一个特定类别的多个对象位于一起。
2022-07-18 cs.CV
Rewis3d: Reconstruction Improves Weakly-Supervised Semantic Segmentation
Saarland University(萨尔兰大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所);ETH Zurich(苏黎世联邦理工学院)
Rewis3d通过利用3D重建作为辅助监督信号,提升弱监督语义分割的性能,优于现有方法2-7%。
2026-03-06 cs.CV
Self-Supervised Domain Adaptation for Diabetic Retinopathy Grading using Vessel Image Reconstruction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Dongguk University(东国大学);Stanford University(斯坦福大学);Oldenburg University(奥尔登堡大学)
本文研究了糖尿病视网膜病变(DR)分级的领域自适应问题。我们学习不变的目标域特征定义了一种新的自我监督任务的基础上视网膜血管图像重建,医学领域知识的启发。然后,提供了当前最先进的无监督领域自适应方法在DR问题上的基准。可以看出,我们的方法优于现有的域自适应策略。此外,当利用目标域中的整个训练数据时,我们能够通过应用标准网络架构和使用图像级标签在最终分类精度上与几种最先进的方法竞争。
2021-07-20 cs.CV
Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild
Imperial College London(帝国理工学院);Ariel AI;USI Lugano(卢加诺大学);Twitter(推特)
我们介绍了一个简单而有效的网络架构,用于单目3D手部姿态估计,包括图像编码器,然后是一个网格卷积解码器,通过直接的3D手部网格重建损失进行训练。我们通过在YouTube视频中收集大规模的手部动作数据集来训练我们的网络,并将其用作弱监督的来源。我们基于弱监督网格卷积的系统在很大程度上优于最先进的方法,甚至将野外基准测试的错误减半。数据集和其他资源可在https://arielai.com/mesh_hands上获得。
2020-04-04 cs.CV
Mining Forgery Traces from Reconstruction Error: A Weakly Supervised Framework for Multimodal Deepfake Temporal Localization
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
本文提出RT-DeepLoc框架,通过重建误差识别深度伪造,利用MAE学习真实数据的时空模式,结合不对称视频对比损失提升定位精度,实验表明在大规模数据集上达到弱监督时间伪造定位的最新水平。
2026-05-16 cs.CV
Weakly-Supervised Multi-Level Attentional Reconstruction Network for Grounding Textual Queries in Videos
Hangzhou Dianzi University(杭州电子科技大学);Tencent AI Lab(腾讯AI实验室)
在视频中的时间接地文本查询的任务是本地化语义上对应于给定查询的一个视频片段。大多数现有的方法依赖于片段句子对(时间注释)进行训练,这在现实世界的场景中通常是不可用的。在这项工作中,我们提出了一个有效的弱监督模型,称为多级注意力重建网络(MARN),它只依赖于视频句子对在训练阶段。该方法利用注意力重建的思想,直接对候选片段进行评分。此外,另一个分支学习剪辑级的注意力被用来在训练和测试阶段改进建议。我们开发了一种新的提案采样机制,利用提案内信息来学习更好的提案表示,并采用2D卷积来利用提案间线索来学习可靠的注意力地图。在Charades-STA和ActivityNet-Captions数据集上的实验表明,我们的MARN优于现有的弱监督方法。
2020-03-16 cs.CV
Weakly Supervised 3D Human Pose and Shape Reconstruction with Normalizing Flows
Google Research(谷歌研究院)
由于人体的多自由度和复杂视觉场景中大规模监督学习训练数据的获取困难,单目三维人体姿态和形状估计具有挑战性。在本文中,我们提出了实用的半监督和自监督模型,支持在现实世界的图像和视频中进行训练和良好的泛化。我们的配方是基于运动学潜在规范化流表示和动态,以及可区分的,语义身体部位对齐损失函数,支持自监督学习。在使用CMU,Human3.6M,3DPW或AMASS等3D运动捕捉数据集以及COCO等图像存储库的广泛实验中,我们证明了所提出的方法优于最先进的技术,支持基于大规模训练的准确模型系列的实际构建。
2020-08-22 cs.CV
E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe研究院);Harvard University(哈佛大学)
本文提出E-RayZer,一种通过未标注图像直接学习几何基础表示的自监督3D视觉模型,通过显式几何实现3D重建,优于现有方法。
2026-03-28 cs.CV
Semi-supervised Single-view 3D Reconstruction via Multi Shape Prior Fusion Strategy and Self-Attention
School of Information Science and Technology, Northwest University(西北大学信息科学与技术学院)
本文提出一种半监督单视图三维重建框架,通过多形状先验融合策略和自注意力模块提升形状生成质量,在ShapeNet和Pix3D上显著优于现有方法。
2024-11-23 cs.CV
Weakly-Supervised 3D Hand Reconstruction with Knowledge Prior and Uncertainty Guidance
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
针对全监督3D手部重建需昂贵数据的问题,提出融合生物力学等知识先验与不确定性建模的弱监督方法,仅用2D标注训练,在FreiHAND上性能提升近21%。
2024-07-17 cs.CV
A Self-Supervised Bootstrap Method for Single-Image 3D Face Reconstruction
Amazon Web Services(亚马逊云科技)
用于从单个图像进行面部的3D重建的最新方法需要2D-3D地面实况数据对以进行监督。这样的数据是昂贵的获取,在文献中可用的大多数数据集被限制到对输入的2D图像描绘的脸在一个近正面平行的姿势。因此,许多数据驱动的单图像三维人脸重建方法在侧面和近侧面人脸上表现不佳。我们提出了一种方法来提高单图像三维人脸重建网络的性能,利用网络来合成自己的训练数据进行微调,包括:(i)单图像三维重建的脸在近正面图像没有地面真实的三维形状;(ii)应用刚体变换重建的脸模型;(iii)渲染的脸模型从新的观点;以及(iv)使用绘制的图像和相应的3D重建作为用于监督微调的附加数据。由此产生的新的2D-3D对具有对于近锋平行重建观察到的相同的高质量,从而将网络推向作为输入面的视角的函数的更均匀的性能。应用所提出的技术微调的一个国家的最先进的单图像三维重建网络的脸证明了该方法的有用性,特别是显着的增益为剖面或近剖面视图。
2018-12-17 cs.CV
Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency
Hong Kong University of Science and Technology(香港科技大学);Everest Innovation Technology(珠峰创新科技)
最近的基于学习的方法,其中模型由单视图图像训练,对于单目3D人脸重建显示出有希望的结果,但是它们遭受不适定的人脸姿势和深度模糊问题。与以前只执行2D特征约束的工作相比,我们提出了一个自我监督的训练架构,通过利用多视图几何一致性,它提供了可靠的面部姿态和深度估计的约束。我们首先提出一种遮挡感知的视图合成方法,将多视图几何一致性应用于自监督学习。然后设计了三种新的多视点一致性损失函数,包括像素一致性损失、深度一致性损失和基于人脸特征的核线损失。我们的方法是准确的和强大的,特别是在大的变化的表情,姿势和照明条件下。在人脸对齐和三维人脸重建基准上的综合实验表明,该方法优于现有的方法。我们的代码和模型发布在https://github.com/jiaxiangshang/MGCNet上。
2020-07-24 cs.CV
Self-supervised Deep Reconstruction of Mixed Strip-shredded Text Documents
Instituto Federal do Espírito Santo (IFES)(埃斯皮里图桑托联邦学院);Universidade Federal do Espírito Santo (UFES)(埃斯皮里图桑托联邦大学);École de Technologie Supérieure (ÉTS)(高等技术学院);Université du Québec(魁北克大学)
破碎文档的重建包括连贯地排列纸张碎片(碎片)以恢复原始文档。计算重建中的一个巨大挑战是正确评估碎片之间的兼容性。虽然传统的基于像素的方法对真正的切碎不鲁棒,但更复杂的解决方案会显著损害时间性能。本工作中提出的解决方案将我们之前用于单页重建的深度学习方法扩展到更现实/复杂的场景:一次重建几个混合切碎的文档。在我们的方法中,兼容性评估建模为两个类(有效或无效)的模式识别问题。该模型以自监督的方式对从模拟切碎的文档中提取的样本进行训练,从而避免了手动注释。在三个数据集上的实验结果--包括为这项工作产生的100个带状粉碎文档的新集合--表明,所提出的方法在复杂场景中的性能优于竞争对手,准确率超过90%。
2020-07-01 cs.CV
Shell-Supervised Gaussian Splatting for Urban Real-to-Sim Reconstruction
Hong Kong Center for Construction Robotics(香港建设机器人中心);Tsinghua University(清华大学)
提出壳监督高斯溅射框架,利用外部立面结构壳作为几何监督,通过掩码门控损失优化高斯重建,提升城市立面几何一致性。
2026-06-29 cs.CV
Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction
Forschungszentrum Jülich(于利希研究中心);Jülich Supercomputing Centre (JSC)(于利希超级计算中心)
针对增强式自监督学习偏重不变特征、忽视等变特征的问题,本文引入无额外参数的交叉注意力图像重构辅助任务,在3DIEBench和ImageNet上显著提升等变表示及下游性能。
2024-12-04 cs.CV
Diffusion-Driven Self-Supervised Learning for Shape Reconstruction and Pose Estimation
National University of Singapore(新加坡国立大学);The University of Western Australia(西澳大学)
提出扩散驱动的自监督网络,利用形状先验实现多目标形状重建与类别级姿态估计,通过先验感知金字塔3D点变换器和预训练到精化范式,在多个数据集上超越现有方法。
2024-03-19 cs.CV
Towards More Diverse and Challenging Pre-training for Point Cloud Learning: Self-Supervised Cross Reconstruction with Decoupled Views
School of AI, Shanghai Jiao Tong University(人工智能学院,上海交通大学)
针对现有单视图点云自监督预训练多样性不足的问题,提出基于解耦视图的交叉重建范式Point-PQAE,通过裁剪机制生成双视图并设计新型位置编码,在ScanObjectNN数据集上显著超越Point-MAE基线。
2025-09-01 cs.CV
SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans
Technical University of Munich(慕尼黑工业大学);Google(谷歌)
我们提出了SPSG,一种新的方法来生成高质量的,彩色的3D模型的场景从RGB-D扫描观察学习推断未观察到的场景几何形状和颜色在一个自我监督的方式。我们的自我监督方法通过将不完整的RGB-D扫描与该扫描的更完整版本相关联来学习联合修复几何形状和颜色。值得注意的是,我们不是依靠3D重建损失来告知我们的3D几何和颜色重建,而是提出了在2D渲染上操作的对抗性和感知损失,以实现场景的高分辨率,高质量的彩色重建。这利用了来自单个原始RGB-D帧的高分辨率、自一致信号,而帧的融合3D重建则表现出与视图相关效果的不一致性,例如色彩平衡或姿势不一致。因此,通过直接通过2D信号通知我们的3D场景生成,我们可以生成高质量的3D场景彩色重建,在合成和真实数据上都优于现有技术。
2021-04-28 cs.CV
Self-Supervised Angular Deblurring in Photoacoustic Reconstruction via Noisier2Inverse
Department of Mathematics, University of Innsbruck(数学系,因斯布鲁克大学);Department of Computer Science, University of Innsbruck(计算机科学系,因斯布鲁克大学);Department of Mathematics, Yeungnam University(数学系,延世大学)
本文提出一种自监督的光声成像重建方法,通过Noisier2Inverse解决有限尺寸探测器导致的模糊问题,无需真实数据即可恢复高质量图像。
2026-04-17 cs.CV
Limited-View Photoacoustic Imaging Reconstruction Via High-quality Self-supervised Neural Representation
ShanghaiTech University(上海科技大学)
本文提出一种名为HIS的自监督神经表示方法,将光声图像建模为隐式连续函数,利用全连接网络与傅里叶特征位置编码从有限视角传感器数据中重建高质量光声图像,实验表明其重建质量优于三种常用方法。
2024-07-04 cs.CV
Locality-Aware Inter-and Intra-Video Reconstruction for Self-Supervised Correspondence Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang University(浙江大学);Baidu Research(百度研究院);Beijing Institute of Technology(北京理工大学);ETH Zurich(苏黎世联邦理工学院);University of Technology Sydney(悉尼科技大学)
我们的目标是从未标记的视频中学习视觉对应。我们开发了LIIR,一个局部感知的视频间和视频内重建框架,它填补了三个缺失的部分,即,实例判别,位置意识,空间紧凑性,自我监督对应学习难题。首先,而不是大多数现有的努力只集中在视频内的自我监督,我们利用跨视频的亲和力作为额外的负样本在一个统一的,帧间和帧内的视频重建方案。这使得能够通过将期望的视频内像素关联与负的视频间对应进行对比来进行实例区分性表示学习。其次,我们将位置信息合并到对应匹配中,并设计了一种位置偏移策略,以消除位置编码在视频间亲和力计算中的副作用,使我们的LIIR位置敏感。第三,为了充分利用视频数据的空间连续性,我们对对应匹配施加了基于紧性的约束,从而产生更稀疏和可靠的解决方案。在标签传播任务(包括对象、语义部分和关键点)上,学习到的表示超越了自我监督的最新技术水平。
2022-03-29 cs.CV
4DRadar-GS: Self-Supervised Dynamic Driving Scene Reconstruction with 4D Radar
School of Automotive Studies, Tongji University(同济大学汽车学院);State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室)
提出4DRadar-GS框架,利用4D雷达辅助高斯初始化和VGPT模型,解决动态驾驶场景中自监督3D重建的运动估计与时间一致性问题,实现最先进性能。
2025-09-16 cs.CV
Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy
Delft University of Technology(代尔夫特理工大学);Micro Air Vehicle Laboratory(微型飞行器实验室)
事件摄像机是一种新型的视觉传感器,它以异步的方式以低延迟和高时间分辨率对亮度增量进行采样。所得到的事件流本身具有很高的价值,特别是对于高速运动估计。然而,越来越多的工作也集中在从事件中重建强度帧,因为这可以弥合与现有文献的差距,基于外观和帧的计算机视觉。最近的工作主要是使用经过合成的地面真实数据训练的神经网络来解决这个问题。在这项工作中,我们的做法,第一次,强度重建问题,从自监督学习的角度来看。我们的方法,利用事件相机的内部工作原理的知识,结合估计的光流和基于事件的光度恒定性训练神经网络,而不需要任何地面实况或合成数据。在多个数据集的结果表明,所提出的自监督方法的性能是符合国家的最先进的。此外,我们提出了一种新的,轻量级的神经网络的光流估计,实现高速推理,只有轻微的性能下降。
2021-04-12 cs.CV
A Diagnostic Gap Framework for Evaluating Reconstruction Fidelity in Weakly Supervised Mammography
研究针对弱监督医学成像系统各阶段临床信息保留评估有限的问题,提出诊断差距框架,通过对特定病变ROI作物评估三个重建器,依重建保真度衡量决策与解释保留,能识别多阶段管道何时何地丢失诊断信号。
2026-07-28 cs.CV
Efficient Self-supervised Vision Pretraining with Local Masked Reconstruction
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Monash University(莫纳什大学);Nile University(尼罗河大学);Nanyang Technological University(南洋理工大学)
针对现有生成式自监督视觉预训练全局掩码重建计算成本高的问题,提出局部掩码重建方法LoMaR,在7×7窗口内执行重建,在多个视觉任务上准确率超越MAE且预训练效率更高,可轻松集成到同类方法中。
2025-03-22 cs.CV
ArtPro: Self-Supervised Articulated Object Reconstruction with Adaptive Integration of Mobility Proposals
Shandong University(山东大学);Southwest University(西南大学)
ArtPro提出了一种自监督框架,通过自适应整合移动提案来解决传统方法在复杂多部件物体重建中的精度和稳定性问题,实验表明其在合成和真实物体上均表现优异。
2026-03-26 cs.CV
Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室)
弱监督指称表达式接地的目的是根据语言查询定位图像中的指称对象,其中指称对象和查询之间的映射在训练阶段是未知的。为了解决这个问题,我们提出了一种新的端到端自适应重建网络(ARN)。该方法以自适应的方式建立图像区域建议和查询之间的对应关系:自适应接地和协作重建。具体来说,我们首先提取的主题,位置和上下文功能,分别代表的建议和查询。然后,我们设计了自适应接地模块,计算每个建议和查询之间的匹配得分的层次注意力模型。最后,基于注意力分数和建议特征,我们重建输入查询的语言重建损失,自适应重建损失,和属性分类损失的协作损失。这种自适应机制有助于我们的模型,以减轻不同的指称表达的差异。在四个大规模数据集上的实验表明,ARN的性能大大优于现有的最先进的方法。定性结果表明,建议的ARN可以更好地处理的情况下,一个特定类别的多个对象位于一起。
2019-08-28 cs.CV
DORec: Decomposed Object Reconstruction and Segmentation Utilizing 2D Self-Supervised Features
Zhejiang University(浙江大学)
本文提出 DORec 网络,利用二维自监督特征生成二值前景掩码和 K 簇语义掩码进行两级监督,实现复杂背景下单个物体的稳健分解重建与分割,并支持姿态估计等下游任务。
2024-09-02 cs.CV
Reconstruction-Aware Prior Distillation for Semi-supervised Point Cloud Completion
Renmin University of China(中国人民大学);Nreal;Tsinghua University(清华大学)
针对点云补全依赖大量成对训练数据的问题,本文提出半监督方法 RaPD,通过两阶段先验学习与蒸馏及自监督补全模块,在同源和异源场景下均取得优于以往方法的效果。
2023-07-24 cs.CV
Weakly-Supervised 3D Pose Estimation from a Single Image using Multi-View Consistency
University of Surrey(萨里大学)
我们提出了一种新的数据驱动的正则化弱监督学习的三维人体姿态估计,消除了漂移问题,影响现有的方法。我们通过将立体声重建问题转移到网络本身的损失中来做到这一点。这避免了在训练之前重建3D数据的需要,并且与之前的半监督方法不同,避免了监督训练的预热期的需要。我们的方法的概念和实现的简单性是其吸引力的基础。它不仅可以简单地用我们额外的基于重投影的损失来增强许多弱监督方法,而且很明显它如何塑造重建和防止漂移。因此,我们相信这将是一个有价值的工具,任何研究人员在弱监督的3D重建工作。在Panoptic上进行评估,这是最大的多相机和无标记数据集,我们获得的准确性与在训练中充分利用3D地面实况的强监督方法基本上无法区分。
2019-09-13 cs.CV
A self-supervised cyclic neural-analytic approach for novel view synthesis and 3D reconstruction
National University of Science and Technology "Politehnica" Bucharest(布加勒斯特理工国立大学);"Simion Stoilow" Institute of Mathematics of the Romanian Academy(罗马尼亚科学院西米翁斯托伊洛夫数学研究所);NORCE Norwegian Research Centre AS(NORCE挪威研究中心AS公司)
针对无人机导航中新视角合成在远离训练数据区域泛化差的问题,提出一种结合神经渲染与解析几何的自监督循环流水线,利用transformer架构处理未见位姿,显著提升了RGB与网格重建质量。
2025-03-05 cs.CV
WarpNet: Weakly Supervised Matching for Single-view Reconstruction
University of Maryland, College Park(马里兰大学帕克分校);NEC Labs America(NEC美国实验室)
我们提出了一种方法来匹配图像的对象在细粒度的数据集,而不使用部分注释,具有挑战性的问题,弱监督单视图重建的应用程序。这与需要零件注释的先前工作形成对比,因为仅使用外观特征就很难跨类别和姿势变化匹配对象。我们通过一种新颖的深度学习架构WarpNet克服了这一挑战,该架构将一个图像中的对象与另一个图像中的不同对象对齐。我们利用细粒度数据集的结构来创建人工数据,以便在无监督判别学习方法中训练该网络。网络的输出充当空间先验,允许在测试时进行泛化,以匹配外观,视点和清晰度变化的真实图像。在CUB-200-2011鸟类类别数据集上,我们将AP比仅外观网络提高了13.6%。我们进一步证明了我们的WarpNet匹配,以及细粒度数据集的结构,允许单视图重建,其质量与使用注释点对应相当。
2016-06-20 cs.CV
Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction
Facebook AI Research(Facebook人工智能研究院)
我们提出了典型的3D变形器地图,一个新的表示的3D形状的常见对象类别,可以从一个集合的2D图像的独立对象。我们的方法以一种新的方式建立在参数化变形模型,非参数化3D重建和规范嵌入的概念上,结合了它们各自的优势。特别地,它学习将每个图像像素与对应的3D对象点的变形模型相关联,该变形模型是规范的,即对于该点的身份是固有的并且在该类别的对象之间共享。其结果是一种方法,在训练时只给出稀疏的2D监督,在测试时,可以从单个视图重建对象的3D形状和纹理,同时在对象实例之间建立有意义的密集对应。它还在人脸、汽车和鸟类的公共野外数据集上实现了最先进的密集3D重建结果。
2020-12-06 cs.CV
Self-Supervised Deep Active Accelerated MRI
EPFL(洛桑联邦理工学院);University of Victoria(维多利亚大学)
我们建议同时学习采样和重建磁共振图像(MRI),以最大限度地提高重建质量给定有限的样本预算,在自我监督的设置。与现有的深度方法不同,这些方法只关注重建给定数据,因此是被动的,我们通过在单个深度学习框架内考虑数据采集和重建过程,超越了当前的技术水平。当我们的网络学习获取数据时,网络本质上是活跃的。为了做到这一点,我们同时训练两个神经网络,一个专用于重建,另一个用于渐进采样,每个都有一个自动生成的监督信号将它们连接在一起。这两个监督信号是通过蒙特卡罗树搜索(MCTS)创建的。MCTS返回比当前采样网络更好的采样模式,因此,最终重建效果更好。采样网络被训练为使用先前的采样网络来模仿MCTS结果,从而被增强。在给定MCTS采样模式的情况下,重建网络被训练以给出最高的重建质量。通过这一框架,我们能够训练这两个网络,而无需对抽样进行任何直接监督。
2019-01-14 cs.CV
Self-supervised Single-view 3D Reconstruction via Semantic Consistency
University of California, Merced(加州大学默塞德分校);NVIDIA(英伟达)
我们学习了一个自我监督的单视图3D重建模型,该模型通过收集2D图像和轮廓来预测目标对象的3D网格形状,纹理和相机姿态。所提出的方法不需要3D监督,手动注释的关键点,对象的多视图图像或先前的3D模板。我们工作的关键见解是,对象可以表示为可变形部分的集合,并且每个部分在同一类别的不同实例之间是语义一致的(例如,鸟的翅膀和汽车的轮子)。因此,通过利用大量类别特定图像的自我监督学习部分分割,我们可以有效地加强重建网格和原始图像之间的语义一致性。这显著地减少了在对象的形状和相机姿态以及纹理的联合预测期间的模糊性。据我们所知,我们是第一个尝试解决单视图重建问题,而无需特定于类别的模板网格或语义关键点。因此,我们的模型可以很容易地推广到各种对象类别,而不需要这样的标签,例如,通过对几类可变形和刚性物体的各种实验,我们证明了我们的无监督方法的性能比现有的监督学习的特定类别重建方法更好。
2020-03-13 cs.CV
Efficient, Self-Supervised Human Pose Estimation with Inductive Prior Tuning
Princeton University(普林斯顿大学)
本研究针对自监督2D人体姿态估计精度不足的问题,通过分析重建与姿态精度的关系、构建轻量化模型流水线及提出新评估指标,结合重建损失与归纳先验提升了自监督HPE的性能。
2023-11-06 cs.CV
Learning Deeply Supervised Good Features to Match for Dense Monocular Reconstruction
University of Adelaide(阿德莱德大学);ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心)
视觉SLAM(同时定位与地图构建)方法通常依赖于手工制作的视觉特征或原始RGB值来建立图像之间的对应关系。这些特征虽然适用于稀疏映射,但由于孔径问题,在执行密集重建时通常会导致无纹理区域中的模糊匹配。在这项工作中,我们探讨了使用学习功能的匹配任务,在密集的单目重建。我们提出了一种新的卷积神经网络(CNN)架构,以及一个深度监督的特征学习方案,用于从图像中对视觉描述符进行逐像素回归,最适合于密集的单目SLAM。特别是,我们的学习方案最大限度地减少了多视图匹配的成本-体积损失相对于在网络内的多个阶段的回归功能,明确学习上下文功能,适合于由移动单目相机沿极线捕获的图像之间的密集匹配。我们将从我们的模型中学习到的特征整合到实时密集单目SLAM框架内进行深度估计,其中光度误差被我们学习到的描述符误差所取代。我们对几个具有挑战性的室内数据集进行了广泛的评估,结果表明,在DTAM等著名的密集SLAM系统的密集重建中,准确性大大提高,而不会影响其实时性能。
2018-11-20 cs.CV
Rethinking the optimization process for self-supervised model-driven MRI reconstruction
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Pengcheng Laboratory(鹏城实验室);Shenzhen University(深圳大学);Nanchang University(南昌大学)
从欠采样测量中恢复高质量图像对于加速MRI重建至关重要。最近,已经开发了各种基于监督深度学习的MRI重建方法。尽管取得了有前途的性能,这些方法需要完全采样的参考数据,这是资源密集型和耗时的收购。自监督学习已经成为一种很有前途的解决方案,可以减轻对完全采样数据集的依赖。然而,现有的自监督方法由于对非采样数据点施加的约束不足而遭受重建误差,并且在用于模型驱动的深度学习重建的迭代图像重建过程中发生误差累积。为了解决这些挑战,我们提出了K2Calibrate,这是一种用于自监督模型驱动MR重建优化的K空间自适应策略。通过迭代校准学习的测量值,K2Calibrate可以减少由统计相关噪声引起的网络重建恶化。在开源数据集FastMRI上进行了广泛的实验,K2Calibrate比五种最先进的方法获得了更好的结果。拟议的K2Calibrate是即插即用的,可以很容易地与不同的模型驱动的深度学习重建方法集成。
2022-03-18 cs.CV eess.IV
Global-Scale Self-Supervised Spatiotemporal Learning for NDVI Time-Series Reconstruction
针对遥感中NDVI时间序列重建的成对数据获取难题,提出GloSSR框架,结合双向Transformer与ConvLSTM等技术,在MODIS数据上实现了更优的重建效果,可用于大规模环境监测。
2026-08-04 cs.CV
AIR: Amortized Image Reconstruction Framework for Self-Supervised Feed-Forward 2D Gaussian Splatting
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);School of Software Technology, Zhejiang University(浙江大学软件学院)
本文提出了一种自监督前馈框架AIR,通过将迭代高斯拟合 amortized 到单次网络传递中,消除了每张图像测试时的优化需求。该框架采用分阶段残差架构,逐步从重建残差中预测额外的高斯原始体,并结合显式的阶段控制机制,仅在欠重建区域激活新的原始体。通过预测-优化-蒸馏训练策略,稳定了多阶段预测,最终实现了更高效的图像重建。
2026-05-20 cs.CV
Weakly-Supervised Photo-realistic Texture Generation for 3D Face Reconstruction
Ecole Centrale de Lyon(里昂中央理工学院);Beihang University(北京航空航天大学)
虽然最近在3D人脸重建方面取得了很大进展,但大多数以前的工作都致力于预测准确和细粒度的3D形状。相比之下,相对较少的工作集中在生成高保真的面部纹理。与照片级真实感二维人脸图像生成的繁荣相比,高保真三维人脸纹理生成还有待研究。在本文中,我们提出了一种新的UV地图生成模型,预测UV地图从一个单一的人脸图像。该模型由一个紫外线采样器和一个紫外线发生器。通过有选择地采样输入人脸图像的像素并调整它们的相对位置,UV采样器生成一个不完整的UV图,可以忠实地重建原始人脸。不完整UV贴图中缺少的纹理将由UV生成器进一步完全填充。训练基于由3DMM纹理和输入面部纹理混合的伪地面实况,因此是弱监督的。为了处理不完美的伪UV图中的伪影,利用多个部分UV图鉴别器。
2021-06-14 cs.CV
Exploring Adaptive Masked Reconstruction for Self-Supervised Skeleton-Based Action Recognition
Hefei University of Technology(合肥工业大学);Jilin University(吉林大学);Zhejiang Gongshang University(浙江工商大学);University of Science and Technology of China(中国科学技术大学)
提出自适应掩码重建(AMR)框架,通过解耦编码器-解码器并引入自适应引导模块,加速预训练并提升下游动作识别精度,在多个数据集上超越现有方法。
2026-06-11 cs.CV
Noise2Recon: Enabling Joint MRI Reconstruction and Denoising with Semi-Supervised and Self-Supervised Learning
Stanford University(斯坦福大学)
深度学习(DL)已经显示出更快,高质量的加速MRI重建的前景。然而,监督DL方法依赖于大量的完全采样(标记)数据,并且对分布外(OOD)偏移敏感,特别是低信噪比(SNR)采集。为了缓解这一挑战,我们提出了Noise2Recon,这是一种用于联合MRI重建和去噪的模型不可知的一致性训练方法,可以在半监督和自监督设置中使用全采样(标记)和欠采样(未标记)扫描。在有限或没有标记训练数据的情况下,Noise2Recon的性能优于压缩感知和深度学习基线,包括监督网络、基于增强的训练、微调的去噪器和自监督方法,并与监督模型的性能相匹配,这些模型是用14倍的全采样扫描训练的。Noise2Recon还优于所有基线,包括最先进的微调和增强技术,在低SNR扫描中以及推广到其他OOD因素时,例如加速因子和不同数据集的变化。与监督方法相比,增强程度和损失加权超参数对Noise2Recon的影响可以忽略不计,这可能表明训练稳定性增加。我们的代码可在https://github.com/ad12/meddlr上获得。
2022-10-07 cs.CV eess.IV
Towards Pixel-Wise Anomaly Location for High-Resolution PCBA via Self-Supervised Image Reconstruction
Huazhong University of Science and Technology(华中科技大学);Siemens AG(西门子股份公司);University of Electronic Science and Technology of China(电子科技大学);Peking University(北京大学)
本文提出HiSIR-Net,通过自监督图像重建实现高分辨率PCBA的像素级异常定位,结合SIR-Gate和ROPS方案,提升定位精度与效率。
2025-12-22 cs.CV
Self-supervised Multi-level Face Model Learning for Monocular Reconstruction at over 250 Hz
MPI Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);Stanford University(斯坦福大学);Technicolor(特艺集团)
从单个图像重建人脸几何形状和外观的密集3D模型是非常具有挑战性和不适定的。为了限制问题,许多方法依赖于强先验,例如从有限的3D扫描数据中学习的参数化面部模型。然而,先验模型限制了面部几何形状、皮肤反射率和光照的真实多样性的推广。为了缓解这个问题,我们提出了第一种方法,该方法联合学习1)基于2)并发学习的参数化人脸模型的人脸形状,表情,反射率和照明的回归量。我们的多级人脸模型结合了3D Morphable Models的正则化优势和学习的校正空间的空间外泛化。我们通过融合卷积编码器与可区分的专家设计的渲染器和自监督训练损失,在没有密集注释的情况下对野外图像进行端到端的训练,两者都在多个细节级别上定义。我们的方法在重建质量方面与最先进的方法相比毫不逊色,更好地推广到现实世界的人脸,并且运行频率超过250 Hz。
2018-03-29 cs.CV
SPU-Net: Self-Supervised Point Cloud Upsampling by Coarse-to-Fine Reconstruction with Self-Projection Optimization
Tsinghua University(清华大学);Wayne State University(韦恩州立大学)
点云上采样的目的是从稀疏的、不规则的点集中获取稠密的、均匀的点集。虽然深度学习模型已经取得了重大进展,但最先进的方法需要地面真实密集点集作为监督,这使得它们仅限于在合成配对训练数据下训练,而不适合在真实扫描稀疏数据下训练。然而,从实际扫描的稀疏数据中获取大量成对的稀疏-稠密点集作为监督是昂贵和繁琐的。为了解决这个问题,我们提出了一个自监督的点云上采样网络,名为SPU-Net,以捕获位于底层对象表面上的点的固有上采样模式。具体来说,我们提出了一个由粗到细的重建框架,它包含两个主要组成部分:点特征提取和点特征扩展,分别。在点特征提取中,我们将自注意模块与图卷积网络(GCN)相结合,同时捕获局部区域内部和区域之间的上下文信息。在点特征扩展中,我们引入了一种分层可学习的折叠策略来生成具有可学习的2D网格的上采样点集。此外,为了进一步优化生成的点集中的噪声点,我们提出了一种新的自投影优化与均匀和重建项作为联合损失,以促进自监督点云上采样。我们对合成和真实扫描的数据集进行了各种实验,结果表明我们实现了与最先进的监督方法相当的性能。
2022-06-11 cs.CV
Analyzing the Sample Complexity of Self-Supervised Image Reconstruction Methods
Technical University of Munich(慕尼黑工业大学)
本文从样本复杂度角度分析了一类能计算监督损失梯度无偏估计的自监督图像重建方法,证明其性能可与监督训练相当但需更多样本,并通过去噪和加速MRI实验验证了性能差距随样本增加以问题相关速率消失的理论预测。
2023-10-27 cs.CV eess.IV
SPLIT: Self-supervised Partitioning for Learned Inversion in Nonlinear Tomography
本文提出SPLIT框架,通过自监督学习在无地面真值数据的情况下重建非线性断层扫描图像,理论证明其与监督学习在期望上等价,并在多光谱CT中验证了其高重建质量与噪声鲁棒性。
2026-04-17 cs.CV