Semi-Supervised Disparity Estimation with Deep Feature Reconstruction
University of Freiburg(弗莱堡大学)
尽管深度学习在差异估计方面取得了成功,但领域泛化差距仍然是一个问题。我们提出了一个半监督管道,通过对标记的合成数据进行联合监督训练和对未标记的真实数据进行自我监督训练,成功地将DispNet适应于真实世界的领域。此外,考虑到广泛使用的光度损失的局限性,我们分析了深度特征重建作为视差估计的有前途的监督信号的影响。
2021-06-01 cs.CV
Extendable Generalization Self-Supervised Diffusion for Low-Dose CT Reconstruction
School of Information Engineering, Nanchang University(南昌大学信息工程学院);School of Mathematics and Computer Sciences, Nanchang University(南昌大学数学与计算机科学学院);Jinan Laboratory of Applied Nuclear Science(济南应用核科学实验室);Institute of High Energy Physics, Chinese Academy of Sciences(中国科学院高能物理研究所)
本文提出EGenDiff方法,通过自增强相似性策略和像素级自校正融合技术,实现仅用单剂量数据训练的低剂量CT重建,显著提升多剂量泛化能力。
2026-01-21 cs.AI cs.CV
Encoding Emotion Through Self-Supervised Eye Movement Reconstruction
本文提出一种自监督眼动重建模型,用于从自然主义低分辨率视频中预测情绪表达的多模态标记,通过微调两个下游任务验证了其有效性。
2026-01-21 cs.AI cs.CV
Semi-Supervised Single-View 3D Reconstruction via Prototype Shape Priors
Fudan University(复旦大学);University of Maryland(马里兰大学)
现有的单视图3D重建方法的性能严重依赖于大规模的3D注释。然而,这样的注释是繁琐和昂贵的收集。半监督学习作为一种替代方式,以减轻对手动标签的需要,但在3D重建中仍然没有探索。受最近半监督图像分类任务的成功启发,我们提出了SSP3D,一个用于3D重建的半监督框架。特别是,我们引入了一个注意力引导的原型形状先验模块,用于指导现实物体重建。我们还引入了一个判别器引导模块来激励更好的形状生成,以及一个正则化器来容忍噪声训练样本。在ShapeNet基准测试中,所提出的方法在各种标记比率下通过清晰的边缘优于以前的监督方法,(即,1%、5%、10%和20%)。此外,我们的方法在10%的标记率下传输到真实世界的Pix3D数据集时也表现良好。我们还证明了我们的方法可以转移到新的类别,很少有新的监督数据。在流行的ShapeNet数据集上的实验表明,我们的方法比zero-shot基线的性能高出12%以上,我们还进行了严格的消融和分析来验证我们的方法。
2022-09-30 cs.CV
Self-supervised Dense 3D Reconstruction from Monocular Endoscopic Video
The Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Medical Institutions(约翰斯·霍普金斯医疗机构)
我们提出了一种基于自监督学习的管道,用于从全长单目内窥镜视频进行密集3D重建,而无需解剖结构或阴影的先验建模。我们的方法仅依赖于未标记的单眼内窥镜视频和传统的多视图立体视觉算法,并且在训练和应用阶段都不需要手动交互或患者CT。在使用CT扫描作为地面实况的跨患者研究中,我们表明我们的方法能够从来自看不见的患者和范围的内窥镜视频中产生具有亚毫米平均残留误差的照片级逼真的密集3D重建。
2019-09-06 cs.CV
Dual-domain Multi-path Self-supervised Diffusion Model for Accelerated MRI Reconstruction
Department of Radiology, Northwestern University(放射科,西北大学);Department of Biomedical Engineering, Huazhong University of Science and Technology(生物医学工程系,华中科技大学)
本文提出双域多路径自监督扩散模型,通过自监督训练方案、轻量混合注意力网络和多路径推理策略,提升MRI重建的准确性、效率和可解释性,克服传统模型依赖全采样数据的局限。
2026-04-24 cs.AI cs.CV eess.IV
From None to All: Self-Supervised 3D Reconstruction via Novel View Synthesis
Imperial College London(帝国理工学院)
提出NAS3R框架,通过自监督学习从无标注图像中联合估计3D几何和相机参数,利用新视角合成进行训练,无需真实标注或预训练先验。
2026-06-02 cs.CV
Hand3R: Online 4D Hand-Scene Reconstruction in the Wild
Zhejiang University(浙江大学)
Hand3R通过结合预训练手专家和4D场景基础模型,实现了在线4D手-场景重建,无需离线优化,提升了手部和场景的联合重建性能。
2026-02-03 cs.AI cs.CV
Weakly supervised 3D Reconstruction with Adversarial Constraint
Stanford University(斯坦福大学);NEC Laboratories America, Inc.(NEC美国实验室公司)
通过使用深度神经网络,监督3D重建已经取得了重大进展。然而,这种性能的提高需要2D/3D数据的大规模注释。在本文中,我们探索廉价的2D监督作为昂贵的3D CAD注释的替代方案。具体来说,我们使用前景遮罩作为弱监督,通过光线跟踪池层,使透视投影和反向传播。此外,由于从掩模的3D重建是一个不适定的问题,我们建议将3D重建约束到匹配掩模观测的未标记的真实3D形状的流形。我们证明了学习这个约束优化问题的对数障碍解决方案类似于GAN目标,从而可以使用现有的工具来训练GANs。我们评估和分析各种数据集上的合成和真实图像的单视图和多视图重建的流形约束重建。
2017-10-04 cs.CV
DRACO: Weakly Supervised Dense Reconstruction And Canonicalization of Objects
Mila(米拉研究所);Universite de Montreal(蒙特利尔大学);Brown University(布朗大学);Robotics Research Center, KCIS, International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院KCIS机器人研究中心)
我们提出了DRACO,从一个或多个RGB图像的对象形状的密集重建和规范化的方法。规范形状重建,估计3D对象的形状在坐标空间规范化的尺度,旋转和平移参数,是一个新兴的范例,有希望为众多的机器人应用。以前的方法要么依赖于精心收集的密集3D监督,要么只产生稀疏的规范表示,限制了现实世界的适用性。DRACO在训练时仅使用摄像机姿势和语义关键点形式的弱监督来执行密集规范化。在推理过程中,DRACO仅使用对象的一个或多个RGB图像,在规范坐标空间中预测密集的以对象为中心的深度图。在典型形状重建和姿态估计方面的大量实验表明,DRACO具有竞争力或优于完全监督方法。
2020-11-25 cs.AI cs.CV cs.RO
SLiDE: Self-supervised LiDAR De-snowing through Reconstruction Difficulty
Seoul National University(首尔国立大学);Agency for Defense Development(国防发展局);Inha University(仁荷大学)
LiDAR被广泛用于捕获精确的3D户外场景结构。然而,LiDAR在下雪天气中产生许多不期望的噪声点,这妨碍了分析有意义的3D场景结构。使用雪标签的语义分割将是一种简单的去除它们的解决方案,但它需要费力的逐点注释。为了解决这个问题,我们提出了一种新的自监督学习框架,用于去除LiDAR点云中的雪点。我们的方法利用了噪声点的结构特征:与其邻居的低空间相关性。我们的方法由两个深度神经网络组成:点重建网络(PR-Net)从其邻居中重建每个点;重建难度网络(RD-Net)预测PR-Net重建的逐点难度,我们称之为重建难度。通过简单的后处理,我们的方法可以有效地检测雪点,而无需任何标签。我们的方法实现了无标签方法中最先进的性能,与完全监督的方法相当。此外,我们证明,我们的方法可以利用作为一个借口任务,以提高标签效率的监督训练的除雪。
2022-08-08 cs.CV
Revisiting Image Reconstruction for Semi-supervised Semantic Segmentation
Australian Institute for Machine Learning(澳大利亚机器学习研究所);University of Adelaide(阿德莱德大学)
自动编码是一种经典的特征表示学习策略,其目的是通过瓶颈潜在表示重构输入图像。它已被证明是有效的半监督学习的辅助任务,但近年来已成为更复杂的方法已经提出了不太受欢迎。在本文中,我们重新审视使用图像重建作为辅助任务的想法,并将其与现代半监督语义分割框架。令人惊讶的是,我们发现,这样一个旧的想法在半监督学习可以产生竞争的结果与国家的最先进的语义分割算法。通过可视化图像重建模块的中间层激活,我们表明特征映射通道可以与语义概念很好地相关,这解释了为什么与重建任务的联合训练有助于分割任务。受我们观察的启发,我们进一步提出了对图像重建任务的修改,旨在进一步将对象线索与背景模式分离。从各种数据集上的实验评估,我们表明,使用重建作为辅助损失可以导致各种数据集和方法的一致改进。所提出的方法可以进一步导致以对象为中心的分割任务的显着改善。
2023-03-17 cs.CV
Self-supervised Deep Unrolled Model with Implicit Neural Representation Regularization for Accelerating MRI Reconstruction
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院生物医学成像中心)
本文提出零样本自监督MRI重建方法UnrollINR,将物理引导的深度展开架构与隐式神经表示正则化相结合,无需外部训练数据即可在高加速倍率下实现优于监督和自监督方法的扫描特定重建性能。
2025-11-07 cs.CV
MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views
UC San Diego(加州大学圣地亚哥分校);Qualcomm(高通公司)
本文提出MonoSelfRecon框架,利用体素-SDF、可泛化NeRF和新型自监督损失,首次从单目RGB实现纯自监督、显式且可泛化的室内三维网格重建。
2024-04-10 cs.CV
Rethinking the optimization process for self-supervised model-driven MRI reconstruction
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Pengcheng Laboratory(鹏城实验室);Shenzhen University(深圳大学);Nanchang University(南昌大学)
从欠采样测量中恢复高质量图像对于加速MRI重建至关重要。最近,已经开发了各种基于监督深度学习的MRI重建方法。尽管取得了有前途的性能,这些方法需要完全采样的参考数据,这是资源密集型和耗时的收购。自监督学习已经成为一种很有前途的解决方案,可以减轻对完全采样数据集的依赖。然而,现有的自监督方法由于对非采样数据点施加的约束不足而遭受重建误差,并且在用于模型驱动的深度学习重建的迭代图像重建过程中发生误差累积。为了解决这些挑战,我们提出了K2Calibrate,这是一种用于自监督模型驱动MR重建优化的K空间自适应策略。通过迭代校准学习的测量值,K2Calibrate可以减少由统计相关噪声引起的网络重建恶化。在开源数据集FastMRI上进行了广泛的实验,K2Calibrate比五种最先进的方法获得了更好的结果。拟议的K2Calibrate是即插即用的,可以很容易地与不同的模型驱动的深度学习重建方法集成。
2022-03-18 cs.CV eess.IV
Noise2Recon: Enabling Joint MRI Reconstruction and Denoising with Semi-Supervised and Self-Supervised Learning
Stanford University(斯坦福大学)
深度学习(DL)已经显示出更快,高质量的加速MRI重建的前景。然而,监督DL方法依赖于大量的完全采样(标记)数据,并且对分布外(OOD)偏移敏感,特别是低信噪比(SNR)采集。为了缓解这一挑战,我们提出了Noise2Recon,这是一种用于联合MRI重建和去噪的模型不可知的一致性训练方法,可以在半监督和自监督设置中使用全采样(标记)和欠采样(未标记)扫描。在有限或没有标记训练数据的情况下,Noise2Recon的性能优于压缩感知和深度学习基线,包括监督网络、基于增强的训练、微调的去噪器和自监督方法,并与监督模型的性能相匹配,这些模型是用14倍的全采样扫描训练的。Noise2Recon还优于所有基线,包括最先进的微调和增强技术,在低SNR扫描中以及推广到其他OOD因素时,例如加速因子和不同数据集的变化。与监督方法相比,增强程度和损失加权超参数对Noise2Recon的影响可以忽略不计,这可能表明训练稳定性增加。我们的代码可在https://github.com/ad12/meddlr上获得。
2022-10-07 cs.CV eess.IV
CP-Net: Contour-Perturbed Reconstruction Network for Self-Supervised Point Cloud Learning
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Alibaba Damo Academy(阿里巴巴达摩院);South China University of Technology(华南理工大学)
自监督学习尚未被充分探索用于点云分析。目前的框架主要是基于点云重建。仅给定3D坐标,这样的方法倾向于学习局部几何结构和轮廓,而不能理解高级语义内容。因此,它们在下游任务(如分类,分割等)中的性能不理想。为了填补这一空白,我们提出了一种通用的轮廓扰动重建网络(CP-Net),它可以有效地引导自监督重建来学习点云中的语义内容,从而提高点云表示的区分能力。首先,我们介绍了一个简洁的轮廓扰动增强模块的点云重建。在几何解缠的指导下,将点云分为轮廓分量和内容分量。随后,我们扰动的轮廓组件,并保留点云上的内容组件。因此,自我监督者可以有效地专注于语义内容,通过重建原始点云从这样的扰动。其次,我们使用这个扰动重建作为一个辅助分支,通过一个明显的双分支一致性损失指导基本重建分支的学习。在这种情况下,我们的CP-Net不仅可以捕获结构轮廓,还可以学习用于区分下游任务的语义内容。最后,我们进行了大量的点云基准测试的实验。部分分割结果表明,我们的CP-Net(mIoU的81.5%)优于以前的自监督模型,并缩小了与完全监督方法的差距。对于分类,我们在ModelNet 40(92.5%的准确率)和ScanObjectNN(87.9%的准确率)上获得了与全监督方法竞争的结果。代码和模型将在之后发布。
2022-03-28 cs.CV
Accurate 3D Face Reconstruction with Weakly-Supervised Learning: From Single Image to Image Set
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Beijing Institute of Technology(北京理工大学)
近年来,基于深度学习的3D人脸重建方法在质量和效率方面都取得了可喜的成果。然而,训练深度神经网络通常需要大量的数据,而具有真实3D人脸形状的人脸图像却很少。在本文中,我们提出了一种新的深度3D人脸重建方法,1)利用一个强大的,混合损失函数的弱监督学习,同时考虑到低层次和感知层次的信息进行监督,和2)执行多图像人脸重建,利用互补信息从不同的图像形状聚合。我们的方法是快速,准确,鲁棒的遮挡和大姿态。我们在三个数据集上进行了全面的实验,系统地将我们的方法与最近的15种方法进行了比较,并展示了其最先进的性能。
2020-04-09 cs.CV
Analyzing the Sample Complexity of Self-Supervised Image Reconstruction Methods
Technical University of Munich(慕尼黑工业大学)
本文从样本复杂度角度分析了一类能计算监督损失梯度无偏估计的自监督图像重建方法,证明其性能可与监督训练相当但需更多样本,并通过去噪和加速MRI实验验证了性能差距随样本增加以问题相关速率消失的理论预测。
2023-10-27 cs.CV eess.IV
MetaSSP: Enhancing Semi-supervised Implicit 3D Reconstruction through Meta-adaptive EMA and SDF-aware Pseudo-label Evaluation
Doctoral Program in Empowerment Informatics(赋能信息学博士项目);University of Tsukuba(茨ukuba大学);Center for Computational Science(计算科学中心)
MetaSSP通过元适应性EMA和SDF-aware伪标签评估,提升半监督隐式3D重建的精度和效率,达到新的技术水平。
2026-02-05 cs.CV
S2F2: Self-Supervised High Fidelity Face Reconstruction from Monocular Image
InterDigital R&I(InterDigital研发创新中心)
我们提出了一种新的人脸重建方法,能够重建详细的人脸几何形状,空间变化的人脸反射率从一个单一的单目图像。我们的工作建立在基于DNN的自动编码器的最新进展之上,该编码器具有可微分的光线追踪图像形成,以自我监督的方式进行训练。虽然提供了基于学习的方法和实时重建的优势,后一种方法缺乏保真度。在这项工作中,我们实现了,第一次,高保真人脸重建仅使用自监督学习。我们新颖的从粗到细的深度架构使我们能够以高计算速度解决使用单个图像将面部反射与几何结构解耦的挑战性问题。与最先进的方法相比,我们的方法实现了更具视觉吸引力的重建。
2022-04-05 cs.CV cs.GR cs.LG
DeepDeform: Learning Non-rigid RGB-D Reconstruction with Semi-supervised Data
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
将数据驱动的方法应用于非刚性3D重建一直很困难,我们认为这可以归因于缺乏大规模的训练语料库。不幸的是,这种方法失败的重要情况下,如高度非刚性变形。我们首先解决这个问题,缺乏数据,通过引入一种新的半监督策略,以获得密集的帧间对应关系,从稀疏的注释集。通过这种方式,我们获得了一个包含400个场景、超过390,000个RGB-D帧和5,533个密集对齐的帧对的大型数据集;此外,我们还提供了一个测试集以及几个用于评估的指标。基于此语料库,我们引入了一个数据驱动的非刚性特征匹配方法,我们集成到一个基于优化的重建管道。在这里,我们提出了一种新的神经网络,它在RGB-D帧上运行,同时在大的非刚性变形下保持鲁棒性并产生准确的预测。我们的方法显著优于现有的不使用学习数据项的非刚性重建方法,以及仅使用自我监督的基于学习的方法。
2020-03-24 cs.AI cs.CV cs.GR
SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields
Inria(法国国家信息与自动化研究所)
针对单目3D重建依赖深度监督的问题,提出SceneRF自监督方法,结合NeRF、显式深度优化与概率采样策略,仅用带位姿图像序列训练,在室内外数据集上的新深度视图合成与重建效果均优于基线。
2023-08-24 cs.AI cs.CV cs.GR
Entity-enhanced Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding
University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室);University of Science and Technology of China(中国科学技术大学);Nanjing University of Science and Technology(南京理工大学);Huawei Cloud & AI(华为云与人工智能部门)
弱监督指称表达式接地(REG)的目的是接地特定目标的语言表达式描述的图像,而缺乏目标和表达式之间的对应关系。在弱监督REG中存在两个主要问题。首先,缺乏区域级注释会导致建议和查询之间的歧义。其次,大多数弱监督REG方法忽略了所指对象的区分位置和上下文,导致难以区分目标对象和其他同类对象。为了解决上述问题,我们设计了一个实体增强的自适应重建网络(EARN)。具体而言,EARN包括三个模块:实体增强,自适应接地和协作重建。在实体增强中,我们计算语义相似度作为监督来选择候选建议。自适应接地计算的主题,位置和上下文与层次关注的候选提案的排名得分。协同重构从自适应重构、语言重构和属性分类三个方面对排序结果进行度量。自适应机制有助于缓解不同指称表达的差异。在五个数据集上的实验表明,EARN优于现有的最先进的方法。定性结果表明,建议EARN可以更好地处理的情况下,一个特定类别的多个对象位于一起。
2022-07-18 cs.CV
Hybrid Learning: A Novel Combination of Self-Supervised and Supervised Learning for Joint MRI Reconstruction and Denoising in Low-Field MRI
New York University Grossman School of Medicine(纽约大学格罗斯曼医学院);NYU Tandon School of Engineering(纽约大学坦登工程学院);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
混合学习结合自监督和监督学习,有效解决低信噪比下MRI重建和去噪问题,提升图像质量。
2025-12-31 cs.CV eess.IV
Rewis3d: Reconstruction Improves Weakly-Supervised Semantic Segmentation
Saarland University(萨尔兰大学);Max Planck Institute for Informatics(马克斯·普朗克信息研究所);ETH Zurich(苏黎世联邦理工学院)
Rewis3d通过利用3D重建作为辅助监督信号,提升弱监督语义分割的性能,优于现有方法2-7%。
2026-03-06 cs.CV
Self-Supervised Surgical Instrument 3D Reconstruction from a Single Camera Image
Vanderbilt University(范德堡大学)
手术器械跟踪是一个活跃的研究领域,可以为外科医生提供关于其工具相对于解剖结构的位置的反馈。目前的跟踪方法主要分为两个部分:分割和目标检测。然而,两者都只能预测2D信息,这限制了应用于现实世界的手术。精确的3D手术器械模型是精确预测器械姿态和深度的先决条件。现有的单视图三维重建方法仅适用于自然物体的重建,在没有三维属性级监控的情况下,重建精度不高。此外,这些方法不适合于手术器械,因为它们的细长形状。本文首先提出了一个端到端的手术器械重建系统--自监督手术器械重建系统(SSIR)。与SSIR,我们提出了一个多周期的一致性策略,以帮助捕获的纹理信息,从一个超薄仪器,而只需要一个二进制仪器标签地图。实验表明,与其他自监督方法相比,我们的方法提高了手术器械的重建质量,并取得了可喜的成果。
2022-11-26 cs.CV eess.IV
Self-Supervised Domain Adaptation for Diabetic Retinopathy Grading using Vessel Image Reconstruction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Dongguk University(东国大学);Stanford University(斯坦福大学);Oldenburg University(奥尔登堡大学)
本文研究了糖尿病视网膜病变(DR)分级的领域自适应问题。我们学习不变的目标域特征定义了一种新的自我监督任务的基础上视网膜血管图像重建,医学领域知识的启发。然后,提供了当前最先进的无监督领域自适应方法在DR问题上的基准。可以看出,我们的方法优于现有的域自适应策略。此外,当利用目标域中的整个训练数据时,我们能够通过应用标准网络架构和使用图像级标签在最终分类精度上与几种最先进的方法竞争。
2021-07-20 cs.CV
Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild
Imperial College London(帝国理工学院);Ariel AI;USI Lugano(卢加诺大学);Twitter(推特)
我们介绍了一个简单而有效的网络架构,用于单目3D手部姿态估计,包括图像编码器,然后是一个网格卷积解码器,通过直接的3D手部网格重建损失进行训练。我们通过在YouTube视频中收集大规模的手部动作数据集来训练我们的网络,并将其用作弱监督的来源。我们基于弱监督网格卷积的系统在很大程度上优于最先进的方法,甚至将野外基准测试的错误减半。数据集和其他资源可在https://arielai.com/mesh_hands上获得。
2020-04-04 cs.CV
Model-based 3D Hand Reconstruction via Self-Supervised Learning
Wuhan University(武汉大学);Tencent AI Lab(腾讯人工智能实验室);Tencent(腾讯);State University of New York at Buffalo(纽约州立大学布法罗分校)
从单视图RGB图像重建3D手是具有挑战性的,由于各种手配置和深度模糊。为了从单目图像可靠地重建3D手,大多数最先进的方法在训练阶段严重依赖于3D注释,但是获得3D注释是昂贵的。为了减轻对标记的训练数据的依赖,我们提出了S2HAND,一个自我监督的3D手部重建网络,可以联合估计姿势,形状,纹理和相机的观点。具体来说,我们通过易于访问的2D检测到的关键点从输入图像中获得几何线索。为了从这些嘈杂的几何线索中学习准确的手部重建模型,我们利用2D和3D表示之间的一致性,并提出了一组新的损失来合理化神经网络的输出。我们首次证明了在不依赖手动注释的情况下训练精确的3D手部重建网络的可行性。我们的实验表明,所提出的方法实现了与最近的全监督方法相当的性能,同时使用更少的监督数据。
2021-03-22 cs.CV
Mining Forgery Traces from Reconstruction Error: A Weakly Supervised Framework for Multimodal Deepfake Temporal Localization
School of Computer Science and Engineering(计算机科学与工程学院);Sun Yat-sen University(中山大学);Alibaba Group(阿里巴巴集团)
本文提出RT-DeepLoc框架,通过重建误差识别深度伪造,利用MAE学习真实数据的时空模式,结合不对称视频对比损失提升定位精度,实验表明在大规模数据集上达到弱监督时间伪造定位的最新水平。
2026-05-16 cs.CV
Weakly-Supervised Multi-Level Attentional Reconstruction Network for Grounding Textual Queries in Videos
Hangzhou Dianzi University(杭州电子科技大学);Tencent AI Lab(腾讯AI实验室)
在视频中的时间接地文本查询的任务是本地化语义上对应于给定查询的一个视频片段。大多数现有的方法依赖于片段句子对(时间注释)进行训练,这在现实世界的场景中通常是不可用的。在这项工作中,我们提出了一个有效的弱监督模型,称为多级注意力重建网络(MARN),它只依赖于视频句子对在训练阶段。该方法利用注意力重建的思想,直接对候选片段进行评分。此外,另一个分支学习剪辑级的注意力被用来在训练和测试阶段改进建议。我们开发了一种新的提案采样机制,利用提案内信息来学习更好的提案表示,并采用2D卷积来利用提案间线索来学习可靠的注意力地图。在Charades-STA和ActivityNet-Captions数据集上的实验表明,我们的MARN优于现有的弱监督方法。
2020-03-16 cs.CV
A Penny for Your (visual) Thoughts: Self-Supervised Reconstruction of Natural Movies from Brain Activity
The Weizmann Institute of Science(魏茨曼科学研究所)
从fMRI大脑记录重建自然视频是非常具有挑战性的,主要有两个原因:(i)由于fMRI数据采集很困难,我们只有有限数量的监督样本,这不足以覆盖自然视频的巨大空间;(ii)fMRI记录的时间分辨率远低于自然视频的帧速率。在本文中,我们提出了一种自监督的自然电影重建方法。通过在编码-解码自然视频上使用周期一致性,我们可以:(i)利用训练视频的完整帧速率,而不仅仅限于与fMRI记录相对应的剪辑;(ii)利用受试者从未在fMRI机器内看到的大量外部自然视频。这些使得能够将适用的训练数据增加几个数量级,将自然视频先验以及时间相干性引入解码网络。我们的方法明显优于竞争的方法,因为那些训练只在有限的监督数据。我们进一步引入了一个新的和简单的时间先验的自然视频,它-当折叠到我们的fMRI解码器进一步-允许我们重建视频在一个更高的帧速率(HFR)高达x8的原始fMRI采样率。
2022-06-10 cs.AI cs.CV cs.LG
Weakly Supervised 3D Human Pose and Shape Reconstruction with Normalizing Flows
Google Research(谷歌研究院)
由于人体的多自由度和复杂视觉场景中大规模监督学习训练数据的获取困难,单目三维人体姿态和形状估计具有挑战性。在本文中,我们提出了实用的半监督和自监督模型,支持在现实世界的图像和视频中进行训练和良好的泛化。我们的配方是基于运动学潜在规范化流表示和动态,以及可区分的,语义身体部位对齐损失函数,支持自监督学习。在使用CMU,Human3.6M,3DPW或AMASS等3D运动捕捉数据集以及COCO等图像存储库的广泛实验中,我们证明了所提出的方法优于最先进的技术,支持基于大规模训练的准确模型系列的实际构建。
2020-08-22 cs.CV
Supervised Reconstruction for Silhouette Tomography
Michigan State University(密歇根州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出了一种仅依赖成像系统几何结构的X射线计算机层析成像新形式——剪影层析成像,并利用深度神经网络提出了一种有监督重建方法,在合成数据集上的实验证明了其有效性。
2024-02-11 cs.CV eess.IV
E-RayZer: Self-supervised 3D Reconstruction as Spatial Visual Pre-training
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe研究院);Harvard University(哈佛大学)
本文提出E-RayZer,一种通过未标注图像直接学习几何基础表示的自监督3D视觉模型,通过显式几何实现3D重建,优于现有方法。
2026-03-28 cs.CV
Joint Supervised and Self-supervised Learning for MRI Reconstruction
Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学)
提出联合监督与自监督学习方法JSSL,通过结合代理数据集的监督学习与目标数据集的自监督学习,有效解决了MRI重建中缺乏全采样k空间数据的问题,显著提升了重建质量。
2024-12-20 cs.CV eess.IV physics.med-ph
Self-supervised Cloth Reconstruction via Action-conditioned Cloth Tracking
Carnegie Mellon University(卡内基梅隆大学)
由于织物的高维性和自遮挡性,织物的状态估计是织物处理的最大挑战之一。先前的工作提出通过在仿真中训练网格重建模型来识别起皱衣服的完整状态。然而,由于布料模拟和真实世界之间的差异,这种模型容易遭受模拟到真实的差距。在这项工作中,我们提出了一个自我监督的方法来微调网格重建模型在现实世界中。由于真实世界中很难获得褶皱布料的完整网格,我们设计了一种特殊的数据汇集方案和一种基于动作条件模型的布料跟踪方法,为自监督学习生成伪标签。通过在这个伪标记数据集上对预训练的网格重建模型进行微调,我们证明了我们可以在不需要人工注释的情况下提高重建网格的质量,并提高下游操作任务的性能。
2023-02-19 cs.CV cs.RO
Semi-supervised Single-view 3D Reconstruction via Multi Shape Prior Fusion Strategy and Self-Attention
School of Information Science and Technology, Northwest University(西北大学信息科学与技术学院)
本文提出一种半监督单视图三维重建框架,通过多形状先验融合策略和自注意力模块提升形状生成质量,在ShapeNet和Pix3D上显著优于现有方法。
2024-11-23 cs.CV
Weakly-Supervised 3D Hand Reconstruction with Knowledge Prior and Uncertainty Guidance
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
针对全监督3D手部重建需昂贵数据的问题,提出融合生物力学等知识先验与不确定性建模的弱监督方法,仅用2D标注训练,在FreiHAND上性能提升近21%。
2024-07-17 cs.CV
A Self-Supervised Bootstrap Method for Single-Image 3D Face Reconstruction
Amazon Web Services(亚马逊云科技)
用于从单个图像进行面部的3D重建的最新方法需要2D-3D地面实况数据对以进行监督。这样的数据是昂贵的获取,在文献中可用的大多数数据集被限制到对输入的2D图像描绘的脸在一个近正面平行的姿势。因此,许多数据驱动的单图像三维人脸重建方法在侧面和近侧面人脸上表现不佳。我们提出了一种方法来提高单图像三维人脸重建网络的性能,利用网络来合成自己的训练数据进行微调,包括:(i)单图像三维重建的脸在近正面图像没有地面真实的三维形状;(ii)应用刚体变换重建的脸模型;(iii)渲染的脸模型从新的观点;以及(iv)使用绘制的图像和相应的3D重建作为用于监督微调的附加数据。由此产生的新的2D-3D对具有对于近锋平行重建观察到的相同的高质量,从而将网络推向作为输入面的视角的函数的更均匀的性能。应用所提出的技术微调的一个国家的最先进的单图像三维重建网络的脸证明了该方法的有用性,特别是显着的增益为剖面或近剖面视图。
2018-12-17 cs.CV
Self-Supervised MRI Reconstruction with Unrolled Diffusion Models
Johns Hopkins University(约翰斯·霍普金斯大学);Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center (UMRAM)(国家磁共振研究中心(UMRAM))
针对加速 MRI 重建中保真度、上下文敏感性及依赖全采样训练的问题,提出仅用欠采样 k 空间数据训练的展开条件扩散模型 SSDiffRecon,并在脑部数据集上验证其速度与质量优势。
2024-04-16 cs.CV eess.IV
DSFormer: A Dual-domain Self-supervised Transformer for Accelerated Multi-contrast MRI Reconstruction
Yale University(耶鲁大学);New York University(纽约大学);Hyperfine Research(Hyperfine研究公司)
多对比度MRI(MC-MRI)可捕获多种互补成像模式,以辅助放射学决策。鉴于需要降低多次采集的时间成本,当前的深度加速MRI重建网络专注于利用多次对比之间的冗余。然而,现有的工作主要是监督配对数据和/或昂贵的全采样MRI序列。此外,重建网络通常依赖于卷积架构,其在对远程相互作用进行建模的能力方面受到限制,并且可能导致精细解剖细节的次优恢复。为此,我们提出了一个双域自监督Transformer(DSFormer)加速MC-MRI重建。DSFormer开发了一种深度条件级联Transformer(DCCT),由几个级联的Swin Transformer重建网络(SwinRN)组成,在两种深度条件策略下进行训练,以实现MC-MRI信息共享。我们进一步提出了一个双域(图像和k空间)的DCCT自监督学习策略,以减轻获取完全采样的训练数据的成本。DSFormer生成高保真重建,在实验上优于当前的全监督基线。此外,我们发现DSFormer在完全监督或我们提出的双域自监督下训练时达到了几乎相同的性能。
2022-08-17 cs.CV cs.LG eess.IV
Self-Supervised Monocular 3D Face Reconstruction by Occlusion-Aware Multi-view Geometry Consistency
Hong Kong University of Science and Technology(香港科技大学);Everest Innovation Technology(珠峰创新科技)
最近的基于学习的方法,其中模型由单视图图像训练,对于单目3D人脸重建显示出有希望的结果,但是它们遭受不适定的人脸姿势和深度模糊问题。与以前只执行2D特征约束的工作相比,我们提出了一个自我监督的训练架构,通过利用多视图几何一致性,它提供了可靠的面部姿态和深度估计的约束。我们首先提出一种遮挡感知的视图合成方法,将多视图几何一致性应用于自监督学习。然后设计了三种新的多视点一致性损失函数,包括像素一致性损失、深度一致性损失和基于人脸特征的核线损失。我们的方法是准确的和强大的,特别是在大的变化的表情,姿势和照明条件下。在人脸对齐和三维人脸重建基准上的综合实验表明,该方法优于现有的方法。我们的代码和模型发布在https://github.com/jiaxiangshang/MGCNet上。
2020-07-24 cs.CV
Self-supervised Deep Reconstruction of Mixed Strip-shredded Text Documents
Instituto Federal do Espírito Santo (IFES)(埃斯皮里图桑托联邦学院);Universidade Federal do Espírito Santo (UFES)(埃斯皮里图桑托联邦大学);École de Technologie Supérieure (ÉTS)(高等技术学院);Université du Québec(魁北克大学)
破碎文档的重建包括连贯地排列纸张碎片(碎片)以恢复原始文档。计算重建中的一个巨大挑战是正确评估碎片之间的兼容性。虽然传统的基于像素的方法对真正的切碎不鲁棒,但更复杂的解决方案会显著损害时间性能。本工作中提出的解决方案将我们之前用于单页重建的深度学习方法扩展到更现实/复杂的场景:一次重建几个混合切碎的文档。在我们的方法中,兼容性评估建模为两个类(有效或无效)的模式识别问题。该模型以自监督的方式对从模拟切碎的文档中提取的样本进行训练,从而避免了手动注释。在三个数据集上的实验结果--包括为这项工作产生的100个带状粉碎文档的新集合--表明,所提出的方法在复杂场景中的性能优于竞争对手,准确率超过90%。
2020-07-01 cs.CV
Shell-Supervised Gaussian Splatting for Urban Real-to-Sim Reconstruction
Hong Kong Center for Construction Robotics(香港建设机器人中心);Tsinghua University(清华大学)
提出壳监督高斯溅射框架,利用外部立面结构壳作为几何监督,通过掩码门控损失优化高斯重建,提升城市立面几何一致性。
2026-06-29 cs.CV
Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction
Forschungszentrum Jülich(于利希研究中心);Jülich Supercomputing Centre (JSC)(于利希超级计算中心)
针对增强式自监督学习偏重不变特征、忽视等变特征的问题,本文引入无额外参数的交叉注意力图像重构辅助任务,在3DIEBench和ImageNet上显著提升等变表示及下游性能。
2024-12-04 cs.CV
Exploring Siamese Networks in Self-Supervised Fast MRI Reconstruction
Stanford University School of Medicine(斯坦福大学医学院);Xiamen University(厦门大学);School of Electronic Science and Engineering, Xiamen University(厦门大学电子科学与工程学院);School of Informatics, Xiamen University(厦门大学信息学院);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
本文提出SiamRecon,利用孪生网络进行自监督MRI重建,模拟期望最大化算法,避免平凡解,在单线圈脑和多线圈膝MRI上达到最先进精度。
2025-01-18 cs.CV eess.IV
Dual-Domain Self-Supervised Learning for Accelerated Non-Cartesian MRI Reconstruction
Hyperfine Research(Hyperfine研究院);Yale University(耶鲁大学);New York University(纽约大学)
虽然能够加速采集和提高重建精度,但当前的深度MRI重建网络通常是受监督的,需要完全采样的数据,并且限于笛卡尔采样模式。这些因素限制了它们的实际应用,因为全采样MRI在临床上采集非常耗时。此外,非笛卡尔采样模式特别理想,因为它们更容易受到加速度的影响,并且显示出更好的运动鲁棒性。为此,我们提出了一个完全自我监督的方法,加速非笛卡尔MRI重建,利用自我监督在k空间和图像域。在训练中,欠采样数据被分成不相交的k空间域分区。对于k-空间自监督,我们训练一个网络来重建输入欠采样数据从不相交的分区和从本身。对于图像级的自我监督,我们强制从原始欠采样数据和两个分区获得的外观一致性。在我们模拟的多线圈非笛卡尔MRI数据集上的实验结果表明,DDSS可以生成接近完全监督重建精度的高质量重建,优于以前的基线方法。最后,DDSS被证明可以扩展到在便携式低场(0.064 T)MRI扫描仪上采集的极具挑战性的真实世界临床MRI重建,没有数据可用于监督训练,同时证明与传统重建相比,图像质量有所改善,如放射科医生研究所确定的。
2023-02-18 cs.CV cs.LG eess.IV
Improved Supervised Training of Physics-Guided Deep Learning Image Reconstruction with Multi-Masking
University of Minnesota(明尼苏达大学)
通过算法展开的物理引导的深度学习(PG-DL)对于改进的图像重建(包括MRI应用)已经引起了极大的兴趣。这些方法将迭代优化算法展开为一系列正则化单元和数据一致性单元。展开的网络通常使用监督方法进行端到端训练。当前的监督PG-DL方法在其数据一致性单元中使用所有可用的子采样测量。因此,网络学习拟合其余的测量值。在这项研究中,我们建议通过回顾性地选择数据一致性单元的所有可用测量的子集,利用随机性来提高监督训练的性能和鲁棒性。在训练过程中使用不同的随机掩码重复该过程多次,以进一步增强。膝关节MRI的结果表明,所提出的多掩模监督PG-DL提高重建性能相比,传统的监督PG-DL方法。
2020-10-26 cs.CV cs.LG eess.IV
Self-supervised Deep Unrolled Reconstruction Using Regularization by Denoising
State University of New York at Buffalo(纽约州立大学布法罗分校);Cleveland Clinic(克利夫兰诊所);Paul C. Lauterbur Research Center for Biomedical Imaging, SIAT, CAS(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心)
针对MRI重建需大量标注数据的问题,提出结合自监督去噪网络与即插即用方法的DURED-Net,借助RED实现去噪网络的应用,在更少训练数据下达到优于现有Noise2Noise类方法的重建效果。
2023-10-05 cs.CV cs.LG eess.IV
Diffusion-Driven Self-Supervised Learning for Shape Reconstruction and Pose Estimation
National University of Singapore(新加坡国立大学);The University of Western Australia(西澳大学)
提出扩散驱动的自监督网络,利用形状先验实现多目标形状重建与类别级姿态估计,通过先验感知金字塔3D点变换器和预训练到精化范式,在多个数据集上超越现有方法。
2024-03-19 cs.CV
Shape Reconstruction from Thoracoscopic Images using Self-supervised Virtual Learning
Kyoto University(京都大学)
术中从内窥镜摄像机图像重建器官形状是图像引导手术中一项复杂但不可或缺的技术。为了解决从单视点遮挡图像重建整个形状的不确定性,我们提出了一个框架,用于生成虚拟学习的形状重建,使用模拟图像和真实图像之间的共同潜变量的图像平移。由于难以准备足够量的数据来学习内窥镜图像和器官形状之间的关系,因此使用从统计形状模型生成的模拟图像来执行自监督虚拟学习。然而,虚拟图像和真实图像之间的小差异可以降低估计性能,即使模拟图像被认为是等同的人。为了解决这个问题,使用变分自编码器将真实图像和模拟图像转换为相同的合成图像。在这项研究中,我们的目标是从胸腔镜图像中重建塌陷肺的形状,并证实虚拟学习可以提高真实图像和模拟图像之间的相似性。此外,形状重建误差可以改善16.9%。
2023-01-25 cs.CV eess.IV
Iterative Data Refinement for Self-Supervised MR Image Reconstruction
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心);University of Chinese Academy of Sciences(中国科学院大学);Peng Cheng Laboratory(鹏城实验室)
磁共振成像(MRI)已成为临床上用于各种疾病的可视化、检测和诊断的重要技术。然而,MRI的一个瓶颈限制是相对缓慢的数据采集过程。基于k空间欠采样和高质量图像重建的快速MRI已得到广泛应用,近年来开发了许多基于深度学习的方法。虽然已经取得了令人鼓舞的结果,但大多数现有方法都需要完全采样的参考数据来训练深度学习模型。不幸的是,在现实世界的应用中,即使不是不可能获得完全采样的MRI数据,也是困难的。为了解决这个问题,我们提出了一个自监督MR图像重建的数据细化框架。具体来说,我们首先分析了自监督和监督方法之间性能差距的原因,并确定两者之间训练数据集的偏差是一个主要因素。然后,我们设计了一种有效的自监督训练数据细化方法来减少这种数据偏差。随着数据的细化,一个增强的自我监督MR图像重建框架的开发,以促进准确的MR成像。我们在体内MRI数据集上评估了我们的方法。实验结果表明,在不使用任何完全采样的MRI数据,我们的自监督框架具有很强的能力,在捕捉图像的细节和结构在高加速因子。
2022-11-24 cs.CV eess.IV