Towards Foundation Models Learned from Anatomy in Medical Imaging via Self-Supervision
Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所)
本文提出利用人体解剖结构层次性、局部性与组合性的自监督学习策略,预训练医学影像基础模型,在分割任务上较SSL基线提升9%至30%。
2023-09-27 cs.CV
Unsupervised Inference of Signed Distance Functions from Single Sparse Point Clouds without Learning Priors
Tsinghua University(清华大学);Wayne State University(韦恩州立大学)
从3D点云中推断有符号距离函数(SDF)至关重要。最新的方法依赖于从大规模监督中学习到的先验知识的推广。然而,学习的先验知识并不能很好地推广到训练过程中看不到的各种几何变化,特别是对于极其稀疏的点云。为了解决这个问题,我们提出了一个神经网络直接推断SDF从单个稀疏点云,而不使用有符号的距离监督,学习先验甚至法线。我们在这里的见解是以端到端的方式学习曲面参数化和SDF推理。为了弥补稀疏性,我们利用参数化表面作为粗糙表面采样器,在训练迭代中提供许多粗糙表面估计,根据这些估计,我们挖掘监督,并且我们基于薄板样条(TPS)的网络以统计方式将SDF推断为光滑函数。我们的方法显着提高了泛化能力和精度在看不见的点云。我们的实验结果表明,我们的优势,国家的最先进的方法在表面重建稀疏点云在合成数据集和真实扫描。
2023-03-25 cs.CV
A critical analysis of self-supervision, or what we can learn from a single image
Institution1(机构1);Institution2(机构2)
我们批判性地研究了用于学习深度卷积神经网络而无需手动标签的流行自我监督技术。我们展示了三种不同的代表性方法,BiGAN,RotNet和DeepCluster,可以从单个图像以及使用数百万个图像和手动标签学习卷积网络的前几层,前提是使用强大的数据增强。然而,对于更深的层,即使使用数百万未标记的图像进行训练,也无法弥补人工监督的差距。我们的结论是:(1)深度网络的早期层的权重包含有关自然图像统计的有限信息,(2)这种低级统计可以通过自我监督以及通过强监督来学习,以及(3)低级统计可以通过合成变换而不是使用大型图像数据集来捕获。
2020-02-19 cs.CV
XR-MBT: Multi-modal Full Body Tracking for XR through Self-Supervision with Learned Depth Point Cloud Registration
Meta Reality Labs Zurich
针对XR设备缺乏专用腿部传感器导致全身跟踪困难的问题,提出XR-MBT模型,结合自监督学习深度点云配准与多模态姿态估计,首次实现XR设备上的腿部跟踪,且跟踪精度优于传统方法。
2024-11-27 cs.CV cs.LG
FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision
KTH Royal Institute of Technology(皇家理工学院);Linköping University(林奈大学)
研究单目3D面部重建,提出FIELDS框架,通过直接监督学习在几何合理性约束下获取FLAME表情代码用于面部表情识别,采用混合2D/3D监督,提升情感预测且保持几何保真度。
2026-11-10 cs.CV
Few-shot point cloud reconstruction and denoising via learned Guassian splats renderings and fine-tuned diffusion features
提出一种利用从图像模型蒸馏的先验知识进行少样本点云重建与去噪的方法,通过语义一致性监督正则化可微渲染器并微调Stable Diffusion,在多个数据集上实现了更高质量的3D重建。
2024-04-24 cs.CG cs.CV
Boosting Supervision with Self-Supervision for Few-shot Learning
UMass Amherst(马萨诸塞大学阿默斯特分校);Cornell University(康奈尔大学)
我们提出了一种技术,通过引入自监督任务作为辅助损失函数来提高在小标记数据集上学习的深度表示的可转移性。虽然最近的自监督学习方法已经显示出在大型未标记数据集上训练的好处,但我们发现即使在小数据集上,当与强监督相结合时,泛化能力也有所提高。具有自我监督损失的学习表示在几个少样本学习基准测试中将最先进的元学习器的相对出错率降低了5-25%,并且在从头开始训练时,标准分类任务的现成深度网络也是如此。我们发现自我监督的好处随着任务的难度而增加。我们的方法利用数据集内的图像来构建自监督损失,因此是一种有效的学习可转移表示的方法,而不依赖于任何外部训练数据。
2019-06-17 cs.CV cs.LG stat.ML
Salient object detection on hyperspectral images using features learned from unsupervised segmentation task
AIST(日本产业技术综合研究所)
已经提出了来自彩色图像的各种显著性检测算法,以模仿人类观察者对相同场景的眼睛注视或专注的目标检测响应。然而,高光谱成像系统的发展使我们能够从物体的反射光源中获得观测场景的冗余光谱信息。一些研究表明,使用低级别的功能,高光谱图像的显着目标检测可以实现。在这项工作中,我们提出了一个显着的目标检测模型的高光谱图像应用流形排名(MR)的自监督卷积神经网络(CNN)的功能(高级功能)从无监督的图像分割任务。CNN的自我监督继续进行,直到聚类损失或显着性图收敛到每次迭代之间的定义误差。最后,显著性估计完成的显着性图在最后一次迭代时,自监督过程终止与收敛。实验结果表明,所提出的显着性检测算法的高光谱图像是优于国家的最先进的高光谱显着性模型,包括原来的MR为基础的显着性模型。
2019-02-28 cs.CV
JointMotion: Joint Self-Supervision for Joint Motion Prediction
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
JointMotion提出一种自监督预训练方法,通过场景级非对比学习和实例级掩码自编码联合优化运动与环境表征,在多个模型上显著降低联合运动预测误差并支持跨数据集迁移。
2024-10-23 cs.CV cs.RO
RepFlow: Reciprocal Supervision Improves Generation and Representation in Flow Models
RepFlow通过互惠学习,从生成器演化状态中提取表示并反馈指导生成,无需外部教师,显著降低FID并提升线性探针准确率,同时支持分布级监督。
2026-09-29 cs.CV
Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision
Korea Advanced Institute of Science and Technology(韩国科学技术院);INEEJI
针对现有概念揭示方法依赖人工监督的问题,提出一种无监督方法,通过选择核心神经元构建松弛决策区域以发现概念的分布式表示,可识别未标记子类、检测误分类原因并揭示不同层的表示差异。
2024-03-05 cs.AI cs.CV cs.LG
No More Shortcuts: Realizing the Potential of Temporal Self-Supervision
University of Central Florida(中佛罗里达大学);Adobe Research(奥多比研究中心)
针对时间自监督任务过于简单和存在捷径的问题,提出帧级任务重表述与增强策略,结合变换器显著提升视频特征质量,在多项高级和低级任务上达到最先进性能。
2023-12-20 cs.AI cs.CV cs.LG
Unsupervised MRI Reconstruction via Zero-Shot Learned Adversarial Transformers
Bilkent University(比尔肯特大学);National Magnetic Resonance Research Center, Bilkent University(比尔肯特大学国家磁共振研究中心)
监督重建模型在特征上是在匹配的欠采样和全采样数据对上训练的,以捕获MRI先验,以及关于成像操作员的监督,以加强数据一致性。为了减少监督要求,最近的深度图像先验框架在推理期间将未经训练的MRI先验与成像算子结合起来。然而,规范卷积架构在捕获远程关系方面是次优的,并且基于随机初始化网络的先验可能会产生次优性能。为了解决这些局限性,在这里,我们介绍了一种新的无监督MRI重建方法的基础上zero-Shot学习对抗Transformers(SLATER)。SLATER体现了一个深度对抗网络,具有交叉注意力Transformers,可将噪声和潜在变量映射到线圈组合的MR图像上。在预训练期间,该无条件网络在无监督生成建模任务中学习高质量的MRI先验。在推断期间,然后通过结合成像算子并优化先验以最大化欠采样数据的一致性来执行zero-shot重建。在大脑MRI数据集上进行的综合实验清楚地证明了SLATER相对于最先进的无监督方法的优越性能。
2022-01-16 cs.CV cs.LG eess.IV
Reinforcement Learning with Neural Radiance Fields
TU Berlin(柏林工业大学);Google(谷歌);MIT(麻省理工学院)
寻找有效的表征方法来训练强化学习(RL)智能体是一个长期存在的问题。本文证明,与其他学习表示或甚至低维手工设计的状态信息相比,从神经辐射场(NeRFs)中监督学习状态表示可以提高RL的性能。具体来说,我们建议训练编码器,将多个图像观测映射到描述场景中对象的潜在空间。从潜在条件NeRF构建的解码器作为监督信号来学习潜在空间。然后,RL算法对学习的潜在空间进行操作,作为其状态表示。我们称之为NeRF-RL。我们的实验表明,NeRF作为监督导致一个潜在的空间更适合下游RL任务,涉及机器人对象操作,如挂在钩子上的杯子,推动物体,或打开门。视频:https://dannydriess.github.io/nerf-rl
2022-06-03 cs.CV cs.LG cs.RO
Contextualized Spatio-Temporal Contrastive Learning with Self-Supervision
Google Research(谷歌研究院);Cornell University(康奈尔大学)
现代的自监督学习算法通常会在视图之间强制执行实例表示的持久化。虽然在学习整体图像和视频表示方面非常有效,但这样的目标对于学习视频中的时空细粒度特征变得次优,其中场景和实例通过空间和时间演变。在本文中,我们提出了上下文时空对比学习(ConST-CL),有效地学习时空细粒度的视频表示,通过自我监督。我们首先设计了一个基于区域的借口任务,需要模型转换的立场表示从一个视图到另一个,指导上下文功能。此外,我们介绍了一个简单的网络设计,成功地调和整体和局部表示的同时学习过程。我们评估了我们在各种下游任务上的学习表示,并表明ConST-CL在6个数据集上取得了有竞争力的结果,包括Kinetics,UCF,HMDB,AVA-Kinetics,AVA和OTB。
2022-04-02 cs.CV
NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields
MIT(麻省理工学院);Google(谷歌);Nvidia(英伟达)
叉子和搅拌器等薄的反射物体在我们的日常生活中很常见,但它们对机器人感知特别具有挑战性,因为很难使用商品RGB-D相机或多视图立体视觉技术重建它们。虽然传统的管道与这些对象斗争,神经辐射场(NeRFs)最近被证明是非常有效的执行薄结构或反射材料的对象上的视图合成。在本文中,我们探讨了使用NeRF作为一个新的来源,强大的机器人视觉系统的监督。特别是,我们证明了NeRF表示的场景可以用来训练密集的对象描述符。我们使用优化的NeRF提取对象的多个视图之间的密集对应,然后使用这些对应作为训练数据,用于学习对象的视图不变表示。NeRF的密度场的使用使我们能够用一种新的深度分布公式来重新表述对应问题,而不是使用深度图的传统方法。使用我们的方法监督的密集对应模型的性能显著优于现成的学习描述符106%(PCK@3px度量,性能增加一倍以上),并且优于我们使用多视图立体视觉监督的基线29%。此外,我们证明了学习的密集描述符使机器人能够执行精确的6自由度(6-DoF)拾取和放置薄和反射物体。
2022-04-27 cs.CV cs.RO
TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision
University of Stuttgart(斯图加特大学)
如今,深度神经网络在许多任务上都优于人类。然而,如果输入分布偏离训练中使用的分布,它们的性能就会显著下降。最近发表的研究表明,使模型参数适应测试样本可以减轻这种性能下降。因此,在本文中,我们提出了一种新的修改的自监督训练算法SwAV,增加了适应单个测试样本的能力。使用所提供的原型的SwAV和我们推导出的测试时间损失,我们对齐的表示看不见的测试样本与自我监督学习的原型。我们展示了我们的方法在通用基准数据集CIFAR 10-C上的成功。
2022-05-18 cs.CV cs.LG
Learning to Estimate Single-View Volumetric Flow Motions without 3D Supervision
Technical University of Munich (TUM)(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院);TUM - Institute for Advanced Study(慕尼黑工业大学高等研究院)
本研究提出一种无监督深度神经网络方法,仅依靠单目视频、图像损失、对抗判别网络与正则化,无需3D真实标注即可联合推断流体的3D流场与体积密度,可稳定处理长时序序列且匹配度高。
2023-02-28 cs.CV cs.LG physics.flu-dyn
4D Gaussian Splatting as a Learned Dynamical System
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
本文提出EvoGS,将4D高斯散射视为学习到的动态系统,通过连续时间演化提升动态场景建模的效率与可控性。
2025-12-22 cs.CV
Self-Supervision Closes the Gap Between Weak and Strong Supervision in Histology
Owkin Inc.(Owkin公司)
将机器学习应用于组织病理学的最大挑战之一是监督不力:整个切片图像具有数十亿像素,但通常只有一个全局标签。因此,现有技术依赖于使用来自领域专家的附加本地注释的强监督模型训练。然而,在缺乏详细注释的情况下,大多数弱监督方法都依赖于在ImageNet上预先训练的冻结特征提取器。我们确定这是一个关键的弱点,并建议训练一个域特征提取器的组织学图像使用MoCo V2,最近的自监督学习算法。在Camelyon16和TCGA上的实验结果表明,该提取器的性能大大优于ImageNet。特别是,我们的研究结果将Camelyon16的弱监督状态从91.4%提高到98.7% AUC,从而缩小了与达到99.3% AUC的强监督模型的差距。通过这些实验,我们证明了通过自监督学习训练的特征提取器可以作为替代品,以显着改善组织学中现有的机器学习技术。最后,我们表明,学习嵌入空间表现出生物意义的组织结构分离。
2020-12-07 cs.CV eess.IV
Learning to Adapt Multi-View Stereo by Self-Supervision
多视图三维场景重建是计算机视觉中的一个重要经典问题。基于深度学习的方法最近已经展示了令人印象深刻的重建结果。当训练这种模型时,自监督方法是有利的,因为它们不依赖于监督训练所需的地面实况数据,并且通常难以获得。此外,学习的多视图立体视觉重建容易受到环境变化的影响,并且应该鲁棒地推广到不同的领域。我们提出了一种用于多视图立体视觉的自适应学习方法,该方法训练深度神经网络以提高对新目标域的适应性。我们使用模型不可知的元学习(MAML)训练的基础参数,反过来,适应多视图立体视觉的新领域,通过自我监督训练。我们的评估表明,所提出的自适应方法是有效的学习自监督多视图立体视觉重建在新的领域。
2020-09-28 cs.CV
Image Re-Identification: Where Self-supervision Meets Vision-Language Learning
School of Computer Science and Cyber Engineering, Guangzhou University(广州大学计算机科学与网络工程学院);School of Engineering, Huaqiao University(华侨大学工学院)
本文提出SVLL-ReID框架,通过两阶段训练将语言自监督与视觉自监督融入预训练CLIP模型,在六个图像ReID基准数据集上无需文本标签即取得最佳性能。
2024-07-30 cs.CV
Training Vision-Language Process Reward Models for Test-Time Scaling in Multimodal Reasoning: Key Insights and Lessons Learned
AI Singapore(AI新加坡);Nanyang Technological University(南洋理工大学)
本文探索视觉-语言过程奖励模型的设计空间,提出混合数据合成与感知聚焦监督方法,并在多模态基准上验证其能有效提升测试时扩展的推理性能。
2025-10-07 cs.AI cs.CV
Does Visual Self-Supervision Improve Learning of Speech Representations for Emotion Recognition?
Imperial College London(伦敦帝国学院);Facebook(脸书)
自监督学习最近吸引了大量的研究兴趣。然而,大多数作品的自我监督的讲话是典型的单峰和已经有有限的工作,研究音频和视觉模态之间的相互作用,跨模态的自我监督。本文的工作(1)研究了通过人脸重建的视觉自我监督来指导音频表示的学习;(2)提出了一种用于语音表示学习的仅音频自我监督方法;(3)表明所提出的视觉和音频自我监督的多任务组合有利于学习更丰富的特征,这些特征在噪声条件下更鲁棒;(4)表明自监督预训练可以优于完全监督训练,并且对于防止较小数据集的过拟合特别有用。我们评估我们学习的音频表示离散情感识别,连续的影响识别和自动语音识别。对于所有测试的下游任务,我们都优于现有的自监督方法。我们的研究结果表明,潜在的视觉自我监督的音频特征学习,并建议联合视觉和音频自我监督导致更多的信息音频表示语音和情感识别。
2021-03-18 cs.CL cs.CV cs.LG
Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels
McMaster University(麦克马斯特大学)
针对深度神经网络易受噪声标签影响导致泛化差的问题,提出利用合成样本与软标签训练模型的框架,通过聚合样本及其最近邻并逐步纠正噪声标签,在多个基准和真实数据集上显著提升了表示质量与鲁棒性。
2024-06-22 cs.CV cs.LG
Towards a Hypothesis on Visual Transformation based Self-Supervision
Carnegie Mellon University(卡内基梅隆大学)
我们提出了第一个定性的假设表征的视觉转换为基础的自我监督的行为,称为VTSS假说。给定一个数据集,在预测变换的实例化时对其执行自监督任务,假设指出,如果预测的变换实例化已经存在于数据集中,则学习的表示将不太有用。该假设是通过观察使用特定变换的自我监督应用中的关键约束而得出的。这种约束,我们在本文中称之为转换冲突,迫使网络学习退化特征,从而降低了表示的有用性。VTSS假说帮助我们识别有潜力成为有效的自我监督任务的转换。此外,它有助于一般地预测特定的基于转换的自我监督技术对于特定的数据集是否有效。我们对CIFAR 10,CIFAR 100,SVHN和FMNIST进行了广泛的评估,证实了假设及其预测的趋势。我们还提出了新的基于平移和缩放的具有成本效益的自监督技术,当与旋转相结合时,其性能优于单独应用的所有变换。总体而言,本文旨在阐明基于自我监督的视觉转换现象。
2020-02-14 cs.CV cs.LG stat.ML
Generalized Adversarially Learned Inference
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Brain(谷歌大脑)
在训练GANs的同时允许对潜在向量进行有效的推理,可以大大提高它们在各种下游任务中的适用性。最近的方法,如ALI和BiGAN框架,通过逆向训练图像生成器以及编码器来匹配图像和潜在向量对的两个联合分布,开发了GANs中潜在变量的推断方法。我们概括这些方法,将多层的反馈重建,自我监督,和其他形式的监督的基础上事先或学到的知识所需的解决方案。我们通过修改该算法的目标来实现这一目标,以正确识别任意数量的随机变量的元组的两个以上的联合分布,这些随机变量包括图像、潜在向量和通过辅助任务(如重建和修复)生成的其他变量,或者作为合适的预训练模型的输出。我们为生成器-编码器对设计了一个非饱和最大化目标,并证明了由此产生的对抗游戏对应于同时匹配所有分布的全局最优值。在我们提出的框架内,我们引入了一套新的技术,用于根据属性(如补丁级对应和重建的周期一致性)向模型提供自监督反馈。通过全面的实验,我们证明了所提出的方法的有效性,可扩展性和灵活性的各种任务。
2020-12-21 cs.CV cs.LG stat.ML
Implicit Mesh Reconstruction from Unannotated Image Collections
Facebook AI Research(Facebook人工智能研究院);University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种方法来推断的3D形状,纹理和相机的姿势为一个对象从一个单一的RGB图像,只使用类别级的图像集合与前景蒙板作为监督。我们将形状表示为图像条件隐式函数,该函数将球体的表面转换为预测网格的表面,同时还预测相应的纹理。为了获得用于学习的监督信号,我们强制执行:a)我们的预测在渲染时应该解释可用的图像证据,以及b)推断的3D结构应该与学习的像素到表面映射在几何上一致。我们的经验表明,我们的方法比以前的工作,利用类似的监督,实际上执行竞争力的方法,使用更强的监督。最后,由于我们的方法能够在有限的监督下学习,我们定性地证明了它在一组约30个对象类别上的适用性。
2020-07-16 cs.CV
Source Identification: A Self-Supervision Task for Dense Prediction
Erasmus MC(伊拉斯谟医学中心);University of Copenhagen(哥本哈根大学)
本文提出受盲源分离启发的自监督任务来源识别(SI),通过从融合图像重建原始图像来学习表示,并在脑肿瘤与白质高信号分割中优于修复、像素混洗等传统自监督方法。
2023-07-05 cs.CV
Unsupervised Learning on a DIET: Datum IndEx as Target Free of Self-Supervision, Reconstruction, Projector Head
Meta AI;Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
如果我们希望学习廉价、可靠和可转移的模型,那么代价高昂、嘈杂和过度专业化的标签将被搁置一边,转而支持无监督学习。为此,谱嵌入、自监督学习或生成式建模提供了有竞争力的解决方案。然而,这些方法带来了许多挑战,\textit{e.g.}估计测地线距离,指定投影仪架构和抗崩溃损失,或指定解码器架构和重建损失。相比之下,我们引入了一个简单的可解释的替代方案-创造的\textbf{DIET} -从未标记的数据中学习表示,没有这些挑战。\textbf{DIET}非常简单:采用自己喜欢的分类设置,并使用\textbf{D} atum \textbf{I} nd \textbf{E} x作为其\textbf{T}目标类,\textit{i.e. each sample is its own class},无需进一步更改。\textbf{DIET}不需要解码器/投影器网络,不基于正对也不基于重构,不引入超参数,并且可以跨数据集和架构进行开箱即用。尽管\textbf{DIET}很简单,但学习到的表示具有高质量,并且通常与最先进的\textit{e.g.}相当,在DIET的学习表示之上使用线性分类器,在CIFAR 100上使用Resnet 101达到$71.4\%$,在TinyImagenet上使用Resnext 50达到$52.5\%$。
2023-02-20 cs.AI cs.CV cs.LG
Differentiable Volumetric Rendering: Learning Implicit 3D Representations without 3D Supervision
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);Amazon(亚马逊);ETAS GmbH, Bosch Group(博世集团ETAS有限公司)
基于学习的3D重建方法已经显示出令人印象深刻的结果。然而,大多数方法需要3D监督,这对于现实世界的数据集来说通常很难获得。最近,一些作品已经提出了微分绘制技术,训练重建模型从RGB图像。不幸的是,这些方法目前仅限于基于体素和网格的表示,遭受离散化或低分辨率。在这项工作中,我们提出了一个可微的隐式形状和纹理表示的渲染公式。隐式表示最近越来越流行,因为它们连续表示形状和纹理。我们的关键见解是,深度梯度可以推导出分析使用隐式微分的概念。这使我们能够直接从RGB图像中学习隐式形状和纹理表示。我们的实验表明,我们的单视图重建对手的学习与全3D监督。此外,我们发现,我们的方法可以用于多视图三维重建,直接导致水密网格。
2020-03-23 cs.CV cs.LG eess.IV
FineMoLA: Towards Fine-Grained Motion-Language Alignment from Clip-Level Supervision
Purdue University(普渡大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对现有动作-语言数据集仅提供片段级监督导致细粒度对齐不足的问题,提出弱监督框架FineMoLA,将动作-语言对齐建模为最优传输问题,在SnapMoGen上的实验显示其动作-文本定位性能优于基线。
2026-08-04 cs.CV
BAS-OPD: Budget-Aware Selective On-Policy Self-Distillation for Fine-Grained Multimodal Perception
HFIPS, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);University of Science and Technology of China(中国科学技术大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对多模态大模型细粒度感知中教师查询成本高的问题,提出预算感知的选择性在线策略自蒸馏框架BAS-OPD,通过智能选择信息样本分配监督,在保持性能的同时大幅降低训练成本。
2026-09-23 cs.AI cs.CV
Improving Transferability of Representations via Augmentation-Aware Self-Supervision
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Michigan(密歇根大学);University of California, Berkeley(加州大学伯克利分校);Amazon Web Services(亚马逊云科技);LG AI Research(LG人工智能研究院)
最近的无监督表示学习方法已被证明是有效的,在一系列的视觉任务,通过学习表示不变的数据增强,如随机裁剪和颜色抖动。然而,如果下游任务依赖于数据增强的特性,例如,位置或颜色敏感。这不仅仅是无监督学习的问题;我们发现即使在监督学习中也会发生这种情况,因为它也学会为实例的所有增强样本预测相同的标签。为了避免这样的失败并获得更通用的表示,我们建议优化一个辅助的自监督损失,称为AugSelf,它学习增强参数的差异(例如,裁剪位置、颜色调整强度)。我们的直觉是,AugSelf鼓励在学习表征中保留增强感知信息,这可能有利于它们的可转移性。此外,AugSelf可以很容易地融入到最近最先进的表示学习方法中,而额外的训练成本可以忽略不计。大量的实验表明,我们简单的想法一致地提高了在各种迁移学习场景中通过监督和无监督方法学习的表示的可迁移性。该代码可在https://github.com/hankook/AugSelf上获得。
2021-11-18 cs.AI cs.CV cs.LG
Free Lunch for Surgical Video Understanding by Distilling Self-Supervisions
The Hong Kong University of Science and Technology(香港科技大学);Nanyang Technological University(南洋理工大学);The Hong Kong University of Science and Technology Shenzhen Research Institute(香港科技大学深圳研究院)
自监督学习在视觉和自然语言处理方面取得了巨大的进展,最近,它也引起了人们对各种医学成像模式,如X射线,CT和MRI的关注。现有的方法主要集中在根据医学图像的特点,建立新的借口自我监督任务,如重建,方向和掩蔽识别。然而,公开的自我监督模型没有得到充分利用。在本文中,我们提出了一个强大而有效的自我监督框架的手术视频理解。我们的关键见解是从在大型通用机器人4上训练的公开可用模型中提取知识,以促进手术视频的自监督学习。为此,我们首先引入一个语义保持训练方案来获得我们的教师模型,该模型不仅包含来自公开可用模型的语义,而且可以为手术数据生成准确的知识。除了仅使用对比学习进行训练外,我们还引入了一个蒸馏目标,将教师模型中丰富的学习信息转移到手术数据的自监督学习中。两个手术阶段识别基准的广泛实验表明,我们的框架可以显着提高现有的自监督学习方法的性能。值得注意的是,我们的框架在低数据制度下表现出令人信服的优势。我们的代码可在https://github.com/xmed-lab/DistillingSelf上获得。
2022-09-26 cs.CV
I2MVFormer: Large Language Model Generated Multi-View Document Supervision for Zero-Shot Image Classification
ETH Zürich(苏黎世联邦理工学院);TUKL(凯泽斯劳滕工业大学);DFKI(德国人工智能研究中心);TUM(慕尼黑工业大学);Google(谷歌)
最近的工作表明,非结构化的文本(文档)从网上来源可以作为有用的辅助信息的zero-shot图像分类。然而,这些方法需要访问像维基百科这样的高质量来源,并且仅限于单一的信息来源。在网络规模的文本上训练的大语言模型(LLM)显示出令人印象深刻的能力,可以将他们所学的知识重新用于多种任务。在这项工作中,我们提供了一个新的角度使用LLM提供文本监督的zero-shot图像分类模型。LLM提供了一些来自不同注释者的文本描述作为示例。LLM以这些示例为条件,为每个类(称为视图)生成多个文本描述。我们提出的模型,I2MVFormer,学习多视图语义嵌入zero-shot图像分类与这些类视图。我们表明,类的每个文本视图提供了互补信息,允许模型学习高度区分的类嵌入。此外,我们表明,与基线模型相比,I2MVFormer更善于从LLM中消费多视图文本监督。I2MVFormer在三个公共基准数据集上建立了一个新的最先进的zero-shot图像分类,具有无监督语义嵌入。
2022-12-05 cs.CV
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild
University of Oxford(牛津大学)
我们提出了一种方法来学习3D变形对象类别从原始单视图图像,没有外部监督。该方法是基于一个自动编码器的因素,每个输入图像的深度,亮度,视点和照明。为了在没有监督的情况下理清这些成分,我们利用了这样一个事实,即许多对象范畴至少在原则上具有对称结构。我们表明,推理照明允许我们利用底层对象的对称性,即使外观是不对称的,由于阴影。此外,我们通过预测对称概率图对可能但不一定对称的对象进行建模,该对称概率图与模型的其他组件端到端地学习。实验结果表明,该方法可以非常准确地从单视图图像中恢复人脸、猫脸和汽车的三维形状,而无需任何监督或先验形状模型。在基准测试中,我们表现出优越的精度相比,另一种方法,使用监督在2D图像对应的水平。
2020-03-31 cs.CV
Learning a Directional Soft Lane Affordance Model for Road Scenes Using Self-Supervision
Ascent Robotics;Tier IV
人类以有组织但灵活的方式在复杂的环境中航行,适应环境和隐含的社会规则。理解这些自然习得的行为模式对于自动驾驶汽车等应用至关重要。然而,从算法上定义这些人类行为的隐含规则仍然很困难。这项工作提出了一种新的自监督方法,用于训练概率网络模型,以估计人类最有可能驾驶的区域,以及每个点处推断的行驶方向的多模态表示。该模型是在以驾驶环境的表示为条件的个人轨迹上训练的。该模型成功地推广到新的道路场景,展示了潜在的现实世界中的应用,作为一个具有挑战性的或模糊的情况下,明确的交通规则处理不当的社会可接受的驾驶行为的先验。
2020-04-15 cs.CV cs.LG stat.ML
What Builds the Scene? Luminance Dominates Geometry Formation in 3D Gaussian Splatting
Boise State University(博伊西州立大学)
本文通过通道监督实验证明,标准3DGS的几何形成主要由亮度主导,色度贡献较小,且冻结几何后色度外观可被重新拟合恢复。
2026-10-02 cs.CV cs.GR
SelfReg-UNet: Self-Regularized UNet for Medical Image Segmentation
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);McKeley School of Engineering, Washington University in St. Louis(圣路易斯华盛顿大学麦凯莱工程学院);School of Computing, Clemson University(克莱姆森大学计算学院)
针对UNet因非对称监督产生无关特征、特征图存在冗余的问题,提出SelfReg-UNet,通过解码器末层额外监督与特征蒸馏优化,可即插即用提升UNet在医学图像分割任务上的性能。
2024-06-21 cs.CV eess.IV
Disentangled Speech Embeddings using Cross-modal Self-supervision
University of Oxford(牛津大学);Naver Corporation(Naver公司)
本文的目的是在不访问手动注释数据的情况下学习说话者身份的表示。为此,我们开发了一个自监督学习目标,该目标利用了视频中人脸和音频之间的自然跨模态同步。我们的方法背后的关键思想是梳理分开-没有注释-语言内容和说话者身份的表征。我们构建了一个双流体系结构:(1)共享两种表示共有的低级特征;(2)提供了一种自然的机制,用于明确地解开这些因素,为内容和身份的新组合提供更大的概括潜力,并最终产生更强大的扬声器身份表示。我们训练我们的方法在一个大规模的音频-视频数据集说话的头“在野外”,并证明其有效性,通过评估标准的说话人识别性能的发言人表示。
2020-05-04 cs.CV cs.SD eess.AS
Unsupervised Domain Adaptation through Self-Supervision
University of California, Berkeley(加利福尼亚大学伯克利分校)
本文讨论了无监督的领域自适应,设置标记的训练数据在源域上是可用的,但目标是在目标域上只有未标记的数据具有良好的性能。像以前的许多工作一样,我们寻求对齐源和目标域的学习表示,同时保持可辨别性。我们完成对齐的方式是通过学习同时在两个域上执行辅助自我监督任务。每个自我监督任务都沿着与该任务相关的方向将两个域更紧密地联系在一起。与源域上的主任务分类器一起训练,可以成功地推广到未标记的目标域。所提出的目标是直接实现和易于优化。我们在七个标准基准中的四个上取得了最先进的结果,并在分割适应上取得了有竞争力的结果。我们还证明了我们的方法与另一种流行的像素级自适应方法组合良好。
2019-09-29 cs.CV cs.LG stat.ML
Cross Pixel Optical Flow Similarity for Self-Supervised Learning
University of Oxford(牛津大学)
我们提出了一种新的方法来学习卷积神经图像表示,而无需人工监督。我们使用光流形式的运动线索来监督静态图像的表示。训练网络以从单个图像预测流量的明显方法可能是不必要的困难,因为这种预测任务中存在固有的模糊性。相反,我们提出了一个简单得多的学习目标:嵌入像素,使它们的嵌入之间的相似性匹配的光流向量之间。在测试时,可以在不访问视频或流信息的情况下使用学习的深度网络,并将其转移到图像分类、检测和分割等任务中。我们的方法大大简化了以前使用运动进行自我监督的尝试,在使用运动线索的自我监督中实现了最先进的结果,一般来说,自我监督的竞争结果,并且在语义图像分割的自我监督预训练中是最先进的,如标准基准测试所示。
2018-07-15 cs.CV cs.LG cs.NE
GLVD: Guided Learned Vertex Descent
Institut de Robotica i Informatica Industrial, CSIC-UPC(机器人与信息学工业研究所,CSIC-UPC);Crisalix SA(Crisalix公司);Amazon Barcelona, Spain(亚马逊巴塞罗那分公司)
GLVD是一种混合三维人脸重建方法,结合逐顶点神经场优化与动态关键点引导,无需密集三维监督,在单视角达到最先进性能,多视角竞争力强且推理时间大幅减少。
2025-10-07 cs.AI cs.CV
Removing supervision in semantic segmentation with local-global matching and area balancing
DeepPlants;DIAG, Sapienza(罗马第一大学DIAG)
提出一种基于局部-全局匹配与最优传输的端到端语义分割模型,在弱监督和无监督设置下均达到最先进水平。
2023-03-30 cs.CV cs.LG
VISC: mmWave Radar Scene Flow Estimation using Pervasive Visual-Inertial Supervision
State Key Laboratory of Maritime Technology and Safety(maritime技术与安全国家重点实验室);Wuhan University of Technology(武汉理工大学);University of Essex(埃塞克斯大学);Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);University College London(伦敦大学学院)
本文提出VISC框架,利用普适视觉-惯性传感器数据监督毫米波雷达场景流估计,通过无漂移刚体变换估计器和光学-毫米波监督提取模块,在烟雾环境中超越使用昂贵激光雷达的SOTA方法。
2025-07-05 cs.CV cs.RO
Towards Lifelong Self-Supervision For Unpaired Image-to-Image Translation
Mila;Universite de Montreal(蒙特利尔大学)
不成对的图像到图像翻译(I2IT)任务经常受到缺乏数据的困扰,这是自监督学习(SSL)最近非常流行并成功解决的问题。利用旋转预测或生成着色等辅助任务,SSL可以在低数据状态下生成更好、更鲁棒的表示。然而,随着模型大小和任务数量的增长,沿着I2IT任务训练这样的任务在计算上是难以处理的。另一方面,顺序学习可能导致对先前学习的任务的灾难性遗忘。为了缓解这一问题,我们引入了终身自我监督(LiSS)作为预训练I2IT模型的一种方式(例如,CycleGAN)在一组自我监督的辅助任务上。通过保持过去编码器的指数移动平均值并提取积累的知识,我们能够在许多任务上保持网络的验证性能,而无需任何形式的重放,参数隔离或再训练技术通常用于持续学习。我们发现,使用LiSS训练的模型在过去的任务中表现更好,同时也比CycleGAN基线对颜色偏差和实体纠缠(当两个实体非常接近时)更鲁棒。
2020-03-31 cs.CV cs.LG eess.IV
Does Learning from Decentralized Non-IID Unlabeled Data Benefit from Self Supervision?
MIT(麻省理工学院)
分散式学习已经被提倡和广泛部署,以有效地利用分布式数据集,并广泛关注监督学习(SL)问题。不幸的是,大多数现实世界的数据都是未标记的,并且各个来源之间可能存在高度异构性。在这项工作中,我们通过自监督学习(SSL),特别是对比视觉表示学习的镜头仔细研究了无标记数据的分散学习。我们研究了分散学习设置下一系列对比学习算法在相对较大规模的数据集上的有效性,包括ImageNet-100,MS-COCO和一个新的真实世界机器人仓库数据集。我们的实验表明,去中心化SSL(Dec-SSL)方法对去中心化数据集的异构性具有鲁棒性,并学习了对象分类,检测和分割任务的有用表示。这种鲁棒性使得可以显著减少通信并降低数据源的参与率,而性能下降最小。有趣的是,使用相同数量的数据,Dec-SSL学习的表示不仅可以与需要通信和过多数据存储成本的集中式SSL学习的表示相提并论,而且有时还优于从分散式SL提取的表示,这需要有关数据标签的额外知识。最后,我们提供了理论上的见解,了解为什么数据异构性是一个关注的Dec-SSL目标,并引入功能对齐和聚类技术,开发一个新的Dec-SSL算法,进一步提高性能,在面对高度非IID数据。我们的研究为在去中心化学习中接受未标记数据提供了积极的证据,我们希望为去中心化SSL是否有效以及为什么有效提供新的见解。
2023-02-28 cs.AI cs.CV cs.LG