Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised Learning
Stanford University(斯坦福大学)
本文提出自引导掩码自编码器SMA,通过可学习的掩码采样消除领域特定假设,实现完全领域无关的自监督学习,并在蛋白质、化学和粒子物理三个基准上取得最优性能。
2024-02-22 cs.AI cs.LG
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中,我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,同时使用高达67%的轨迹数据,如使用精确度-召回曲线下的面积(AUPRC)度量所测量的,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示,这些张量表示可以与其他图像源相结合,并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University(哥伦比亚大学)
最近,自监督学习在各种机器学习任务中出现了爆炸性增长和使用,因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献,并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成,跨模态预训练,循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
SPEED: Scalable Preprocessing of EEG Data for Self-Supervised Learning
Technical University of Denmark(丹麦技术大学)
针对EEG数据噪声高且现有预处理难以支撑大规模自监督学习的问题,提出Python预处理流程,优化后稳定训练并提升下游任务性能。
2024-09-23 cs.AI eess.SP
Scaling and Benchmarking Self-Supervised Visual Representation Learning
Facebook AI Research(脸书人工智能研究院)
自监督学习的目标是在没有明确的人工监督的情况下从数据本身学习表示。现有的努力忽略了自监督学习的一个关键方面-扩展到大量数据的能力,因为自监督不需要手动标签。在这项工作中,我们重新审视了这一原则,并将两种流行的自监督方法扩展到1亿张图像。我们表明,通过在各个轴上进行缩放(包括数据大小和问题“硬度”),可以在很大程度上匹配甚至超过监督预训练在各种任务上的性能,例如使用强化学习进行目标检测,表面法线估计(3D)和视觉导航。扩展这些方法也提供了许多有趣的见解,目前的自我监督技术和评估的局限性。我们的结论是,目前的自我监督的方法是不够“硬”,以充分利用大规模的数据,似乎没有学习有效的高层次的语义表示。我们还介绍了一个跨9个不同数据集和任务的广泛基准。我们认为,要取得有意义的进展,就必须有这样一个基准以及可比较的评价环境。代码在:https://github.com/facebookresearch/fair_self_supervision_benchmark。
2019-06-06 cs.AI cs.CV cs.LG
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services(亚马逊云科技)
我们提出了一个插件替代批量归一化(BN)称为指数移动平均归一化(EMAN),它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同,在每个批次中计算统计数据,教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性,增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时,EMAN将自监督学习的强基线提高了4-6/1-2个点,半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的,证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
Wildlife Target Re-Identification Using Self-supervised Learning in Non-Urban Settings
Institute for Intelligent Systems University of Johannesburg(智能系统研究所 乌姆西阿布大学)
本文研究利用相机陷阱时间图像对进行自监督学习的野生动物重识别方法,证明自监督特征在数据有限时更鲁棒,并在所有下游任务中优于监督特征。
2025-07-03 cs.AI cs.CV cs.LG
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney(悉尼大学);North University of China(中北大学);University of Technology Sydney(悉尼科技大学)
针对医学图像标注数据稀缺问题,提出将自监督BYOL集成到半监督模型的方法,经无标注预训练、伪标与标注数据合并训练及迭代微调,在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
Self-supervised Learning for ECG-based Emotion Recognition
Queen's University(女王大学)
我们提出了一个基于心电图(ECG)的情感识别系统,使用自监督学习。我们提出的架构包括两个主要的网络,信号转换识别网络和情感识别网络。首先,未标记的数据被用来成功地训练前网络,以检测特定的预定信号变换的自监督学习步骤。接下来,该网络的卷积层的权重被转移到情感识别网络,并训练两个密集层以分类唤醒和效价分数。我们表明,我们的自监督方法可以帮助模型学习情感识别所需的心电图特征流形,其性能等于或优于模型的全监督版本。我们提出的方法优于最先进的心电图为基础的情感识别与两个公开可用的数据集,SWELL和AMIGOS。进一步的分析强调了我们的自我监督方法的优势,即需要更少的数据来实现可接受的结果。
2020-04-05 cs.AI cs.LG eess.SP
On the surprising similarities between supervised and self-supervised models
University of Tübingen(图宾根大学);IMPRS-IS(国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注:IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所,但根据常见中文译法及上下文,此处保留缩写更准确))
人类如何学习获得强大、灵活和健壮的对象表示?虽然这个过程的大部分仍然未知,但很明显,人类不需要数百万个对象标签。令人兴奋的是,自监督学习的最新算法进步现在使卷积神经网络(CNN)能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破,我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型,这些数据集有大规模的人类行为数据(130 K高度受控的心理物理试验)。令人惊讶的是,目前的自监督CNN具有监督CNN的四个关键特征:(1)相对较差的噪声鲁棒性(Simplified的显著例外),(2.)非人类类别级错误模式,(3.)非人类图像级错误模式(与监督模型错误的高度相似性)和(4.)对质地的偏爱总的来说,这些结果表明,通过今天的监督和自我监督训练目标学习的策略最终惊人地相似,但与人类行为相去甚远。话虽如此,我们显然只是处于所谓的机器视觉自监督革命的开始,我们希望未来的自监督模型与监督模型的行为不同,并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
Scalable Deep Graph Clustering with Random-walk based Self-supervised Learning
The Ohio State University(俄亥俄州立大学);Kent State University(肯特州立大学);Augusta University(奥古斯塔大学)
本文提出可扩展深度图聚类算法RwSL,将拉普拉斯平滑与广义PageRank关联,利用随机游走图滤波器和自监督小批量训练,在百万级节点和18亿条边的图上实现高效聚类。
2023-01-18 cs.LG cs.SI
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology(快手科技)
近年来,从大量未标记数据中学习,特别是自监督学习,逐渐兴起并受到广泛关注。自监督学习,然后对一些标记的示例进行监督微调,可以显着提高标记效率,并优于使用完全注释数据的标准监督训练。在这项工作中,我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说,我们设计了一个学生-教师网络来生成自监督学习数据的多视图,并将硬负对挖掘集成到训练中。然后,我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Pianist Transformer: Towards Expressive Piano Performance Rendering via Scalable Self-Supervised Pre-Training
提出Pianist Transformer,通过统一MIDI表示进行大规模自监督预训练,结合非对称Transformer和音符级压缩,实现高效且富有表现力的钢琴演奏生成。
2026-06-26 cs.AI cs.MM cs.SD
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST(韩国科学技术院)
本研究通过将自监督表示学习表述为监督学习目标的近似,推导出与InfoNCE相关的损失函数,引入原型表示偏差和平衡对比损失概念,从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon AWS AI(亚马逊云科技人工智能)
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性,值得探索。在这项研究中,我们提出了一个有效的自监督学习框架和一个新的正则化策略,以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同,所提出的自监督正则化(SSReg)只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略,所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力,并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明,通过添加有效的自监督正则化,我们提出的自监督方法获得了23.4%的相对改进,并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS(三星数据系统)
本文介绍了SelfMatch,一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段:(1)基于对比学习的自监督预训练和(2)基于增强一致性正则化的半监督微调。我们通过经验证明,SelfMatch在标准基准数据集(如CIFAR-10和SVHN)上实现了最先进的结果。例如,对于包含40个标记示例的CIFAR-10,SelfMatch实现了93.19%的准确率,优于MixMatch(52.46%),UDA(70.95%),ReMixMatch(80.9%)和FixMatch(86.19%)等强大的先前方法。我们注意到,SelfMatch可以缩小监督学习(95.87%)和半监督学习(93.19%)之间的差距,因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
An Adapter Based Pre-Training for Efficient and Scalable Self-Supervised Speech Representation Learning
Huawei R&D UK(华为英国研发中心)
我们提出了一种将预训练的自监督(SSL)语音表示转换为多种语言的方法。有大量未注释的语音,因此从原始音频创建自监督表示并在小的注释数据集上进行微调是构建语音识别系统的一个有前途的方向。SSL模型通常在预训练阶段对原始音频执行SSL,然后对一小部分注释数据进行微调。这些模型已经产生了ASR的最新结果。然而,这些模型的预训练非常昂贵。我们使用现有的wav2vec 2.0模型,并在利用现有模型知识的同时解决学习新语言表示的问题。至关重要的是,我们这样做不会灾难性地忘记现有的语言表征。我们使用适配器模块来加速预训练新的语言任务。我们的模型在学习新的语言任务时可以将预训练时间减少32%,并且在不忘记以前的语言表示的情况下学习这种新的音频语言表示。我们通过将这些语言表示应用于自动语音识别来进行评估。
2022-02-07 cs.CL cs.LG cs.SD
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks
自监督学习目前正受到广泛关注,因为它允许神经网络从大量未标记的数据中学习鲁棒的表示。此外,多任务学习可以通过在相关任务上同时训练网络来进一步改进表示学习,从而显著提高性能。在本文中,我们提出了三个新的自我监督的辅助任务,训练基于图的神经网络模型在多任务的方式。由于图卷积网络是用于捕获结构化数据点之间的关系的最有前途的方法之一,因此我们使用它们作为构建块,以在标准半监督图分类任务上实现有竞争力的结果。
2020-12-04 cs.LG
CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明,较大的模型比较小的模型从自监督学习中受益更多。因此,对于较大的模型,监督学习和自监督学习之间的差距已经大大缩小。在这项工作中,我们没有为自监督学习设计新的伪任务,而是开发了一种模型压缩方法,将已经学习的深度自监督模型(教师)压缩为较小的模型(学生)。我们对学生模型进行训练,使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet,我们的方法优于所有以前的方法,包括ImageNet线性评估(59.0%与56.5%相比)和最近邻评估(50.7%与41.4%相比)的完全监督模型。据我们所知,这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到:https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);US Army Research Laboratory(美国陆军研究实验室)
本文提出了一个半监督学习框架,是新的设计自动调制分类(AMC)。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据,我们的框架在给定少量标记数据的情况下实现了更高的性能,从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明,我们的半监督方法显着优于监督框架,从而大大提高了我们的能力,训练深度神经网络自动调制分类的方式,利用未标记的数据。
2022-03-29 cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,基于变换的自监督学习已被应用于生成对抗网络(GANs),以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而,在现有的自监督GANs中,单独的自监督任务会导致与生成建模不一致的目标,因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题,我们提出了一种新的自监督GAN,它通过自监督数据转换来增强GAN标签(真实或虚假),从而将GAN任务与自监督任务相结合。具体地说,原始的分类器和自监督分类器被统一成一个标签增强的分类器,该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布,然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲,我们表明,所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven(鲁汶大学)
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标,它集成了自监督和结构学习。此外,我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明,与传统的自监督学习相比,该框架在下游分类任务中实现了更高的泛化性能,并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Far from the Crowd: Scalable Self-Supervised Learning via Geographic Isolation
AIKO
该研究提出基于地理隔离的无标签代理指标,将其集成到MoCoV2和MAE预训练中,在CopernicusBench的三个下游任务上验证,可大幅降低预计算成本并提升下游性能。
2026-08-21 cs.CV cs.LG
Self-Supervised Image Representation Learning: Transcending Masking with Paired Image Overlay
Columbia University(哥伦比亚大学)
自监督学习因其不需要数据标注就能学习有意义的表示而成为近年来的热门方法。本文提出了一种新的图像增强技术,叠加图像,这还没有被广泛应用于自监督学习。此方法旨在为模型提供更好的指导,以理解底层信息,从而产生更有用的表示。所提出的方法使用对比学习进行评估,对比学习是一种广泛使用的自监督学习方法,在下游任务中表现出良好的性能。实验结果表明,所提出的增强技术在提高自监督模型的性能方面是有效的。
2023-01-23 cs.CV cs.LG
TriBYOL: Triplet BYOL for Self-Supervised Representation Learning
Hokkaido University(北海道大学)
本文提出了一种新的自监督学习方法,学习更好的小批量表示。许多基于某种形式的连体网络的自监督学习方法已经出现并受到了极大的关注。然而,这些方法需要使用大批量来学习良好的表示,并需要大量的计算资源。我们提出了一个新的三重网络结合三重视图损失,以提高性能的自监督表示学习与小批量。实验结果表明,在小批量情况下,我们的方法在多个数据集上的性能可以大大优于最先进的自监督学习方法。我们的方法提供了一个可行的解决方案,自监督学习与现实世界的高分辨率图像,使用小批量。
2022-06-07 cs.AI cs.CV
Self-supervised Pretraining of Visual Features in the Wild
Facebook AI Research(Facebook AI研究院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆塔纳实验室)
最近,自监督学习方法,如MoCo,Simploy,BYOL和SwAV,已经缩小了与监督方法的差距。这些结果是在控制环境中实现的,即高度策划的ImageNet数据集。然而,自监督学习的前提是它可以从任何随机图像和任何无界数据集中学习。在这项工作中,我们通过在没有监督的情况下随机训练大型模型来探索自我监督是否符合预期。我们最终的自监督(SEER)模型,一个在1B随机图像上用512个GPU训练的1.3B参数的RegNetY,达到了84.2%的top-1准确率,超过了最好的自监督预训练模型1%,并证实了自监督学习在现实世界中的工作环境。有趣的是,我们还观察到自监督模型是很好的Few-Shot学习者,在仅访问ImageNet 10%的情况下实现了77.9%的top-1。代码:https://github.com/facebookresearch/vissl
2021-03-05 cs.AI cs.CV
Self-Adaptive Training: Bridging Supervised and Self-Supervised Learning
The University of Tokyo(东京大学);Peking University(北京大学);University of Waterloo(滑铁卢大学)
我们提出了自适应训练-一种统一的训练算法,通过模型预测动态校准和增强训练过程,而不会产生额外的计算成本-以推进深度神经网络的监督学习和自监督学习。我们在训练数据上分析深度网络的训练动态,这些数据被以下因素破坏,例如,随机噪声和对抗性示例。我们的分析表明,模型预测能够放大数据中有用的底层信息,即使在没有任何标签信息的情况下,这种现象也会广泛发生,这突出表明模型预测可以大大有利于训练过程:自适应训练提高了噪声下深度网络的泛化能力,并增强了自监督表示学习。该分析还有助于理解深度学习,例如,对最近发现的经验风险最小化中的双下降现象和最先进的自监督学习算法的崩溃问题的潜在解释。在CIFAR,STL和ImageNet数据集上的实验验证了我们的方法在三个应用中的有效性:标签噪声分类,选择性分类和线性评估。为了方便今后的研究,该守则已在https://github.com/LayneH/self-adaptive-training上公布。
2022-10-14 cs.CV cs.LG
Self-Supervised Models are Continual Learners
University of Trento(特伦托大学);Inria(法国国家信息与自动化研究所);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
当在大规模的未标记数据上进行离线训练时,自监督模型已经被证明可以产生与监督模型相当或更好的视觉表示。然而,在持续学习(CL)场景中,它们的功效会灾难性地降低,其中数据按顺序呈现给模型。在本文中,我们表明,自我监督的损失函数可以无缝地转换成CL蒸馏机制,通过添加一个预测网络,映射到他们过去的状态的表示的当前状态。这使我们能够设计一个持续自监督视觉表示学习的框架,(i)显着提高学习表示的质量,(ii)与几个最先进的自监督目标兼容,(iii)几乎不需要超参数调整。我们通过在各种CL设置中训练六个流行的自监督模型来证明我们的方法的有效性。
2022-04-01 cs.CV cs.LG
Self-supervised Video Object Segmentation
Fudan University(复旦大学);University of Oxford(牛津大学);West Virginia University(西弗吉尼亚大学)
本文的目标是自监督的表示学习,目标是解决半监督视频对象分割(a.k.a.密集跟踪)。本文的主要贡献如下:(1)改进了现有的自监督匹配方法,提出了一种简单有效的长时匹配记忆机制,解决了对象消失和再现带来的挑战;(ii)通过用在线自适应模块增强自监督方法,我们的方法成功地消除了由时空不连续性引起的跟踪器漂移,例如,遮挡或不遮挡,快速运动;(iii)我们探索了自监督表示学习用于密集跟踪的效率,令人惊讶的是,我们证明了一个强大的跟踪模型可以用少至100个原始视频剪辑来训练(相当于11分钟的持续时间),表明低级别的统计数据已经对跟踪任务有效;(iv)我们在DAVIS-2017和YouTube-VOS上展示了自监督方法的最新结果,并超越了使用数百万手动分割注释训练的大多数方法,进一步弥合了自监督学习和监督学习之间的差距。发布代码以促进任何进一步的研究(https://github.com/fangruizhu/self_sup_semiVOS)。
2020-06-22 cs.CV cs.LG
A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo(滑铁卢大学)
本综述总结自监督预训练在放射影像诊断任务中的效果,发现其通常优于全监督学习,尤其在未标记数据多时,并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
UC Berkeley(加州大学伯克利分校);BAIR(伯克利人工智能研究中心);Weill Neurosciences Institute(威尔神经科学研究所);UCSF(加州大学旧金山分校)
无监督表示学习中的一个常见做法是使用标记数据来评估学习表示的质量。然后,该监督评估用于指导训练过程的关键方面,例如选择数据增强策略。然而,通过监督评估来引导无监督训练过程对于实际上不包含标签的真实世界数据是不可能的(例如,在诸如医学成像的隐私敏感领域中可能是这种情况)。因此,在这项工作中,我们表明,评估学习表示与自我监督的图像旋转任务是高度相关的一组标准的监督评价(秩相关$> 0.94$)。我们在数百种增强策略、训练设置和网络架构之间建立了这种相关性,并提供了一种算法(SelfAugment)来自动有效地选择增强策略,而无需使用监督评估。尽管没有使用任何标记的数据,学习的增强策略执行与使用穷举监督评估确定的增强策略的交互。
2021-05-17 cs.CV cs.LG
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen(蒂宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Heidelberg(海德堡大学)
最近的进展表明,自我监督预训练的优势,以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而,当需要构建不同于自监督模型的自定义模型架构时,微调并不能推广到这种情况。在这项工作中,我们制定了一个新的知识蒸馏框架,通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言,受自监督学习中实例区分的精神的启发,我们在特征嵌入空间中通过图公式化来建模实例-实例关系,并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识,以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集,包括CIFAR 100,STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里:https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
SiT: Self-supervised vIsion Transformer
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心)
自监督学习方法在计算机视觉中获得越来越多的关注,这是由于它们最近成功地缩小了与监督学习的差距。在自然语言处理(NLP)中,自监督学习和Transformers已经是首选的方法。最近的文献表明,Transformers在计算机视觉中也变得越来越流行。到目前为止,视觉Transformer已经被证明在使用大规模监督数据或某种共同监督(例如,在教师网络方面)进行预训练时工作良好。这些有监督的预训练视觉Transformer在下游任务中以最小的变化实现了非常好的结果。在这项工作中,我们调查的优点自监督学习预训练图像/视觉Transformer,然后使用它们的下游分类任务。我们提出了自监督视觉Transformer(SiT),并讨论了几种自监督训练机制,以获得一个借口模型。SiT的架构灵活性使我们能够将其用作自动编码器并无缝地处理多个自监督任务。我们表明,预训练的SiT可以在小规模数据集上进行下游分类任务的微调,这些数据集由几千张图像组成,而不是几百万张图像。所提出的方法进行评估标准数据集使用通用协议。结果证明了Transformers的强度和他们的适合自监督学习。我们的表现远远优于现有的自监督学习方法。我们还观察到SiT适合于少样本学习,并且还表明它通过简单地在从SiT学习的特征之上训练线性分类器来学习有用的表示。预训练、微调和评估代码将在https://github.com/Sara-A…
2022-12-26 cs.CV cs.LG
Self-supervised Learning from a Multi-view Perspective
Carnegie Mellon University(卡内基梅隆大学)
作为无监督表示学习的一个子集,自监督表示学习采用自定义信号作为监督,并将学习到的表示用于下游任务,例如目标检测和图像描述。许多提出的用于自监督学习的方法自然地遵循多视图视角,其中输入(例如,原始图像)和自监督信号(例如,增强图像)可以被看作数据的两个冗余视图。从这个多视角的角度来看,本文提供了一个信息理论的框架,以更好地理解的属性,鼓励成功的自监督学习。具体来说,我们证明了自监督学习表示可以提取任务相关的信息和丢弃任务无关的信息。我们的理论框架为自监督学习目标设计的更大空间铺平了道路。特别是,我们提出了一个复合目标,弥合了以前的对比和预测学习目标之间的差距,并引入了一个额外的目标项,以丢弃任务无关的信息。为了验证我们的分析,我们进行对照实验,以评估复合目标的影响。我们还探讨了我们的框架的经验泛化超越多视图的角度来看,跨视图冗余可能不会被清楚地观察到。
2021-03-22 cs.LG stat.ML
Self-Supervised Learning for Large-Scale Unsupervised Image Clustering
Technion – Israel Institute of Technology(以色列理工学院)
无监督学习一直吸引着机器学习研究人员和从业者,使他们能够避免昂贵而复杂的数据标记过程。然而,复杂数据的无监督学习具有挑战性,即使是最好的方法也比有监督的方法表现出更弱的性能。自监督深度学习已经成为计算机视觉中表示学习的强大工具。然而,这些方法尚未在完全无监督的环境中进行评估。在本文中,我们提出了一个简单的计划,基于自监督表示的无监督分类。我们使用几种最近的自监督方法对所提出的方法进行了评估,结果表明它在ImageNet分类方面取得了有竞争力的结果(ImageNet上1000个聚类的准确率为39%,过聚类的准确率为46%)。我们建议将无监督评估添加到自监督学习的标准基准中。代码可在https://github.com/Randl/kmeans_selfsuper上获得
2020-11-09 cs.CV cs.LG
Interactive Contrastive Learning for Self-supervised Entity Alignment
Tsinghua University(清华大学);Beijing University of Chemical Technology(北京化工大学);Singapore Management University(新加坡管理大学);Information Research Center of Military Science(军事科学院信息研究中心);China Mobile Research Institute(中国移动研究院)
自监督实体对齐(EA)的目标是在没有种子对齐的情况下将不同知识图谱(KG)之间的等价实体链接起来。当前的SOTA自监督EA方法从对比学习中获得灵感,该方法最初是基于实例判别和对比损失在计算机视觉中设计的,并且存在两个缺点。首先,它单向强调将采样的负实体推得很远,而不是像在完善的监督EA中那样将正对齐的对拉得很近。其次,KG包含丰富的边信息(例如,实体描述),以及如何有效地利用这些信息还没有得到充分的研究,在自我监督EA。在本文中,我们提出了一个互动的对比学习模型的自我监督EA。该模型不仅对实体的结构和语义(包括实体名称、实体描述和实体邻域)进行编码,而且通过建立伪对齐的实体对进行跨KG对比学习。实验结果表明,我们的方法优于以前的最好的自我监督的结果由一个大的利润率(超过9%的平均改善),并表现出与以前的SOTA监督同行,展示了互动对比学习的有效性自我监督EA。
2022-10-10 cs.AI cs.CL
Self-supervised Learning: Generative or Contrastive
Tsinghua University(清华大学);Tsinghua National Laboratory for Information Science and Technology (TNList)(清华信息科学与技术国家实验室);Anhui University(安徽大学);Renmin University of China(中国人民大学)
深度监督学习在过去十年中取得了巨大的成功。然而,其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法,在过去的几年里,由于其在表示学习方面的出色表现,吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督,并使几乎所有类型的下游任务受益。在这篇综述中,我们将探讨新的自监督学习方法,用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法,并根据其目标将其归纳为三个主要类别:生成,对比和生成对比(对抗)。我们进一步研究相关的理论分析工作,提供更深层次的思考自监督学习是如何工作的。最后,我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
Masked Scene Modeling: Narrowing the Gap Between Supervised and Self-Supervised Learning in 3D Scene Understanding
TU Wien(维也纳技术大学);Ulm University(乌尔姆大学)
本文提出掩码场景建模自监督方法及稳健评估协议,使3D场景理解中仅用现成特征即可达到与有监督模型相当的性能,并大幅超越现有自监督方法。
2025-04-09 cs.AI cs.CV
Self-Supervised Learning of Pretext-Invariant Representations
Facebook AI Research(脸书人工智能研究院)
从图像中进行自监督学习的目标是通过不需要对大型图像训练集进行语义注释的借口任务来构建语义上有意义的图像表示。许多借口任务导致与图像变换协变的表示。我们认为,相反,语义表示在这种变换下应该是不变的。具体来说,我们开发了Pretext-Invariant表示学习(PIRL,发音为“pearl”),它基于借口任务学习不变表示。我们将PIRL用于一个常用的借口任务,包括解决拼图游戏。我们发现,PIRL大大提高了学习的图像表示的语义质量。我们的方法设置了一个新的国家的最先进的自监督学习从图像上的几个流行的基准自监督学习。尽管是无监督的,但PIRL在学习目标检测的图像表示方面优于有监督的预训练。总之,我们的研究结果表明,自监督学习的图像表示具有良好的不变性的潜力。
2019-12-04 cs.CV cs.LG
Self-supervised self-supervision by combining deep learning and probabilistic logic
MIT(麻省理工学院);Microsoft Research(微软研究院)
大规模标记训练样本是机器学习中的一个长期挑战。自我监督方法通过利用先验知识自动生成带噪声标记的示例来弥补直接监督的不足。深度概率逻辑(DPL)是用于自监督学习的统一框架,其将未知标签表示为潜在变量,并使用概率逻辑来结合多样的自监督,以使用变分EM来训练端到端的深度神经网络。虽然DPL成功地结合了预先指定的自我监督,但手动制作自我监督以获得高准确性可能仍然是繁琐和具有挑战性的。在本文中,我们提出了自我监督的自我监督(S4),它增加了DPL自动学习新的自我监督的能力。从初始“种子”开始,S4迭代地使用深度神经网络来提出新的自我监督。它们要么直接添加(一种结构化的自我训练形式),要么由人类专家验证(如基于特征的主动学习)。实验表明,S4能够自动提出准确的自我监督,并且通常可以用人类努力的一小部分来接近监督方法的准确性。
2020-12-23 cs.LG stat.ML
Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification
监督学习中的数据标注被认为是一种昂贵的工具,在某些情况下是不可行的。提出了自监督学习方法来解决具有较少标记数据的学习有效性,然而,对实现足够结果所需的标记数据的大小缺乏信心。这项研究的目的是绘制一个基线的标记数据的比例,模型可以欣赏,以产生合格的准确性相比,训练与额外的标签。该研究实现了www.example.com 'cats-vs-dogs数据集Mnist和Fashion-Mnist,通过在原始数据集上实现随机旋转增强来研究自监督学习任务。为了揭示自监督学习中借口过程的真实有效性,原始数据集被分成较小的批次,并且在每个批次上重复学习,有和没有借口预训练。结果表明,与普通监督学习相比,自监督学习中的借口过程在下游分类任务中提高了约15%的准确率。
2021-08-17 cs.CV cs.LG
SelFlow: Self-Supervised Learning of Optical Flow
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
我们提出了一种自监督学习方法的光流。我们的方法从未被遮挡的像素中提取可靠的流量估计,并使用这些预测作为基础事实来学习幻觉遮挡的光流。我们进一步设计了一个简单的CNN,利用时间信息从多个帧更好的流量估计。这两个原则导致了一种方法,该方法在具有挑战性的基准测试(包括MPI Sintel,KITTI 2012和2015)上为无监督光流学习提供了最佳性能。更值得注意的是,我们的自监督预训练模型为监督微调提供了一个很好的初始化。我们的微调模型在所有三个数据集上都实现了最先进的结果。在撰写本文时,我们在Sintel基准测试中实现了EPE = 4.26,优于所有提交的方法。
2019-04-19 cs.CV cs.LG
SEED: Self-supervised Distillation For Visual Representation
Arizona State University(亚利桑那州立大学);Microsoft Corporation(微软公司)
本文研究了小模型的自监督学习。这个问题的动机是我们的实证研究,虽然广泛使用的对比自监督学习方法在大模型训练方面取得了很大的进展,但它对小模型的效果并不好。为了解决这个问题,我们提出了一种新的学习范式,名为自监督蒸馏(SEED),在这种范式中,我们利用一个更大的网络(作为教师)以自我监督的方式将其表征知识转移到一个更小的架构(作为学生)中。我们不是直接从未标记的数据中学习,而是训练学生编码器来模仿教师在一组实例上推断的相似性分数分布。我们表明,种子显着提高下游任务的小型网络的性能。与自监督基线相比,SEED将EfficientNet-B 0上的前1准确率从42.2%提高到67.6%,并将MobileNet-v3-Large上ImageNet-1 k数据集的前1准确率从36.3%提高到68.2%。
2021-04-15 cs.AI cs.CV
Understanding The Robustness of Self-supervised Learning Through Topic Modeling
Duke University(杜克大学)
自监督学习显著提高了许多NLP任务的性能。然而,自监督学习如何发现有用的表示,以及为什么它比概率模型等传统方法更好,在很大程度上仍然是未知的。在本文中,我们专注于主题建模的背景下,并强调了自监督学习的一个关键优势-当应用于主题模型生成的数据时,自监督学习可以忽略特定的模型,因此不太容易受到模型误指定。特别是,我们证明了常用的自监督目标的基础上重建或对比样本都可以恢复有用的后验信息一般的主题模型。从经验上讲,我们表明,相同的目标可以执行与后验推理使用正确的模型,而优于后验推理使用错误指定的模型。
2023-02-28 cs.CL cs.LG stat.ML
Understanding Negative Samples in Instance Discriminative Self-supervised Representation Learning
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
实例判别式自监督表示学习由于其无监督性质和下游任务的信息特征表示而受到关注。在实践中,它通常使用比监督类的数量更多的负样本。然而,在现有的分析中存在不一致性;理论上,大量的负样本会降低下游监督任务的分类性能,而经验上,它们会提高性能。我们提供了一个新的框架来分析这一实证结果,关于负样本使用优惠券收集器的问题。我们的界限可以通过增加负样本的数量来隐含地将下游任务的监督损失纳入自监督损失。我们确认,我们提出的分析在真实世界的基准数据集上成立。
2022-01-14 cs.LG stat.ML
Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?
DeepMind(深度思维);Twitter Cortex(推特科泰克斯)
尽管自监督方法最近在残差网络的表示学习方面取得了进展,但它们在ImageNet分类基准上的表现仍然低于监督学习,限制了它们在性能关键设置中的适用性。基于来自ReLIC的先前理论见解[Mitrovic等人,2021],我们将额外的归纳偏差纳入自监督学习。我们提出了一种新的自我监督的表示学习方法,ReLICv 2,它结合了一个明确的不变性损失与对比的目标,在一组不同的适当构造的数据视图,以避免学习虚假的相关性,并获得更多的信息表示。在ResNet 50上进行线性评估时,ReLICv 2在ImageNet上实现了$77.1\%$ top- $1$精度,从而通过绝对$+1.5\%$改进了先前的最先进技术;在更大的ResNet模型上,ReLICv 2实现了高达$80.6\%$的性能,优于先前的自监督方法,其裕度高达$+2.3\%$。最值得注意的是,ReLICv 2是第一个无监督的表示学习方法,在一系列ResNet架构的同类比较中始终优于监督基线。使用ReLICv 2,我们还学习了更强大和可转移的表示,这些表示比以前的工作更好地概括了分布,无论是在图像分类还是语义分割方面。最后,我们表明,尽管使用ResNet编码器,ReLICv 2与最先进的自监督Vision Transformers相当。
2022-11-03 cs.CV cs.LG stat.ML
Low-Trace Adaptation of Zero-shot Self-supervised Blind Image Denoising
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学)
提出低迹自适应Noise2Noise(LoTA-N2N)模型,通过迹约束损失弥合自监督与监督去噪差距,实现零样本自监督盲去噪的最优性能。
2024-03-19 cs.CV cs.LG eess.IV
Self-Knowledge Distillation based Self-Supervised Learning for Covid-19 Detection from Chest X-Ray Images
Hokkaido University(北海道大学)
2019冠状病毒(COVID-19)的全球爆发使全球医疗系统不堪重负。用于COVID-19快速检测和患者分诊的计算机辅助诊断变得至关重要。提出了一种新的基于自知识提取的自监督学习方法,用于从胸部X射线图像中检测COVID-19。我们的方法可以使用基于图像视觉特征相似性的图像自我知识进行自我监督学习。实验结果表明,我们的方法在最大的开放COVID-19胸部X射线数据集上获得了0.988的HM评分、0.999的AUC和0.957的准确度。
2022-06-07 cs.CV cs.LG eess.IV
Big Self-Supervised Models Advance Medical Image Classification
Google Research and Health(谷歌研究与健康)
自我监督预训练,然后进行监督微调,在图像识别中取得了成功,特别是当标记的例子很少时,但在医学图像分析中受到的关注有限。本文研究了自监督学习作为医学图像分类预训练策略的有效性。我们对两个不同的任务进行了实验:数码相机图像的皮肤病皮肤状况分类和多标签胸部X射线分类,并证明了ImageNet上的自监督学习,然后对未标记的特定领域医学图像进行额外的自监督学习,显着提高了医学图像分类器的准确性。我们介绍了一种新的多实例对比学习(MICLe)方法,该方法使用每个患者病例的基础病理的多个图像,当可用时,为自我监督学习构建更多信息的阳性对。结合我们的贡献,我们在皮肤病学和胸部X射线分类上分别实现了6.7%的top-1准确率和1.1%的平均AUC提高,优于ImageNet上预训练的强监督基线。此外,我们还证明了大型自监督模型对分布偏移具有鲁棒性,并且可以使用少量标记的医学图像进行有效学习。
2021-04-01 cs.CV cs.LG eess.IV
To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review
New York University(纽约大学);Meta AI - FAIR
本文从信息理论视角审视自监督学习方法,引入统一框架涵盖自监督信息理论学习问题,探讨当代方法论、研究方向及信息理论量的经验评估,提供信息理论、自监督学习与深度神经网络交叉领域的详尽综述。
2023-11-21 cs.IT cs.LG math.IT
Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty
UC Berkeley(加州大学伯克利分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
自我监督为下游任务提供了有效的表示,而不需要标签。然而,现有的方法落后于完全监督的训练,并且通常被认为除了消除或减少对注释的需求之外没有好处。我们发现,自我监督可以通过多种方式使鲁棒性受益,包括对抗性示例的鲁棒性,标签腐败和常见的输入腐败。此外,自监督极大地有利于对困难的、接近分布的离群值的分布外检测,以至于它超过了完全监督方法的性能。这些结果证明了自我监督的承诺,提高鲁棒性和不确定性估计,并建立这些任务作为新的轴的评价,为未来的自监督学习研究。
2019-10-29 cs.CV cs.LG stat.ML
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook(脸书)
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行,但很少有作品全面分析非语音音频任务的音频表示学习。在本文中,我们提出了一种自监督的音频表示学习方法,并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架,它已经成功地在自监督学习的语音任务,参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中,我们实现了0.415的平均精度(mAP)得分,这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
SPAct: Self-supervised Privacy Preservation for Action Recognition
University of Central Florida(中佛罗里达大学)
视觉隐私信息泄漏是视频理解(如活动识别)快速发展的应用中出现的关键问题。现有的用于减轻动作识别中的隐私泄露的方法需要隐私标签以及来自视频数据集的动作标签。然而,为隐私标签注释视频数据集的帧是不可行的。自监督学习(SSL)的最新发展释放了未标记数据的未开发潜力。这是第一次,我们提出了一种新的训练框架,它以自我监督的方式从输入视频中删除隐私信息,而不需要隐私标签。我们的训练框架由三个主要部分组成:匿名化功能,自我监督隐私删除分支和动作识别分支。我们训练我们的框架使用极大极小优化策略,以最小化的动作识别成本函数和最大化的隐私成本函数,通过对比自我监督损失。采用现有的协议的已知的行动和隐私属性,我们的框架实现了竞争性的行动隐私权衡现有的国家的最先进的监督方法。此外,我们引入了一个新的协议来评估学习的匿名化功能的泛化到新的动作和隐私属性,并表明我们的自监督框架优于现有的监督方法。代码可在:https://github.com/DAVEISHAN/SPAct
2022-03-29 cs.CR cs.CV cs.LG