A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images
University of Waterloo(滑铁卢大学)
本综述总结自监督预训练在放射影像诊断任务中的效果,发现其通常优于全监督学习,尤其在未标记数据多时,并提出了未来研究方向。
2023-09-05 cs.CV cs.LG
TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning
New York University(纽约大学);Viasat, Inc.(Viasat公司);Facebook AI Research(脸书人工智能研究院)
我们提出了自监督视觉表示学习的变换不变性和协方差对比(TiCo)。与其他最近的自监督学习方法类似,我们的方法是基于最大化同一图像的不同失真版本的嵌入之间的一致性,这推动编码器产生变换不变表示。为了避免编码器生成恒定向量的平凡解,我们通过惩罚低秩解来正则化来自不同图像的嵌入的协方差矩阵。通过联合最小化变换不变性损失和协方差对比度损失,我们得到了一个能够为下游任务产生有用表示的编码器。我们分析了我们的方法,并表明,它可以被看作是一个变种的MoCo与隐式存储体的无限大小,没有额外的内存成本。这使得我们的方法在使用小批量时比其他方法表现更好。TiCo也可以被视为巴洛双胞胎的修改。通过将对比和冗余减少方法连接在一起,TiCo为我们提供了关于联合嵌入方法如何工作的新见解。
2022-06-23 cs.AI cs.CV cs.LG
Self-supervised Transformation Learning for Equivariant Representations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对现有等变表示学习依赖变换标签、难处理复杂变换的问题,提出自监督变换学习STL,用图像对的变换表示替代标签,实现图像不变的变换表示与等变变换学习,在多类视觉任务上性能优于现有方法且适配性强。
2025-01-15 cs.AI cs.CV cs.LG
In-Context Symmetries: Self-Supervised Learning through Contextual World Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);TU Munich(慕尼黑工业大学)
本文提出上下文自监督学习(ContextSSL),利用世界模型和上下文记忆,学习对所有变换等变的通用表示,以适应任务特定对称性,在等变性任务上显著优于现有方法。
2024-05-28 cs.CV cs.LG
Explicit homography estimation improves contrastive self-supervised learning
School of Computer Science and Applied Mathematics(计算机科学与应用数学学院);University of the Witwatersrand(金山大学)
典型的对比自监督算法通过直接或间接地对比正像和负像,使用潜在空间中的相似性度量作为监督信号。尽管自监督算法的实用性最近有所提高,但仍然存在阻碍其广泛使用的瓶颈,例如所需的计算。在本文中,我们提出了一个模块,作为一个额外的目标,在自我监督的对比学习范例。我们展示了如何包含这个模块来回归仿射变换或单应性的参数,除了原始的对比目标,提高了性能和学习速度。重要的是,我们确保这个模块不会强制仿射变换的各个分量具有不变性,因为这并不总是理想的。我们证明了两个最近,流行的自我监督算法的额外目标的有效性。我们对所提出的方法进行了广泛的实验分析,并对所有考虑的数据集的性能进行了改进。此外,我们发现,虽然一般的单应性和仿射变换都足以提高性能和收敛性,仿射变换在所有情况下都表现得更好。
2021-01-12 cs.CV cs.LG
Yet Another Algorithm for Supervised Principal Component Analysis: Supervised Linear Centroid-Encoder
Colorado State University(科罗拉多州立大学)
本文提出监督线性质心编码器SLCE,通过线性投影将同类样本映射至类别质心并最小化质心重构损失,以特征分解获得闭式解,实验证明其优于其他监督降维方法。
2023-06-07 cs.CV cs.LG
Self-supervised Label Augmentation via Input Transformations
KAIST(韩国科学技术院);AITRICS
自监督学习通过仅给定输入信号来构造人工标签来学习,近来对于学习具有未标记数据集的表示获得了相当大的关注,即,在没有任何人类注释监督的情况下学习。在本文中,我们证明了即使在完全标记的数据集下,这种技术也可以显着提高模型的准确性。我们的方案训练模型学习原始任务和自监督任务,但与传统的多任务学习框架不同,传统的多任务学习框架优化了相应损失的总和。我们的主要思想是学习一个关于原始标签和自监督标签的联合分布的统一任务,即,我们通过输入变换的自我监督来增强原始标签。这种简单而有效的方法允许通过在同时学习原始任务和自监督任务期间放松某个不变约束来更容易地训练模型。它还支持聚合推理,该聚合推理结合来自不同增强的预测以提高预测准确性。此外,我们提出了一种新的知识转移技术,我们称之为自蒸馏,具有聚合推理在一个单一的(更快)的推理效果。我们证明了我们的框架在各种全监督设置上的大精度改进和广泛适用性,例如,Few-Shot和不平衡分类场景。
2020-06-29 cs.CV cs.LG stat.ML
Revisiting Rubik's Cube: Self-supervised Learning with Volume-wise Transformation for 3D Medical Image Segmentation
Hangzhou Dianzi University(杭州电子科技大学);Tencent Jarvis Lab(腾讯Jarvis实验室)
深度学习高度依赖于注释数据的数量。然而,3D体积医学数据的注释需要有经验的医生花费数小时甚至数天的时间进行研究。自监督学习是通过深入挖掘原始数据信息来摆脱对训练数据的强烈需求的潜在解决方案。在本文中,我们提出了一种新的自监督学习框架的体积医学图像。具体来说,我们提出了上下文恢复任务,即,Rubik's cube++,用于预训练3D神经网络。与现有的基于上下文恢复的方法不同,我们采用了一种基于体积的上下文置换变换,这有助于网络更好地利用器官的固有3D解剖信息。相比从头开始训练的策略,从魔方++预训练权重进行微调,可以在胰腺分割和脑组织分割等各种任务中实现更好的性能。实验结果表明,我们的自监督学习方法可以显着提高三维深度学习网络在体积医学数据集上的准确性,而无需使用额外的数据。
2020-07-17 cs.CV cs.LG eess.IV
Self-Supervised Learning of Pretext-Invariant Representations
Facebook AI Research(脸书人工智能研究院)
从图像中进行自监督学习的目标是通过不需要对大型图像训练集进行语义注释的借口任务来构建语义上有意义的图像表示。许多借口任务导致与图像变换协变的表示。我们认为,相反,语义表示在这种变换下应该是不变的。具体来说,我们开发了Pretext-Invariant表示学习(PIRL,发音为“pearl”),它基于借口任务学习不变表示。我们将PIRL用于一个常用的借口任务,包括解决拼图游戏。我们发现,PIRL大大提高了学习的图像表示的语义质量。我们的方法设置了一个新的国家的最先进的自监督学习从图像上的几个流行的基准自监督学习。尽管是无监督的,但PIRL在学习目标检测的图像表示方面优于有监督的预训练。总之,我们的研究结果表明,自监督学习的图像表示具有良好的不变性的潜力。
2019-12-04 cs.CV cs.LG
Robust Self-Supervised Learning with Lie Groups
Fundamental AI Research (FAIR), Meta AI(Meta AI 基础人工智能研究院(FAIR))
深度学习在计算机视觉领域取得了显著的进步。即便如此,今天最好的模型在与训练过程中看到的变化略有不同时也是脆弱的。物体姿态、颜色或照明的微小变化可能导致灾难性的错误分类。最先进的模型很难理解一组变化如何影响不同的对象。我们提出了一个框架,灌输的概念,对象如何在更现实的设置不同。我们的方法应用李群的形式主义来捕获连续变换,以提高模型对分布变化的鲁棒性。我们将我们的框架应用于最先进的自监督学习(SSL)模型之上,发现用李群明确建模变换会导致MAE在两个已知实例上的性能增益大于10%,这两个已知实例在典型姿势中出现在新姿势中,以及在任何姿势中的未知实例上。我们还将我们的方法应用于ImageNet,发现Lie算子将性能提高了近4%。这些结果证明了学习变换提高模型鲁棒性的前景。
2022-10-24 cs.CV cs.LG
A Generic Self-Supervised Framework of Learning Invariant Discriminative Features
University of Surrey(萨里大学);Bielefeld University(比勒费尔德大学);National Physical Laboratory(国家物理实验室)
本文提出一种通用的自监督学习框架,通过受约束的自标记分配和基于对抗训练的自变换机制生成不变表示,结合对比学习训练目标,在视觉、音频、文本和质谱四种数据上表现优于多数基于自编码器的先进方法。
2022-08-21 cs.CV cs.LG
Optimizing transformations for contrastive learning in a differentiable framework
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院 LTCI);Incepto Medical(Incepto医疗公司);Sorbonne Université, CNRS, LIP6(索邦大学法国国家科学研究中心LIP6实验室)
提出基于可微变换网络的对比学习变换优化框架,无需生成模型即可保留分类相关信息,仅用10%标注数据便在脑部MRI和胸部X光任务上超过100%标签的全监督模型。
2022-07-27 cs.CV cs.LG
Self-supervised learning methods and applications in medical imaging analysis: A survey
Jordan University of Science and Technology(约旦科技大学)
缺乏高质量的带注释的医学成像数据集是与医学成像分析领域的机器学习应用相冲突的主要问题,并阻碍了其发展。自监督学习是最近的一种训练范式,它能够在不需要人工注释的情况下学习鲁棒的表示,这可以被认为是注释医学数据稀缺的有效解决方案。本文综述了图像数据自监督学习方法的最新研究方向,并重点介绍了其在医学成像分析领域的应用。本文涵盖了计算机视觉领域的一组最新的自监督学习方法,因为它们适用于医学成像分析,并将其分类为预测,生成和对比方法。此外,本文涵盖了医学成像分析中自监督学习领域的40篇最新研究论文,旨在揭示该领域的最新创新。最后,文章总结了该领域未来可能的研究方向。
2022-07-20 cs.CV cs.LG eess.IV
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University(亚利桑那州立大学)
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而,在自然语言处理(NLP)领域,用于创建关于对比学习(CL)假设的相似对的增强方法具有挑战性。这是因为,即使简单地修改输入中的单词也可能改变句子的语义含义,因此违反了分布假设。在这篇综述论文中,我们形式化的对比学习框架,强调需要解决的数据转换步骤中的考虑因素,并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后,我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
A Survey on Self-supervised Contrastive Learning for Multimodal Text-Image Analysis
PIEAS(巴基斯坦工程与应用科学学院)
本文综述了自监督对比学习在多模态文本-图像分析中的最新进展,根据模型结构对方法进行分类,并探讨了代理任务、架构及先进应用。
2025-10-09 cs.CV cs.LG
Self-Supervised Graph Representation Learning via Topology Transformations
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Futurewei Seattle Cloud Lab(Futurewei西雅图云实验室)
我们提出了拓扑变换等变表示学习,自监督学习的一般范式的节点表示的图形数据,使图卷积神经网络(GCNN)的广泛适用性。我们正式提出的模型从信息理论的角度来看,通过最大限度地提高互信息之间的拓扑变换和节点表示之前和之后的转换。我们得出,最大化这样的互信息可以放宽到最小化的交叉熵之间的应用拓扑变换和它的估计从节点表示。特别地,我们试图从原始图中采样节点对的子集,并翻转每个对之间的边连接以转换图拓扑。然后,我们自训练一个表示编码器,通过从原始图和变换图的特征表示重建拓扑变换来学习节点表示。在实验中,我们将所提出的模型应用于下游节点分类、图分类和链接预测任务,结果表明,所提出的方法优于现有的无监督方法。
2021-12-02 cs.LG cs.SI eess.SP
Self-supervised Detransformation Autoencoder for Representation Learning in Open Set Recognition
Florida Institute of Technology(佛罗里达理工学院)
开集识别(OSR)的目标是学习一个分类器,该分类器可以拒绝未知样本,同时准确地分类已知类别。在本文中,我们提出了一个自我监督的方法,反变换自动编码器(DTAE),OSR问题。所提出的方法参与学习对输入数据的变换不变的表示。在多个标准图像数据集上的实验表明,预训练过程显着提高了模型在OSR任务中的性能。同时,我们提出的自监督方法在检测未知类和分类已知类方面取得了显着的收益。此外,我们的分析表明,DTAE可以产生表示,包含更多的目标类信息和更少的转换信息比RotNet。
2022-07-06 cs.CV cs.LG
A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond
KAIST(韩国科学技术院)
掩码自编码器是可扩展的视觉学习器,如MAE \cite{he2022masked}的标题,这表明视觉中的自监督学习(SSL)可能会采取与NLP类似的轨迹。具体地,具有掩蔽预测的生成借口任务(例如,BERT)已经成为NLP中SSL实践的事实标准。相比之下,早期的视觉生成方法的尝试已经被它们的区别性对应物(如对比学习)所掩盖;然而,掩模图像建模的成功已经复兴了掩模自动编码器(过去通常称为去噪自动编码器)。作为弥合与BERT在自然语言处理领域差距的里程碑,掩码自编码器在视觉及其他领域引起了SSL前所未有的关注。这项工作进行了全面的调查,掩码自编码器,以摆脱洞察SSL的一个有前途的方向。作为第一个审查SSL与掩码自编码器,这项工作的重点是它在视觉中的应用,讨论其历史发展,最近的进展,并为不同的应用程序的影响。
2022-07-30 cs.AI cs.CV cs.LG
Survey on Self-Supervised Multimodal Representation Learning and Foundation Models
New Mexico Tech(新墨西哥理工学院)
近年来,深度学习一直是人们越来越感兴趣的主题。具体而言,一种称为多模态学习的特定类型已经显示出解决语言,视觉,音频等领域中广泛问题的巨大潜力。一个有前途的研究方向是进一步改善这一点,在互联网上存在的大规模数据集的帮助下,学习高维世界的丰富而强大的低维数据表示。由于它有可能避免注释大规模数据集的成本,自监督学习近年来一直是这项任务的事实标准。本文总结了一些具有里程碑意义的研究论文,这些论文直接或间接地为当今表征的多模态自监督学习奠定了基础。本文回顾了表示学习在过去几年中的发展,以及它们是如何结合起来得到一个多模态代理。
2022-11-29 cs.AI cs.CV cs.GT
The Efficacy of Semantics-Preserving Transformations in Self-Supervised Learning for Medical Ultrasound
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院);Department of Systems Design Engineering, University of Waterloo(滑铁卢大学系统设计工程系);Schulich School of Medicine and Dentistry, Western University(西部大学施乐希医学与牙科学校)
本文针对肺部超声自监督学习,系统比较基线、语义保持及提炼式增强流程,发现全局诊断任务适合语义保持增强,局部目标任务适合裁剪方法,并给出预处理指导。
2025-06-10 cs.CV cs.LG eess.IV
MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations
University of Edinburgh(爱丁堡大学);Thales UK RTI(泰雷兹英国研究与技术研究所)
针对不同下游任务所需的特征不变性存在差异的问题,提出多任务自监督框架MT-SLVR,以参数高效的方式学习变体与不变特征,在多个音频领域少样本分类任务上实现性能提升。
2024-01-26 cs.LG cs.SD eess.AS
TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations
Emory University(埃默里大学)
本文提出TAGA框架,通过图-文本相互转换构建多视图对齐,实现文本属性图的自监督学习,在零样本和少样本场景中表现优异。
2024-05-27 cs.AI cs.LG
Surreal-GAN:Semi-Supervised Representation Learning via GAN for uncovering heterogeneous disease-related imaging patterns
University of Pennsylvania(宾夕法尼亚大学)
大量的机器学习方法已经应用于成像数据,使得能够构建神经系统和神经精神疾病的临床相关成像特征。通常情况下,这些方法没有明确地模拟疾病效应的异质性,或者通过不可解释的非线性模型来接近它。此外,无监督方法可以解析由影响大脑结构或功能的讨厌的混杂因素驱动的异质性,而不是与感兴趣的病理学相关的异质性。另一方面,半监督聚类方法试图得到一个二分法的亚型成员资格,忽略了疾病的异质性空间和时间上沿着一个连续体延伸的事实。为了解决上述限制,本文中,我们提出了一种新的方法,称为超GAN(通过GAN的半监督表示学习)。使用横截面成像数据,Surreal-GAN在半监督聚类(从正常对照到患者的聚类映射)的原则下剖析了潜在的疾病相关异质性,提出了一种连续的维度表示,并沿着每个维度推断出患者在个体水平上的疾病严重程度。该模型首先学习从正常控制(CN)域到患者(PT)域的转换函数,其中潜变量控制转换方向。还施加了逆映射函数以及函数连续性、图案正交性和单调性的正则化,以确保变换函数捕获具有临床意义的必要有意义的成像图案。我们首先通过广泛的半合成实验验证了该模型,然后证明了其在捕获阿尔茨海默病(AD)的生物学上合理的成像模式的潜力。
2022-05-09 cs.CV cs.LG eess.IV
Self-Supervised Contrastive Learning for Code Retrieval and Summarization via Semantic-Preserving Transformations
Huawei Ireland Research Center(华为爱尔兰研究中心);The Open University(开放大学);Singapore Management University(新加坡管理大学)
我们提出了Corder,一个自监督的对比学习框架的源代码模型。Corder旨在减轻代码检索和代码摘要任务对标记数据的需求。Corder的预训练模型可以以两种方式使用:(1)它可以产生代码的矢量表示,可以应用于没有标记数据的代码检索任务;(2)它可以用于可能仍然需要标记数据的任务的微调过程,例如代码摘要。关键的创新是我们通过对比学习目标要求源代码模型识别相似和不相似的代码片段来训练源代码模型。为此,我们使用一组语义保持转换操作符来生成语法上不同但语义上等效的代码片段。通过大量的实验,我们已经证明,Corder预训练的代码模型在代码到代码检索、文本到代码检索和代码到文本摘要任务中的表现大大优于其他基线。
2021-05-23 cs.AI cs.LG cs.PL
Locally Linear Embedding and its Variants: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于局部线性嵌入(LLE)及其变体的教程和调查论文。LLE的思想是在嵌入空间中拟合流形的局部结构。在本文中,我们首先涵盖LLE,核LLE,逆LLE,和LLE的特征融合。然后,我们使用线性重构,特征函数和核映射来覆盖样本外嵌入。增量LLE被解释用于嵌入流数据。使用Nystrom近似和局部线性地标的地标LLE方法被解释用于大数据嵌入。我们介绍了使用残差方差,Procrustes统计量,保持邻域误差和局部邻域选择的邻居数的参数选择的方法。之后,监督LLE(SLLE),增强SLLE,SLLE投影,概率SLLE,监督引导LLE(使用Hilbert-Schmidt独立性准则)和半监督LLE解释监督和半监督嵌入。鲁棒LLE方法使用最小二乘问题和惩罚函数也被引入嵌入存在离群值和噪声。然后,我们介绍LLE与其他流形学习方法的融合,包括Isomap(即,ISOLLE)、主成分分析、Fisher判别分析、判别LLE和Isotop。最后,我们解释加权LLE中的距离,重建权重,或嵌入调整更好的嵌入,我们覆盖加权LLE变形分布数据,加权LLE使用发生概率,SLLE调整权重,修改LLE,迭代LLE。
2020-11-22 cs.CV cs.LG stat.ML
A Survey on Self-Supervised Representation Learning
Technical University of Dortmund(多特蒙德工业大学);Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);Research Center Jülich(于利希研究中心);Helmholtz AI(亥姆霍兹人工智能(Helmholtz AI))
该综述系统梳理了无监督图像表示学习方法,统一符号表述、提出分类体系并汇总最新实验结果,为表示学习领域的研究者和从业者提供入门参考。
2023-08-22 cs.AI cs.LG eess.IV
Self-supervised ECG Representation Learning for Emotion Recognition
我们开发了一个自我监督的深度多任务学习框架,用于基于心电图(ECG)的情感识别。所提出的解决方案包括两个学习阶段:a)学习ECG表示和b)学习对情绪进行分类。ECG表示由信号变换识别网络学习。该网络从未标记的ECG数据中学习高级抽象表示。六种不同的信号变换被应用到ECG信号,并且变换识别被执行为借口任务。在借口任务上训练模型可以帮助网络学习时空表示,这些时空表示可以很好地概括不同的数据集和不同的情感类别。我们将自监督网络的权重转移到情感识别网络,其中卷积层保持冻结,密集层使用标记的ECG数据进行训练。我们表明,与使用全监督学习训练的网络相比,所提出的解决方案大大提高了性能。新的国家的最先进的结果设置在分类的唤醒,效价,情感状态,和压力的四个利用的数据集。进行了大量的实验,提供了有趣的见解的影响,使用多任务的自我监督结构,而不是一个单一的任务模型,以及所需的借口自我监督任务的最佳难度水平。
2020-08-10 cs.LG eess.SP stat.ML
Graph Self-Supervised Learning: A Survey
Monash University(莫纳什大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);La Trobe University(乐卓博大学);Federation University(联邦大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
图上的深度学习最近引起了人们的极大兴趣。然而,大多数工作都集中在(半)监督学习,导致的缺点,包括标签依赖性强,泛化能力差,鲁棒性差。为了解决这些问题,自监督学习(SSL),通过精心设计的借口任务提取信息知识,而不依赖于手动标签,已成为一个有前途的和趋势的图形数据的学习范式。与计算机视觉和自然语言处理等领域的SSL不同,图上的SSL具有独特的背景、设计思想和分类。在图自监督学习的保护伞下,我们提出了一个及时和全面的审查现有的方法,采用SSL技术的图形数据。我们构建了一个统一的框架,从数学上形式化了图SSL的范式。根据任务的目的,我们将这些方法分为四类:基于生成的方法、基于辅助属性的方法、基于对比的方法和混合的方法。本文进一步描述了图SSL在各个研究领域的应用,总结了图SSL的常用数据集、评测基准、性能比较和开源代码。最后,我们讨论了在这一研究领域的剩余挑战和潜在的未来方向。
2022-05-04 cs.LG
A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective
Huazhong University of Science and Technology(华中科技大学)
本文从基于知识的新视角综述自监督图基础模型,提出涵盖微观、中观、宏观三类共9类知识、25余种预文本任务及下游泛化策略的分类框架。
2025-05-06 cs.LG cs.SI
Semi-Supervised Representation Learning based on Probabilistic Labeling
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
在本文中,我们提出了一个新的算法,半监督表示学习。在该算法中,我们首先根据数据点在空间中的局部位置为数据点的标签找到一个向量表示。然后,我们使用线性变换将数据映射到低维空间,使得变换后的数据与分配的标签之间的依赖性最大化。事实上,我们试图找到一个尽可能有区别的映射。该方法将使用Hilber-Schmidt独立准则(HSIC)作为依赖性度量。我们还提出了一个内核化版本的算法,它允许非线性变换,并提供了更大的灵活性,在寻找适当的映射。使用未标记的数据来学习新的表示并不总是有益的,并且没有算法可以确定性地保证通过利用未标记的数据来提高性能。因此,我们还提出了一个边界上的算法的性能,可以用来确定使用的未标记的数据在算法中的有效性。我们证明了算法的能力,在寻找转换使用玩具的例子和现实世界的数据集。
2020-08-04 cs.LG
Self-Supervised Multimodal Learning: A Survey
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);Samsung AI Research Centre, Cambridge(三星剑桥人工智能研究中心)
该综述系统梳理自监督多模态学习(SSML)的最新进展,剖析其三大核心挑战及对应解决方案,介绍多领域实际应用,并探讨未来研究方向,同时提供相关资源合集。
2024-08-16 cs.AI cs.CL cs.LG
Toward Fully Self-Supervised Multi-Pitch Estimation
University of Rochester(罗切斯特大学)
本文提出一套自监督学习目标,训练全卷积自编码器直接从合成单音符音频中学习多基音估计,无需标注即可泛化到复调音乐并达到与监督模型相当的性能。
2024-02-23 cs.LG cs.SD eess.AS
Self-supervised Learning for ECG-based Emotion Recognition
Queen's University(女王大学)
我们提出了一个基于心电图(ECG)的情感识别系统,使用自监督学习。我们提出的架构包括两个主要的网络,信号转换识别网络和情感识别网络。首先,未标记的数据被用来成功地训练前网络,以检测特定的预定信号变换的自监督学习步骤。接下来,该网络的卷积层的权重被转移到情感识别网络,并训练两个密集层以分类唤醒和效价分数。我们表明,我们的自监督方法可以帮助模型学习情感识别所需的心电图特征流形,其性能等于或优于模型的全监督版本。我们提出的方法优于最先进的心电图为基础的情感识别与两个公开可用的数据集,SWELL和AMIGOS。进一步的分析强调了我们的自我监督方法的优势,即需要更少的数据来实现可接受的结果。
2020-04-05 cs.AI cs.LG eess.SP
Evolutionary Machine Learning meets Self-Supervised Learning: a comprehensive survey
University of Coimbra, CISUC/LASI, DEI(科英布拉大学,CISUC/LASI,DEI)
本文综述了 Evolutionary Machine Learning 与 self-supervised learning 的结合研究,提出了新子领域 Evolutionary Self-Supervised Learning 及其分类法,并指出了主要挑战与未来方向。
2025-11-04 cs.LG cs.NE
Self-supervised Learning: Generative or Contrastive
Tsinghua University(清华大学);Tsinghua National Laboratory for Information Science and Technology (TNList)(清华信息科学与技术国家实验室);Anhui University(安徽大学);Renmin University of China(中国人民大学)
深度监督学习在过去十年中取得了巨大的成功。然而,其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法,在过去的几年里,由于其在表示学习方面的出色表现,吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督,并使几乎所有类型的下游任务受益。在这篇综述中,我们将探讨新的自监督学习方法,用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法,并根据其目标将其归纳为三个主要类别:生成,对比和生成对比(对抗)。我们进一步研究相关的理论分析工作,提供更深层次的思考自监督学习是如何工作的。最后,我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的各种方法充分降维(SDR)。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法,包括切片逆回归(SIR),切片平均方差估计(SAVE),轮廓回归,方向回归,主拟合分量(PFC),Likestive Acquired Direction(LAD)和图形回归。然后,我们介绍了前向回归方法,包括主Hessian方向(pHd),最小平均方差估计(MAVE),条件方差估计(CVE)和深度SDR方法。最后,我们解释了核降维(KDR)的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
A Comprehensive Analytical Survey on Unsupervised and Semi-Supervised Graph Representation Learning Methods
Indiana University(印第安纳大学)
图表示学习是一个快速发展的领域,其主要目标之一是在低维空间中生成有意义的图表示。学习的嵌入已成功地应用于执行各种预测任务,如链接预测,节点分类,聚类和可视化。图学习社区的集体努力已经提供了数百种方法,但没有一种方法在所有评估指标(如预测准确性,运行时间,可扩展性等)下表现出色。本调查旨在通过考虑算法变化,参数选择,可扩展性,硬件和软件平台,下游ML任务和不同的数据集来评估所有主要类别的图嵌入方法。我们使用一种分类法来组织图嵌入技术,该分类法包括来自手动特征工程、矩阵分解、浅层神经网络和深层图卷积网络的方法。我们使用广泛使用的基准图评估了节点分类、链接预测、聚类和可视化任务的这些类算法。我们在PyTorch Geometric和DGL库上设计了我们的实验,并在不同的多核CPU和GPU平台上运行实验。我们严格审查嵌入方法的性能在各种性能指标,并总结结果。因此,本文可作为一个比较指南,以帮助用户选择最适合他们的任务的方法。
2021-12-20 cs.DC cs.LG
Self-supervised Learning for Electroencephalogram: A Systematic Survey
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文系统综述了将自监督学习应用于脑电图信号分析的研究,涵盖SSL框架、方法分类与技术细节、下游任务适配及未来方向,旨在解决EEG标注困难与标签偏移问题。
2024-01-09 cs.AI cs.LG eess.SP
Adversarial Transformations for Semi-Supervised Learning
DENSO IT LABORATORY, INC.(电装IT实验室有限公司)
我们提出了一个正则化框架的基础上对抗变换(RAT)的半监督学习。RAT的目的是提高对输入扰动的给定数据的类预测的输出分布的鲁棒性。RAT是虚拟对抗训练(VAT)的扩展,RAT通过一组丰富的数据转换函数沿着底层数据分布对抗性地转换数据,这些函数保持类标签不变,而VAT只是产生对抗性的加性噪声。此外,我们验证了扰动区域逐渐增大的技术进一步提高了鲁棒性。在实验中,我们表明,RAT显着提高分类性能CIFAR-10和SVHN相比,现有的正则化方法在标准的半监督图像分类设置。
2019-11-18 cs.CV cs.LG
Semi-Supervised Medical Image Segmentation via Learning Consistency under Transformations
Erasmus MC(伊拉斯谟医学中心);COSMONiO;University of Copenhagen(哥本哈根大学)
标记数据的稀缺往往限制了监督式深度学习技术在医学图像分割中的应用。这激发了半监督技术的发展,该技术从标记和未标记图像的混合中学习。在本文中,我们提出了一种新的半监督的方法,除了监督学习标记的训练图像,学习预测分割一致下一个给定的类的转换标记和未标记的图像。更具体地说,在这项工作中,我们探索学习弹性变形的等变性。我们通过以下方式实现这一目标:1)具有两个相同分支的连体结构,每个分支接收不同变换的图像,以及2)具有监督分割损失项和非监督项的复合损失函数,该复合损失函数鼓励两个分支的预测之间的分割一致性。我们使用5折交叉验证在具有解剖结构分割的胸片的公共数据集上评估该方法。与监督学习相比,该方法达到了更高的分割精度。这是由于在标记和未标记图像上学习变换一致性,后者贡献最大。我们实现的性能与最先进的胸部X射线分割方法相当,同时使用更少的标记图像。
2019-11-04 cs.CV cs.LG
Polar Transformation Based Multiple Instance Learning Assisting Weakly Supervised Image Segmentation With Loose Bounding Box Annotations
Delta Micro Technology, Inc.(达美微科技公司);Shenzhen SiBright Co. Ltd.(深圳硅基仿生科技有限公司)
本文研究了基于松散限界框监督的弱监督图像分割。提出了一种基于极坐标变换的多示例学习策略,以辅助松散包围盒作为监督的图像分割。在该策略中,引入加权平滑最大值近似,以结合观察到的像素更接近极坐标变换的原点更可能属于限界框中的对象。在公共医疗数据集上使用Dice系数对所提出的方法进行了评估。结果表明其优越的性能。代码可在\url{https://github.com/wangjuan313/wsis-polartransform}上获得。
2022-03-03 cs.CV cs.LG eess.IV
Self-Supervised Learning via multi-Transformation Classification for Action Recognition
National Central University(国立中央大学);University of Arkansas(阿肯色大学)
自我监督任务已被用来构建有用的表示,可以在下游任务时,注释不可用。在本文中,我们介绍了一种自监督视频表示学习方法的基础上,多变换分类,有效地分类人类的行动。对各种变换的自监督学习不仅提供了更丰富的上下文信息,而且使视觉表示对变换更鲁棒。通过对七种不同的变换进行分类,即旋转、剪辑反转、置换、分裂、连接变换、颜色切换、帧替换、噪声添加,以自监督的方式学习视频的时空表示。首先,对视频剪辑应用七种不同的视频变换。然后利用三维卷积神经网络提取片段的特征,并对这些特征进行处理以分类伪标签。我们使用在借口任务中学习的模型作为预先训练的模型,并对其进行微调,以识别下游任务中的人类行为。我们在UCF 101和HMDB 51数据集上进行了实验,并将C3 D和3D Resnet-18作为骨干网络。实验结果表明,我们提出的框架优于其他SOTA自监督动作识别方法。该代码将公开提供。
2021-02-20 cs.CV
On normalization-equivariance properties of supervised and unsupervised denoising methods: a survey
Centre Inria de l’Université de Rennes(雷恩大学法国国家信息与自动化研究所中心)
本文综述了图像去噪中监督与无监督学习方法的主要原理和最新进展,并重点分析了大多数监督方法未能保证的归一化等变性特性及其重要性。
2024-02-23 cs.CV cs.LG
Affine transformation estimation improves visual self-supervised learning
School of Computer Science and Applied Mathematics(计算机科学与应用数学学院);University of the Witwatersrand(威特沃特斯兰德大学)
本研究提出一种与基础模型无关的附加模块,通过约束表示预测仿射变换来提升视觉自监督学习的性能与效率,并在多种模型上验证了其有效性。
2024-02-14 cs.CV
Transformation Consistency Regularization- A Semi-Supervised Paradigm for Image-to-Image Translation
University of Cambridge(剑桥大学)
标记数据的稀缺性促使半监督学习方法的发展,该方法从大部分未标记数据以及少量标记样本中学习。一致性在不同输入扰动下模型预测之间的正则化,特别是已经证明可以在半监督框架中提供最先进的结果。然而,这些方法中的大多数已被限制在分类和分割应用。我们提出了变换一致性正则化,它深入研究了更具挑战性的图像到图像的翻译设置,这仍然是半监督算法尚未探索的。该方法引入了一组不同的几何变换,并强制模型对未标记数据的预测对这些变换保持不变。我们评估了我们的算法在三个不同的应用程序:图像着色,去噪和超分辨率的功效。我们的方法具有显著的数据效率,只需要大约10 - 20%的标记样本就可以实现与完全监督对应的图像重建。此外,我们展示了我们的方法在视频处理应用中的有效性,其中可以利用来自几帧的知识来提高电影其余部分的质量。
2020-07-15 cs.CV
Self-supervision of Feature Transformation for Further Improving Supervised Learning
University of Electronic Science and Technology of China(电子科技大学)
自监督学习通过预先设计的任务自动构造标签,近年来被应用于加强监督学习。由于以前的自我监督借口任务是基于输入的,它们可能会产生巨大的额外训练开销。在本文中,我们发现CNN中的特征也可以用于自我监督。因此,我们创造性地设计了\emph{feature-based pretext task},它只需要少量的额外的训练开销。在我们的任务中,我们丢弃不同的特定区域的特征,然后训练模型来区分这些不同的特征。为了充分应用我们的基于特征的借口任务在监督学习,我们还提出了一个新的学习框架,包含多分类器进一步改进。原始标签将通过特征转换的自我监督扩展为联合标签。通过我们的自监督任务提供更多的语义信息,这种方法可以更有效地训练CNN。在各种监督学习任务上的大量实验证明了该方法的准确性和广泛的适用性。
2021-06-09 cs.CV
EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations
Purdue University(普渡大学);University of Rochester(罗切斯特大学);Futurewei Seattle Cloud Lab(华为西雅图云实验室)
深度神经网络已成功应用于许多现实世界的应用。然而,这样的成功在很大程度上依赖于大量的标记数据,而这些数据的获取成本很高。近年来,人们提出了许多半监督学习的方法,并取得了很好的效果。在这项研究中,我们提出了一个新的EnAET框架,以进一步改善现有的半监督方法与自我监督的信息。据我们所知,目前所有的半监督方法都通过预测一致性和置信度来提高性能。我们是第一个探索{ \bf自我监督}表示在{ \bf半监督}学习中的作用的丰富的家庭的转换。因此,我们的框架可以集成自监督信息作为正则化项,以进一步改进{ \it all}当前的半监督方法。在实验中,我们使用MixMatch,这是当前最先进的半监督学习方法,作为基线来测试所提出的EnAET框架。在不同的数据集上,我们采用相同的超参数,这大大提高了EnAET框架的泛化能力。在不同数据集上的实验结果表明,所提出的EnAET框架大大提高了现有半监督算法的性能.此外,该框架还可以大幅提高{ \bf监督学习},包括每个类只有10张图像的极具挑战性的场景。代码和实验记录可在\url{https://github.com/maple-research-lab/EnAET}中获得。
2021-02-01 cs.CV
Multiple Sclerosis Lesion Segmentation -- A Survey of Supervised CNN-Based Methods
Vanderbilt University(范德堡大学)
病灶分割是多发性硬化患者MRI扫描定量分析的核心任务。深度学习技术最近在各种医学图像分析应用中的成功,重新激发了社区对这一挑战性问题的兴趣,并引发了新算法开发的热潮。在这项调查中,我们调查了基于监督CNN的MS病变分割方法。我们将这些审查的作品解耦成它们的算法组件,并分别讨论。对于在公共基准数据集上提供评估的方法,我们报告了它们的结果之间的比较。
2020-12-26 cs.CV cs.LG eess.IV
Contrastive Transformation for Self-supervised Correspondence Learning
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
在本文中,我们专注于自监督学习的视觉对应使用未标记的视频在野外。我们的方法同时考虑帧内和帧间视频表示关联可靠的对应估计。视频内学习通过帧成对亲和度在单个视频内跨帧变换图像内容。为了获得实例级分离的判别表示,我们超越了视频内分析,并构建了视频间亲和力,以促进不同视频之间的对比变换。通过强制视频层内和视频层间的变换一致性,很好地保留了细粒度的对应关系,并有效地增强了实例级特征区分。我们的简单框架在一系列视觉任务上优于最近的自监督对应方法,包括视频对象跟踪(VOT),视频对象分割(VOS),姿势关键点跟踪等。值得一提的是,我们的方法也优于完全监督的亲和力表示(例如,ResNet),并与最近为特定任务设计的全监督算法(例如,VOT和VOS)。
2020-12-09 cs.CV
FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning
Georgia Tech(佐治亚理工学院);Virginia Tech(弗吉尼亚理工大学)
最新的半监督学习(SSL)方法使用基于图像的变换和一致性正则化的组合作为核心组件。然而,这样的方法限于简单的变换,例如传统的数据增强或两个图像的凸组合。在本文中,我们提出了一种新的学习基于特征的细化和增强方法,产生一组不同的复杂变换。重要的是,这些转换还使用了我们通过聚类提取的类内和跨类原型表示的信息。我们使用已经在迭代中计算的特征,将它们存储在存储体中,从而避免了大量额外计算的需要。这些变换与传统的基于图像的增强相结合,然后用作基于一致性的正则化损失的一部分。我们证明,我们的方法与当前较小数据集(CIFAR-10和SVHN)的最新技术水平相当,同时能够扩展到更大的数据集,如CIFAR-100和mini-Imagenet,我们在最新技术水平上实现了显着的增益(\textit{e.g.,}在mini-Imagenet上的绝对增益为17.44\%)。我们进一步在DomainNet上测试了我们的方法,证明了对域外未标记数据的更好的鲁棒性,并进行了严格的消融和分析来验证该方法。
2020-07-16 cs.CV cs.LG
Learning image transformations without training examples
Harik Shazeer Labs(Harik Shazeer实验室)
图像变换的使用对于有效建模和学习视觉数据至关重要。但类的相关变换是大的:仿射变换,投影变换,弹性变形,.因此,学习这些转换,而不是手工编码它们,具有很大的概念意义。据我们所知,到目前为止,所有相关的工作都与监督学习或弱监督学习(从相关序列,视频流或图像变换对)有关。在本文中,相反,我们提出了一个简单的方法来学习仿射和弹性变换时,没有明确给出这些变换的例子,也没有空间的先验知识(如像素的排序)。该系统只能访问一个不按特定顺序排列的中等规模的自然图像数据库。
2011-10-01 cs.CV cs.LG
A Survey of Self-Supervised and Few-Shot Object Detection
Mila(米拉人工智能研究所);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);ServiceNow(ServiceNow公司)
标记数据通常是昂贵且耗时的,特别是对于诸如目标检测和实例分割之类的任务,这些任务需要对图像进行密集标记。虽然Few-Shot目标检测是关于用很少的数据在新的(看不见的)对象类上训练模型,但它仍然需要在基础(看到的)类的许多标记示例上进行先验训练。另一方面,自监督方法旨在从未标记的数据中学习表示,这些数据可以很好地转移到下游任务,如目标检测。结合Few-Shot和自监督目标检测是一个很有前途的研究方向。在这项调查中,我们回顾和表征最新的方法,Few-Shot和自我监督的目标检测。然后,我们给出了我们的主要结论,并讨论了未来的研究方向。项目页面https://gabrielhuang.github.io/fsod-survey/
2022-08-23 cs.AI cs.CV cs.LG
Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis
Eindhoven University of Technology(埃因霍温理工大学);Erasmus Medical Center(伊拉斯谟医学中心);University of Copenhagen(哥本哈根大学);University Medical Center Utrecht(乌得勒支大学医学中心)
机器学习(ML)算法在医学成像领域产生了巨大的影响。虽然医学成像数据集的规模一直在增长,但经常提到的监督ML算法面临的挑战是缺乏注释数据。因此,已经提出了可以在较少/其他类型的监督下学习的各种方法。我们回顾了医学成像中的半监督、多实例和迁移学习,无论是在诊断/检测还是分割任务中。我们还讨论了这些学习场景之间的联系,以及未来研究的机会。
2018-09-14 cs.CV
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University(卡内基梅隆大学)
弱监督目标检测(WSOD)已经成为一种有效的工具,训练对象检测器使用的图像级类别标签。然而,如果没有对象级别的标签,WSOD检测器很容易检测到显着的对象,聚类对象和歧视性的对象部分的边界框。此外,图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题,我们提出了一个全面的注意力自我蒸馏(CASD)训练方法的WSOD。为了平衡所有对象实例之间的特征学习,CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督,CASD在WSOD网络上进行自蒸馏,使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG