No Reason for No Supervision: Improved Generalization in Supervised Models
NAVER LABS Europe(NAVER欧洲实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
我们考虑在给定的分类任务上训练深度神经网络的问题,例如,ImageNet-1 K(IN 1 K),因此它在训练任务和其他(未来)传输任务方面都表现出色。这两个看似矛盾的属性在提高模型的泛化能力和保持其在原始任务上的性能之间进行了权衡。用自监督学习训练的模型往往比迁移学习的监督模型更好地泛化;然而,它们仍然落后于IN 1 K上的监督模型。在本文中,我们提出了一个监督学习设置,利用两个世界的最好的。我们广泛地分析了监督训练使用多尺度作物的数据增强和一个消耗性的投影仪头,并揭示了投影仪的设计允许我们控制的性能之间的权衡训练任务和可转移性。我们进一步用使用存储体动态计算的类原型替换最后一层类权重,并推导出两个模型:t-ReX,它实现了迁移学习的最新技术水平,并优于IN 1 K上的DINO和PAWS等顶级方法; t-ReX*,它与IN 1 K上高度优化的RSB-A1模型相匹配,同时在迁移任务上表现更好。代码和预训练模型:https://europe.naverlabs.com/t-rex
2023-03-10 cs.CV cs.LG
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research(脸书人工智能研究院)
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中,对比学习通过负样本对防止崩溃。已经表明,非对比方法遭受不同性质的较小崩溃问题:维度崩溃,其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里,我们表明,维度崩溃也发生在对比学习。在本文中,我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发,我们提出了一种新的对比学习方法,称为DirectRank,它直接优化表示空间,而不依赖于显式的可训练投影。实验表明,DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
Revisiting Supervision for Continual Representation Learning
IDEAS NCBR;Warsaw University of Technology(华沙理工大学);Gdańsk University of Technology(格但斯克理工大学);Tooploox;Autonomous University of Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心)
本研究重新审视持续表示学习中监督的作用,发现配备多层感知机头部的监督模型可超越自监督模型,凸显投影器对特征可迁移性的重要性。
2024-07-16 cs.CV cs.LG
Revitalizing CNN Attentions via Transformers in Self-Supervised Visual Representation Learning
The University of Hong Kong(香港大学);Tencent AI Lab(腾讯人工智能实验室);University of Oxford(牛津大学)
自监督视觉表示学习(SSL)的研究提高了编码器的骨干,以区分没有标签的训练样本。虽然通过SSL的CNN编码器实现了与通过监督学习的编码器相当的识别性能,但它们的网络注意力尚未得到进一步改进。受在识别场景中有效探索视觉注意力的Transformers的启发,我们提出了一个CNN注意力恢复(CARE)框架,以训练由SSL中的Transformers引导的注意力集中的CNN编码器。所提出的CARE框架由CNN流(C-stream)和Transformer流(T-stream)组成,其中每个流包含两个分支。C-stream遵循现有的SSL框架,具有两个CNN编码器,两个投影仪和一个预测器。T-stream包含两个Transformers,两个projector和一个predictor。T-Stream连接到CNN编码器,并与其余的C-Stream并行。在训练过程中,我们同时在两个流中执行SSL,并使用T流输出来监督C流。来自CNN编码器的特征在T流中被调制以用于视觉注意力增强,并且变得适合于SSL场景。我们使用这些调制特征来监督C流,以学习专注的CNN编码器。为此,我们以Transformers为指导,重振CNN的关注。几个标准的视觉识别基准,包括图像分类,目标检测和语义分割的实验表明,所提出的CARE框架提高了CNN编码器骨干的最先进的性能。
2021-10-11 cs.CV cs.LG
Unsupervised Learning on a DIET: Datum IndEx as Target Free of Self-Supervision, Reconstruction, Projector Head
Meta AI;Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(威特沃特斯兰德大学)
如果我们希望学习廉价、可靠和可转移的模型,那么代价高昂、嘈杂和过度专业化的标签将被搁置一边,转而支持无监督学习。为此,谱嵌入、自监督学习或生成式建模提供了有竞争力的解决方案。然而,这些方法带来了许多挑战,\textit{e.g.}估计测地线距离,指定投影仪架构和抗崩溃损失,或指定解码器架构和重建损失。相比之下,我们引入了一个简单的可解释的替代方案-创造的\textbf{DIET} -从未标记的数据中学习表示,没有这些挑战。\textbf{DIET}非常简单:采用自己喜欢的分类设置,并使用\textbf{D} atum \textbf{I} nd \textbf{E} x作为其\textbf{T}目标类,\textit{i.e. each sample is its own class},无需进一步更改。\textbf{DIET}不需要解码器/投影器网络,不基于正对也不基于重构,不引入超参数,并且可以跨数据集和架构进行开箱即用。尽管\textbf{DIET}很简单,但学习到的表示具有高质量,并且通常与最先进的\textit{e.g.}相当,在DIET的学习表示之上使用线性分类器,在CIFAR 100上使用Resnet 101达到$71.4\%$,在TinyImagenet上使用Resnext 50达到$52.5\%$。
2023-02-20 cs.AI cs.CV cs.LG
Collapse-Proof Non-Contrastive Self-Supervised Learning
KU Leuven(鲁汶大学)
本文提出一种基于超维计算的非对比自监督学习设计,通过引入归纳偏置同时实现表示去相关与聚类,从而避免多种训练坍缩模式并提升泛化性能。
2025-07-06 cs.LG stat.ML
Negative-Free Self-Supervised Gaussian Embedding of Graphs
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对现有图对比学习依赖负样本导致计算与内存开销高的问题,提出无负样本的高斯嵌入方法,通过对齐表示分布与各向同性高斯分布实现均匀性,在7个基准上以更低成本取得了有竞争力的性能。
2024-11-02 cs.LG
GraphVICRegHSIC: Towards improved self-supervised representation learning for graphs with a hyrbid loss function
University of Toronto(多伦多大学)
自监督学习和预训练策略在过去的几年里得到了发展,特别是对于卷积神经网络(CNN)。近年来,这些方法在图神经网络(GNNs)中也得到了广泛的应用。在本文中,我们使用了一种基于图的具有不同损失函数的自监督学习策略(Bar-low Twins [Zbontaret等人,2021],HSIC [Tsaiet al.,2021],VICReg [Bardeset等人,2021])与CNN结合应用,取得了良好的效果。我们还提出了一种结合VICReg和HSIC优点的混合损失函数,称之为VICRegHSIC。在MUTAG、PROTEINS、IMDB-Binary等7个数据集上比较了上述方法的性能。实验表明,在7个数据集中,我们的混合损失函数的性能优于其他方法。此外,还探讨了不同批量、投影仪尺寸和数据扩充策略的影响。
2021-11-26 cs.AI cs.CG cs.CV
High Fidelity Visualization of What Your Self-Supervised Representation Knows About
Meta AI Research(Meta人工智能研究院);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
发现神经网络学到了什么仍然是一个挑战。在自监督学习中,分类是最常见的任务,用于评估表示的好坏。然而,仅依赖于这样的下游任务可能会限制我们对给定输入的表示中保留哪些信息的理解。在这项工作中,我们展示了使用一个表示条件扩散模型(RCDM)在数据空间中可视化的表示学习自监督模型。使用RCDM的动机是它能够生成高质量的样本-与最先进的生成模型相当-同时确保这些样本的表示是忠实的,即接近用于调节的表示。通过使用RCDM来分析自监督模型,我们能够清楚地可视化地显示i)SSL(主干)表示对于它们被训练的数据增强不是不变的-因此揭穿了经常重申但错误的信念; ii)SSL后投影仪嵌入对于这些数据增强以及许多其他数据对称性确实是不变的; iii)SSL表示比以监督方式训练的表示对输入的小对抗性扰动更鲁棒; iv)SSL训练的表示表现出固有的结构,由于RCDM可视化,可以探索该结构并实现图像操作。
2022-08-16 cs.AI cs.LG
Occam's Razor for Self Supervised Learning: What is Sufficient to Learn Good Representations?
FAIR, META(元公司FAIR研究院);Cold Spring Harbor Laboratory(冷泉港实验室);Brown University(布朗大学)
本文发现对于中小规模预训练数据集,自监督学习中的投影网络、正视图、师生网络等额外设计并未提升表示质量,表明SSL的训练敏感性问题源于设计本身而非缺乏监督,从而简化了SSL部署并为现有理论研究提供支持。
2024-06-15 cs.AI cs.LG
Self-Supervised Class Incremental Learning
Zhejiang University(浙江大学)
现有的类增量学习(CIL)方法是基于对数据标签敏感的监督分类框架。当基于新的类数据更新它们时,它们遭受灾难性遗忘:模型不能清楚地区分旧类数据和新类数据。在本文中,我们首次探讨了类增量学习(SSCIL)中的自监督表示学习的性能,它丢弃了数据标签和模型的分类器。为了全面讨论CIL中监督和自监督方法之间的性能差异,我们设置了三种不同的类增量方案:随机类方案,语义类方案和聚类方案,以模拟各种类增量学习场景。此外,我们提出了线性评估协议(LEP)和泛化评估协议(GEP)来衡量模型在CIL中的表示、分类能力和泛化能力。我们的实验(在ImageNet-100和ImageNet上)表明,SSCIL比CIL中的监督策略具有更好的抗遗忘能力和鲁棒性。为了理解是什么导致了SSCIL中的灾难性遗忘,我们研究了SSCIL的主要组成部分,并得出结论:(1)不同数据增强的组合提高了模型的表示质量,\textit{Grayscale}操作降低了SSCIL中数据增强的系统噪声。(2)投影器类似于缓冲器,减少了SSCIL中模型的不必要的参数更新,并增加了模型的鲁棒性。尽管SSCIL的性能明显高于CIL中的监督方法,但与联合学习仍有明显的差距。我们的探索提供了一个基线的自监督类增量学习的大规模数据集,并提供了一些前瞻性的策略,以减轻灾难性遗忘在CIL。
2021-11-18 cs.AI cs.LG
Random Forest Autoencoders for Guided Representation Learning
Université de Montréal(蒙特利尔大学;魁北克人工智能研究所);Mila – Quebec AI Institute(犹他州立大学);Utah State University(Brigham Young University);Brigham Young University
针对现有有监督可视化方法缺乏显式映射、扩展性不足的问题,提出结合自编码器、随机森林与RF-PHATE几何结构的RF-AE框架,实现高效样本外可视化,性能更优且鲁棒性强。
2025-05-19 cs.LG
Harnessing small projectors and multiple views for efficient vision pretraining
UC Berkeley(加州大学伯克利分校);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Meta FAIR;Montreal Neurological Institute(蒙特利尔神经学研究所);CIFAR(加拿大高级研究所)
该研究基于自监督视觉表征学习的理论分析,提出采用小型投影头、强正交化约束及多数据增强的高效预训练方案,经多数据集验证可提升性能并减少预训练数据量。
2025-01-17 cs.AI cs.CV cs.LG
ProFeAT: Projected Feature Adversarial Training for Self-Supervised Learning of Robust Representations
Indian Institute of Science(印度科学学院)
ProFeAT针对自监督学习与对抗训练结合时教师与学生目标不匹配的问题,通过引入投影头、特征层攻防损失及差异化数据增强,在不增加训练复杂度的情况下显著提升干净与鲁棒准确率,超越现有SSL-AT方法。
2024-06-09 cs.CV cs.LG
The potential of self-supervised networks for random noise suppression in seismic data
KAUST(阿卜杜拉国王科技大学)
噪声抑制是任何地震处理工作流程中必不可少的步骤。这种噪声的一部分,特别是在陆地数据集中,表现为随机噪声。近年来,神经网络已成功地用于以监督的方式对地震资料进行去噪。然而,监督学习总是伴随着通常无法实现的要求,即具有用于训练的噪声-干净数据对。使用盲点网络,我们将去噪任务重新定义为一个自我监督的过程,其中网络使用周围的噪声样本来估计中心样本的无噪声值。基于噪声在样本之间统计独立的假设,网络由于其随机性而难以预测样本的噪声分量,而信号分量由于其时空相干性而被准确预测。合成的例子说明,盲点网络被证明是一个有效的去噪的地震资料污染的随机噪声与最小的损害信号,因此,提供改进的图像域和下线的任务,如反演。最后,建议的方法应用于现场数据和结果进行了比较,两种常用的随机去噪技术:FX-反卷积和Curvelet变换。通过证明盲点网络是随机噪声的有效抑制器,我们相信这只是在地震应用中利用自监督学习的开始。
2021-09-15 cs.LG physics.geo-ph
$λ$-JEPA Spectral Anti-Collapse Regularization for Self-Supervised Learning
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
提出SACReg谱抗坍缩正则化器,基于λ-平衡分析,应用于JEPA得到λ-JEPA,在图像和视频自监督学习中提升表征秩和下游迁移性能。
2026-09-30 cs.CV cs.LG
SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption
Google Research(谷歌研究院)
自监督对比表示学习已被证明在视觉和自然语言领域取得了令人难以置信的成功,能够以数量级更少的标记数据实现最先进的性能。然而,这些方法是特定于域的,并且很少有人在现实世界的表格数据集上利用这种技术。我们提出了SCARF,一个简单的,广泛适用的技术对比学习,其中的意见是通过破坏一个随机子集的功能。当应用于在OpenML-CC 18基准测试的69个真实世界表格分类数据集上预训练深度神经网络时,SCARF不仅提高了全监督设置中的分类准确性,而且在存在标签噪声和半监督设置中也能做到这一点,其中只有一小部分可用的训练数据被标记。我们表明,SCARF补充现有的策略,并优于替代品,如自动编码器。我们进行全面的消融,详细说明一系列因素的重要性。
2022-03-15 cs.AI cs.LG
SRP: Efficient class-aware embedding learning for large-scale data via supervised random projections
University of Waterloo(滑铁卢大学)
有监督的降维策略已经引起了极大的兴趣。然而,当前的监督降维方法难以针对以大数据集为特征的情况进行缩放,因为与这种方法相关联的高计算复杂性。虽然已经探索了用于无监督降维的随机逼近策略以应对这一挑战,但这种方法并不适合加速有监督降维的计算速度。为了应对这一挑战,在这项研究中,我们探索了一个新的方向,通过监督随机投影(SRP)的概念,以监督的方式直接学习最佳类感知嵌入。SRP背后的关键思想是,而不是执行计算上禁止大规模数据的谱分解(或其近似),而是通过利用核近似理论和希尔伯特-施密特独立准则(HSIC)度量嵌入数据和标签之间的依赖性的对称性来执行直接分解。在五个不同的合成和真实世界数据集上的实验结果表明,所提出的用于类感知嵌入学习的SRP策略在产生与现有的监督降维方法(例如,SPCA和KSPCA),同时实现1-2个数量级更好的计算性能。因此,这种学习嵌入降维的有效方法可以成为大规模数据分析和可视化的强大工具。
2018-11-07 cs.LG stat.ML
Random Walks in Self-supervised Learning for Triangular Meshes
Technion – Israel Institute of Technology(以色列理工学院)
本研究提出一种基于随机游走数据增强并结合对比损失与聚类损失的3D网格自监督学习方法,有效提升了对象分类与形状检索等下游任务的性能。
2025-03-02 cs.CV cs.GR cs.LG
Random Field Augmentations for Self-Supervised Representation Learning
Google Research(谷歌研究院);Vector Institute(向量研究所)
针对自监督表示学习中数据增强技术探索不足的问题,提出基于高斯随机场的局部图像增强变换,在ImageNet和iNaturalist下游分类任务上取得准确率提升,同时指出需平衡增强的多样性与强度以优化表示泛化性。
2023-11-07 cs.CV cs.LG
Randomly Initialized Networks Can Learn from Peer-to-Peer Consensus
研究探讨了自蒸馏在学习动态中的作用,通过训练随机初始化网络发现其在下游任务中能获得非平凡改进,分析了超参数影响及模型学习内容。
2026-04-20 cs.AI cs.LG
Fast Rates for Semi-Supervised Learning via Data-Augmentation Graph Regularization
McGill University(麦吉尔大学);Mila, Quebec AI Institute(魁北克人工智能研究所米拉开创)
研究自监督学习标记样本效率缺乏理论解释的问题,通过将留一法稳定性工具用于数据增强图,证明快速转导速率\(O(1/n_L)\),明确增强质量,解释准确率与标签数量曲线,且使用简化损失恢复理想特征。
2026-07-16 cs.LG math.ST stat.ML
Bi-tuning of Pre-trained Representations
Tsinghua University(清华大学)
在深度学习社区中,通常首先从大规模数据集中预训练深度神经网络,然后将预训练的模型微调到特定的下游任务。最近,监督和无监督的预训练方法来学习表示已经取得了显着的进步,分别利用标签的判别知识和数据的内在结构。遵循自然直觉,区分性知识和下游任务的内在结构都可以用于微调,然而,现有的微调方法主要利用前者而丢弃后者。一个问题出现了:如何充分探索数据的内在结构以促进微调?在本文中,我们提出了Bi-tuning,这是一个通用的学习框架,可以对下游任务的监督和无监督预训练表示进行微调。Bi-tuning通过在预训练表示的主干上集成两个头来概括香草微调:具有改进的对比交叉熵损失的分类器头,以实例对比的方式更好地利用标签信息,以及具有新设计的分类对比学习损失的投影仪头,以类别一致的方式充分利用数据的内在结构。综合实验证实,Bi-tuning在监督和无监督预训练模型的微调任务中实现了最先进的结果(例如,在低数据状态下,CUB的准确性绝对提高了10.7\%)。
2020-11-12 cs.CV cs.LG
Self-Supervised Learning by Curvature Alignment
Vision and Image Processing Group, Systems Design Engineering, University of Waterloo, Ontario, Canada(温哥华大学图像与图像处理小组,系统设计工程,安大略省,加拿大)
本文提出CurvSSL框架,通过曲率正则化增强自监督学习,实验表明其在MNIST和CIFAR-10上表现优于Barlow Twins和VICReg。
2026-05-14 cs.CV cs.LG stat.ML
Object-Aware Cropping for Self-Supervised Learning
University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院)
针对真实数据集中多小物体场景下随机裁剪在自监督学习中表现不佳的问题,提出物体感知裁剪方法,利用物体候选算法替代随机裁剪,促使模型同时学习物体与场景级语义表示,在多个分类、检测和分割基准上取得显著提升。
2023-04-06 cs.CV cs.LG
A Random Matrix Theory of Masked Self-Supervised Regression
Departement d’Informatique, École Normale Supérieure, PSL & CNRS(信息学院,巴黎社会科学高等学院,PSL与CNRS);Department of Mathematics, University of Bologna(博洛尼亚大学数学系);Applied Mathematics, Harvard John A. Paulson School of Engineering and Applied Sciences(应用数学,哈佛大学约翰·A·保罗森工程与应用科学学院)
本文基于随机矩阵理论分析了掩码自监督回归的高维特性,揭示了其在提取数据结构和恢复潜在信号方面的性能优势。
2026-01-30 cs.LG stat.ML
Self-Supervised Learning for Speaker Recognition: A study and review
EPITA Research Laboratory (LRE)(EPITA研究实验室)
本文综述了自监督学习在说话人识别中的应用,分析了主要框架的效果及超参数影响,指出DINO在性能上表现最佳但敏感,SimCLR和MoCo则更稳健。
2026-02-11 cs.LG cs.SD eess.AS
Self-supervised Group Meiosis Contrastive Learning for EEG-Based Emotion Recognition
Beijing University of Technology(北京工业大学);Beijing-Dublin International College(北京都柏林国际学院)
近年来,基于脑电信号的情感识别研究受到了人机交互和认知科学领域的广泛关注。然而,如何在有限的标签下识别情感已经成为一个新的研究和应用瓶颈。针对这一问题,提出了一种基于刺激一致性脑电信号的自监督群体减数分裂对比学习框架。在SGMC中,开发了一种新的遗传学启发的数据增强方法,命名为减数分裂。它利用一组EEG样本中刺激的对齐,通过配对、交叉交换和分离来生成增强组。该模型采用群体投射器从同一情绪视频刺激触发的群体脑电样本中提取群体水平的特征表示。然后采用对比学习来最大化具有相同刺激的扩充组的组级表征的相似性。SGMC在公开的DEAP数据集上实现了最先进的情感识别结果,在效价和唤醒维度上的准确率分别为94.72%和95.68%,并且在公开的SEED数据集上也达到了具有竞争力的性能,准确率为94.04%。值得注意的是,即使使用有限的标签,SGMC也显示出显着的性能。此外,特征可视化的结果表明,该模型可能已经学习了视频级别的情感相关特征表示,以提高情感识别。在超参数分析中进一步评估了群体规模的影响。最后,进行了对比实验和烧蚀研究,以检验建筑的合理性。该代码在网上公开提供。
2022-08-02 cs.AI cs.LG cs.NE
Classification of Seeds using Domain Randomization on Self-Supervised Learning Frameworks
Kansas State University(堪萨斯州立大学)
种子表型鉴定的第一步是对种子的类型进行鉴定,即对种子的生长、发育、耐性、抗性、生态、产量等复杂性状进行综合评价,并对形成更复杂性状的参数进行测量。通常,植物再鉴定检查种子的视觉属性,例如大小、形状、面积、颜色和质地,以识别种子类型,这是一个繁琐且劳动密集的过程。计算机视觉和深度学习领域的进步导致了卷积神经网络(CNN)的发展,它有助于使用图像进行分类。虽然它们可以有效地进行分类,但一个关键的瓶颈是需要大量的标记数据来训练CNN,然后才能将其用于分类任务。这项工作利用了对比学习和领域随机化的概念,以实现相同的。简而言之,域随机化是将在包含模拟对象的图像上训练的模型应用于真实世界对象的技术。使用从真实世界图像的代表性样本作物生成的合成图像证明了对大量测试对象的需要。作为这项工作的一部分,五种不同类型的种子图像的合成图像数据集,即油菜、糙米、高粱、大豆和小麦,被应用于三种不同的自监督学习框架,即Simploy、Momentum Contrast(MoCo)和Build Your Own Latent(BYOL),其中ResNet-50被用作每个网络的主干。当仅使用来自合成数据集的5%的标签对自监督模型进行微调时,结果显示,MoCo(产生所讨论的自监督学习框架的最佳性能的模型)在测试数据集上实现了77%的准确度,仅比在100%标签上训练的ResNet-50实现的90%的准确度低约13%。
2021-03-29 cs.AI cs.CV cs.LG
Online Supervised Dimension Reduction with Random Features: Diagnostics and Computational Trade-offs
School of Statistics(统计学院);University of International Business and Economics(对外经济贸易大学)
本文研究在线核监督主成分分析中,优化精度不等于总体恢复或预测性能,通过诊断和计算权衡分析,揭示终端优化与几何质量及成本间的分离。
2026-09-18 cs.LG stat.CO stat.ML
SWIS: Self-Supervised Representation Learning For Writer Independent Offline Signature Verification
Indian Statistical Institute(印度统计研究所);Indian Institute of Technology Kharagpur(印度理工学院哈拉格布尔分校);Jadavpur University(贾达普大学)
与作者无关的离线签名验证是模式识别中最具挑战性的任务之一,因为通常缺乏训练数据。为了解决这种数据稀缺的问题,在本文中,我们提出了一种新的自监督学习(SSL)框架,作者独立的离线签名验证。据我们所知,这是第一次尝试利用自监督设置的签名验证任务。通过最小化属于不同特征方向的两个随机变量之间的互协方差并确保表示相同特征方向的随机变量之间的正互协方差来实现签名图像的自监督表示学习的目标。这确保了特征被线性地去相关并且冗余信息被丢弃。通过在不同数据集上的实验结果,我们得到了令人鼓舞的结果。
2022-07-12 cs.CV cs.LG eess.IV
A Projector-Based Approach to Quantifying Total and Excess Uncertainties for Sketched Linear Regression
线性回归是数据分析的经典方法。近年来,素描--一种使用随机抽样、随机投影或两者的降维方法--作为一种有效的计算近似方法,在观测数量大大超过变量数量时得到了普及。在本文中,我们解决了以下问题:素描如何影响的解决方案和关键量的统计特性?为了回答这个问题,我们提出了一个基于投影仪的方法来勾画线性回归,这是准确的,需要最少的假设上的草图矩阵。因此,下游分析对所有草图方案都准确且普遍适用。此外,基于投影仪的方法能够从经典的线性回归中推导出关键量,这些回归解释了模型和算法引起的不确定性。我们展示了一个基于投影仪的方法在量化和实现对草图线性回归的过度不确定性和偏差方差分解的洞察力的有用性。最后,我们展示了如何从我们的基于投影仪的分析的见解可以用来产生实际的草图诊断,以帮助明智的草图方案的设计。
2020-08-03 cs.LG cs.NA math.NA
Random mesh projectors for inverse problems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Rice University(莱斯大学)
我们提出了一种新的基于学习的方法来解决成像中的不适定逆问题。我们解决的情况下,地面真值训练样本是罕见的,这个问题是严重不适定的-既因为底层的物理,因为我们只能得到很少的测量。这种设置在地球物理成像和遥感中很常见。我们表明,在这种情况下,直接学习从测量数据到重建的映射的常见方法变得不稳定。相反,我们建议首先学习从数据到未知图像到随机分段常数子空间的投影的简单映射的集合。然后,我们通过解决类似解卷积的问题来组合投影以形成最终重建。我们的实验表明,所提出的方法是更强大的测量噪声和腐败过程中没有看到训练比直接学习逆。
2018-12-06 cs.CV cs.LG eess.IV
From Canonical Correlation Analysis to Self-supervised Graph Neural Networks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Shanghai Jiao Tong University(上海交通大学);AWS Shanghai AI Lab(AWS上海人工智能实验室)
我们引入了一个概念上简单而有效的模型,用于图形数据的自监督表示学习。它遵循前面的方法,通过数据增强生成输入图的两个视图。然而,与专注于实例级判别的对比方法不同,我们优化了受经典典型相关分析启发的创新特征级目标。与其他作品相比,我们的方法不需要参数化的互信息估计,额外的投影仪,不对称的结构,最重要的是,负样本,这可能是昂贵的。我们表明,新目标本质上1)旨在通过学习不变表示来丢弃增强变量信息,2)可以通过在不同维度上解相关特征来防止退化解决方案。我们的理论分析进一步提供了一个新的目标,可以等效地看作是一个实例的信息瓶颈原则下的自我监督设置的理解。尽管它很简单,我们的方法在七个公共图数据集上表现得很有竞争力。该代码可从以下网址获得:https://github.com/hengruizhang98/CCA-SSG。
2021-10-27 cs.LG
A Self-supervised Mixed-curvature Graph Neural Network
North China Electric Power University(华北电力大学);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学);University of California, Davis(加州大学戴维斯分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
图表示学习近年来受到越来越多的关注。现有的方法大多忽略了图结构的复杂性,将图限制在单一的常曲率表示空间中,实际上只适用于特定类型的图结构。此外,这些方法遵循监督或半监督学习范式,从而显著限制了它们在实际应用中对未标记图的部署。为了克服上述局限性,本文首次尝试在混合曲率空间中研究自监督图表示学习。本文提出了一种新的自监督混合曲率图神经网络(SelfMGNN)。我们不是在一个单一的常曲率空间上工作,而是通过多个黎曼分量空间的笛卡尔积来构建一个混合曲率空间,并设计分层注意力机制来学习和融合这些分量空间的表示。为了实现自监督学习,我们提出了一种新的双对比方法。混合曲率黎曼空间实际上为对比学习提供了多个黎曼视图。我们引入一个黎曼投影仪来显示这些视图,并利用一个精心设计的黎曼投影仪进行单视图和跨视图的对比学习。最后,大量的实验表明,SelfMGNN捕获了现实中复杂的图形结构,并优于最先进的基线。
2021-12-10 cs.LG
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University(杜克大学)
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法,如成对马尔可夫随机场(pMRF)和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而,现有的基于pMRF的方法不如图神经网络准确,这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中,我们的目标是解决现有的基于pMRF的方法的关键限制。特别是,我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明,我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调,以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
SORTAD: Self-Supervised Optimized Random Transformations for Anomaly Detection in Tabular Data
Intel Corporation(英特尔公司)
本文提出SORTAD算法,通过自监督优化随机变换解决表格数据异常检测中数据不相关性的挑战,最优选择变换并设计敏感评分函数,在多个数据集上达到最先进性能。
2023-11-18 cs.LG
TwinTURBO: Semi-Supervised Fine-Tuning of Foundation Models via Mutual Information Decompositions for Downstream Task and Latent Spaces
Dept. of Computer Science University of Geneva(计算机科学系日内瓦大学);NVIDIA
该研究提出名为TwinTURBO的基础模型半监督微调框架,通过互信息分解分别优化下游任务空间与潜在空间,仅修改小型投影器模块,在少标记数据的分类任务上实现了显著性能提升。
2025-05-16 cs.CV cs.IT cs.LG
Classification under Streaming Emerging New Classes: A Solution using Completely Random Trees
Nanjing University(南京大学);Federation University(联邦大学)
本文研究了流挖掘中的一个重要问题,即,根据流媒体新兴类别或SENC分类。常见的方法是将其视为分类问题,并使用监督学习器或半监督学习器来解决它。我们提出了一种替代方法,通过使用无监督学习作为基础来解决这个问题。SENC问题可以分解为三个子问题:检测新出现的新类,对已知类进行分类,以及更新模型以使新类的实例分类和检测更多新出现的新类。所提出的方法采用完全随机树,已被证明是工作良好的无监督学习和监督学习独立的文献。这是第一次,据我们所知,完全随机树被用作一个单一的公共核心,以解决所有三个子问题:无监督学习,监督学习和数据流中的模型更新。我们表明,所提出的无监督学习为重点的方法往往比现有的分类为重点的方法取得显着更好的结果。
2016-05-30 cs.LG
Conformalized Semi-supervised Random Forest for Classification and Abnormality Detection
The University of Hong Kong(香港大学);Northwestern University(西北大学);Yale University(耶鲁大学)
本文提出 CSForest,将 Jackknife+aB 保形预测与半监督树集成结合,利用未标记测试样本生成集合预测并以空集检测新离群点,实验验证其在分布变化下的有效性。
2024-02-29 cs.LG
Binary Classification for High Dimensional Data using Supervised Non-Parametric Ensemble Method
Thakur Institute Of Management Studies, Career Development & Research(塔库尔管理研究、职业发展与研究学院);University of Mumbai(孟买大学)
用于分类的高维数据确实给机器学习算法带来了许多困难。泛化可以使用集成学习方法来完成,例如基于装袋的监督非参数随机森林算法。本文针对多囊卵巢综合征数据集,采用随机森林方法解决了高维数据的二值分类问题。我们已经执行了实现,并提供了一个详细的可视化数据的一般推理。训练准确率达到95.6%,验证准确率超过91.74%。
2023-01-30 cs.LG
Reliable Semi-Supervised Learning when Labels are Missing at Random
Uppsala University(乌普萨拉大学)
半监督学习方法的动机是除了标记数据之外还具有未标记特征的大型数据集的可用性。然而,未标记的数据并不能保证提高分类性能,事实上,在某些情况下,已报告会损害性能。错误的一个基本来源来自于对未标记特征的限制性假设,这导致不可靠的分类器低估了它们的预测错误概率。在本文中,我们开发了一种半监督学习方法,放松这样的假设,并能够提供分类器,可靠地量化标签的不确定性。该方法适用于使用具有监督学习算法的任何生成模型。我们说明的方法,使用手写数字和布料分类数据的标签是随机缺失。
2019-10-24 cs.LG stat.ML
Correlated random features for fast semi-supervised learning
ETH Zürich(苏黎世联邦理工学院)
本文提出了相关Nystrom视图(XNV),一个快速的半监督算法的回归和分类。该算法借鉴了两个主要思想。首先,它生成两个视图组成的计算成本低廉的随机功能。其次,XNV应用多视图回归,使用典型相关分析(CCA)对未标记的数据进行回归,使回归偏向有用的特征。已经表明,如果视图包含准确的估计量,CCA回归可以在偏差增加最小的情况下大大减少方差。最近的理论和实证工作表明,随机功能的回归非常接近核回归,这意味着随机视图可以预期包含准确的估计,随机视图是合理的。我们表明,XNV始终优于最先进的半监督学习算法:大大提高了预测性能,降低了各种真实世界数据集上的性能变化,同时还减少了运行时间的数量级。
2013-11-05 cs.LG stat.ML
On Data-Dependent Random Features for Improved Generalization in Supervised Learning
Harvard University(哈佛大学)
随机化特征方法已成功地应用于大规模核近似和监督学习。从中提取随机特征的分布影响有效执行学习任务所需的特征数量。最近,它已被证明,采用数据相关的随机化提高了所需数量的随机特征方面的性能。在本文中,我们关注的是监督学习中的随机特征方法,以获得良好的泛化能力。我们提出了基于能量的探索随机特征(EERF)算法的基础上,数据依赖的得分函数,探索可能的功能集,并利用有前途的地区。我们证明了所提出的得分函数具有很高的概率恢复的频谱内的模型类的最佳拟合。我们在几个基准数据集上的实证结果进一步验证了我们的方法与最先进的方法相比,需要更少数量的随机特征来实现一定的泛化误差,同时引入可忽略不计的预处理开销。EERF可以用几行代码实现,不需要额外的调优参数。
2017-12-19 cs.LG stat.ML
Affordable Uplift: Supervised Randomization in Controlled Experiments
Humboldt-Universität zu Berlin(柏林洪堡大学)
客户评分模型是可扩展直复营销的核心。可持续发展模型提供了一个用于业务决策的治疗增量效益的估计。隆升模型的训练和监测需要实验数据。然而,在随机治疗分配下收集数据是昂贵的,因为随机靶向偏离了既定的靶向政策。为了提高实验的成本效益,方便频繁的数据汇集和模型训练,我们引入了监督随机化。这是一种新的方法,将现有的评分模型整合到随机试验中,以针对相关客户,同时通过对主动样本选择的校正来确保治疗效果的一致估计。经验蒙特卡罗研究表明,监督随机化下的数据汇集具有成本效益,而下游隆起模型具有竞争力。
2019-10-01 cs.LG stat.AP stat.ML
Enhancing Supervised Visualization through Autoencoder and Random Forest Proximities for Out-of-Sample Extension
Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Utah State University(犹他州立大学);Brigham Young University(杨百翰大学)
本文提出一种结合随机森林邻近性与自动编码器的样本外扩展方法,用于增强 RF-PHATE 监督降维的泛化能力,在保持质量的同时减少 40% 训练时间,并支持仅用 10% 训练数据的半监督场景。
2024-06-06 cs.LG stat.ML
Random Forest-Supervised Manifold Alignment
Brigham Young University(杨百翰大学)
本文提出利用随机森林导出的保几何邻近度作为有监督初始化来改进半监督流形对齐,实验表明该方法能提升跨域特征融合与下游分类准确率,优于单域基线。
2024-11-18 cs.LG stat.ML
Supervised Manifold Learning via Random Forest Geometry-Preserving Proximities
Brigham Young University(杨百翰大学)
本文针对现有监督流形学习方法因类条件距离不保持顺序而难以揭示有意义嵌入的问题,提出以数据几何保持的随机森林邻近度作为初始化核,并通过实验证明该方法在多种流形学习算法中能普遍保持局部结构,且基于扩散的算法可正确维持全局结构。
2023-07-03 cs.LG stat.ML
Semi-Supervised Few-Shot Learning with Prototypical Random Walks
Technical University of Munich(慕尼黑工业大学);Helmholtz AI, Helmholtz Center Munich(亥姆霍兹人工智能,亥姆霍兹慕尼黑中心);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
最近的进展表明,少样本学习可以通过访问未标记的数据来改进,称为半监督少样本学习(SS-FSL)。我们介绍了一种SS-FSL方法,称为原型随机游走网络(PRWN),建立在原型网络(PN)之上。我们开发了一种随机游走半监督损失,使网络能够学习紧凑且分离良好的表示。我们的工作与最近发展的基于图的方法用于少样本学习有关。然而,我们表明,紧凑和良好分离的类表示可以通过建模我们的原型随机游走的概念,而不需要额外的图NN参数或需要一个transductive设置,其中提供了一个集体测试集。我们的模型在大多数基准测试中优于基线,在某些情况下有显着改进。我们的模型用40个$\%$标记的数据进行训练,与完全监督的原型网络进行竞争,在100个$\%$标签上进行训练,甚至在1次拍摄的迷你Imagenet案例中表现出色,准确率为50.89 $\%$至49.4 $\%$。我们还表明,我们的损失是抵抗干扰,未标记的数据,不属于任何训练类,因此反映了标记/未标记的类分布不匹配的鲁棒性。相关的GitHub页面可以在https://prototypical-random-walk.github.io上找到。
2021-02-09 cs.LG stat.ML
Deep Distributed Random Samplings for Supervised Learning: An Alternative to Random Forests?
在(\cite{zhang2014nonlinear,zhang2014nonlinear2})中,我们将机器学习看作是一个编码和降维问题,并进一步提出了一种简单的无监督降维方法,称为深度分布随机采样(DDRS)。在本文中,我们进一步扩展到监督学习增量。这里的关键思想是将标签信息纳入到编码过程中,通过重新制定DDRS中的每个中心都有多个输出单元,指示中心属于哪个类别。监督学习方法似乎与随机森林(\cite{breiman2001random})有些相似,在这里我们强调它们的区别如下。(i)我们的方法的每一层都考虑了训练数据中的部分数据点与所有训练数据点之间的关系,而随机森林则专注于仅在部分训练数据点上独立地构建每个决策树。(ii)我们的方法通过越来越少的数据点来构建逐渐缩小的网络,而随机森林通过合并子类来构建逐渐缩小的网络。(iii)我们的方法从底层到顶层训练得更直接,而随机森林通过分裂从顶层到底层构建每棵树。(iv)我们的方法编码输出目标隐式稀疏代码,而随机森林编码输出目标通过记住激活节点的类属性。因此,我们的方法是一个更简单,更直接,也许是一个更好的替代选择,虽然这两种方法都使用两个非常基本的元素-随机化和最近邻优化-作为核心。此预印本用于保护增量思想不受(\cite{zhang2014nonlinear,zhang2014nonlinear2})的影响。完整的经验评估将在稍后…
2015-01-28 cs.LG stat.ML
Efficient Learning of Sparse Conditional Random Fields for Supervised Sequence Labelling
Telecom ParisTech(巴黎高等电信学院);LTCI CNRS(法国国家科学研究中心LTCI实验室);Université Paris-Sud 11(巴黎第十一大学);LIMSI CNRS(法国国家科学研究中心LIMSI实验室)
条件随机场(CRF)是一种流行的和有效的监督序列标记的方法。CRF可以处理大的描述空间,并且可以在标签之间集成某种形式的结构依赖性。在这方面的贡献,我们解决的问题,有效的特征选择CRF的基础上施加稀疏通过L1罚款。我们首先展示了如何利用参数集的稀疏性来显着加快训练和标记。然后,我们引入坐标下降的参数更新计划CRF与L1正则化。最后,我们提供了一些实证比较所提出的方法与国家的最先进的CRF培训策略。特别是,它表明,所提出的方法是能够利用的稀疏性,以加快处理,因此有可能处理更大的维度模型。
2010-01-03 cs.CL cs.LG
A random matrix analysis and improvement of semi-supervised learning for large dimensional data
CentraleSupélec(中央理工-高等电力学院)
本文对一类面向图的半监督学习算法在大量数据限制下的行为提供了一种新颖的理解。它表明,在这些方法的根源的直觉崩溃在这个限制,因此,他们中的大多数变得不一致。校正措施和一个新的数据驱动的参数化方案提出了理论分析的渐近性能的方法。在整个文章中还说明了高斯混合模型和真实数据集上的理论性能之间惊人的接近行为,从而表明了所提出的分析对处理实际数据的重要性。其结果是,显着的性能增益观察到实际数据分类使用建议的参数化。
2017-11-09 cs.LG stat.ML
S3-Tracker: Self-Supervised Surgical Tissue Tracking With Contrastive Random Walks
Johns Hopkins University(约翰霍普金斯大学);The University of British Columbia(不列颠哥伦比亚大学);University of Arkansas(阿肯色大学)
提出自监督手术组织追踪方法S3-Tracker,利用对比随机游走从未标注视频学习点轨迹,性能媲美半监督方法,减少对标注数据依赖。
2026-09-15 cs.CV cs.LG cs.RO
Fair Supervised Learning with A Simple Random Sampler of Sensitive Attributes
Purdue University(普渡大学)
针对监督学习的公平性问题,提出基于敏感属性简单随机采样器的神经网络公平性惩罚项,构建高效组级处理中训练框架,在基准数据集上效用与公平性更优,并给出理论误差分析。
2024-03-09 cs.LG stat.ML