Fourier Self-Supervision for Fine-Grained Generalized Category Discovery
University of Amsterdam（阿姆斯特丹大学）；University of Technology Nuremberg（纽伦堡工业大学）
提出傅里叶自监督学习，通过双频率过滤策略优化特征空间，在多细粒度数据集上实现优于现有方法的广义类别发现性能。
2026-08-11 cs.AI cs.CV cs.LG
LPaintB: Learning to Paint from Self-Supervision
University of Maryland at College Park（马里兰大学帕克分校）；Adobe Research（奥多比研究院）
提出了一种新的基于强化学习的自然媒体绘制算法。我们的目标是使用画笔笔划再现参考图像，并通过观察对目标进行编码。我们的公式考虑到奖励在动作空间中的分布是稀疏的，从头开始训练强化学习算法可能很困难。我们提出了一种结合自监督学习和强化学习的方法来有效地将负样本转换为正样本，并改变奖励分布。我们证明了我们的绘画代理的好处，以重现参考图像与笔触。训练阶段大约需要一个小时，运行时算法在GTX 1080 GPU上大约需要30秒，再现具有20，000个笔划的1000x800图像。
2019-09-21 cs.AI cs.CV cs.LG
How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision
KAIST（韩国科学技术院）
图神经网络中的注意力机制被设计为向重要的邻居节点分配更大的权重以更好地表示。然而，图形注意力学习的是什么还没有很好地理解，特别是当图形是嘈杂的。在本文中，我们提出了一个自监督图注意力网络（SuperGAT），一个改进的图注意力模型的噪声图。具体来说，我们利用两个注意力形式兼容的自我监督任务来预测边缘，其存在和不存在包含的固有信息的重要性节点之间的关系。通过对边进行编码，SuperGAT在区分错误链接的邻居时学习到更多的表达注意力。我们发现两个图形特征影响注意形式和自我监督的有效性：同质性和平均度。因此，我们的配方提供了指导，当这两个图形特征已知时，使用哪种注意力设计。我们在17个真实数据集上的实验表明，我们的配方可以推广到其中的15个数据集，并且我们通过配方设计的模型显示出比基线更好的性能。
2022-04-11 cs.AI cs.LG cs.SI
Self-Supervision in Time for Satellite Images(S3-TSS): A novel method of SSL technique in Satellite images
针对卫星遥感标注数据有限、现有前置自监督算法不适配的问题，提出利用时间维度自然增强的S3-TSS自监督方法，在四个下游数据集上表现优于基线SeCo。
2024-03-11 cs.AI
CASS: Cross Architectural Self-Supervision for Medical Image Analysis
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）；Colton Center for Autoimmunity（科尔顿自身免疫中心）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
深度学习和计算机视觉的最新进展减少了自动医学图像分析的许多障碍，使算法能够处理无标签图像并提高性能。然而，现有的技术具有极端的计算要求，并且随着批量大小或训练时期的减少而降低了很多性能。本文提出了跨架构自监督（CASS），一种新的自监督学习方法，同时利用Transformer和CNN。与现有的最先进的自监督学习方法相比，我们的经验表明，在四个不同的数据集上，CASS训练的CNN和Transformers在1%标记数据的情况下平均获得3.8%，在10%标记数据的情况下平均获得5.9%，在100%标记数据的情况下平均获得10.13%，同时花费的时间减少了69%。我们还表明，CASS对批量大小和训练时期的变化更加鲁棒。值得注意的是，其中一个测试数据集包括自身免疫性疾病的组织病理学切片，这是一种在医学成像中数据很少的疾病。代码是开源的，可以在GitHub上找到。
2022-11-19 cs.AI cs.CV cs.LG
Towards Lifelong Self-Supervision: A Deep Learning Direction for Robotics
Draper（德雷珀实验室）
尽管在视觉等领域取得了巨大的成功，但最近的许多深度学习方法对机器人来说都有明显的缺点。这篇手稿调查了文献中有关将深度学习系统应用于机器人领域的最新工作，无论是作为估计手段还是作为直接从原始感知中解析运动命令的工具。这些最新的进展只是这个难题的一部分。我们认为，深度学习仅仅作为一种工具，不足以建立一个统一的框架来获得一般智能。出于这个原因，我们补充我们的调查与认知发展的见解，并参考经典控制理论的想法，产生一个终身学习架构的综合方向。
2016-11-01 cs.AI cs.RO
MammoDINO: Anatomically Aware Self-Supervision for Mammographic Images
GE HealthCare（GE医疗）
MammoDINO提出一种用于乳腺X线图像的解剖感知自监督学习框架，利用140万图像预训练及跨切片对比学习，在多个筛查任务和五个基准上达到最先进性能，为CAD提供无标注基础。
2025-10-13 cs.AI cs.CV
DiSSECT: Structuring Transfer-Ready Medical Image Representations through Discrete Self-Supervision
Department of Computer Science, Indian Institute of Technology Jodhpur（计算机科学系，印度理工学院贾布尔）
本文提出DiSSECT框架，通过多尺度向量量化在自监督学习中引入离散表示瓶颈，使模型学习结构感知特征并抑制捷径学习，在分类与分割任务上以极少微调实现高性能和高标签效率。
2025-09-23 cs.AI cs.CV
Learning Off-Road Terrain Traversability with Self-Supervisions Only
Agency for Defense Development（国防发展局）；Inha University（仁荷大学）
本文提出仅利用自监督从图像学习越野地形可通行性的方法，通过历史轨迹生成标签并用一类分类算法训练神经网络，实验证明其优于其他自监督方法且媲美监督学习方法。
2023-05-30 cs.AI cs.CV cs.RO
Self-supervised self-supervision by combining deep learning and probabilistic logic
MIT（麻省理工学院）；Microsoft Research（微软研究院）
大规模标记训练样本是机器学习中的一个长期挑战。自我监督方法通过利用先验知识自动生成带噪声标记的示例来弥补直接监督的不足。深度概率逻辑（DPL）是用于自监督学习的统一框架，其将未知标签表示为潜在变量，并使用概率逻辑来结合多样的自监督，以使用变分EM来训练端到端的深度神经网络。虽然DPL成功地结合了预先指定的自我监督，但手动制作自我监督以获得高准确性可能仍然是繁琐和具有挑战性的。在本文中，我们提出了自我监督的自我监督（S4），它增加了DPL自动学习新的自我监督的能力。从初始“种子”开始，S4迭代地使用深度神经网络来提出新的自我监督。它们要么直接添加（一种结构化的自我训练形式），要么由人类专家验证（如基于特征的主动学习）。实验表明，S4能够自动提出准确的自我监督，并且通常可以用人类努力的一小部分来接近监督方法的准确性。
2020-12-23 cs.LG stat.ML
FedGL: Federated Graph Learning Framework with Global Self-Supervision
Sun Yat-sen University（中山大学）
图形数据在现实世界中无处不在。图学习（GL）试图挖掘和分析图数据，以便发现有价值的信息。现有的总账方法是为集中式场景设计的。然而，在实际场景中，图形数据通常分布在不同的组织中，即，数据孤岛的诅咒为了解决这个问题，本文将联邦学习引入GL，提出了一个通用的联邦图学习框架FedGL。FedGL通过在联邦训练过程中发现全局自监督信息，能够在保护数据隐私的同时获得高质量的全局图模型。具体地说，我们提出将预测结果和节点嵌入上传到服务器，以发现全局伪标签和全局伪图，并将其分发到每个客户端，分别丰富训练标签和补充图结构，从而提高每个局部模型的质量。此外，全局自监督使每个客户端的信息流动和共享的隐私保护的方式，从而缓解异构性和利用不同客户端之间的图数据的互补性。最后，实验结果表明，FedGL在四个广泛使用的图数据集上的性能明显优于基线。
2021-05-07 cs.AI cs.LG
Self-supervision for health insurance claims data: a Covid-19 use case
Exponential Technology CoE, Anthem（Anthem 指数技术卓越中心）
在这项工作中，我们修改和应用自我监督技术的领域的医疗健康保险索赔。我们模拟患者的医疗索赔历史，类似于自由文本叙述，并引入预先训练的“先验知识”，随后用于对一项具有挑战性的任务进行患者结局预测：根据患者的前Covid-19保险索赔历史预测Covid-19住院。结果表明，对保险索赔进行预训练不仅可以产生更好的预测性能，而且更重要的是，可以提高模型的“临床可信度”和模型的稳定性/可靠性。
2021-07-19 cs.AI cs.CL cs.LG
ROSS: Relearning from Self-Generated Rollouts through Selective Supervision
ROSS通过选择性监督从历史自生成轨迹中重新学习，在多个任务上提升性能，无需额外策略轨迹。
2026-10-21 cs.AI cs.LG
When Does Self-Supervision Help Graph Convolutional Networks?
Texas A&M University（德克萨斯A&M大学）
自监督作为一种新兴的技术已被用于训练卷积神经网络（CNN），以实现图像的更可转移、更可推广和更鲁棒的表示学习。然而，很少探索将其引入对图数据进行操作的图卷积网络（GCN）。在这项研究中，我们报告的第一个系统的探索和评估，将自我监督到GCN。我们首先阐述了将自我监督纳入GCN的三种机制，分析了预训练和微调和自我训练的局限性，并继续关注多任务学习。此外，我们提出了三个新的自监督学习任务的GCN的理论依据和数值比较。最后，我们进一步将多任务自我监督集成到图对抗训练中。我们的研究结果表明，适当设计的任务形式和纳入机制，自我监督的好处GCN在获得更多的概括性和鲁棒性。我们的代码可在https://github.com/Shen-Lab/SS-GCNs上获得。
2020-07-18 cs.LG stat.ML
SSPO: Self-traced Step-wise Preference Optimization for Process Supervision and Reasoning Compression
本文提出自追踪逐步偏好优化（SSPO），利用模型自身生成的逐步偏好信号进行细粒度过程监督，在不依赖辅助模型和人工标注的情况下实现推理压缩，有效缓解过度思考并保持模型性能。
2025-08-18 cs.AI cs.LG
Boosting Supervision with Self-Supervision for Few-shot Learning
UMass Amherst（马萨诸塞大学阿默斯特分校）；Cornell University（康奈尔大学）
我们提出了一种技术，通过引入自监督任务作为辅助损失函数来提高在小标记数据集上学习的深度表示的可转移性。虽然最近的自监督学习方法已经显示出在大型未标记数据集上训练的好处，但我们发现即使在小数据集上，当与强监督相结合时，泛化能力也有所提高。具有自我监督损失的学习表示在几个少样本学习基准测试中将最先进的元学习器的相对出错率降低了5-25%，并且在从头开始训练时，标准分类任务的现成深度网络也是如此。我们发现自我监督的好处随着任务的难度而增加。我们的方法利用数据集内的图像来构建自监督损失，因此是一种有效的学习可转移表示的方法，而不依赖于任何外部训练数据。
2019-06-17 cs.CV cs.LG stat.ML
Boosting Few-Shot Visual Learning with Self-Supervision
Sorbonne Université（索邦大学）
少样本学习和自监督学习解决了同一个问题的不同方面：如何用很少或没有标记数据训练模型。少样本学习的目标是优化方法和模型，可以有效地学习，以识别低数据状态下的模式。相反，自监督学习专注于未标记的数据，并查看它的监督信号以馈送高容量的深度神经网络。在这项工作中，我们利用这两个领域的互补性，并提出了一种通过自我监督来提高少样本学习的方法。我们在少样本学习管道中使用自我监督作为辅助任务，使特征提取器能够学习更丰富，更可转移的视觉表示，同时仍然使用很少的注释样本。通过自我监督，我们的方法可以很自然地扩展到使用来自其他数据集的各种未标记的数据在Few-Shot设置。我们报告了一系列架构，数据集和自我监督技术的一致改进。
2019-06-12 cs.CV cs.LG
Loss is its own Reward: Self-Supervision for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；OpenAI
强化学习针对期望累积奖励优化策略。监管需要如此狭窄吗？对于许多任务来说，奖励是延迟和稀疏的，这使得它成为端到端优化的困难和贫困信号。为了增加奖励，我们考虑了一系列自我监督的任务，包括状态，动作和后继者，以提供辅助损失。即使在没有奖励的情况下，这些损失也为表示学习提供了无处不在的即时监督。虽然目前的结果表明，仅从奖励中学习是可行的，但纯强化学习方法受到计算和数据效率问题的限制，这些问题可以通过辅助损失来弥补。自我监督的预训练和联合优化提高了端到端强化学习的数据效率和策略回报。
2017-03-09 cs.LG
Does Visual Self-Supervision Improve Learning of Speech Representations for Emotion Recognition?
Imperial College London（伦敦帝国学院）；Facebook（脸书）
自监督学习最近吸引了大量的研究兴趣。然而，大多数作品的自我监督的讲话是典型的单峰和已经有有限的工作，研究音频和视觉模态之间的相互作用，跨模态的自我监督。本文的工作（1）研究了通过人脸重建的视觉自我监督来指导音频表示的学习;（2）提出了一种用于语音表示学习的仅音频自我监督方法;（3）表明所提出的视觉和音频自我监督的多任务组合有利于学习更丰富的特征，这些特征在噪声条件下更鲁棒;（4）表明自监督预训练可以优于完全监督训练，并且对于防止较小数据集的过拟合特别有用。我们评估我们学习的音频表示离散情感识别，连续的影响识别和自动语音识别。对于所有测试的下游任务，我们都优于现有的自监督方法。我们的研究结果表明，潜在的视觉自我监督的音频特征学习，并建议联合视觉和音频自我监督导致更多的信息音频表示语音和情感识别。
2021-03-18 cs.CL cs.CV cs.LG
Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation
Google Research（谷歌研究院）
在过去的几年里，在低资源神经机器翻译（NMT）中出现了两个有前途的研究方向。第一个重点是利用高资源语言，通过多语言NMT来提高低资源语言的质量。第二个方向采用具有自我监督的单语数据来预训练翻译模型，然后对少量监督数据进行微调。在这项工作中，我们加入了这两条研究路线，并证明了多语言NMT中自我监督的单语数据的有效性。我们提供三大成果：（i）使用单语数据可以显著提高多语言模型中低资源语言的翻译质量。(ii)自我监督提高了多语言模型中的zero-shot翻译质量。(iii)利用具有自我监督的单语数据为向多语言模型添加新语言提供了一条可行的途径，在没有任何并行数据或反向翻译的情况下，在ro-en翻译上获得多达33个BLEU。
2020-05-11 cs.CL cs.LG
Towards a Hypothesis on Visual Transformation based Self-Supervision
Carnegie Mellon University（卡内基梅隆大学）
我们提出了第一个定性的假设表征的视觉转换为基础的自我监督的行为，称为VTSS假说。给定一个数据集，在预测变换的实例化时对其执行自监督任务，假设指出，如果预测的变换实例化已经存在于数据集中，则学习的表示将不太有用。该假设是通过观察使用特定变换的自我监督应用中的关键约束而得出的。这种约束，我们在本文中称之为转换冲突，迫使网络学习退化特征，从而降低了表示的有用性。VTSS假说帮助我们识别有潜力成为有效的自我监督任务的转换。此外，它有助于一般地预测特定的基于转换的自我监督技术对于特定的数据集是否有效。我们对CIFAR 10，CIFAR 100，SVHN和FMNIST进行了广泛的评估，证实了假设及其预测的趋势。我们还提出了新的基于平移和缩放的具有成本效益的自监督技术，当与旋转相结合时，其性能优于单独应用的所有变换。总体而言，本文旨在阐明基于自我监督的视觉转换现象。
2020-02-14 cs.CV cs.LG stat.ML
Uni-Mlip: Unified Self-supervision for Medical Vision Language Pre-training
Technology Innovation Institute（技术创新研究院）
本文提出统一自监督框架Uni-Mlip，通过整合跨模态、单模态和融合模态自监督并定制医学图像自监督策略，缓解医学多模态数据稀缺问题，在图像-文本检索、图像分类和视觉问答任务上显著超越现有方法。
2024-11-20 cs.AI cs.CL cs.CV
Depth self-supervision for single image novel view synthesis
University of Bologna（博洛尼亚大学）
针对单图新视角合成任务缺乏深度显式监督的问题，提出联合优化合成与深度估计的自监督框架，通过共享深度解码器实现视角间深度一致，提升了图像质量与深度估计精度。
2023-08-27 cs.AI cs.CV cs.LG
Self-supervision of wearable sensors time-series data for influenza detection
Evidation Health
自我监督可以提高模型在下游任务中的性能。然而，没有原则性的方法来选择产生最具适应性的模型的自监督目标。在这里，我们研究了用于检测流感样疾病（ILI）发作的可穿戴传感器生成的日常时间序列数据。我们首先表明，使用自监督学习来预测第二天的时间序列值，使我们能够学习丰富的表示，可以适应执行准确的ILI预测。其次，我们进行了实证分析，三个不同的自我监督的目标，以评估其适应性ILI预测。我们的研究结果表明，预测第二天的静息心率或睡眠期间的床上时间为ILI预测提供了更好的表示。这些发现补充了以前的工作，证明了从活动数据中进行自监督学习以改善健康预测的实际应用。
2021-12-27 cs.LG
Defending Graph Convolutional Networks against Dynamic Graph Perturbations via Bayesian Self-supervision
Indiana University-Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
近年来，大量的证据表明，图卷积网络（GCN）在节点分类方面取得了非凡的成就。然而，GCN可能容易受到标签稀缺的动态图上的对抗攻击。许多现有的工作旨在加强GCN的鲁棒性;例如，对抗训练用于保护GCN免受恶意扰动。然而，这些作品失败的动态图标签稀缺性是一个紧迫的问题。为了克服标签稀缺性，自训练尝试迭代地将伪标签分配给高度自信的未标记节点，但这种尝试在动态图扰动下可能会严重退化。在本文中，我们推广噪声监督作为一种自监督学习方法，然后提出了一种新的贝叶斯自监督模型，即GraphSS，来解决这个问题。大量的实验表明，GraphSS不仅可以肯定地警告动态图上的扰动，而且还可以有效地恢复节点分类器的预测，当图是在这样的扰动。这两个优点被证明是在五个公共图数据集上的三个经典GCN上推广的。
2022-03-07 cs.LG
Time Is MattEr: Temporal Self-supervision for Video Transformers
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER人工智能实验室）
了解视频的时间动态是学习更好的视频表示的一个重要方面。最近，基于变压器的架构设计已被广泛探索的视频任务，由于他们的能力，以捕捉长期依赖的输入序列。然而，我们发现，这些视频Transformers仍然偏向于学习空间动态，而不是时间的，和去偏的虚假相关性是至关重要的，他们的性能。基于观察结果，我们为视频模型设计了简单而有效的自监督任务，以更好地学习时间动态。具体来说，为了消除空间偏差，我们的方法学习视频帧的时间顺序作为额外的自我监督，并强制随机混洗帧具有低置信度输出。此外，我们的方法学习连续帧之间的视频令牌的时间流向，以增强对时间动态的相关性。在各种视频动作识别任务下，我们证明了我们的方法的有效性及其与最先进的视频Transformers的兼容性。
2022-07-19 cs.AI cs.CV cs.LG
Self-Harmony: Learning to Harmonize Self-Supervision and Self-Play in Test-Time Reinforcement Learning
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进情报项目中心）；The Institute of Statistical Mathematics（统计数学研究所）；Google Research Australia（澳大利亚谷歌研究）
Self-Harmony通过自监督与自玩的和谐统一，在测试时间强化学习中实现无标签设置下的最佳性能和鲁棒性。
2026-03-02 cs.AI cs.CL cs.LG
Self-Supervision by Prediction for Object Discovery in Videos
EPFL（洛桑联邦理工学院）
尽管深度学习算法取得了不可阻挡的成功，但它们仍然严重依赖于注释数据。另一方面，无监督设置带来了许多挑战，特别是在不同场景中确定正确的归纳偏差。一种可扩展的解决方案是通过利用部分输入数据使模型为自己生成监督，这被称为自监督学习。在本文中，我们使用的预测任务作为自我监督，并建立了一个新的对象为中心的图像序列表示模型。除了解开对象和运动动态的概念，我们的组成结构明确地处理遮挡和inpaints推断的对象和背景的预测帧的组成。借助于辅助损失函数，可以促进空间和时间一致的对象表示，我们的自监督框架可以在没有任何手动注释或预训练网络的帮助下进行训练。初步实验证实，所提出的管道是一个有前途的一步，以对象为中心的视频预测。
2021-03-09 cs.CV cs.LG
Fine-Tuning Pre-trained Language Model with Weak Supervision: A Contrastive-Regularized Self-Training Approach
Georgia Institute of Technology（佐治亚理工学院）
微调预训练语言模型（LM）在许多自然语言处理（NLP）任务中取得了巨大的成功，但在微调阶段仍然需要大量的标记数据。我们研究了仅使用弱监督而不使用任何标记数据来微调预训练LM的问题。这个问题是具有挑战性的，因为LM的高容量使得它们容易过拟合由弱监督生成的噪声标签。为了解决这个问题，我们开发了一个对比的自我训练框架，COSINE，使微调LM与弱监督。在对比正则化和基于置信度的重新加权的基础上，这种对比自训练框架可以逐步改善模型拟合，同时有效地抑制误差传播。在序列、标记和句子对分类任务上的实验表明，该模型在6个任务的7个基准测试中大幅优于最强基线，并在全监督微调方法下取得了有竞争力的性能。
2021-03-31 cs.CL cs.LG
MILES: Making Imitation Learning Easy with Self-Supervision
Imperial College London（帝国理工学院）
提出自监督自主数据收集范式 MILES，仅用单个演示和单次环境重置即可学习机器人策略，并在富接触真实任务中显著优于结合强化学习的模仿学习方法。
2024-10-25 cs.AI cs.LG cs.RO
Improving Semi-Supervised Learning for Remaining Useful Lifetime Estimation Through Self-Supervision
Technische Universität Berlin（柏林工业大学）；IAV GmbH（IAV公司）
RUL估计受到服务器数据不平衡的影响，其中来自接近其生命周期结束的机器的数据很少。此外，机器产生的数据只能在机器故障后才能标记。半监督学习（SSL）可以合并尚未失败的机器产生的未标记数据。以前的SSL工作评估他们的方法在不切实际的条件下，接近失败的数据仍然可用。即便如此，也只有适度的改善。提出了一种基于自监督预训练的SSL方法。该方法可以优于两个竞争的方法，从文献和监督基线在现实条件下的NASA C-MAPSS数据集。
2021-08-26 cs.LG
Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision
Imperial College London（帝国理工学院）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））；Facebook London（Facebook（伦敦））
音频和视觉模态之间的直观交互对于跨模态自监督学习是有价值的。这一概念已被证明为通用的视听任务，如视频动作识别和声学场景分类。然而，自我监督仍然没有充分探讨视听讲话。我们提出了一种从原始音频波形中学习自监督语音表示的方法。我们训练一个原始的音频编码器相结合的音频只有自我监督（通过预测信息音频属性）与视觉自我监督（通过生成说话的脸从音频）。视觉托词任务驱动音频表示来捕获与嘴唇运动相关的信息。这丰富了音频编码器的视觉信息和编码器可以用于评估没有视觉模态。我们的方法相对于现有的自监督音频特征在已建立的孤立词分类基准上具有竞争力的性能，并且在从较少的标签中学习方面显着优于其他方法。值得注意的是，我们的方法还优于完全监督训练，从而为语音相关任务提供了强大的初始化。我们的研究结果表明，在视听语音学习良好的音频表示的多模态自我监督的潜力。
2020-07-08 cs.CL cs.CV cs.LG
Trial2Vec: Zero-Shot Clinical Trial Document Similarity Search using Self-Supervision
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
临床试验对于药物开发至关重要，但进行起来极其昂贵和耗时。在设计临床试验时，研究类似的历史试验是有益的。然而，冗长的试验文件和缺乏标记的数据，使试验相似性搜索困难。我们提出了一个zero-shot临床试验检索方法Trial 2 Vec，它通过自我监督学习，而不注释类似的临床试验。具体而言，审判文件的元结构（例如，标题、资格标准、目标疾病）以及临床知识（例如，UMLS知识库https：//www.nlm.nih.gov/research/umls/index.html）被用来自动生成对比样本。此外，Trial 2 Vec编码审判文件考虑元结构，从而产生紧凑的嵌入聚合多方面的信息，从整个文件。我们表明，我们的方法通过可视化产生了医学上可解释的嵌入，并且在试验检索的精确度/召回率方面比最佳基线平均提高了15%，这是在我们标记的1600个试验对上进行的评估。此外，我们证明了预训练的嵌入有利于下游试验结果预测任务超过24万次试验。软件可在https://github.com/RyanWangZf/Trial2Vec上获得。
2022-10-09 cs.AI cs.CL cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
SE-ADD: Self-Evolving Audio Deepfake Detection with Mistake-Driven Supervision
University of Surrey（萨里大学）；Guangxi University（广西大学）；Shenzhen University of Advanced Technology（深圳理工大学）；Adelaide University（阿德莱德大学）
针对音频深度伪造检测中新兴攻击的泛化问题，提出SE-ADD自进化框架，利用ALM自身错误驱动的监督和低秩适配迭代调整，显著降低等错误率。
2026-10-01 cs.LG cs.SD
Enhancing Ethereum Fraud Detection via Generative and Contrastive Self-supervision
Zhejiang University of Technology（浙江工业大学）；Binjiang Institute of Artificial Intelligence, ZJUT（浙江工业大学滨江人工智能研究院）；Science and Technology on Communication Information Security Control Laboratory（通信信息安全控制技术实验室）
针对以太坊交易中交互频率和类型的不平衡问题，提出双自监督增强的欺诈检测框架Meta-IFD，通过生成式与对比式机制及多视图特征学习有效提升了庞氏骗局等欺诈行为的检测性能。
2024-12-20 cs.LG
On the Effects of Self-supervision and Contrastive Alignment in Deep Multi-view Clustering
UiT The Arctic University of Norway（挪威北极大学）；Norwegian Computing Center（挪威计算中心）；University of Copenhagen（哥本哈根大学）
自监督学习是最近深度多视图聚类（MVC）方法的核心组成部分。然而，我们发现在深度MVC的基于自我监督的方法的开发中存在很大的差异，这可能会减缓该领域的进展。为了解决这个问题，我们提出了DeepMVC，这是一个统一的深度MVC框架，其中包括许多最新的方法作为实例。我们利用我们的框架，使自我监督的效果，特别是调整表示与对比学习的缺点的关键意见。此外，我们证明了对比对齐会对聚类可分性产生负面影响，并且当视图数量增加时，这种影响会变得更糟。在我们的研究结果的激励下，我们开发了几个新的DeepMVC实例，具有新的自我监督形式。我们进行了大量的实验，发现（i）与我们的理论研究结果一致，对比比对降低了具有许多视图的数据集的性能;（ii）所有方法都受益于某种形式的自我监督;（iii）我们的新实例在几个数据集上优于以前的方法。根据我们的研究结果，我们提出了几个有前途的未来研究方向。为了增强该领域的开放性，我们提供了DeepMVC的开源实现，包括最近的模型和我们的新实例。我们的实施包括一个一致的评估协议，促进公平和准确的方法和组件的评估。
2023-03-17 cs.CV cs.LG stat.ML
There is more to graphs than meets the eye: Learning universal features with self-supervision
ETH Zurich（苏黎世联邦理工学院）；Pacific Northwest National Lab（西北太平洋国家实验室）；Indiana University Bloomington（印第安纳大学伯明顿分校）
针对现有图自监督方法仅限于单一图训练的局限，提出使用特定图编码器同质化特征，并通过通用表示学习模块在多图上学习可泛化特征，显著提升了下游任务性能、训练效率及模型紧凑性。
2024-07-29 cs.LG
Advancing Melanoma Diagnosis with Self-Supervised Neural Networks: Evaluating the Effectiveness of Different Techniques
Greenwood High International School（格林伍德高中国际学校）；Weill Cornell Medicine（威尔康奈尔医学院）
本研究评估多种自监督技术对黑色素瘤斑块分类深度学习模型准确性的影响，发现损坏去除方法效果显著，并指出通过更多训练轮次或扩大数据集可进一步提升性能，建议未来探索BYOL和对比学习等方法。
2024-07-19 cs.CV cs.LG
Co-learning: Learning from Noisy Labels with Self-supervision
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于人工标注错误或监督学习的网络数据采集错误而导致的噪声标注会导致神经网络过拟合误导信息，从而降低泛化性能。自监督学习在没有标签的情况下工作，从而消除了噪声标签的负面影响。受监督学习和自监督学习的共同训练的启发，我们提出了一种简单而有效的方法，称为Co-learning学习噪声标签。协同学习以协同的方式进行监督学习和自监督学习。与自监督模块的内在相似性和与噪声监督模块的结构相似性的约束施加在共享的共同特征编码器上，以正则化网络，从而最大化两个约束之间的一致性。在基准数据集上对协同学习与对等方法进行了比较，并提供了大量的结果，表明协同学习优于许多最先进的方法。
2021-10-30 cs.LG
CoLES: Contrastive Learning for Event Sequences with Self-Supervision
AIRI（人工智能研究所）；Sber AI Lab（俄罗斯联邦储蓄银行人工智能实验室）；MIPT（莫斯科物理技术学院）；New York University（纽约大学）
我们解决的问题，自监督学习的离散事件序列产生的现实世界的用户。自监督学习将来自原始数据的复杂信息合并到低维固定长度的向量表示中，可以很容易地应用于各种下游机器学习任务。在本文中，我们提出了一种新的方法“CoLES”，适应对比学习，以前用于音频和计算机视觉域，在自监督设置的离散事件序列域。我们基于欧洲大型金融服务公司的交易序列部署了CoLES嵌入。CoLES嵌入的使用显著提高了现有模型在下游任务上的性能，并产生了显著的财务收益，每年可达数亿美元。我们还在几个公共事件序列数据集上评估了CoLES，并表明CoLES表示在不同的下游任务上始终优于其他方法。
2022-07-22 cs.LG
Feature propagation as self-supervision signals on graphs
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)（加泰罗尼亚理工大学-巴塞罗那理工（UPC））
针对图自监督学习中对比学习开销大且增广可能改变语义的问题，提出RGI框架，通过最大化节点嵌入与特征传播的互信息训练图神经网络，非对比且无需增广，在基准上达到最先进性能。
2023-09-04 cs.LG
Hyperspherically Regularized Networks for Self-Supervision
University of Aberdeen（阿伯丁大学）
Bootstrap Your Own Latent（BYOL）引入了一种自监督学习的方法，避免了对比范式，并随后消除了与此类方法相关的负采样的计算负担。然而，我们的经验发现，下BYOL的自蒸馏范式产生的图像表示是不好的分布在表示空间相比，对比方法。这项工作经验表明，对比度损失所实施的功能多样性是有益的图像表示的均匀性时，采用BYOL，因此，提供了更大的类间表示可分性。此外，我们探索并提倡使用正则化方法，特别是网络权重的超球能量的逐层最小化（即熵的最大化），以鼓励表示的均匀性。我们表明，直接优化标准损失的均匀性度量，或正则化BYOL架构的网络以最小化神经元的超球面能量，可以产生更均匀分布的表示，从而更好地执行下游任务。
2022-03-27 cs.LG
Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty
UC Berkeley（加州大学伯克利分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
自我监督为下游任务提供了有效的表示，而不需要标签。然而，现有的方法落后于完全监督的训练，并且通常被认为除了消除或减少对注释的需求之外没有好处。我们发现，自我监督可以通过多种方式使鲁棒性受益，包括对抗性示例的鲁棒性，标签腐败和常见的输入腐败。此外，自监督极大地有利于对困难的、接近分布的离群值的分布外检测，以至于它超过了完全监督方法的性能。这些结果证明了自我监督的承诺，提高鲁棒性和不确定性估计，并建立这些任务作为新的轴的评价，为未来的自监督学习研究。
2019-10-29 cs.CV cs.LG stat.ML
TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision
University of Stuttgart（斯图加特大学）
如今，深度神经网络在许多任务上都优于人类。然而，如果输入分布偏离训练中使用的分布，它们的性能就会显著下降。最近发表的研究表明，使模型参数适应测试样本可以减轻这种性能下降。因此，在本文中，我们提出了一种新的修改的自监督训练算法SwAV，增加了适应单个测试样本的能力。使用所提供的原型的SwAV和我们推导出的测试时间损失，我们对齐的表示看不见的测试样本与自我监督学习的原型。我们展示了我们的方法在通用基准数据集CIFAR 10-C上的成功。
2022-05-18 cs.CV cs.LG
Test-Time Training with Self-Supervision for Generalization under Distribution Shifts
University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣地亚哥分校）
在本文中，我们提出了测试时训练，一种通用的方法，用于提高预测模型的性能时，训练和测试数据来自不同的分布。我们将单个未标记的测试样本转化为自监督学习问题，在进行预测之前更新模型参数。这也自然延伸到在线流中的数据。我们简单的方法导致不同的图像分类基准的改进，旨在评估分布偏移的鲁棒性。
2020-07-01 cs.CV cs.LG stat.ML
Deep Clustering with Self-Supervision using Pairwise Similarities
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
本文提出自监督深度聚类框架DCSS，先通过簇特定损失训练自编码器形成超球状潜在空间，再利用成对相似性构建K维空间以处理复杂簇分布，在七个基准数据集上验证了有效性。
2024-05-06 cs.LG
Data Transformation Insights in Self-supervision with Clustering Tasks
Bing Ads, Microsoft（必应广告，微软）
自我监督是将深度学习扩展到标签稀缺领域的关键。对于大多数自监督方法，数据转换起着重要的作用。然而，到目前为止，尚未研究转型的影响。此外，不同的转换可能对系统产生不同的影响。我们提供了新的见解使用数据转换的自我监督任务，特别是有关聚类。我们从理论上和经验上证明了某些变换有助于自监督聚类的收敛。我们还显示的情况下，转换是没有帮助的，在某些情况下，甚至是有害的。我们显示更快的收敛速度与有效的转换凸以及某些家庭的非凸目标，随着证明收敛到原来的最优值。我们有合成和真实世界的数据实验。经验上，我们的结果符合理论的见解提供。
2020-02-18 cs.LG math.ST stat.ML
Simplifying Deep Reinforcement Learning via Self-Supervision
Texas A&M University（德克萨斯农工大学）
监督回归示范已被证明是训练深层政策网络的稳定方法。我们的动机是研究如何充分利用监督损失函数来稳定地训练深度强化学习代理。这是一项具有挑战性的任务，因为目前还不清楚如何收集训练数据以改进政策。在这项工作中，我们提出了自我监督强化学习（SSRL），一个简单的算法，优化政策与纯粹的监督损失。我们证明，没有策略梯度或价值估计，"标签”数据和监督回归的迭代过程足以推动稳定的政策改进。通过选择和模仿具有高情节奖励的轨迹，SSRL与当代算法相比具有更稳定的性能和更少的运行时间，显示出用监督学习技术解决强化学习的潜力。代码可在https://github.com/daochenzha/SSRL上获得
2021-06-10 cs.LG
Recent Advancements in Self-Supervised Paradigms for Visual Feature Representation
Indian Institute of Technology, Gandhinagar（甘地讷格尔印度理工学院）
在过去的十年里，我们见证了监督学习范式的巨大增长。监督学习需要大量的标记数据来达到最先进的性能。然而，标记样本需要大量的人工注释。为了避免标记数据的成本，提出了自监督方法来利用大量可用的未标记数据。本研究对特征表征的自我监督范式的最新发展进行了全面而深入的调查和分析。在本文中，我们调查的因素影响的有用性，自我监督在不同的设置。我们提出了一些关于自我监督，生成和对比方法的两种不同方法的关键见解。我们还研究了监督对抗训练的局限性，以及自我监督如何帮助克服这些局限性。然后，我们继续讨论有效地使用视觉任务的自我监督的局限性和挑战。最后，我们强调了一些开放的问题，并指出未来的研究方向。
2021-11-03 cs.CV cs.LG
Statistical transformer networks: learning shape and appearance models via self supervision
Department of Computer Science, University of York（约克大学计算机科学系）
我们推广空间Transformer网络（ESTA）通过替换一个固定的，定期的采样网格与可变形的，统计的形状模型，这是自己学习的参数变换。我们称之为统计Transformer网络（StaTN）。通过训练包含特定任务的StaTN端到端的网络，网络学习任务的输入数据的最佳非刚性对齐。此外，统计形状模型是在没有直接监督（例如地标）的情况下学习的，并且可以重新用于其他任务。除了针对特定任务进行训练外，我们还展示了StaTN可以使用通用损失函数学习形状模型。这包括受最小描述长度原则启发的损失，其中外观模型也是从头开始学习的。在这种配置中，我们的模型学习了一个活跃的外观模型和一种从头开始适应模型的方法，根本没有监督，甚至没有身份标签。
2018-04-07 cs.CV cs.LG
S4RL: Surprisingly Simple Self-Supervision for Offline Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Nvidia（英伟达）
离线强化学习提出从大型收集的数据集中学习策略，而无需与物理环境进行交互。这些算法使得从数据中学习有用的技能成为可能，这些技能可以部署在现实世界的环境中，在这些环境中，交互可能是昂贵或危险的，例如自动驾驶或工厂。然而，当前的算法过拟合到它们所训练的数据集，并且在部署时对环境表现出较差的分布外泛化。在本文中，我们研究的有效性执行数据增强的状态空间，并研究7种不同的增强方案，以及它们如何与现有的离线RL算法的行为。然后，我们将最佳数据执行增强方案与最先进的Q学习技术相结合，并通过平滑学习的状态-动作空间来改进Q网络的函数逼近。我们的实验表明，在RL（S4 RL）中使用这种令人惊讶的简单自我监督技术，我们显着改进了当前离线机器人学习环境（如MetaWorld [1]和RoboSuite [2，3]）和基准数据集（如D4 RL [4]）的最先进算法。
2021-07-05 cs.LG
On the Transferability of Large-Scale Self-Supervision to Few-Shot Audio Classification
University of Edinburgh（爱丁堡大学）；Thales UK RTI（泰雷兹英国研究与技术研究所）
本研究评估了大规模自监督模型在少样本音频分类中的性能，发现其在SpeechCommandsv2等任务上达到最先进水平，并揭示了少样本学习能力与下游音频任务基准间的强相关性。
2024-02-13 cs.LG cs.SD eess.AS
On the Marginal Benefit of Active Learning: Does Self-Supervision Eat Its Cake?
University of California, Riverside（加州大学河滨分校）
主动学习是一组用于智能标记大型未标记数据集以减少标记工作的技术。同时，自监督和半监督学习（S4 L）的最新发展提供了基于数据增强、对比学习和自训练的强大技术，这些技术能够更好地利用未标记的数据，从而显著减少标准机器学习基准测试中所需的标记。一个自然的问题是，这些范式是否可以统一起来，以获得更好的结果。为此，本文提出了一种新的算法框架，集成自监督预训练，主动学习，一致性正则化的自我训练。我们在CIFAR 10和CIFAR 100数据集上对我们的框架进行了广泛的实验。这些实验使我们能够分离和评估使用最先进的方法（例如~ Core-Set、VAAL、simple、FixMatch）。我们的实验揭示了两个关键的见解：（i）自监督预训练显着提高了半监督学习，特别是在少标签制度，（ii）主动学习的好处是破坏和S4 L技术的包容。具体来说，我们没有观察到任何额外的好处，国家的最先进的主动学习算法时，结合国家的最先进的S4 L技术。
2020-11-16 cs.LG
