Class-Attentive Diffusion Network for Semi-Supervised Classification
Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
近年来，用于半监督分类的图神经网络得到了广泛的研究。然而，现有的方法只使用有限的邻居的信息，并没有处理图中的类间连接。在本文中，我们提出了自适应聚合类注意扩散（AdaCAD），一个新的聚合方案，自适应聚合的节点可能是同类之间的K跳邻居。为此，我们首先提出了一种新的随机过程，称为类注意扩散（CAD），它加强了对类内节点的关注，减弱了对类间节点的关注。与现有的扩散方法相比，仅由图结构确定的过渡矩阵，CAD考虑了节点特征和图结构，并设计了利用分类器的类关注过渡矩阵。然后，我们进一步提出了一个自适应更新方案，利用不同的反射率的扩散结果为每个节点取决于本地类上下文。AdaCAD的主要优点是消除了由于节点标签和图形拓扑之间的差异而导致的类间特征不期望混合的问题。基于AdaCAD，我们构建了一个简单的模型，称为类注意扩散网络（CAD-Net）。在七个基准数据集上的大量实验一致地证明了所提出的方法的有效性，我们的CAD-Net显着优于最先进的方法。代码可在www.example.com上获得。
2020-12-30 cs.LG stat.ML
Semi-Supervised Monocular Depth Estimation with Left-Right Consistency Using Deep Neural Network
从单目摄像机图像中估计场景的深度已经取得了巨大的研究进展。用于单图像深度预测的现有方法完全基于深度神经网络，并且它们的训练可以使用立体图像对进行无监督，使用LiDAR点云进行监督，或者使用立体和LiDAR进行半监督。一般来说，半监督训练是优选的，因为它不会受到监督训练的弱点的影响，这是由于相机和LiDAR视场的差异造成的，或者是由于可以从立体对恢复的差的深度精度造成的无监督训练。在本文中，我们提出了我们的研究在单图像深度预测使用半监督训练，优于国家的最先进的。我们实现了这一点，通过一个损失函数，明确利用左，右的一致性，在立体重建，这还没有被采用在以前的半监督训练。此外，我们描述了正确使用来自LiDAR的地面真实深度，可以显着减少预测误差。在流行的数据集上评估了我们的深度预测模型的性能，并通过实验结果证明了我们的半监督训练方法的每个方面的重要性。我们的深度神经网络模型已经公开。
2019-05-18 cs.AI cs.CV cs.RO
Sparsely Supervised Diffusion
Department of Electrical Engineering and Automation, Aalto University, Finland（电气工程与自动化系，阿alto大学，芬兰）；Department of Computer Science, Aalto University, Finland（计算机科学系，阿alto大学，芬兰）
该研究提出了一种稀疏监督学习方法，通过掩码扩散模型中的大部分像素来减少生成不一致性，同时保持模型性能并提高稳定性。
2026-11-04 cs.AI cs.LG
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
Good Semi-supervised Learning that Requires a Bad GAN
基于生成对抗网络（GANs）的半监督学习方法获得了强有力的经验结果，但尚不清楚1）如何从与生成器的联合训练中受益，以及2）为什么不能同时获得良好的半监督分类性能和良好的生成器。从理论上讲，我们表明，给定的目标，良好的半监督学习确实需要一个坏的发电机，并提出了一个首选发电机的定义。从经验上讲，我们根据我们的分析推导出一种新的公式，该公式大大改善了特征匹配GANs，在多个基准数据集上获得了最先进的结果。
2017-11-03 cs.AI cs.LG
A Consistent Diffusion-Based Algorithm for Semi-Supervised Classification on Graphs
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）
图上的半监督分类旨在基于称为种子的几个节点的已知标签为图的所有节点分配标签。最流行的算法依赖于热扩散的原理，其中种子的标签通过热传导扩散，并且每个节点的温度被用作每个标签的得分函数。使用一个简单的块模型，我们证明了该算法是不一致的，除非在分类之前的节点的温度是中心。我们表明，这种简单的修改算法是足够的，以获得显着的性能增益的真实数据。
2020-08-27 cs.LG
Semi-supervised classification using a supervised autoencoder for biomedical applications
Cote d'Azur University（蔚蓝海岸大学）；Orange Labs（Orange实验室）
在本文中，我们提出了一种新的方法来解决半监督分类任务的生物医学应用，涉及监督自动编码器网络。我们创建了一个网络架构，将标签编码到自动编码器的潜在空间中，并定义了一个结合分类和重建损失的全局标准。我们使用双下降算法在标记数据上训练半监督自动编码器（SSAE）。然后，我们使用学习的网络对未标记的样本进行分类，这要归功于应用于潜在空间的softmax分类器，该分类器为每个类别提供分类置信度得分。我们使用PyTorch框架实现了SSAE方法，用于模型、优化器、优化器和损失函数。我们比较我们的半监督自动编码器方法（SSAE）与经典的半监督方法，如标签传播和标签扩散，并与全连接神经网络（FCNN）。实验表明，SSAE优于标签传播和传播和全连接神经网络在合成数据集和两个真实世界的生物数据集。
2022-08-22 cs.AI cs.LG q-bio.GN
Semi-supervised Vision Transformers at Scale
AWS AI Labs（亚马逊云科技人工智能实验室）
我们研究半监督学习（SSL）的视觉Transformer（ViT），尽管广泛采用的ViT架构不同的任务，一个未充分探讨的话题。为了解决这个问题，我们提出了一个新的SSL管道，包括第一个非/自我监督的预训练，其次是监督微调，最后是半监督微调。在半监督微调阶段，我们采用指数移动平均（EMA）-教师框架，而不是流行的FixMatch，因为前者更稳定，并提供更高的精度为半监督视觉Transformer。此外，我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签，以改进正则化，这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法，被称为半ViT，实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势，可以轻松扩展到大尺寸模型，并提高精度。例如，Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率，这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Improving Diffusion Planners by Self-Supervised Action Gating with Energies
University of Science and Technology of China（中国科学技术大学）
提出SAGE方法，利用潜在一致性信号在推理时重新排序轨迹，惩罚动态不一致的计划，从而提升扩散规划器的性能和鲁棒性。
2026-05-31 cs.AI cs.LG cs.RO
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier
University of São Paulo（圣保罗大学）
半监督学习受到了研究人员的关注，因为它允许人们利用未标记数据的结构来实现具有竞争力的分类结果，并且标签比监督方法少得多。局部和全局一致性（LGC）算法是最著名的基于图的半监督（GSSL）分类器之一。值得注意的是，它的解可以写成已知标签的线性组合。该线性组合的系数取决于参数$α$，该参数确定在随机游走中到达标记顶点时奖励随时间的衰减。在这项工作中，我们讨论了如何去除标记实例的自影响可能是有益的，以及它如何与留一错误相关。此外，我们建议使用自动微分来最小化这种留一损失。在这个框架内，我们提出了方法来估计标签的可靠性和扩散率。优化扩散速率是更有效地完成与光谱表示。结果表明，标签的可靠性方法与强大的L1-范数方法的竞争，删除对角条目降低过拟合的风险，并导致合适的标准参数选择。
2022-01-10 cs.LG
DiNO-Diffusion. Scaling Medical Diffusion via Self-Supervised Pre-Training
DT&IT Pharma Decision Science - Computer Vision & Sound Analysis（DT&IT制药决策科学——计算机视觉与声音分析）；Diagnostic Imaging Data & AI（诊断成像数据与人工智能）；Bayer AG（拜耳公司）
提出自监督潜在扩散模型DiNO-Diffusion，利用86.8万未标注胸片训练，实现低FID、高AUC提升及零样本分割，支持小数据生成多样合成数据。
2024-07-16 cs.AI cs.CV cs.LG
DeepFork: Supervised Prediction of Information Diffusion in GitHub
University of Central Florida（中佛罗里达大学）
信息在复杂的社交网络上传播速度极快，换句话说，一条信息可以在短时间内迅速传播。通常情况下，在出现重大混乱之前，很难阻止这种扩散，无论是社交媒体还是在线编码平台。GitHub是一个这样的趋势在线焦点，任何企业都可以同时接触到他们的潜在贡献者和客户。通过利用这样的软件开发范式，数以百万计的自由软件最近出现在不同的社区。为了了解GitHub中各类用户之间的人类影响、信息传播和信息传播的演变，我们开发了一个深度神经网络模型：DeepFork，这是一种基于监督机器学习的方法，旨在预测复杂社交网络中的信息扩散;考虑节点和拓扑特征。在我们的实证研究中，我们观察到信息扩散可以通过使用监督学习的链接预测来检测。DeepFork优于其他机器学习模型，因为它可以更好地从输入特征中学习判别模式。DeepFork通过用户和存储库的双向网络帮助理解信息传播和演变，即，信息流从用户到存储库再到用户。
2019-10-17 cs.AI cs.LG cs.MA
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University（上海交通大学）
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本，以避免由于标记样本不足而导致的性能（或模型）退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论，并介绍了半监督学习研究的最新进展，最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Recent Deep Semi-supervised Learning Approaches and Related Works
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）
本文综述了近期深度半监督学习方法，基于流形、聚类和连续性假设对现有工作进行分类，并重点介绍了统一多种思想的整体性方法。
2024-08-08 cs.AI cs.CV cs.LG
Classifier-Free Diffusion-Based Weakly-Supervised Approach for Health Indicator Derivation in Rotating Machines: Advancing Early Fault Detection and Condition Monitoring
Tsinghua University（清华大学）；EPFL（洛桑联邦理工学院）
本文提出一种基于无分类器扩散模型的弱监督方法，利用健康样本和少量异常样本生成健康参考，通过包络谱差异构建异常图并推导可解释的健康指标，在旋转机械早期故障检测与状态监测中表现出优于基线模型的有效性和鲁棒性。
2024-09-03 cs.AI cs.LG eess.SP
Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
深度学习方法实现了对放射学图像进行分类的最先进性能，但依赖于需要专家进行资源密集型注释的大型标记数据集。半监督学习和主动学习都可以用来减轻这种注释负担。然而，在结合半监督和主动学习方法的优点用于多标签医学图像分类方面的工作有限。在这里，我们介绍了一种新的基于一致性的半监督证据主动学习框架（CSEAL）。具体来说，我们利用基于证据理论和主观逻辑的预测不确定性来开发一种端到端的集成方法，该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们应用我们的方法来增强四种领先的基于一致性的半监督学习方法：伪标签，虚拟对抗训练，平均教师和NoTeacher。对多标签胸部X射线分类任务的广泛评估表明，CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。此外，对结果的分类分解表明，我们的方法可以用更少的标记样本大幅提高对罕见异常的准确性。
2022-09-05 cs.AI cs.CV cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Guided Anisotropic Diffusion and Iterative Learning for Weakly Supervised Change Detection
ONERA（法国航空航天研究院）；Télécom ParisTech（巴黎高等电信学院）
从用户标签或公开可用的数据创建的大规模数据集对于为大规模学习算法提供训练数据已经变得至关重要。虽然这些数据集更容易获得，但数据通常是嘈杂和不可靠的，这激发了对弱监督学习技术的研究。在本文中，我们提出了一种迭代学习方法，提取有用的信息，从一个大规模的变化检测数据集产生的开放矢量数据训练一个完全卷积网络，它超越了朴素的监督学习所获得的性能。我们还提出了引导各向异性扩散算法，它改善了语义分割的结果，使用输入图像作为指导，执行边缘保持滤波，并与迭代训练方法结合使用，以改善结果。
2019-04-17 cs.CV cs.LG
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)（Relayr有限公司）
我们提出了一种新的风格的变分自编码器（VAE），无监督，半监督和全监督学习域之间无缝插值。我们表明，未标记的数据点不仅可以提高无监督任务，而且可以提高分类性能。反之亦然，每个标签不仅可以改进分类，还可以改进无监督任务。所提出的架构很简单：分类层连接到最顶层的编码器层，然后与解码器的重采样潜在层相结合。通常的证据下限（ELBO）损失补充了该分类层上的监督损失目标，仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下，我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Fitting a Directional Microstructure Model to Diffusion-Relaxation MRI Data with Self-Supervised Machine Learning
University College London（伦敦大学学院）；Cardiff University（卡迪夫大学）
机器学习是将微结构模型拟合到扩散MRI数据的强大方法。早期的机器学习微结构成像实现训练回归器以监督的方式估计模型参数，使用具有已知基础事实的合成训练数据。然而，这种方法的缺点是训练数据的选择影响拟合的参数值。在这种情况下，自监督学习正在成为监督学习的一个有吸引力的替代方案。到目前为止，监督学习和自监督学习通常都应用于各向同性模型，例如体素内非相干运动（IVIM），而不是也估计各向异性结构的方向性的模型。在本文中，我们展示了自监督机器学习模型适合于定向微观结构模型。特别是，我们将组合的T1球杆模型拟合到多维扩散（MUDI）挑战扩散松弛数据集。与标准的非线性最小二乘拟合相比，我们的自监督方法在模拟和体内大脑数据的参数估计和计算时间方面都有明显的改善。为这项研究构建的人工神经网络代码可从以下GitHub存储库中公开使用：https://github.com/jplte/deep-T1-ball-stick
2022-10-05 cs.CV cs.LG eess.IV
Data Augmentation for Supervised Graph Outlier Detection via Latent Diffusion Models
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Notre Dame（圣母大学）
本文提出GODM，利用隐空间扩散模型为监督式图异常检测生成合成异常样本以缓解类别不平衡，实验验证其有效性和效率，并发布为即插即用软件包。
2024-11-23 cs.LG cs.SI
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich（慕尼黑大学）；Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注，但其在时间序列域中的适用性研究有限。在这项工作中，我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整，特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整，我们探索深度半监督学习在时间序列分类的背景下，通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑，这是尚未在该领域缺乏。我们发现，这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益，特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University（哥伦比亚大学）
在这项工作中，我们表明，用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展，将预训练中的图像数量从数百万增加到10亿。我们进行消融研究，比较半监督和监督模型的迁移学习，同时保持所有其他因素相同。在半监督模型中，我们比较了对比学习与师生方法，以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性，为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara（加州大学圣巴巴拉分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
我们总结了PirouNet，一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列，PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Crossway Diffusion: Improving Diffusion-based Visuomotor Policy via Self-supervised Learning
Stony Brook University（石溪大学）
本文提出Crossway Diffusion方法，通过状态解码器与自监督学习目标增强扩散策略的视觉表示，在模拟与真实机器人任务中一致优于标准扩散策略和基线。
2024-01-11 cs.CV cs.LG cs.RO
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research（IBM研究院人工智能基础部）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了区分对抗网络（DAN）的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络（GANs）和条件GANs的基础上，但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架，它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例：分类和排名。我们在三个不同任务的数据集上的实验结果表明，DAN是一个很有前途的框架，用于半监督学习和学习预测器的损失函数。对于所有任务，DAN的半监督能力可以显着提高小标记集的预测器性能，而任务之间的架构变化较小。此外，由DAN自动学习的损失函数是非常有竞争力的，并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
Supervised Multi-topology Network Cross-diffusion for Population-driven Brain Network Atlas Estimation
Istanbul Technical University（伊斯坦布尔理工大学）；Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国立工程师学院）；LATIS- Laboratory of Advanced Technology and Intelligent Systems（先进技术与智能系统实验室（LATIS））
估计具有代表性和区分性的脑网络图谱（BNA）是绘制健康和疾病人群脑网络的新兴研究领域。虽然有限，现有的BNA估计方法有几个限制。首先，它们主要依赖于相似性网络扩散和融合技术，该技术在跨网络扩散过程中仅考虑节点度作为拓扑度量，从而忽略了大脑网络的丰富拓扑度量（例如，中心性）。其次，扩散和融合技术都是以完全无监督的方式实现的，这可能会降低估计的BNA的辨别能力。为了填补这些空白，我们提出了一个监督的多拓扑网络交叉扩散（SM-netFusion）框架，用于估计满足以下条件的BNA：（i）良好的代表性（捕获受试者之间的共享特征），（ii）良好的中心性（最佳接近所有受试者），以及（iii）高区分度（可以轻松有效地识别区分两个人群的区别性大脑连接）。对于一个特定的类，给定的训练数据的集群标签，我们学习的拓扑扩散内核的加权组合，从度，接近度和特征向量中心的措施，在监督的方式。具体来说，我们通过使用学习的扩散内核对训练大脑网络进行归一化来学习交叉扩散过程。与其变体和最先进的方法相比，我们的SM-netFusion生成了最集中和最具代表性的模板，并进一步将自闭症受试者的分类提高了5- 15%。SM-netFusion提出了基于图拓扑度量的监督网络交叉扩散的第一项工作，可以进一步利用它来设计一种有效的图特征选择方法，用于训练网络神经科学中的预测学习器。
2020-09-23 cs.LG stat.ML
Deconstructing Denoising Diffusion Models for Self-Supervised Learning
FAIR, Meta（Meta 基础人工智能研究中心）；New York University（纽约大学）
本文通过将去噪扩散模型逐步解构为经典去噪自编码器，分析各组件对自监督表示学习的作用，并提出一种高度简化且性能良好的方法。
2024-01-25 cs.CV cs.LG
Mediffusion: Joint Diffusion for Self-Explainable Semi-Supervised Classification and Medical Image Generation
Warsaw University of Technology（华沙理工大学）；Sano Centre for Computational Medicine（萨诺计算医学中心）；IDEAS NCBR
提出 Mediffusion 方法，通过单一共享参数化的联合扩散模型，将标准分类与基于扩散的生成任务相结合，有效利用有标签和无标签数据进行医学图像半监督分类，并通过反事实示例提供准确可靠的解释。
2024-11-12 cs.CV cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注，因为它需要大量的标记数据，这些数据通常是昂贵的，需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能，监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架，LaplaceNet，深度半监督分类，大大降低了模型的复杂性。我们利用一种混合的方法，其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上，我们的模型优于最先进的深度半监督分类方法。此外，我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明，通过严格的实验，多采样增强方法提高了泛化能力，降低了网络对增强的敏感性。
2022-09-28 cs.LG
Hyperspectral Diffusion Equivariant Imaging (HyDiff-EI): A Self-supervised Framework for Hyperspectral Image Inpainting
University of Edinburgh（爱丁堡大学）
提出HyDiff-EI自监督框架，将扩散建模与等变先验结合，针对高光谱图像修复，在Chikusei等真实数据集上表现优于现有算法，适配标注数据有限的遥感场景。
2026-08-28 cs.CV cs.LG
Denoising Diffusion Autoencoders are Unified Self-supervised Learners
Beihang University（北京航空航天大学）
该研究发现去噪扩散自编码器（DDAE）是统一自监督学习器，经无条件图像生成预训练可获强线性可分表征，在多数据集上性能比肩对比学习和掩码自编码器，具备扩展为统一基础模型的潜力。
2023-08-19 cs.CV cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Diffusion Adversarial Representation Learning for Self-supervised Vessel Segmentation
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术研究院（KAIST））
医学图像中的血管分割是血管疾病诊断和治疗计划的重要内容之一。虽然基于学习的分割方法已经得到了广泛的研究，但在监督方法中需要大量的地面真实标签，并且混乱的背景结构使得神经网络难以以无监督的方式分割血管。为了解决这个问题，我们在这里引入了一种新的扩散对抗表示学习（DARL）模型，该模型利用了具有对抗学习的去噪扩散概率模型，并将其应用于血管分割。特别是，对于自监督血管分割，DARL使用扩散模块学习背景信号，这使得生成模块有效地提供血管表示。此外，通过基于所提出的可切换空间自适应去规范化的对抗学习，我们的模型估计合成的假血管图像以及血管分割掩码，这进一步使模型捕获血管相关的语义信息。一旦所提出的模型被训练，该模型生成分割掩模在一个单一的步骤，并可以应用于冠状动脉造影和视网膜图像的一般血管结构分割。在各种数据集上的实验结果表明，我们的方法显着优于现有的无监督和自监督血管分割方法。
2023-02-15 cs.CV cs.LG eess.IV
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Swarm Intelligence in Semi-supervised Classification
本文综述了群体智能算法在半监督分类领域的研究进展。在机器学习领域，有许多关于应用群体智能算法的研究论文。SI中的一些算法单独或与其他ML算法混合应用于ML领域。SI算法也可用于ML算法的参数调整，或作为ML算法的骨干。本文简要介绍了群体智能算法在半监督学习领域中的应用
2017-06-03 cs.LG
Evaluating the Representation Space of Diffusion Models via Self-Supervised Principles
University of Science and Technology of China（中国科学技术大学）
受自监督学习启发，提出基于Fisher信息的度量ICR，分解特征为不变和残差成分，用于联合评估扩散模型的表示与生成能力，发现中间噪声水平下不变性最强且分类性能最佳，ICR可敏感检测训练中的记忆化。
2026-06-08 cs.CV cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
A Consistent Diffusion-Based Algorithm for Semi-Supervised Graph Learning
Institut Polytechnique de Paris（巴黎理工学院）
本文证明基于热扩散的半监督图分类算法在评分前需对平衡温度中心化才能保证一致性，并显著提升真实图性能。
2023-11-13 cs.LG cs.SI
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University（卡内基梅隆大学）
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此，当在现实世界的用例中使用时，学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例，通常会提高性能。然而，在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中，我们解除这一假设，并提出了两个半监督的方法，基于卷积神经网络（CNN）学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习，同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中，我们表明，我们的CNN在平均F1得分（Fm）方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
A nonlinear diffusion method for semi-supervised learning on hypergraphs
School of Computer Science（计算机科学学院）；Gran Sasso Science Institute（大萨索科学研究所）；Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；School of Mathematics（数学学院）
超图是数据中多路关系的常见模型，超图半监督学习是将标签分配给超图中的所有节点的问题，仅在少数节点上给出标签。扩散和标签扩散是图环境中半监督学习的经典技术，并且有一些标准的方法将它们扩展到超图。然而，这些方法都是线性模型，并没有提供一个明显的方法来结合节点特征进行预测。在这里，我们在超图上开发了一个非线性扩散过程，该过程根据超图结构传播特征和标签，这可以被解释为超图平衡网络。即使这个过程是非线性的，我们表现出全局收敛到一个独特的限制点的广泛的非线性，这是一个可解释的，正规化的半监督学习损失函数的全局最优。极限点作为一个节点嵌入，我们从这个节点嵌入中使用线性模型进行预测。我们的方法比几个超图神经网络更准确，也需要更少的时间来训练。
2022-02-11 cs.LG cs.SI physics.data-an
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja（拉里奥哈大学）
在本文中，我们描述了一种新的方法，半监督机器学习的数学基础。利用符号计算和计算机代数的方法，利用持久同调的概念，得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
最大化受试者工作特征曲线下面积（AUC）是不平衡分类的标准方法。到目前为止，已经开发了各种监督AUC优化方法，并且它们也被扩展到半监督场景以应对小样本问题。然而，现有的半监督AUC优化方法依赖于强分布假设，而这些假设在现实世界的问题中很少得到满足。在本文中，我们提出了一种新的半监督AUC优化方法，不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法（PU-AUC），然后将其与监督AUC优化方法相结合，将其扩展到半监督学习。我们从理论上证明，在没有限制性分布假设的情况下，未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后，我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
Patch2Self: Denoising Diffusion MRI with Self-Supervised Learning
Indiana University Bloomington（印第安纳大学伯明顿分校）；CZ Biohub（CZ生物中心）
弥散加权磁共振成像（DWI）是唯一的非侵入性方法，量化微观结构和重建白质通路在活的人类大脑。来自多个来源的波动会在DWI数据中产生显著的加性噪声，必须在随后的微观结构分析之前对其进行抑制。我们介绍了一种自监督学习方法去噪DWI数据，Patch2Self，它使用整个体积来学习该体积的满秩局部线性去噪器。通过利用DWI数据的过采样q空间，Patch2Self可以将结构与噪声分离，而无需明确的模型。我们证明了Patch2Self的有效性，通过定量和定性的改进，在微观结构建模，跟踪（通过纤维束相干性）和模型估计相对于其他无监督的方法对真实和模拟数据。
2020-11-02 cs.CV cs.LG q-bio.QM
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）
从顺序到达的数据中学习，可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止，持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中，每个任务都包含标记（通常很少）和未标记（通常很多）的训练样本，这需要半监督学习方法。为了在持续学习环境中解决这个问题，我们提出了一个半监督持续学习的框架，称为连续半监督学习的元巩固（MCSSL）。我们的框架有一个超网络，它学习元分布，生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识，基础网络学习半监督学习任务。此外，我们提出了$\textit{Semi-Split CIFAR-10}$，一个新的基准连续半监督学习，通过修改$\textit{Split CIFAR-10}$数据集，其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能，提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University（京都大学）
我们解释了基于图的半监督学习的泊松学习，看看它是否可以避免全局信息丢失的问题，因为基于拉普拉斯的学习方法在大型图。从我们的分析来看，泊松学习仅仅是带有阈值的拉普拉斯正则化，不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的，它包括的方法，并评论它们的使用和实现。然后，我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单、快速、易于调整的半监督学习（SSL）算法--半监督学习中的负采样（NS 3L）。NS 3L的动机是负抽样/对比估计的成功。我们证明，将NS 3L损失添加到最先进的SSL算法中，例如虚拟对抗训练（VAT），显着改善了vanilla VAT及其变体，具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中，MixMatch是当前最先进的半监督任务方法，我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10，CIFAR 100，SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Improved Multi-Shot Diffusion-Weighted MRI with Zero-Shot Self-Supervised Learning Reconstruction
Athinoula A. Martinos Center for Biomedical Imaging（阿瑟诺拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）；University of São Paulo（圣保罗大学）；Technische Universität München（慕尼黑工业大学）；Harvard-MIT Health Sciences and Technology（哈佛-麻省理工健康科学与技术部）
本文提出zero-MIRID方法，通过零样本自监督学习和CNN去噪器联合重建多激发EPI数据，在体内实验中优于现有并行成像方法，改善了扩散MRI的分辨率和伪影问题。
2023-09-22 cs.LG eess.IV
