Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research（IBM研究院人工智能基础部）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了区分对抗网络（DAN）的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络（GANs）和条件GANs的基础上，但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架，它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例：分类和排名。我们在三个不同任务的数据集上的实验结果表明，DAN是一个很有前途的框架，用于半监督学习和学习预测器的损失函数。对于所有任务，DAN的半监督能力可以显着提高小标记集的预测器性能，而任务之间的架构变化较小。此外，由DAN自动学习的损失函数是非常有竞争力的，并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注，因为它需要大量的标记数据，这些数据通常是昂贵的，需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能，监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架，LaplaceNet，深度半监督分类，大大降低了模型的复杂性。我们利用一种混合的方法，其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上，我们的模型优于最先进的深度半监督分类方法。此外，我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明，通过严格的实验，多采样增强方法提高了泛化能力，降低了网络对增强的敏感性。
2022-09-28 cs.LG
Swarm Intelligence in Semi-supervised Classification
本文综述了群体智能算法在半监督分类领域的研究进展。在机器学习领域，有许多关于应用群体智能算法的研究论文。SI中的一些算法单独或与其他ML算法混合应用于ML领域。SI算法也可用于ML算法的参数调整，或作为ML算法的骨干。本文简要介绍了群体智能算法在半监督学习领域中的应用
2017-06-03 cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
Guided Anisotropic Diffusion and Iterative Learning for Weakly Supervised Change Detection
ONERA（法国航空航天研究院）；Télécom ParisTech（巴黎高等电信学院）
从用户标签或公开可用的数据创建的大规模数据集对于为大规模学习算法提供训练数据已经变得至关重要。虽然这些数据集更容易获得，但数据通常是嘈杂和不可靠的，这激发了对弱监督学习技术的研究。在本文中，我们提出了一种迭代学习方法，提取有用的信息，从一个大规模的变化检测数据集产生的开放矢量数据训练一个完全卷积网络，它超越了朴素的监督学习所获得的性能。我们还提出了引导各向异性扩散算法，它改善了语义分割的结果，使用输入图像作为指导，执行边缘保持滤波，并与迭代训练方法结合使用，以改善结果。
2019-04-17 cs.CV cs.LG
Data Augmentation for Supervised Graph Outlier Detection via Latent Diffusion Models
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Notre Dame（圣母大学）
本文提出GODM，利用隐空间扩散模型为监督式图异常检测生成合成异常样本以缓解类别不平衡，实验验证其有效性和效率，并发布为即插即用软件包。
2024-11-23 cs.LG cs.SI
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University（哥伦比亚大学）
在这项工作中，我们表明，用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展，将预训练中的图像数量从数百万增加到10亿。我们进行消融研究，比较半监督和监督模型的迁移学习，同时保持所有其他因素相同。在半监督模型中，我们比较了对比学习与师生方法，以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性，为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Supervised Multi-topology Network Cross-diffusion for Population-driven Brain Network Atlas Estimation
Istanbul Technical University（伊斯坦布尔理工大学）；Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国立工程师学院）；LATIS- Laboratory of Advanced Technology and Intelligent Systems（先进技术与智能系统实验室（LATIS））
估计具有代表性和区分性的脑网络图谱（BNA）是绘制健康和疾病人群脑网络的新兴研究领域。虽然有限，现有的BNA估计方法有几个限制。首先，它们主要依赖于相似性网络扩散和融合技术，该技术在跨网络扩散过程中仅考虑节点度作为拓扑度量，从而忽略了大脑网络的丰富拓扑度量（例如，中心性）。其次，扩散和融合技术都是以完全无监督的方式实现的，这可能会降低估计的BNA的辨别能力。为了填补这些空白，我们提出了一个监督的多拓扑网络交叉扩散（SM-netFusion）框架，用于估计满足以下条件的BNA：（i）良好的代表性（捕获受试者之间的共享特征），（ii）良好的中心性（最佳接近所有受试者），以及（iii）高区分度（可以轻松有效地识别区分两个人群的区别性大脑连接）。对于一个特定的类，给定的训练数据的集群标签，我们学习的拓扑扩散内核的加权组合，从度，接近度和特征向量中心的措施，在监督的方式。具体来说，我们通过使用学习的扩散内核对训练大脑网络进行归一化来学习交叉扩散过程。与其变体和最先进的方法相比，我们的SM-netFusion生成了最集中和最具代表性的模板，并进一步将自闭症受试者的分类提高了5- 15%。SM-netFusion提出了基于图拓扑度量的监督网络交叉扩散的第一项工作，可以进一步利用它来设计一种有效的图特征选择方法，用于训练网络神经科学中的预测学习器。
2020-09-23 cs.LG stat.ML
Deconstructing Denoising Diffusion Models for Self-Supervised Learning
FAIR, Meta（Meta 基础人工智能研究中心）；New York University（纽约大学）
本文通过将去噪扩散模型逐步解构为经典去噪自编码器，分析各组件对自监督表示学习的作用，并提出一种高度简化且性能良好的方法。
2024-01-25 cs.CV cs.LG
Mediffusion: Joint Diffusion for Self-Explainable Semi-Supervised Classification and Medical Image Generation
Warsaw University of Technology（华沙理工大学）；Sano Centre for Computational Medicine（萨诺计算医学中心）；IDEAS NCBR
提出 Mediffusion 方法，通过单一共享参数化的联合扩散模型，将标准分类与基于扩散的生成任务相结合，有效利用有标签和无标签数据进行医学图像半监督分类，并通过反事实示例提供准确可靠的解释。
2024-11-12 cs.CV cs.LG
Hyperspectral Diffusion Equivariant Imaging (HyDiff-EI): A Self-supervised Framework for Hyperspectral Image Inpainting
University of Edinburgh（爱丁堡大学）
提出HyDiff-EI自监督框架，将扩散建模与等变先验结合，针对高光谱图像修复，在Chikusei等真实数据集上表现优于现有算法，适配标注数据有限的遥感场景。
2026-08-28 cs.CV cs.LG
Sparsely Supervised Diffusion
Department of Electrical Engineering and Automation, Aalto University, Finland（电气工程与自动化系，阿alto大学，芬兰）；Department of Computer Science, Aalto University, Finland（计算机科学系，阿alto大学，芬兰）
该研究提出了一种稀疏监督学习方法，通过掩码扩散模型中的大部分像素来减少生成不一致性，同时保持模型性能并提高稳定性。
2026-11-04 cs.AI cs.LG
Denoising Diffusion Autoencoders are Unified Self-supervised Learners
Beihang University（北京航空航天大学）
该研究发现去噪扩散自编码器（DDAE）是统一自监督学习器，经无条件图像生成预训练可获强线性可分表征，在多数据集上性能比肩对比学习和掩码自编码器，具备扩展为统一基础模型的潜力。
2023-08-19 cs.CV cs.LG
Prompt-Driven Feature Diffusion for Open-World Semi-Supervised Learning
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文提出提示驱动特征扩散（PDFD）方法，利用类原型作为提示引导特征扩散，结合类条件对抗损失，解决开放世界半监督学习中未见类别的标记数据缺失问题，实验显示性能显著优于现有方法。
2024-04-17 cs.AI cs.CV cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Diffusion-Assisted Distillation for Self-Supervised Graph Representation Learning with MLPs
School of Computing, KAIST（韩国科学技术院计算机学院）
针对自监督图表示学习中GNN向MLP蒸馏难度大的问题，提出DAD-SGM方法，以去噪扩散模型为教师助手辅助蒸馏，提升MLP的泛化性与鲁棒性，实验表现优于现有最先进方法。
2025-10-05 cs.AI cs.LG
Evaluating the Representation Space of Diffusion Models via Self-Supervised Principles
University of Science and Technology of China（中国科学技术大学）
受自监督学习启发，提出基于Fisher信息的度量ICR，分解特征为不变和残差成分，用于联合评估扩散模型的表示与生成能力，发现中间噪声水平下不变性最强且分类性能最佳，ICR可敏感检测训练中的记忆化。
2026-06-08 cs.CV cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
A Consistent Diffusion-Based Algorithm for Semi-Supervised Graph Learning
Institut Polytechnique de Paris（巴黎理工学院）
本文证明基于热扩散的半监督图分类算法在评分前需对平衡温度中心化才能保证一致性，并显著提升真实图性能。
2023-11-13 cs.LG cs.SI
Crossway Diffusion: Improving Diffusion-based Visuomotor Policy via Self-supervised Learning
Stony Brook University（石溪大学）
本文提出Crossway Diffusion方法，通过状态解码器与自监督学习目标增强扩散策略的视觉表示，在模拟与真实机器人任务中一致优于标准扩散策略和基线。
2024-01-11 cs.CV cs.LG cs.RO
Fitting a Directional Microstructure Model to Diffusion-Relaxation MRI Data with Self-Supervised Machine Learning
University College London（伦敦大学学院）；Cardiff University（卡迪夫大学）
机器学习是将微结构模型拟合到扩散MRI数据的强大方法。早期的机器学习微结构成像实现训练回归器以监督的方式估计模型参数，使用具有已知基础事实的合成训练数据。然而，这种方法的缺点是训练数据的选择影响拟合的参数值。在这种情况下，自监督学习正在成为监督学习的一个有吸引力的替代方案。到目前为止，监督学习和自监督学习通常都应用于各向同性模型，例如体素内非相干运动（IVIM），而不是也估计各向异性结构的方向性的模型。在本文中，我们展示了自监督机器学习模型适合于定向微观结构模型。特别是，我们将组合的T1球杆模型拟合到多维扩散（MUDI）挑战扩散松弛数据集。与标准的非线性最小二乘拟合相比，我们的自监督方法在模拟和体内大脑数据的参数估计和计算时间方面都有明显的改善。为这项研究构建的人工神经网络代码可从以下GitHub存储库中公开使用：https://github.com/jplte/deep-T1-ball-stick
2022-10-05 cs.CV cs.LG eess.IV
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University（卡内基梅隆大学）
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此，当在现实世界的用例中使用时，学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例，通常会提高性能。然而，在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中，我们解除这一假设，并提出了两个半监督的方法，基于卷积神经网络（CNN）学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习，同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中，我们表明，我们的CNN在平均F1得分（Fm）方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja（拉里奥哈大学）
在本文中，我们描述了一种新的方法，半监督机器学习的数学基础。利用符号计算和计算机代数的方法，利用持久同调的概念，得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
最大化受试者工作特征曲线下面积（AUC）是不平衡分类的标准方法。到目前为止，已经开发了各种监督AUC优化方法，并且它们也被扩展到半监督场景以应对小样本问题。然而，现有的半监督AUC优化方法依赖于强分布假设，而这些假设在现实世界的问题中很少得到满足。在本文中，我们提出了一种新的半监督AUC优化方法，不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法（PU-AUC），然后将其与监督AUC优化方法相结合，将其扩展到半监督学习。我们从理论上证明，在没有限制性分布假设的情况下，未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后，我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
Diffusion Adversarial Representation Learning for Self-supervised Vessel Segmentation
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术研究院（KAIST））
医学图像中的血管分割是血管疾病诊断和治疗计划的重要内容之一。虽然基于学习的分割方法已经得到了广泛的研究，但在监督方法中需要大量的地面真实标签，并且混乱的背景结构使得神经网络难以以无监督的方式分割血管。为了解决这个问题，我们在这里引入了一种新的扩散对抗表示学习（DARL）模型，该模型利用了具有对抗学习的去噪扩散概率模型，并将其应用于血管分割。特别是，对于自监督血管分割，DARL使用扩散模块学习背景信号，这使得生成模块有效地提供血管表示。此外，通过基于所提出的可切换空间自适应去规范化的对抗学习，我们的模型估计合成的假血管图像以及血管分割掩码，这进一步使模型捕获血管相关的语义信息。一旦所提出的模型被训练，该模型生成分割掩模在一个单一的步骤，并可以应用于冠状动脉造影和视网膜图像的一般血管结构分割。在各种数据集上的实验结果表明，我们的方法显着优于现有的无监督和自监督血管分割方法。
2023-02-15 cs.CV cs.LG eess.IV
Graph Neural Diffusion Networks for Semi-supervised Learning
Tongji University（同济大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对GCN在稀疏标记图上的欠平滑与过平滑问题，提出融合神经网络与传统图扩散的GND-Nets，单层利用顶点局部全局邻域信息，实验验证其优于现有方法。
2025-02-21 cs.AI cs.LG
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University（京都大学）
我们解释了基于图的半监督学习的泊松学习，看看它是否可以避免全局信息丢失的问题，因为基于拉普拉斯的学习方法在大型图。从我们的分析来看，泊松学习仅仅是带有阈值的拉普拉斯正则化，不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的，它包括的方法，并评论它们的使用和实现。然后，我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单、快速、易于调整的半监督学习（SSL）算法--半监督学习中的负采样（NS 3L）。NS 3L的动机是负抽样/对比估计的成功。我们证明，将NS 3L损失添加到最先进的SSL算法中，例如虚拟对抗训练（VAT），显着改善了vanilla VAT及其变体，具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中，MixMatch是当前最先进的半监督任务方法，我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10，CIFAR 100，SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
Improved Multi-Shot Diffusion-Weighted MRI with Zero-Shot Self-Supervised Learning Reconstruction
Athinoula A. Martinos Center for Biomedical Imaging（阿瑟诺拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）；University of São Paulo（圣保罗大学）；Technische Universität München（慕尼黑工业大学）；Harvard-MIT Health Sciences and Technology（哈佛-麻省理工健康科学与技术部）
本文提出zero-MIRID方法，通过零样本自监督学习和CNN去噪器联合重建多激发EPI数据，在体内实验中优于现有并行成像方法，改善了扩散MRI的分辨率和伪影问题。
2023-09-22 cs.LG eess.IV
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence（嵌入式智能公司）
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查，这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明，影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架，针对半监督学习方法，以更好地理解和利用其局限性，并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
A nonlinear diffusion method for semi-supervised learning on hypergraphs
School of Computer Science（计算机科学学院）；Gran Sasso Science Institute（大萨索科学研究所）；Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；School of Mathematics（数学学院）
超图是数据中多路关系的常见模型，超图半监督学习是将标签分配给超图中的所有节点的问题，仅在少数节点上给出标签。扩散和标签扩散是图环境中半监督学习的经典技术，并且有一些标准的方法将它们扩展到超图。然而，这些方法都是线性模型，并没有提供一个明显的方法来结合节点特征进行预测。在这里，我们在超图上开发了一个非线性扩散过程，该过程根据超图结构传播特征和标签，这可以被解释为超图平衡网络。即使这个过程是非线性的，我们表现出全局收敛到一个独特的限制点的广泛的非线性，这是一个可解释的，正规化的半监督学习损失函数的全局最优。极限点作为一个节点嵌入，我们从这个节点嵌入中使用线性模型进行预测。我们的方法比几个超图神经网络更准确，也需要更少的时间来训练。
2022-02-11 cs.LG cs.SI physics.data-an
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna（博洛尼亚大学）
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是，强制平滑的输出变化，同时呈现视频序列中的时间闭合帧，被证明是一种有效的策略。在本文中，我们证明了半监督增量调谐的时间相干性的功效。我们表明，如果暴露于未标记数据的视频序列，一个深度架构，只要以监督的方式进行温和的训练，就可以逐步提高其分类准确性。在某些情况下，半监督调优允许提高分类准确性（接近监督的）的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University（女王大学）
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面，标记EEG数据通常昂贵且耗时。为了解决这个问题，并减少在基于EEG的情感识别的背景下对输出标签的需求，我们提出了一个半监督管道，以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性，而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架，并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器，即使在训练期间输出标签的小子集（3%，5%和10%）可用时，也始终优于基准方法，从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex School of Data Analysis（Yandex数据分析学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上，该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类，已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中，我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法，并提出了一种新的原则性方法，半监督线性判别分析，使用所谓的隐式约束。我们探讨这些方法之间的关系，并考虑的问题，如果在什么意义上，我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒，并且在未见过对象的对数似然性方面，可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Univrses AB（Univrses公司）
我们提出了Dense FixMatch，这是一种简单的方法，用于密集和结构化预测任务的在线半监督学习，通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作，我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能，包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比，Dense FixMatch显著改善了结果，接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology（格拉茨技术大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；University of Cambridge（剑桥大学）
在一些领域中，获取类注释是昂贵的，而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设，但最近的工作已经成功地在非限制性机制中学习半监督模型。然而，到目前为止，这样的方法只提出了线性模型。在这项工作中，我们介绍了和积网络（SPN）的半监督参数学习。SPN是深度概率模型，允许在线性时间内推理网络边缘的数量。我们的方法有几个优点，因为它（1）允许生成和判别式半监督学习，（2）保证添加未标记数据可以增加，但不会降低性能（安全），（3）计算效率高，不会对数据分布进行限制性假设。我们在各种数据集上表明，与最先进的方法相比，使用SPN的安全半监督学习具有竞争力，并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
Patch2Self: Denoising Diffusion MRI with Self-Supervised Learning
Indiana University Bloomington（印第安纳大学伯明顿分校）；CZ Biohub（CZ生物中心）
弥散加权磁共振成像（DWI）是唯一的非侵入性方法，量化微观结构和重建白质通路在活的人类大脑。来自多个来源的波动会在DWI数据中产生显著的加性噪声，必须在随后的微观结构分析之前对其进行抑制。我们介绍了一种自监督学习方法去噪DWI数据，Patch2Self，它使用整个体积来学习该体积的满秩局部线性去噪器。通过利用DWI数据的过采样q空间，Patch2Self可以将结构与噪声分离，而无需明确的模型。我们证明了Patch2Self的有效性，通过定量和定性的改进，在微观结构建模，跟踪（通过纤维束相干性）和模型估计相对于其他无监督的方法对真实和模拟数据。
2020-11-02 cs.CV cs.LG q-bio.QM
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
深度神经网络证明了它们在广泛的监督学习任务（例如，图像分类）在大量的标记数据集合上训练时（例如，ImageNet）。然而，创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下，这些资源可能不可用，从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时，对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加，以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中，我们对深度半监督学习进行了全面的概述，首先介绍了该领域，然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Semi-Supervised Conditional Diffusion via Label Augmentation
Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学）；School of Statistics and Data Science, Nankai University（统计与数据科学学院，南开大学）；School of Statistics, East China Normal University（统计学院，华东师范大学）；Department of Data Science and AI, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学）
研究如何利用未标记数据改进条件扩散模型，提出标签增强条件扩散方法（LACD），通过给未标记数据赋平凡标签并联合去噪，在理论上保证可识别性和收敛速度，实验证明该方法在样本效率和生成性能上优于纯监督估计器。
2026-07-21 cs.LG stat.ML
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）
从顺序到达的数据中学习，可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止，持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中，每个任务都包含标记（通常很少）和未标记（通常很多）的训练样本，这需要半监督学习方法。为了在持续学习环境中解决这个问题，我们提出了一个半监督持续学习的框架，称为连续半监督学习的元巩固（MCSSL）。我们的框架有一个超网络，它学习元分布，生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识，基础网络学习半监督学习任务。此外，我们提出了$\textit{Semi-Split CIFAR-10}$，一个新的基准连续半监督学习，通过修改$\textit{Split CIFAR-10}$数据集，其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能，提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Class-Attentive Diffusion Network for Semi-Supervised Classification
Seoul National University（首尔大学）；University of Birmingham（伯明翰大学）
近年来，用于半监督分类的图神经网络得到了广泛的研究。然而，现有的方法只使用有限的邻居的信息，并没有处理图中的类间连接。在本文中，我们提出了自适应聚合类注意扩散（AdaCAD），一个新的聚合方案，自适应聚合的节点可能是同类之间的K跳邻居。为此，我们首先提出了一种新的随机过程，称为类注意扩散（CAD），它加强了对类内节点的关注，减弱了对类间节点的关注。与现有的扩散方法相比，仅由图结构确定的过渡矩阵，CAD考虑了节点特征和图结构，并设计了利用分类器的类关注过渡矩阵。然后，我们进一步提出了一个自适应更新方案，利用不同的反射率的扩散结果为每个节点取决于本地类上下文。AdaCAD的主要优点是消除了由于节点标签和图形拓扑之间的差异而导致的类间特征不期望混合的问题。基于AdaCAD，我们构建了一个简单的模型，称为类注意扩散网络（CAD-Net）。在七个基准数据集上的大量实验一致地证明了所提出的方法的有效性，我们的CAD-Net显着优于最先进的方法。代码可在www.example.com上获得。
2020-12-30 cs.LG stat.ML
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University（纽约大学）
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而，获得高质量的人类标记数据的成本相当高，导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标，一方面，许多论文致力于区分噪声标签和干净标签，以提高DNN的泛化能力。另一方面，越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”，我们将检测到的错误标记数据视为未标记数据;通过“self”，我们选择一种自监督技术进行半监督学习。在这个项目中，我们设计了一些方法来更准确地区分干净和有噪声的标签，并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
为了使半监督技术在实践中安全地应用，我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上，我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同，该过程不依赖于不是手头分类器固有的假设。理论上证明，在标记和未标记的训练数据上测量，这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知，这是第一种方法，提供了这样强大的，虽然保守，保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集，以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind（谷歌DeepMind）
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法，并开发了新的模型，允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止，生成式方法要么不灵活，效率低下，要么不可扩展。我们表明，利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进，使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School（萨拉托加高中）
半监督学习已经获得关注，因为它允许执行图像分析任务，例如使用有限的标记数据进行分类。使用生成对抗网络（GANs）进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而，这可能需要模型为每个任务收敛到单独的数据分布，这可能会降低整体性能。虽然半监督学习已经取得了进展，但小规模的全监督任务却很少得到解决，即使是未标记的数据也无法获得。因此，我们提出了一种新的GAN模型，即外部分类器GAN（EC-GAN），它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说，我们将外部分类器（因此命名为EC-GAN）附加到GAN的生成器，而不是与GAN共享架构。我们的实验表明，EC-GAN的性能与共享架构方法相当，远优于标准的数据增强和基于正则化的方法，并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
