Indian Buffet Process Deep Generative Models for Semi-Supervised Classification
Cyprus University of Technology（塞浦路斯理工大学）
深度生成模型（DGMs）在生成潜变量模型中带来了重大突破，并重新引起了人们的兴趣。然而，DGM不允许对表示观察到的数据所需的潜在特征的数量执行数据驱动的推断。传统的线性公式通过诉诸非参数统计领域的工具来解决这个问题。事实上，施加印度巴菲特过程（IBP）先验的线性潜变量模型已经被机器学习社区广泛研究;这些模型的推断可以通过精确采样或通过近似变分技术来执行。基于这种灵感，在本文中，我们研究是否可以利用现代DGMs的背景下，以解决潜在变量的维数推断问题的贝叶斯nonparametrics领域的类似想法。为此，我们提出了一种新的DGM配方，施加的IBP之前的基础上。我们设计了一个有效的黑盒变分推理算法，我们的模型，并显示其有效性在一些半监督分类实验。在所有情况下，我们使用流行的基准数据集，并与最先进的DGMs进行比较。
2018-03-31 cs.LG
Supervised Anomaly Detection via Conditional Generative Adversarial Network and Ensemble Active Learning
Southwestern University of Finance and Economics（西南财经大学）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
异常检测在机器智能中有着广泛的应用，但仍然是一个尚未解决的难题。主要的挑战包括标记异常的罕见性，这是一类高度不平衡的问题。传统的无监督异常检测器是次优的，而监督模型可以很容易地对正常数据进行有偏的预测。本文通过引入新型集成主动学习生成对抗网络（EAL-GAN），提出了一种新的有监督异常检测器。EAL-GAN是一种条件GAN，具有唯一的一个生成器对多个鉴别器架构，其中异常检测由鉴别器的辅助分类器实现。除了使用条件GAN生成类平衡的补充训练数据外，还设计了一种创新的集成学习损失函数，确保每个类的学习都能弥补其他类的学习不足，以克服类不平衡问题，并引入主动学习算法，以显著降低标注真实世界数据的成本。我们提出了广泛的实验结果表明，新的异常检测器始终优于各种SOTA方法的显着利润率。代码可以在Github上找到。
2021-04-24 cs.LG
A supervised generative optimization approach for tabular data
Yale University（耶鲁大学）；University of Pittsburgh（匹兹堡大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）
针对表格合成数据方法难选择且忽视下游任务的问题，提出融合任务定制监督组件与元学习的生成框架，以学习现有合成分布的最优混合。
2024-05-09 cs.LG
GraphMAE: Self-Supervised Masked Graph Autoencoders
Tsinghua University（清华大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；BirenTech Research（壁仞科技研究院）
自监督学习（Self-supervised learning，SSL）近年来得到了广泛的研究。特别是，生成式SSL在自然语言处理和其他人工智能领域取得了成功，例如BERT和GPT的广泛采用。尽管如此，对比学习-它严重依赖于结构化数据增强和复杂的训练策略-一直是图SSL的主导方法，而生成SSL在图上的进展，特别是图自动编码器（GAE），迄今为止还没有达到其他领域所承诺的潜力。在本文中，我们确定并研究了对GAE的发展产生负面影响的问题，包括它们的重建目标，训练鲁棒性和误差度量。我们提出了一个掩码图自动编码器GraphMAE，它可以缓解生成自监督图预训练的这些问题。而不是重建图结构，我们建议专注于特征重建与掩蔽策略和缩放余弦误差，有利于强大的训练GraphMAE。我们对21个公共数据集进行了广泛的实验，用于三个不同的图学习任务。结果表明，GraphMAE-一个简单的图形自动编码器与精心设计-可以始终产生优于对比和生成的最先进的基线。这项研究提供了对图形自动编码器的理解，并展示了图形生成自监督预训练的潜力。
2022-07-13 cs.LG
Semi-Supervised Learning with Generative Adversarial Networks
我们将生成对抗网络（GANs）扩展到半监督上下文，迫使生成对抗网络输出类标签。我们训练一个生成模型G和一个具有属于N个类之一的输入的数据集上的一个生成模型D。在训练时，D被用来预测输入属于N+1个类中的哪一个，其中添加额外的类以对应于G的输出。我们表明，这种方法可以用来创建一个更有效的数据分类器，它允许生成更高质量的样本比常规的GAN。
2016-10-22 cs.LG stat.ML
Self-supervised Learning: Generative or Contrastive
Tsinghua University（清华大学）；Tsinghua National Laboratory for Information Science and Technology (TNList)（清华信息科学与技术国家实验室）；Anhui University（安徽大学）；Renmin University of China（中国人民大学）
深度监督学习在过去十年中取得了巨大的成功。然而，其依赖于人工标签和易受攻击的缺陷促使人们探索更好的解决方案。自监督学习作为一种替代学习方法，在过去的几年里，由于其在表示学习方面的出色表现，吸引了众多的研究者。自监督表示学习利用输入数据本身作为监督，并使几乎所有类型的下游任务受益。在这篇综述中，我们将探讨新的自监督学习方法，用于计算机视觉、自然语言处理和图形学习中的表示。我们全面回顾了现有的实证方法，并根据其目标将其归纳为三个主要类别：生成，对比和生成对比（对抗）。我们进一步研究相关的理论分析工作，提供更深层次的思考自监督学习是如何工作的。最后，我们简要讨论了自监督学习的开放问题和未来的发展方向。提供了调查的概要幻灯片。
2021-03-20 cs.LG stat.ML
Generative and Contrastive Self-Supervised Learning for Graph Anomaly Detection
La Trobe University（乐卓博大学）；Monash University（蒙纳士大学）
基于图数据的异常检测在网络安全、金融、社交网络等关键应用中具有重要的实际意义，因此受到广泛关注。现有的数据采掘和机器学习方法要么是肤浅的方法，不能有效地捕捉复杂的相互依赖的图数据或图自动编码器的方法，不能充分利用上下文信息作为监督信号，有效的异常检测。为了克服这些挑战，在本文中，我们提出了一种新的方法，自监督学习图异常检测（SL-GAD）。我们的方法构建不同的上下文子图（视图）的基础上的目标节点，并采用两个模块，生成属性回归和多视图对比学习的异常检测。而生成属性回归模块允许我们捕获属性空间中的异常，多视图对比学习模块可以从多个子图中利用更丰富的结构信息，从而能够捕获结构空间中的异常，混合结构和属性信息。我们在六个基准数据集上进行了广泛的实验，结果表明，我们的方法比最先进的方法有很大的优势。
2022-01-23 cs.LG
Semi-Supervised QA with Generative Domain-Adaptive Nets
Carnegie Mellon University（卡内基梅隆大学）
研究了半监督问答问题-利用未标记文本来提高问答模型的性能。我们提出了一个新的训练框架，生成域自适应网络。在这个框架中，我们训练一个生成模型来生成基于未标记文本的问题，并结合模型生成的问题和人工生成的问题来训练问答模型。我们开发了新的领域自适应算法，基于强化学习，以减轻模型生成的数据分布和人类生成的数据分布之间的差异。实验表明，我们提出的框架获得了显着的改善，从未标记的文本。
2017-04-22 cs.CL cs.LG
Semi-supervised Rare Disease Detection Using Generative Adversarial Network
IQVIA（艾昆纬）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
罕见疾病影响的人数相对较少，这限制了对治疗和治愈研究的投资。开发一种有效的罕见疾病检测方法是后续临床研究的关键第一步。在本文中，我们提出了一个使用生成对抗网络进行罕见疾病检测的半监督学习框架。我们的方法利用了大量的未标记数据进行疾病检测，并与基线技术相比，在精确度-召回分数方面取得了最佳结果。
2018-12-03 cs.LG stat.ML
Max-Margin Deep Generative Models for (Semi-)Supervised Learning
Tsinghua University（清华大学）
深度生成模型（DGMs）在学习复杂数据的多层表示和通过探索生成能力来执行输入数据的推理方面是有效的。然而，这是相对不够的，以赋予区分能力的DGMs作出准确的预测。本文提出了最大间隔深度生成模型（mmDGMs）和类条件变体（mmDCGMs），它们探索了最大间隔学习的强判别原理，以提高DGMs在监督和半监督学习中的预测性能，同时保留生成能力。在半监督学习中，我们使用最大间隔分类器的预测作为缺失标签，而不是执行完整的后验推理以提高效率;为了提高效率，我们还引入了额外的未标记数据的最大间隔和标签平衡正则化项。针对分段线性目标问题，提出了一种有效的双随机次梯度算法。在不同数据集上的实验结果表明：（1）最大间隔学习可以显著提高DGM的预测性能，同时保持DGM的生成能力;（2）在监督学习中，当采用卷积神经网络作为生成和识别模型时，mmDGM可以与最好的全判别网络相竞争;（3）在半监督学习中，mmDCGM可以进行有效的推理，并在多个基准上获得最先进的分类结果。
2016-11-22 cs.CV cs.LG stat.ML
Generative Semi-supervised Graph Anomaly Detection
School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院）；Squirrel AI（松鼠AI）；Institute for Infocomm Research, A*STAR, Singapore（新加坡科技研究局信息通信研究所）；A*STAR Centre for Frontier AI Research, Singapore（新加坡科技研究局前沿人工智能研究中心）
本文提出一种新颖的生成式半监督图异常检测方法GGAD，通过利用非对称局部亲和性和自我中心紧密性两个先验生成伪异常节点作为负样本，有效训练单类分类器，在六个真实数据集上显著优于现有无监督和半监督方法。
2026-10-27 cs.LG
SHOT-VAE: Semi-supervised Deep Generative Models With Label-aware ELBO Approximations
Zhejiang University（浙江大学）；University of Maryland（马里兰大学）
半监督变分自编码器（VAE）已经获得了强有力的结果，但也遇到了挑战，即良好的ELBO值并不总是意味着准确的推断结果。在本文中，我们调查并提出了两个问题的原因：（1）ELBO目标不能直接利用标签信息。(2)存在一个瓶颈值，在此值之后继续优化ELBO将不会提高推理准确性。在实验结果的基础上，我们提出了SHOT-VAE来解决这些问题，而无需引入额外的先验知识。SHOT-VAE提供了两个贡献：（1）一个新的ELBO近似称为平滑ELBO，将标签预测损失集成到ELBO。(2)基于最优插值的近似，通过减少ELBO和数据似然之间的裕度来打破ELBO值瓶颈。SHOT-VAE在具有10 k标签的CIFAR-100上实现了25.30%出错率的良好性能，并且在具有4k标签的CIFAR-10上将出错率降低到6.11%。
2020-12-08 cs.LG
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University（上海交通大学）
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本，以避免由于标记样本不足而导致的性能（或模型）退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论，并介绍了半监督学习研究的最新进展，最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Semi-supervised Sequential Generative Models
University of Oxford（牛津大学）；MIT（麻省理工学院）；University of British Columbia（不列颠哥伦比亚大学）；Montréal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所）
我们引入了一个新的目标，用于训练具有离散潜变量的深度生成时间序列模型，其中监督仅稀疏可用。这种半监督学习的实例对于现有方法是具有挑战性的，因为可能的离散潜在配置的指数数量导致高方差梯度估计。我们首先通过使用重新加权的唤醒-睡眠扩展标准的半监督生成建模目标来克服这个问题。然而，我们发现，当训练序列之间可用标签的频率不同时，这种方法仍然会受到影响。最后，我们引入了一个统一的目标启发教师强迫，并表明这种方法是强大的可变长度的监督。我们称这种方法为含咖啡因的唤醒-睡眠（CWS），以强调其对真实数据的额外依赖。我们证明了它的有效性MNIST，手写，果蝇轨迹数据的实验。
2020-06-30 cs.LG stat.ML
Semi-Supervised Generation with Cluster-aware Generative Models
Technical University of Denmark（丹麦理工大学）
使用大量未标记数据训练的深度生成模型已被证明在无监督学习领域非常强大。许多现实生活中的数据集包含少量标记的数据点，这些数据点通常在训练生成模型时被忽略。我们提出了一个具有感知能力的生成模型，它使用未标记的信息来推断一个潜在的表示，该表示对数据的自然聚类进行建模，并使用额外的标记数据点来细化该聚类。当利用标记信息时，模型的生成性能显着提高，在排列不变MNIST上获得-79.38 nats的对数似然，同时还实现了具有竞争力的半监督分类精度。该模型也可以完全无监督地进行训练，并且仍然可以提高相关方法的对数似然性能。
2017-04-03 cs.AI cs.LG stat.ML
Backdoor Defense through Self-Supervised and Generative Learning
本文提出利用自监督表示空间中的各类别生成式模型检测并清洗中毒数据，从而在保持良性准确率的同时显著降低后门攻击成功率。
2024-09-02 cs.CR cs.LG
Generative Trees: Adversarial and Copycat
Google Research（谷歌研究院）
虽然生成对抗网络（GANs）在图像等非结构化数据上取得了惊人的结果，但在表格数据上仍然存在差距，最先进的监督学习仍然在很大程度上支持基于决策树（DT）的模型。本文提出了一种新的生成表格数据的方法，利用几十年来对DT归纳的监督任务最佳组件的理解，从损失（正确性），模型（基于树）到算法（提升）。监督损失的\textit{properness}条件-假设贝叶斯规则的最优性-使我们得到一个变分GAN风格的损失公式，当鉴别器满足DT平凡满足的校准属性时，它是\textit{tight}，并且在关于监督损失的常见假设下，生成器：$χ^2$产生“一个损失，以训练对抗所有人”。然后，我们介绍了基于树的生成模型，\textit{generative trees}（GT），这意味着在生成方面反映了DT用于分类表格数据的良好特性，并为GT提供了一个增强兼容的\textit{adversarial}训练算法。我们还介绍了\textit{copycat training}，其中生成器在运行时复制的底层树（图）的CDRDT和完成它的最难的判别任务，提高兼容的收敛。我们在任务上测试了我们的算法，包括假/真区分，假数据训练和缺失数据填补。这些任务中的每一个都表明，GT可以提供相对简单的-和可解释的-竞争者，以先进的数据生成方法（使用神经网络模型）或缺失数据填补（依赖于多重填补链式方程与复杂的基于树的建模）。
2022-02-11 cs.LG
Generative-Discriminative Variational Model for Visual Recognition
Carnegie Mellon University（卡内基梅隆大学）
从具有手工制作特征的浅层分类器到端到端可训练的深度学习模型的范式转变已经显示出监督学习任务的显着改进。尽管深度神经网络（DNN）具有很好的潜力，但如何减轻训练过程中的过拟合一直是人们感兴趣的研究课题。在本文中，我们提出了一个生成判别变分模型（GDVM）的视觉分类，在其中，我们引入了一个潜在的变量推断，从输入表现出生成能力的预测。换句话说，我们的GDVM将监督学习任务转换为生成学习过程，并将数据区分用于改进分类。在我们的实验中，我们考虑多类分类，多标签分类，和零样本学习的任务。我们表明，我们的GDVM与基线或最近的生成DNN模型相比表现良好。
2017-06-07 cs.LG
ScribbleGen: Generative Data Augmentation Improves Scribble-supervised Semantic Segmentation
University of Waterloo（滑铁卢大学）；University of California, Merced（加州大学默塞德分校）；LMU Munich（慕尼黑大学）
该研究首次探索涂鸦监督语义分割的生成式数据增强，提出ScribbleGen方法，通过带约束的ControlNet扩散模型生成训练数据，缩小与全监督方法的性能差距，在小数据集上表现更优。
2024-04-16 cs.CV cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
SURIMI: Supervised Radio Map Augmentation with Deep Learning and a Generative Adversarial Network for Fingerprint-based Indoor Positioning
Universitat Jaume I（海梅一世大学）；Tampere University（坦佩雷大学）；Universidade do Minho（米尼奥大学）
基于机器学习的室内定位在学术界和工业界都引起了越来越多的关注，因为可以从参考数据中提取有意义的信息。许多研究人员正在使用有监督、半监督和无监督的机器学习模型来减少定位误差，并为最终用户提供可靠的解决方案。在这篇文章中，我们提出了一种结合卷积神经网络（CNN），长短期记忆（LSTM）和生成对抗网络（GAN）的新架构，以增加训练数据，从而提高定位精度。在17个公共数据集中测试了监督和无监督模型的组合，对其性能进行了广泛的分析。结果，其中70%以上的定位误差得到了减小。
2022-07-13 cs.LG eess.SP
Applications and Effect Evaluation of Generative Adversarial Networks in Semi-Supervised Learning
Huaiyin Institute of Technology（淮阴科技学院）；Walmart Inc.（沃尔玛公司）；University of Glasgow（格拉斯哥大学）
本文构建基于GANs的半监督图像分类模型，通过生成器、判别器和分类器协同训练，有效利用有限标注和大量未标注数据，提升图像生成质量与分类准确率，为复杂环境图像识别提供解决方案。
2025-05-26 cs.CV cs.LG
Semi-supervised learning based on generative adversarial network: a comparison between good GAN and bad GAN approach
University of California, Los Angeles（加州大学洛杉矶分校）
近年来，基于生成对抗网络（GANs）的半监督学习方法受到了广泛关注。其中，两种不同的方法已经在各种基准数据集上取得了有竞争力的结果。坏的GAN学习分类器，其中不现实的样本分布在输入数据的支持的补充上。相反，Triple GAN由三人游戏组成，试图利用良好的生成样本来提高分类结果。在本文中，我们在不同的基准数据集上对这两种方法进行了全面的比较。我们展示了它们在图像生成上的不同属性，以及对所提供的标记数据量的敏感性。通过对这两种方法的全面比较，我们希望能为基于GAN的半监督学习的未来指明方向。
2019-05-17 cs.CV cs.LG
GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning
KU Leuven（鲁汶大学）
自监督学习是利用大量未标记数据的一种流行而强大的方法，文献中已经提出了各种各样的训练目标。在这项研究中，我们进行了贝叶斯分析的国家的最先进的自监督学习目标，并提出了一个统一的制定基于似然学习。我们的分析提出了一种将自监督学习与生成模型相结合的简单方法，允许这两种看似不同的方法进行联合训练。我们将这种组合框架称为GEDI，它代表GEnerative和DIscriminative培训。此外，我们展示了一个实例的GEDI框架集成基于能量的模型与基于集群的自监督学习模型。通过对合成数据和真实数据（包括SVHN、CIFAR10和CIFAR100）的实验，我们表明GEDI在聚类性能方面远远优于现有的自监督学习策略。我们还证明了GEDI可以集成到一个神经符号框架中，以解决小数据制度中的任务，在那里它可以使用逻辑约束，以进一步提高聚类和分类性能。
2023-02-07 cs.AI cs.CV cs.LG
A Flexible Generative Framework for Graph-based Semi-supervised Learning
University of Michigan（密歇根大学）
我们考虑一系列问题，这些问题涉及基于一小部分标记样本对大多数未标记的图结构数据样本进行预测。数据样本之间的关系信息，通常编码在图/网络结构中，被证明是有助于这些半监督学习任务。然而，传统的基于图的正则化方法和最近的图神经网络没有充分利用特征、图和标签之间的相互关系。在这项工作中，我们提出了一个灵活的生成框架，基于图的半监督学习，它接近的节点特征，标签和图结构的联合分布。借用网络科学文献中随机图模型的见解，这种联合分布可以使用各种分布族来实例化。对于缺失标签的推理，我们利用最新进展的可扩展变分推理技术来近似贝叶斯后验。我们对基于图的半监督学习的基准数据集进行了深入的实验。结果表明，所提出的方法优于国家的最先进的模型在大多数情况下。
2019-11-02 cs.LG stat.ML
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
Semi-supervised source localization with deep generative modeling
Marine Physical Laboratory, UCSD（加州大学圣地亚哥分校海洋物理实验室）；Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
我们提出了一种基于变分自编码器（VAE）的深度生成建模的半监督定位方法。混响环境中的本地化仍然是一个挑战，机器学习（ML）在解决这一问题方面表现出了希望。即使数据量很大，在混响环境中可用于监督学习的标签数量通常也很小。我们通过使用卷积VAE执行半监督学习（SSL）来解决这个问题。VAE被训练为在标记和未标记RTF样本上与DOA分类器并行地生成相对传递函数（RTF）的相位。VAE-SSL方法与SRP-PHAT和全监督CNN进行了比较。我们发现，VAE-SSL可以优于SRP-PHAT和CNN在标签限制的情况下。
2021-02-12 cs.LG cs.SD eess.AS
SS-CPGAN: Self-Supervised Cut-and-Pasting Generative Adversarial Network for Object Segmentation
University of Technology Sydney（悉尼科技大学）
本文提出SS-CPGAN，一种结合U-Net判别器的自监督剪切与粘贴生成对抗网络，无需人工标注即可实现前景目标分割与逼真图像合成，在标准基准数据集上显著优于现有最先进方法。
2023-04-04 cs.CV cs.LG
Can Generative Models Improve Self-Supervised Representation Learning?
Vector Institute（矢量研究院）
本文提出利用生成模型生成语义一致的图像增强，以丰富自监督学习数据，实验显示下游任务Top-1准确率最高提升10%。
2024-12-17 cs.CV cs.LG
Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）
本文探索了生成对抗网络在电子显微镜数据上的自监督预训练，证明其能提升多种下游任务性能，低复杂度微调模型优于高复杂度随机初始化模型，尤其在标注数据有限时优势显著。
2024-07-18 cond-mat.mtrl-sci cs.AI cs.CV
Leveraging Auto-Distillation and Generative Self-Supervised Learning in Residual Graph Transformers for Enhanced Recommender Systems
Declic AI Research（Declic人工智能研究院）；CESI LINEACT Laboratory（CESI LINEACT实验室）；Université Paris-Est（巴黎东部大学）；UPEC（巴黎第十二大学）
本文提出一种集成生成式自监督学习（SSL）与残差图Transformer的前沿方法，通过理性感知SSL自动化数据增强、拓扑感知Transformer捕捉全局上下文及自动蒸馏优化信号，在多数据集上持续优于基线方法，增强推荐系统性能。
2025-04-08 cs.AI cs.IR cs.LG
Self-supervised Learning on Graphs: Contrastive, Generative,or Predictive
图上的深度学习最近在各种任务上取得了显着的成功，而这种成功在很大程度上依赖于大量和仔细标记的数据。然而，精确的注释通常非常昂贵且耗时。为了解决这个问题，自监督学习（SSL）正在成为一种新的范式，通过精心设计的借口任务，而不依赖于人工标签提取信息的知识。在这项调查中，我们扩展了SSL的概念，它首先出现在计算机视觉和自然语言处理领域，提出了一个及时和全面的审查现有的SSL技术的图形数据。具体来说，我们将现有的图SSL方法分为三类：对比，生成和预测。更重要的是，与其他仅提供已发表研究的高层次描述的调查不同，我们在统一的框架中对现有作品进行了额外的数学总结。此外，为了便于方法的发展和实证比较，我们还总结了常用的数据集，评估指标，下游任务，开源实现和各种算法的实验研究。最后，我们讨论了改进图自监督学习的技术挑战和潜在的未来方向。图SSL的最新进展总结在GitHub存储库https://github.com/LirongWu/awesome-graph-self-supervised-learning中。
2021-09-29 cs.AI cs.LG
No Data Wasted: A Semi-supervised Generative Model for Incomplete Multi-view Data Integration with Missing Labels
针对带缺失标签和视图的多视图学习问题，提出半监督生成模型，结合标记与未标记样本，在共享潜在空间最大化似然与互信息，提升预测与生成性能。
2026-09-03 cs.AI cs.LG
Multimodal Generative Models for Scalable Weakly-Supervised Learning
Stanford University（斯坦福大学）
在描述自然现象时，多种模态往往同时出现。学习这些模态的联合表示应该会产生更深入和更有用的表示。以前的多模态输入生成方法要么不学习联合分布，要么需要额外的计算来处理丢失的数据。在这里，我们介绍了一个多模态的变分自编码器（MVAE），使用产品的专家推理网络和子采样的训练范式来解决多模态推理问题。值得注意的是，我们的模型共享参数，以便在任何缺失模式的组合下有效地学习。我们在四个数据集上应用MVAE，并使用更少的参数匹配最先进的性能。此外，我们表明MVAE是直接适用于弱监督学习，是不完全监督的鲁棒性。然后，我们考虑两个案例研究，一个学习图像变换-边缘检测，着色，分割-作为一组模态，其次是两种语言之间的机器翻译。我们在这一系列任务中发现了有吸引力的结果。
2018-11-12 cs.LG stat.ML
Multimodal Sequential Generative Models for Semi-Supervised Language Instruction Following
The University of Tokyo（东京大学）
能够遵循语言指令的智能体预计在各种情况下都是有用的，例如导航。然而，训练基于神经网络的智能体需要大量成对的轨迹和语言。本文提出了使用多模态生成模型的半监督学习的指令遵循任务。该模型学习成对数据的共享表示，并通过该表示重构未成对数据来实现半监督学习。将模型应用于序列到序列任务（包括指令遵循）的关键挑战是学习可变长度多模态数据的共享表示并纳入注意力机制。为了解决这些问题，本文提出了一种新的网络架构，以吸收多模态数据的序列长度的差异。此外，为了进一步提高性能，本文展示了如何将基于生成模型的方法与现有的半监督方法（称为说话者跟随模型）相结合，并提出了一个正则化项，可以使用不成对的轨迹来改进推理。在BabyAI和R2 R环境下的实验结果表明，该方法利用非配对数据提高了指令遵循的性能，并将R2 R环境下说话人跟随模型的性能提高了2 ~ 4%.
2022-12-29 cs.AI cs.CL cs.LG
Balanced Semi-Supervised Generative Adversarial Network for Damage Assessment from Low-Data Imbalanced-Class Regime
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；Pacific Earthquake Engineering Research Center（太平洋地震工程研究中心）
近年来，应用深度学习（DL）评估结构损伤在基于视觉的结构健康监测（SHM）中越来越受欢迎。然而，数据不足和类别不平衡阻碍了深度学习在SHM实际应用中的广泛应用。常见的缓解策略包括迁移学习、过采样和欠采样，但这些临时方法只能提供有限的性能提升，并且因情况而异。在这项工作中，我们介绍了生成对抗网络（GAN）的一种变体，称为平衡半监督GAN（BSS-GAN）。它采用半监督学习的概念，并在训练中采用平衡批量采样，以解决低数据和不平衡类问题。在有限计算能力的低数据不平衡分类条件下，进行了一系列混凝土开裂和剥落分类的计算机实验。实验结果表明，BSS-GAN在召回率和$F_β$评分方面均优于传统的损伤检测方法，具有较好的性能。
2022-11-29 cs.LG eess.IV
Self-Supervised Learning for Time Series: Contrastive or Generative?
RMIT（皇家墨尔本理工大学）；University of North Carolina, Charlotte（北卡罗来纳大学夏洛特分校）
本文全面比较了时间序列中对比式与生成式自监督学习方法，通过公平实验分析其优劣，为选择合适方法提供实用建议。
2024-03-14 cs.AI cs.ET cs.LG
Semi-Supervised Conditional Generative Learning through Stochastic Interpolation and Sufficient Representations
Institute for Mathematics and Artificial Intelligence, Wuhan University, Wuhan, China（数学与人工智能研究院，武汉大学，武汉，中国）；School of Artificial Intelligence, Hubei Key Laboratory of Computational Science, Wuhan University, Wuhan, China（人工智能学院，湖北省计算科学重点实验室，武汉大学，武汉，中国）；Departments of Data Science and Artificial Intelligence, and Applied Mathematics, The Hong Kong Polytechnic University, Hong Kong, China（数据科学与人工智能系，应用数学系，香港理工大学，香港，中国）
针对半监督条件生成建模难题，提出结合条件随机插值与低维潜在表示的RepG框架，将生成分为两阶段，隔离监督学习到低维空间，理论推导其误差分解与收敛率，有效减轻维度诅咒。
2026-07-21 cs.LG stat.ML
AGAD: Adversarial Generative Anomaly Detection
NEC Laboratories China（NEC中国研究院）
提出AGAD，一种基于自对比的异常检测范式，通过从正常样本生成上下文对抗信息来生成伪异常数据，在监督和半监督场景下显著提升检测性能，且仅需不超过5%的异常训练数据。
2023-04-09 cs.CV cs.LG
Enhancing Obsolescence Forecasting with Deep Generative Data Augmentation: A Semi-Supervised Framework for Low-Data Industrial Applications
Société Nationale des Chemins de fer Français (SNCF) Réseau（法国国家铁路公司网络）
本文提出一种基于深度生成数据增强的半监督框架，通过生成新过时案例扩充训练数据，并适配经典监督分类器进行半监督学习，在低数据工业场景下实现了最先进的电子元器件过时预测性能。
2025-05-02 cs.AI cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
Diffusion-Model-Assisted Supervised Learning of Generative Models for Density Estimation
Oak Ridge National Laboratory（橡树岭国家实验室）；Florida State University（佛罗里达州立大学）；Auburn University（奥本大学）
针对生成模型无监督训练存在的问题，提出基于扩散模型的免训练分数估计方法生成带标签数据，实现监督学习，提升采样效率并避免雅可比矩阵计算。
2023-10-22 cs.LG cs.NA math.NA
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，基于变换的自监督学习已被应用于生成对抗网络（GANs），以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而，在现有的自监督GANs中，单独的自监督任务会导致与生成建模不一致的目标，因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题，我们提出了一种新的自监督GAN，它通过自监督数据转换来增强GAN标签（真实或虚假），从而将GAN任务与自监督任务相结合。具体地说，原始的分类器和自监督分类器被统一成一个标签增强的分类器，该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布，然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲，我们表明，所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Inverting Variational Autoencoders for Improved Generative Accuracy
使用深度生成模型的半监督学习的最新进展已经显示出从小标记数据集（$\mathbf{x},\mathbf{y}$）推广到大未标记数据集（$\mathbf{x}$）的希望。在共域具有已知结构的情况下，大的无特征数据集（$\mathbf{y}$）是潜在可用的。我们开发了一个参数高效的深度半监督生成模型，以利用这个未开发的数据源。实证结果表明，在解开潜在变量的语义，以及改进的火星光谱和手写数字域的歧视性预测的性能提高。
2017-08-24 cs.LG stat.ML
Semi-Supervised Generative Modeling for Controllable Speech Synthesis
University College London (UCL)（伦敦大学学院（UCL））；Google Inc.（谷歌公司）
我们提出了一种新的生成模型，结合了最先进的神经文本到语音（TTS）与半监督概率潜变量模型。通过对一些潜在变量提供部分监督，我们能够迫使它们具有一致和可解释的目的，这在以前对于纯粹的无监督TTS模型是不可能的。我们证明了我们的模型能够可靠地发现和控制重要但很少标记的语音属性，例如影响和说话速度，只需1%（30分钟）的监督。即使在如此低的监督水平下，我们也没有观察到与最先进的基线相比合成质量的下降。音频样本可在网络上获得。
2019-10-03 cs.CL cs.LG cs.SD
Semi-supervised learning objectives as log-likelihoods in a generative model of data curation
University of Bristol（布里斯托大学）
我们目前还不了解半监督学习（SSL）的目标，如伪标签和熵最小化作为对数似然，这排除了贝叶斯SSL的发展。在这里，我们注意到，基准图像数据集（如CIFAR-10）是经过精心策划的，我们将SSL目标制定为数据策划生成模型中的对数似然，该模型最初是为了解释冷后验效应而开发的（Aitchison 2020）。SSL方法，从熵最小化和伪标签，到类似于FixMatch的最先进的技术，都可以被理解为我们的原则性对数似然的下限。因此，我们能够给出贝叶斯SSL的玩具数据的原理证明。最后，我们的理论表明，SSL是有效的，部分原因是数据策展引起的统计模式。这提供了对过去结果的解释，这些结果表明SSL在干净的数据集上表现更好，没有任何“分布外”的例子。通过对这些结果进行分析，我们发现SSL在策划数据上的性能提升要比在未策划数据上大得多，使用基于Galaxy Zoo 2的匹配策划和未策划数据集。
2021-10-08 cs.LG stat.ML
Deep Supervised and Convolutional Generative Stochastic Network for Protein Secondary Structure Prediction
Princeton University（普林斯顿大学）
蛋白质二级结构预测是蛋白质结构预测中的一个基本问题。在这里，我们提出了一个新的监督生成随机网络（GSN）的基础上的方法来预测局部二级结构与深层次的表示。GSN是最近提出的深度学习技术（Bengio & Thibodeau-Laufer，2013），用于全球训练深度生成模型。我们提出了GSN的监督扩展，它学习马尔可夫链从条件分布中采样，并将其应用于蛋白质结构预测。为了将模型扩展到全尺寸的高维数据，例如具有数百个氨基酸的蛋白质序列，我们引入了卷积架构，该架构允许在多层分层表示中进行有效学习。我们的架构独特地专注于预测结构化的低级标签，这些标签通过模型学习的低级和高级表示来通知。在我们的应用中，这对应于标记每个氨基酸残基的二级结构状态。我们在不同的非同源蛋白质组上训练和测试了该模型，这些蛋白质具有小于30%的序列同一性。我们的模型在CB 513数据集上实现了66.4%的Q8准确度，优于先前报道的最佳性能64.9%（Wang et al.，2011）对于这个具有挑战性的二级结构预测问题。
2014-03-06 cs.CE cs.LG q-bio.QM
Generative AI for O-RAN Slicing: A Semi-Supervised Approach with VAE and Contrastive Learning
School of Electrical and Computer Engineering, College of Engineering, University of Tehran（电气与计算机工程学院，工程学院，德黑兰大学）
本文提出一种结合VAE与对比学习的半监督生成式AI架构，通过专用xApp优化O-RAN中的网络切片与资源分配，在动态网络中实现了更高的资源管理精度与模型泛化能力。
2025-06-27 cs.LG cs.NA cs.NI
Towards well-specified semi-supervised model-based classifiers via structural adaptation
Harbin Institute of Technology Shenzhen Graduate School（哈尔滨工业大学深圳研究生院）；Hong Kong Baptist University（香港浸会大学）
半监督学习在大规模机器学习中起着重要的作用。适当地使用额外的未标记数据（现在大部分可用）通常可以提高机器学习的准确性。然而，如果机器学习模型被错误地指定为底层真实数据分布，则模型性能可能会严重受损。这个问题被称为模型错误指定。为了解决这个问题，我们专注于生成模型，并提出了一个标准，通过测量使用监督和半监督学习获得的模型之间的性能差异来检测模型误指定的发生。然后，我们建议在模型训练过程中自动修改生成模型，以实现无偏生成模型。使用两个图像分类数据集PASCAL VOC'07和MIR Flickr进行了严格的实验，以评估所提出的方法。我们提出的方法已被证明优于一些国家的最先进的半监督学习方法的分类任务。
2017-05-01 cs.AI cs.LG
Interpreting the Latent Space of Generative Adversarial Networks using Supervised Learning
R&D Lab, Sun* Inc（Sun*公司研发实验室）；Le Quy Don Technical University（黎鸿德技术大学）
近年来，随着生成对抗网络（GANs）的发展，对GAN潜在空间的理解和控制受到越来越多的关注。虽然大多数关于这个任务的研究都集中在无监督学习方法上，这导致了训练的困难和结果的限制，但我们的工作接近另一个方向，编码人类的先验知识，以发现更多关于GAN的隐藏空间。通过这种监督方式，我们产生了有希望的结果，通过对生成的图像进行精确操作来证明。尽管我们的模型更适合于特定于任务的问题，我们希望它的易于实现，精确性，鲁棒性，以及允许更丰富的属性集（与其他方法相比）的图像处理可以提高许多当前应用程序的结果。
2021-02-24 cs.CV cs.LG
Generalizing semi-supervised generative adversarial networks to regression using feature contrasting
The City College, The City University of New York（纽约城市大学城市学院）；The Graduate Center, The City University of New York（纽约城市大学研究生中心）；Borough of Manhattan Community College, The City University of New York（纽约城市大学曼哈顿社区学院）
在这项工作中，我们将半监督生成对抗网络（GANs）从分类问题推广到回归问题。在过去的几年中，使用半监督训练来改进神经网络的训练的重要性已经被证明用于分类问题。我们提出了一种新的损失函数，称为特征对比，从而在一个机器人，它可以区分假的和真实的数据特征统计的基础上。这种方法避免了替代方法的潜在偏差和局限性。将半监督GANs推广到回归问题的机制，使其可以用于无数应用，并为更深入地了解GANs的功能提供了一条途径。我们首先在一个玩具数据集上展示了半监督回归GANs的功能，这使得我们可以详细了解它们在各种情况下的操作方式。该玩具数据集为半监督回归GAN提供了理论基础。然后，我们将半监督回归GANs应用于许多现实世界的计算机视觉应用：年龄估计，驾驶转向角预测和来自单个图像的人群计数。我们对大幅减少注释数据可以达到的准确性进行了广泛的测试。通过理论示例和现实场景的结合，我们展示了半监督GANs如何推广到回归问题。
2019-09-03 cs.CV cs.LG stat.ML
A Semi-Supervised Generative Adversarial Network for Prediction of Genetic Disease Outcomes
Texas A&M University（德克萨斯农工大学）
对于大多数疾病，建立标记遗传数据的大型数据库是一项昂贵且耗时的任务。为了解决这个问题，我们引入了遗传生成对抗网络（gGAN），这是一种基于创新GAN架构的半监督方法，可以从少量标记数据和大量未标记数据开始创建大型合成遗传数据集。我们的目标是确定一个新的个体的倾向，发展的严重形式的疾病，从他们的遗传概况单独。该模型使用来自不同数据集和种群的真实遗传数据，其中测试种群可能不具有相同的遗传图谱，取得了令人满意的结果。所提出的模型具有自我意识，能够确定新的遗传图谱是否与网络训练的数据具有足够的兼容性，因此适合于预测。使用的代码和数据集可以在https://github.com/caio-davi/gGAN上找到。
2020-07-02 cs.LG q-bio.GN stat.ML
Generative Modelling for Unsupervised Score Calibration
AGNITIO Research（AGNITIO研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
分数校准使自动说话人识别器能够做出具有成本效益的接受/拒绝决定。传统的校准需要监督数据，这是一种昂贵的资源。我们提出了一个2分量GMM无监督校准，并表现出良好的性能相对于NIST SRE'10和SRE'12的监督基线。贝叶斯分析表明，与无监督校准参数估计值相关的不确定性是令人惊讶的小。
2014-02-14 cs.LG stat.ML
Var-JEPA: A Variational Formulation of the Joint-Embedding Predictive Architecture - Bridging Predictive and Generative Self-Supervised Learning
University（大学）；Health Data Research UK（英国健康数据研究）
本文提出Var-JEPA，通过优化单个ELBO显式化潜在生成结构，实现有意义的表示并允许潜在空间的不确定性量化，同时在表格数据上取得优于T-JEPA且与强基线模型竞争的性能。
2026-08-31 cs.AI cs.LG
