EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School（萨拉托加高中）
半监督学习已经获得关注，因为它允许执行图像分析任务，例如使用有限的标记数据进行分类。使用生成对抗网络（GANs）进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而，这可能需要模型为每个任务收敛到单独的数据分布，这可能会降低整体性能。虽然半监督学习已经取得了进展，但小规模的全监督任务却很少得到解决，即使是未标记的数据也无法获得。因此，我们提出了一种新的GAN模型，即外部分类器GAN（EC-GAN），它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说，我们将外部分类器（因此命名为EC-GAN）附加到GAN的生成器，而不是与GAN共享架构。我们的实验表明，EC-GAN的性能与共享架构方法相当，远优于标准的数据增强和基于正则化的方法，并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Scaling Up Semi-supervised Learning with Unconstrained Unlabelled Data
Queen’s University（女王大学）
本文提出UnMixMatch半监督学习框架，通过强增强有监督学习、对比一致性正则化和自监督损失三个组件，有效利用无约束无标签数据，在4个数据集上实现4.79%的性能提升。
2024-01-13 cs.CV cs.LG
Learning to Impute: A General Framework for Semi-supervised Learning
University of Edinburgh（爱丁堡大学）；Institute for Infocomm Research, A* STAR（新加坡科技研究局资讯通信研究院）
最近的半监督学习方法已经证明，由于其正则化策略，在图像分类任务中仅使用一小部分标签的情况下，可以实现与监督学习方法相当的结果。在本文中，我们采取了一种更直接的方法进行半监督学习，并提出了学习来估算未标记样本的标签，以便网络在这些标签上训练时实现更好的泛化。我们提出了一个学习到学习的公式，可以很容易地结合到最先进的半监督技术，并提高其性能，特别是当标签是有限的问题。我们证明了我们的方法适用于分类和回归问题，包括图像分类和面部标志检测任务。
2020-09-24 cs.CV cs.LG
Semi-Supervised Fine-Tuning for Deep Learning Models in Remote Sensing Applications
提出了一种结合深度学习和半监督学习的方法来解决土地覆盖识别问题。所提出的方法展示了在训练期间使用SSL方法作为性能函数时对深度学习模型性能的影响。在正射图像的像素级分割任务中，所获得的结果表明SSL增强的损失函数可以有益于模型的性能。
2020-05-30 cs.CV cs.LG
HyperTransformer: Model Generation for Supervised and Semi-Supervised Few-Shot Learning
Google Research（谷歌研究院）
在这项工作中，我们提出了一个HyperTransformer，一个基于Transformer的监督和半监督少样本学习，直接从支持样本中生成卷积神经网络（CNN）的权重。由于小生成的CNN模型对特定任务的依赖性是由高容量的Transformer模型编码的，因此我们有效地将大任务空间的复杂性与单个任务的复杂性解耦。我们的方法对于小目标CNN架构特别有效，其中学习固定的通用任务无关嵌入不是最佳的，并且当有关任务的信息可以调制所有模型参数时，可以获得更好的性能。对于更大的模型，我们发现单独生成最后一层可以让我们产生比最先进的方法更有竞争力或更好的结果，同时是端到端可微的。
2022-07-14 cs.CV cs.LG
Adversarial Dropout for Supervised and Semi-supervised Learning
KAIST（韩国科学技术院）
最近，对抗性的例子，这是通过添加一个小的，但最坏情况下的扰动输入的例子，已被证明是提高神经网络的泛化性能的训练。与单独偏置输入以增强通用性相反，本文引入了对抗性辍学，这是一个最小的辍学集，它最大化了网络输出与辍学和训练监督之间的分歧。识别出的对抗性丢失被用于重新配置神经网络进行训练，我们证明了在重新配置的子网络上进行训练可以提高MNIST和CIFAR-10上监督和半监督学习任务的泛化性能。我们分析了训练后的模型来解释性能的提高，我们发现对抗性丢弃比标准丢弃更能增加神经网络的稀疏性。
2017-09-18 cs.CV cs.LG
Self Semi Supervised Neural Architecture Search for Semantic Segmentation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ATOS（源讯集团）
在本文中，我们提出了一种基于自我监督和半监督学习的神经结构搜索策略的语义分割任务。我们的方法建立了一个优化的神经网络（NN）模型，通过共同解决一个拼图借口任务发现与自监督学习的无标记的训练数据，并利用结构的无标记的数据与半监督学习。NN模型结构的搜索是通过使用梯度下降算法的动态路由来执行的。在Cityscapes和PASCAL VOC 2012数据集上的实验表明，所发现的神经网络比最先进的手工NN模型更有效，浮点运算少四倍。
2022-02-01 cs.CV cs.LG
Density-Aware Hyper-Graph Neural Networks for Graph-based Semi-supervised Node Classification
South China University of Technology（华南理工大学）；Concordia University（康考迪亚大学）
基于图的半监督学习可以利用标记数据和未标记数据之间的连接关系，在许多人工智能应用中表现出优于最先进的技术。基于图的半监督节点分类算法最具挑战性的问题之一是如何利用数据间的隐含信息来提高分类性能。传统的基于图的半监督学习研究主要集中在数据之间的成对连接上。然而，实际应用中的数据相关性可能超出成对和更复杂。密度信息已被证明是一个重要的线索，但它很少深入探讨现有的基于图的半监督节点分类方法。为了开发一种灵活有效的基于图的半监督节点分类模型，我们提出了一种新的密度感知超图神经网络（DA-HGNN）。在我们提出的方法中，超图是用来探索数据之间的高阶语义相关性，并提出了一个密度感知的超图注意力网络来探索高阶连接关系。在不同的基准数据集上进行了大量的实验，结果表明了所提出的方法的有效性。
2022-01-27 cs.CV cs.LG
Systematic comparison of semi-supervised and self-supervised learning for medical image classification
Tufts University, School of Engineering（塔夫茨大学工程学院）
本文系统比较了医学图像分类中13种半监督与自监督方法，在4个数据集上验证了现实规模验证集下超参数调优的有效性，并发现MixMatch能带来最可靠的准确率提升。
2024-03-29 cs.CV cs.LG
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）
从顺序到达的数据中学习，可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止，持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中，每个任务都包含标记（通常很少）和未标记（通常很多）的训练样本，这需要半监督学习方法。为了在持续学习环境中解决这个问题，我们提出了一个半监督持续学习的框架，称为连续半监督学习的元巩固（MCSSL）。我们的框架有一个超网络，它学习元分布，生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识，基础网络学习半监督学习任务。此外，我们提出了$\textit{Semi-Split CIFAR-10}$，一个新的基准连续半监督学习，通过修改$\textit{Split CIFAR-10}$数据集，其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能，提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research（Flyreel人工智能研究院）
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力：访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果，仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中，我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础，挑战了一致性正则化的长期成功。我们进行了广泛的比较实验，以证明自监督正则化的有效性，监督和半监督图像分类SVHN，CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果：（1）使用自监督正则化增强的模型显着改进了传统的监督分类器，而不需要未标记的数据;（2）与未标记的数据一起，我们的模型产生了半监督性能，与现有的最先进的一致性基线竞争，并且在许多情况下超过了它。最后，我们的模型具有端到端有效训练的实用性，并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Semi-supervised Vision Transformers at Scale
AWS AI Labs（亚马逊云科技人工智能实验室）
我们研究半监督学习（SSL）的视觉Transformer（ViT），尽管广泛采用的ViT架构不同的任务，一个未充分探讨的话题。为了解决这个问题，我们提出了一个新的SSL管道，包括第一个非/自我监督的预训练，其次是监督微调，最后是半监督微调。在半监督微调阶段，我们采用指数移动平均（EMA）-教师框架，而不是流行的FixMatch，因为前者更稳定，并提供更高的精度为半监督视觉Transformer。此外，我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签，以改进正则化，这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法，被称为半ViT，实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势，可以轻松扩展到大尺寸模型，并提高精度。例如，Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率，这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University（普渡大学）；ETH Zürich（苏黎世联邦理工学院）
我们使用梯形网络[Rasmus et al.（2015）]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下，这已被证明比其他半监督技术更成功，例如使用未标记数据进行预训练。我们还表明，卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术，并在帕维亚大学数据集上实现了新的最先进的性能，每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们介绍了用于半监督学习的SaaS算法，该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中，训练速度与正确标签的百分比密切相关，因此我们将其用作未知标签的推理标准，而不试图首先推断模型参数。尽管简单，SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory（美国海军研究实验室）
在新应用中采用深度神经网络的最大障碍之一是，训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景，其中可以访问大量未标记的数据，但只需要标记每个类的单个原型样本，以便训练深度网络（即，一次性半监督学习）。具体来说，我们调查了FixMatch中报道的一次性半监督学习的最新结果，以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如，我们发现，一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案，可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University（上海交通大学）
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本，以避免由于标记样本不足而导致的性能（或模型）退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论，并介绍了半监督学习研究的最新进展，最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning
Amazon Web Services（亚马逊云科技）
我们提出了一个插件替代批量归一化（BN）称为指数移动平均归一化（EMAN），它提高了现有的基于学生-教师的自我和半监督学习技术的性能。与标准BN不同，在每个批次中计算统计数据，教师中使用的EMAN通过学生BN统计数据的指数移动平均来更新其统计数据。这种设计降低了BN固有的交叉样本依赖性，增强了教师的泛化能力。当ImageNet上有1%/10%的监督标签时，EMAN将自监督学习的强基线提高了4-6/1-2个点，半监督学习提高了约7/2个点。这些改进在方法、网络架构、训练持续时间和数据集上是一致的，证明了这种技术的普遍有效性。该代码可在https://github.com/amazon-research/exponential-moving-average-normalization上获得。
2021-06-18 cs.AI cs.CV cs.LG
Recent Deep Semi-supervised Learning Approaches and Related Works
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）
本文综述了近期深度半监督学习方法，基于流形、聚类和连续性假设对现有工作进行分类，并重点介绍了统一多种思想的整体性方法。
2024-08-08 cs.AI cs.CV cs.LG
Integration of Self-Supervised BYOL in Semi-Supervised Medical Image Recognition
The University of Sydney（悉尼大学）；North University of China（中北大学）；University of Technology Sydney（悉尼科技大学）
针对医学图像标注数据稀缺问题，提出将自监督BYOL集成到半监督模型的方法，经无标注预训练、伪标与标注数据合并训练及迭代微调，在三个数据集上准确率优于现有方法。
2024-04-16 cs.AI cs.CV cs.LG
Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Singapore University of Technology and Design（新加坡科技设计大学）
深度学习方法实现了对放射学图像进行分类的最先进性能，但依赖于需要专家进行资源密集型注释的大型标记数据集。半监督学习和主动学习都可以用来减轻这种注释负担。然而，在结合半监督和主动学习方法的优点用于多标签医学图像分类方面的工作有限。在这里，我们介绍了一种新的基于一致性的半监督证据主动学习框架（CSEAL）。具体来说，我们利用基于证据理论和主观逻辑的预测不确定性来开发一种端到端的集成方法，该方法将基于一致性的半监督学习与基于不确定性的主动学习相结合。我们应用我们的方法来增强四种领先的基于一致性的半监督学习方法：伪标签，虚拟对抗训练，平均教师和NoTeacher。对多标签胸部X射线分类任务的广泛评估表明，CSEAL在两个领先的半监督主动学习基线上实现了实质性的性能改进。此外，对结果的分类分解表明，我们的方法可以用更少的标记样本大幅提高对罕见异常的准确性。
2022-09-05 cs.AI cs.CV cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Contrastive Learning for Online Semi-Supervised General Continual Learning
Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；LIGM（马恩拉瓦莱信息与数学实验室）
我们研究在线持续学习与缺失标签，并提出SemiCon，一个新的对比损失设计的部分标记的数据。我们通过设计一种基于内存的方法来证明其效率，该方法在未标记的数据流上进行训练，其中添加到内存中的每个数据都使用Oracle进行标记。当可用标签很少时，我们的方法优于现有的半监督方法，并且在Split-CIFAR 10上仅使用2.6%的标签和Split-CIFAR 100上仅使用10%的标签的情况下，获得与最先进的监督方法相似的结果。
2022-11-22 cs.AI cs.CV cs.LG
Generalizing semi-supervised generative adversarial networks to regression using feature contrasting
The City College, The City University of New York（纽约城市大学城市学院）；The Graduate Center, The City University of New York（纽约城市大学研究生中心）；Borough of Manhattan Community College, The City University of New York（纽约城市大学曼哈顿社区学院）
在这项工作中，我们将半监督生成对抗网络（GANs）从分类问题推广到回归问题。在过去的几年中，使用半监督训练来改进神经网络的训练的重要性已经被证明用于分类问题。我们提出了一种新的损失函数，称为特征对比，从而在一个机器人，它可以区分假的和真实的数据特征统计的基础上。这种方法避免了替代方法的潜在偏差和局限性。将半监督GANs推广到回归问题的机制，使其可以用于无数应用，并为更深入地了解GANs的功能提供了一条途径。我们首先在一个玩具数据集上展示了半监督回归GANs的功能，这使得我们可以详细了解它们在各种情况下的操作方式。该玩具数据集为半监督回归GAN提供了理论基础。然后，我们将半监督回归GANs应用于许多现实世界的计算机视觉应用：年龄估计，驾驶转向角预测和来自单个图像的人群计数。我们对大幅减少注释数据可以达到的准确性进行了广泛的测试。通过理论示例和现实场景的结合，我们展示了半监督GANs如何推广到回归问题。
2019-09-03 cs.CV cs.LG stat.ML
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)（脸书人工智能研究院）
我们提出了一个多视图伪标记的方法来视频学习，一个新的框架，使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签，以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图，但它仍然训练了一个跨外观和运动输入共享的模型，因此，通过设计，在推理时不会产生额外的计算开销。在多个视频识别数据集上，我们的方法大大优于其监督对应，并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
Graph Laplacian for Semi-Supervised Learning
Technion - Israel Institute of Technology（以色列理工学院）
本文提出一种结合密度与对比度量、可直接编码标记数据的新型图拉普拉斯算子，实现无监督聚类与低监督分类的平滑过渡，并成功用于半监督谱聚类。
2023-04-19 cs.CV cs.LG eess.SP
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich（慕尼黑大学）；Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注，但其在时间序列域中的适用性研究有限。在这项工作中，我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整，特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整，我们探索深度半监督学习在时间序列分类的背景下，通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑，这是尚未在该领域缺乏。我们发现，这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益，特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara（加州大学圣巴巴拉分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
我们总结了PirouNet，一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列，PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research（IBM研究院人工智能基础部）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了区分对抗网络（DAN）的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络（GANs）和条件GANs的基础上，但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架，它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例：分类和排名。我们在三个不同任务的数据集上的实验结果表明，DAN是一个很有前途的框架，用于半监督学习和学习预测器的损失函数。对于所有任务，DAN的半监督能力可以显着提高小标记集的预测器性能，而任务之间的架构变化较小。此外，由DAN自动学习的损失函数是非常有竞争力的，并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注，因为它需要大量的标记数据，这些数据通常是昂贵的，需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能，监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架，LaplaceNet，深度半监督分类，大大降低了模型的复杂性。我们利用一种混合的方法，其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上，我们的模型优于最先进的深度半监督分类方法。此外，我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明，通过严格的实验，多采样增强方法提高了泛化能力，降低了网络对增强的敏感性。
2022-09-28 cs.LG
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Swarm Intelligence in Semi-supervised Classification
本文综述了群体智能算法在半监督分类领域的研究进展。在机器学习领域，有许多关于应用群体智能算法的研究论文。SI中的一些算法单独或与其他ML算法混合应用于ML领域。SI算法也可用于ML算法的参数调整，或作为ML算法的骨干。本文简要介绍了群体智能算法在半监督学习领域中的应用
2017-06-03 cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
SemiSegECG: A Multi-Dataset Benchmark for Semi-Supervised Semantic Segmentation in ECG Delineation
VUNO Inc.（VUNO公司）
本文提出SemiSegECG，首个心电图分割半监督语义分割基准，统一多数据集，评估五种算法在两种架构和两种设置下的性能，发现Transformer优于卷积网络。
2025-08-05 cs.AI cs.CV cs.LG
SemiMemes: A Semi-supervised Learning Approach for Multimodal Memes Analysis
FPT University（FPT大学）
本研究提出多模态半监督学习方法SemiMemes，结合自编码器与分类任务利用未标记数据，在两个数据集上优于现有最先进模型，有效解决模因有害内容审查的标注难题。
2023-05-16 cs.AI cs.CL cs.CV
Progressive Feature Upgrade in Semi-supervised Learning on Tabular Domain
Old Dominion University（欧道明大学）
最近的半监督和自我监督的方法已经显示出巨大的成功，在图像和文本领域利用增强技术。尽管取得了这样的成功，但将这种成功转移到表格域并不容易。由于表格域中混合了不同的数据类型（连续数据和分类数据），因此不容易适应从图像和语言到表格数据的特定域转换。在表格领域有一些半监督的工作，专注于提出新的表格数据增强技术。这些方法可能在分类数据中具有低基数的数据集上显示出一些改进。然而，根本性的挑战尚未得到解决。所提出的方法要么不适用于具有高基数的数据集，要么不使用分类数据的有效编码。我们建议使用条件概率表示和一个有效的渐进式功能升级框架，以有效地学习表示表格数据在半监督应用程序。大量的实验表明，该框架的优越性能和潜在的应用在半监督设置。
2022-12-01 cs.LG
Exponential Family Hybrid Semi-Supervised Learning
School of Computing（计算学院）；University of Utah（犹他大学）
我们提出了一种基于指数族特征的半监督学习方法。我们的方法概括了以前的工作耦合先验混合生成/歧视模型。我们的模型比以前的方法更灵活和自然。在几个数据集上的实验结果表明，我们的方法在实践中也表现得更好。
2010-03-02 cs.LG
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University（卡内基梅隆大学）
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此，当在现实世界的用例中使用时，学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例，通常会提高性能。然而，在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中，我们解除这一假设，并提出了两个半监督的方法，基于卷积神经网络（CNN）学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习，同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中，我们表明，我们的CNN在平均F1得分（Fm）方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-supervised Learning by Latent Space Energy-Based Model of Symbol-Vector Coupling
University of California, Los Angeles（加州大学洛杉矶分校）；Stevens Institute of Technology（斯蒂文斯理工学院）
提出了一种基于潜在空间能量的半监督学习先验模型。该模型建立在一个生成器网络上，该网络将一个潜在向量映射到观察到的示例。先验模型的能量项将潜在向量和符号独热向量耦合，使得分类可以基于从观察到的示例推断的潜在向量。在我们的学习方法中，符号向量耦合，生成器网络和推理网络联合学习。我们的方法适用于半监督学习在各种数据域，如图像，文本和表格数据。实验结果表明，该方法在半监督学习任务中表现良好。
2020-10-19 cs.LG
More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation
University College London（伦敦大学学院）；InstaDeep（InstaDeep公司）
改进半监督图像分割任务可以选择添加更多未标记的图像，标记未标记的图像或组合两者，因为在大多数临床应用中，图像采集和专家标记都不是微不足道的。腹腔镜肝脏图像分割应用程序，我们调查的性能影响，通过改变标记和未标记的训练数据的数量，使用半监督分割算法的基础上的平均教师学习范式。我们首先报告了一个显着更高的分割精度，与监督学习相比。有趣的是，这种比较表明，除了添加的未标记数据之外，半监督算法中采用的训练策略也是这种观察到的改进的原因。然后，我们比较了不同的组合的标记和未标记的数据集大小训练半监督分割网络，提供了一个定量的例子，这两个数据规划策略之间的实际有用的权衡在这个手术指导应用。
2019-08-20 cs.CV cs.LG eess.IV
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja（拉里奥哈大学）
在本文中，我们描述了一种新的方法，半监督机器学习的数学基础。利用符号计算和计算机代数的方法，利用持久同调的概念，得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory（美国海军研究实验室）
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督（BOSS）学习的潜力，以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼，类平衡和自我训练。一个好的原型选择是必不可少的，我们提出了一种技术，以获得图标的例子。此外，我们证明了类平衡方法大大提高了半监督学习的准确性，使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据，证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码，以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
最大化受试者工作特征曲线下面积（AUC）是不平衡分类的标准方法。到目前为止，已经开发了各种监督AUC优化方法，并且它们也被扩展到半监督场景以应对小样本问题。然而，现有的半监督AUC优化方法依赖于强分布假设，而这些假设在现实世界的问题中很少得到满足。在本文中，我们提出了一种新的半监督AUC优化方法，不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法（PU-AUC），然后将其与监督AUC优化方法相结合，将其扩展到半监督学习。我们从理论上证明，在没有限制性分布假设的情况下，未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后，我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
A Semi-Supervised Method for Predicting Cancer Survival Using Incomplete Clinical Data
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
预测癌症患者的存活率是一个开放的研究领域。然而，这些研究中的许多都集中在具有大量患者的数据集上。我们提出了一种新的方法，专门用于解决数据稀缺的挑战，这通常是癌症数据集的情况。我们的方法是能够使用未标记的数据，通过采用半监督训练方法来学习集成分类器，以提高分类。将我们的方法应用于三个癌症数据集的结果显示了半监督学习预测癌症生存率的前景。
2015-09-29 cs.LG
Semi-supervised Learning with Regularized Laplacian
Inria（法国国家信息与自动化研究所）；Trapeznikov Institute of Control Sciences of the Russian Academy of Sciences（俄罗斯科学院特拉佩兹尼科夫控制科学研究所）；St. Petersburg State University（圣彼得堡国立大学）
研究了一种基于相似图和正则拉普拉斯算子的半监督学习方法。我们给出了正则化拉普拉斯方法的方便的优化公式，并建立了它的各种性质。特别是，我们表明，该方法的内核可以解释在离散和连续时间的随机游动，并拥有几个重要的属性的邻近措施。最优化和线性代数方法都可以用于分类函数的有效计算。我们在数值例子中证明了正则化拉普拉斯方法相对于其他最先进的半监督学习方法是有竞争力的。
2015-08-20 cs.LG
Semi-Supervised Classification Based on Classification from Positive and Unlabeled Data
The University of Tokyo（东京大学）；RIKEN（日本理化学研究所）
迄今为止开发的大多数半监督分类方法在特定的分布假设（如聚类假设）下使用未标记数据进行正则化。相比之下，最近开发的从阳性和未标记数据进行分类的方法（PU分类）使用未标记数据进行风险评估，即，直接从未标记的数据中提取标记信息。在本文中，我们扩展PU分类，也将负面数据，并提出了一种新的半监督分类方法。我们建立泛化误差的界限，我们的新方法，并表明，该界限相对于未标记的数据的数量减少，而不需要在现有的半监督分类方法的分布假设。通过实验，我们证明了所提出的方法的实用性。
2017-06-16 cs.LG
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University（京都大学）
我们解释了基于图的半监督学习的泊松学习，看看它是否可以避免全局信息丢失的问题，因为基于拉普拉斯的学习方法在大型图。从我们的分析来看，泊松学习仅仅是带有阈值的拉普拉斯正则化，不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的，它包括的方法，并评论它们的使用和实现。然后，我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单、快速、易于调整的半监督学习（SSL）算法--半监督学习中的负采样（NS 3L）。NS 3L的动机是负抽样/对比估计的成功。我们证明，将NS 3L损失添加到最先进的SSL算法中，例如虚拟对抗训练（VAT），显着改善了vanilla VAT及其变体，具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中，MixMatch是当前最先进的半监督任务方法，我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10，CIFAR 100，SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence（嵌入式智能公司）
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查，这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明，影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架，针对半监督学习方法，以更好地理解和利用其局限性，并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
