Distantly-Supervised Named Entity Recognition with Noise-Robust Learning and Language Model Augmented Self-Training
University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）
我们研究的问题，训练命名实体识别（NER）模型，只使用距离标记的数据，这可以自动获得匹配的实体提到的原始文本中的实体类型的知识库。远程监督NER的最大挑战是远程监督可能会导致不完整和嘈杂的标签，从而使直接应用的监督学习变得无效。在本文中，我们提出了（1）一个噪声鲁棒的学习计划，包括一个新的损失函数和噪声标签去除步骤，用于训练远距离标记数据的NER模型，和（2）一个自训练方法，使用由预训练的语言模型创建的上下文增强，以提高泛化能力的NER模型。在三个基准数据集上，我们的方法实现了卓越的性能，显著优于现有的远程监督NER模型。
2021-09-10 cs.CL cs.LG
Learning from Memory: Non-Parametric Memory Augmented Self-Supervised Learning of Visual Features
Institute of Computing, University of Campinas（坎皮纳斯大学计算学院）；University of Oslo（奥斯陆大学）
本文提出一种利用非参数记忆增强神经网络的自监督学习方法，通过随机记忆块正则化训练并强制图像视图一致性，在无需额外正则化器的情况下实现稳定训练并获得高可迁移表示。
2024-07-03 cs.CV cs.LG
Electrocardiogram Report Generation and Question Answering via Retrieval-Augmented Self-Supervised Modeling
Eindhoven University of Technology（埃因霍温理工大学）；University of Cambridge（剑桥大学）
针对心电图解读与报告生成的专业门槛高、耗时长的问题，提出结合自监督编码器、动态检索与LLM优化的ECG-ReGen方法，在多数据集的报告生成与零样本问答任务上表现优异，为高效心电图解读提供可扩展方案。
2024-09-13 cs.LG
Hessian-augmented Supervised Learning for Hamilton-Jacobi-Bellman PDEs
Department of Mathematics, Imperial College London, South Kensington Campus（帝国理工学院伦敦数学系，南肯辛顿校区）；Department of Mathematics and Statistics, University of Konstanz（康斯坦茨大学数学与统计学系）；RICAM and Institute of Mathematics and Scientific Computing, University of Graz（格拉茨大学RICAM与数学与计算科学研究所）
提出一种数据驱动方法，利用最优控制问题中值函数的梯度与Hessian信息增强加权最小二乘回归，显著降低样本复杂度并提高近似精度，在高维问题中采用部分Hessian策略控制成本。
2026-06-24 cs.LG cs.NA math.NA
Contrastive Self-Supervised Network Intrusion Detection using Augmented Negative Pairs
University of Strathclyde（斯特拉思克莱德大学）；Ain Shams University（爱因夏姆大学）
针对网络入侵检测，提出对比学习范式CLAN，将增强样本视为负视图、良性样本为正视图，在Lycos2017上超越现有自监督与异常检测方法，并提升多类分类性能。
2025-09-08 cs.AI cs.CR cs.LG
Self-Supervised Representations for Binary Program Clustering: From Empirical Study to Retrieval-Augmented Learning
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies (KInIT)（肯佩伦智能技术研究所（KInIT））；Faculty of Electrical Engineering and Information Technology, Slovak University of Technology（斯洛伐克理工大学电气与信息技术学院）
本研究系统探究SSL和TRL在二进制程序聚类中的应用，提出VIME-R方法，在Ember和Bodmas数据集上实现同质性提升2.7%-5.8%，为自动化恶意软件分析提供新方向。
2026-08-04 cs.CR cs.LG
Snippext: Semi-supervised Opinion Mining with Augmented Data
Duke University（杜克大学）；Megagon Labs（美佳根实验室）
在线服务对意见挖掘的解决方案感兴趣，意见挖掘是从文本中提取方面，意见和情感的问题。挖掘观点的一种方法是利用最近成功的预训练语言模型，可以对其进行微调以从评论中获得高质量的提取。然而，微调语言模型仍然需要大量的训练数据。在本文中，我们研究的问题，如何显着减少的数量标记的训练数据所需的微调语言模型的意见挖掘。我们描述Snippext，意见挖掘系统开发的语言模型，通过半监督学习与增强数据进行微调。Snippext的一个新颖之处在于它巧妙地使用了双管齐下的方法，通过以下方式来实现最先进的（SOTA）性能：（1）数据增强，从现有数据自动生成更多的标记训练数据，以及（2）半监督学习技术，除了（有限数量的）标记数据之外，还利用大量的未标记数据。我们与广泛的实验表明，Snippext执行的，甚至可以超过以前的SOTA结果的意见挖掘任务，只有一半的训练数据所需的。此外，当利用所有训练数据时，它实现了新的SOTA结果。通过与基线管道的比较，我们发现Snippext提取了更细粒度的意见，这为下游应用提供了新的机会。
2020-02-07 cs.CL cs.LG
MATATA: Weakly Supervised End-to-End MAthematical Tool-Augmented Reasoning for Tabular Applications
Docugami Inc（Docugami公司）；University of Toronto（多伦多大学）
MATATA提出一种弱监督端到端方法，利用多步推理链的最终结果训练3.8B/8B小型语言模型智能体，在FinQA和TAT-QA上达到最先进水平，并在TabMWP上接近GPT-4框架性能。
2025-08-20 cs.CL cs.LG
MSR: Making Self-supervised learning Robust to Aggressive Augmentations
The University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；JD Explore Academy（京东探索研究院）；Hong Kong Baptist University（香港浸会大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
最近的自监督学习方法通过对比图像的不同增强视图来学习视觉表示。与监督学习相比，引入了更积极的增强，以进一步提高训练对的多样性。然而，侵略性增强可能会扭曲图像的结构，导致严重的语义转移问题，即同一图像的增强视图可能不共享相同的语义，从而降低传输性能。为了解决这个问题，我们提出了一个新的SSL范式，它抵消了语义转移的影响，通过平衡弱和积极增强对的作用。具体来说，语义不一致的对是少数，我们把它们作为嘈杂的对。请注意，深度神经网络（DNN）具有关键的记忆效应，即DNN倾向于在过度拟合噪声（少数）示例之前首先记住干净（多数）示例。因此，我们在早期学习阶段为积极增强的数据对设置了相对较大的权重。随着训练的进行，模型开始过拟合噪声对。相应地，我们逐渐降低积极增广对的权重。在这样做的过程中，我们的方法可以更好地拥抱侵略性的增强和中和语义转移的问题。实验表明，我们的模型在使用ResNet-50的ImageNet-1 K上实现了73.1%的top-1准确率，比BYOL提高了2.5%。此外，实验还表明，学习的表征可以很好地转移到各种下游任务。
2022-06-04 cs.CV cs.LG
Homophily-aware Supervised Contrastive Counterfactual Augmented Fair Graph Neural Network
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；University of the Basque Country（巴斯克大学）；IKERBASQUE（巴斯克科学基金会）；Institut Polytechnique de Paris（巴黎综合理工学院）；INRIA, Projet Regalia（法国国家信息与自动化研究所，Regalia项目）
本文提出一种改进的公平图神经网络框架，通过两阶段训练策略提升分类准确性和公平性。
2026-02-08 cs.LG
Embodied-Symbolic Contrastive Graph Self-Supervised Learning for Molecular Graphs
IBM
双符号概念表示是深度学习和符号AI集成的基础。我们讨论了使用双重符号化概念表示的分子图表示学习，特别是与基于范例的对比自监督学习（SSL）。具体化表示从分子图中学习，符号表示从相应的化学知识图谱（KG）中学习。我们使用化学KG增强分子图与符号（语义）知识，并生成其增强分子图。我们将分子图及其语义增强的分子图视为同一语义类的范例，并在基于范例的对比SSL中将这些对用作正对。
2022-05-13 cs.LG
MalMixer: Few-Shot Malware Classification with Retrieval-Augmented Semi-Supervised Learning
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）
针对现有恶意软件分类器依赖大量人工分析样本的问题，提出MalMixer，通过领域知识感知数据增强的检索增强半监督学习，在稀疏训练数据下实现少样本恶意软件家族分类的最先进性能。
2025-04-17 cs.CR cs.LG
Contrastive Self-supervised Learning for Graph Classification
UC San Diego（加州大学圣迭戈分校）
图分类是一个被广泛研究的问题，有着广泛的应用。在许多现实问题中，可用于训练分类模型的标记图的数量是有限的，这使得这些模型容易过拟合。为了解决这个问题，我们提出了两种方法的基础上对比自监督学习（CSSL），以减轻过拟合。在第一种方法中，我们使用CSSL在广泛可用的未标记图上预训练图编码器，而不依赖于人类提供的标签，然后在标记图上微调预训练的编码器。在第二种方法中，我们开发了一个基于CSSL的正则化器，并同时解决了监督分类任务和无监督CSSL任务。为了在图上执行CSSL，给定原始图的集合，我们执行数据增强以从原始图创建增强图。通过连续地应用一系列的图改变操作来创建增强图。定义了一种对比损失，通过判断两个增广图是否来自同一个原始图来学习图编码器。在不同的图分类数据集上的实验证明了我们提出的方法的有效性。
2020-09-13 cs.LG stat.ML
Label Propagation with Augmented Anchors: A Simple Semi-Supervised Learning baseline for Unsupervised Domain Adaptation
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；The Hong Kong Polytechnic University（香港理工大学）
受无监督领域自适应（UDA）和半监督学习（SSL）之间的问题相关性的激励，许多现有技术的UDA方法采用SSL原理（例如，集群假设）作为他们的学习成分。然而，他们往往忽视了UDA的域转移本质。在这项工作中，我们采取进一步研究适当的扩展SSL技术的UDA。以标签传播算法为例，分析了UDA采用标签传播算法所面临的挑战，并从理论上分析了亲和图/亲和矩阵的构造条件，以实现真实标签向未标记实例的更好传播。我们的分析提出了一种新的具有增强的标签传播（A $^2$ LP）的标签传播算法，该算法可以通过生成未标记的虚拟实例（即，增强的锚）与高置信度标签预测。为了使拟议的一个$^2$ LP有用的UDA，我们提出了经验方案来生成这样的虚拟实例。所提出的方案还通过经由A $^2$ LP的伪标记和域不变特征学习之间的交替来解决UDA的域移位挑战。实验表明，这样一个简单的SSL扩展改进了域不变特征学习的代表性UDA方法，并可以在基准UDA数据集上授权两种最先进的方法。我们的研究结果表明SSL技术的UDA问题的进一步研究的价值。
2020-07-15 cs.LG stat.ML
AASAE: Augmentation-Augmented Stochastic Autoencoders
Grid AI Labs（Grid人工智能实验室）；New York University（纽约大学）
最近的自监督学习方法可以分为两种范式：对比和非对比方法。它们的成功在很大程度上归功于数据增强管道，该管道生成单个输入的多个视图，这些视图保留了底层语义。在这项工作中，我们介绍了增强随机自动编码器（AASAE），另一种替代自监督学习，基于自动编码。我们从传统的变分自编码器（VAE）开始，通过替换KL发散正则化，这是不可知的输入域，数据增强，明确鼓励内部表示编码域特定的不变性和等变性。我们凭经验评估所提出的AASAE对图像分类，类似于最近的对比和非对比学习算法已被评估。我们的实验证实了数据增强作为KL发散正则化的替代的有效性。AASAE在CIFAR-10上的表现优于VAE 30%，在STL-10上为40%，在Imagenet上为45%。在CIFAR-10和STL-10上，AASAE的结果在很大程度上与自监督学习的最新算法相当。
2022-02-07 cs.LG
MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classification
Georgia Tech（佐治亚理工学院）；CMU（卡内基梅隆大学）
本文介绍了MixText，一种用于文本分类的半监督学习方法，它使用了我们新设计的称为TMix的数据增强方法。TMix通过在隐藏空间中插入文本来创建大量的增强训练样本。此外，我们利用数据增强的最新进展来猜测未标记数据的低熵标签，从而使它们像标记数据一样易于使用。通过混合标记，未标记和增强数据，MixText在几个文本分类基准上显著优于当前预训练和微调模型以及其他最先进的半监督学习方法。在监督极其有限的情况下，这种改进尤为突出。我们已在https://github.com/GT-SALT/MixText上公开发布了我们的代码。
2020-04-25 cs.CL cs.LG
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University（女王大学）
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面，标记EEG数据通常昂贵且耗时。为了解决这个问题，并减少在基于EEG的情感识别的背景下对输出标签的需求，我们提出了一个半监督管道，以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性，而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架，并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器，即使在训练期间输出标签的小子集（3%，5%和10%）可用时，也始终优于基准方法，从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University（上海交通大学）
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本，以避免由于标记样本不足而导致的性能（或模型）退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论，并介绍了半监督学习研究的最新进展，最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University（哥伦比亚大学）
在这项工作中，我们表明，用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展，将预训练中的图像数量从数百万增加到10亿。我们进行消融研究，比较半监督和监督模型的迁移学习，同时保持所有其他因素相同。在半监督模型中，我们比较了对比学习与师生方法，以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性，为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Contrastive Siamese Network for Semi-supervised Speech Recognition
Google Inc.（谷歌公司）
本文介绍了对比暹罗（c-siam）网络，一种在语音识别中利用未标记声学数据的体系结构。c-siam是第一个通过匹配两个相同的Transformer编码器的输出从语音中提取高级语言信息的网络。它包含增强分支和目标分支，通过以下方式进行训练：（1）掩蔽输入并匹配具有对比损失的输出，（2）在目标分支上引入停止梯度操作，（3）在增强分支上使用额外的可学习变换，（4）引入新的时间增强函数以防止捷径学习问题。我们使用Libri-light 60 k无监督数据和LibriSpeech 100 hrs/960 hrs监督数据来比较c-siam和其他性能最好的系统。我们的实验表明，c-siam提供了20%的相对字出错率改善wav 2 vec基线。与具有600 M参数的最先进网络相比，具有450 M参数的c-siam网络实现了具有竞争力的结果。
2022-05-27 cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
An Efficient Semi-smooth Newton Augmented Lagrangian Method for Elastic Net
Penn State University（宾夕法尼亚州立大学）；Sant’Anna School of Advanced Studies（圣安娜高等研究院）
特征选择是统计学和机器学习中一个重要而活跃的研究领域。弹性网通常用于当特征呈现不可忽略的共线性或从业者希望结合附加的已知结构时执行选择。在这篇文章中，我们提出了一个新的半光滑牛顿增广拉格朗日方法，有效地解决了弹性网在超高的维度设置。我们的新算法利用了由弹性网惩罚引起的稀疏性和由于增广拉格朗日的二阶信息引起的稀疏性。这大大降低了问题的计算成本。通过对合成数据集和真实数据集的模拟，我们证明了我们的方法在CPU时间方面至少比其最佳竞争对手高出一个数量级。我们还将我们的方法应用于儿童肥胖的全基因组关联研究。
2020-06-06 cs.LG stat.CO stat.ML
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
The Impact of Semantic Pairs on Self-Supervised Representation Learning
Department of Computing Science University of Aberdeen（计算科学系大学阿伯丁）；Department of Physics and Technology UiT The Arctic University of Norway（物理与技术系UiT北极大学）
通过控制实验研究语义正对（不同同类实例）相比增强正对在自监督学习中的效果，发现语义对能提升泛化性能，尤其对比学习受益最大。
2026-09-21 cs.AI cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）
从顺序到达的数据中学习，可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止，持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中，每个任务都包含标记（通常很少）和未标记（通常很多）的训练样本，这需要半监督学习方法。为了在持续学习环境中解决这个问题，我们提出了一个半监督持续学习的框架，称为连续半监督学习的元巩固（MCSSL）。我们的框架有一个超网络，它学习元分布，生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识，基础网络学习半监督学习任务。此外，我们提出了$\textit{Semi-Split CIFAR-10}$，一个新的基准连续半监督学习，通过修改$\textit{Split CIFAR-10}$数据集，其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能，提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University（卡内基梅隆大学）
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此，当在现实世界的用例中使用时，学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例，通常会提高性能。然而，在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中，我们解除这一假设，并提出了两个半监督的方法，基于卷积神经网络（CNN）学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习，同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中，我们表明，我们的CNN在平均F1得分（Fm）方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich（慕尼黑大学）；Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注，但其在时间序列域中的适用性研究有限。在这项工作中，我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整，特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整，我们探索深度半监督学习在时间序列分类的背景下，通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑，这是尚未在该领域缺乏。我们发现，这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益，特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja（拉里奥哈大学）
在本文中，我们描述了一种新的方法，半监督机器学习的数学基础。利用符号计算和计算机代数的方法，利用持久同调的概念，得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara（加州大学圣巴巴拉分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
我们总结了PirouNet，一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列，PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
最大化受试者工作特征曲线下面积（AUC）是不平衡分类的标准方法。到目前为止，已经开发了各种监督AUC优化方法，并且它们也被扩展到半监督场景以应对小样本问题。然而，现有的半监督AUC优化方法依赖于强分布假设，而这些假设在现实世界的问题中很少得到满足。在本文中，我们提出了一种新的半监督AUC优化方法，不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法（PU-AUC），然后将其与监督AUC优化方法相结合，将其扩展到半监督学习。我们从理论上证明，在没有限制性分布假设的情况下，未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后，我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research（IBM研究院人工智能基础部）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了区分对抗网络（DAN）的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络（GANs）和条件GANs的基础上，但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架，它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例：分类和排名。我们在三个不同任务的数据集上的实验结果表明，DAN是一个很有前途的框架，用于半监督学习和学习预测器的损失函数。对于所有任务，DAN的半监督能力可以显着提高小标记集的预测器性能，而任务之间的架构变化较小。此外，由DAN自动学习的损失函数是非常有竞争力的，并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research（Flyreel人工智能研究院）
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力：访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果，仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中，我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础，挑战了一致性正则化的长期成功。我们进行了广泛的比较实验，以证明自监督正则化的有效性，监督和半监督图像分类SVHN，CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果：（1）使用自监督正则化增强的模型显着改进了传统的监督分类器，而不需要未标记的数据;（2）与未标记的数据一起，我们的模型产生了半监督性能，与现有的最先进的一致性基线竞争，并且在许多情况下超过了它。最后，我们的模型具有端到端有效训练的实用性，并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注，因为它需要大量的标记数据，这些数据通常是昂贵的，需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能，监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架，LaplaceNet，深度半监督分类，大大降低了模型的复杂性。我们利用一种混合的方法，其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上，我们的模型优于最先进的深度半监督分类方法。此外，我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明，通过严格的实验，多采样增强方法提高了泛化能力，降低了网络对增强的敏感性。
2022-09-28 cs.LG
Semi-supervised classification using a supervised autoencoder for biomedical applications
Cote d'Azur University（蔚蓝海岸大学）；Orange Labs（Orange实验室）
在本文中，我们提出了一种新的方法来解决半监督分类任务的生物医学应用，涉及监督自动编码器网络。我们创建了一个网络架构，将标签编码到自动编码器的潜在空间中，并定义了一个结合分类和重建损失的全局标准。我们使用双下降算法在标记数据上训练半监督自动编码器（SSAE）。然后，我们使用学习的网络对未标记的样本进行分类，这要归功于应用于潜在空间的softmax分类器，该分类器为每个类别提供分类置信度得分。我们使用PyTorch框架实现了SSAE方法，用于模型、优化器、优化器和损失函数。我们比较我们的半监督自动编码器方法（SSAE）与经典的半监督方法，如标签传播和标签扩散，并与全连接神经网络（FCNN）。实验表明，SSAE优于标签传播和传播和全连接神经网络在合成数据集和两个真实世界的生物数据集。
2022-08-22 cs.AI cs.LG q-bio.GN
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University（京都大学）
我们解释了基于图的半监督学习的泊松学习，看看它是否可以避免全局信息丢失的问题，因为基于拉普拉斯的学习方法在大型图。从我们的分析来看，泊松学习仅仅是带有阈值的拉普拉斯正则化，不能克服这个问题。
2022-03-11 cs.LG stat.ML
Semi-supervised Vision Transformers at Scale
AWS AI Labs（亚马逊云科技人工智能实验室）
我们研究半监督学习（SSL）的视觉Transformer（ViT），尽管广泛采用的ViT架构不同的任务，一个未充分探讨的话题。为了解决这个问题，我们提出了一个新的SSL管道，包括第一个非/自我监督的预训练，其次是监督微调，最后是半监督微调。在半监督微调阶段，我们采用指数移动平均（EMA）-教师框架，而不是流行的FixMatch，因为前者更稳定，并提供更高的精度为半监督视觉Transformer。此外，我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签，以改进正则化，这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法，被称为半ViT，实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势，可以轻松扩展到大尺寸模型，并提高精度。例如，Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率，这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University（普渡大学）；ETH Zürich（苏黎世联邦理工学院）
我们使用梯形网络[Rasmus et al.（2015）]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下，这已被证明比其他半监督技术更成功，例如使用未标记数据进行预训练。我们还表明，卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术，并在帕维亚大学数据集上实现了新的最先进的性能，每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的，它包括的方法，并评论它们的使用和实现。然后，我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单、快速、易于调整的半监督学习（SSL）算法--半监督学习中的负采样（NS 3L）。NS 3L的动机是负抽样/对比估计的成功。我们证明，将NS 3L损失添加到最先进的SSL算法中，例如虚拟对抗训练（VAT），显着改善了vanilla VAT及其变体，具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中，MixMatch是当前最先进的半监督任务方法，我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10，CIFAR 100，SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Scaling Supervised Local Learning with Augmented Auxiliary Networks
The Hong Kong Polytechnic University（香港理工大学）；Nanyang Technological University（南洋理工大学）
针对局部学习层间无梯度通信导致的准确率差距，提出AugLocal，通过选取后续层构建并线性调整辅助网络深度，在四个数据集上以约40%的显存节省达到接近BP的性能。
2024-02-27 cs.CV cs.LG cs.NE
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence（嵌入式智能公司）
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查，这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明，影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架，针对半监督学习方法，以更好地理解和利用其局限性，并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们介绍了用于半监督学习的SaaS算法，该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中，训练速度与正确标签的百分比密切相关，因此我们将其用作未知标签的推理标准，而不试图首先推断模型参数。尽管简单，SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Semi-supervised Fréchet Regression
School of Statistics, East China Normal University（华东师范大学统计学院）；National University of Singapore（新加坡国立大学）
针对非欧标签获取成本高的问题，本文提出两种基于图距离的半监督Fréchet回归方法，推导了其收敛速率，实验证明性能优于监督式方法，填补了相关研究空白。
2024-04-16 cs.LG math.ST stat.ML
Semi-supervised Neural Machine Translation with Consistency Regularization for Low-Resource Languages
University of Science, VNUHCM（胡志明市国家大学科学学院）；Auburn University（奥本大学）
本文提出一种半监督NMT方法，结合交叉熵与KL散度并引入SentenceBERT过滤器增强数据质量，显著提升低资源语言翻译性能。
2023-04-02 cs.CL cs.LG
