MelissaDL x Breed: Towards Data-Efficient On-line Supervised Training of Multi-parametric Surrogates with Active Learning
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
针对传统离线训练偏微分方程代理模型的存储与I/O效率问题，结合Melissa框架的在线流式训练，提出基于训练损失引导的自适应多重重要性采样的主动学习方法Breed，提升多参数代理模型训练的数据效率与泛化能力。
2024-10-08 cs.AI cs.LG
A probabilistic generative model for semi-supervised training of coarse-grained surrogates and enforcing physical constraints through virtual observables
Technical University of Munich（慕尼黑工业大学）
以数据为中心构建细粒度物理模型的廉价替代物一直处于计算物理学的最前沿，因为它在许多查询任务（如不确定性量化）中具有重要的实用性。最近的努力已经利用了来自机器学习（例如，深度神经网络）领域的使能技术与模拟数据的组合。虽然这种策略即使在高维问题中也显示出了希望，但它们通常需要大量的训练数据，即使代理的构建根据定义是一个小数据问题。而不是采用基于数据的损失函数，它已被提议利用的控制方程（在最简单的情况下，在配置点），以灌输领域知识的训练，否则黑盒样插值。本论文提供了一个灵活的概率框架，该框架考虑了训练目标和代理模型本身中的物理结构和信息。我们提倡一种概率（贝叶斯）模型，其中可以从物理学（例如残差，守恒定律）中获得的等式可以作为虚拟观测量引入，并且可以通过可能性提供额外的信息。我们进一步提倡生成模型，即尝试学习输入和输出的联合密度的模型，该模型能够以半监督的方式利用未标记的数据（即仅输入），以促进发现低维嵌入，但这些嵌入仍然可以预测细粒度模型的输出。
2020-06-02 cs.LG stat.ML
The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
考虑一个分类问题，其中我们有标记和未标记的数据。我们表明，线性分类器定义的凸利润为基础的代理损失正在减少，这是不可能构建任何半监督的方法，能够保证改进的监督分类器上的标记和未标记的数据上的代理损失。对于也增加的凸边际损失函数，我们证明了安全的改进是可能的。
2019-01-08 cs.LG stat.ML
Attention to Detail: Fine-Scale Feature Preservation-Oriented Geometric Pre-training for AI-Driven Surrogate Modeling
Carnegie Mellon University（卡内基梅隆大学）；Dassault Systèmes SIMULIA Corp.（达索系统SIMULIA公司）
本文提出一种自监督几何表示学习方法，通过近零水平采样和批量自适应注意力加权损失函数捕获非参数化三维模型的细尺度几何特征，并在结构力学案例中验证了其少样本物理预测能力。
2025-05-03 cs.LG
Using Imperfect Surrogates for Downstream Inference: Design-based Supervised Learning for Social Science Applications of Large Language Models
Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
本文针对大语言模型代理标签存在偏差的问题，提出基于设计的有监督学习（DSL）估计器，通过双重稳健方法结合少量金标准标签，在无需严格假设的情况下保证下游统计分析的有效推断。
2024-01-14 cs.CL cs.LG stat.ME
Contrastive Graph Condensation: Advancing Data Versatility through Self-Supervised Learning
The University of Queensland（昆士兰大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Peking University（北京大学）
针对现有图压缩方法依赖标签且泛化性差的问题，提出对比图压缩（CTGC），采用自监督双分支框架解耦属性与结构生成，通过对比损失和交替优化提升压缩图跨任务通用性，实验验证其性能优于现有方法。
2025-10-08 cs.LG
Supervised classification via minimax probabilistic transformations
BCAM-Basque Center of Applied Mathematics（BCAM巴斯克应用数学中心）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
用于监督分类的常规技术约束所考虑的分类规则，并且使用用于分类0-1损失的替代损失。分类规则的Festival族是那些享有适合于代理损失最小化的参数表示和适合于过拟合控制的低复杂度特性的分类规则。本文提出了基于鲁棒风险最小化（RRM）的分类技术，我们称之为线性概率分类器（LPC）。所提出的技术考虑无约束的分类规则，优化分类0-1损失，并在学习过程中提供性能界限。LPC通过使用线性优化来实现有效的学习，并通过使用RRM在多面体不确定性分布集上避免过度拟合。我们还提供了有限样本的泛化界的LPC，并显示其竞争力的性能与国家的最先进的技术，使用基准数据集。
2019-05-31 cs.LG stat.ML
Calibrating Uncertainty for Semi-Supervised Crowd Counting
Stony Brook University（石溪大学）
针对半监督人群计数中伪标签可靠性问题，提出通过监督式逐块匹配代理函数校准模型不确定性，从而筛选高质量伪标签并达到最先进性能。
2023-08-19 cs.CV cs.LG
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University（上海交通大学）
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本，以避免由于标记样本不足而导致的性能（或模型）退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论，并介绍了半监督学习研究的最新进展，最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Inpainting physics: self-supervised learning for context-driven fluid simulation
AI for Image-Guided Diagnosis and Therapy, Technical University of Munich（图像引导诊断与治疗人工智能，慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；AI in Healthcare and Medicine, Technical University of Munich（医疗人工智能，慕尼黑技术大学）；Imperial College London（伦敦帝国学院）
提出将稳态CFD推理重构为修复问题，通过自监督学习速度场先验并在推理时施加边界约束，利用局部邻域分词器处理大规模3D网格，在颅内动脉瘤血流动力学中优于监督代理模型。
2026-08-17 cs.LG physics.flu-dyn
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Deep Semi-Supervised Learning for Time Series Classification
LMU Munich（慕尼黑大学）；Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
虽然半监督学习在图像数据的计算机视觉中得到了广泛的关注，但其在时间序列域中的适用性研究有限。在这项工作中，我们研究了最先进的深度半监督模型从图像到时间序列分类的可移植性。我们讨论了必要的模型调整，特别是一个适当的模型骨干架构和使用量身定制的数据增强策略。基于这些调整，我们探索深度半监督学习在时间序列分类的背景下，通过评估我们的方法对大型公共时间序列分类问题与不同数量的标记样本的潜力。我们进行了广泛的比较下一个决定性的现实和适当的评估计划与统一的重新实现的所有算法考虑，这是尚未在该领域缺乏。我们发现，这些转移的半监督模型比强监督、半监督和自监督模型显示出显着的性能增益，特别是对于标记样本很少的情况。
2022-02-16 cs.LG
Intentional Choreography with Semi-Supervised Recurrent VAEs
UC Santa Barbara（加州大学圣巴巴拉分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
我们总结了PirouNet，一个半监督的循环变分自编码器的模型和结果。给定少量标记有定性编舞注释的舞蹈序列，PirouNet有条件地生成编舞风格的舞蹈序列。
2022-09-20 cs.LG
Learning Loss Functions for Semi-supervised Learning via Discriminative Adversarial Networks
AI Foundations, IBM Research（IBM研究院人工智能基础部）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了区分对抗网络（DAN）的半监督学习和损失函数学习。我们的DAN方法建立在生成对抗网络（GANs）和条件GANs的基础上，但包括使用两个鉴别器而不是生成器和鉴别器的关键区别。DAN可以被看作是一个学习预测器的损失函数的框架，它还以简单的方式实现了半监督学习。我们针对两种不同的预测任务提出了DAN的实例：分类和排名。我们在三个不同任务的数据集上的实验结果表明，DAN是一个很有前途的框架，用于半监督学习和学习预测器的损失函数。对于所有任务，DAN的半监督能力可以显着提高小标记集的预测器性能，而任务之间的架构变化较小。此外，由DAN自动学习的损失函数是非常有竞争力的，并且通常优于半监督学习和监督学习的标准成对和负对数似然损失函数。
2017-07-07 cs.LG
LaplaceNet: A Hybrid Graph-Energy Neural Network for Deep Semi-Supervised Classification
半监督学习近年来受到了广泛的关注，因为它需要大量的标记数据，这些数据通常是昂贵的，需要专家知识并且收集起来很耗时。最近在深度半监督分类方面的发展已经达到了前所未有的性能，监督学习和半监督学习之间的差距正在不断缩小。这种性能上的改进是基于包括许多技术技巧、强增强技术和具有多项损失函数的昂贵优化方案。我们提出了一个新的框架，LaplaceNet，深度半监督分类，大大降低了模型的复杂性。我们利用一种混合的方法，其中伪标签通过最小化图上的拉普拉斯能量来产生。这些伪标签然后被用于迭代地训练神经网络骨干。在几个基准数据集上，我们的模型优于最先进的深度半监督分类方法。此外，我们认为强增广神经网络的应用理论和证明使用多采样方法的半监督学习。我们证明，通过严格的实验，多采样增强方法提高了泛化能力，降低了网络对增强的敏感性。
2022-09-28 cs.LG
Non-intrusive surrogate modelling using sparse random features with applications in crashworthiness analysis
BMW Group（宝马集团）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）
有效的替代模型是数据驱动情景中不确定性量化的关键要求。在这项工作中，一种新的方法，使用稀疏随机特征的代理建模结合自监督降维描述。该方法进行了比较，与其他方法的合成和实际数据从耐撞性分析。结果表明，在这里描述的方法优于国家的最先进的代理建模技术，多项式混沌扩展和神经网络。
2022-12-30 cs.CE cs.LG cs.NA
Swarm Intelligence in Semi-supervised Classification
本文综述了群体智能算法在半监督分类领域的研究进展。在机器学习领域，有许多关于应用群体智能算法的研究论文。SI中的一些算法单独或与其他ML算法混合应用于ML领域。SI算法也可用于ML算法的参数调整，或作为ML算法的骨干。本文简要介绍了群体智能算法在半监督学习领域中的应用
2017-06-03 cs.LG
ACPO: Asymmetric Credit Policy Optimization via Mode-Local Entropy Surrogate
Peking University（北京大学）；Baidu Inc.（百度公司）；Kuaishou Inc（快手公司）
研究针对强化学习中稀疏奖励致令牌级信用分配难的问题，提出基于模式局部替代熵的ACPO框架，通过不对称调制策略更新改进信用分配，实验表明其优于多种强化学习基线。
2026-07-31 cs.AI cs.LG
A Minimax Surrogate Loss Approach to Conditional Difference Estimation
MIT（麻省理工学院）；Duke University（杜克大学）
我们提出了一种新的机器学习方法来估计个性化的处理效应在经典的潜在结果框架与二元结果。为了克服这个问题，治疗和控制结果为同一个单位都需要监督学习，我们提出了替代损失函数，将治疗和控制数据。新的替代品产生更严格的界限比治疗组和对照组的损失之和。一个特定的选择损失函数，即一种类型的铰链损失，产生一个极大极小支持向量机制定。由此产生的优化问题只需要一个凸优化问题的解决方案，将治疗和控制单元，它使核技巧被用来处理非线性（也是非参数）估计。统计学习界限也提出了框架和实验结果。
2018-05-04 cs.LG stat.ML
On Measuring and Quantifying Performance: Error Rates, Surrogate Loss, and an Example in SSL
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Oslo（奥斯陆大学）
在各种学习方法中，特别是在领域自适应、主动学习、协变量偏移下的学习、半监督学习、具有概念漂移的学习等中，人们通常想要将基线分类器与一个或多个高级（或至少不同）策略进行比较。在本章中，我们基本上认为，如果这样的分类器，在各自的训练阶段，优化了所谓的替代损失，它也可能是有价值的，以比较这种损失的行为在测试集上，其次是常规分类出错率。它可以为我们提供出错率无法捕获的分类器相对性能的额外视图。作为一个例子，有限但令人信服的实证结果表明，我们可能能够找到半监督学习策略，可以保证性能的改善，随着对数似然的未标记数据的数量增加。相反，后者可能无法保证分类出错率。
2017-07-13 cs.CV cs.LG stat.ML
Performance or Trust? Why Not Both. Deep AUC Maximization with Self-Supervised Learning for COVID-19 Chest X-ray Classifications
National Research Council Canada（加拿大国家研究委员会）；University of Waterloo（滑铁卢大学）
有效的表示学习是提高医学图像分析模型性能的关键。在训练深度学习模型时，通常必须在性能和信任之间做出妥协，这两者对于医疗应用都是必不可少的。此外，使用交叉熵损失优化的模型往往会在多数类中遭受不必要的过度自信，而在少数类中则会过度谨慎。在这项工作中，我们将新的替代损失与自监督学习相结合，使用放射摄影图像对COVID-19患者进行计算机辅助筛查。此外，我们采用了一种新的量化分数来衡量模型的可信度。对特征学习方法和损失函数的性能和信任度进行了消融研究。比较表明，在自监督模型上利用新的代理损失可以产生高性能和值得信赖的标签效率网络。
2021-12-14 cs.CV cs.LG eess.IV
Calibrated Surrogate Maximization of Linear-fractional Utility in Binary Classification
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
复杂的分类性能指标，如F ${}_β$ -措施和Jaccard指数经常使用，以处理类不平衡的情况下，如信息检索和图像分割。这些性能指标是不可分解的，也就是说，它们不能以每个示例的方式表示，这阻碍了在监督学习中广泛使用的M-估计的直接应用。在本文中，我们考虑线性分数度量，这是一个家庭的分类性能指标，包括许多标准的，如F ${}_β$措施和Jaccard指数，并提出方法，直接最大限度地提高这些指标下的性能。解决其直接优化的一个线索是校准的代理效用，这是表示给定度量的真实效用函数的易于处理的下限。我们刻画了代理最大化与真实效用最大化一致的充分条件。基准数据集上的仿真结果验证了我们校准的代理最大化的有效性，特别是当样本量非常小时。
2020-02-17 cs.LG stat.ML
Cheap Thrills: Effective Amortized Optimization Using Inexpensive Labels
Massachusetts Institute of Technology（麻省理工学院）；Technical University of Denmark（丹麦技术大学）
本文提出一种利用廉价不完美标签的框架，通过监督预训练和自监督学习提升模型性能，在非凸约束优化、电网操作和刚性动力系统中实现更快收敛和更低计算成本。
2026-05-08 cs.LG math.OC
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
Semi-Supervised Off Policy Reinforcement Learning
Harvard University（哈佛大学）；Massachusetts General Hospital（麻省总医院）
强化学习（RL）在估计考虑患者异质性的序贯治疗策略方面取得了巨大成功。然而，作为强化学习方法奖励的健康结果信息通常没有很好地编码，而是嵌入在临床笔记中。提取精确的结果信息是一项资源密集型任务，因此大多数可用的注释良好的队列都很小。为了解决这个问题，我们提出了一个半监督学习（SSL）的方法，有效地利用一个小规模的标记数据与观察到的真实结果，和一个大的未标记的数据与结果代理。特别是，我们提出了一个半监督的，有效的方法来Q学习和双鲁棒关闭政策值估计。将SSL推广到顺序治疗方案带来了有趣的挑战：1）Q学习的特征分布是未知的，因为它包括以前的结果。2)我们在改进的SSL框架中利用的代理变量可以预测结果，但不能为最优策略或价值函数提供信息。我们提供的理论结果，我们的Q-函数和价值函数估计，了解到什么程度的效率可以从SSL。我们的方法至少与监督方法一样有效，而且安全，因为它对插补模型的错误指定具有鲁棒性。
2021-02-23 cs.AI cs.LG stat.ME
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University（哥伦比亚大学）
在这项工作中，我们表明，用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展，将预训练中的图像数量从数百万增加到10亿。我们进行消融研究，比较半监督和监督模型的迁移学习，同时保持所有其他因素相同。在半监督模型中，我们比较了对比学习与师生方法，以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性，为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University（卡内基梅隆大学）
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此，当在现实世界的用例中使用时，学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例，通常会提高性能。然而，在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中，我们解除这一假设，并提出了两个半监督的方法，基于卷积神经网络（CNN）学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习，同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中，我们表明，我们的CNN在平均F1得分（Fm）方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja（拉里奥哈大学）
在本文中，我们描述了一种新的方法，半监督机器学习的数学基础。利用符号计算和计算机代数的方法，利用持久同调的概念，得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
最大化受试者工作特征曲线下面积（AUC）是不平衡分类的标准方法。到目前为止，已经开发了各种监督AUC优化方法，并且它们也被扩展到半监督场景以应对小样本问题。然而，现有的半监督AUC优化方法依赖于强分布假设，而这些假设在现实世界的问题中很少得到满足。在本文中，我们提出了一种新的半监督AUC优化方法，不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法（PU-AUC），然后将其与监督AUC优化方法相结合，将其扩展到半监督学习。我们从理论上证明，在没有限制性分布假设的情况下，未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后，我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University（京都大学）
我们解释了基于图的半监督学习的泊松学习，看看它是否可以避免全局信息丢失的问题，因为基于拉普拉斯的学习方法在大型图。从我们的分析来看，泊松学习仅仅是带有阈值的拉普拉斯正则化，不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的，它包括的方法，并评论它们的使用和实现。然后，我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单、快速、易于调整的半监督学习（SSL）算法--半监督学习中的负采样（NS 3L）。NS 3L的动机是负抽样/对比估计的成功。我们证明，将NS 3L损失添加到最先进的SSL算法中，例如虚拟对抗训练（VAT），显着改善了vanilla VAT及其变体，具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中，MixMatch是当前最先进的半监督任务方法，我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10，CIFAR 100，SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Rethinking Backdoor Data Poisoning Attacks in the Context of Semi-Supervised Learning
Embedded Intelligence（嵌入式智能公司）
半监督学习方法可以用传统监督学习所需的标记训练样本的一小部分来训练高精度的机器学习模型。此类方法通常不涉及对未标记的训练样本的仔细审查，这使它们成为数据投毒攻击的诱人目标。本文研究了半监督学习方法对未标记样本的后门数据投毒攻击的脆弱性。我们表明，影响中毒样本预测标签分布的简单中毒攻击非常有效-平均攻击成功率高达96.9%。我们引入了一个广义的攻击框架，针对半监督学习方法，以更好地理解和利用其局限性，并激励未来的防御策略。
2022-12-05 cs.CR cs.LG
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna（博洛尼亚大学）
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是，强制平滑的输出变化，同时呈现视频序列中的时间闭合帧，被证明是一种有效的策略。在本文中，我们证明了半监督增量调谐的时间相干性的功效。我们表明，如果暴露于未标记数据的视频序列，一个深度架构，只要以监督的方式进行温和的训练，就可以逐步提高其分类准确性。在某些情况下，半监督调优允许提高分类准确性（接近监督的）的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
Deep Recurrent Semi-Supervised EEG Representation Learning for Emotion Recognition
Queen’s University（女王大学）
基于EEG的情感识别通常需要足够的标记训练样本来构建有效的计算模型。另一方面，标记EEG数据通常昂贵且耗时。为了解决这个问题，并减少在基于EEG的情感识别的背景下对输出标签的需求，我们提出了一个半监督管道，以联合利用未标记和标记的数据来学习EEG表示。我们的半监督框架由无监督和监督组件组成。无监督部分使用自动编码器最大化原始和重构输入数据之间的一致性，而同时监督部分最小化输入和输出标签之间的交叉熵。我们评估我们的框架使用堆叠的自动编码器和基于注意力的经常性自动编码器。我们在大规模SEED EEG数据集上测试了我们的框架，并将我们的结果与其他几种流行的半监督方法进行了比较。我们的半监督框架具有基于深度注意力的递归自动编码器，即使在训练期间输出标签的小子集（3%，5%和10%）可用时，也始终优于基准方法，从而实现了新的最先进的半监督性能。
2021-07-28 cs.LG eess.SP
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex School of Data Analysis（Yandex数据分析学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上，该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类，已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中，我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法，并提出了一种新的原则性方法，半监督线性判别分析，使用所谓的隐式约束。我们探讨这些方法之间的关系，并考虑的问题，如果在什么意义上，我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒，并且在未见过对象的对数似然性方面，可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Dense FixMatch: a simple semi-supervised learning method for pixel-wise prediction tasks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Univrses AB（Univrses公司）
我们提出了Dense FixMatch，这是一种简单的方法，用于密集和结构化预测任务的在线半监督学习，通过强数据增强结合伪标记和一致性正则化。通过在伪标签上添加匹配操作，我们使FixMatch在图像分类之外的半监督学习问题中的应用成为可能。这使得我们仍然可以使用数据增强管道的全部功能，包括几何变换。我们评估它的半监督语义分割城市景观和Pascal VOC与不同百分比的标记数据和消融设计选择和超参数。与仅使用标记数据的监督学习相比，Dense FixMatch显著改善了结果，接近其使用1/4标记样本的性能。
2022-10-18 cs.CV cs.LG
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology（格拉茨技术大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；University of Cambridge（剑桥大学）
在一些领域中，获取类注释是昂贵的，而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设，但最近的工作已经成功地在非限制性机制中学习半监督模型。然而，到目前为止，这样的方法只提出了线性模型。在这项工作中，我们介绍了和积网络（SPN）的半监督参数学习。SPN是深度概率模型，允许在线性时间内推理网络边缘的数量。我们的方法有几个优点，因为它（1）允许生成和判别式半监督学习，（2）保证添加未标记数据可以增加，但不会降低性能（安全），（3）计算效率高，不会对数据分布进行限制性假设。我们在各种数据集上表明，与最先进的方法相比，使用SPN的安全半监督学习具有竞争力，并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
A Deep Generative Model for Semi-Supervised Classification with Noisy Labels
École Polytechnique（巴黎综合理工学院）；University of California, Berkeley（加州大学伯克利分校）
由于错误和类之间真正的歧义，类标签经常不能被完美地观察到。我们提出了一种新的半监督深度生成模型，该模型显式地对噪声标签进行建模，称为Mislabeled VAE（M-VAE）。M-VAE可以比现有的不考虑标签噪声的深度生成模型表现得更好。此外，M-VAE的推导为流行的M1+M2半监督模型提供了新的理论见解。
2018-09-16 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
深度神经网络证明了它们在广泛的监督学习任务（例如，图像分类）在大量的标记数据集合上训练时（例如，ImageNet）。然而，创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下，这些资源可能不可用，从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时，对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加，以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中，我们对深度半监督学习进行了全面的概述，首先介绍了该领域，然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University（纽约大学）
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而，获得高质量的人类标记数据的成本相当高，导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标，一方面，许多论文致力于区分噪声标签和干净标签，以提高DNN的泛化能力。另一方面，越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”，我们将检测到的错误标记数据视为未标记数据;通过“self”，我们选择一种自监督技术进行半监督学习。在这个项目中，我们设计了一些方法来更准确地区分干净和有噪声的标签，并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
为了使半监督技术在实践中安全地应用，我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上，我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同，该过程不依赖于不是手头分类器固有的假设。理论上证明，在标记和未标记的训练数据上测量，这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知，这是第一种方法，提供了这样强大的，虽然保守，保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集，以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind（谷歌DeepMind）
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法，并开发了新的模型，允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止，生成式方法要么不灵活，效率低下，要么不可扩展。我们表明，利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进，使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School（萨拉托加高中）
半监督学习已经获得关注，因为它允许执行图像分析任务，例如使用有限的标记数据进行分类。使用生成对抗网络（GANs）进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而，这可能需要模型为每个任务收敛到单独的数据分布，这可能会降低整体性能。虽然半监督学习已经取得了进展，但小规模的全监督任务却很少得到解决，即使是未标记的数据也无法获得。因此，我们提出了一种新的GAN模型，即外部分类器GAN（EC-GAN），它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说，我们将外部分类器（因此命名为EC-GAN）附加到GAN的生成器，而不是与GAN共享架构。我们的实验表明，EC-GAN的性能与共享架构方法相当，远优于标准的数据增强和基于正则化的方法，并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
