Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score
Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Fudan University（复旦大学）；University of Science and Technology of China（中国科学技术大学）；Shenzhen Loop Area Institute（深圳河套学院）
本文提出SemiCP，通过结合标记和未标记数据提升置信预测的覆盖性能，实验表明在有限标记数据下可显著降低覆盖差距。
2026-03-10 cs.LG
Open-Set Semi-Supervised Object Detection
Georgia Tech（佐治亚理工学院）；Meta
半监督目标检测（SSOD）的最新发展已经显示出利用未标记数据来改进目标检测器的前景。然而，到目前为止，这些方法都假设未标记的数据不包含分布外（OOD）类，这对于大规模的未标记数据集是不现实的。在本文中，我们考虑一个更实际的，但具有挑战性的问题，开集半监督目标检测（OSSOD）。我们首先发现现有的SSOD方法在开集条件下获得了较低的性能增益，这是由语义扩展引起的，其中分散注意力的OOD对象被误预测为半监督训练的分布伪标签。为了解决这个问题，我们考虑在线和离线OOD检测模块，这是集成SSOD方法。随着广泛的研究，我们发现，利用基于自监督视觉Transformer的离线OOD检测器由于其对伪标记干扰的鲁棒性而优于在线OOD检测器。在实验中，我们提出的框架有效地解决了语义扩展问题，并在许多OSSOD基准测试中显示出一致的改进，包括大规模的COCO-OpenImages。我们还验证了我们的框架的有效性，在不同的OSSOD条件下，包括不同数量的分布类，不同程度的监督，和不同的组合的未标记集。
2022-08-29 cs.CV cs.LG
Adapting to Shifting Correlations with Unlabeled Data Calibration
Cornell Tech（康奈尔理工学院）；Weill Cornell Medicine（威尔康奈尔医学院）
针对跨站点分布偏移中不稳定特征难利用的问题，提出 GPA，通过无标签样本校准目标与混杂因素的变化相关性，提升预测准确率并优于基线。
2024-09-09 cs.LG
Improving State-of-the-Art in One-Class Classification by Leveraging Unlabeled Data
JetBrains Research（JetBrains研究院）
当处理只有一个标记类的数据的二进制分类时，数据科学家采用两种主要方法，即单类（OC）分类和正未标记（PU）学习。前者只从标记的正数据中学习，而后者也利用未标记的数据来提高整体性能。由于PU学习使用更多的数据，我们可能倾向于认为当未标记的数据可用时，转到算法应该总是来自PU组。然而，我们发现，如果未标记的数据是不可靠的，即包含有限或有偏见的潜在负数据，情况并非总是如此。我们进行了广泛的实验研究的国家的最先进的OC和PU算法在各种情况下，只要未标记的数据的可靠性。此外，我们提出了PU修改的国家的最先进的OC算法，是强大的不可靠的未标记的数据，以及一个指导方针，以类似地修改其他OC算法。我们的主要实际建议是使用国家的最先进的PU算法时，未标记的数据是可靠的，否则使用国家的最先进的OC算法的修改建议。此外，我们概述了程序，以区分可靠和不可靠的未标记数据的情况下，使用统计检验。
2022-03-14 cs.LG
RATT: Leveraging Unlabeled Data to Guarantee Generalization
Carnegie Mellon University（卡内基梅隆大学）
为了评估泛化能力，机器学习科学家通常要么（i）限制泛化差距，然后（在训练后）插件插入经验风险，以获得真实风险的界限;要么（ii）根据经验验证支持数据。然而，（i）通常会为过度参数化的模型提供空洞的保证。此外，（ii）缩小训练集，其保证随着每次重复使用保持集而侵蚀。在本文中，我们介绍了一种方法，利用未标记的数据产生泛化边界。在用随机标记的新鲜示例扩充我们的（标记的）训练集之后，我们以标准方式进行训练。每当分类器在干净数据上实现低错误，在噪音数据上实现高错误时，我们的界限提供了真实风险的严格上限。我们证明了我们的界是有效的0-1经验风险最小化和线性分类器训练的梯度下降。我们的方法在与深度学习结合使用时特别有用，因为早期学习现象是网络在噪声标签之前拟合真实标签，但需要一个直观的假设。从经验上讲，在典型的计算机视觉和NLP任务上，我们的边界提供了非空的泛化保证，可以密切跟踪实际性能。这项工作为从业者提供了一个选项，即使在不可见的标记数据不可用时，也可以证明深度网络的泛化能力，并为随机标签噪声和泛化之间的关系提供了理论见解。
2021-11-06 cs.LG stat.ML
Leveraging Unlabeled Data to Track Memorization
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Google Research（谷歌研究院）
深度神经网络可能很容易记住现实世界数据中存在的噪声标签，这降低了它们的泛化能力。因此，重要的是跟踪和评估模型对噪声标签记忆的鲁棒性。我们提出了一个度量，称为敏感性，以衡量这样的记忆神经网络。敏感度是简单的，易于计算在训练过程中。此外，它不需要访问地面实况标签，只使用未标记的数据。我们凭经验证明了我们的度量在跟踪各种架构和数据集上的记忆方面的有效性，并为易感性度量的设计提供了理论见解。最后，我们通过对具有合成和真实世界标签噪声的数据集的广泛实验表明，可以利用敏感性和整体训练准确性来区分对训练集保持低记忆的模型，并很好地推广到看不见的干净数据。
2022-12-08 cs.LG
PSPU: Enhanced Positive and Unlabeled Learning by Leveraging Pseudo Supervision
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）；Rongcheer Co., Ltd（融车科技有限公司）
针对PU学习因数据分布不一致导致的风险估计过拟合问题，提出伪监督PU学习框架PSPU，通过伪监督修正模型权重并加入一致性损失降噪，在多个数据集上性能优于现有方法且在工业异常检测任务表现出色。
2024-07-09 cs.CV cs.LG
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University（台湾大学）；MediaTek Research（联发科技研究院）
本文提出一种基于核函数近似的离线强化学习算法，有效利用低成本无标签数据，并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Leveraging Semi-Supervised Learning for Fairness using Neural Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Northwestern University（西北大学）；Zillow Group（Zillow集团）
人们越来越关注基于机器学习的决策系统的公平性。标记数据的缺乏一直是基于机器学习的系统面临的一个挑战性问题。在这种情况下，半监督学习已被证明是一种有效的方法，利用未标记的数据，以提高模型的性能。值得注意的是，未标记的数据不包含标签信息，标签信息本身可能是训练机器学习系统中偏差的重要来源。这启发我们通过在半监督框架中制定问题来应对公平性的挑战。在本文中，我们提出了一个半监督算法，利用神经网络受益于未标记的数据，不仅提高了性能，而且还提高了决策过程的公平性。该模型称为SSFair，利用未标记数据中的信息来减轻训练数据中的偏差。
2019-12-31 cs.AI cs.LG stat.ML
Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration
University of California, Berkeley（加州大学伯克利分校）
研究提出SUPE方法，通过VAE提取低级技能并用乐观奖励伪标注无标签轨迹，将其作为离策略数据训练高级策略，在42个稀疏奖励任务中显著提升在线探索效率。
2025-07-11 cs.AI cs.LG stat.ML
Boosting Entity Linking Performance by Leveraging Unlabeled Documents
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
现代实体链接系统依赖于专门为任务注释的大量文档集合（例如，AIDA CONLL）。相比之下，我们提出了一种只利用自然发生的信息的方法：未标记的文档和维基百科。我们的方法包括两个阶段。首先，我们为未标记文档中的每个提及构建候选实体的高召回列表。其次，我们使用候选列表作为弱监督来约束我们的文档级实体链接模型。该模型将实体视为潜在变量，并且在对未标记文本的集合进行估计时，学习选择依赖于每次提及的本地上下文以及与文档中其他实体的一致性的实体。由此产生的方法可以在标准测试集上与完全监督的最先进系统相媲美。它还接近他们的表现在非常具有挑战性的设置：当测试集上的数据采样用于估计监督系统进行测试。通过与仅使用维基百科训练我们的模型进行比较，我们证明了对未标记文档进行建模是有益的。
2019-06-04 cs.AI cs.CL cs.LG
Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了在符号领域知识存在的情况下，实体-关系抽取问题.这种知识采取本体论的形式，定义关系及其允许的论点。以前的方法开始整合这些知识在他们的学习方法要么通过自我训练，或通过近似，失去了精确的意义的逻辑表达式。相比之下，我们的方法采用语义损失，通过在所有可能的状态上保持概率分布来捕获逻辑句子的精确含义，并将模型引导到最小化任何约束违反的解决方案。随着低数据制度的重点，我们表明，语义损失远远超过基线。
2021-03-20 cs.CL cs.LG
Class Introspection: A Novel Technique for Detecting Unlabeled Subclasses by Leveraging Classifier Explainability Methods
University of Edinburgh（爱丁堡大学）
检测数据集内的潜在结构是执行数据集分析的关键步骤。然而，现有的最先进的子类发现技术是有限的：要么他们是有限的检测非常少量的离群值，或者他们缺乏统计能力来处理复杂的数据，如图像或音频。本文提出了一种解决这个子类发现问题的方法：通过利用实例解释方法，现有的分类器可以扩展到通过分类器的内部决策对每个实例的差异来检测潜在类。这不仅适用于简单的分类技术，也适用于深度神经网络，从而提供了一种强大而灵活的方法来检测数据集中的潜在结构。实际上，这代表了数据集到分类器的“解释空间”的投影，初步结果表明，即使在有限的处理下，这种技术也优于潜在类检测的基线。本文还包含一个自动分析分类器的管道，以及一个用于交互式探索该技术结果的Web应用程序。
2021-11-08 cs.LG
Graph Transductive Sharpening: Leveraging Unlabeled Predictions in Node Classification
University of Cambridge（剑桥大学）
本文提出了一种转导锐化方法，通过利用未标记节点的预测来改进节点分类任务，无需改变基础架构即可在多个基准上提升性能。
2026-10-19 cs.LG
Leveraging Unlabeled Audio-Visual Data in Speech Emotion Recognition using Knowledge Distillation
Department of Electrical and Computer Engineering（电气与计算机工程系）
针对语音情感识别标注数据成本高的问题，提出基于知识蒸馏的LiSER框架，借助大型教师模型利用未标记音视频数据将情绪知识迁移到轻量学生模型，降低对标注数据的依赖。
2025-06-26 cs.HC cs.LG cs.MM
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Augmented prediction of a true class for Positive Unlabeled data under selection bias
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Faculty of Mathematics and Information Science, Warsaw University of Technology（华沙理工大学数学与信息科学学院）
本研究提出带预测期标记的增强PU预测新场景，推导对应贝叶斯分类器及风险，提出多种经验贝叶斯规则变体，实验表明专为PU设计的变分自编码器变体性能更优，可提升未标记样本准确率。
2024-07-14 cs.LG stat.ML
Labeled-Data-Free Meta-Learning: Efficient Task Generation Using Pre-trained Models and Unlabeled Data
NTT Communication Science Laboratories, NTT, Inc.（NTT公司NTT通信科学实验室）
研究无标签数据的元学习，提出新设置，通过预训练模型给无标签数据赋软标签生成元训练任务，引入任务加权机制，实验表明可降低计算成本、提高泛化能力。
2026-07-07 cs.LG
Leveraging Labeling Representations in Uncertainty-based Semi-supervised Segmentation
ETS Montreal（蒙特利尔高等技术学院）
半监督分割通过利用未标记数据和少量标记数据来解决注释的稀缺性。利用未标记数据的一个突出方法是通过一致性训练，通常使用教师-学生网络，其中教师指导学生分割。未标记数据的预测是不可靠的，因此，已经提出了不确定性感知方法，以逐渐从有意义和可靠的预测中学习。然而，不确定性估计依赖于来自需要针对每个训练步骤计算的模型预测的多个推断，这在计算上是昂贵的。本文提出了一种新的方法来估计像素级的不确定性，利用标记表示的分割掩模。一方面，学习标记表示来表示可用的分割掩码。学习的标记表示用于将分割的预测映射到一组合理的掩码中。这种重建的分割掩模有助于估计引导分割网络的像素级不确定性。所提出的方法估计的不确定性与一个单一的推理标记表示，从而减少了总的计算。我们评估了我们的方法在MRI左心房的3D分割，我们表明，我们的不确定性估计从我们的标签表示提高了分割精度超过国家的最先进的方法。
2022-03-10 cs.CV cs.LG
Realistic Evaluation of Deep Semi-Supervised Learning Algorithms
Google Brain（谷歌大脑）
半监督学习（SSL）提供了一个强大的框架，用于在标签有限或获取成本高昂时利用未标记的数据。基于深度神经网络的SSL算法最近在标准基准测试任务上被证明是成功的。然而，我们认为，这些基准未能解决这些算法在现实世界中的应用程序将面临的许多问题。在创建了各种广泛使用的SSL技术的统一重新实现后，我们在一系列旨在解决这些问题的实验中对其进行了测试。我们发现，不使用未标记数据的简单基线的性能往往被低估，SSL方法对标记和未标记数据量的敏感性不同，并且当未标记数据集包含类外示例时，性能会大幅降低。为了帮助引导SSL研究走向现实世界的适用性，我们公开了我们的统一重新实现和评估平台。
2019-06-17 cs.LG stat.ML
Offline Learning from Demonstrations and Unlabeled Experience
DeepMind；Google Brain（谷歌大脑）
行为克隆（BC）对于机器人学习通常是实用的，因为它允许通过专家演示的监督学习在没有奖励的情况下离线训练策略。然而，BC并没有有效地利用我们将称为未标记体验的东西：没有奖励注释的混合和未知质量的数据。这种未标记的数据可以由各种来源生成，例如人类远程操作，脚本策略和同一机器人上的其他代理。为了实现数据驱动的离线机器人学习，我们引入了离线强化模仿学习（ORIL）。ORIL首先通过对比来自演示者和未标记轨迹的观察来学习奖励函数，然后用学习到的奖励来注释所有数据，最后通过离线强化学习来训练智能体。在一组不同的连续控制和模拟机器人操作任务，我们表明，ORIL始终优于可比的BC代理有效地利用未标记的经验。
2020-11-27 cs.AI cs.LG cs.RO
Uncertainty-aware Self-training for Text Classification with Few Labels
Microsoft Research AI（微软人工智能研究院）
最近大规模预训练语言模型的成功关键在于对下游任务的大量标记数据进行微调，这些数据通常是昂贵的。在这项工作中，我们研究了自我训练作为最早的半监督学习方法之一，以减少注释瓶颈，利用大规模的未标记的数据的目标任务。标准的自训练机制从未标记的池中随机采样实例，以伪标记和增强标记数据。在这项工作中，我们提出了一种方法，以提高自我训练，结合不确定性估计的基础神经网络利用贝叶斯深度学习的最新进展。具体来说，我们提出了（i）利用蒙特卡罗（MC）Dropout从未标记池中选择实例的获取函数，以及（ii）利用模型置信度进行自我训练的学习机制。作为一个应用程序，我们专注于五个基准数据集上的文本分类。我们展示了我们的方法，每个任务每个类只利用20-30个标记样本进行训练和验证，可以在3%以内执行完全监督的预训练语言模型，在数千个标记实例上进行微调，总准确率为91%，比基线提高高达12%。
2020-06-27 cs.CL cs.LG
Optimally Combining Classifiers Using Unlabeled Data
University of California San Diego（加州大学圣迭戈分校）
我们开发了一个最坏的情况下分析的分类器集成的二进制分类的聚合。预测以最小化误差的任务被公式化为在给定的未标记数据集（转导设置）上进行的游戏，其中先前的标记信息被编码为对游戏的约束。这个博弈的最小最大解确定了分类器的加权组合可以比任何单个分类器表现得更好的情况。
2015-06-18 cs.LG stat.ML
Predicting Survival Outcomes in the Presence of Unlabeled Data
KU Leuven（鲁汶大学）；imec（比利时微电子研究中心）
许多临床研究需要随时间对患者进行随访。这是一个挑战：除了经常观察到的辍学现象外，还常常存在组织和财务方面的挑战，这可能导致数据汇集减少，反过来又可能使随后的分析复杂化。相比之下，通常有大量具有相似特征和背景信息的患者的基线数据可用，例如，来自研究时间窗外的患者。在这篇文章中，我们研究了我们是否可以从包含这些未标记的数据实例中受益，以预测准确的生存时间。换句话说，我们在生存分析的背景下引入了第三层监督，除了完全观察和审查的实例外，我们还包括未标记的实例。我们提出了三种方法来处理这种新的设置，并提供了一个经验比较超过15个现实生活中的临床和基因表达生存数据集。我们的研究结果表明，所有的方法都能够提高独立的测试数据的预测性能。我们还表明，与不使用未标记数据相比，在半监督包装方法中集成审查数据提供的部分监督通常会提供最佳结果，通常会实现很高的改进。
2022-10-25 cs.AI cs.LG stat.ML
Robust Deep Semi-Supervised Learning: A Brief Introduction
半监督学习（SSL）是机器学习的一个分支，旨在通过在标签不足时利用未标记的数据来提高学习性能。最近，具有深度模型的SSL已被证明在标准基准测试任务上是成功的。然而，它们仍然容易受到各种鲁棒性的威胁，在现实世界中的应用程序，因为这些基准提供完美的未标记的数据，而在现实的情况下，未标记的数据可能会被损坏。许多研究人员指出，在利用损坏的未标记数据后，SSL会遇到严重的性能下降问题。因此，迫切需要开发SSL算法，可以与损坏的未标记的数据鲁棒地工作。为了充分了解健壮的SSL，我们进行了一项调查研究。我们首先从机器学习的角度阐明了健壮SSL的形式化定义。然后，我们将鲁棒性威胁分为三类：i）分发损坏，即，未标记的数据分布与标记的数据不匹配; ii）特征损坏，即，未标记的示例的特征受到对抗性攻击;以及iii）标记损坏，即，未标记数据的标记分布是不平衡的。在这个统一的分类，我们提供了一个彻底的审查和讨论最近的作品，专注于这些问题。最后，我们提出了鲁棒SSL中可能有前途的方向，为未来的研究提供见解。
2022-11-14 cs.LG
Coupled Training with Privileged Information and Unlabeled Data
Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电子与计算机工程系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
提出一种联合训练方法，同时学习利用训练时特权信息和测试时可用输入的模型，避免两阶段方法中弱噪声信息误导部署模型，并通过理论保证和实验验证其鲁棒性优于标准两阶段基线。
2026-08-11 cs.LG stat.ML
Federated Learning with Positive and Unlabeled Data
Xi’an Jiaotong University（西安交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）；Huawei Technologies（华为技术有限公司）
我们研究了在联邦环境中从正的和未标记的（PU）数据中学习的问题，由于资源和时间的限制，每个客户端只标记了他们数据集的一小部分。与传统PU学习中负类由单个类组成的设置不同，在联合设置中，客户端无法识别的负样本可能来自客户端未知的多个类。因此，现有的PU学习方法在这种情况下很难应用。为了解决这个问题，我们提出了一个新的框架，即联邦学习与积极和未标记的数据（FedPU），以最大限度地减少预期的风险，多个负类，利用标记的数据在其他客户端。我们从理论上分析了所提出的FedPU的推广界。实验结果表明，与传统的监督和半监督联邦学习方法相比，该方法具有更好的性能。代码可在https://github.com/littleSunlxy/FedPU-torch上获得
2022-08-15 cs.LG
Towards Utilizing Unlabeled Data in Federated Learning: A Survey and Prospective
The Hong Kong University of Science and Technology（香港科技大学）；Webank（微众银行）
近年来提出的联邦学习（FL）由于能够将独立的数据源整合在一起，以协作但私密的方式构建机器学习模型，受到了研究者的极大关注。然而，在FL的大多数应用中，例如键盘预测，标记数据几乎不需要额外的努力，这通常不是这种情况。实际上，获取大规模标记数据集的成本可能非常高，这促使研究工作利用未标记数据来帮助构建机器学习模型。然而，据我们所知，很少有现有的工作旨在利用未标记的数据来增强联邦学习，这留下了一个潜在的有前途的研究课题。在本文中，我们确定需要利用FL中的未标记数据，并调查可能有助于实现这一目标的研究领域。
2020-05-11 cs.LG stat.ML
Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction
Tel-Aviv University（特拉维夫大学）
我们提出了一个通用的方法，使用未标记的数据设计半监督学习（SSL）变种的经验风险最小化（ERM）学习过程。针对广义线性回归，分析了SSL方法在提高预测性能方面的有效性。关键思想是仔细考虑空模型作为竞争对手，并利用未标记的数据来确定信号噪声组合，其中SSL优于监督学习和空模型。然后，我们使用SSL的自适应方式的基础上估计的信号和噪声。在特殊的情况下，线性回归与高斯协变量，我们证明了非自适应SSL版本实际上是不能够同时提高两个监督估计和空模型，超过一个可以忽略不计的O（1/n）项。另一方面，在这项工作中提出的自适应模型，可以同时实现对两个竞争对手的大幅改善，在各种设置下。这通过大量的模拟经验地显示，并扩展到其他场景，如非高斯协变量，错误指定的线性回归，或广义线性回归与非线性链接函数。
2022-02-05 cs.LG stat.ME stat.ML
Can I Trust My Fairness Metric? Assessing Fairness with Unlabeled Data and Bayesian Inference
Department of Computer Science（计算机科学系）；Department of Cognitive Sciences University of California, Irvine（加州大学尔湾分校认知科学系）
我们调查的问题，可靠地评估组公平标记的例子很少，但未标记的例子很多。我们提出了一个通用的贝叶斯框架，可以用未标记的数据来增强标记的数据，以产生与仅基于标记数据的方法相比更准确且方差更低的估计。我们的方法估计未标记的例子在每个组中使用的分层潜变量模型标记的例子的条件下校准的分数。这反过来又允许推断后验分布与各种组公平性度量的不确定性的相关概念。我们证明，我们的方法导致显着和一致的减少估计误差在多个众所周知的公平数据集，敏感属性和预测模型。结果表明，使用未标记的数据和贝叶斯推断在评估预测模型是否公平方面的好处。
2020-10-19 cs.AI cs.LG stat.ML
Data-Centric Learning from Unlabeled Graphs with Diffusion Model
University of Notre Dame（圣母大学）；Snap Inc.（Snap公司）
本文提出用扩散模型从大规模未标注图中生成任务特定标注样本，以数据为中心增强图属性预测，在十五个任务上优于十五种现有方法。
2023-10-12 cs.LG
Taming Overconfident Prediction on Unlabeled Data from Hindsight
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（悉尼科技大学澳大利亚人工智能研究所）
在半监督学习（SSL）中，最小化未标记数据的预测不确定性是获得良好性能的关键因素。预测不确定性通常表示为通过输出空间中的变换概率计算的\emph{entropy}。大多数现有的作品通过接受确定类（具有最大概率）作为真实标签或抑制微妙的预测（具有较小概率）来提取低熵预测。毫无疑问，这些蒸馏策略通常是启发式的，对模型训练来说信息量较少。从这一认识出发，本文提出了一种双重机制，称为自适应锐化（\ADS），它首先应用软阈值自适应地屏蔽确定和可忽略的预测，然后无缝锐化知情的预测，只提取某些预测与知情的。更重要的是，通过与各种蒸馏策略的比较，从理论上分析了\ADS的特点。大量的实验验证了\ADS通过使其成为插件而显著地改进了最先进的SSL方法。我们提出的\ADS锻造未来的蒸馏为基础的SSL研究的基石。
2021-12-15 cs.LG
FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning
Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心）；JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）
本文提出FlatMatch方法，通过最小化跨锐度度量来对齐标记与未标记数据的学习过程，利用未标记数据惩罚最坏情况模型的预测差异，从而缓解性能不匹配问题并提升半监督学习的泛化效果。
2023-10-25 cs.LG
Collaborative Unlabeled Data Optimization
University College London（伦敦大学学院）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；University of Science and Technology of China（中国科学技术大学）
本文提出以数据为中心的CoOpt框架，通过协作优化无标签数据并将知识编码到数据中，克服模型中心方法的瓶颈，在多个数据集上显著提升训练效率与性能。
2025-10-10 cs.AI cs.LG
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Relaxed Softmax for learning from Positive and Unlabeled data
Criteo Research（Criteo研究院）；UPMC（巴黎第六大学）
近年来，softmax模型及其快速近似已经成为深度神经网络在处理多类预测时的事实损失函数。这种损失已经扩展到语言建模和推荐，这两个领域属于从正面和未标记数据中学习的框架。在本文中，我们强调了当前softmax损失和采样方案家族在正和未标记学习设置中应用时的不同缺点。我们提出了一个松弛的Softmax损失（RS）和一个新的负采样方案的基础上玻尔兹曼公式。我们表明，新的训练目标更适合于密度估计，项目相似性和下一个事件预测的任务，通过推动提升文本和推荐数据集对经典softmax的性能。
2019-09-17 cs.CL cs.LG stat.ML
Memory-Efficient Semi-Supervised Continual Learning: The World is its Own Replay Buffer
Georgia Institute of Technology（佐治亚理工学院）；Samsung Research America（三星美国研究院）
排练是课堂增量式持续学习的关键组成部分，但它需要大量的记忆预算。我们的工作调查，我们是否可以显着减少这种内存预算，利用未标记的数据从代理的环境中一个现实的和具有挑战性的持续学习的范例。具体来说，我们探索和形式化一种新的半监督持续学习（SSCL）设置，标记的数据是稀缺的，但非独立同分布。来自代理环境的未标记数据是丰富的。重要的是，SSCL设置中的数据分布是真实的，因此反映了标记和未标记数据分布之间的对象类相关性。我们表明，建立在伪标签，一致性正则化，出分布（OoD）检测，和知识蒸馏的策略，减少遗忘在这种情况下。我们的方法，DistillMatch，在SSCL CIFAR-100实验中，将最先进的性能提高了不低于8.7%的平均任务准确度和高达54.5%的平均任务准确度。此外，我们证明了DistillMatch可以保存高达0.23存储的图像，每个处理的未标记的图像相比，下一个最好的方法，只保存0.08。我们的研究结果表明，关注现实的相关分布是一个显着的新视角，它强调了利用世界的结构作为一个持续学习策略的重要性。
2021-05-06 cs.CV cs.LG
SelfHAR: Improving Human Activity Recognition through Self-training with Unlabeled Data
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
机器学习和深度学习在包括人类活动识别在内的移动传感应用中显示出巨大的前景。然而，这些模型在现实环境中的性能在很大程度上取决于捕获不同行为的大型数据集的可用性。最近，计算机视觉和自然语言处理的研究表明，利用大量未标记数据可以实现与最先进的监督模型相当的性能。在这项工作中，我们提出了SelfHAR，这是一种半监督模型，可以有效地学习利用未标记的移动传感数据集来补充小的标记数据集。我们的方法结合了师生自我训练，它提取了未标记和标记数据集的知识，同时允许数据增强，以及多任务自我监督，通过预测输入的失真版本来学习鲁棒的信号电平表示。我们在各种HAR数据集上评估了SelfHAR，并显示了监督和以前的半监督方法的最新性能，在推理时使用相同数量的模型参数，F1得分增加了12%。此外，SelfHAR是数据高效的，与监督方法相比，使用多达10倍的标记数据达到类似的性能。我们的工作不仅在不同的HAR数据集中实现了最先进的性能，而且还揭示了预训练任务如何影响下游性能。
2021-02-11 cs.LG
NURD: Negative-Unlabeled Learning for Online Datacenter Straggler Prediction
MIT（麻省理工学院）；University of Chicago（芝加哥大学）；Pennsylvania State University（宾夕法尼亚州立大学）
数据中心执行由较小任务组成的大型计算作业。一个作业在其所有任务完成时完成，因此落后者（罕见但非常慢的任务）是数据中心性能的主要障碍。准确预测掉队者将实现主动干预，使数据中心运营商能够在他们延迟工作之前减轻掉队者。虽然许多先前的工作应用机器学习来预测计算机系统性能，但这些方法依赖于完整的标签-即，所有可能行为的充分示例，包括离散和非离散--或者关于潜在延迟分布的强假设--例如，不管是不是高斯分布。然而，在一个正在运行的作业中，这些信息都是不可用的，直到掉队者在他们已经延迟了作业时暴露了自己。为了在没有标记的正样本或对延迟分布的假设的情况下准确和早期地预测掉队者，本文提出了一种新的负-未标记学习方法，它具有重新加权和分布补偿，只在负和未标记的流数据上训练。其核心思想是利用非离散者的已完成任务训练预测器来预测未标记任务的延迟，然后根据每个未标记任务的特征空间的加权函数对每个未标记任务的预测进行加权。我们在来自Google和阿里巴巴的两个生产跟踪上评估了CNOD，发现与最佳基线方法相比，CNOD在预测准确性方面的F1得分提高了2- 11个百分点，在作业完成时间方面提高了2.0- 8.8个百分点。
2022-08-13 cs.DC cs.LG cs.PF
Learning to Learn in a Semi-Supervised Fashion
National Taiwan University（国立台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
为了解决标记和未标记数据的半监督学习，我们提出了一种新的元学习方案。我们特别考虑标记和未标记的数据共享不相交的地面真值标签集，这可以被看作是个人重新识别或图像检索等任务。我们的学习方案利用了从标记数据到未标记数据的信息。而不是拟合相关联的类明智的相似性分数，大多数Meta学习算法做，我们建议从标记的数据中获得面向语义的相似性表示，并将这种表示转移到未标记的。因此，我们的策略可以被看作是一个自监督学习计划，它可以应用于完全监督学习任务，以提高性能。我们对各种任务和设置的实验证实了我们提出的方法的有效性及其优于最先进方法的优越性。
2020-08-25 cs.CV cs.LG
Leveraging 2D Masked Reconstruction for Domain Adaptation of 3D Pose Estimation
UNIST（蔚山科学技术院）
本文提出一种基于掩码图像建模的无监督域适应框架，利用未标记数据并通过前景中心重建和注意力正则化，提升三维姿态估计在跨域场景下的精度，达到最先进水平。
2025-02-25 cs.CV cs.LG
Inconsistency-Aware Minimization: Improving Generalization with Unlabeled Data
Department of Computer Science, Hanyang University, Seoul, Korea（汉阳大学计算机科学系）
本文提出一种基于信息几何的局部不一致性度量，并据此设计不一致感知最小化（IAM）方法，通过无标签数据计算该度量并融入训练目标，从而提升深度学习模型的泛化性能。
2026-05-29 cs.AI cs.LG
Distilling BERT into Simple Neural Networks with Unlabeled Transfer Data
Microsoft Research（微软研究院）
通过自我监督在大量文本上预训练巨大模型的最新进展已经在各种自然语言处理任务中获得了最先进的结果。然而，这些庞大而昂贵的模型在实践中难以用于下游任务。最近的一些努力使用知识蒸馏来压缩这些模型。然而，我们看到较小的学生模型的性能与大型教师模型的性能之间存在差距。在这项工作中，我们利用大量的域内未标记的传输数据，除了有限数量的标记训练实例，以弥补这一差距，提取BERT。我们证明了简单的基于RNN的学生模型，即使具有硬蒸馏，也可以与给定转移集的巨大教师相提并论。学生的表现可以进一步提高与软蒸馏和利用教师的中间表示。我们表明，我们的学生模型可以将庞大的教师压缩高达26倍，同时仍然匹配甚至略微超过教师在低资源环境中的表现，只有少量的标记数据。此外，对于XtremeDistil的多语言扩展（Mukherjee和Hassan Awadallah，2020），我们展示了多语言BERT类教师模型的大规模蒸馏，在参数压缩方面高达35倍，在批处理推理的延迟加速方面高达51倍，同时保留了41种语言的NER的95%的F1分数。
2020-07-23 cs.CL cs.LG stat.ML
Predicting tongue motion in unlabeled ultrasound videos using convolutional LSTM neural network
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；University of Michigan（密歇根大学）；Columbia University in the City of New York（纽约哥伦比亚大学）；National University of Defense Technology（国防科技大学）
言语产生研究的一个挑战是根据过去的一小段时间的舌头运动来预测未来的舌头运动。本研究利用卷积长短期记忆（ConvLSTM）网络解决了未标记超声视频中说话者相关的舌头运动预测问题。该模型已在两个不同的超声语料库进行了测试。ConvLSTM在基于8个先前帧预测9个\textsuperscript{th}帧方面优于3维卷积神经网络（3DCNN），并且还表现出仅预测未来帧中的舌头轮廓的良好能力。进一步的测试表明，ConvLSTM还可以学习预测紧随其后的帧之外的更远帧中的舌头运动。我们的代码可在https://github.com/shuiliwanwu/ConvLstm-ultrasound-videos上获得。
2019-02-19 cs.CV cs.LG cs.MM
MixMatch: A Holistic Approach to Semi-Supervised Learning
Google Research（谷歌研究院）
半监督学习已被证明是利用未标记数据来减轻对大型标记数据集的依赖的强大范例。在这项工作中，我们统一了当前半监督学习的主要方法，以产生一种新的算法MixMatch，该算法通过猜测数据增强的未标记示例的低熵标签，并使用MixUp混合标记和未标记数据。我们表明，MixMatch在许多数据集和标记数据量上获得了最先进的结果。例如，在具有250个标签的CIFAR-10上，我们将出错率降低了4倍（从38%降低到11%），在STL-10上降低了2倍。我们还展示了MixMatch如何帮助实现差分隐私的更好的准确性和隐私权衡。最后，我们进行了一项消融研究，以梳理MixMatch的哪些组件对其成功最重要。
2019-10-23 cs.AI cs.CV cs.LG
TestNUC: Enhancing Test-Time Computing Approaches and Scaling through Neighboring Unlabeled Data Consistency
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Cornell University（康奈尔大学）；Tsinghua University（清华大学）
本文提出TestNUC方法，通过利用相邻未标记数据的局部一致性来改善测试时预测，在八个数据集上表现优于基线，且能与现有方法集成并随数据量有效扩展。
2025-05-31 cs.AI cs.CL cs.IR
Neural Chinese Word Segmentation with Lexicon and Unlabeled Data via Posterior Regularization
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
现有的CWS方法通常依赖于大量的标记句子来训练分词模型，这是昂贵的和耗时的注释。幸运的是，未标注的数据通常很容易收集，并且许多高质量的中文词汇是现成的，这两者都可以为CWS提供有用的信息。在本文中，我们提出了一种神经网络方法，用于中文分词，可以利用词典和未标记的数据。我们的方法是基于后验正则化算法的一个变种，和未标记的数据和词汇被纳入模型训练作为间接监督，通过正则化CWS模型的预测空间。在多个基准数据集上进行的大量实验验证了该方法的有效性。
2019-04-26 cs.CL cs.LG stat.ML
Community-Based Hierarchical Positive-Unlabeled (PU) Model Fusion for Chronic Disease Prediction
Worcester Polytechnic Institute（伍斯特理工学院）；Alibaba Group（阿里巴巴集团）；Indiana University, Bloomington（印第安纳大学伯明顿分校）
针对慢性病预测中PU学习忽略人群差异的问题，提出PUtree算法，通过分层构建社区PU模型、数据增强、对抗风险估计与模型融合，显著提升了二分类性能。
2023-09-06 cs.AI cs.LG
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
Beyond Myopia: Learning from Positive and Unlabeled Data through Holistic Predictive Trends
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
本文针对正例和未标记数据（PUL）学习中的累积误差和估计偏差问题，提出基于时间点过程（TPP）的整体预测趋势检测方法，无需额外参数调整或先验假设，在高度不平衡场景下关键指标提升达11.3%。
2023-10-06 cs.AI cs.LG
Robust and Efficient Imbalanced Positive-Unlabeled Learning with Self-supervision
Ludwig-Maximilians-University Munich（慕尼黑大学）
从阳性和未标记（PU）数据中学习是一种设置，其中学习器只能访问阳性和未标记的样本，而没有关于阴性样本的信息。这样的PU设置在诸如医疗诊断、社会网络分析、金融市场分析和知识库完成的各种任务中非常重要，这些任务也倾向于本质上不平衡，即，大多数例子实际上都是否定的。然而，大多数现有的PU学习方法只考虑人工平衡的数据集，目前还不清楚它们在不平衡和长尾数据分布的现实场景中的表现如何。本文提出通过强大而有效的自我监督预训练来应对这一挑战。然而，当应用于高度不平衡的PU分布时，训练传统的自监督学习方法需要更好的重新制定。在本文中，我们提出了\textit{ImPULSeS}，一个统一的表示学习框架\underline{Im}平衡\underline{P}积极\underline{U} nlabeled \underline{L}收益利用\underline{Se} lf- \underline{S}简化debiase预训练。ImPULSeS使用大规模无监督学习与去偏对比损失和额外的重新加权PU损失的通用组合。我们在多个数据集上进行了不同的实验，以表明ImPULSeS能够将之前最先进的错误率减半，即使与之前给定真实先验的方法相比也是如此。此外，我们的方法显示出对先前错误指定的鲁棒性增加，并且即使在不相关的数据集上进行预训练时也具有优异的性能。我们预计这种鲁棒性和效率将使从业者更容易在其他感兴趣的P…
2022-09-06 cs.LG
Semi-Supervised Learning and Data Augmentation in Wearable-based Momentary Stress Detection in the Wild
Rice University（莱斯大学）
从可穿戴或移动传感器收集的生理和行为数据已被用于估计自我报告的压力水平。由于压力注释通常依赖于研究期间的自我报告，因此有限数量的标记数据可能是开发准确和通用压力预测模型的障碍。另一方面，传感器可以连续捕获没有注释的信号。这项工作研究利用未标记的可穿戴传感器数据在野外进行压力检测。我们首先将数据增强技术应用于生理和行为数据，以提高监督压力检测模型的鲁棒性。使用具有主动选择的未标记序列的自动编码器，我们预先训练了监督模型结构，以利用从未标记样本中学习到的信息。然后，我们开发了一个半监督学习框架来利用未标记的数据序列。我们将数据增强技术与一致性正则化相结合，从而加强了基于增强数据和原始未标记数据的预测输出的一致性。我们使用在野外收集的三个可穿戴/移动传感器数据集验证了这些方法。我们的研究结果表明，与基线监督学习模型相比，结合所提出的方法在评估的数据集上将压力分类性能提高了7.7%至13.8%。
2022-02-22 cs.AI cs.LG eess.SP
From Local Geometry to Global Pseudo Labeling for Robust Positive Unlabeled Learning under Covariate Shift
U2IS, ENSTA（U2IS，ENSTA）；Institut Polytechnique de Paris（巴黎政治学院）；AMIAD, Pôle Recherche, Palaiseau（AMIAD，研究学院，帕莱索）
提出SPUNA框架，利用局部流形结构逐步发现偏移数据，在协变量偏移下实现正无标记学习，性能达到全监督方法水平。
2026-08-26 cs.CV cs.LG
Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Institute of Information Engineering, CAS（中国科学院信息工程研究所）
正-未标记（PU）学习试图从一些有标记的正样本和许多未标记的样本中学习二进制分类器。与普通的半监督学习相比，由于不存在任何已知的负标签，该任务更具挑战性。虽然现有的基于成本敏感的方法已经实现了最先进的性能，但它们显式地最小化了将未标记数据分类为负样本的风险，这可能导致分类器的负预测偏好。为了缓解这个问题，我们在本文中诉诸于PU学习的标签分布视角。注意到当类先验已知时，未标记数据的标签分布是固定的，它可以自然地用作模型的学习监督。受此启发，我们建议追求预测和地面实况标签分布之间的标签分布一致性，这是通过调整他们的期望来制定的。此外，我们进一步采用熵最小化和Mixup正则化，以避免平凡的解决方案的标签分布一致性的未标记的数据，并减轻随之而来的确认偏差。在三个基准数据集上的实验验证了该方法的有效性。https://github.com/Ray-rui/Dist-PU-Positive-Unlabeled-Learning-from-a-Label-Distribution-Perspective
2022-12-06 cs.CV cs.LG
