Cross-modal Deep Metric Learning with Multi-task Regularization
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
基于深度神经网络的跨模态检索已经成为一个研究热点，用户可以通过它来搜索图像和文本等多种模态的结果。然而，现有的方法主要集中在标记数据的两两相关性和重建误差。它们忽略了不同模态之间语义相似和不相似的约束，并且不能利用未标记的数据。本文提出了跨模态深度度量学习与多任务正则化（CDMLMR），它集成了四元组排名损失和半监督对比损失，用于在统一的多任务学习架构中建模跨模态语义相似性。四元组排序损失可以模拟语义相似和不相似的约束，以保留跨模态的相对相似性排序信息。半监督对比损失能够最大化标记和未标记数据的语义相似性。与现有方法相比，CDMLMR不仅利用了相似性排序信息，还利用了未标记的跨模态数据，从而提高了跨模态检索的准确率。
2017-04-05 cs.CV cs.LG stat.ML
Mutual Exclusivity Loss for Semi-Supervised Deep Learning
University of Utah（犹他大学）
在本文中，我们考虑使用深度卷积神经网络（ConvNets）进行半监督学习的问题。半监督学习的动机是观察到未标记的数据是廉价的，可以用来提高分类器的准确性。在本文中，我们提出了一个无监督的正则化项，明确地迫使分类器的预测多个类是互斥的，并有效地引导决策边界躺在低密度空间之间的流形对应于不同类别的数据。我们提出的方法是通用的，可以与任何基于反向传播的学习方法一起使用。我们通过不同的实验表明，我们的方法可以提高使用未标记数据的ConvNets的对象识别性能。
2016-06-09 cs.CV cs.LG stat.ML
Temporal Output Discrepancy for Loss Estimation-based Active Learning
Big Data Laboratory, Baidu Research（百度研究院大数据实验室）；AWS AI Lab, Amazon（亚马逊AWS人工智能实验室）
虽然深度学习在广泛的任务中取得了成功，但它高度依赖于大量注释数据的收集，这是昂贵且耗时的。为了降低数据标注的成本，已经提出了主动学习来交互式地查询oracle以标注未标记数据集中的一小部分信息样本。受损失较高的样本通常比损失较低的样本对模型的信息量更大这一事实的启发，在本文中，我们提出了一种新的深度主动学习方法，当未标记的样本被认为包含高损失时，该方法会查询Oracle的数据注释。我们的方法的核心是一个测量时间输出离散（TOD），估计样本损失通过评估模型在不同的优化步骤给出的输出的差异。我们的理论研究表明，TOD下限的累积样本损失，因此它可以用来选择信息的未标记的样本。在此基础上，我们进一步提出了一种有效的无标记数据采样策略和一种无监督的主动学习学习准则。由于TOD的简单性，我们的方法是有效的，灵活的，任务不可知的。大量的实验结果表明，我们的方法取得了优于国家的最先进的主动学习方法的图像分类和语义分割任务的性能。此外，我们表明，TOD可以用来选择潜在的最高的测试精度从候选模型池的最佳模型。
2022-12-20 cs.CV cs.LG
Semi-supervised learning method based on predefined evenly-distributed class centroids
ShangHai University（上海大学）
与监督学习相比，半监督学习减少了深度学习对大量标记样本的依赖。在这项工作中，我们使用少量的标记样本，并对未标记的样本进行数据增强，以实现图像分类。我们的方法通过相应的损失函数将所有样本约束到预定义的均匀分布类质心（PEDCC）。具体而言，标记样本的PEDCC损失，和未标记样本的最大平均差异损失，使特征分布更接近PEDCC的分布。我们的方法确保类间距离大，类内距离足够小，使不同类别之间的分类边界更清晰。同时，对于未标记样本，我们还使用KL散度来约束未标记样本和增强样本之间的网络预测的一致性。我们的半监督学习方法达到了最先进的结果，在CIFAR10上有4000个标记样本，在SVHN上有1000个标记样本，准确率分别为95.10%和97.58%。
2020-01-13 cs.LG stat.ML
M-Loss: Quantifying Model Merging Compatibility with Limited Unlabeled Data
M-Loss通过有限无标签数据量化模型合并兼容性，提供理论可行性和参数重要性的指导，提升模型整合效率。
2026-02-09 cs.LG
There Are Many Consistent Explanations of Unlabeled Data: Why You Should Average
Cornell University（康奈尔大学）
目前，最成功的半监督学习方法是基于一致性正则化，从而训练模型对其输入和参数的小扰动具有鲁棒性。为了理解一致性正则化，我们从概念上探讨了损失几何如何与训练过程相互作用。一致性损失大大提高了仅监督训练的泛化性能;然而，我们发现SGD难以收敛于一致性损失，并继续进行大的步骤，导致测试数据的预测发生变化。出于这些观察，我们提出了训练一致性为基础的方法与随机权重平均（SWA），最近的方法，平均权重沿SGD的轨迹与修改后的学习率调度。我们还提出了快速SWA，它通过对周期性学习率调度的每个周期内的多个点进行平均来进一步加速收敛。通过加权平均，我们在CIFAR-10和CIFAR-100上实现了最知名的半监督结果，超过了许多不同数量的标记训练数据。例如，我们在CIFAR-10上实现了5.0%的错误，只有4000个标签，而文献中以前的最佳结果为6.3%。
2019-02-21 cs.AI cs.CV cs.LG
Revisiting Sample Selection Approach to Positive-Unlabeled Learning: Turning Unlabeled Data into Positive rather than Negative
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能中心）；Center for Artificial Intelligence, University of Technology Sydney（悉尼科技大学人工智能中心）；University of Tokyo（东京大学）
在正-未标记（PU）学习的早期历史中，样本选择方法，即从U数据中选择负（N）数据，被广泛探索。然而，这种方法后来被重要性重新加权方法所主导，该方法仔细地将所有U数据视为N数据。在深度学习时代，是否会有一种新的样本选择方法，能够胜过最新的重要性重新加权方法？本文致力于肯定地回答这个问题--基于深度网络的记忆特性，我们提出将大丢失的U数据标记为P。由于以这种方式选择的P数据是有偏见的，我们开发了一种新的学习目标，可以正确处理这种有偏见的P数据。实验证明了该方法的优越性。
2019-01-29 cs.LG stat.ML
Confidence Estimation Using Unlabeled Data
Stony Brook University（石溪大学）
针对半监督场景下多数训练标签缺失的置信度估计难题，提出利用训练过程预测一致性近似无标签样本置信度的方法，引入一致性排序损失，在图像分类、分割任务上达SOTA，且在下游主动学习中有效。
2023-07-19 cs.CV cs.LG
A Variational Approach for Learning from Positive and Unlabeled Data
Tongji University（同济大学）；Cloudwalk Inc.（云从科技）
仅从阳性和未标记（PU）数据学习二进制分类器在许多现实世界的应用中是一项重要且具有挑战性的任务，包括Web文本分类，疾病基因识别和欺诈检测，其中阴性样本很难通过实验验证。最近的PU学习方法都是基于传统的监督学习类型的误分类风险，它们需要通过近似负数据分布或类先验来解决棘手的风险估计问题。在本文中，我们介绍了PU学习的变分原理，使我们能够定量评估贝叶斯分类器的建模误差直接从给定的数据。这导致了一个损失函数，它可以有效地计算，没有任何中间步骤或模型，变分学习方法，然后可以采用在一般条件下优化分类器。此外，通过引入裕度最大化损失函数，可以进一步提高变分PU学习方法的判别性能和数值稳定性。我们说明了建议的变分方法的有效性，一些基准的例子。
2020-11-29 cs.LG stat.ML
FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients
University of Cambridge（剑桥大学）；University of Surrey（萨里大学）；Zenseact（森斯阿克特公司）
本文提出FedAnchor，一种联邦半监督学习方法，通过双头结构和标签对比损失缓解伪标签的确认偏差与过拟合，在收敛速度和准确率上显著优于现有方法。
2024-02-15 cs.LG
Dash: Semi-Supervised Learning with Dynamic Thresholding
Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）
半监督学习（semi-supervised learning，SSL）由于成功地利用了未标记数据而在许多机器学习任务中受到了极大的关注，但现有的SSL算法在训练过程中要么使用所有未标记样本，要么使用具有固定高置信度预测的未标记样本。然而，有可能消除/选择了太多正确/错误的伪标记示例。在这项工作中，我们开发了一个简单而强大的框架，其核心思想是选择一个子集的训练样本从未标记的数据时，执行现有的SSL方法，使只有未标记的例子与伪标签相关的标记数据将被用于训练模型。在每次更新迭代时，通过仅保留损失小于给定阈值的示例来执行选择，该阈值通过迭代动态调整。我们提出的方法，短跑，享有其自适应性的未标记的数据选择和理论保证。具体来说，我们从非凸优化的角度，从理论上建立了Dash的收敛速度。最后，我们实证证明了所提出的方法的有效性与国家的最先进的基准比较。
2021-09-01 cs.CV cs.LG stat.ML
MixPUL: Consistency-based Augmentation for Positive and Unlabeled Learning
Nanjing University（南京大学）；Paradigm Inc.（第四范式公司）
从正的和未标记的数据中学习（PU学习）在实际应用中很普遍，其中只有几个例子是正标记的。以前的PU学习研究通常依赖于现有的样本，因此没有广泛探索数据分布。在这项工作中，我们提出了一个简单而有效的数据增强方法，创造了~ \algo，基于\emph{consistency regularization}，它提供了一个新的角度使用PU数据。特别是，建议的~ \algo ~结合监督和无监督的一致性训练，以生成增强数据。为了促进监督一致性，由于没有负样本，从未标记的数据中挖掘可靠的负样本。在未标记的数据点之间进一步鼓励无监督的一致性。此外，~ \algo ~减少了阳性和未标记对之间的裕度损失，从而显式优化AUC并加快收敛速度。最后，我们进行了一系列的研究，以证明一致性正则化的有效性。我们研究了三种可靠的负面挖掘方法。我们表明，~ \algo ~在CIFAR-10数据集上，在不同的正数据量下，平均分类误差从16.49提高到13.09。
2020-04-20 cs.LG stat.ML
Learning interacting particle systems from unlabeled data
Department of Applied Mathematics and Statistics and Department of Physics and Astronomy, Johns Hopkins University（约翰霍普金斯大学应用数学与统计学系和物理与天文学系）；Department of Mathematics, Johns Hopkins University（约翰霍普金斯大学数学系）
本文提出一种无需轨迹信息的自测损失函数，用于从无标签数据中学习相互作用粒子系统的势能，通过弱形式经验分布随机演化方程实现鲁棒估计，适用于大规模高维系统。
2026-04-02 cs.LG cs.NA math.NA
Positive-Unlabeled Node Classification with Structure-aware Graph Learning
Hong Kong University of Science and Technology（香港科技大学）；Paradigm（第四范式）；Tsinghua University（清华大学）
针对正未标记节点分类中忽略图结构信息的问题，提出一种利用距离感知PU损失和图结构对齐正则化器的新方法，理论证明其能最小化期望损失，且在多种数据集上性能优于现有最先进方法。
2023-10-20 cs.AI cs.LG
Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
研究了在符号领域知识存在的情况下，实体-关系抽取问题.这种知识采取本体论的形式，定义关系及其允许的论点。以前的方法开始整合这些知识在他们的学习方法要么通过自我训练，或通过近似，失去了精确的意义的逻辑表达式。相比之下，我们的方法采用语义损失，通过在所有可能的状态上保持概率分布来捕获逻辑句子的精确含义，并将模型引导到最小化任何约束违反的解决方案。随着低数据制度的重点，我们表明，语义损失远远超过基线。
2021-03-20 cs.CL cs.LG
Positive-Unlabeled Learning using Random Forests via Recursive Greedy Risk Minimization
The University of Queensland（昆士兰大学）；RIKEN（理化学研究所）
从正的和未标记的数据中学习的需求，或PU学习，出现在许多应用中，并引起了越来越多的兴趣。虽然已知随机森林在具有正数据和负数据的许多任务上表现良好，但最近的PU算法通常基于深度神经网络，并且基于树的PU学习的潜力未被充分开发。在本文中，我们提出了新的随机森林算法的PU学习。我们的方法的关键是一个新的解释决策树算法的积极和消极的数据为\emph{recursive greedy risk minimization algorithms}。我们将这种观点扩展到PU设置，以开发新的决策树学习算法，直接最大限度地减少PU数据的估计预期风险。这使我们能够开发一个有效的PU随机森林算法，PU额外的树。我们的方法具有三个理想的属性：它是强大的损失函数的选择，在这个意义上，各种损失函数导致相同的决策树;它需要很少的超参数调整相比，基于PU学习的神经网络;它支持一个功能的重要性，直接衡量一个功能的风险最小化的贡献。我们的算法在几个数据集上表现出强大的性能。我们的代码可在\url{https://github.com/puetpaper/PUExtraTrees}上找到。
2022-10-16 cs.LG stat.ML
Cost-Sensitive Unbiased Risk Estimation for Multi-Class Positive-Unlabeled Learning
Engineering Research Center of the Ministry of Education for Intelligent Control System and Intelligent Equipment, Yanshan University, Qinhuangdao, China（教育部智能控制与智能装备工程研究中心，燕山大学，秦皇岛，中国）
针对多类正例-无标签学习中现有方法缺乏无偏风险估计的问题，提出基于自适应损失加权的代价敏感方法，实现无偏风险估计，在8个公开数据集上准确率与稳定性均优于强基线。
2025-10-29 cs.AI cs.LG
PSPU: Enhanced Positive and Unlabeled Learning by Leveraging Pseudo Supervision
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）；Rongcheer Co., Ltd（融车科技有限公司）
针对PU学习因数据分布不一致导致的风险估计过拟合问题，提出伪监督PU学习框架PSPU，通过伪监督修正模型权重并加入一致性损失降噪，在多个数据集上性能优于现有方法且在工业异常检测任务表现出色。
2024-07-09 cs.CV cs.LG
Non-exchangeable Conformal Prediction with Optimal Transport: Tackling Distribution Shifts with Unlabeled Data
Qualcomm AI Research（高通人工智能研究）
本文利用最优传输理论，提出一种无需先验分布偏移类型信息的方法，以估计并缓解非交换保形预测中的覆盖率损失，实现任意分布偏移下的稳健不确定性量化。
2025-10-24 cs.LG stat.ML
Evolving Losses for Unsupervised Video Representation Learning
Research at Google（谷歌研究（Research at Google））
我们提出了一种新的方法来学习视频表示从大规模的未标记的视频数据。理想情况下，这种表示将是通用的和可转移的，可直接用于新的任务，如动作识别和零或少样本学习。我们将无监督表示学习表述为一个多模态、多任务的学习问题，其中表示通过蒸馏在不同模态之间共享。此外，我们引入了损失函数进化的概念，通过使用进化搜索算法来自动找到捕获许多（自监督）任务和模态的损失函数的最佳组合。第三，我们提出了一个无监督的表示评价指标使用分布匹配到一个大的未标记的数据集作为先验约束，基于齐普夫定律。这种不受任何标签指导的无监督约束产生了与弱监督的特定任务类似的结果。提出的无监督表示学习的结果在一个单一的RGB网络，并优于以前的方法。值得注意的是，它也比几种基于标记的方法更有效（例如，ImageNet），除了大型的、完全标记的视频数据集。
2020-02-26 cs.CV cs.LG
Unsupervised Data Augmentation with Naive Augmentation and without Unlabeled Data
Northeastern University（东北大学）；Sciome LLC（赛奥姆有限责任公司）；Carnegie Mellon University（卡内基梅隆大学）
无监督数据增强（UDA）是一种半监督技术，它应用一致性损失来惩罚模型对（a）观察到的（未标记）示例的预测之间的差异;以及（b）通过数据增强产生的相应“噪声”示例。虽然UDA在文本分类方面已经很受欢迎，但仍然存在一些悬而未决的问题，包括哪些设计决策是必要的，以及如何将该方法扩展到序列标记任务。这种方法最近在文本分类中获得了牵引力。在本文中，我们重新审视UDA，并证明其有效性的几个连续的任务。我们的主要贡献是UDA的实证研究，以确定哪些组件的算法赋予NLP的好处。值得注意的是，尽管之前的工作强调了使用智能增强技术，包括回译，但我们发现，与这些复杂的扰动模型相比，在分配给观察到的单词和随机替换的单词的预测之间强制执行一致性通常会产生相当（或更大）的好处。此外，我们发现，应用其一致性损失提供了有意义的收益，而根本没有任何未标记的数据，即，在一个标准的监督设置。简而言之：UDA不需要是无监督的，并且不需要复杂的数据增强就能有效。
2020-10-22 cs.CL cs.LG
Spacing Loss for Discovering Novel Categories
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）；Google Research（谷歌研究院）；Indian Institute of Science（印度科学学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；The University of Hong Kong（香港大学）
新颖类发现（NCD）是一种学习范例，其中机器学习模型的任务是通过利用来自不相交的类集合的标记实例来从未标记的数据中语义地分组实例。在这项工作中，我们首先将现有的NCD方法分为单阶段和两阶段方法，根据它们是否需要在发现新类时同时访问标记和未标记的数据。接下来，我们设计了一个简单而强大的损失函数，它使用多维缩放的线索来加强潜在空间的可分性，我们称之为间隔损失。我们提出的配方可以作为一个独立的方法，也可以插入到现有的方法，以加强他们。我们通过对CIFAR-10和CIFAR-100数据集的多个设置进行彻底的实验评估来验证间隔损失的有效性。
2022-04-22 cs.AI cs.CV cs.LG
Generating Relevant Counter-Examples from a Positive Unlabeled Dataset for Image Classification
CNRS（法国国家科学研究中心）；VEDECOM Institute（VEDECOM研究所）；French-German Research Institute of Saint-Louis（法德圣路易斯研究所）
随着可用但未标记数据的激增，积极的未标记（PU）学习正在成为一个蓬勃发展的挑战。这项工作涉及这一艰巨的任务，最近基于GAN的PU方法已经证明了有希望的结果。生成对抗网络（GANs）不受确定性偏差或特定维度需求的阻碍。然而，现有的基于GAN的PU方法也存在一些缺点，例如对先验知识的敏感依赖，繁琐的架构或第一阶段过拟合。为了解决这些问题，我们建议在标准GAN模型损失函数中加入有偏PU风险。以这种方式，约束约束生成器以请求生成器朝向未标记样本分布收敛，同时从正样本分布发散。这使得所提出的模型（称为D-GAN）能够在没有先验知识的情况下专门学习反例分布。实验表明，我们的方法优于国家的最先进的PU方法没有事先克服他们的问题。
2019-10-04 cs.CV cs.LG eess.IV
A Boosting Algorithm for Positive-Unlabeled Learning
The University of Queensland（昆士兰大学）；The University of Adelaide（阿德莱德大学）；RIKEN（理化学研究所）
正-未标记（PU）学习处理只有正（P）和未标记（U）数据时的二进制分类问题。许多最近的PU方法是基于神经网络，但很少有人做了PU学习的提升算法，尽管提升算法的许多完全监督分类问题的强大性能。在本文中，我们提出了一种新的增强算法，AdaPU，PU学习。与AdaBoost类似，AdaPU旨在优化经验指数损失，但损失基于PU数据，而不是正负（PN）数据。与AdaBoost一样，我们通过一次学习一个弱分类器及其权重来学习弱分类器的加权组合。然而，AdaPU需要一个非常不同的算法来学习弱分类器并确定它们的权重。这是因为AdaPU使用具有一些负数据权重$-$的加权正负（PN）数据集来学习弱分类器及其权重，该数据集是从原始PU数据导出的，并且数据权重由当前加权分类器组合确定，但是一些数据权重是负的。我们的实验表明，AdaPU在几个基准PU数据集上的表现优于神经网络，包括一个具有挑战性的大规模网络安全数据集。
2022-12-07 cs.AI cs.LG
Fairness under Covariate Shift: Improving Fairness-Accuracy tradeoff with few Unlabeled Test Samples
Google Research India（谷歌研究院印度分院）；UCLA（加州大学洛杉矶分校）；Fujitsu Research India（富士通研究院印度分院）
针对协变量偏移下公平性下降问题，利用少量无标签测试样本，提出复合加权熵与表示匹配损失联合优化方法，显著提升公平性-准确性权衡，并验证了非对称协变量偏移场景下的优越性及理论近似效果。
2024-01-08 cs.AI cs.LG
Rethinking Data Perturbation and Model Stabilization for Semi-supervised Medical Image Segmentation
University of Sydney（悉尼大学）；Tencent Youtu Lab（腾讯优图实验室）；Chinese University of Hong Kong（香港中文大学）
该研究针对半监督医学图像分割核心挑战，提出DPMS方法，通过强增强数据扰动、双前向传播与归一化统计量动量更新策略，在多个公开数据集上取得新的最优性能。
2023-08-23 cs.CV cs.LG
Anomaly Detection with Score Distribution Discrimination
Shanghai University of Finance and Economics（上海财经大学）
本文提出从分数分布视角优化异常评分函数，设计了名为Overlap loss的新型损失函数，通过最小化正常与异常样本分数分布的重叠区域，摆脱对预定义分数目标的依赖，在多种网络架构中显著提升了异常检测性能。
2023-06-26 cs.AI cs.LG stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
为了使半监督技术在实践中安全地应用，我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上，我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同，该过程不依赖于不是手头分类器固有的假设。理论上证明，在标记和未标记的训练数据上测量，这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知，这是第一种方法，提供了这样强大的，虽然保守，保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集，以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Understanding Contrastive Representation Learning from Positive Unlabeled (PU) Data
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；OpenAI；Meta
本文针对正无标记数据上的对比表示学习，提出puCL和puNCE两种无偏对比目标，并结合PU感知聚类伪标签算法，在低监督场景下显著优于现有方法。
2025-04-10 cs.AI cs.CV cs.LG
Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training
University of Science and Technology of China（中国科学技术大学）；Texas A&M University（德州农工大学）；Nanjing University of Science and Technology（南京理工大学）；Banner Alzheimer’s Institute（班纳阿尔茨海默病研究所）
许多现实世界的应用程序必须解决正未标记（PU）学习问题，即，从大量未标记的数据和少量标记的正样本中学习二进制分类器。虽然目前最先进的方法采用重要性重新加权来设计各种风险估计器，但它们忽略了模型本身的学习能力，而模型本身可以提供可靠的监督。这促使我们提出了一种新的Self-PU学习框架，它无缝集成了PU学习和自我训练。Self-PU突出了三个“自我”导向的构建块：一个自定进度的训练算法，随着训练的进行，自适应地发现和增加自信的正面/负面示例;一个自校准的实例感知损失;以及一个自蒸馏方案，引入师生学习作为PU学习的有效规则化。我们在常见的PU学习基准测试（MNIST和CIFAR-10）上展示了Self-PU的最新性能，与最新的竞争对手相比毫不逊色。此外，我们还研究了PU学习的一个实际应用，即，对阿尔茨海默病的大脑图像进行分类。Self-PU在著名的阿尔茨海默病神经成像倡议（ADNI）数据库上获得了比现有方法显着改善的结果。该代码可在https://github.com/TAMU-VITA/Self-PU上公开获取。
2020-06-22 cs.LG stat.ML
Robust and Efficient Imbalanced Positive-Unlabeled Learning with Self-supervision
Ludwig-Maximilians-University Munich（慕尼黑大学）
从阳性和未标记（PU）数据中学习是一种设置，其中学习器只能访问阳性和未标记的样本，而没有关于阴性样本的信息。这样的PU设置在诸如医疗诊断、社会网络分析、金融市场分析和知识库完成的各种任务中非常重要，这些任务也倾向于本质上不平衡，即，大多数例子实际上都是否定的。然而，大多数现有的PU学习方法只考虑人工平衡的数据集，目前还不清楚它们在不平衡和长尾数据分布的现实场景中的表现如何。本文提出通过强大而有效的自我监督预训练来应对这一挑战。然而，当应用于高度不平衡的PU分布时，训练传统的自监督学习方法需要更好的重新制定。在本文中，我们提出了\textit{ImPULSeS}，一个统一的表示学习框架\underline{Im}平衡\underline{P}积极\underline{U} nlabeled \underline{L}收益利用\underline{Se} lf- \underline{S}简化debiase预训练。ImPULSeS使用大规模无监督学习与去偏对比损失和额外的重新加权PU损失的通用组合。我们在多个数据集上进行了不同的实验，以表明ImPULSeS能够将之前最先进的错误率减半，即使与之前给定真实先验的方法相比也是如此。此外，我们的方法显示出对先前错误指定的鲁棒性增加，并且即使在不相关的数据集上进行预训练时也具有优异的性能。我们预计这种鲁棒性和效率将使从业者更容易在其他感兴趣的P…
2022-09-06 cs.LG
SLaM: Student-Label Mixing for Distillation with Unlabeled Examples
UW-Madison（威斯康星大学麦迪逊分校）；Google Research（谷歌研究院）
针对无标签知识蒸馏中教师伪标签噪声损害学生模型性能的问题，提出SLaM学生标签混合方法，在多基准上实现性能提升，且具备理论保障，还改进了半空间学习样本复杂度并首次给出前向损失调整方法的收敛分析。
2023-06-08 cs.LG
Multi-Agent VLMs Guided Self-Training with PNU Loss for Low-Resource Offensive Content Detection
针对社交媒体低资源攻击性内容检测缺乏高质量标注数据的问题，提出多智能体视觉语言模型引导的自训练框架，通过协作伪标注和PNU损失优化，显著提升低监督场景下的检测性能，接近大规模模型水平。
2025-11-14 cs.AI cs.LG
Optimal Binary Classifier Aggregation for General Losses
University of California, San Diego（加州大学圣地亚哥分校）
我们解决了在半监督二进制分类设置中聚集具有已知损失界限的预测器集合的问题，以最小化未标记数据上发生的预测损失。我们找到了一个非常一般的一类损失函数，包括所有凸和许多非凸损失的最小最大最优预测，扩展了最近的分析问题的误分类错误。其结果是一个家庭的半监督集成聚合算法是有效的线性学习凸优化，但极小极大最优没有任何松弛。他们的决策规则采用决策理论中熟悉的形式-将sigmoid函数应用于集成裕度的概念-而没有基于裕度的学习中通常所做的假设。
2016-11-07 cs.LG stat.ML
Weighted Distillation with Unlabeled Examples
Google Research（谷歌研究院）
使用未标记的示例进行蒸馏是一种流行而强大的方法，用于在标记数据量有限的情况下训练深度神经网络：在可用的标记数据上训练大型“教师"神经网络，然后使用它在未标记的数据集（通常大小要大得多）上生成标签。这些标签然后被用于训练将被实际部署的较小的“学生"模型。当然，这种方法的成功取决于教师标签的质量，因为如果在不准确的数据上训练，学生可能会感到困惑。本文提出了一个原则性的方法来解决这个问题的基础上“去偏”的学生的损失函数的加权蒸馏培训范例。我们的方法是超参数自由，数据不可知，并且易于实现。我们在流行的学术数据集上展示了显着的改进，并且我们的结果伴随着理论分析，该分析严格证明了我们的方法在某些环境中的性能。
2022-10-13 cs.AI cs.LG
Self-training with noisy student model and semi-supervised loss function for dcase 2021 challenge task 4
Gwangju Institute of Science and Technology（光州科学技术院）
本报告为DCASE 2021挑战任务4提出了一种复音声音事件检测（SED）方法。建议的SED模型由两个阶段组成：一个平均教师模型，用于提供关于弱标记或未标记数据的目标标签，以及一个基于自我训练的嘈杂学生模型，用于预测声音事件的强标签。均值-教师模型基于教师和学生模型的残差卷积递归神经网络（RCRNN），首先使用来自弱标记数据集、未标记数据集和强标记合成数据集的所有训练数据进行训练。然后，训练好的均值-教师模型预测每个弱标记和未标记数据集的强标记，并在所提出的SED模型的第二阶段将其带入噪声学生模型。这里，噪声学生模型的结构与第一阶段中的均值-教师模型的基于RCRNN的学生模型相同。然后，通过添加特征噪声（如时频偏移，mixup，SpecAugment和基于dropout的模型噪声）进行自训练。此外，半监督损失函数被应用于训练噪声学生模型，其充当标签噪声注入。在DCASE 2021 Challenge Task 4的验证集上对所提出的SED模型的性能进行了评估，然后，最终选择了将五重验证模型与半监督损失函数的不同超参数相结合的几个集成模型作为我们的最终模型。
2021-07-06 cs.LG cs.SD eess.AS
Positive Unlabeled Contrastive Learning
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）；Meta；McGill University（麦吉尔大学）；Google（谷歌公司）
本文提出正无标记对比学习方法，通过扩展 infoNCE 损失和 PU 专用聚类伪标签，在无需类别先验的情况下显著提升了多个 PU 基准上的分类性能。
2024-03-28 cs.AI cs.LG
Graph Transductive Sharpening: Leveraging Unlabeled Predictions in Node Classification
University of Cambridge（剑桥大学）
本文提出了一种转导锐化方法，通过利用未标记节点的预测来改进节点分类任务，无需改变基础架构即可在多个基准上提升性能。
2026-10-19 cs.LG
Bayesian Self-Supervised Contrastive Learning
Southwest Jiaotong University（西南交通大学）；Huazhong University of Science and Technology（华中科技大学）
针对自监督对比学习中随机负样本易出现假负例导致训练偏差的问题，提出BCL损失，在贝叶斯框架下设计带位置与浓度参数的参数化采样分布，用重要性权重修正偏差并挖掘难负例，实验验证了其有效性与优越性。
2024-01-31 cs.LG
Unraveling the Impact of Heterophilic Structures on Graph Positive-Unlabeled Learning
The University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Hong Kong Baptist University（香港浸会大学）；University of New South Wales（新南威尔士大学）；Sydney AI Center（悉尼人工智能中心）
本文揭示图数据边异配性对正未标签学习的负面影响，提出基于双层优化的GPL方法，通过内循环降低异配性、外循环学习分类器，显著优于基线方法。
2024-06-01 cs.LG cs.SI
ESA: Example Sieve Approach for Multi-Positive and Unlabeled Learning
School of Computer Science and Technology, China University of Mining and Technology（中国矿业大学计算机科学与技术学院）；Mine Digitization Engineering Research Center of the Ministry of Education（教育部 mine 数字化工程研究中心）；State Key Lab. for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对MPU学习中的最小风险偏移问题，提出利用确定损失筛选训练样本的ESA方法，证明其一致性与最优参数收敛率，并在真实数据集上验证优于已有方法。
2024-12-03 cs.LG
Reinforcement Learning-Guided Semi-Supervised Learning
本文提出RLGSSL方法，将半监督学习建模为单臂老虎机问题，通过强化学习损失和奖励函数自适应利用有标签与无标签数据，并结合教师-学生框架，在多个基准数据集上取得优于现有SSL方法的性能。
2024-05-02 cs.AI cs.LG
Substituting Data Annotation with Balanced Updates and Collective Loss in Multi-label Text Classification
McGill University（麦吉尔大学）
本文针对多标签文本分类中标注稀缺问题，提出利用自然语言推理、标签依赖图和集体损失函数进行平衡更新的方法，在低监督下以极小开销将F1分数提升70%。
2023-09-24 cs.CL cs.LG
