Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data
Weizmann Institute of Science（魏茨曼科学研究所）
本文研究高维稀疏高斯分类中的半监督学习，证明在特定参数区域内结合有标签与无标签数据可在多项式时间内实现准确分类和特征选择，而单独使用任一数据的高效算法均会失败。
2024-09-05 cs.LG stat.ML
Reliable Semi-Supervised Learning when Labels are Missing at Random
Uppsala University（乌普萨拉大学）
半监督学习方法的动机是除了标记数据之外还具有未标记特征的大型数据集的可用性。然而，未标记的数据并不能保证提高分类性能，事实上，在某些情况下，已报告会损害性能。错误的一个基本来源来自于对未标记特征的限制性假设，这导致不可靠的分类器低估了它们的预测错误概率。在本文中，我们开发了一种半监督学习方法，放松这样的假设，并能够提供分类器，可靠地量化标签的不确定性。该方法适用于使用具有监督学习算法的任何生成模型。我们说明的方法，使用手写数字和布料分类数据的标签是随机缺失。
2019-10-24 cs.LG stat.ML
Multi-Task Learning with Labeled and Unlabeled Tasks
IST Austria (Institute of Science and Technology Austria)（奥地利科学技术研究所）
在多任务学习中，学习者被赋予一组预测任务，并需要解决所有这些任务。与以前的工作相比，它需要注释的训练数据可用于所有任务，我们考虑了一个新的设置，其中对于某些任务，可能是大多数任务，只提供未标记的训练数据。因此，要解决所有的任务，必须在有标签的任务和没有标签的任务之间传递信息。专注于基于实例的传输方法，我们分析了这种设置的两个变体：当一组标记的任务是固定的，当它可以被学习者主动选择。我们的状态和证明一个泛化界，涵盖了这两种情况下，并从中得出一个算法，使标签的任务（在活动的情况下）的选择和任务之间的信息传输的原则。通过对合成数据和真实数据的实验，验证了算法的有效性.
2017-06-08 cs.LG stat.ML
The Pessimistic Limits and Possibilities of Margin-based Losses in Semi-supervised Learning
Radboud University（拉德堡德大学）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
考虑一个分类问题，其中我们有标记和未标记的数据。我们表明，线性分类器定义的凸利润为基础的代理损失正在减少，这是不可能构建任何半监督的方法，能够保证改进的监督分类器上的标记和未标记的数据上的代理损失。对于也增加的凸边际损失函数，我们证明了安全的改进是可能的。
2019-01-08 cs.LG stat.ML
Positive-Unlabeled Classification under Class Prior Shift and Asymmetric Error
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
正无标记数据的二分类（PU分类）的瓶颈是要求给定的无标记模式是从测试边缘分布中提取的，并且假阳性错误的惩罚与假阴性错误的惩罚相同。然而，这些要求在实践中往往得不到满足。在本文中，我们推广PU分类类先验移位和不对称错误的情况下。通过对贝叶斯最优分类器的分析，证明了在给定测试类先验的情况下，类先验移位下的PU分类等价于非对称误差下的PU分类。然后，我们提出了两个不同的框架来处理这些问题，即，风险最小化框架和密度比估计框架。最后，我们证明了所提出的框架的有效性，并通过使用基准数据集的实验比较两个框架。
2020-11-09 cs.LG stat.ML
Self-Training of Halfspaces with Generalization Guarantees under Massart Mislabeling Noise Model
Computer Science Laboratory (LIG)（计算机科学实验室（LIG））；Department of Statistics (LJK)（统计系（LJK））；Departement of Physics (SIMaP)（物理系（SIMaP））；University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
研究了半空间自训练算法的推广性质。该方法从标记和未标记的训练数据中迭代学习半空间列表，其中每次迭代包括两个步骤：探索和修剪。在探索阶段，通过最大化未标记示例中的未标记边缘，然后将伪标签分配给距离高于当前阈值的那些示例，依次找到半空间。然后将伪标记的示例添加到训练集，并学习新的分类器。重复该过程，直到没有更多的未标记的示例用于伪标记。在修剪阶段中，然后丢弃到最后半空间的距离大于相关联的无符号余量的伪标记样本。我们证明了所得到的分类器序列的误分类误差是有界的，并表明所得到的半监督方法永远不会降低性能相比，只使用初始标记的训练集学习的分类器。在各种基准上进行的实验表明，所提出的方法相比，国家的最先进的方法的效率。
2022-02-15 cs.LG stat.ML
RATT: Leveraging Unlabeled Data to Guarantee Generalization
Carnegie Mellon University（卡内基梅隆大学）
为了评估泛化能力，机器学习科学家通常要么（i）限制泛化差距，然后（在训练后）插件插入经验风险，以获得真实风险的界限;要么（ii）根据经验验证支持数据。然而，（i）通常会为过度参数化的模型提供空洞的保证。此外，（ii）缩小训练集，其保证随着每次重复使用保持集而侵蚀。在本文中，我们介绍了一种方法，利用未标记的数据产生泛化边界。在用随机标记的新鲜示例扩充我们的（标记的）训练集之后，我们以标准方式进行训练。每当分类器在干净数据上实现低错误，在噪音数据上实现高错误时，我们的界限提供了真实风险的严格上限。我们证明了我们的界是有效的0-1经验风险最小化和线性分类器训练的梯度下降。我们的方法在与深度学习结合使用时特别有用，因为早期学习现象是网络在噪声标签之前拟合真实标签，但需要一个直观的假设。从经验上讲，在典型的计算机视觉和NLP任务上，我们的边界提供了非空的泛化保证，可以密切跟踪实际性能。这项工作为从业者提供了一个选项，即使在不可见的标记数据不可用时，也可以证明深度网络的泛化能力，并为随机标签噪声和泛化之间的关系提供了理论见解。
2021-11-06 cs.LG stat.ML
Mitigating Overfitting in Supervised Classification from Two Unlabeled Datasets: A Consistent Risk Correction Approach
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
最近提出的未标记-未标记（UU）分类方法允许我们训练一个二元分类器，只有从两个未标记的数据集与不同的类先验。由于该方法基于经验风险最小化，因此它的工作原理就像是一种监督分类方法，与任何模型和优化器兼容。然而，这种方法有时会遭受严重的过拟合，我们希望在本文中防止。我们在应用原始UU方法时的经验发现是，过度拟合经常与经验风险为负同时发生，这是不合理的。因此，我们建议通过某些修正函数来包装导致负经验风险的项。然后，我们证明了校正后的风险估计的一致性，并得到了校正后的风险最小化的估计误差界。实验表明，我们的建议可以成功地减轻UU方法的过拟合，并显着提高分类精度。
2020-03-31 cs.LG stat.ML
Fast Interactive Image Retrieval using large-scale unlabeled data
The Ohio State University（俄亥俄州立大学）
交互式图像检索系统通过分析用户提供的示例图像和反馈来学习数据库中的哪些图像属于用户的查询概念。挑战在于以最少的用户交互来检索相关图像。在这项工作中，我们建议解决这个问题，把它作为一个二进制分类任务的数据库中的所有图像进行分类，相关或不相关的用户的查询概念。我们的方法结合主动学习和基于图的半监督学习（GSSL）来解决这个问题。主动学习通过查询信息量最大的点的标签来减少用户交互的数量，并且GSSL允许使用丰富的未标记数据以及用户提供的有限的标记数据。为了有效地找到信息量最大的点，我们使用基于不确定性采样的方法，该方法查询最接近分类器的决策边界的点的标签。我们估计这个决策边界使用我们的启发式的自适应阈值。为了利用大量的未标记数据，我们使用了一种有效的基于近似的方法，将GSSL的复杂性从$O(n^3)$降低到$O(n)$，使GSSL具有可扩展性。我们通过整合来自多个模态的信息，例如从基于深度学习的模型中提取的视觉信息和从WordNet中提取的语义信息，使分类器对与大型数据库中的图像相关的多样性和噪声标签具有鲁棒性。在AnimalWithAttributes和Imagenet（120万张图像）数据集上定义的概念的实验中，在几轮相关反馈中获得了高F1分数，表明了我们方法的有效性和可扩展性。
2018-02-12 cs.LG stat.ML
Reference Distance Estimator
本文对一种简单的线性分类器--参考距离估计器（RDE）进行了理论研究，它将每个特征j的权重分配为P（r| j）-P（r），其中r是与目标类y相关的参考特征。分析表明，如果r在预测y方面优于随机猜测，并且与每个特征j条件独立，则RDE将具有与P（y）相同的分类性能|j）-P（y），使用黄金标准y训练的分类器。由于P（r）的估计|j）-P（r）不需要标记数据，在上述假设下，用大量未标记样本训练的RDE将接近用无限个标记样本训练的RDE。在此假设不成立的情况下，从理论上分析了在此假设下影响RDE接近完美RDE的因素，并提出了一种利用标记数据和未标记数据选择参考特征和组合来自不同参考特征的多个RDE的算法.在10个文本分类任务上的实验结果表明，该半监督学习方法在使用5,000个标记样本和1300万个未标记样本的情况下改进了监督方法，在许多任务中，其性能甚至接近于使用1300万个标记样本训练的分类器。此外，定理中的界提供了很好的分类性能的估计，可以用于新的算法设计。
2013-08-18 cs.LG stat.ML
Generative Semi-supervised Learning with Meta-Optimized Synthetic Samples
NTT（日本电报电话公司）；Kyoto University（京都大学）
针对真实无标签数据受法律限制难以获取的问题，提出以元学习优化生成式基础模型产生合成无标签样本，并结合无监督损失训练分类器，在极少标签场景下优于使用真实无标签数据的SSL。
2023-09-28 cs.AI cs.CV cs.LG
When can unlabeled data improve the learning rate?
Bielefeld University（比勒费尔德大学）；University of Waterloo（滑铁卢大学）；Google Brain（谷歌大脑）；York University（约克大学）
在半监督分类中，人们可以访问标记和未标记的数据。由于未标记数据通常比标记数据更便宜，因此一旦可以利用未标记数据以产生比单独标记数据更好的分类器，这种设置就变得有利。然而，这种改进可能的条件尚未完全了解。我们的分析集中在极大极小学习率的改进方面的标记的例子的数量（与未标记的例子的数量被允许依赖于标记的数量）。我们认为，这种改进是现实的和无可争议的，某些特定的条件应该得到满足，以前的分析未能满足这些条件。然后，我们展示了可以满足这些条件的示例，特别是显示了从$1/\sqrt{\ell}$到$e^{-c\ell}$以及从$1/\sqrt{\ell}$到$1/\ell$的速率变化。这些结果提高了我们对在半监督学习中什么是可能的，什么是不可能的理解。
2022-02-09 cs.LG stat.ML
Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Institute of Information Engineering, CAS（中国科学院信息工程研究所）
正-未标记（PU）学习试图从一些有标记的正样本和许多未标记的样本中学习二进制分类器。与普通的半监督学习相比，由于不存在任何已知的负标签，该任务更具挑战性。虽然现有的基于成本敏感的方法已经实现了最先进的性能，但它们显式地最小化了将未标记数据分类为负样本的风险，这可能导致分类器的负预测偏好。为了缓解这个问题，我们在本文中诉诸于PU学习的标签分布视角。注意到当类先验已知时，未标记数据的标签分布是固定的，它可以自然地用作模型的学习监督。受此启发，我们建议追求预测和地面实况标签分布之间的标签分布一致性，这是通过调整他们的期望来制定的。此外，我们进一步采用熵最小化和Mixup正则化，以避免平凡的解决方案的标签分布一致性的未标记的数据，并减轻随之而来的确认偏差。在三个基准数据集上的实验验证了该方法的有效性。https://github.com/Ray-rui/Dist-PU-Positive-Unlabeled-Learning-from-a-Label-Distribution-Perspective
2022-12-06 cs.CV cs.LG
Partial AUC Maximization from Positive-unlabeled Data
NTT, Inc.（日本电信电话公司）
本文提出一种仅从正例和未标注数据中最大化部分AUC的方法，无需负例数据，通过经验风险最小化框架推导估计器并实验验证其有效性。
2026-10-02 cs.AI cs.LG stat.ML
An Efficient Large-scale Semi-supervised Multi-label Classifier Capable of Handling Missing labels
Sharif University of Technology（谢里夫理工大学）
多标签分类近年来受到了广泛的关注。多标签分类器必须解决许多问题，包括：处理具有许多实例和大量标签的大规模数据集，补偿训练集中缺失的标签分配，考虑标签之间的相关性，以及利用未标记的数据来提高预测性能。为了处理具有大量标签的数据集，已经提出了基于嵌入的方法，该方法寻求在低维空间中表示标签分配。许多最先进的基于嵌入的方法使用线性降维来表示低维空间中的标签分配。然而，通过这样做，这些方法实际上忽略了尾部标签-很少分配给实例的标签。我们提出了一种基于嵌入的方法，使用随机方法非线性地嵌入标签向量，从而更准确地预测尾部标签。此外，该方法具有良好的机制，处理丢失的标签，处理大规模的数据集，以及利用未标记的数据。据我们所知，我们提出的方法是第一个同时解决所有上述挑战的多标签分类器。在真实世界数据集上的实验表明，我们的方法在预测性能和训练时间方面大大优于最先进的多标签分类器。
2016-06-18 cs.AI cs.LG stat.ML
Learning from Positive and Unlabeled Data with Augmented Classes
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Jiangsu University（江苏大学）
正未标记（PU）学习旨在仅从正和未标记的数据中学习二元分类器，这在许多现实世界中都有应用。然而，现有的PU学习算法不能处理现实世界中的挑战，在一个开放的和不断变化的情况下，其中未观察到的增强类的例子可能会出现在测试阶段。在本文中，我们提出了一个无偏的风险估计PU学习与增强类（PUAC）通过利用未标记的数据从增强类分布，这可以很容易地收集在许多现实世界的场景。此外，我们还推导了该估计器的估计误差界，为该估计器收敛到最优解提供了理论保证。在多个真实数据集上的实验证明了该方法的有效性。
2022-07-27 cs.LG
Making Binary Classification from Multiple Unlabeled Datasets Almost Free of Supervision
The University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）
针对多无标签数据集二分类需全部类先验的痛点，提出仅需一对数据集类先验相对顺序的MU-OPPO设定及四模块框架，理论分析估计误差，实验验证其类先验估计更准、分类性能更优，大幅降低监督成本。
2023-06-12 cs.LG
Mutual Exclusivity Loss for Semi-Supervised Deep Learning
University of Utah（犹他大学）
在本文中，我们考虑使用深度卷积神经网络（ConvNets）进行半监督学习的问题。半监督学习的动机是观察到未标记的数据是廉价的，可以用来提高分类器的准确性。在本文中，我们提出了一个无监督的正则化项，明确地迫使分类器的预测多个类是互斥的，并有效地引导决策边界躺在低密度空间之间的流形对应于不同类别的数据。我们提出的方法是通用的，可以与任何基于反向传播的学习方法一起使用。我们通过不同的实验表明，我们的方法可以提高使用未标记数据的ConvNets的对象识别性能。
2016-06-09 cs.CV cs.LG stat.ML
Optimally Combining Classifiers Using Unlabeled Data
University of California San Diego（加州大学圣迭戈分校）
我们开发了一个最坏的情况下分析的分类器集成的二进制分类的聚合。预测以最小化误差的任务被公式化为在给定的未标记数据集（转导设置）上进行的游戏，其中先前的标记信息被编码为对游戏的约束。这个博弈的最小最大解确定了分类器的加权组合可以比任何单个分类器表现得更好的情况。
2015-06-18 cs.LG stat.ML
Alternate Estimation of a Classifier and the Class-Prior from Positive and Unlabeled Data
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们考虑了一个问题，学习一个二元分类器只从积极的数据和未标记的数据（PU学习）和估计类先验的未标记的数据下的情况下，控制的情况下。最近的PU学习方法大多需要估计未标记数据中的类先验概率，并且使用另一种方法预先估计。然而，这种首先估计类先验然后训练分类器的两步方法可能不是最佳方法，因为在训练分类器时没有考虑类先验的估计误差。在本文中，我们提出了一种新的统一的方法来估计类先验和训练分类器交替。我们提出的方法是简单的实现和计算效率。通过实验，我们证明了所提出的方法的实用性。
2018-09-15 cs.LG stat.ML
Weakly Labeled Sound Event Detection Using Tri-training and Adversarial Learning
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
本文考虑了一个半监督学习框架，通过结合三重训练和对抗学习来解决DCASE 2019挑战任务4的弱标记复调声音事件检测问题。task 4的目标是检测单个音频片段中多个声音事件的起始和偏移。整个数据集由具有强标记（具有边界的声音事件标记）的合成数据和具有弱标记（声音事件标记）的真实数据以及未标记数据集组成。给定这个数据集，我们应用三训练，其中两个不同的分类器用于在弱标记和未标记数据集上获得伪标签，并且最终分类器使用强标记数据集和具有伪标签的弱/未标记数据集进行训练。此外，我们应用对抗学习来减少真实数据集和合成数据集之间的域差距。我们使用task 4数据集的验证集评估了我们的学习框架，在实验中，我们的学习框架显示出比基线模型有相当大的性能改进。
2019-10-14 cs.LG cs.SD eess.AS
AUC Optimization from Multiple Unlabeled Datasets
Nanjing University（南京大学）
本文研究从多个无标签数据集进行 AUC 优化的问题，提出 U$^m$-AUC 方法将其转化为多标签 AUC 优化问题以最大化分类器成对排序能力，并从理论和实验上验证了其有效性与高效性。
2023-09-15 cs.LG
PUAL: A Classifier on Trifurcate Positive-Unlabeled Data
University College London（伦敦大学学院）；University of Glasgow（格拉斯哥大学）；Bayes Business School, City, University of London（伦敦城市大学贝叶斯商学院）
针对现有正无标签学习方法在三分数据上性能不佳的问题，提出引入非对称损失的PUAL分类器及基于核的算法，实现非线性决策边界并在模拟与真实数据集上取得满意分类效果。
2024-05-31 cs.LG stat.ML
Recovering True Classifier Performance in Positive-Unlabeled Learning
Indiana University（印第安纳大学）
正-无标记学习中的一种常见方法是在标记和无标记数据之间训练分类模型。这种策略实际上是已知的，在温和的条件下，给出一个最佳的分类器，但是，它会导致有偏见的经验估计的分类器的性能。在这项工作中，我们表明，通常使用的性能指标，如接收器操作特征曲线，或在这些数据上获得的精确度-召回率曲线，可以用类先验知识进行校正;即，未标记数据中的正例和反例的比例。我们将结果扩展到一个嘈杂的设置，其中一些被标记为积极的例子实际上是消极的，并表明，校正也需要的知识的比例嘈杂的例子中标记的积极的。使用最先进的算法来估计正类先验和噪声的比例，我们通过实验评估了两种校正方法，并证明了它们对现实数据的有效性。
2017-02-02 cs.LG stat.ML
Confusion Matrices and Accuracy Statistics for Binary Classifiers Using Unlabeled Data: The Diagnostic Test Approach
University of Minnesota（明尼苏达大学）
医学研究人员已经解决了在没有金标准测试进行比较的情况下估计二元医学诊断测试的灵敏度和特异性的问题。这个问题与在未标记数据上估计分类器的混淆矩阵相同。本文描述了如何修改诊断测试解决方案，以估计无标记数据上监督或无监督二元分类器的混淆矩阵和准确性统计。
2022-12-27 cs.LG stat.AP stat.ML
Learning Classifiers on Positive and Unlabeled Data with Policy Gradient
Rakuten Institute of Technology（乐天技术研究所）；AIR Labs, Continental Automotive Group（大陆汽车集团AIR实验室）
现有的算法旨在从正（P）和未标记（U）的数据学习一个二进制分类器通常需要估计类先验或标签噪声之前建立一个分类模型。然而，估计和分类器学习通常在流水线中进行，而不是联合优化。在本文中，我们提出交替训练这两个步骤使用强化学习。我们的建议采用了一个策略网络来自适应地对未标记数据的标签进行假设，而分类器则建立在策略网络的输出上，并提供奖励来学习更好的策略。决策者和分类器之间的动态和交互式训练可以更有效地利用未标记数据，并显着提高分类性能。此外，我们提出了两种不同的方法来表示从政策采样的行动。第一种方法将连续动作作为软标签，第二种方法将离散动作作为硬标签，并在两个基准数据集和一个电子商务数据集上验证了该方法的有效性。结果表明，所提出的方法是能够始终优于国家的最先进的方法在各种设置。
2020-08-29 cs.LG stat.ML
Distantly Supervised Named Entity Recognition via Confidence-Based Multi-Class Positive and Unlabeled Learning
Iowa State University（爱荷华州立大学）
本文研究了远程监控下的命名实体识别问题。由于外部字典和/或知识库的不完整性，这种远距离注释的训练数据通常遭受高的假阴性率。为此，我们制定了远程监督NER（DS-NER）的问题，通过多类积极和无标签（MPU）学习，并提出了一种理论和实践上新颖的CONFidence-based MPU（Conf-MPU）的方法。为了处理不完整的注释，Conf-MPU包括两个步骤。首先，为作为实体令牌的每个令牌估计置信度分数。然后，建议Conf-MPU风险估计训练一个多类分类器的NER任务。在两个由各种外部知识标记的基准数据集上的实验表明，所提出的Conf-MPU比现有的DS-NER方法的优越性。
2022-03-03 cs.CL cs.LG
On Linear Separation Capacity of Self-Supervised Representation Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从理论上研究自监督学习中数据增强使多流形数据线性可分离的条件，证明其能提升线性分离能力的信息论最优速率，并表明下游线性分类器性能主要取决于表示的线性可分离性而非有标签数据规模。
2024-05-05 cs.LG math.ST stat.ML
Enhancing naive classifier for positive unlabeled data based on logistic regression approach
Warsaw University of Technology（华沙理工大学）
本文在 SCAR 假设下利用错误设定逻辑回归拟合 PU 数据，并结合 F1 类指标优化截距，提出性能可比或更优的增强朴素分类器。
2023-06-05 cs.LG stat.ML
Assessing binary classifiers using only positive and unlabeled data
KU Leuven（鲁汶大学）；iMinds Medical IT（iMinds医疗信息技术部门）
评估学习模型的性能是机器学习的关键部分。然而，在某些领域，只有积极的和未标记的例子，这禁止使用大多数标准的评估指标。我们提出了一种基于列联表（包括ROC和PR曲线）仅使用阳性和未标记数据来估计任何度量的方法。估计这些性能指标基本上简化为估计未标记集合中（潜在）阳性的分数，假设已知阳性是所有阳性的随机样本。我们提供了我们的估计质量的理论界限，说明了估计的积极部分在未标记的集合的重要性，并证明经验，我们能够可靠地估计真实数据的ROC和PR曲线。
2015-12-30 cs.IR cs.LG stat.ML
Estimating Accuracy from Unlabeled Data: A Probabilistic Logic Approach
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们提出了一种有效的方法来估计分类器的准确性，只使用未标记的数据。我们考虑一个设置多个分类问题，目标类可能是通过逻辑约束绑在一起。例如，一组类可能是互斥的，这意味着一个数据实例最多只能属于其中一个类。所提出的方法是基于直觉：（i）当分类器同意时，它们更有可能是正确的，以及（ii）当分类器做出违反约束的预测时，至少有一个分类器必须出错。在四个真实世界的数据集上进行的实验，仅使用未标记的数据，产生的准确度估计值与真实准确度相差不到百分之几。我们的模型在估计精度和组合多个分类器输出方面也优于现有的最先进的解决方案。结果强调了逻辑约束在估计精度中的效用，从而验证了我们的直觉。
2017-05-19 cs.AI cs.LG stat.ML
DEDPUL: Difference-of-Estimated-Densities-based Positive-Unlabeled Learning
National Research University Higher School of Economics（国立研究型大学高等经济学院）；JetBrains Research（JetBrains研究院）
正未标记（PU）学习是一种类似于监督二进制分类的情况下，只有阳性样本是干净的，而阴性样本被污染的潜在实例的正类，因此可以被认为是一个未标记的混合物。目标是对未标记样本进行分类，并训练一个无偏PN分类器，该分类器通常需要首先识别阳性和阴性样本的混合比例。最近，无偏风险估计框架在PU学习中取得了最先进的性能。然而，这一方法存在两个主要瓶颈。首先，假设混合比例是确定的，即在域中已知或用其他方法估计。其次，该方法依赖于分类器是一个神经网络。在本文中，我们提出了DEDPUL，这是一种解决PU学习而不存在上述问题的方法。DEDPUL背后的机制是将计算成本低廉的后处理过程应用于任何训练用于区分阳性和未标记数据的分类器的预测。DEDPUL没有假设要识别的比例，而是在对未标记样本进行分类的同时估计它们。实验表明，DEDPUL在比例估计和PU分类方面都优于当前最先进的方法。
2020-06-07 cs.LG stat.ML
On Leveraging Unlabeled Data for Concurrent Positive-Unlabeled Classification and Robust Generation
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（人工智能国家重点实验室，北京大学智能科学与技术学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Pazhou Laboratory (Huangpu), Guangzhou, Guangdong, China（黄埔实验室）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）；School of Electrical and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院）
针对标签数据稀缺问题，提出联合PU分类与条件生成的训练框架，通过抗噪CNI-CGAN和PU预测标签形成双向增强，并给出理论最优条件与多数据集验证。
2025-07-24 cs.LG stat.ML
Active Learning Via Sequential Design and Uncertainty Sampling
分类是生物医学研究和机器学习等许多领域的重要任务。传统上，分类规则是基于一堆标记数据构建的。近年来，由于技术创新和自动数据收集方案，我们很容易遇到包含大量未标记样本的数据集。由于对每一个数据进行标记的代价很高且效率很低，因此如何利用这些未标记的数据进行分类器的构造就成为一个重要的问题。在机器学习文献中，主动学习或半监督学习是在这种情况下讨论的流行概念，其中分类算法基于从其学习过程的前一阶段学习到的信息顺序地招募新的未标记的主题，然后这些新的主题被标记并作为新的训练样本被包括在内。从统计学的角度来看，这些方法可以被认为是序贯设计和随机逼近过程的混合。在本文中，我们研究了顺序学习过程中建立高效和有效的分类器，其中只有选定的主题被标记，并包括在其学习阶段。该算法结合了贝叶斯序贯优化设计和不确定性抽样的思想。算法的计算问题进行了讨论。使用合成的数据和真实的例子的数值结果报告。
2014-06-18 stat.ME
A Variational Approach for Learning from Positive and Unlabeled Data
Tongji University（同济大学）；Cloudwalk Inc.（云从科技）
仅从阳性和未标记（PU）数据学习二进制分类器在许多现实世界的应用中是一项重要且具有挑战性的任务，包括Web文本分类，疾病基因识别和欺诈检测，其中阴性样本很难通过实验验证。最近的PU学习方法都是基于传统的监督学习类型的误分类风险，它们需要通过近似负数据分布或类先验来解决棘手的风险估计问题。在本文中，我们介绍了PU学习的变分原理，使我们能够定量评估贝叶斯分类器的建模误差直接从给定的数据。这导致了一个损失函数，它可以有效地计算，没有任何中间步骤或模型，变分学习方法，然后可以采用在一般条件下优化分类器。此外，通过引入裕度最大化损失函数，可以进一步提高变分PU学习方法的判别性能和数值稳定性。我们说明了建议的变分方法的有效性，一些基准的例子。
2020-11-29 cs.LG stat.ML
How Does Unlabeled Data Provably Help Out-of-Distribution Detection?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）
本文提出SAL框架，通过分离无标签数据中的候选异常值并训练OOD分类器，从理论和实证两方面证明无标签数据可有效提升分布外检测性能。
2024-02-05 cs.LG stat.ML
Test-time Recalibration of Conformal Predictors Under Distribution Shift Based on Unlabeled Examples
Rice University（莱斯大学）；Technical University of Munich（慕尼黑工业大学）
针对分布偏移导致保形预测器校准失效且新分布缺少标签的问题，提出基于无标签示例预测截断阈值的测试时重新校准方法。
2023-06-03 cs.LG stat.ML
Augmented prediction of a true class for Positive Unlabeled data under selection bias
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）；Faculty of Mathematics and Information Science, Warsaw University of Technology（华沙理工大学数学与信息科学学院）
本研究提出带预测期标记的增强PU预测新场景，推导对应贝叶斯分类器及风险，提出多种经验贝叶斯规则变体，实验表明专为PU设计的变分自编码器变体性能更优，可提升未标记样本准确率。
2024-07-14 cs.LG stat.ML
Learning from Positive and Unlabeled Data with Arbitrary Positive Shift
University of Oregon（俄勒冈大学）
正未标记（PU）学习仅使用正和未标记数据训练二元分类器。常见的简化假设是阳性数据代表目标阳性类别。由于时间漂移、域转移和/或对抗性操纵，这种假设在实践中很少成立。本文表明，PU学习是可能的，即使是任意非代表性的正数据，给定来自源和目标分布的未标记数据。我们的关键见解是，只有消极类的分布需要固定。我们将其整合到两种统计上一致的方法中，以解决任意的正偏差-一种方法将负未标记学习与未标记未标记学习相结合，而另一种方法使用一种新的递归风险估计器。实验结果表明，我们的方法在许多真实世界的数据集和形式的正偏差，包括不相交的正类条件支持的有效性。此外，我们提出了一个通用的，简化的方法来解决PU风险估计过拟合。
2020-11-09 cs.LG stat.ML
Streaming algorithms for evaluating noisy judges on unlabeled data -- binary classification
Data Engines（数据引擎公司）；Real Chemistry（Real Chemistry公司）
本文提出两个基于独立误差假设的代数评估器，用于在未标记数据上流式评估噪声二分类集成，并通过构造曲面和代数失败模式筛选近似独立的集成，实现高精度标签普遍性与准确率估计。
2023-09-08 cs.LG math.AG stat.ML
On the Reliable Detection of Concept Drift from Streaming Unlabeled Data
University of Louisville（路易斯维尔大学）
部署在现实世界中的分类器在动态环境中运行，其中数据分布可能会随时间而变化。这些变化，被称为概念漂移，可能会导致分类器的预测性能随着时间的推移而下降，从而使其过时。为了真正发挥作用，这些分类器需要检测漂移，并能够随着时间的推移适应它们。传统上，检测漂移被视为一项监督任务，标记数据不断用于验证学习模型。尽管这些技术在检测漂移方面是有效的，但是这些技术是不切实际的，因为标记是困难的、昂贵的和耗时的活动。另一方面，无监督的变化检测技术是不可靠的，因为它们产生大量的假警报。无监督技术的无效性源于从检测过程中排除学习分类器的特征。在本文中，我们提出了边缘密度漂移检测（MD3）算法，它跟踪分类器的不确定区域中的样本数量，作为检测漂移的度量。MD3算法是一种独立于分布、独立于应用程序、独立于模型、无监督和增量的算法，用于可靠地检测数据流中的漂移。对来自网络安全领域的6个漂移引起的数据集和4个附加数据集的实验评估表明，MD3方法可以可靠地检测漂移，与基于无监督特征的漂移检测器相比，误报显著减少。减少的假警报使得仅当漂移最可能影响分类性能时才能用信号通知漂移。因此，MD3方法导致检测方案是可信的，标签有效的和一般的适用性。
2017-03-31 cs.AI cs.LG stat.ML
Estimating the class prior and posterior from noisy positives and unlabeled data
Indiana University（印第安纳大学）
我们开发了一种分类算法，用于估计正未标记数据的后验分布，该算法对正标记中的噪声具有鲁棒性，并且对高维数据有效。近年来，已经提出了几种算法来从正未标记数据中学习;然而，这些贡献中的许多仍然是理论上的，在通常被噪声污染的真实高维数据上表现不佳。我们建立在以前的工作，开发两个实用的分类算法，明确建模的噪声在积极的标签，并利用单变量变换建立在判别分类。我们证明，这些单变量变换保持类前，使估计在单变量空间和避免内核密度估计的高维数据。理论的发展和参数和非参数算法提出了一个重要的一步，广泛使用的积极的未标记数据的强大的分类算法。
2017-01-31 cs.LG stat.ML
On Positive-Unlabeled Classification in GAN
Peking University（北京大学）；The University of Sydney（悉尼大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peng Cheng Laboratory（鹏城实验室）
本文为标准GANs定义了一个正的和无标记的分类问题，然后提出了一种新的技术来稳定GANs中神经网络的训练。传统上，真实数据被认为是正的，而生成的数据是负的。这种正负分类标准在整个学习过程中保持不变，而不考虑生成数据的质量逐渐提高，即使它们有时比真实数据更真实。相比之下，将生成的数据视为未标记的数据更合理，根据其质量，这些数据可以是正面的或负面的。因此，正向和未标记的分类问题的分类器，我们得到一个新的正向未标记的GAN（PU GAN）。我们从理论上讨论了所提出的模型将达到的全局最优性和等价的优化目标。经验上，我们发现，PUGAN可以实现可比的，甚至更好的性能比那些复杂的稳定的方法。
2020-02-04 cs.LG stat.ML
Beyond the Selected Completely At Random Assumption for Learning from Positive and Unlabeled Data
KU Leuven（鲁汶大学）
大多数积极的和未标记的数据都会受到选择偏差的影响。例如，标记的示例可以从正集合中选择，因为它们更容易获得或更明显地是正的。本文探讨了如何在这种环境下进行学习。我们提出并从理论上分析了一种基于药物风险的方法，将标签机制。此外，我们研究在哪些假设下，学习是可能的，当标签机制没有完全理解，并提出了一个实用的方法来实现这一点。我们的实证分析支持的理论结果，并表明，考虑到选择偏差的可能性，即使在标签机制是未知的，提高了训练的分类。
2019-06-28 cs.LG stat.ML
High-dimensional Semi-supervised Classification via the Fermat Distance
School of Mathematical Sciences and School of Economics and Management, Tongji University（同济大学数学科学学院和经济管理学院）；Department of Sciences, North China University of Technology（华北理工大学理学院）
本文提出基于费马距离的加权k近邻和多维标度分类器，通过高维数据的流形和聚类假设，实现半监督分类，理论证明其最优性，并在实验中表现优异。
2026-04-26 cs.LG stat.ML
Information-Theoretic Representation Learning for Positive-Unlabeled Classification
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
弱监督分类的最新进展允许我们仅从正和未标记（PU）数据训练分类器。然而，现有的PU分类方法通常需要准确估计类先验概率，这是一个关键的瓶颈，特别是对于高维数据。这个问题通常通过预先应用主成分分析来解决，但是这种无监督的降维可能会破坏底层的类结构。在本文中，我们提出了一种新的表示学习方法从PU数据的基础上的信息最大化原则。我们的方法不需要类先验估计，因此可以用作PU分类的预处理方法。通过实验，我们证明了我们的方法与深度神经网络相结合，极大地提高了PU类先验估计的准确性，从而实现了最先进的PU分类性能。
2022-06-18 cs.LG stat.ML
Improving Positive Unlabeled Learning: Practical AUL Estimation and New Training Method for Extremely Imbalanced Data Sets
Tsinghua University（清华大学）
正未标记（PU）学习广泛应用于许多应用中，其中二元分类器在仅由正和未标记样本组成的数据集上训练。在本文中，我们从两个方面改进了PU学习。首先，用于PU学习的现有模型评估方法需要未标记样本的地面真值，这在实践中不太可能获得。为了释放这一限制，我们提出了一种渐近无偏实用AUL（电梯下的面积）估计方法，它利用原始PU数据，而无需未标记样本的先验知识。其次，我们提出了ProbTagging，一种新的训练方法，用于极端不平衡的数据集，其中未标记的样本数量是阳性样本的数百或数千倍。ProbTagging将概率引入聚合方法。具体地，每个未标记的样本被标记为阳性或阴性，其中概率基于与其阳性邻居的相似性来计算。在此基础上，生成多个数据集以训练不同的模型，然后将其组合成集成模型。与最先进的工作相比，实验结果表明，基于三个工业和两个人工PU数据集，ProbTagging可以将AUC增加高达10%。
2020-04-21 cs.LG stat.ML
Positive-Unlabeled Learning with Non-Negative Risk Estimator
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
仅从正（P）和未标记（U）数据，可以用PU学习来训练二元分类器，其中最先进的是无偏PU学习。然而，如果其模型非常灵活，则训练数据的经验风险将变为负值，并且我们将遭受严重的过拟合。在本文中，我们提出了一种用于PU学习的非负风险估计器：当被最小化时，它对过拟合更鲁棒，因此我们能够在有限的P数据下使用非常灵活的模型（如深度神经网络）。此外，我们分析了所提出的风险估计的偏差，一致性和均方误差减少，并绑定的估计误差的经验风险最小化。实验表明，我们的风险估计修复了其无偏同行的过拟合问题。
2017-11-04 cs.LG stat.ML
Gradient Regularized Budgeted Boosting
Washington University in St. Louis（圣路易斯华盛顿大学）；Microsoft Research（微软研究院）
随着机器学习越来越多地向现实世界的应用过渡，控制算法的测试时间成本变得越来越重要。最近的工作，如Greedy Miser和Speedboost，将测试时间预算约束纳入训练过程，并学习可证明在预算范围内（预期）的分类器。然而，到目前为止，这些算法仅限于监督学习的情况下，有足够数量的标记数据是可用的。在本文中，我们调查的常见情况下，标记的数据是稀缺的，但未标记的数据是丰富的。我们提出了一种算法，利用未标记的数据（通过拉普拉斯平滑）和学习分类器的预算约束。我们的模型基于梯度提升回归树（GBRT），据我们所知，是第一个半监督预算学习算法。
2019-01-27 cs.LG stat.ML
Mixture Proportion Estimation and PU Learning: A Modern Approach
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊云科技）
只给出肯定的例子和未标记的例子（来自肯定类和否定类），我们仍然希望估计出一个准确的肯定与否定分类器。从形式上讲，这个任务被分解为两个子任务：（i）混合比例估计（MPE）-确定未标记数据中阳性样本的比例;以及（ii）PU学习-给定这样的估计，学习所需的阳性与阴性分类器。不幸的是，这两个问题的经典方法在高维环境中崩溃。与此同时，最近提出的算法缺乏理论上的一致性，并且不稳定地依赖于超参数调整。在本文中，我们提出了两种简单的技术：最佳箱估计（BBE）（用于MPE）;和条件值忽略风险（CVIR），这是PU学习的一个简单目标。这两种方法在经验上都占主导地位，对于BBE，我们建立了正式的保证，只要我们可以训练一个模型，干净地分离出一小部分正面的例子。我们的最终算法（TED）$^n$，在两个过程之间交替，显着改善了我们的混合比例估计器和分类器
2021-11-01 cs.LG stat.ML
Online Active Model Selection for Pre-trained Classifiers
ETH Zürich（苏黎世联邦理工学院）
给定$k$预训练的分类器和一系列未标记的数据示例，我们如何主动决定何时查询标签，以便在进行少量查询的同时区分最佳模型？探讨这个问题对一系列实际情况有着深远的影响。在这项工作中，我们设计了一个在线选择性抽样方法，积极选择信息丰富的例子进行标记，并在任何一轮输出最佳模型的概率很高。我们的算法可用于在线预测任务的对抗性和随机流。我们建立了几个理论保证我们的算法，并广泛地证明了它的有效性，在我们的实验研究。
2021-04-17 cs.LG stat.ML
Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context
UC Davis（加州大学戴维斯分校）；Weizmann Institute of Science（魏茨曼科学研究院）
该研究针对随机线性分类任务下训练的线性Transformer，通过分析梯度下降隐式正则化明确其泛化的条件，并证实其存在上下文内良性过拟合现象，即记忆带噪样本仍能对干净样本近最优泛化。
2024-12-13 cs.LG stat.ML
Importance Weighting for Unlabeled-unlabeled Learning under Distribution Shift
NTT, Inc.（日本电信电话株式会社）
针对UU学习在分布偏移下的挑战，提出基于重要性加权的适应方法，利用训练与少量测试UU数据，统一处理PU和噪声标签学习，无需偏移类型假设，实验验证有效。
2026-09-11 cs.AI cs.LG stat.ML
Theoretical Comparisons of Positive-Unlabeled Learning against Positive-Negative Learning
The University of Tokyo（东京大学）；Boston University（波士顿大学）；RIKEN（日本理化学研究所）
在PU学习中，二元分类器从正（P）和未标记（U）数据中训练，而没有负（N）数据。虽然N个数据丢失，但它有时优于PN学习（即，普通的监督学习）。然而，无论是理论还是实验分析都没有给出解释这一现象。在本文中，我们从理论上比较PU（和NU）学习对PN学习的基础上估计误差的上限。我们找到了PU和NU学习可能优于PN学习的简单条件，并证明了在上界方面，给定无限U数据的PU或NU学习（取决于类先验概率以及P和N数据的大小）将改善PN学习。我们的理论研究结果与人工和基准数据的实验结果吻合得很好，即使实验装置不完全匹配的理论假设。
2016-10-28 cs.LG stat.ML
