NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily Labeled Graphs
The Pennsylvania State University(宾夕法尼亚州立大学);IBM(国际商业机器公司)
图神经网络(GNN)在图上的半监督学习任务(如节点分类)方面取得了可喜的成果。尽管GNN取得了巨大的成功,但许多真实世界的图通常是稀疏和嘈杂的标记,这可能会显着降低GNN的性能,因为嘈杂的信息可以通过图结构传播到未标记的节点。因此,重要的是开发一个标签抗噪声GNN的半监督节点分类。虽然已经进行了广泛的研究来学习带有噪声标签的神经网络,但它们大多集中在独立和同分布的数据上,并假设有大量的噪声标签可用,这并不直接适用于GNN。因此,我们研究了一个新的问题,学习一个强大的GNN与噪声和有限的标签。为了减轻标签噪声的负面影响,我们建议将未标记的节点与具有高特征相似性的标记节点连接起来,以带来更多干净的标签信息。此外,通过该策略可以获得准确的伪标签,以提供更多的监督,并进一步减少标签噪声的影响。我们的理论和实证分析验证了这两种策略在温和条件下的有效性。在真实数据集上的大量实验证明了该方法在学习具有噪声和有限标签的鲁棒GNN方面的有效性。
2021-06-08 cs.LG
Structure-Aware Consensus Network on Graphs with Few Labeled Nodes
School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院);College of Electrical Engineering and Automation, Shandong University of Science and Technology(山东科技大学电气工程与自动化学院);College of Computer Science and Engineering, Shandong University of Science and Technology(山东科技大学计算机科学与工程学院)
针对少标签图节点分类,本文提出单分支结构感知共识网络SACn,通过强增强视图共识、结构信息整合和类别感知伪标签选择提升未标注数据利用,并在三个基准上取得优于现有方法的结果。
2024-07-02 cs.CV cs.LG
Label Propagation across Graphs: Node Classification using Graph Neural Tangent Kernels
Rice University(莱斯大学)
图神经网络(GNN)在过去几年中在节点分类任务上取得了优异的性能。通常,这是在一个转导半监督学习设置中构建的,其中整个图,包括要标记的目标节点,可用于训练。部分受可扩展性的驱动,最近的工作集中在归纳的情况下,只有图的标记部分可用于训练。在这种情况下,我们目前的工作考虑了一个具有挑战性的归纳设置,其中一组标记的图可用于训练,而未标记的目标图是完全独立的,即,在标记的和未标记的节点之间没有连接。在测试图和训练图来自相似分布的隐含假设下,我们的目标是开发一个标记函数,该函数可以推广到未观察到的连接结构。为此,我们采用了一个图神经切线核(GNTK),它对应于无限宽的GNN,以基于拓扑结构和节点特征找到不同图中节点之间的对应关系。我们增强了GNTK与剩余连接的能力,并在标准基准测试中实证说明了其性能增益。
2021-10-07 cs.LG eess.SP
E2GNN: Efficient Graph Neural Network Ensembles for Semi-Supervised Classification
The Hong Kong Polytechnic University(香港理工大学);Rice University(莱斯大学);New York University Shanghai(上海纽约大学)
本文提出E2GNN,通过训练MLP模仿多个GNN在带标签与无标签节点上的预测,并利用强化判别器过滤错误预测节点,以可学习方式高效集成GNN,解决半监督分类中集成推理效率低和基模型性能受限的问题。
2024-05-06 cs.AI cs.LG
Distribution Consistency based Self-Training for Graph Neural Networks with Sparse Labels
The Pennsylvania State University(宾夕法尼亚州立大学)
针对少样本节点分类中训练与测试节点的分布偏移问题,提出DC-GST自训练框架,通过可微优化选择兼具信息量与分布补偿作用的伪标签节点,并引入分布偏移感知边预测器增强图,在四个基准上持续优于现有方法。
2024-01-18 cs.AI cs.LG
Graph Transductive Sharpening: Leveraging Unlabeled Predictions in Node Classification
University of Cambridge(剑桥大学)
本文提出了一种转导锐化方法,通过利用未标记节点的预测来改进节点分类任务,无需改变基础架构即可在多个基准上提升性能。
2026-10-19 cs.LG
A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
University of Tokyo(东京大学);NTT Communication Science Laboratories(NTT通信科学实验室)
正-未标记学习是指仅使用正和未标记数据来训练二元分类器的过程。虽然未标记数据中可以包含正数据,但现有的正-未标记学习方法将所有未标记数据都视为负数据,导致性能下降。我们对这个问题提供了一个新的视角-将未标记的数据视为噪声标记的数据,并将PU学习的一个新公式引入噪声标记数据的联合优化问题。该研究提出了一种方法,分配初始伪标签的未标记的数据被用作噪声标记的数据,并使用噪声标记的数据训练一个深度神经网络。实验结果表明,该方法显着优于国家的最先进的方法在几个基准数据集。
2021-03-08 cs.LG
Positive Unlabeled Learning Selected Not At Random (PULSNAR): class proportion estimation when the SCAR assumption does not hold
University of New Mexico(新墨西哥大学)
本文针对PU学习中SCAR假设不成立的问题,提出PULSNAR算法,通过分治聚类将非随机选择的正样本划分为子类型并分别估计类别比例,在合成与真实数据集上优于现有方法。
2024-05-03 cs.LG
Positive-Unlabeled Domain Adaptation
University of Hildesheim(希尔德斯海姆大学);Volkwagen Financial Services(大众金融服务)
领域自适应方法已经显示出有效地从标记的源域推广到标记稀缺的目标域。以往的研究主要集中在没有目标监督的无标记领域自适应和每个类只有少量标记目标样本的半监督领域自适应。另一方面,正-无标签(PU-)学习在弱监督学习文献中引起了越来越多的兴趣,因为在相当多的实际应用中,正标签比负标签更容易获得。在这项工作中,我们是第一个介绍的挑战,积极的未标记的领域自适应,我们的目标是概括从一个完全标记的源域的目标域,只有积极和未标记的数据是可用的。我们提出了一种新的两步学习方法来解决这个问题,首先确定可靠的积极和消极的伪标签在目标域的指导下的源域标签和积极的未标记的风险估计。这使我们能够在第二步中在目标域上使用标准分类器。我们通过在视觉对象识别的基准数据集上运行实验来验证我们的方法。此外,我们提出了现实世界的例子,我们的设置和验证我们的优越性能的停车场占用率数据。
2022-02-11 cs.LG
Semi-Supervised Classification Based on Classification from Positive and Unlabeled Data
The University of Tokyo(东京大学);RIKEN(日本理化学研究所)
迄今为止开发的大多数半监督分类方法在特定的分布假设(如聚类假设)下使用未标记数据进行正则化。相比之下,最近开发的从阳性和未标记数据进行分类的方法(PU分类)使用未标记数据进行风险评估,即,直接从未标记的数据中提取标记信息。在本文中,我们扩展PU分类,也将负面数据,并提出了一种新的半监督分类方法。我们建立泛化误差的界限,我们的新方法,并表明,该界限相对于未标记的数据的数量减少,而不需要在现有的半监督分类方法的分布假设。通过实验,我们证明了所提出的方法的实用性。
2017-06-16 cs.LG
Learning from Positive and Unlabeled Data with Augmented Classes
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Jiangsu University(江苏大学)
正未标记(PU)学习旨在仅从正和未标记的数据中学习二元分类器,这在许多现实世界中都有应用。然而,现有的PU学习算法不能处理现实世界中的挑战,在一个开放的和不断变化的情况下,其中未观察到的增强类的例子可能会出现在测试阶段。在本文中,我们提出了一个无偏的风险估计PU学习与增强类(PUAC)通过利用未标记的数据从增强类分布,这可以很容易地收集在许多现实世界的场景。此外,我们还推导了该估计器的估计误差界,为该估计器收敛到最优解提供了理论保证。在多个真实数据集上的实验证明了该方法的有效性。
2022-07-27 cs.LG
Active learning from positive and unlabeled examples
David R. Cheriton School of Computer Science, University of Waterloo, Waterloo, ON, Canada(多伦多大学大卫·R·切里顿计算机科学学院);Vector Institute, Toronto, ON, Canada(向量研究所);Department of Computer Science, University of Regina, Regina, SK, Canada(里纳大学计算机科学系);Alberta Machine Intelligence Institute (AMII), Edmonton, AB, Canada(阿尔伯塔人工智能研究所(AMII))
本文提出了一种主动PU学习方法,通过自适应查询未标记数据并仅在特定条件下揭示标签,首次理论分析了其标签复杂度。
2026-02-02 cs.LG
Learning from positive and unlabeled examples -Finite size sample bounds
University of Waterloo(多伦多大学);Vector Institute(向量研究所)
本文研究了PU学习在未知类先验条件下的统计复杂度,不依赖传统简化假设,并证明了正例与未标记样本所需容量的上下界。
2025-07-10 cs.LG
Efficient Training for Positive Unlabeled Learning
University of Trento(特伦托大学);Nanjing University(南京大学)
积极的未标记(PU)学习在各种实际情况下是有用的,其中需要从未标记的数据集中学习感兴趣的类别的分类器,该数据集可能包含异常以及来自未知类别的样本。在统计学习理论的框架下,学习任务可以表示为一个优化问题。最近的研究已经从理论上分析了它的属性和泛化性能,然而,很少努力考虑的可扩展性问题,特别是当大的未标记的数据集可用。在这项工作中,我们提出了一种新的可扩展的PU学习算法,理论上证明,提供最佳的解决方案,同时显示出优越的计算和内存性能。实验评估证实了理论证据,并表明该方法可以成功地应用于各种各样的现实世界中的问题,涉及PU学习。
2018-03-14 cs.LG
Positive-Unlabeled Classification under Class-Prior Shift: A Prior-invariant Approach Based on Density Ratio Estimation
The University of Tokyo(东京大学);RIKEN(理化学研究所)
从正的和未标记的(PU)数据中学习是各种应用中的一个重要问题。大多数最近的PU分类方法假设训练未标记数据集中的类先验(阳性样本的比率)与测试数据中的类先验相同,这在许多实际情况下并不成立。此外,我们通常不知道训练和测试数据的类先验,因此我们不知道如何在没有它们的情况下训练分类器。为了解决这些问题,我们提出了一种新的PU分类方法的基础上密度比估计。我们所提出的方法的一个显着的优点是,它不需要类先验在训练阶段,类先验移位只在测试阶段。我们从理论上证明我们提出的方法,并通过实验证明其有效性。
2021-12-15 cs.LG
Learning from Positive and Unlabeled Data with Arbitrary Positive Shift
University of Oregon(俄勒冈大学)
正未标记(PU)学习仅使用正和未标记数据训练二元分类器。常见的简化假设是阳性数据代表目标阳性类别。由于时间漂移、域转移和/或对抗性操纵,这种假设在实践中很少成立。本文表明,PU学习是可能的,即使是任意非代表性的正数据,给定来自源和目标分布的未标记数据。我们的关键见解是,只有消极类的分布需要固定。我们将其整合到两种统计上一致的方法中,以解决任意的正偏差-一种方法将负未标记学习与未标记未标记学习相结合,而另一种方法使用一种新的递归风险估计器。实验结果表明,我们的方法在许多真实世界的数据集和形式的正偏差,包括不相交的正类条件支持的有效性。此外,我们提出了一个通用的,简化的方法来解决PU风险估计过拟合。
2020-11-09 cs.LG stat.ML
PUe: Biased Positive-Unlabeled Learning Enhancement by Causal Inference
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
研究正无标记学习问题,基于SAR-PU倾向加权框架提出PUe框架,运用归一化倾向得分和NIPW,有归一化逆概率加权风险公式等贡献,在多个数据集实验中,在非均匀标签分布下优于多个PU基线。
2026-07-16 cs.LG
Enhancing the Influence of Labels on Unlabeled Nodes in Graph Convolutional Networks
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川人工智能研究院);Hainan University(海南大学)
针对GCN中额外标签信息可能产生负面影响的问题,提出ELU-GCN两步框架,通过图学习构建ELU图并引入图对比学习,理论保证泛化能力,实验验证优越性。
2025-05-22 cs.LG
Convex Formulation of Multiple Instance Learning from Positive and Unlabeled Bags
The University of Tokyo(东京大学);RIKEN(理化学研究所);International Research Center for Neurointelligence(国际神经智能研究中心)
多实例学习(MIL)是传统监督学习问题的一种变体,其中数据(称为包)由子元素(称为实例)组成,并且只有包标签可用。MIL在基于内容的图像检索、文本分类、医学诊断等方面有着广泛的应用。MIL以前的大多数工作都假设训练袋完全贴上标签。然而,在实际情况下,往往难以获得足够数量的标签袋,而许多未标签袋可用。一种称为PU学习(积极和无标签学习)的学习框架可以解决这个问题。在本文中,我们提出了一个凸PU学习方法来解决MIL问题。我们的实验表明,该方法实现了更好的性能,显着降低计算成本比现有的方法PU-MIL。
2018-05-01 cs.LG
Active Learning from Positive and Unlabeled Data
Sharif University of Technology(谢里夫理工大学)
近年来,主动学习已经发展成为利用用户反馈来提高学习算法准确性的流行范例。主动学习的工作原理是在未标记的数据中选择信息量最大的样本,并向用户查询该点的标记。在主动学习中,许多不同的方法,如不确定性抽样和最小风险抽样,被用来选择最具信息量的样本。虽然目前已经提出了许多主动学习算法,但大多数算法都适用于二进制或多类分类问题,因此不能应用于只有一类样本和一组未标记数据的问题。这样的问题出现在许多现实世界的情况下,被称为学习的问题,从积极的和未标记的数据。在本文中,我们提出了一个主动学习算法,可以工作时,只有一个类的样本,以及一组未标记的数据。我们的方法通过分别估计正和未标记点的概率密度,然后计算信息量的期望值来摆脱超参数,并具有更好的信息量度量。实验和实证分析表明,有前途的结果相比,其他类似的方法。
2016-02-24 cs.LG
Heterogeneous Domain Adaptation with Positive and Unlabeled Data
NEC Corporation(日本电气株式会社);Tokyo Institute of Technology(东京工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能统合研究中心)
本文针对源域仅含正样本的异构无监督域适应新场景PU-HUDA,提出预测对抗域适应方法PADA,通过统一对抗框架同时预测目标潜在正样本并对齐特征空间,性能优于现有基线方法。
2023-11-21 cs.LG
Federated Learning with Positive and Unlabeled Data
Xi’an Jiaotong University(西安交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peking University(北京大学);Huawei Technologies(华为技术有限公司)
我们研究了在联邦环境中从正的和未标记的(PU)数据中学习的问题,由于资源和时间的限制,每个客户端只标记了他们数据集的一小部分。与传统PU学习中负类由单个类组成的设置不同,在联合设置中,客户端无法识别的负样本可能来自客户端未知的多个类。因此,现有的PU学习方法在这种情况下很难应用。为了解决这个问题,我们提出了一个新的框架,即联邦学习与积极和未标记的数据(FedPU),以最大限度地减少预期的风险,多个负类,利用标记的数据在其他客户端。我们从理论上分析了所提出的FedPU的推广界。实验结果表明,与传统的监督和半监督联邦学习方法相比,该方法具有更好的性能。代码可在https://github.com/littleSunlxy/FedPU-torch上获得
2022-08-15 cs.LG
Positive-Unlabeled Node Classification with Structure-aware Graph Learning
Hong Kong University of Science and Technology(香港科技大学);Paradigm(第四范式);Tsinghua University(清华大学)
针对正未标记节点分类中忽略图结构信息的问题,提出一种利用距离感知PU损失和图结构对齐正则化器的新方法,理论证明其能最小化期望损失,且在多种数据集上性能优于现有最先进方法。
2023-10-20 cs.AI cs.LG
Revisiting Sample Selection Approach to Positive-Unlabeled Learning: Turning Unlabeled Data into Positive rather than Negative
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能中心);Center for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心);University of Tokyo(东京大学)
在正-未标记(PU)学习的早期历史中,样本选择方法,即从U数据中选择负(N)数据,被广泛探索。然而,这种方法后来被重要性重新加权方法所主导,该方法仔细地将所有U数据视为N数据。在深度学习时代,是否会有一种新的样本选择方法,能够胜过最新的重要性重新加权方法?本文致力于肯定地回答这个问题--基于深度网络的记忆特性,我们提出将大丢失的U数据标记为P。由于以这种方式选择的P数据是有偏见的,我们开发了一种新的学习目标,可以正确处理这种有偏见的P数据。实验证明了该方法的优越性。
2019-01-29 cs.LG stat.ML
Positive unlabeled learning with tensor networks
University of Ljubljana(卢布尔雅那大学)
针对现有正样本无标签学习方法适配数据类型单一、无法生成样本的问题,提出基于特征空间距离的通用张量网络方法,在多数据集上取得SOTA结果,且模型兼具生成新正负样本的能力。
2023-07-20 cs.CV cs.LG
Learning Label Initialization for Time-Dependent Harmonic Extension
University of Caen Normandy(卡昂诺曼底大学)
图上的节点分类可以用图上的Dirichlet问题来表示,其中信号在标记的节点处给出,而调和扩展在未标记的节点上完成。本文考虑了图上Dirichlet问题的一个时间依赖版本,并展示了如何通过学习未标记节点上的适当初始化向量来改进其解。此外,我们表明,改进的解决方案是在与国家的最先进的方法用于节点分类。最后,我们通过讨论参数t的重要性,优点和未来的发展方向来总结本文。
2022-05-03 cs.LG
A method on selecting reliable samples based on fuzziness in positive and unlabeled learning
Chongqing Normal University(重庆师范大学)
传统的半监督学习仅使用标记的实例来训练分类器,然后利用该分类器来分类未标记的实例,而有时在标记集合中仅存在作为目标概念的元素的正实例。本文研究的是仅从正样本和未标记样本设计学习算法.在所有的半监督正向和无标记学习方法中,从无标记样本中提取有用信息是最基本的步骤。在本文中,我们设计了一个新的框架,以利用有效的信息在未标记的情况下。从本质上讲,该框架主要包括:(1)通过实例的模糊度选择可靠的负实例;(2)根据实例的模糊度选择新的正实例来扩展初始正实例集,并将这些新实例命名为可靠的正实例;(3)利用数据编辑技术过滤掉模糊度高的噪声点。在UCI数据集上的对比实验验证了该算法的有效性。
2019-03-26 cs.GT cs.LG
An Effective Flow-based Method for Positive-Unlabeled Learning: 2-HNC
Department of Industrial Engineering and Operations Research University of California, Berkeley(工业工程与运筹学系 加州大学伯克利分校)
本文提出基于网络流的 2-HNC 方法,利用 Hochbaum 的归一化割和参数化最小割生成嵌套分区,通过两阶段排序与重分类解决正例-无标签学习问题,实验证明其性能优于现有算法。
2025-11-02 cs.LG
On Positive-Unlabeled Classification in GAN
Peking University(北京大学);The University of Sydney(悉尼大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Peng Cheng Laboratory(鹏城实验室)
本文为标准GANs定义了一个正的和无标记的分类问题,然后提出了一种新的技术来稳定GANs中神经网络的训练。传统上,真实数据被认为是正的,而生成的数据是负的。这种正负分类标准在整个学习过程中保持不变,而不考虑生成数据的质量逐渐提高,即使它们有时比真实数据更真实。相比之下,将生成的数据视为未标记的数据更合理,根据其质量,这些数据可以是正面的或负面的。因此,正向和未标记的分类问题的分类器,我们得到一个新的正向未标记的GAN(PU GAN)。我们从理论上讨论了所提出的模型将达到的全局最优性和等价的优化目标。经验上,我们发现,PUGAN可以实现可比的,甚至更好的性能比那些复杂的稳定的方法。
2020-02-04 cs.LG stat.ML
Improving Positive Unlabeled Learning: Practical AUL Estimation and New Training Method for Extremely Imbalanced Data Sets
Tsinghua University(清华大学)
正未标记(PU)学习广泛应用于许多应用中,其中二元分类器在仅由正和未标记样本组成的数据集上训练。在本文中,我们从两个方面改进了PU学习。首先,用于PU学习的现有模型评估方法需要未标记样本的地面真值,这在实践中不太可能获得。为了释放这一限制,我们提出了一种渐近无偏实用AUL(电梯下的面积)估计方法,它利用原始PU数据,而无需未标记样本的先验知识。其次,我们提出了ProbTagging,一种新的训练方法,用于极端不平衡的数据集,其中未标记的样本数量是阳性样本的数百或数千倍。ProbTagging将概率引入聚合方法。具体地,每个未标记的样本被标记为阳性或阴性,其中概率基于与其阳性邻居的相似性来计算。在此基础上,生成多个数据集以训练不同的模型,然后将其组合成集成模型。与最先进的工作相比,实验结果表明,基于三个工业和两个人工PU数据集,ProbTagging可以将AUC增加高达10%。
2020-04-21 cs.LG stat.ML
Assessing binary classifiers using only positive and unlabeled data
KU Leuven(鲁汶大学);iMinds Medical IT(iMinds医疗信息技术部门)
评估学习模型的性能是机器学习的关键部分。然而,在某些领域,只有积极的和未标记的例子,这禁止使用大多数标准的评估指标。我们提出了一种基于列联表(包括ROC和PR曲线)仅使用阳性和未标记数据来估计任何度量的方法。估计这些性能指标基本上简化为估计未标记集合中(潜在)阳性的分数,假设已知阳性是所有阳性的随机样本。我们提供了我们的估计质量的理论界限,说明了估计的积极部分在未标记的集合的重要性,并证明经验,我们能够可靠地估计真实数据的ROC和PR曲线。
2015-12-30 cs.IR cs.LG stat.ML
Single-sample versus case-control sampling scheme for Positive Unlabeled data: the story of two scenarios
Faculty of Mathematics and Information Science, Warsaw University of Technology(华沙理工大学数学与信息科学学院);Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
研究探讨了基于经验风险最小化(ERM)的正未标记数据分类器在单样本与病例对照采样方案间的性能差异,提出单样本场景下需调整经验风险定义以提升效果。
2024-12-21 cs.LG
Estimating the class prior and posterior from noisy positives and unlabeled data
Indiana University(印第安纳大学)
我们开发了一种分类算法,用于估计正未标记数据的后验分布,该算法对正标记中的噪声具有鲁棒性,并且对高维数据有效。近年来,已经提出了几种算法来从正未标记数据中学习;然而,这些贡献中的许多仍然是理论上的,在通常被噪声污染的真实高维数据上表现不佳。我们建立在以前的工作,开发两个实用的分类算法,明确建模的噪声在积极的标签,并利用单变量变换建立在判别分类。我们证明,这些单变量变换保持类前,使估计在单变量空间和避免内核密度估计的高维数据。理论的发展和参数和非参数算法提出了一个重要的一步,广泛使用的积极的未标记数据的强大的分类算法。
2017-01-31 cs.LG stat.ML
NIAPU: network-informed adaptive positive-unlabeled learning for disease gene identification
Institute for Applied Computing (IAC) “Mauro Picone”, National Research Council of Italy (CNR)(意大利国家研究委员会(CNR)“毛罗·皮科内”应用计算研究所(IAC));Sapienza University of Rome(罗马第一大学)
基因-疾病关联是理解疾病病因和开发有效干预和治疗的基础。由于缺乏研究,识别与疾病无关的基因是一项具有挑战性的任务,其中基于先验知识的优先级是一个重要因素。对新的候选疾病基因的计算搜索可以通过阳性-未标记学习来简化,在机器学习设置中,只有一个子集的实例被标记为阳性,而其余的数据集是未标记的。在这项工作中,我们提出了一套有效的基于网络的功能,用于一种新的马尔可夫扩散为基础的多类标记策略,推定的疾病基因发现。使用三种机器学习算法在十种不同的疾病数据集上测试了新标记算法的性能和所提出特征的有效性。新的功能进行了比较,对经典的拓扑和功能/本体的功能和一组网络和生物衍生的功能已经在基因发现任务。已经发现,综合方法在寻找新的疾病基因方面的预测能力与最先进的算法相比具有竞争力。
2023-01-25 cs.LG
Learning from positive and unlabeled data: a survey
KU Leuven(鲁汶大学)
从正面和未标记的数据中学习或PU学习是学习者只能访问正面示例和未标记数据的设置。假设未标记的数据可以包含正面和负面的例子。这种设置在机器学习文献中引起了越来越多的兴趣,因为这种类型的数据自然出现在诸如医疗诊断和知识库完成之类的应用中。这篇文章提供了一个调查的艺术在PU学习的当前状态。它提出了该领域常见的七个关键研究问题,并概述了该领域如何尝试解决这些问题。
2020-05-18 cs.LG stat.ML
Recovering True Classifier Performance in Positive-Unlabeled Learning
Indiana University(印第安纳大学)
正-无标记学习中的一种常见方法是在标记和无标记数据之间训练分类模型。这种策略实际上是已知的,在温和的条件下,给出一个最佳的分类器,但是,它会导致有偏见的经验估计的分类器的性能。在这项工作中,我们表明,通常使用的性能指标,如接收器操作特征曲线,或在这些数据上获得的精确度-召回率曲线,可以用类先验知识进行校正;即,未标记数据中的正例和反例的比例。我们将结果扩展到一个嘈杂的设置,其中一些被标记为积极的例子实际上是消极的,并表明,校正也需要的知识的比例嘈杂的例子中标记的积极的。使用最先进的算法来估计正类先验和噪声的比例,我们通过实验评估了两种校正方法,并证明了它们对现实数据的有效性。
2017-02-02 cs.LG stat.ML
DEDPUL: Difference-of-Estimated-Densities-based Positive-Unlabeled Learning
National Research University Higher School of Economics(国立研究型大学高等经济学院);JetBrains Research(JetBrains研究院)
正未标记(PU)学习是一种类似于监督二进制分类的情况下,只有阳性样本是干净的,而阴性样本被污染的潜在实例的正类,因此可以被认为是一个未标记的混合物。目标是对未标记样本进行分类,并训练一个无偏PN分类器,该分类器通常需要首先识别阳性和阴性样本的混合比例。最近,无偏风险估计框架在PU学习中取得了最先进的性能。然而,这一方法存在两个主要瓶颈。首先,假设混合比例是确定的,即在域中已知或用其他方法估计。其次,该方法依赖于分类器是一个神经网络。在本文中,我们提出了DEDPUL,这是一种解决PU学习而不存在上述问题的方法。DEDPUL背后的机制是将计算成本低廉的后处理过程应用于任何训练用于区分阳性和未标记数据的分类器的预测。DEDPUL没有假设要识别的比例,而是在对未标记样本进行分类的同时估计它们。实验表明,DEDPUL在比例估计和PU分类方面都优于当前最先进的方法。
2020-06-07 cs.LG stat.ML
MixPUL: Consistency-based Augmentation for Positive and Unlabeled Learning
Nanjing University(南京大学);Paradigm Inc.(第四范式公司)
从正的和未标记的数据中学习(PU学习)在实际应用中很普遍,其中只有几个例子是正标记的。以前的PU学习研究通常依赖于现有的样本,因此没有广泛探索数据分布。在这项工作中,我们提出了一个简单而有效的数据增强方法,创造了~ \algo,基于\emph{consistency regularization},它提供了一个新的角度使用PU数据。特别是,建议的~ \algo ~结合监督和无监督的一致性训练,以生成增强数据。为了促进监督一致性,由于没有负样本,从未标记的数据中挖掘可靠的负样本。在未标记的数据点之间进一步鼓励无监督的一致性。此外,~ \algo ~减少了阳性和未标记对之间的裕度损失,从而显式优化AUC并加快收敛速度。最后,我们进行了一系列的研究,以证明一致性正则化的有效性。我们研究了三种可靠的负面挖掘方法。我们表明,~ \algo ~在CIFAR-10数据集上,在不同的正数据量下,平均分类误差从16.49提高到13.09。
2020-04-20 cs.LG stat.ML
Robust Positive-Unlabeled Learning via Noise Negative Sample Self-correction
East China Normal University(华东师范大学);Microsoft Research(微软研究院);Microsoft 365(微软365)
针对正未标记(PU)学习中伪负样本的标签噪声累积问题,提出一种基于人类学习本质的鲁棒PU学习方法,通过新颖的难度度量和迭代训练策略动态优化负样本选择,有效提升了模型的准确性与稳定性。
2023-08-01 cs.CV cs.LG
Applications of Positive Unlabeled (PU) and Negative Unlabeled (NU) Learning in Cybersecurity
Mississippi State University(密西西比州立大学)
本文针对PU/NU半监督学习在网络安全领域应用不足的问题,梳理了其在入侵检测等多个子领域的应用场景、问题建模与现存挑战,提出未来发展方向,助力新型网络威胁的检测与缓解。
2024-12-09 cs.CR cs.LG
Accessible, Realistic, and Fair Evaluation of Positive-Unlabeled Learning Algorithms
RIKEN(日本理化学研究所);The University of Tokyo(东京大学);University of Maryland(马里兰大学)
本文提出首个PU学习基准,系统比较算法,解决验证集依赖问题,校准标签偏移以实现公平评估。
2026-02-22 cs.LG
ESA: Example Sieve Approach for Multi-Positive and Unlabeled Learning
School of Computer Science and Technology, China University of Mining and Technology(中国矿业大学计算机科学与技术学院);Mine Digitization Engineering Research Center of the Ministry of Education(教育部 mine 数字化工程研究中心);State Key Lab. for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
针对MPU学习中的最小风险偏移问题,提出利用确定损失筛选训练样本的ESA方法,证明其一致性与最优参数收敛率,并在真实数据集上验证优于已有方法。
2024-12-03 cs.LG
Positive-Unlabeled Learning with Adversarial Data Augmentation for Knowledge Graph Completion
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);School of Computer Science, Beihang University(北京航空航天大学计算机学院);University of Notre Dame(圣母大学)
大多数现实世界的知识图谱(KG)远不完整和全面。这个问题促使人们努力预测最合理的缺失事实以完成给定的KG,即,知识图谱补全(KGC)。然而,现有的KGC方法存在两个主要问题,1)假阴性问题,即,采样的否定训练实例可以包括潜在的真实事实;以及2)数据稀疏性问题,即,真实的事实只占所有可能的事实的一小部分。为此,我们为KGC提出了带有对抗性数据增强(PUDA)的正向无标记学习。特别地,PUDA为KGC任务量身定制了正未标记风险估计器以处理假阴性问题。此外,为了解决数据稀疏性问题,PUDA通过在正-未标记极小极大博弈下统一对抗训练和正-未标记学习来实现数据增强策略。在真实世界基准数据集上的大量实验结果证明了该方法的有效性和兼容性。
2022-06-23 cs.AI cs.LG
Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所);Institute of Information Engineering, CAS(中国科学院信息工程研究所)
正-未标记(PU)学习试图从一些有标记的正样本和许多未标记的样本中学习二进制分类器。与普通的半监督学习相比,由于不存在任何已知的负标签,该任务更具挑战性。虽然现有的基于成本敏感的方法已经实现了最先进的性能,但它们显式地最小化了将未标记数据分类为负样本的风险,这可能导致分类器的负预测偏好。为了缓解这个问题,我们在本文中诉诸于PU学习的标签分布视角。注意到当类先验已知时,未标记数据的标签分布是固定的,它可以自然地用作模型的学习监督。受此启发,我们建议追求预测和地面实况标签分布之间的标签分布一致性,这是通过调整他们的期望来制定的。此外,我们进一步采用熵最小化和Mixup正则化,以避免平凡的解决方案的标签分布一致性的未标记的数据,并减轻随之而来的确认偏差。在三个基准数据集上的实验验证了该方法的有效性。https://github.com/Ray-rui/Dist-PU-Positive-Unlabeled-Learning-from-a-Label-Distribution-Perspective
2022-12-06 cs.CV cs.LG
Fairness-aware Model-agnostic Positive and Unlabeled Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
随着机器学习在高风险决策问题中的应用越来越多,对某些社会群体的潜在算法偏见对个人和整个社会造成了负面影响。在现实世界的场景中,许多这样的问题涉及积极的和未标记的数据,如医疗诊断,犯罪风险评估和推荐系统。例如,在医疗诊断中,只有诊断出的疾病才会被记录(阳性),而其他疾病则不会被记录(未标记)。尽管在(半)监督和无监督环境中有大量关于公平性感知机器学习的现有工作,但在上述积极和无标签学习(PUL)背景下,公平性问题在很大程度上没有得到充分探讨,在这种情况下,它通常更严重。在本文中,为了缓解这种紧张局势,我们提出了一个公平意识的PUL方法命名为FairPUL。特别是,对于来自两个群体的个体的二进制分类,我们的目标是在两个群体中实现相似的真阳性率和假阳性率作为我们的公平性度量。在分析PUL最优公平分类器的基础上,我们设计了一个模型无关的后处理框架,同时利用正例和未标记的例子。我们的框架被证明是统计上一致的分类误差和公平性度量。在合成数据集和真实数据集上的实验表明,我们的框架在PUL和公平分类方面都优于最先进的框架。
2022-06-19 cs.CY cs.LG
PUAL: A Classifier on Trifurcate Positive-Unlabeled Data
University College London(伦敦大学学院);University of Glasgow(格拉斯哥大学);Bayes Business School, City, University of London(伦敦城市大学贝叶斯商学院)
针对现有正无标签学习方法在三分数据上性能不佳的问题,提出引入非对称损失的PUAL分类器及基于核的算法,实现非线性决策边界并在模拟与真实数据集上取得满意分类效果。
2024-05-31 cs.LG stat.ML
LoGIC: Budgeted Context Construction for Node-Level Graph In-Context Learning with Tabular Foundation Models
South China University of Technology(华南理工大学);Meta Superintelligence Lab(Meta超级智能实验室)
LoGIC通过预算化上下文构建,利用结构、特征和覆盖通道检索标记节点,在保持性能的同时降低内存需求,实现百万节点图上的冻结图上下文学习。
2026-09-09 cs.LG
Positive-Unlabeled Classification under Class Prior Shift and Asymmetric Error
The University of Tokyo(东京大学);RIKEN(理化学研究所)
正无标记数据的二分类(PU分类)的瓶颈是要求给定的无标记模式是从测试边缘分布中提取的,并且假阳性错误的惩罚与假阴性错误的惩罚相同。然而,这些要求在实践中往往得不到满足。在本文中,我们推广PU分类类先验移位和不对称错误的情况下。通过对贝叶斯最优分类器的分析,证明了在给定测试类先验的情况下,类先验移位下的PU分类等价于非对称误差下的PU分类。然后,我们提出了两个不同的框架来处理这些问题,即,风险最小化框架和密度比估计框架。最后,我们证明了所提出的框架的有效性,并通过使用基准数据集的实验比较两个框架。
2020-11-09 cs.LG stat.ML
Alternate Estimation of a Classifier and the Class-Prior from Positive and Unlabeled Data
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们考虑了一个问题,学习一个二元分类器只从积极的数据和未标记的数据(PU学习)和估计类先验的未标记的数据下的情况下,控制的情况下。最近的PU学习方法大多需要估计未标记数据中的类先验概率,并且使用另一种方法预先估计。然而,这种首先估计类先验然后训练分类器的两步方法可能不是最佳方法,因为在训练分类器时没有考虑类先验的估计误差。在本文中,我们提出了一种新的统一的方法来估计类先验和训练分类器交替。我们提出的方法是简单的实现和计算效率。通过实验,我们证明了所提出的方法的实用性。
2018-09-15 cs.LG stat.ML
Robust and Efficient Imbalanced Positive-Unlabeled Learning with Self-supervision
Ludwig-Maximilians-University Munich(慕尼黑大学)
从阳性和未标记(PU)数据中学习是一种设置,其中学习器只能访问阳性和未标记的样本,而没有关于阴性样本的信息。这样的PU设置在诸如医疗诊断、社会网络分析、金融市场分析和知识库完成的各种任务中非常重要,这些任务也倾向于本质上不平衡,即,大多数例子实际上都是否定的。然而,大多数现有的PU学习方法只考虑人工平衡的数据集,目前还不清楚它们在不平衡和长尾数据分布的现实场景中的表现如何。本文提出通过强大而有效的自我监督预训练来应对这一挑战。然而,当应用于高度不平衡的PU分布时,训练传统的自监督学习方法需要更好的重新制定。在本文中,我们提出了\textit{ImPULSeS},一个统一的表示学习框架\underline{Im}平衡\underline{P}积极\underline{U} nlabeled \underline{L}收益利用\underline{Se} lf- \underline{S}简化debiase预训练。ImPULSeS使用大规模无监督学习与去偏对比损失和额外的重新加权PU损失的通用组合。我们在多个数据集上进行了不同的实验,以表明ImPULSeS能够将之前最先进的错误率减半,即使与之前给定真实先验的方法相比也是如此。此外,我们的方法显示出对先前错误指定的鲁棒性增加,并且即使在不相关的数据集上进行预训练时也具有优异的性能。我们预计这种鲁棒性和效率将使从业者更容易在其他感兴趣的P…
2022-09-06 cs.LG
Class-prior Estimation for Learning from Positive and Unlabeled Data
The University of Tokyo(东京大学)
我们考虑在未标记数据集中估计类先验的问题。在额外的标记数据集可用的假设下,可以通过将类数据分布的混合拟合到未标记数据分布来估计类先验。然而,在实践中,这种额外的标记数据集通常不可用。在本文中,我们表明,与额外的样本只来自积极的类,类先验的未标记的数据集可以正确估计。我们的核心思想是使用适当的惩罚分歧模型拟合,以消除由于缺乏负样本所造成的错误。我们进一步表明,使用惩罚的$L_1$距离给出了一个计算效率高的算法与解析解。从理论上分析了算法的一致性、稳定性和估计误差。最后,我们通过实验证明了该方法的实用性。
2016-11-05 cs.LG stat.ML
Learning from Positive and Unlabeled Data under the Selected At Random Assumption
KU Leuven(鲁汶大学)
对于许多有趣的任务,如医疗诊断和网页分类,学习者只能访问一些正标记的例子和许多未标记的例子。从这种类型的数据中学习需要对类的真实分布和/或用于选择要标记的正面示例的机制做出假设。通常所做的假设,类的可分性和完全随机选择的正面例子,是非常强大的。本文提出了一个较弱的假设,假设积极的例子是随机选择的,条件的一些属性。为了在这种假设下学习,提出了EM方法。实验表明,我们的方法不仅能够在这种假设下学习,而且在完全随机选择的假设下学习的性能也优于现有技术。
2018-08-27 cs.LG stat.ML
Automatic Debiased Learning from Positive, Unlabeled, and Exposure Data
CyberAgent, Inc.(赛博艾坚特公司)
我们解决的问题,从积极的和未标记的数据(PU分类)的选择偏置的积极数据的二进制分类。在观察过程中,(i)样品暴露于用户,(ii)用户然后返回暴露样品的标签,以及(iii)然而,我们只能观察阳性样品。因此,我们观察到的阳性标记是暴露和标记的组合,这为观察到的阳性样本产生了选择偏倚问题。这种情况代表了许多实际应用的概念框架,例如推荐系统,我们称之为“从积极的,未标记的和曝光数据中学习”(PUE分类)。为了解决这个问题,我们首先假设访问带有暴露标签的数据。然后,我们提出了一种方法来识别使用强可扩展性假设的功能,并开发了一个“自动去偏PUE”(ADPUE)的学习方法。该算法直接消除选择偏差,而不需要中间估计,如倾向得分,这是其他学习方法所必需的。通过实验,我们证明了我们的方法优于传统的PU学习方法在各种半合成数据集。
2023-03-08 cs.LG stat.ML
Every Node Counts: Self-Ensembling Graph Convolutional Networks for Semi-Supervised Learning
Huazhong University of Science & Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);JD.COM Silicon Valley Research Center(京东硅谷研究中心)
图卷积网络(GCN)为基于图的半监督任务提供了一种强有力的手段。然而,作为谱图卷积的局部一阶近似,经典的GCN不能充分利用未标记数据,特别是当未标记节点远离标记节点时。为了利用来自未标记节点的信息来促进GCN的训练,我们提出了一个名为Self-Ensembling GCN(SEGCN)的新框架,该框架将GCN与Mean Teacher -半监督学习中的另一个强大模型-结合在一起。SEGCN包含一个学生模型和一个教师模型。作为一名学生,它不仅学会正确地对标记的节点进行分类,而且在更具有挑战性的情况下,如高辍学率和图崩溃,它还试图在未标记的节点上与老师保持一致。作为教师,它会对学生模型权重进行平均,并生成更准确的预测来引导学生。在这种相互促进的过程中,标记和未标记的样本都可以充分利用反向传播的有效梯度训练GCN。在三个文章分类任务,即Citeseer,Cora和Pubmed中,我们验证了所提出的方法在分类精度上与最新技术相匹配。
2018-09-26 cs.AI cs.LG stat.ML