Importance Weighting for Unlabeled-unlabeled Learning under Distribution Shift
NTT, Inc.（日本电信电话株式会社）
针对UU学习在分布偏移下的挑战，提出基于重要性加权的适应方法，利用训练与少量测试UU数据，统一处理PU和噪声标签学习，无需偏移类型假设，实验验证有效。
2026-09-11 cs.AI cs.LG stat.ML
Alternate Estimation of a Classifier and the Class-Prior from Positive and Unlabeled Data
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们考虑了一个问题，学习一个二元分类器只从积极的数据和未标记的数据（PU学习）和估计类先验的未标记的数据下的情况下，控制的情况下。最近的PU学习方法大多需要估计未标记数据中的类先验概率，并且使用另一种方法预先估计。然而，这种首先估计类先验然后训练分类器的两步方法可能不是最佳方法，因为在训练分类器时没有考虑类先验的估计误差。在本文中，我们提出了一种新的统一的方法来估计类先验和训练分类器交替。我们提出的方法是简单的实现和计算效率。通过实验，我们证明了所提出的方法的实用性。
2018-09-15 cs.LG stat.ML
Class-prior Estimation for Learning from Positive and Unlabeled Data
The University of Tokyo（东京大学）
我们考虑在未标记数据集中估计类先验的问题。在额外的标记数据集可用的假设下，可以通过将类数据分布的混合拟合到未标记数据分布来估计类先验。然而，在实践中，这种额外的标记数据集通常不可用。在本文中，我们表明，与额外的样本只来自积极的类，类先验的未标记的数据集可以正确估计。我们的核心思想是使用适当的惩罚分歧模型拟合，以消除由于缺乏负样本所造成的错误。我们进一步表明，使用惩罚的$L_1$距离给出了一个计算效率高的算法与解析解。从理论上分析了算法的一致性、稳定性和估计误差。最后，我们通过实验证明了该方法的实用性。
2016-11-05 cs.LG stat.ML
Split Batch Normalization: Improving Semi-Supervised Learning under Domain Shift
Jagiellonian University（雅盖隆大学）；Nomagic；New York University（纽约大学）
最近的研究表明，在半监督学习中使用未标记的数据并不总是有益的，甚至可能损害泛化，特别是当未标记和标记的示例之间存在类别不匹配时。我们在CIFAR-10和ImageNet数据集上研究了图像分类的这种现象，并应用了许多其他形式的域偏移（例如盐和胡椒噪声）。我们的主要贡献是分裂批量归一化（Split-BN），一种当额外的未标记数据来自移位分布时改善SSL的技术。我们实现它通过使用单独的批量归一化统计未标记的例子。由于其简单性，我们建议将其作为标准实践。最后，我们分析了域转移如何影响SSL训练过程。特别是，我们发现，在训练过程中，在未标记和标记的示例之间，后期层中隐藏激活的统计数据变得明显不同。
2019-04-06 cs.LG stat.ML
Learning from positive and unlabeled examples -Finite size sample bounds
University of Waterloo（多伦多大学）；Vector Institute（向量研究所）
本文研究了PU学习在未知类先验条件下的统计复杂度，不依赖传统简化假设，并证明了正例与未标记样本所需容量的上下界。
2025-07-10 cs.LG
From Local Geometry to Global Pseudo Labeling for Robust Positive Unlabeled Learning under Covariate Shift
U2IS, ENSTA（U2IS，ENSTA）；Institut Polytechnique de Paris（巴黎政治学院）；AMIAD, Pôle Recherche, Palaiseau（AMIAD，研究学院，帕莱索）
提出SPUNA框架，利用局部流形结构逐步发现偏移数据，在协变量偏移下实现正无标记学习，性能达到全监督方法水平。
2026-08-26 cs.CV cs.LG
Test-time Recalibration of Conformal Predictors Under Distribution Shift Based on Unlabeled Examples
Rice University（莱斯大学）；Technical University of Munich（慕尼黑工业大学）
针对分布偏移导致保形预测器校准失效且新分布缺少标签的问题，提出基于无标签示例预测截断阈值的测试时重新校准方法。
2023-06-03 cs.LG stat.ML
Improved Estimation of Class Prior Probabilities through Unlabeled Data
University of California, Davis（加州大学戴维斯分校）
分类文献中的工作表明，在计算分类函数时，不需要知道训练集中所有观测的类成员关系;未标记的观测仍然提供关于特征集的边缘分布的信息，因此可以有助于提高未来观测的分类精度。本文将表明，该计划也可用于类先验概率，这将是非常有用的应用程序中，它是困难或昂贵的，以确定类成员的估计。参数和非参数估计。导出了估计量的渐近分布，并证明了未标记观测值的使用确实减小了渐近方差。这种方法也扩展到估计子类概率。
2015-10-06 cs.LG stat.ML
Estimating the class prior and posterior from noisy positives and unlabeled data
Indiana University（印第安纳大学）
我们开发了一种分类算法，用于估计正未标记数据的后验分布，该算法对正标记中的噪声具有鲁棒性，并且对高维数据有效。近年来，已经提出了几种算法来从正未标记数据中学习;然而，这些贡献中的许多仍然是理论上的，在通常被噪声污染的真实高维数据上表现不佳。我们建立在以前的工作，开发两个实用的分类算法，明确建模的噪声在积极的标签，并利用单变量变换建立在判别分类。我们证明，这些单变量变换保持类前，使估计在单变量空间和避免内核密度估计的高维数据。理论的发展和参数和非参数算法提出了一个重要的一步，广泛使用的积极的未标记数据的强大的分类算法。
2017-01-31 cs.LG stat.ML
TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks
The Chinese University of Hong Kong（香港中文大学）
深度学习（DL）在各种任务中取得了前所未有的成功。然而，DL系统是出了名的难以测试和调试，由于缺乏可解释性的DL模型和巨大的测试输入空间覆盖。一般来说，收集大量的测试数据相对容易，但标记成本可能相当高。因此，有必要进行测试选择，并只标记那些选定的“高质量”的错误揭示测试输入，以降低测试成本。在本文中，我们提出了一种新的测试优先级技术，使顺序到未标记的测试实例，根据他们的错误揭示能力，即TestRank。与现有的解决方案不同，TestRank在对测试实例进行优先级排序时，同时利用了测试实例的内在属性和上下文属性。具体来说，我们首先在测试实例和训练样本上建立相似图，然后进行基于图的半监督学习来提取上下文特征。然后，针对特定的测试实例，将从图神经网络（GNN）中提取的上下文特征和DL模型本身获得的内在特征相结合，预测其漏洞暴露概率。最后，TestRank按照上述概率值的降序排列未标记测试实例的优先级。我们在各种图像分类数据集上评估了TestRank的性能。实验结果表明，我们的方法的调试效率显着优于现有的测试优先级技术。
2021-05-21 cs.LG
Prior shift estimation for positive unlabeled data through the lens of kernel embedding
Polish Academy of Sciences（波兰科学院）；Nicolaus Copernicus University（尼古拉·哥白尼大学）；Warsaw University of Technology（华沙理工大学）
本文研究了在目标无标签样本的先验分布估计问题，假设其可能与源群体不同，并且源数据部分可观察：只有正类样本和整个群体的样本可用（PU学习场景）。提出了一种新的直接估计先验分布的方法，避免了对两个群体后验概率的估计，并具有简单的几何解释。该方法基于分布匹配技术与再生核希尔伯特空间中的核嵌入，并作为优化任务的显式解获得。建立了其渐近一致性以及对其与未知先验偏差的显式非渐近界，该界在实践中可计算。通过合成和实际数据研究有限样本行为，证明该方法在性能上与竞争对手相当或更优。
2026-05-21 cs.LG stat.ML
Non-exchangeable Conformal Prediction with Optimal Transport: Tackling Distribution Shifts with Unlabeled Data
Qualcomm AI Research（高通人工智能研究）
本文利用最优传输理论，提出一种无需先验分布偏移类型信息的方法，以估计并缓解非交换保形预测中的覆盖率损失，实现任意分布偏移下的稳健不确定性量化。
2025-10-24 cs.LG stat.ML
ESA: Example Sieve Approach for Multi-Positive and Unlabeled Learning
School of Computer Science and Technology, China University of Mining and Technology（中国矿业大学计算机科学与技术学院）；Mine Digitization Engineering Research Center of the Ministry of Education（教育部 mine 数字化工程研究中心）；State Key Lab. for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对MPU学习中的最小风险偏移问题，提出利用确定损失筛选训练样本的ESA方法，证明其一致性与最优参数收敛率，并在真实数据集上验证优于已有方法。
2024-12-03 cs.LG
Improving Adversarial Robustness via Unlabeled Out-of-Domain Data
Harvard University（哈佛大学）；Rutgers University（罗格斯大学）；Stanford University（斯坦福大学）
通过合并来自多个域的廉价未标记数据的数据增强是改进预测的强大方法，特别是在标记数据有限的情况下。在这项工作中，我们研究了如何通过利用域外未标记数据来增强对抗鲁棒性。我们证明，广泛的类分布和分类器，标准和强大的分类之间存在着一个样本的复杂性差距。我们通过提供上界和下界来量化通过利用来自移动域的未标记样本可以在多大程度上弥补这一差距。此外，我们展示了当未标记数据来自移位域而不是与标记数据相同的域时，我们实现更好的对抗鲁棒性的设置。我们还研究了如何利用域外数据时，一些结构信息，如稀疏性，标记和未标记的域之间共享。在实验中，我们增加了两个对象识别数据集（CIFAR-10和SVHN），易于获得和未标记的域外数据，并证明了该模型对原始域上的$\ell_\infty$对抗攻击的鲁棒性的实质性改善。
2021-02-21 cs.LG stat.ML
Fairness under Covariate Shift: Improving Fairness-Accuracy tradeoff with few Unlabeled Test Samples
Google Research India（谷歌研究院印度分院）；UCLA（加州大学洛杉矶分校）；Fujitsu Research India（富士通研究院印度分院）
针对协变量偏移下公平性下降问题，利用少量无标签测试样本，提出复合加权熵与表示匹配损失联合优化方法，显著提升公平性-准确性权衡，并验证了非对称协变量偏移场景下的优越性及理论近似效果。
2024-01-08 cs.AI cs.LG
Leveraging Skills from Unlabeled Prior Data for Efficient Online Exploration
University of California, Berkeley（加州大学伯克利分校）
研究提出SUPE方法，通过VAE提取低级技能并用乐观奖励伪标注无标签轨迹，将其作为离策略数据训练高级策略，在42个稀疏奖励任务中显著提升在线探索效率。
2025-07-11 cs.AI cs.LG stat.ML
Information-Theoretic Representation Learning for Positive-Unlabeled Classification
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
弱监督分类的最新进展允许我们仅从正和未标记（PU）数据训练分类器。然而，现有的PU分类方法通常需要准确估计类先验概率，这是一个关键的瓶颈，特别是对于高维数据。这个问题通常通过预先应用主成分分析来解决，但是这种无监督的降维可能会破坏底层的类结构。在本文中，我们提出了一种新的表示学习方法从PU数据的基础上的信息最大化原则。我们的方法不需要类先验估计，因此可以用作PU分类的预处理方法。通过实验，我们证明了我们的方法与深度神经网络相结合，极大地提高了PU类先验估计的准确性，从而实现了最先进的PU分类性能。
2022-06-18 cs.LG stat.ML
Accelerating Exploration with Unlabeled Prior Data
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Meta
本文研究利用无标签先验数据加速稀疏奖励任务的探索，提出通过在线学习奖励模型为无标签数据赋予乐观奖励，并与在线数据并行优化策略，在多个挑战性领域实现快速探索。
2023-11-21 cs.AI cs.LG stat.ML
Understanding Contrastive Representation Learning from Positive Unlabeled (PU) Data
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；OpenAI；Meta
本文针对正无标记数据上的对比表示学习，提出puCL和puNCE两种无偏对比目标，并结合PU感知聚类伪标签算法，在低监督场景下显著优于现有方法。
2025-04-10 cs.AI cs.CV cs.LG
NIAPU: network-informed adaptive positive-unlabeled learning for disease gene identification
Institute for Applied Computing (IAC) “Mauro Picone”, National Research Council of Italy (CNR)（意大利国家研究委员会（CNR）“毛罗·皮科内”应用计算研究所（IAC））；Sapienza University of Rome（罗马第一大学）
基因-疾病关联是理解疾病病因和开发有效干预和治疗的基础。由于缺乏研究，识别与疾病无关的基因是一项具有挑战性的任务，其中基于先验知识的优先级是一个重要因素。对新的候选疾病基因的计算搜索可以通过阳性-未标记学习来简化，在机器学习设置中，只有一个子集的实例被标记为阳性，而其余的数据集是未标记的。在这项工作中，我们提出了一套有效的基于网络的功能，用于一种新的马尔可夫扩散为基础的多类标记策略，推定的疾病基因发现。使用三种机器学习算法在十种不同的疾病数据集上测试了新标记算法的性能和所提出特征的有效性。新的功能进行了比较，对经典的拓扑和功能/本体的功能和一组网络和生物衍生的功能已经在基因发现任务。已经发现，综合方法在寻找新的疾病基因方面的预测能力与最先进的算法相比具有竞争力。
2023-01-25 cs.LG
Generating Relevant Counter-Examples from a Positive Unlabeled Dataset for Image Classification
CNRS（法国国家科学研究中心）；VEDECOM Institute（VEDECOM研究所）；French-German Research Institute of Saint-Louis（法德圣路易斯研究所）
随着可用但未标记数据的激增，积极的未标记（PU）学习正在成为一个蓬勃发展的挑战。这项工作涉及这一艰巨的任务，最近基于GAN的PU方法已经证明了有希望的结果。生成对抗网络（GANs）不受确定性偏差或特定维度需求的阻碍。然而，现有的基于GAN的PU方法也存在一些缺点，例如对先验知识的敏感依赖，繁琐的架构或第一阶段过拟合。为了解决这些问题，我们建议在标准GAN模型损失函数中加入有偏PU风险。以这种方式，约束约束生成器以请求生成器朝向未标记样本分布收敛，同时从正样本分布发散。这使得所提出的模型（称为D-GAN）能够在没有先验知识的情况下专门学习反例分布。实验表明，我们的方法优于国家的最先进的PU方法没有事先克服他们的问题。
2019-10-04 cs.CV cs.LG eess.IV
Recovering True Classifier Performance in Positive-Unlabeled Learning
Indiana University（印第安纳大学）
正-无标记学习中的一种常见方法是在标记和无标记数据之间训练分类模型。这种策略实际上是已知的，在温和的条件下，给出一个最佳的分类器，但是，它会导致有偏见的经验估计的分类器的性能。在这项工作中，我们表明，通常使用的性能指标，如接收器操作特征曲线，或在这些数据上获得的精确度-召回率曲线，可以用类先验知识进行校正;即，未标记数据中的正例和反例的比例。我们将结果扩展到一个嘈杂的设置，其中一些被标记为积极的例子实际上是消极的，并表明，校正也需要的知识的比例嘈杂的例子中标记的积极的。使用最先进的算法来估计正类先验和噪声的比例，我们通过实验评估了两种校正方法，并证明了它们对现实数据的有效性。
2017-02-02 cs.LG stat.ML
Rethinking Class-Prior Estimation for Positive-Unlabeled Learning
The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；RIKEN AIP（理化学研究所先进智能项目中心）；The University of Tokyo（东京大学）；JD Explore Academy（京东探索研究院）
PU学习只给正（P）和未标记（U）数据，可以训练一个二元分类器，而不需要任何负数据。它有两个构建块：PU类先验估计（CPE）和PU分类，后者已经得到了很好的研究，而前者受到的关注较少。然而，分布假设自由CPE方法依赖于一个关键假设，即正数据分布的支持不能包含在负数据分布的支持中。如果违反这一点，这些CPE方法将系统地高估类先验;更糟糕的是，我们无法验证基于数据的假设。在本文中，我们重新思考CPE的PU学习-我们可以删除的假设，使CPE总是有效的？我们通过提出重组CPE（ReCPE）来给出肯定的答案，该CPE构建了一个辅助概率分布，使得正数据分布的支持永远不包含在负数据分布的支持中。ReCPE可以与任何CPE方法一起工作，将其视为基本方法。从理论上讲，如果假设已经对原始概率分布成立，ReCPE不会影响其基础;否则，它会减少其基础的正偏差。从经验上讲，ReCPE改进了各种数据集上的所有最先进的CPE方法，这意味着这里确实违反了假设。
2022-06-03 cs.LG stat.ML
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
Multi-class Classification from Multiple Unlabeled Datasets with Partial Risk Regularization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，监督式深度学习取得了巨大成功，其中预测模型是从大量完全标记的数据中训练出来的。然而，在实践中，标记这些大数据可能非常昂贵，甚至可能出于隐私原因而无法实现。因此，在本文中，我们的目标是学习一个准确的分类器，而无需任何类别标签。更具体地说，我们考虑的情况下，多组未标记的数据和只有他们的类先验，即，每一类的比例，都有。在这个问题的设置下，我们首先推导出一个无偏估计的分类风险，可以估计从给定的未标记集和理论分析的泛化误差的学习分类。然后，我们发现，这样获得的分类器往往会导致过度拟合，因为它的经验风险在训练过程中变为负值。为了防止过拟合，我们进一步提出了一种部分风险正则化，它将未标记数据集和类的部分风险保持在一定水平。实验表明，我们的方法有效地减轻了过拟合，并优于最先进的方法，从多个未标记的集合学习。
2022-10-15 cs.LG
Optimally Combining Classifiers Using Unlabeled Data
University of California San Diego（加州大学圣迭戈分校）
我们开发了一个最坏的情况下分析的分类器集成的二进制分类的聚合。预测以最小化误差的任务被公式化为在给定的未标记数据集（转导设置）上进行的游戏，其中先前的标记信息被编码为对游戏的约束。这个博弈的最小最大解确定了分类器的加权组合可以比任何单个分类器表现得更好的情况。
2015-06-18 cs.LG stat.ML
Semi-Supervised Hypothesis Testing by Betting on Predictions
Department of Computer Science, Technion – Israel Institute of Technology（计算机科学系，技术Ion – 以色列理工学院）；Department of Electrical and Computer Engineering, Technion – Israel Institute of Technology（电气与计算机工程系，技术Ion – 以色列理工学院）
提出一种基于预测投注的框架，利用无标签数据增强序贯假设检验的效力，通过引入e统计量实现任意有效的检验，并在标签偏移或概念偏移下保持有效性。
2026-05-27 cs.LG
Re-Evaluating the Impact of Unseen-Class Unlabeled Data on Semi-Supervised Learning Model
Westlake University（西湖大学）；Shandong University（山东大学）；Nanjing University（南京大学）
本文指出以往评估无标签数据中未见类对SSL模型影响的方法违背了控制变量原则，通过严格保持已见类比例并沿五个维度改变未见类进行实验，发现未见类不一定会损害模型性能，特定条件下甚至能增强性能。
2025-03-02 cs.LG
Leveraging Unlabeled Data to Predict Out-of-Distribution Performance
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
现实世界的机器学习部署的特点是源（训练）和目标（测试）分布之间的不匹配，这可能导致性能下降。在这项工作中，我们研究的方法，预测目标域的准确性，只使用标记的源数据和未标记的目标数据。我们提出了平均保留置信度（ATC），这是一种实用的方法，它可以学习模型置信度的阈值，预测精度为模型置信度超过该阈值的未标记示例的比例。ATC在几种模型架构、分布偏移类型（例如，由于合成腐败，数据集复制或新的亚群）和数据集（Wilds，ImageNet，Breeds，CIFAR和MNIST）。在我们的实验中，ATC估计目标性能$2$ - $4\times$比以前的方法更准确。我们还探讨了这个问题的理论基础，证明，在一般情况下，识别的准确性是一样困难的识别最佳预测，因此，任何方法的有效性取决于（也许未说明）的性质的转变的假设。最后，分析我们的方法在一些玩具分布，我们提供了有关它的工作时的见解。代码可在https://github.com/saurabhgarg1996/ATC_code/上获得。
2022-10-15 cs.LG stat.ML
Robust and Efficient Imbalanced Positive-Unlabeled Learning with Self-supervision
Ludwig-Maximilians-University Munich（慕尼黑大学）
从阳性和未标记（PU）数据中学习是一种设置，其中学习器只能访问阳性和未标记的样本，而没有关于阴性样本的信息。这样的PU设置在诸如医疗诊断、社会网络分析、金融市场分析和知识库完成的各种任务中非常重要，这些任务也倾向于本质上不平衡，即，大多数例子实际上都是否定的。然而，大多数现有的PU学习方法只考虑人工平衡的数据集，目前还不清楚它们在不平衡和长尾数据分布的现实场景中的表现如何。本文提出通过强大而有效的自我监督预训练来应对这一挑战。然而，当应用于高度不平衡的PU分布时，训练传统的自监督学习方法需要更好的重新制定。在本文中，我们提出了\textit{ImPULSeS}，一个统一的表示学习框架\underline{Im}平衡\underline{P}积极\underline{U} nlabeled \underline{L}收益利用\underline{Se} lf- \underline{S}简化debiase预训练。ImPULSeS使用大规模无监督学习与去偏对比损失和额外的重新加权PU损失的通用组合。我们在多个数据集上进行了不同的实验，以表明ImPULSeS能够将之前最先进的错误率减半，即使与之前给定真实先验的方法相比也是如此。此外，我们的方法显示出对先前错误指定的鲁棒性增加，并且即使在不相关的数据集上进行预训练时也具有优异的性能。我们预计这种鲁棒性和效率将使从业者更容易在其他感兴趣的P…
2022-09-06 cs.LG
SLaM: Student-Label Mixing for Distillation with Unlabeled Examples
UW-Madison（威斯康星大学麦迪逊分校）；Google Research（谷歌研究院）
针对无标签知识蒸馏中教师伪标签噪声损害学生模型性能的问题，提出SLaM学生标签混合方法，在多基准上实现性能提升，且具备理论保障，还改进了半空间学习样本复杂度并首次给出前向损失调整方法的收敛分析。
2023-06-08 cs.LG
Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients
The University of Tokyo（东京大学）；The Chinese University of Hong Kong（香港中文大学）；The University of British Columbia（不列颠哥伦比亚大学）；RIKEN（理化学研究所）
监督式联邦学习（FL）使多个客户端能够共享训练模型，而无需共享其标记数据。然而，潜在客户甚至可能不愿意标记自己的数据，这可能限制FL在实践中的适用性。在本文中，我们展示了无监督FL的可能性，其模型仍然是用于预测类标签的分类器，如果类先验概率被转移，而类条件分布在客户端拥有的未标记数据之间共享。我们提出了联邦无监督学习（FedUL），其中未标记的数据被转换为代理标记的数据为每个客户端，一个修改后的模型是由监督FL训练，和想要的模型是从修改后的模型恢复。FedUL是无监督FL的一种非常通用的解决方案：它与许多监督FL方法兼容，并且理论上可以保证恢复所需的模型，就像数据已经被标记一样。在基准数据集和真实数据集上的实验证明了FedUL的有效性。代码可在https://github.com/lunanbit/FedUL上获得。
2022-05-11 cs.LG
Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos
OpenAI（OpenAI（开放人工智能研究中心））；University of British Columbia（不列颠哥伦比亚大学）
在嘈杂的互联网规模的数据集上进行预训练已经被大量研究，作为一种训练模型的技术，该模型具有广泛的文本，图像和其他形式的一般能力。然而，对于许多顺序决策领域，如机器人，视频游戏和计算机使用，公开可用的数据不包含以相同的方式训练行为先验所需的标签。我们通过半监督模仿学习将互联网规模的预训练范式扩展到顺序决策域，其中代理通过观看在线未标记的视频来学习采取行动。具体来说，我们表明，使用少量的标记数据，我们可以训练一个逆动力学模型，该模型足够准确，可以标记大量未标记的在线数据源-这里，人们玩Minecraft的在线视频-然后我们可以训练一般行为先验。尽管使用本机人机界面（鼠标和键盘在20赫兹），我们表明，这种行为先验具有非平凡的zero-shot能力，它可以微调，与模仿学习和强化学习，硬探索任务，是不可能从头开始学习通过强化学习。对于许多任务，我们的模型表现出人类水平的性能，我们是第一个报告可以制作金刚石工具的计算机代理，这可能需要熟练的人类超过20分钟（24，000个环境动作）的游戏才能完成。
2022-06-23 cs.AI cs.LG
Prior-Free Continual Learning with Unlabeled Data in the Wild
Shandong Artificial Intelligence Institute, Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院）山东人工智能研究院）；Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
提出无先验持续学习（PFCL）方法，利用辅助无标签数据和可靠样本选择策略，在无任务标识和旧数据条件下，有效缓解遗忘，达到与重放方法相当的准确率。
2023-10-16 cs.CV cs.LG
Positive Unlabeled Contrastive Learning
UT Austin（德克萨斯大学奥斯汀分校）；Amazon（亚马逊公司）；Meta；McGill University（麦吉尔大学）；Google（谷歌公司）
本文提出正无标记对比学习方法，通过扩展 infoNCE 损失和 PU 专用聚类伪标签，在无需类别先验的情况下显著提升了多个 PU 基准上的分类性能。
2024-03-28 cs.AI cs.LG
Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised Pre-Training
语音表征的自监督学习一直是一个非常活跃的研究领域，但大多数工作都集中在一个单一的领域，如阅读有声读物，其中存在大量的标记和未标记的数据。在本文中，我们探索更一般的设置，其中预训练数据的未标记数据的域不同于用于微调的标记数据的域，这反过来又可能不同于测试数据域。我们的实验表明，在预训练期间使用目标域数据可以在各种设置中大幅提高性能。在一个大规模的竞争环境中，我们发现，对未标记的域内数据进行预训练，可以将域内和域外标记数据训练的模型之间的差距缩小66%-73%。这具有明显的实际意义，因为获得未标记的目标域数据比获得标记的数据容易得多。此外，我们发现，在多个域上进行预训练可以提高在训练过程中看不到的域上的泛化性能。代码和模型将在https://github.com/pytorch/fairseq上提供。
2021-09-08 cs.CL cs.LG cs.SD
Pitfalls of Unlabeled Disagreement-Based Drift Detection in Streaming Tree Ensembles
GECAD, ISEP, Polytechnic of Porto（GECAD，ISEP，波尔图理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究探讨了在高速数据流中使用未标记数据进行漂移检测的挑战，发现基于不一致的不确定性方法在集成增量决策树中表现欠佳，归因于IDTs的固有刚性。
2026-05-12 cs.LG
Offline Reinforcement Learning with Domain-Unlabeled Data
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
针对离线强化学习中多领域未标记数据利用问题，提出正未标记学习框架PUORL，通过训练领域分类器提取目标领域样本以增强稀缺数据，在仅1-3%标记率下仍能实现高效多领域数据利用。
2025-03-01 cs.LG
Diversity-Based Generalization for Unsupervised Text Classification under Domain Shift
George Mason University（乔治梅森大学）
领域自适应方法寻求从源域学习并将其推广到看不见的目标域。目前，用于主观文本分类问题的最先进的无监督领域自适应方法利用未标记的目标数据以及标记的源数据。在本文中，我们基于简单但有效的基于多样性的泛化思想，提出了一种用于单任务文本分类问题的领域自适应的新方法，该方法不需要未标记的目标数据，但仍然与最先进的技术相匹配。性能。多样性通过迫使模型不依赖于相同的特征进行预测，起到促进模型更好地泛化和不加选择地进行域转移的作用。我们将这一概念应用于神经网络中最容易解释的组件--注意层。为了产生足够的多样性，我们创建了一个多头注意力模型，并在注意力头之间注入多样性约束，使得每个头将以不同的方式学习。我们进一步扩展我们的模型，通过三训练和设计一个程序，在三训练分类器的注意力头之间有一个额外的多样性约束。使用亚马逊评论的标准基准数据集和新构建的危机事件数据集进行的广泛评估表明，我们的完全无监督方法与使用未标记目标数据的竞争基线相匹配。我们的研究结果表明，确保足够多样性的机器学习架构可以更好地推广;鼓励未来的研究设计无处不在的可用学习模型，而不使用未标记的目标数据。
2020-10-20 cs.CL cs.LG stat.ML
A Prototype-Oriented Clustering for Domain Shift with Source Privacy
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft（微软）
域转移下的无监督聚类（UCDS）研究如何从多个源域的大量未标记数据中转移知识，以学习目标域中未标记数据的表示。在本文中，我们引入面向原型的聚类与蒸馏（PCD），不仅提高了现有的UCDS方法的性能和适用性，而且还解决了保护源域的数据和模型的隐私的问题。PCD首先通过对齐原型和数据的分布来构建源聚类模型。然后通过源模型提供的聚类标签将知识提取到目标模型，同时对目标数据进行聚类。最后，它在目标领域数据上精化目标模型，而不需要源模型的指导。在多个基准测试的实验表明，我们的源私有聚类方法的有效性和通用性。
2023-02-09 cs.CR cs.LG
Fairness Under Group-Conditional Prior Probability Shift: Invariance, Drift, and Target-Aware Post-Processing
Amir Asiaee（阿米尔·阿西耶）；Kaveh Aryan（凯夫·阿里扬）
本文研究了组条件先验概率偏移下的公平性问题，证明了基于误差率的公平性标准具有不变性，而基于接受率的标准可能漂移，并提出TAP-GPPS算法实现目标域公平性。
2026-02-05 cs.LG
Federated Source-free Domain Adaptation for Classification: Weighted Cluster Aggregation for Unlabeled Data
NEC Corporation（日本电装公司）；Kyoto University（京都大学）
针对联邦学习中无标签目标域数据且无法访问源数据的分类任务，提出FedWCA方法，通过客户端聚类、加权聚合及伪标签本地适应，有效缓解域偏移并保护隐私，实验验证其优越性。
2024-12-18 cs.LG
GenSDF: Two-Stage Learning of Generalizable Signed Distance Functions
Princeton University（普林斯顿大学）
我们研究了神经符号距离函数（SDF）的泛化能力，用于学习看不见的和未标记的点云的3D对象表示。现有的方法可以将SDF适合少数对象类，并拥有精细的细节或快速的推理速度，但不能很好地推广到看不见的形状。我们引入了一个两阶段的半监督元学习方法，将形状先验从标记数据转移到未标记数据，以重建看不见的对象类别。第一阶段使用情景训练方案来模拟对未标记数据的训练，并元学习初始形状先验。第二阶段，然后在半监督方案中引入具有不相交类的未标记数据，以使这些先验知识多样化并实现泛化。我们评估我们的方法上的合成数据和真正收集的点云。实验结果和分析验证了我们的方法优于现有的神经SDF方法，能够对100多个不可见类进行鲁棒的zero-shot推理。代码可以在www.example.com上找到。
2022-10-05 cs.CV cs.GR cs.LG
Unraveling the Impact of Heterophilic Structures on Graph Positive-Unlabeled Learning
The University of Sydney（悉尼大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Hong Kong Baptist University（香港浸会大学）；University of New South Wales（新南威尔士大学）；Sydney AI Center（悉尼人工智能中心）
本文揭示图数据边异配性对正未标签学习的负面影响，提出基于双层优化的GPL方法，通过内循环降低异配性、外循环学习分类器，显著优于基线方法。
2024-06-01 cs.LG cs.SI
CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances
KAIST（韩国科学技术院）
新颖性检测，即，识别给定的样本是否是从训练分布之外抽取的对于可靠的机器学习是必不可少的。为此，已经有许多尝试来学习非常适合于新颖性检测的表示并基于这种表示来设计分数。在本文中，我们提出了一个简单的，但有效的方法命名为对比移动的实例（CSI），最近的成功对比学习的视觉表示的启发。具体来说，除了将给定样本与传统对比学习方法中的其他实例进行对比之外，我们的训练方案还将样本与其自身的分布移位增强进行对比。在此基础上，我们提出了一个特定于拟议训练方案的新检测分数。我们的实验证明了我们的方法在各种新奇检测场景下的优越性，包括未标记的单类，未标记的多类和标记的多类设置，以及各种图像基准数据集。代码和预训练模型可在https://github.com/alinlab/CSI上获得。
2020-10-21 cs.LG stat.ML
Not All Unlabeled Data are Equal: Learning to Weight Data in Semi-supervised Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
现有的半监督学习（SSL）算法使用单个权重来平衡标记和未标记示例的损失，即，所有未标记的示例被相等地加权。但并非所有未标记的数据都是平等的。在本文中，我们研究如何使用不同的权重为每个未标记的例子。所有这些权重的手动调整--就像以前的工作一样--不再可能。相反，我们通过一种基于影响函数的算法来调整这些权重，影响函数是模型对一个训练样本的依赖性的度量。为了使该方法有效，我们提出了一种快速有效的近似的影响函数。我们证明了这种技术在半监督图像和语言分类任务上优于最先进的方法。
2020-10-29 cs.CV cs.LG stat.ML
Accessible, Realistic, and Fair Evaluation of Positive-Unlabeled Learning Algorithms
RIKEN（日本理化学研究所）；The University of Tokyo（东京大学）；University of Maryland（马里兰大学）
本文提出首个PU学习基准，系统比较算法，解决验证集依赖问题，校准标签偏移以实现公平评估。
2026-02-22 cs.LG
Mitigating Overfitting in Supervised Classification from Two Unlabeled Datasets: A Consistent Risk Correction Approach
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
最近提出的未标记-未标记（UU）分类方法允许我们训练一个二元分类器，只有从两个未标记的数据集与不同的类先验。由于该方法基于经验风险最小化，因此它的工作原理就像是一种监督分类方法，与任何模型和优化器兼容。然而，这种方法有时会遭受严重的过拟合，我们希望在本文中防止。我们在应用原始UU方法时的经验发现是，过度拟合经常与经验风险为负同时发生，这是不合理的。因此，我们建议通过某些修正函数来包装导致负经验风险的项。然后，我们证明了校正后的风险估计的一致性，并得到了校正后的风险最小化的估计误差界。实验表明，我们的建议可以成功地减轻UU方法的过拟合，并显着提高分类精度。
2020-03-31 cs.LG stat.ML
Document Set Expansion with Positive-Unlabeled Learning: A Density Estimation-based Approach
University of Sheffield（谢菲尔德大学）
针对文档集扩展中PU学习面临的未知类别先验、数据不平衡及直推式设置限制，提出基于密度估计的puDE框架，无需SCAR假设或先验知识，并在真实数据集上验证其更优效果。
2024-01-20 cs.IR cs.LG
Distribution Consistency based Self-Training for Graph Neural Networks with Sparse Labels
The Pennsylvania State University（宾夕法尼亚州立大学）
针对少样本节点分类中训练与测试节点的分布偏移问题，提出DC-GST自训练框架，通过可微优化选择兼具信息量与分布补偿作用的伪标签节点，并引入分布偏移感知边预测器增强图，在四个基准上持续优于现有方法。
2024-01-18 cs.AI cs.LG
ASAP: Unsupervised Post-training with Label Distribution Shift Adaptive Learning Rate
Soongsil University（顺斯大学）
本文提出ASAP方法，通过计算当前与先前无标签输出的余弦距离动态调整学习率，在无需标签和历史输入的情况下实现快速轻量的无监督模型适应，并在多个数据集上验证了其准确率和效率的提升。
2025-08-19 cs.LG
K-GBS3FCM -- KNN Graph-Based Safe Semi-Supervised Fuzzy C-Means
Federal University of Uberlândia（Uberlândia联邦大学）；Computer Science Faculty（计算机学院）
本文提出K-GBS3FCM算法，利用KNN图动态评估标注与未标注数据的邻域关系，并通过正则化参数和平均安全度调节标注数据影响，在多数基准测试中显著提升了安全半监督聚类精度。
2024-11-22 cs.LG
No Data Is Not No Risk: Visibility Aware Graph-Based Inference of Business Conduct Risk
RepRisk AG（睿略公司）；The University of Tokyo（东京大学）；The Canon Institute for Global Studies（佳能全球研究所）
该研究针对业务行为风险监测的数据可见性偏差问题，提出可见性与关系感知的GCNII框架，通过企业所有权图的正-未标记节点分类，提升了对低可见性企业未来行为相关事件的预测排序性能。
2026-07-30 cs.LG q-fin.RM
Extreme Consistency: Overcoming Annotation Scarcity and Domain Shifts
VoxelCloud Inc.（体云公司）
监督学习已被证明是有效的医学图像分析。然而，它只能利用数据的一小部分标记;它无法利用医学图像数据集中通常可用的大量未标记数据。当标记的数据集尽管足够大，但无法覆盖不同的协议或种族时，监督模型会受到域转移的进一步阻碍。在本文中，我们介绍了\emph{extreme consistency}，它克服了上述限制，最大限度地利用未标记的数据，从相同或不同的领域，在师生半监督的范例。极端一致性是将给定图像的极端变换发送到学生网络，然后将其预测约束为与教师网络对未变换图像的预测一致的过程。我们的一致性损失的极端性质区分我们的方法从相关的作品，只行使温和的预测一致性产生次优性能。我们的方法是1）自动教学的，因为它不需要额外的专家注释; 2）通用的，因为它处理域转移和有限的注释问题; 3）通用的，因为它很容易适用于分类，分割和检测任务; 4）简单的实现，因为它不需要对抗性训练。我们评估我们的方法在皮肤和眼底图像的病变和视网膜血管分割的任务。我们的实验表明，现代监督网络和最近的半监督模型的显着性能增益。这种性能归因于极端一致性所强制的强正则化，这使得学生网络能够学习如何处理标记和未标记图像的极端变体。这增强了网络在推理过程中处理不可避免的相同和跨域数据变化的能力。
2020-04-15 cs.CV cs.LG
