Label-Based Diversity Measure Among Hidden Units of Deep Neural Networks: A Regularization Method
Tianjin University（天津大学）；The Open University（开放大学）
虽然深层结构保证了深度网络（DNN）强大的表达能力，但它也引发了严重的过拟合问题。为了提高DNN的泛化能力，人们开发了许多策略来提高隐藏单元之间的多样性。然而，大多数这些策略是经验和启发式的，在缺乏多样性度量的理论推导或从多样性到泛化能力的明确联系的情况下。在本文中，从信息论的角度来看，我们引入了一个新的定义冗余描述的多样性隐藏单元下监督学习设置形式化的推广能力的互信息的隐藏层的影响。我们证明了定义的冗余和泛化能力之间存在相反的关系，即，冗余的减少通常提高了泛化能力。实验结果表明，采用冗余度作为正则化算子的DNN能有效地减少过拟合，降低泛化误差，很好地支持了上述观点。
2021-04-03 cs.AI cs.LG physics.app-ph
Assessing Generalization of SGD via Disagreement
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们的经验表明，深度网络的测试误差可以通过简单地在相同的训练集上训练相同的架构，但使用不同的随机梯度下降（SGD）运行，并在未标记的测试数据上测量两个网络之间的不一致率来估计。这建立在-并且是一个更强大的版本-在Nakkiran & Bansal '20中的观察，这需要第二次运行在一个全新的训练集上。我们进一步从理论上证明了这种奇特的现象源于SGD训练模型的\emph{ensembles}的\emph{well-calibrated}性质。这一发现不仅提供了一个简单的经验措施，直接预测的测试误差使用未标记的测试数据，但也建立了一个新的概念之间的联系推广和校准。
2022-05-15 cs.AI cs.LG stat.ML
Multi-class Classification from Multiple Unlabeled Datasets with Partial Risk Regularization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，监督式深度学习取得了巨大成功，其中预测模型是从大量完全标记的数据中训练出来的。然而，在实践中，标记这些大数据可能非常昂贵，甚至可能出于隐私原因而无法实现。因此，在本文中，我们的目标是学习一个准确的分类器，而无需任何类别标签。更具体地说，我们考虑的情况下，多组未标记的数据和只有他们的类先验，即，每一类的比例，都有。在这个问题的设置下，我们首先推导出一个无偏估计的分类风险，可以估计从给定的未标记集和理论分析的泛化误差的学习分类。然后，我们发现，这样获得的分类器往往会导致过度拟合，因为它的经验风险在训练过程中变为负值。为了防止过拟合，我们进一步提出了一种部分风险正则化，它将未标记数据集和类的部分风险保持在一定水平。实验表明，我们的方法有效地减轻了过拟合，并优于最先进的方法，从多个未标记的集合学习。
2022-10-15 cs.LG
Why the pseudo label based semi-supervised learning algorithm is effective?
Peking University（北京大学）；Moqi Technology（墨奇科技）
近年来，基于伪标签的半监督学习在许多领域取得了巨大的成功。基于伪标签的半监督学习算法的核心思想是使用在标记数据上训练的模型来生成未标记数据上的伪标签，然后训练模型来拟合先前生成的伪标签。本文从理论上分析了基于伪标签的半监督学习的有效性。我们主要比较了在两种设置下训练的模型的泛化误差：（1）有N个标记数据。(2)有N个未标记的数据和一个合适的初始模型。分析表明，当未标记数据量趋于无穷大时，基于伪标记的半监督学习算法可以得到与标记数据量趋于无穷大时正常训练得到的模型具有相同泛化误差上界的模型。更重要的是，我们证明了当未标记数据量足够大时，基于伪标记的半监督学习算法得到的模型泛化误差上界能够以线性收敛速度收敛到最优上界。我们还给出了采样复杂度的下界，以达到线性收敛速度。我们的分析有助于理解基于伪标签的半监督学习的经验成功。
2023-01-25 cs.AI cs.LG
Gradient Descent in RKHS with Importance Labeling
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）；The University of Tokyo（东京大学）；RIKEN AIP（日本理化学研究所先进智能项目中心）
标记成本通常是昂贵的，并且是监督学习的基本限制。本文研究了重要性标注问题，即给定多个未标注数据，从这些未标注数据中选择有限个待标注数据，然后对所选择的数据执行学习算法。我们提出了一种新的重要性标记计划，可以有效地选择一个信息子集的未标记的数据在最小二乘回归再生核希尔伯特空间（RKHS）。我们分析了梯度下降结合我们的标签计划的泛化误差，并表明，该算法实现了最佳的收敛速度在更广泛的设置，特别是在一个小的标签噪声设置比通常的均匀采样计划提供了更好的泛化能力。数值实验验证了我们的理论结果。
2021-04-12 cs.LG stat.ML
Comparing the Value of Labeled and Unlabeled Data in Method-of-Moments Latent Variable Estimation
Stanford University（斯坦福大学）
为现代机器学习标记数据既昂贵又耗时。潜变量模型可以用于从对未标记数据进行操作的较弱的、更容易获取的源推断标签。这样的模型也可以使用标记数据进行训练，这就提出了一个关键问题：用户应该投资于少数标记点还是许多未标记点？我们回答这个问题，通过一个框架，集中在模型误指定的方法的矩潜变量估计。我们的核心结果是一个偏置方差分解的泛化误差，这表明，unlabeled-only的方法会引起额外的偏差下误指定。然后，我们引入了一个修正，证明在某些情况下消除这种偏见。我们将我们的分解框架应用于三种场景--明确指定的、错误指定的和正确的模型--以1）在标记数据和未标记数据之间进行选择，2）从它们的组合中学习。我们从理论上和合成实验中观察到，对于指定的模型，标记点比未标记点更有价值。然而，对于错误指定，由于额外的偏差，它们的相对值更高，但可以通过校正来降低。我们还应用我们的方法来研究现实世界中的弱监督技术的数据集建设。
2021-03-03 cs.LG stat.ML
Cost-Sensitive Unbiased Risk Estimation for Multi-Class Positive-Unlabeled Learning
Engineering Research Center of the Ministry of Education for Intelligent Control System and Intelligent Equipment, Yanshan University, Qinhuangdao, China（教育部智能控制与智能装备工程研究中心，燕山大学，秦皇岛，中国）
针对多类正例-无标签学习中现有方法缺乏无偏风险估计的问题，提出基于自适应损失加权的代价敏感方法，实现无偏风险估计，在8个公开数据集上准确率与稳定性均优于强基线。
2025-10-29 cs.AI cs.LG
Multi-Task Learning with Labeled and Unlabeled Tasks
IST Austria (Institute of Science and Technology Austria)（奥地利科学技术研究所）
在多任务学习中，学习者被赋予一组预测任务，并需要解决所有这些任务。与以前的工作相比，它需要注释的训练数据可用于所有任务，我们考虑了一个新的设置，其中对于某些任务，可能是大多数任务，只提供未标记的训练数据。因此，要解决所有的任务，必须在有标签的任务和没有标签的任务之间传递信息。专注于基于实例的传输方法，我们分析了这种设置的两个变体：当一组标记的任务是固定的，当它可以被学习者主动选择。我们的状态和证明一个泛化界，涵盖了这两种情况下，并从中得出一个算法，使标签的任务（在活动的情况下）的选择和任务之间的信息传输的原则。通过对合成数据和真实数据的实验，验证了算法的有效性.
2017-06-08 cs.LG stat.ML
How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance
Rensselaer Polytechnic Institute（伦斯勒理工学院）；New Jersey Institute of Technology（新泽西理工学院）；Michigan State University（密歇根州立大学）；IBM Research（IBM研究院）
本研究通过高斯混合模型理论分析单隐层神经网络在群体不平衡下的泛化，首次给出ERM的群体层面泛化界，发现中等协方差和近零均值时性能最优，且增加少数群体比例不一定改善其泛化。
2024-03-19 cs.LG stat.ML
A Robust AUC Maximization Framework with Simultaneous Outlier Detection and Feature Selection for Positive-Unlabeled Classification
University of Rochester（罗切斯特大学）；Baylor College of Medicine（贝勒医学院）；University of Texas Health Science Center at Houston（休斯顿德克萨斯大学健康科学中心）；University of Washington（华盛顿大学）
阳性-未标记（PU）分类是现实世界应用中的常见场景，例如医疗保健，文本分类和生物信息学，其中我们只观察到少数标记为“阳性”的样本以及大量可能包含阳性和阴性样本的“未标记”样本。针对PU问题构建鲁棒的分类器是非常具有挑战性的，特别是对于负样本压倒和错误标记样本或损坏特征存在的复杂数据。为了解决这三个问题，我们提出了一个强大的学习框架，统一AUC最大化（一个强大的指标，有偏见的标签），离群值检测（排除错误的标签），和特征选择（排除损坏的功能）。为所提出的模型提供了泛化误差界，该模型对该方法的理论性能提供了有价值的见解，并导致有用的实践指导，例如，为了训练模型，我们发现，只要样本大小与训练过程中的正样本数量相当，所包括的未标记样本就足够了。实证比较和手术部位感染（SSI）和EEG癫痫发作检测的两个现实世界的应用程序也进行了显示所提出的模型的有效性。
2018-03-18 cs.LG stat.ML
High-Dimensional Bayesian Optimization via Semi-Supervised Learning with Optimized Unlabeled Data Sampling
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
提出 TSBO 半监督贝叶斯优化框架，通过师生模型、优化无标签采样和不确定性反馈提升 GP 代理泛化能力，并在低标注预算下显著改善样本效率。
2024-02-03 cs.AI cs.LG
Generalization performance of narrow one-hidden layer networks in the teacher-student setting
Alma Mater Studiorum – Università di Bologna (Unibo)（博洛尼亚大学）；International School of Advanced Studies (SISSA)（国际先进研究学校）；The Abdus Salam International Centre for Theoretical Physics（阿布杜勒·萨拉姆国际理论物理中心）；Department of Mathematics, University of Bologna（博洛尼亚大学数学系）；Donders Institute for Brain, Cognition and Behaviour（大脑、认知与行为研究所）；Radboud University（拉德堡德大学）；John A. Paulson School of Engineering and Applied Sciences（约翰·A·波尔森工程与应用科学学院）
研究窄单隐藏层网络在教师-学生设置中的泛化性能，通过统计物理方法推导出泛化误差的闭式表达式，揭示了隐藏神经元在样本足够多时与教师特征对齐的相变现象。
2026-03-25 cond-mat.dis-nn cs.LG math.PR
Explaining generalization in deep learning: progress and fundamental limits
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
本论文研究了深度学习理论中的一个基本的开放性挑战：为什么深度网络即使在过参数化、非正则化和将训练数据拟合为零误差的情况下也能很好地泛化？在论文的第一部分，我们将实证研究通过随机梯度下降训练深度网络如何隐式地控制网络的容量。随后，为了说明这如何导致更好的泛化，我们将推导出{ \em数据相关} { \em基于一致收敛的}泛化边界，并改进对参数计数的依赖性。一致收敛实际上是深度学习文献中使用最广泛的工具，这要归功于它的简单性和通用性。鉴于它的流行，在这篇论文中，我们也将后退一步，以确定一致收敛的基本限制，作为解释推广的工具。特别是，我们将证明，在某些示例过参数化设置，{ \em any}一致收敛界将提供一个空洞的推广界。考虑到这一点，在论文的最后一部分，我们将改变课程，并介绍了一个{ \em经验}技术来估计泛化使用未标记的数据。我们的技术不依赖于任何基于一致收敛的复杂性的概念，并且非常精确。我们将从理论上说明为什么我们的技术如此精确。最后，我们将讨论未来的工作如何探索新的方法来将分布假设纳入泛化边界（例如以未标记数据的形式），并探索其他工具来导出边界，可能是通过修改一致收敛或开发全新的工具。
2021-10-17 cs.AI cs.LG stat.ML
Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data
Stanford University（斯坦福大学）
自训练算法，其训练模型以拟合由另一先前学习的模型预测的伪标记，对于使用神经网络利用未标记数据的学习已经非常成功。然而，目前对自我训练的理论理解仅适用于线性模型。这项工作为半监督学习、无监督领域自适应和无监督学习提供了一个统一的深度网络自训练理论分析。我们分析的核心是一个简单但现实的“扩展”假设，即数据的低概率子集必须扩展到相对于该子集具有大概率的邻域。我们还假设不同类中的例子的邻域具有最小的重叠。我们证明，在这些假设下，基于自训练和输入一致性正则化的人口目标的最小化将实现高精度的地面真值标签。通过使用现成的泛化界限，我们立即将这个结果转换为样本复杂性保证的神经网络是多项式的利润和Lipschitz。我们的研究结果有助于解释最近提出的使用输入一致性正则化的自训练算法的经验成功。
2022-04-20 cs.LG stat.ML
A Generalization Error Bound for Multi-class Domain Generalization
Microsoft AI & Research（微软人工智能与研究院）；Southern University of Science and Technology（南方科技大学）；Microsoft Search, Assistant & Intelligence（微软搜索、助理与智能事业部）；University of Michigan（密歇根大学）
领域泛化是指在给定多个相似的数据集的情况下，为一个未标记的数据集分配标签的问题。尽管在过去的十年中，这个问题有相当大的兴趣，一直没有在多类分类设置的理论分析。在这项工作中，我们研究了一个基于核的学习算法，并建立了一个泛化误差界，该误差界在类的数量上按比例缩放，与传统学习环境中多类分类的最新界相匹配。我们还证明了经验，该算法实现了显着的性能增益相比，池化策略。
2019-05-24 cs.LG stat.ML
On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing
Qualcomm AI Research（高通人工智能研究部门）；Qualcomm Technologies, Inc.（高通技术公司）
本文通过统计学习理论，分析了单隐层网络中权重共享、等变性和局部性对样本复杂度的影响，给出了维度无关的界，并指出局部性与表达力存在权衡。
2025-01-23 cs.LG math.ST stat.ML
Dimensionality reduction to maximize prediction generalization capability
RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）
时间序列预测的泛化仍然是机器学习中的一个重要的开放问题，其中早期的方法具有较大的泛化误差或局部极小值。我们开发了一个分析可解的，无监督的学习计划，提取预测未来的输入，称为预测主成分分析（PredPCA）的信息量最大的组件。我们的方案可以有效地去除不可预测的噪声，并通过凸优化最小化测试预测误差。数学分析表明，提供足够的训练样本和足够的高维观测，PredPCA可以渐近地识别隐藏状态，系统参数和典型的非线性生成过程的维数，具有全局收敛性保证。我们演示了使用顺序视觉输入，包括手的数字，旋转的3D对象，和自然场景的PredPCA的性能。它可靠地估计不同的隐藏状态，并预测以前看不见的测试输入数据的未来结果，完全基于噪声观测。PredPCA的简单架构和低计算成本是非常可取的神经形态硬件。
2022-01-20 cs.CV cs.LG stat.ML
Robustness to Adversarial Perturbations in Learning from Incomplete Data
Sharif University of Technology（谢里夫理工大学）；Preferred Networks Inc.（优选网络公司）
当假定的潜在分布受到不利扰动时，未标记数据在推理问题中的作用是什么？为了给这个问题提供一个具体的答案，本文统一了两个主要的学习框架：半监督学习（SSL）和分布式鲁棒学习（DRL）。我们开发了一个泛化理论，我们的框架的基础上，一些新的复杂性措施，如对抗性扩展的拉德马赫复杂度和它的半监督模拟。此外，我们的分析是能够量化的作用，未标记的数据在推广更一般的条件下相比，现有的理论工作在SSL。基于我们的框架，我们还提出了一个混合的DRL和期望最大化算法，有保证的收敛速度。当使用深度神经网络实现时，我们的方法在许多真实世界的基准数据集上显示出与最先进的方法相当的性能。
2019-05-24 cs.IT cs.LG math.IT
There Are Many Consistent Explanations of Unlabeled Data: Why You Should Average
Cornell University（康奈尔大学）
目前，最成功的半监督学习方法是基于一致性正则化，从而训练模型对其输入和参数的小扰动具有鲁棒性。为了理解一致性正则化，我们从概念上探讨了损失几何如何与训练过程相互作用。一致性损失大大提高了仅监督训练的泛化性能;然而，我们发现SGD难以收敛于一致性损失，并继续进行大的步骤，导致测试数据的预测发生变化。出于这些观察，我们提出了训练一致性为基础的方法与随机权重平均（SWA），最近的方法，平均权重沿SGD的轨迹与修改后的学习率调度。我们还提出了快速SWA，它通过对周期性学习率调度的每个周期内的多个点进行平均来进一步加速收敛。通过加权平均，我们在CIFAR-10和CIFAR-100上实现了最知名的半监督结果，超过了许多不同数量的标记训练数据。例如，我们在CIFAR-10上实现了5.0%的错误，只有4000个标签，而文献中以前的最佳结果为6.3%。
2019-02-21 cs.AI cs.CV cs.LG
Adversarially Robust Generalization Just Requires More Unlabeled Data
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
神经网络的鲁棒性最近被对抗性例子的存在所强调。许多以前的工作表明，学习网络在扰动的测试数据上表现不佳，并且需要更多的标记数据才能实现对抗鲁棒的泛化。在本文中，我们从理论上和经验上证明，只需更多的未标记数据，我们就可以学习具有更好的对抗鲁棒泛化能力的模型。我们的研究结果的关键见解是基于风险分解定理，其中预期的鲁棒风险分为两部分：稳定性部分，衡量预测的稳定性，在扰动的存在下，和准确性部分，评估标准的分类精度。由于稳定性部分不依赖于任何标签信息，我们可以使用未标记的数据优化这部分。我们进一步证明了，对于一个特定的高斯混合问题，对抗鲁棒泛化可以几乎一样容易的标准推广监督学习，如果提供了足够大的未标记的数据量。受理论研究结果的启发，我们进一步证明了利用未标记数据的实用对抗训练算法可以提高MNIST和Cifar-10上的对抗鲁棒泛化。
2019-09-26 cs.LG stat.ML
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Inconsistency-Aware Minimization: Improving Generalization with Unlabeled Data
Department of Computer Science, Hanyang University, Seoul, Korea（汉阳大学计算机科学系）
本文提出一种基于信息几何的局部不一致性度量，并据此设计不一致感知最小化（IAM）方法，通过无标签数据计算该度量并融入训练目标，从而提升深度学习模型的泛化性能。
2026-05-29 cs.AI cs.LG
MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classification
Georgia Tech（佐治亚理工学院）；CMU（卡内基梅隆大学）
本文介绍了MixText，一种用于文本分类的半监督学习方法，它使用了我们新设计的称为TMix的数据增强方法。TMix通过在隐藏空间中插入文本来创建大量的增强训练样本。此外，我们利用数据增强的最新进展来猜测未标记数据的低熵标签，从而使它们像标记数据一样易于使用。通过混合标记，未标记和增强数据，MixText在几个文本分类基准上显著优于当前预训练和微调模型以及其他最先进的半监督学习方法。在监督极其有限的情况下，这种改进尤为突出。我们已在https://github.com/GT-SALT/MixText上公开发布了我们的代码。
2020-04-25 cs.CL cs.LG
Towards Unsupervised Domain Generalization
Tsinghua University（清华大学）
领域泛化（DG）旨在帮助在一组源域上训练的模型更好地泛化看不见的目标域。目前的DG方法的性能在很大程度上依赖于足够的标记数据，这通常是昂贵的或不可用的，但是。由于未标记的数据更容易访问，我们试图探索无监督学习如何帮助深度模型跨领域推广。具体来说，我们研究了一种新的泛化问题，称为无监督领域泛化（UDG），其目的是学习可推广的模型与未标记的数据和分析预训练对DG的影响。在UDG中，模型在使用标记的源数据进行训练之前，使用来自各个源域的未标记数据进行预训练，并最终在看不见的目标域上进行测试。然后，我们提出了一种名为领域感知表示学习（DARLING）的方法，以应对未标记的预训练数据中的显着和误导性的异质性和严重的分布偏移之间的源和目标数据。令人惊讶的是，我们观察到DARLING不仅可以抵消标记数据的稀缺性，而且还可以在标记数据不足时进一步增强模型的泛化能力。作为一种预训练方法，DARLING与ImageNet预训练协议相比表现出更好或相当的性能，即使可用数据是未标记的，并且与ImageNet相比数量要少得多，这可能有助于提高大规模未标记数据的泛化能力。
2022-04-12 cs.CV cs.LG cs.MM
Anti-causal domain generalization: Leveraging unlabeled data
Apple（苹果公司）；ETH Zürich（苏黎世联邦理工学院）
针对反因果设置下的域泛化问题，提出利用无标签数据估计环境扰动方向，通过惩罚模型对协变量均值和协方差变化的敏感性实现鲁棒性，并提供最坏情况最优性保证。
2026-06-18 cs.LG stat.ML
Domain Generalization via Semi-supervised Meta Learning
Simon Fraser University（西蒙弗雷泽大学）
领域泛化的目标是从多个源领域中学习，在分布不一致的情况下泛化到未知的目标领域。目前在这一领域的最先进的方法是完全监督，但对于许多现实世界的问题，它几乎是不可能获得足够的标记样本。在本文中，我们提出了第一种利用未标记样本的领域泛化方法，将元学习的情景训练和半监督学习相结合，称为DGSML。DGSML采用基于熵的伪标记方法为未标记的样本分配标签，然后利用一种新的差异损失来确保标记未标记样本之前和之后的类质心彼此接近。为了学习域不变表示，它还利用一种新的对齐损失来确保在添加未标记样本后计算的类质心对之间的距离在不同的域中保持不变。DGSML通过元学习方法来训练，以模拟输入源域和看不见的目标域之间的分布偏移。在基准数据集上的实验结果表明，DGSML优于最先进的领域泛化和半监督学习方法。
2020-09-30 cs.LG stat.ML
Harnessing Unlabeled Data to Improve Generalization of Biometric Gender and Age Classifiers
School of Computing, Wichita State University（威奇托州立大学计算机学院）；School of Computing, University of Missouri, Kansas City（密苏里大学堪萨斯城分校计算机学院）
随着深度学习的重大进展，许多计算机视觉应用已经达到了拐点。然而，这些深度学习模型需要大量的标记数据用于模型训练和最佳参数估计。用于模型训练的有限标记数据导致过拟合并影响其泛化性能。然而，大量数据的收集和注释是非常耗时且昂贵的操作。此外，由于隐私和安全问题，无法为某些应用（例如涉及医疗领域的应用）收集大量标记数据。自训练、协同训练和自集成方法是三种类型的半监督学习方法，可用于利用未标记数据。在本文中，我们提出了基于自集成的深度学习模型，该模型利用有限的标记数据，利用未标记数据来提高泛化性能。我们评估了所提出的基于自集成的深度学习模型，用于软生物特征性别和年龄分类。对CelebA和VISOB数据集的实验评估表明，性别分类准确率分别为94.46%和81.00%，对于CelebA数据集，仅使用1000个标记样本，剩余199k个样本作为未标记样本，同样，对于VISOB数据集，使用1000个标记样本，剩余107k个样本作为未标记样本。比较评估表明，与在整个CelebA和VISOB数据集上训练的监督模型相比，自集成模型的准确性分别有$5.74\%$和$8.47\%$的提高。我们还在Adience数据集上评估了所提出的年龄组预测学习方法，它优于基线监督深度学习模型，精确准确率为55.55 $\pm$ 4.28，比基线高出3.92%。
2021-10-09 cs.AI cs.CV cs.LG
Preserving Domain Private Representation via Mutual Information Maximization
The University of British Columbia（不列颠哥伦比亚大学）；Shenzhen Polytechnic（深圳职业技术大学）
无监督领域自适应的最新进展表明，通过提取领域不变表示来减轻领域分歧可以显着提高模型到未标记数据域的泛化能力。然而，现有的方法不能有效地保持私人的标签缺失域的表示，这可能会产生不利影响的推广。在本文中，我们提出了一种方法来保持这样的表示，使潜在的分布的未标记域可以表示域不变的功能和个人的特性，是私有的未标记域。特别是，我们证明，最大限度地提高互信息之间的未标记的域和它的潜在空间，同时减轻域的分歧，可以实现这样的保护。我们还从理论和经验上验证了保留未标记域的私有表示对于跨领域泛化是重要的和必要的。我们的方法在几个公共数据集上的性能优于最先进的方法。
2022-01-09 cs.CV cs.LG
C-Score: Beyond Accuracy for Robustness Assessment in Semi-Supervised Learning under Open-World Unlabeled Contamination
本文针对开放世界未标记污染下半监督学习的鲁棒性评估问题，提出C-Score框架，通过多维度指标揭示干净准确率无法检测的隐藏退化，验证了内部诊断信号的必要性。
2026-08-24 cs.AI cs.LG
FlatMatch: Bridging Labeled Data and Unlabeled Data with Cross-Sharpness for Semi-Supervised Learning
Sydney AI Centre, The University of Sydney（悉尼大学悉尼人工智能中心）；JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）
本文提出FlatMatch方法，通过最小化跨锐度度量来对齐标记与未标记数据的学习过程，利用未标记数据惩罚最坏情况模型的预测差异，从而缓解性能不匹配问题并提升半监督学习的泛化效果。
2023-10-25 cs.LG
Improving Semi-Supervised Support Vector Machines Through Unlabeled Instances Selection
Nanjing University（南京大学）
半监督支持向量机（S3 VMs）是一种利用未标记数据提高学习性能的方法。虽然S3 VM在许多情况下都很有用，但它们可能会降低性能，并且所得的泛化能力可能比仅使用标记数据更差。在本文中，我们试图减少S3 VM的性能退化的机会。我们的基本思想是，而不是利用所有未标记的数据，未标记的实例应该被选择，只有那些很可能是有用的被利用，而一些高风险的未标记的实例被避免。我们提出了S3 VM- \emph{us}方法，通过使用层次聚类来选择未标记的实例。在88种不同设置的大范围数据集上进行的实验表明，S3 VM- \emph{us}的性能退化几率远小于现有的S3 VM。
2011-05-09 cs.LG
Maximizing Model Generalization for Machine Condition Monitoring with Self-Supervised Learning and Federated Learning
University of Kentucky（肯塔基大学）
本文研究机器状态监测中数据无标签、类别少且存在领域偏移的问题，提出以 Barlow Twins 自监督学习最大化源域特征通用性，并结合联邦学习跨机器共享知识，实验表明该方法在无标签目标域和新故障条件下优于监督学习。
2023-09-22 cs.LG eess.SP
Unified Alignment Protocol: Making Sense of the Unlabeled Data in New Domains
Binghamton University (SUNY)（比灵顿大学（SUNY））；Adobe Inc.（Adobe公司）；North Carolina State University（北卡罗来纳州立大学）
提出统一对齐协议（UAP）框架，通过服务器与客户端交替两阶段特征对齐训练，在半监督联邦学习（SSFL）中有效提升模型对未见领域的泛化能力并达到SOTA性能。
2025-05-27 cs.CV cs.LG
Split Batch Normalization: Improving Semi-Supervised Learning under Domain Shift
Jagiellonian University（雅盖隆大学）；Nomagic；New York University（纽约大学）
最近的研究表明，在半监督学习中使用未标记的数据并不总是有益的，甚至可能损害泛化，特别是当未标记和标记的示例之间存在类别不匹配时。我们在CIFAR-10和ImageNet数据集上研究了图像分类的这种现象，并应用了许多其他形式的域偏移（例如盐和胡椒噪声）。我们的主要贡献是分裂批量归一化（Split-BN），一种当额外的未标记数据来自移位分布时改善SSL的技术。我们实现它通过使用单独的批量归一化统计未标记的例子。由于其简单性，我们建议将其作为标准实践。最后，我们分析了域转移如何影响SSL训练过程。特别是，我们发现，在训练过程中，在未标记和标记的示例之间，后期层中隐藏激活的统计数据变得明显不同。
2019-04-06 cs.LG stat.ML
Exploiting Unlabeled Data to Enhance Ensemble Diversity
Southeast University（东南大学）；Nanjing University（南京大学）
包围学习的目的是通过使用多个基本学习器来提高泛化能力。众所周知，要构建一个好的集成，基础学习者应该是准确的，以及多样化。在本文中，未标记的数据被利用来促进集成学习，帮助增加基础学习器之间的多样性。具体地说，提出了一种半监督集成方法UDEED。与现有的半监督集成方法不同，在现有的半监督集成方法中，对未标记数据估计易出错的伪标签以扩大标记数据以提高准确性，UDEED的工作原理是最大限度地提高基础学习者对标记数据的准确性，同时最大限度地提高它们对未标记数据的多样性。实验表明，UDEED可以有效地利用未标记的数据集成学习，是非常有竞争力的成熟的半监督集成方法。
2010-09-25 cs.AI cs.LG
Self-Training of Halfspaces with Generalization Guarantees under Massart Mislabeling Noise Model
Computer Science Laboratory (LIG)（计算机科学实验室（LIG））；Department of Statistics (LJK)（统计系（LJK））；Departement of Physics (SIMaP)（物理系（SIMaP））；University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
研究了半空间自训练算法的推广性质。该方法从标记和未标记的训练数据中迭代学习半空间列表，其中每次迭代包括两个步骤：探索和修剪。在探索阶段，通过最大化未标记示例中的未标记边缘，然后将伪标签分配给距离高于当前阈值的那些示例，依次找到半空间。然后将伪标记的示例添加到训练集，并学习新的分类器。重复该过程，直到没有更多的未标记的示例用于伪标记。在修剪阶段中，然后丢弃到最后半空间的距离大于相关联的无符号余量的伪标记样本。我们证明了所得到的分类器序列的误分类误差是有界的，并表明所得到的半监督方法永远不会降低性能相比，只使用初始标记的训练集学习的分类器。在各种基准上进行的实验表明，所提出的方法相比，国家的最先进的方法的效率。
2022-02-15 cs.LG stat.ML
Discriminative Clustering with Representation Learning with any Ratio of Labeled to Unlabeled Data
Swiss Data Science Center（瑞士数据科学中心）；Ecole polytechnique fédérale de Lausanne（洛桑联邦理工学院）；University of Washington（华盛顿大学）
我们提出了一种判别式聚类方法，其中的特征表示可以从数据中学习，而且利用标记的数据。表示学习可以使基于相似性的聚类方法能够自动适应数据的底层但隐藏的几何结构。所提出的方法增强了具有表示学习能力的BRAC方法，使用基于梯度的随机训练算法和具有熵正则化的最优传输算法来执行聚类分配步骤。当改变标记数据与未标记数据的比率时，在几个真实数据集上评估所得到的方法，从而在完全无监督制度和完全监督制度之间进行插值。实验结果表明，即使在完全无监督的情况下，该方法也可以学习强大的特征表示，甚至可以利用少量的标记数据来改进特征表示，并获得更好的复杂数据集聚类。
2023-02-17 cs.LG stat.ML
Diversity-Based Generalization for Unsupervised Text Classification under Domain Shift
George Mason University（乔治梅森大学）
领域自适应方法寻求从源域学习并将其推广到看不见的目标域。目前，用于主观文本分类问题的最先进的无监督领域自适应方法利用未标记的目标数据以及标记的源数据。在本文中，我们基于简单但有效的基于多样性的泛化思想，提出了一种用于单任务文本分类问题的领域自适应的新方法，该方法不需要未标记的目标数据，但仍然与最先进的技术相匹配。性能。多样性通过迫使模型不依赖于相同的特征进行预测，起到促进模型更好地泛化和不加选择地进行域转移的作用。我们将这一概念应用于神经网络中最容易解释的组件--注意层。为了产生足够的多样性，我们创建了一个多头注意力模型，并在注意力头之间注入多样性约束，使得每个头将以不同的方式学习。我们进一步扩展我们的模型，通过三训练和设计一个程序，在三训练分类器的注意力头之间有一个额外的多样性约束。使用亚马逊评论的标准基准数据集和新构建的危机事件数据集进行的广泛评估表明，我们的完全无监督方法与使用未标记目标数据的竞争基线相匹配。我们的研究结果表明，确保足够多样性的机器学习架构可以更好地推广;鼓励未来的研究设计无处不在的可用学习模型，而不使用未标记的目标数据。
2020-10-20 cs.CL cs.LG stat.ML
Domain-Aware Hierarchical Contrastive Learning for Semi-Supervised Generalization Fault Diagnosis
College of Cyber Security, Jinan University（济南大学网络安全学院）；Department of Computer Science, University of Illinois Chicago（伊利诺伊大学芝加哥分校计算机科学系）
本文提出面向域的层次对比学习框架，解决半监督域泛化故障诊断中伪标签偏差和样本利用不均的问题，通过域感知学习和层次对比学习提升监督质量与未标记样本利用。
2026-04-22 cs.AI cs.LG
GenSDF: Two-Stage Learning of Generalizable Signed Distance Functions
Princeton University（普林斯顿大学）
我们研究了神经符号距离函数（SDF）的泛化能力，用于学习看不见的和未标记的点云的3D对象表示。现有的方法可以将SDF适合少数对象类，并拥有精细的细节或快速的推理速度，但不能很好地推广到看不见的形状。我们引入了一个两阶段的半监督元学习方法，将形状先验从标记数据转移到未标记数据，以重建看不见的对象类别。第一阶段使用情景训练方案来模拟对未标记数据的训练，并元学习初始形状先验。第二阶段，然后在半监督方案中引入具有不相交类的未标记数据，以使这些先验知识多样化并实现泛化。我们评估我们的方法上的合成数据和真正收集的点云。实验结果和分析验证了我们的方法优于现有的神经SDF方法，能够对100多个不可见类进行鲁棒的zero-shot推理。代码可以在www.example.com上找到。
2022-10-05 cs.CV cs.GR cs.LG
Generalization of Auto-Regressive Hidden Markov Models to Non-Linear Dynamics and Unit Quaternion Observation Space
University of Verona（维罗纳大学）
本文提出ARHMM的两种推广：用非线性基函数线性组合描述笛卡尔空间自回归动力学，以及在单位四元数空间中建立线性动力学以处理姿态，从而提升对复杂观测动态的建模能力。
2023-06-08 cs.LG cs.RO
State-Reification Networks: Improving Generalization by Modeling the Distribution of Hidden Representations
Université de Montréal（蒙特利尔大学）；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Colorado（科罗拉多大学）；Google Research（谷歌研究院）
机器学习承诺从有限标记数据中很好地推广方法。然而，现有的神经网络方法的脆弱性被显着的失败所揭示，例如存在尽管与训练样本几乎相同但被错误分类的对抗样本，或者在没有教师强迫的情况下，递归序列处理网络无法保持在轨道上。我们介绍了一种方法，我们称之为\emph{state reification}，它涉及到建模的隐藏状态的分布在训练数据，然后预测隐藏状态在测试过程中观察到这个分布。我们的直觉是，如果网络可以保持在一个熟悉的隐藏空间流形中，那么网络的后续层应该得到很好的训练，以做出适当的反应。我们证明了这种状态具体化方法有助于神经网络更好地泛化，特别是当标记数据稀疏时，并且还有助于克服通过对抗训练实现鲁棒泛化的挑战。
2019-05-26 cs.AI cs.LG stat.ML
Optimal Weighting of Multi-View Data with Low Dimensional Hidden States
在自然语言处理（NLP）任务中，数据通常具有以下两个属性：第一，数据可以被切割成多视图，这已成功地用于降维的目的。例如，在主题分类中，每篇论文都可以分为标题、正文和参考文献。然而，对于监督学习问题，一些视图比其他视图噪音更小是常见的。第二，未标记的数据很容易获得，而标记的数据相对较少。例如，《纽约时报》最近10年的文章很容易抓取，但要将它们归类为“政治”、“金融”或“体育”则需要人力。因此，在运行监督学习方法之前，噪声较小的特征是首选的。在本文中，我们提出了一种无监督的算法，最佳权重的功能，从不同的意见时，这些意见产生的低维隐藏状态，这发生在广泛使用的模型，如混合高斯模型，隐马尔可夫模型（HMM）和潜在的狄利克雷分配（LDA）。
2012-09-26 cs.LG stat.ML
On-Demand Unlabeled Personalized Federated Learning
Bar Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
在联邦学习（FL）中，多个客户端通过中央服务器协作学习共享模型，同时保持数据分散。个性化联邦学习（PFL）通过学习每个客户端的个性化模型来进一步扩展FL。在FL和PFL中，所有客户端都参与训练过程，并且他们的标记数据用于训练。然而，实际上，新的客户端可能希望在部署预测服务之后加入预测服务，从而获得针对其自己的\textbf{unlabeled}数据的预测。在这里，我们介绍了一种新的学习设置，按需无标签PFL（OD-PFL），其中在一组客户端上训练的系统需要在推理时应用于新的无标签客户端。我们提出了一种新的方法来解决这个问题，ODPFL-HN，它学会为后期的一方客户端生成一个新的模型。具体来说，我们训练一个编码器网络，该网络在给定客户端未标记数据的情况下学习客户端的表示。该客户端表示被馈送到超网络，该超网络为该客户端生成个性化模型。在五个基准数据集上进行评估，我们发现ODPFL-HN比当前的FL和PFL方法更好地推广，特别是当新客户端从培训客户端有很大的转变时。我们还分析了新客户端的泛化误差，并通过分析和实验展示了新客户端如何应用差分隐私。
2022-10-24 cs.LG
Overcoming Data Inequality across Domains with Semi-Supervised Domain Generalization
Seoul National University（首尔大学）
针对仅有一个带标注域的半监督域泛化这一跨域数据不平等问题，提出基于域感知原型和不确定性自适应混合的ProUD算法，在三个基准数据集上性能优于所有基线模型。
2024-03-08 cs.AI cs.CV cs.LG
Transfer Learning Framework for Low-Resource Text-to-Speech using a Large-Scale Unlabeled Speech Corpus
Seoul National University（首尔国立大学）；Samsung Research, Samsung Electronics（三星电子三星研究院）
文本转语音（TTS）模型的训练需要大量的文本标记语音语料，这是一个收集起来很麻烦的问题。通过利用wav2vec2.0表示，未标记语音可以大大提高性能，特别是在缺乏标记语音的情况下。我们还将所提出的方法扩展到zero-shot多说话人TTS（ZH-TTS）。实验结果验证了该方法在自然度、可懂度和说话人泛化方面的有效性。我们强调，在仅10分钟的标记数据集上微调的单说话人TTS模型优于其他基线，并且在仅30分钟的单说话人数据集上微调的MST-TTS模型可以通过在未标记的多说话人语音语料库上进行预训练来生成任意说话人的语音。
2022-10-06 cs.LG eess.AS
When Shift Happens - Confounding Is to Blame
CISPA Helmholtz Center for Information Security（CISPA霍普夫研究中心）
研究指出分布偏移下ERM表现优异及全协变量利用提升OOD泛化的现象源于隐藏混杂，证明需学习环境特定关系并可用代理变量缓解挑战，为OOD算法设计提供新指导。
2025-05-27 cs.LG
Federated Learning with Positive and Unlabeled Data
Xi’an Jiaotong University（西安交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Peking University（北京大学）；Huawei Technologies（华为技术有限公司）
我们研究了在联邦环境中从正的和未标记的（PU）数据中学习的问题，由于资源和时间的限制，每个客户端只标记了他们数据集的一小部分。与传统PU学习中负类由单个类组成的设置不同，在联合设置中，客户端无法识别的负样本可能来自客户端未知的多个类。因此，现有的PU学习方法在这种情况下很难应用。为了解决这个问题，我们提出了一个新的框架，即联邦学习与积极和未标记的数据（FedPU），以最大限度地减少预期的风险，多个负类，利用标记的数据在其他客户端。我们从理论上分析了所提出的FedPU的推广界。实验结果表明，与传统的监督和半监督联邦学习方法相比，该方法具有更好的性能。代码可在https://github.com/littleSunlxy/FedPU-torch上获得
2022-08-15 cs.LG
Prompt Consistency for Zero-Shot Task Generalization
University of Southern California（南加州大学）；University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
最近NLP历史上最令人印象深刻的结果之一是预先训练的语言模型在zero-shot设置中解决新任务的能力。为了实现这一点，NLP任务被构建为自然语言提示，生成指示预测输出的响应。尽管如此，在这种环境中的表现往往远远落后于其监督的同行，这表明有很大的改进空间。在本文中，我们探索的方法，利用未标记的数据，以提高zero-shot性能。具体来说，我们利用的事实，多个提示可以用来指定一个单一的任务，并建议定期提示的一致性，鼓励一致的预测在这个不同的提示。我们的方法使得有可能微调的模型，无论是额外的未标记的训练数据，或直接在测试输入的推理时间在一个无监督的方式。在实验中，我们的方法优于最先进的zero-shot学习器T0（Sanh等人，2022年），在4个NLP任务的11个数据集中有9个数据集的准确率高达10.6个绝对点。增益通常是通过少量未标记的示例来实现的。
2022-12-27 cs.CL cs.LG
A novel framework for generalization of deep hidden physics models
Bosch Research and Technology Center（博世研究与技术中心）
针对深度隐藏物理模型在系统输入、参数和域配置改变时需重新训练导致泛化性差的问题，提出一种能泛化上述变化并有助于系统发现的新框架。
2024-01-09 cs.AI cs.LG math.AP
Deep Positive-Unlabeled Anomaly Detection for Contaminated Unlabeled Data
NTT
针对未标记数据受污染的半监督异常检测问题，提出融合正-未标记学习的深度异常检测框架，无需标记正常数据即可训练检测器，并具备理论保证与更优性能。
2026-09-25 cs.AI cs.LG stat.ML
On the Generalization Power of the Overfitted Three-Layer Neural Tangent Kernel Model
Purdue University（普渡大学）；The Ohio State University（俄亥俄州立大学）
本文研究了过参数化三层NTK模型的推广性能。我们表明，对于一组特定的地面真值函数（我们称之为“可学习集”），过拟合的3层NTK的测试误差的上限是一个表达式，随着两个隐藏层的神经元数量的减少。与仅存在一个隐藏层的2层NTK不同，3层NTK涉及两个隐藏层之间的相互作用。我们的上限表明，在两个隐藏层之间，测试误差相对于第二隐藏层（更接近输出的一个）中的神经元数量下降得更快，而不是相对于第一隐藏层（更接近输入的一个）。我们还表明，无偏置的3层NTK模型的可学习集不小于神经元中有各种偏置选择的2层NTK模型的可学习集。然而，在实际的推广性能方面，我们的研究结果表明，3层NTK比2层NTK对偏差的选择要不敏感得多，特别是当输入维数很大时。
2022-06-04 cs.LG math.ST stat.ML
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.（阿尔伯特公司）；Graduate School of Science and Engineering, Yamagata University（山形大学理工学研究生院）
泛化是机器学习中最重要的问题之一。在这项研究中，我们考虑在限制玻尔兹曼机（RBM）的推广。我们提出了一个多值隐变量的RBM，这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型，通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
最大化受试者工作特征曲线下面积（AUC）是不平衡分类的标准方法。到目前为止，已经开发了各种监督AUC优化方法，并且它们也被扩展到半监督场景以应对小样本问题。然而，现有的半监督AUC优化方法依赖于强分布假设，而这些假设在现实世界的问题中很少得到满足。在本文中，我们提出了一种新的半监督AUC优化方法，不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法（PU-AUC），然后将其与监督AUC优化方法相结合，将其扩展到半监督学习。我们从理论上证明，在没有限制性分布假设的情况下，未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后，我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
