Supervised Learning as Lossy Compression: Characterizing Generalization and Sample Complexity via Finite Blocklength Analysis
Waseda University(早稻田大学)
本文通过将学习问题置于有损压缩框架中并应用有限块长分析,从信息论角度推导了固定随机学习算法及其最优采样策略的样本复杂度和泛化误差下界,显式分离了过拟合程度与归纳偏置-任务不匹配项。
2026-05-29 cs.IT cs.LG math.IT
Promise and Limitations of Supervised Optimal Transport-Based Graph Summarization via Information Theoretic Measures
本文研究有监督图摘要问题,通过信息论度量最大化摘要图与类标签的互信息,证明其近似NP难,并提出结合互信息估计的最优传输方法,实验显示性能提升,但理论上存在信息单调性局限。
2023-05-11 cs.LG
Generalization Bounds For Unsupervised and Semi-Supervised Learning With Autoencoders
Viterbi Faculty of Electrical Engineering, Technion - Israel Institute of Technology(以色列理工学院维特比电气与电子工程学院)
自编码器广泛用于无监督学习和半监督学习中的正则化方案。然而,他们的泛化性能和他们可以帮助监督学习的方式的理论理解一直缺乏。我们利用深度学习泛化理论的最新进展,以及新的重建损失,为自动编码器提供泛化界。据我们所知,这是第一次这样的约束。我们进一步表明,在适当的假设下,具有良好泛化性能的自编码器可以改善任何半监督学习方案。我们支持我们的理论结果与实证证明。
2019-02-04 cs.LG stat.ML
Information-Theoretic Characterization of the Generalization Error for Iterative Semi-Supervised Learning
National University of Singapore(新加坡国立大学)
使用信息理论的原则,我们认为迭代半监督学习(SSL)算法的泛化误差(gen-error),迭代生成伪标签的大量未标记的数据,逐步完善的模型参数。与以前大多数{ \em绑定} gen-error的工作相比,我们提供了gen-error的{ \em exact}表达式,并将其具体化为二进制高斯混合模型。我们的理论结果表明,当类的条件方差不是太大,gen-error随着迭代次数的减少,但很快饱和。另一方面,如果类条件方差(以及类之间的重叠量)很大,则gen-error随着迭代次数的增加而增加。为了减轻这种不良影响,我们证明了正则化可以减少gen-error。在MNIST和CIFAR数据集上进行的大量实验证实了理论结果,其中我们注意到,对于易于区分的类,gen-error在几次伪标记迭代后有所改善,但之后饱和,对于更难区分的类,正则化提高了泛化性能。
2022-09-18 cs.IT cs.LG math.IT
Self-supervised Learning from a Multi-view Perspective
Carnegie Mellon University(卡内基梅隆大学)
作为无监督表示学习的一个子集,自监督表示学习采用自定义信号作为监督,并将学习到的表示用于下游任务,例如目标检测和图像描述。许多提出的用于自监督学习的方法自然地遵循多视图视角,其中输入(例如,原始图像)和自监督信号(例如,增强图像)可以被看作数据的两个冗余视图。从这个多视角的角度来看,本文提供了一个信息理论的框架,以更好地理解的属性,鼓励成功的自监督学习。具体来说,我们证明了自监督学习表示可以提取任务相关的信息和丢弃任务无关的信息。我们的理论框架为自监督学习目标设计的更大空间铺平了道路。特别是,我们提出了一个复合目标,弥合了以前的对比和预测学习目标之间的差距,并引入了一个额外的目标项,以丢弃任务无关的信息。为了验证我们的分析,我们进行对照实验,以评估复合目标的影响。我们还探讨了我们的框架的经验泛化超越多视图的角度来看,跨视图冗余可能不会被清楚地观察到。
2021-03-22 cs.LG stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory(美国海军研究实验室)
在新应用中采用深度神经网络的最大障碍之一是,训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景,其中可以访问大量未标记的数据,但只需要标记每个类的单个原型样本,以便训练深度网络(即,一次性半监督学习)。具体来说,我们调查了FixMatch中报道的一次性半监督学习的最新结果,以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如,我们发现,一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案,可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Generalizing Supervised Contrastive learning: A Projection Perspective
University of Michigan(密歇根大学)
本文提出ProjNCE,通过投影函数和负对调整项泛化InfoNCE损失,统一监督与自监督对比学习,证明其构成互信息下界,并在图像和音频数据集上优于SupCon和交叉熵训练。
2025-10-06 cs.IT cs.LG math.IT
Semi-Supervised Learning of Classifiers from a Statistical Perspective: A Brief Review
University of Queensland(昆士兰大学)
在机器学习中,半监督学习(SSL)方法越来越受到关注,以在分类器的训练数据由有限数量的分类观测值但大量的未分类观测值组成的情况下形成分类器。这是因为机密数据的获取可能相当昂贵,这是由于高获取成本以及随后的财务、时间和道德问题,这些问题可能在尝试为已获取的非机密数据提供真实类别标签时出现。我们在这里提供了一个审查的统计SSL的方法来解决这个问题,集中在最近的结果,从一个部分分类的样本形成的分类实际上可以有较小的预期错误率比,如果样本被完全分类。
2021-11-09 cs.LG stat.ML
Learning with Partial Labels from Semi-supervised Perspective
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of MOE, Jilin University(吉林大学符号计算与知识工程教育部重点实验室);College of Information Science and Technology, Northeast Normal University(东北师范大学信息科学与技术学院);Key Laboratory of Applied Statistics of MOE, Northeast Normal University(东北师范大学应用统计教育部重点实验室)
部分标签(PL)学习是指从部分标记的数据中学习的任务,其中每个训练实例都模糊地配备了一组候选标签,但只有一个是有效的。最近深度PL学习文献的进展表明,深度学习范例,例如,自我训练、对比学习或班级激活值可以实现有希望的表现。受深度半监督(SS)学习令人印象深刻的成功的启发,我们将PL学习问题转化为SS学习问题,并提出了一种新的PL学习方法,即半监督视角的部分标签学习(PLSP)。具体来说,我们首先通过选择少量具有高置信度预测分数的可靠伪标记实例并将其余实例视为伪未标记实例来形成伪标记数据集。然后,我们设计了一个SS学习目标,包括监督损失的伪标记的实例和语义一致性正则化的伪未标记的实例。我们进一步为这些非候选标签引入互补正则化,以限制模型对它们的预测尽可能小。实验结果表明,PLSP显着优于现有的PL基线方法,特别是在高模糊度水平。可用代码:https://github.com/changchunli/PLSP。
2022-11-30 cs.LG
Supervised Domain Adaptation: A Graph Embedding Perspective and a Rectified Experimental Protocol
Aarhus University(奥胡斯大学)
领域自适应是缓解来自不同领域的数据之间的分布差距的过程。在本文中,我们表明,领域自适应方法使用成对的源和目标域数据之间的关系,可以制定为一个图形嵌入的域标签被纳入到结构的内在和惩罚图。具体来说,我们分析了三个现有的国家的最先进的监督领域自适应方法的损失函数,并证明他们执行图嵌入。此外,我们强调了一些普遍性和再现性的问题,通常用于证明这些方法的少样本学习能力的实验设置。为了准确地评估和比较监督领域自适应方法,我们提出了一个修正的评估协议,并在标准数据集上报告了更新的基准测试结果,这些标准数据集包括Amazon,DSLR和Webcam,Digits(MNIST,USPS,SVHN和MNIST-M)和VisDA(Synthetic,Real)。
2021-10-24 cs.LG stat.ML
A Sampling Theory Perspective of Graph-based Semi-supervised Learning
University of Southern California(南加州大学);Google Inc.(谷歌公司);Purdue University(普渡大学)
基于图的方法在解决无监督和半监督学习问题方面非常成功,因为它们提供了一种捕获数据集底层几何形状的方法。通常期望构造的图满足两个性质:第一,在特征空间中相似的数据点应该在图上强连接,第二,类标签信息应该相对于图平滑地变化,其中平滑度使用图拉普拉斯矩阵的谱性质来测量。最近的工作证明了这些光滑条件,表明它们与半监督光滑假设及其变体密切相关。在这项工作中,我们加强了这种连接,从图形采样理论的角度来看,类指标函数被视为带限图形信号(在特征向量的基础上的图形拉普拉斯算子)和标签预测作为一个带限重建问题的问题。我们的方法包括分析带宽的类指标信号产生的统计数据模型可分离和不可分离的类。这些模型非常通用,并且模仿了大多数真实世界数据集的性质。我们的结果表明,在渐近极限,任何类指标的带宽也密切相关的数据集的几何形状。这使得人们可以从理论上证明类指示信号的带宽限制的假设,从而提供了一个基于图的半监督分类的采样理论解释。
2019-04-13 cs.LG
A Geometric Perspective on Self-Supervised Policy Adaptation
University of Cambridge(剑桥大学);Google(谷歌);Google Research(谷歌研究院)
现实世界强化学习(RL)最具挑战性的方面之一是大量不可预测和不断变化的干扰,这些干扰可能会使智能体偏离其训练环境中的任务。虽然智能体可以从奖励信号中学习并忽略它们,但现实世界的复杂性可能会使奖励难以获得,或者充其量是非常稀疏。最近的一类自我监督方法已经表明,在具有挑战性的干扰下,无奖励适应是可能的。然而,以前的工作集中在一个短的一集适应设置。在本文中,我们考虑了一个长期的适应设置,更类似于现实世界的具体情况,并提出了一个几何角度的自我监督适应。我们经验性地描述了在这个适应过程中嵌入空间中发生的过程,揭示了它对性能的一些不良影响,并展示了如何消除它们。此外,我们从理论上研究了如何基于演员和演员免费代理可以进一步推广到目标环境,通过操纵演员和评论家功能所描述的流形的几何形状。
2020-11-14 cs.AI cs.LG
A Survey on Self-Supervised Graph Foundation Models: Knowledge-Based Perspective
Huazhong University of Science and Technology(华中科技大学)
本文从基于知识的新视角综述自监督图基础模型,提出涵盖微观、中观、宏观三类共9类知识、25余种预文本任务及下游泛化策略的分类框架。
2025-05-06 cs.LG cs.SI
Contrastive Self-Supervised Learning at the Edge: An Energy Perspective
University of Glasgow, UK(格拉斯哥大学);Nokia Bell Labs, Cambridge, UK(诺基亚贝尔实验室)
本研究从能量视角评估了四种对比学习框架在边缘端的部署可行性,发现SimCLR能耗最低,并提出了包含能量剖析的系统基准测试策略。
2025-10-09 cs.LG
Exhaustive and Efficient Constraint Propagation: A Semi-Supervised Learning Perspective and Its Applications
Peking University(北京大学)
本文提出了一种新的成对约束传播方法,通过将具有挑战性的约束传播问题分解为一组独立的半监督学习子问题,可以使用基于k-近邻图的标签传播在二次时间内解决。考虑到这个时间成本与所有可能的成对约束的数量成比例,我们的方法实际上提供了一个有效的解决方案,用于在整个数据集中穷举传播成对约束。传播成对约束的穷举集进一步用于调整约束谱聚类的相似性矩阵。除了传统的单源数据上的约束传播,我们的方法还扩展到更具挑战性的多源数据上的约束传播,其中每个成对约束定义在来自不同源的一对数据点上。这种多源约束传播在跨模态多媒体检索中有重要的应用。大量的结果表明,我们的方法的优越性能。
2011-09-22 cs.AI cs.LG
Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective
Beijing Institute of Technology(北京理工大学);Renmin University of China(中国人民大学)
图卷积网络(GCN)在各种基于图的任务上取得了令人满意的性能。然而,当堆叠更多层时,它们遭受过度平滑。在本文中,我们提出了一个定量的研究,这一观察和发展新的见解更深的GCN。首先,我们从优化的角度来解释当前的图卷积运算,并认为过度平滑主要是由优化问题的解的朴素一阶近似引起的。随后,我们引入了两个指标来衡量节点级任务的过度平滑。具体来说,我们分别计算连接和断开连接的节点之间的成对距离占总距离的分数。基于我们的理论和实证分析,我们从优化的角度建立了一个通用的GCN理论框架,并推导出一种新的卷积核GCN+,它具有较低的参数量,同时从本质上减轻了过平滑。在真实数据集上的大量实验表明,GCN+在节点分类任务上的性能优于最先进的基线方法。
2020-09-25 cs.AI cs.LG stat.ML
Dual Perspectives on Non-Contrastive Self-Supervised Learning
Meta FAIR;New York University(纽约大学);INRIA Paris(法国国家信息与自动化研究所巴黎中心);Carnegie-Mellon University(卡内基梅隆大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立高等物理、数学与信息学院)
本文从优化和动力系统双重视角分析非对比自监督学习中停止梯度和指数移动平均的机制,揭示其避免表征崩溃的理论依据,并通过实验验证其稳定性。
2026-02-05 cs.AI cs.LG
Self-Supervised Metric Learning in Multi-View Data: A Downstream Task Perspective
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自监督度量学习是一种成功的方法,用于从未标记的数据集学习距离。所得到的距离对于改进各种基于距离的下游任务是广泛有用的,即使在度量学习阶段中没有利用来自下游任务的信息。为了深入了解这种方法,我们开发了一个统计框架,从理论上研究自我监督度量学习如何在多视图数据的背景下使下游任务受益。在这个框架下,我们证明了度量学习的目标距离满足下游任务的几个期望属性。另一方面,我们的研究表明,目标距离可以通过调节每个方向的权重来进一步提高。此外,我们的分析精确地描述了四个常用的下游任务:样本识别,双样本测试,$k$ -均值聚类和$k$ -最近邻分类的自监督度量学习的改进。当距离是从未标记的数据集估计时,我们建立了距离估计精度的上限和足够用于下游任务改进的样本数量。最后,通过数值实验验证了理论分析的正确性.
2022-03-17 cs.LG math.ST stat.ME
A Multi-view Perspective of Self-supervised Learning
Nanjing University of Aeronautics & Astronautics(南京航空航天大学)
自监督学习(Self-supervised learning,SSL)作为一种新兴的无监督学习范式,近年来受到了广泛的关注。在它的帮助下,SSL有效地学习了对下游任务有益的特征表示。因此,托词任务起着关键作用。然而,目前对它的设计,特别是它的本质的研究还处于开放状态。在本文中,我们借用多视图的角度来解耦一类流行的借口任务到视图数据增强(VDA)和视图标签分类(VLC)的组合,在那里我们试图探索这种借口任务的本质,同时提供一些见解,其设计。具体而言,一个简单的多视图学习框架(SSL-MV)是专门设计的,它有助于通过增强视图上的相同任务的下游任务(原始视图)的特征学习。SSL-MV专注于VDA,而放弃VLC,根据经验发现是VDA而不是通常认为的VLC主导了此类SSL的性能。此外,由于用VDA任务取代了VLC,SSL-MV还可以实现集成推理,结合来自增强视图的预测,进一步提高性能。在多个基准数据集上的实验证明了该方法的优越性。
2020-05-15 cs.CV cs.LG stat.ML
Noise May Contain Transferable Knowledge: Understanding Semi-supervised Heterogeneous Domain Adaptation from an Empirical Perspective
Beijing Teleinfo Technology Company Ltd.(北京 Teleinfo 科技有限公司);China Academy of Information and Communications Technology(中国信息通信研究院);Inspur Computer Technology Co., Ltd.(浪潮计算机技术有限公司);Southern University of Science and Technology(南方科技大学);Research Institute of Industrial Internet of Things(工业互联网物联网研究院);Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
本文通过约330个SHDA任务的实证实验,提出统一KTF框架,发现可迁移知识主要取决于源域的可迁移性与可判别性,甚至简单噪声也可成为有效源样本。
2025-02-19 cs.LG
Rethinking Robust Contrastive Learning from the Adversarial Perspective
University of YYY(YYY大学);Company Name(名称公司);Institute of WWW(WWW研究所)
本文从对抗视角分析对抗训练对自监督、监督对比学习及监督学习表示的影响,发现其可缩小对抗与干净表示差异并提升鲁棒性。
2023-06-06 cs.CV cs.LG
Semi-Supervised Graph Classification: A Hierarchical Graph Perspective
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
节点分类和图分类是两个图学习问题,分别预测节点的类标签和图的类标签。图的节点通常表示真实世界的实体,例如,社交网络中的用户,或者蛋白质-蛋白质相互作用网络中的蛋白质。在这项工作中,我们考虑一个更具挑战性但实际上有用的设置,其中节点本身是一个图形实例。这导致了一个层次图的观点,出现在许多领域,如社会网络,生物网络和文档收集。例如,在社交网络中,具有共同兴趣的一组人形成用户组,而多个用户组经由交互或共同成员互连。我们研究层次图中的节点分类问题,其中“节点”是图实例,例如,上例中的用户组。由于标签在现实世界的数据通常是有限的,我们设计了两个新的半监督的解决方案命名为\underline{SE}半监督gr \underline{A} ph c \underline{L}分类通过\underline{C} autitious/ \underline{A} ctive \underline{I}迭代(或简称SEAL-C/AI)。SEAL-C/AI采用迭代框架,轮流构建或更新两个分类器,一个工作在图实例级别,另一个工作在分层图级别。为了简化层次图的表示,我们提出了一种新的监督,自我关注的图形嵌入方法称为SAGE,它嵌入到固定长度的向量的任意大小的图形实例。通过对合成数据和腾讯QQ群数据的实验,我们证明了SEAL-C/AI不仅在准确性/Macro-F1方面显著优于竞争方法,而且还对学习的表示产生了…
2019-04-10 cs.CV cs.LG
Micro-supervised Disturbance Learning: A Perspective of Representation Probability Distribution
Southwest Jiaotong University(西南交通大学);Sichuan University(四川大学);University of Macau(澳门大学)
现有的基于欧氏距离的表示学习方法在广泛的条件下表现出不稳定性。此外,标签的稀缺性和高成本促使我们探索更有表现力的表示学习方法,这些方法依赖于尽可能少的标签。针对这些问题,首先在基于表征概率分布的表示学习模型中引入小扰动思想。该方法利用仅依赖于两个类标签的正向小扰动信息(SPI)来模拟RBM的表示概率分布,并提出了两种不同的RBM表示模型,即微监督扰动GRBM(Micro-DGRBM)和微监督扰动RBM(Micro-DRBM)模型。在对比发散(CD)学习中,SPI的KL发散在同一簇中被最小化,以促进表示概率分布变得更加相似。相比之下,SPI的KL发散在不同的聚类中被最大化,以强制表示概率分布在CD学习中变得更加不同。为了探索SPI连续刺激下的表示学习能力,提出了一种基于Micro-DGRBM和Micro-DRBM模型的深度微监督扰动学习(Micro-DL)框架,并将其与没有任何外部刺激的类似深度结构进行了比较。实验结果表明,所提出的深度Micro-DL架构表现出更好的性能相比,基线方法,最相关的浅层模型和深层框架聚类。
2021-10-06 cs.LG stat.ML
Bridging Contrastive Learning and Domain Adaptation: Theoretical Perspective and Practical Application
Centre Borelli(博雷利中心);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校)
本研究从理论视角揭示了对比学习与领域自适应的联系,证明最小化对比损失能降低CMMD并提升类别可分性,并在乳腺X光数据集上验证了其改善领域自适应和分类性能的有效性。
2025-01-28 cs.AI cs.LG
Towards the Mitigation of Confirmation Bias in Semi-supervised Learning: a Debiased Training Perspective
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对半监督学习中的确认偏差问题,提出TaMatch去偏差训练框架,通过基于先验分布和学习状态的缩放比例生成并差异化加权去偏差伪标签,显著提升图像分类性能。
2024-09-26 cs.LG stat.ML
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST(韩国科学技术院)
本研究通过将自监督表示学习表述为监督学习目标的近似,推导出与InfoNCE相关的损失函数,引入原型表示偏差和平衡对比损失概念,从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
Semi-supervised Symmetric Non-negative Matrix Factorization with Low-Rank Tensor Representation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Mathematical Sciences, Shenzhen University(深圳大学数学科学学院)
针对半监督 SNMF 中成对约束利用缺乏全局视角的问题,本文提出基于成对约束矩阵与相似矩阵合成张量的低秩表示及迭代增强框架,显著提升聚类性能。
2024-10-27 cs.LG
SiamMM: A Mixture Model Perspective on Deep Unsupervised Learning
Meta AI
本文从经典混合模型视角统一无监督聚类方法,提出 SiamMM 模型,在多个自监督学习基准上取得最先进性能,并能揭示数据中的潜在误标注。
2025-11-07 cs.CV cs.LG
Ten Years after ImageNet: A 360° Perspective on AI
Qatar Computing Research Institute(卡塔尔计算研究所);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);University of Southampton(南安普顿大学);Oxford University(牛津大学);Saarland University(萨尔大学)
神经网络卷土重来已经有十年了。借着这个周年纪念日,我们对人工智能(AI)采取了全面的观点。认知任务的监督学习得到了有效解决--前提是我们有足够的高质量标记数据。然而,深度神经网络模型不容易解释,因此黑盒和白盒建模之间的争论已经浮出水面。注意力网络、自监督学习、生成式建模、图神经网络等的兴起,拓宽了AI的应用空间。深度学习还推动了强化学习作为自主决策系统核心构建模块的回归。新人工智能技术可能带来的危害引发了诸如透明度、公平性和问责制等社会技术问题。人工智能由控制人才、计算资源以及最重要的数据的大科技公司主导,这可能会导致极端的人工智能鸿沟。如果不能达到高预期,以及像自动驾驶汽车这样的旗舰项目,可能会引发另一个人工智能冬天。
2022-10-01 cs.AI cs.IR cs.LG
The Pursuit of Human Labeling: A New Perspective on Unsupervised Learning
EPFL(洛桑联邦理工学院)
该研究提出模型无关的无监督框架HUME,基于人类标注类别线性可分的特性,在固定预训练表示上训练线性分类器推断人类标注,在多个图像分类基准上取得了最优性能,为无监督学习提供了新视角。
2023-11-06 cs.LG
Rethinking Semi-Supervised Medical Image Segmentation: A Variance-Reduction Perspective
Yale University(耶鲁大学);University of Oxford(牛津大学);University of Science and Technology of China(中国科学技术大学)
针对医学图像半监督分割中对比学习易致模型崩溃的问题,提出基于方差缩减估计与分层群理论的ARCO框架,在八个基准上显著优于现有方法。
2023-10-24 cs.AI cs.CV cs.LG
Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
State Key Lab of General AI, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院人工智能国家重点实验室);School of Engineering, Hong Kong University of Science and Technology(香港科技大学工程学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
本文从理论角度探讨了困难示例对无监督对比学习的影响,发现移除困难示例可提升下游分类性能,并通过理论分析和实验证明了其有效性。
2026-03-04 cs.AI cs.LG
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University(延世大学);Bank of Korea(韩国银行)
本文提出单纯形到单纯形嵌入模型(SSEM)作为理论框架,分析监督对比学习中超参数对表示的影响,并给出防止类别坍缩的实用指导,且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
Self-supervised learning of video representations from a child's perspective
Center for Data Science(数据科学中心);Department of Computer Science(计算机科学系);Department of Psychology, New York University(纽约大学心理学系)
本研究在儿童纵向第一人称头戴式摄像头录像上训练自监督视频模型,发现其能有效学习动作概念、展现视频插值能力并提取更鲁棒的物体表征,证明无需强归纳偏置即可从儿童视觉经验中习得世界的时间维度。
2024-10-16 cs.CV cs.LG cs.NE
A Mutual Information Maximization Perspective of Language Representation Learning
DeepMind(深度思维);Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
我们展示了最先进的单词表示学习方法最大化目标函数,该目标函数是单词序列的不同部分之间的互信息的下界(即,一个句子)。我们的公式提供了一个替代的观点,统一了经典的词嵌入模型(例如,Skip-gram)和现代上下文嵌入(例如,BERT、XLNet)。除了增强我们对这些方法的理论理解外,我们的推导还导致了一个原则性的框架,可以用来构建新的自我监督任务。我们提供了一个例子,从相关方法的启发,基于互信息最大化,已在计算机视觉中取得成功,并介绍了一个简单的自我监督的目标,最大化的全局句子表示和句子中的n-gram之间的互信息。我们的分析提供了表示学习方法的整体视图,以跨多个领域(例如,自然语言处理、计算机视觉、音频处理)。
2019-11-26 cs.CL cs.LG
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本文提出统一理论框架,首次推导任意对比损失的鲁棒条件,证明InfoNCE不鲁棒并提出对称InfoNCE(SymNCE),同时解释最近邻样本选择等已有技术,实验验证其抗标签噪声优势。
2025-01-02 cs.LG
Semi-Supervised Clustering via Information-Theoretic Markov Chain Aggregation
Graz University of Technology(格拉茨技术大学);Know-Center GmbH(Know-Center有限公司);Jagiellonian University(雅盖隆大学)
我们将半监督聚类问题与约束马尔可夫聚合联系起来,即,划分马尔可夫链的状态空间的任务。我们通过将数据集中的每个数据点视为马尔可夫链状态空间的一个元素,通过定义状态之间的转移概率(通过相应数据点之间的相似性)以及将半监督信息作为Hartigan式算法中的硬约束来实现这种连接。引入约束马尔可夫聚类(CoMaC)是最近的信息理论框架(无监督)马尔可夫聚合的半监督的情况下的扩展。实例化CoMaC的某些参数设置进一步概括了两个以前的信息理论目标的无监督聚类。我们的研究结果表明,CoMaC是有竞争力的最先进的。
2022-02-07 cs.LG
Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective
Texas A\&M University(德克萨斯A&M大学);University of Macau(澳门大学);Institute of Collaborative Innovation(协同创新研究院)
提出SWIFT方法,通过温度锐化softmax输出和分阶段训练,利用视觉语言模型和开放数据,在半监督少样本学习中显著提升性能,接近监督学习水平。
2026-06-26 cs.CV cs.LG
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督学习是一种具有标记和未标记数据的设置。在本调查中,我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时,包括未标记的数据实际上可能会降低性能。因此,研究这些方法,了解其背后的理论就显得尤为重要。在这篇综述中,我们收集了有关使用半监督学习时可能获得的收益的结果,以及有关此类方法的限制的结果。更确切地说,这篇综述收集了以下问题的答案:就改进监督方法而言,半监督学习的局限性是什么?不同方法的假设是什么?如果这些假设是真的,我们能得到什么?最后,我们还讨论了半监督学习的最大瓶颈,即它们所做的假设。
2020-07-30 cs.LG stat.ML
Information-theoretic Semi-supervised Metric Learning via Entropy Regularization
Tokyo Institute of Technology(东京工业大学);Purdue University(普渡大学)
我们提出了一个通用的信息理论方法,称为Seraph(SEMI监督metRic学习范式与超稀疏)的度量学习,不依赖于流形假设。给定由Mahalanobis距离参数化的概率,我们在标记数据上最大化该概率的熵,并在熵正则化后在未标记数据上最小化该概率的熵,这使得监督和非监督部分能够以自然和有意义的方式集成。此外,Seraph是正规化的鼓励低秩投影从度量。采用解析E-Step和凸M-Step的类EM格式,高效稳定地求解了Seraph的优化问题。实验表明,Seraph与许多知名的全局和局部度量学习方法相比毫不逊色。
2012-06-18 cs.LG stat.ML
A Graph-Theoretic Framework for Understanding Open-World Semi-Supervised Learning
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
针对开放世界半监督学习缺乏理论基础的问题,本文提出一套图论框架,证明SORL算法的损失最小化等价于图谱分解,给出聚类误差界,且实验中该算法性能匹配或优于多个强基线。
2023-11-06 cs.LG
Structure-aware Protein Self-supervised Learning
McGill University(麦吉尔大学);MILA - Quebec AI Institute(MILA——魁北克人工智能研究所);Baidu Research(百度研究院);Baidu Inc.(百度公司)
针对现有蛋白质语言模型忽略结构信息的问题,提出一种结构感知的自监督学习方法,利用图神经网络从残基距离和二面角视角预训练,并通过伪双层优化融合序列与结构信息,在下游任务中验证了有效性。
2023-04-08 cs.AI cs.LG q-bio.QM
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd(广州虎牙科技有限公司);University of Oxford(牛津大学)
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能,他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发,我们提出了两个一般原则:1)单调递减和2)边际概率惩罚,用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同,我们提供了一个新的视角,将开集人脸识别视为一个信息传输问题。同时,该算法在保证更多干净信息的前提下,具有较好的泛化能力。提出了一种称为线性自动TS编码器(LASSE)的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明,LASSE有助于人脸嵌入获得更强的泛化能力,并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
The game theoretic p-Laplacian and semi-supervised learning with few labels
Department of Mathematics, University of Minnesota(明尼苏达大学数学系)
研究了图上半监督学习中的博弈论p-拉普拉斯方程,证明其在有限标签和无限未标签数据极限下的良好性,展示其连续极限为加权连续p-拉普拉斯方程,并证明图p-拉普拉斯方程的解在高概率下近似Hölder连续。
2018-08-27 cs.LG cs.NA math.AP
An information-Theoretic Approach to Semi-supervised Transfer Learning
Tel Aviv University(特拉维夫大学);University College London(伦敦大学学院)
针对半监督迁移学习中源域与目标域分布差异影响性能的问题,提出基于互信息和劳图姆信息的目标数据正则化信息论方法,可提升深度神经网络可迁移性,并经实验验证有效。
2023-06-11 cs.LG
Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);New York University(纽约大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Center of Data Science(数据科学中心)
该研究针对半监督分类问题,从理论上证明关系知识蒸馏(RKD)可转化为谱聚类并实现低聚类误差,提出聚类感知半监督学习框架,揭示了RKD与一致性正则化分别提供全局与局部视角。
2023-10-23 cs.LG stat.ML
Information-Theoretic Perspectives on Optimizers
University of YYY(YYY大学);Institute of WWW(WWW研究院)
本文提出熵间隙信息论指标,弥补锐度指标不足,解释优化器与架构的相互作用,并据此改进Lion优化器。
2025-02-28 cs.LG
A Weakly Supervised Learning Approach based on Spectral Graph-Theoretic Grouping
University of Waterloo(滑铁卢大学)
在这项研究中,弱监督分类的谱图论分组策略,其中有限数量的标记样本和较大的未标记样本集被用来构建一个更大的注释训练集组成的强标记和弱标记的样本。强标记样本集合与未标记样本集合之间的固有关系经由谱分组来建立,其中未标记样本随后基于相关联的谱组内的强标记样本进行弱注释。一些相似性图模型的光谱分组,包括两个新的相似性图模型在这项研究中介绍,探讨其性能的背景下,弱监督分类在处理不同类型的数据。使用基准数据集以及真实EMG数据集的实验结果表明,所提出的弱监督分类方法可以提供显着的分类性能的改善,并且所提出的相似性图模型可以导致最终的学习结果,其在弱监督分类的谱分组的背景下优于或等同于现有的相似性图模型。
2015-08-03 cs.AI cs.LG
The information-theoretic value of unlabeled data in semi-supervised learning
Harvard University(哈佛大学);Yahoo Research(雅虎研究院)
我们量化了在两种设置中学习所需的标记示例数量之间的分离:具有和不具有未标记数据分布知识的设置。更具体地说,我们证明了一个分离的$Θ(\log n)$乘法因子的投影类上的布尔超立方体的尺寸$n$。我们证明了在任意大小的整环上,所有函数的类都不存在分离性。利用分布的知识进行学习(a.k.a.固定分布学习)可以被看作是半监督学习的理想化场景,其中未标记的数据点的数量如此之大,以至于未标记的分布是精确已知的。出于这个原因,我们将这种分离称为未标记数据的值。
2019-05-13 cs.LG stat.ML
Blocked and Hierarchical Disentangled Representation From Information Theory Perspective
University of Chinese Academy of Sciences(中国科学院大学);Information Science Academy of China Electronics Technology Group Corporation(中国电子科技集团公司信息科学研究院)
我们提出了一种新的理论模型,分块和分层的变分自编码器(BHiVAE),以获得更好的解纠缠表示。众所周知,信息论对于网络具有极好的解释意义,因此我们从信息论的角度着手解决解纠缠问题。BHiVAE主要来源于信息瓶颈理论和信息最大化原理。我们的主要思想是:(1)神经元块不是只有一个神经元节点用来表示属性,它可以包含足够的信息;(2)在不同的层上创建一个具有不同属性的层次结构,这样我们就可以在每一层内分割信息,以确保最终的表示是解纠缠的。此外,我们分别提出了有监督和无监督的BHiVAE,其中的差异主要体现在不同块之间的信息分离上。在监督BHiVAE中,我们利用标签信息作为标准来分离块。在无监督的BHiVAE中,在没有额外信息的情况下,我们使用总相关(TC)度量来实现独立性,并且我们设计了一个新的潜在空间的先验分布来指导表示学习。它还表现出良好的解纠缠的结果在实验中和优越的分类精度在表示学习。
2021-01-21 cs.IT cs.LG math.IT
TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning
Microsoft Research-Asia(微软亚洲研究院);Peking University(北京大学);Capital Medical University(首都医科大学);UC Berkeley(加州大学伯克利分校);Deepwise AI Lab(深睿人工智能实验室)
融合来自多个模态的数据为训练机器学习系统提供更多信息。然而,它是昂贵的和耗时的标记每个模态与大量的数据,这导致了一个关键的问题,半监督多模态学习。现有方法要么存在跨模态融合无效的问题,要么缺乏适当假设下的理论保证。在本文中,我们提出了一种新的信息理论方法,即\textbf{T}总\textbf{C}或关系\textbf{G}和\textbf{M}最大化(TCGM),用于半监督多模态学习,它被赋予了有前途的属性:(i)它可以有效地利用未标记数据点的不同模态之间的信息,以便于训练每种模态的分类器。(ii)它具有识别贝叶斯分类器的理论保证,也就是说,所有模态的地面真实后验。具体而言,通过在所有模态的分类器上最大化TC引起的损失(即TC增益),这些分类器可以协作地发现地面实况分类器的等效类;并且通过利用有限百分比的标记数据来识别独特的分类器。我们将我们的方法应用于各种任务,并取得了最先进的结果,包括新闻分类,情感识别和疾病预测。
2020-07-14 cs.CV cs.LG
Measuring a hate speech spectrum with faceted Rasch item response theory and perspective-aware, explainable-by-design deep learning
Center for Precision Psychiatry, Mass General Hospital Department of Psychiatry, Harvard Medical School(精准精神病学中心,麻省总医院精神病科,哈佛医学院);D-Lab University of California, Berkeley(加州大学伯克利分校D实验室)
提出结合监督深度学习与分面Rasch项目反应理论的方法,将仇恨言论分解为10个有序标签,通过IRT模型转化为区间测量值并调整标注者视角,在RoBERTa模型上提升准确性,实现连续谱系测量与可解释性。
2026-06-08 cs.CL cs.LG cs.SI
On the robustness of self-supervised representations for multi-view object classification
University of the Witwatersrand(威特沃特斯兰德大学)
众所周知,来自自监督预训练的表示可以在各种下游任务上与来自完全监督预训练的表示表现相当,并且通常更好。这已经在诸如通用对象分类和检测、语义分割和图像检索之类的大量设置中示出。然而,最近出现了一些问题,展示了自监督表示的一些失败模式,例如非ImageNet类数据或复杂场景的性能。在本文中,我们表明,自我监督表示的基础上的实例歧视目标导致更好的表示对象,更强大的变化的观点和观点的对象。我们对多个监督基线进行现代自监督方法的实验来证明这一点,包括通过单应性近似对象视点变化,以及基于多个多视图数据集的真实世界测试。我们发现,自监督表示更强大的对象的观点,似乎编码更多的相关信息的对象,促进从新的观点对象的识别。
2022-07-27 cs.CV cs.LG
Information theoretic underpinning of self-supervised learning by clustering
Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音和信号处理中心);Surrey Institute for People-Centred AI (PAI)(Surrey 以人为本的人工智能研究所)
本文通过类比监督学习,将自监督学习建模为K-L散度优化,提出通过教师分布约束防止模式崩溃,并理论化了知识蒸馏与中心化等常用方法。
2026-05-12 cs.IT cs.LG math.IT