Can Pretext-Based Self-Supervised Learning Be Boosted by Downstream Data? A Theoretical Analysis
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于预文本的自监督学习通过手工构造的预文本任务在未标记数据上学习语义表示,然后将学习到的表示用于下游任务,有效地降低了条件独立条件下下游任务的样本复杂度。然而,如果CI条件不成立,下游样本复杂度会变得更糟。一个有趣的问题是,我们是否可以通过使用下游数据来改进未标记数据以促进自监督学习,从而使CI条件成立。乍一看,人们可能会认为提前看到下游数据总是会提高下游的表现。然而,我们表明,这不是直观上正确的,并指出,在某些情况下,它反而损害了最终的性能。特别是,我们证明了用于数据细化的下游样本的数量的模型自由和模型依赖的下界。此外,我们在合成和真实世界的数据集上进行了各种实验,以验证我们的理论结果。
2022-02-23 cs.AI cs.LG stat.ML
Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
半监督学习是一种具有标记和未标记数据的设置。在本调查中,我们探讨了在分类和回归任务中使用未标记数据时的不同类型的理论结果。大多数使用未标记数据的方法都依赖于对数据分布的某些假设。当这些假设在现实中不满足时,包括未标记的数据实际上可能会降低性能。因此,研究这些方法,了解其背后的理论就显得尤为重要。在这篇综述中,我们收集了有关使用半监督学习时可能获得的收益的结果,以及有关此类方法的限制的结果。更确切地说,这篇综述收集了以下问题的答案:就改进监督方法而言,半监督学习的局限性是什么?不同方法的假设是什么?如果这些假设是真的,我们能得到什么?最后,我们还讨论了半监督学习的最大瓶颈,即它们所做的假设。
2020-07-30 cs.LG stat.ML
Information-theoretic Semi-supervised Metric Learning via Entropy Regularization
Tokyo Institute of Technology(东京工业大学);Purdue University(普渡大学)
我们提出了一个通用的信息理论方法,称为Seraph(SEMI监督metRic学习范式与超稀疏)的度量学习,不依赖于流形假设。给定由Mahalanobis距离参数化的概率,我们在标记数据上最大化该概率的熵,并在熵正则化后在未标记数据上最小化该概率的熵,这使得监督和非监督部分能够以自然和有意义的方式集成。此外,Seraph是正规化的鼓励低秩投影从度量。采用解析E-Step和凸M-Step的类EM格式,高效稳定地求解了Seraph的优化问题。实验表明,Seraph与许多知名的全局和局部度量学习方法相比毫不逊色。
2012-06-18 cs.LG stat.ML
A Weakly Supervised Learning Approach based on Spectral Graph-Theoretic Grouping
University of Waterloo(滑铁卢大学)
在这项研究中,弱监督分类的谱图论分组策略,其中有限数量的标记样本和较大的未标记样本集被用来构建一个更大的注释训练集组成的强标记和弱标记的样本。强标记样本集合与未标记样本集合之间的固有关系经由谱分组来建立,其中未标记样本随后基于相关联的谱组内的强标记样本进行弱注释。一些相似性图模型的光谱分组,包括两个新的相似性图模型在这项研究中介绍,探讨其性能的背景下,弱监督分类在处理不同类型的数据。使用基准数据集以及真实EMG数据集的实验结果表明,所提出的弱监督分类方法可以提供显着的分类性能的改善,并且所提出的相似性图模型可以导致最终的学习结果,其在弱监督分类的谱分组的背景下优于或等同于现有的相似性图模型。
2015-08-03 cs.AI cs.LG
InfoGraph: Unsupervised and Semi-supervised Graph-Level Representation Learning via Mutual Information Maximization
National Taiwan University(国立台湾大学);Mila-Quebec Institute for Learning Algorithms(米拉-魁北克学习算法研究所);Harvard University(哈佛大学);Aalto University(阿尔托大学);HEC Montreal(蒙特利尔高等商学院)
本文研究了在无监督和半监督的情况下学习整个图的表示。图级表示在诸如预测分子性质和社交网络中的社区分析等各种实际应用中是至关重要的。传统的基于图核的方法是简单的,但有效地获得固定长度的表示图,但他们遭受由于手工设计的泛化能力差。最近也有一些基于语言模型(例如graph2vec)的方法,但它们往往只考虑某些子结构(例如子树)作为图的代表。受无监督表示学习最新进展的启发,本文提出了一种新的学习图级表示的方法InfoGraph。我们最大化图级表示与不同尺度的子结构的互信息(例如,节点、边、三角形)。通过这样做,图级表示对跨不同尺度的子结构共享的数据的方面进行编码。此外,我们还提出了InfoGraph*,这是InfoGraph在半监督场景中的扩展。InfoGraph* 最大化了InfoGraph学习的无监督图表示与现有监督方法学习的表示之间的互信息。因此,监督编码器从未标记的数据中学习,同时保留当前监督任务所青睐的潜在语义空间。图分类和分子性质预测任务的实验结果表明,InfoGraph优于最先进的基线,InfoGraph* 可以实现与最先进的半监督模型相媲美的性能。
2020-01-17 cs.AI cs.LG stat.ML
Semi-Supervised Information-Maximization Clustering
Daniele Calandriello
半监督聚类的目的是在聚类算法的决策过程中引入先验知识。在本文中,我们提出了一种新的半监督聚类算法的信息最大化原则的基础上。该方法是一个扩展的无监督的信息最大化聚类算法的基础上平方损失互信息,有效地将必须链接和不能链接。所提出的方法是计算效率,因为聚类的解决方案可以通过特征分解解析。此外,所提出的方法允许系统优化的调谐参数,如内核宽度,给定的程度的信念,必须链接和不能链接。通过实验证明了该方法的有效性。
2013-05-01 cs.LG stat.ML
Random Matrix Analysis to Balance between Supervised and Unsupervised Learning under the Low Density Separation Assumption
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出QLDS线性分类模型,通过二次间隔最大化实现低密度分离假设,在监督与无监督学习间建立平滑桥梁,并利用随机矩阵理论推导超参数选择策略,计算高效且优于交叉验证。
2023-10-20 cs.AI cs.LG stat.ML
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology(北京理工大学)
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理,以自监督的方式学习不同视图之间的共同信息,并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类(SIB-MSC)。继承了信息瓶颈的优点,SIB-MSC可以为每个视图学习潜在空间,通过从视图本身去除多余的信息,同时为其他视图的潜在表示保留足够的信息,来捕获不同视图的潜在表示之间的公共信息。实际上,每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外,SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息,通过引入互信息为基础的正则化条款,以便进一步提高多视图子空间聚类的性能。据我们所知,这是第一个工作,探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明,我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
Semi-supervised cross-entropy clustering with information bottleneck constraint
Jagiellonian University(雅盖隆大学);Technical University of Munich(慕尼黑工业大学)
在本文中,我们提出了一种半监督聚类方法,CEC-IB,模型数据与一组高斯分布和检索集群的基础上提供的部分标签的用户(分区级边信息)。通过将交叉熵聚类(CEC)的思想与信息瓶颈方法(IB)的思想相结合,我们的方法在三个相互冲突的目标之间进行交易:数据集建模的准确性,模型的简单性,以及聚类与边信息的一致性。实验表明,CEC-IB在经典的半监督场景中具有与高斯混合模型(GMM)相当的性能,但速度更快,对噪声标签更具鲁棒性,自动确定最佳聚类数量,并且在边信息中不存在所有类别时表现良好。此外,与其他半监督模型相比,它可以成功地应用于发现自然子群,如果分区级别的边信息是来自一个层次聚类的顶层。
2017-05-03 cs.LG stat.ML
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST(韩国科学技术院)
本研究通过将自监督表示学习表述为监督学习目标的近似,推导出与InfoNCE相关的损失函数,引入原型表示偏差和平衡对比损失概念,从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
The information-theoretic value of unlabeled data in semi-supervised learning
Harvard University(哈佛大学);Yahoo Research(雅虎研究院)
我们量化了在两种设置中学习所需的标记示例数量之间的分离:具有和不具有未标记数据分布知识的设置。更具体地说,我们证明了一个分离的$Θ(\log n)$乘法因子的投影类上的布尔超立方体的尺寸$n$。我们证明了在任意大小的整环上,所有函数的类都不存在分离性。利用分布的知识进行学习(a.k.a.固定分布学习)可以被看作是半监督学习的理想化场景,其中未标记的数据点的数量如此之大,以至于未标记的分布是精确已知的。出于这个原因,我们将这种分离称为未标记数据的值。
2019-05-13 cs.LG stat.ML
Learning Weakly-Supervised Contrastive Representations
Carnegie Mellon University(卡内基梅隆大学)
我们认为,辅助信息提供的一种形式的有价值的信息是其隐含的数据聚类信息。例如,将主题标签视为辅助信息,我们可以假设Instagram图像在语义上与相同的主题标签更相似。有了这个直觉,我们提出了一个两阶段的弱监督对比学习方法。第一阶段是根据数据的辅助信息对数据进行聚类。第二阶段是学习相同集群内的相似表示和来自不同集群的数据的不同表示。我们的实证实验表明以下三个贡献。首先,与传统的自监督表示相比,注入冗余信息的表示使性能更接近于使用直接下游标签作为监督信号的监督表示。第二,我们的方法在大多数情况下表现最好,当我们的方法与其他基线表示学习方法,也利用辅助数据信息进行比较。第三,我们表明,我们的方法也适用于无监督的构造集群(例如,无辅助信息),从而产生强的无监督表示学习方法。
2022-02-18 cs.AI cs.LG
What Do We Maximize in Self-Supervised Learning?
New York University(纽约大学);Meta AI Research(Meta人工智能研究院)
在本文中,我们研究了自监督学习方法,特别是VICReg,以提供对其构建的信息理论理解。作为第一步,我们展示了如何信息理论的数量可以获得一个确定性的网络,提供了一个可能的替代以前的工作,依赖于随机模型。这使我们能够演示如何从第一原理及其关于数据分布的假设中(重新)发现VICReg。此外,我们实证证明了我们的假设的有效性,证实了我们对VICReg的新理解。最后,我们相信我们获得的推导和见解可以推广到许多其他SSL方法,为SSL和迁移学习的理论和实践理解开辟了新的途径。
2022-07-20 cs.AI cs.LG
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University(延世大学);Bank of Korea(韩国银行)
本文提出单纯形到单纯形嵌入模型(SSEM)作为理论框架,分析监督对比学习中超参数对表示的影响,并给出防止类别坍缩的实用指导,且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
The game theoretic p-Laplacian and semi-supervised learning with few labels
Department of Mathematics, University of Minnesota(明尼苏达大学数学系)
研究了图上半监督学习中的博弈论p-拉普拉斯方程,证明其在有限标签和无限未标签数据极限下的良好性,展示其连续极限为加权连续p-拉普拉斯方程,并证明图p-拉普拉斯方程的解在高概率下近似Hölder连续。
2018-08-27 cs.LG cs.NA math.AP
Self-supervised Learning from a Multi-view Perspective
Carnegie Mellon University(卡内基梅隆大学)
作为无监督表示学习的一个子集,自监督表示学习采用自定义信号作为监督,并将学习到的表示用于下游任务,例如目标检测和图像描述。许多提出的用于自监督学习的方法自然地遵循多视图视角,其中输入(例如,原始图像)和自监督信号(例如,增强图像)可以被看作数据的两个冗余视图。从这个多视角的角度来看,本文提供了一个信息理论的框架,以更好地理解的属性,鼓励成功的自监督学习。具体来说,我们证明了自监督学习表示可以提取任务相关的信息和丢弃任务无关的信息。我们的理论框架为自监督学习目标设计的更大空间铺平了道路。特别是,我们提出了一个复合目标,弥合了以前的对比和预测学习目标之间的差距,并引入了一个额外的目标项,以丢弃任务无关的信息。为了验证我们的分析,我们进行对照实验,以评估复合目标的影响。我们还探讨了我们的框架的经验泛化超越多视图的角度来看,跨视图冗余可能不会被清楚地观察到。
2021-03-22 cs.LG stat.ML
To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review
New York University(纽约大学);Meta AI - FAIR
本文从信息理论视角审视自监督学习方法,引入统一框架涵盖自监督信息理论学习问题,探讨当代方法论、研究方向及信息理论量的经验评估,提供信息理论、自监督学习与深度神经网络交叉领域的详尽综述。
2023-11-21 cs.IT cs.LG math.IT
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本文提出统一理论框架,首次推导任意对比损失的鲁棒条件,证明InfoNCE不鲁棒并提出对称InfoNCE(SymNCE),同时解释最近邻样本选择等已有技术,实验验证其抗标签噪声优势。
2025-01-02 cs.LG
Semi-Supervised Clustering via Information-Theoretic Markov Chain Aggregation
Graz University of Technology(格拉茨技术大学);Know-Center GmbH(Know-Center有限公司);Jagiellonian University(雅盖隆大学)
我们将半监督聚类问题与约束马尔可夫聚合联系起来,即,划分马尔可夫链的状态空间的任务。我们通过将数据集中的每个数据点视为马尔可夫链状态空间的一个元素,通过定义状态之间的转移概率(通过相应数据点之间的相似性)以及将半监督信息作为Hartigan式算法中的硬约束来实现这种连接。引入约束马尔可夫聚类(CoMaC)是最近的信息理论框架(无监督)马尔可夫聚合的半监督的情况下的扩展。实例化CoMaC的某些参数设置进一步概括了两个以前的信息理论目标的无监督聚类。我们的研究结果表明,CoMaC是有竞争力的最先进的。
2022-02-07 cs.LG
Integrating Auxiliary Information in Self-supervised Learning
Carnegie Mellon University(卡内基梅隆大学)
本文提出整合辅助信息(例如,数据的附加属性,例如Instagram图像的主题标签)。我们首先观察到,辅助信息可能会为我们带来有关数据结构的有用信息:例如,具有相同主题标签的Instagram图像在语义上可能相似。因此,为了充分利用辅助信息中的结构信息,我们提出了根据辅助信息构建数据聚类。然后,我们介绍了聚类InfoNCE(Cl-InfoNCE)目标,该目标学习来自同一聚类的数据的增强变体的相似表示和来自不同聚类的数据的不同表示。我们的方法贡献如下:1)与传统的自监督表示相比,注入了语义信息的自监督表示使性能更接近监督表示; 2)所提出的Cl-InfoNCE也可以与无监督的构造聚类(例如,k-means聚类),并优于基于强聚类的自监督学习方法,如原型对比学习(PCL)方法; 3)我们表明,Cl-InfoNCE可能是一个更好的方法来利用数据聚类信息,通过比较它的基线方法-学习预测交叉熵损失的聚类分配。为了进行分析,我们将学习表示的良好性与统计关系联系起来:i)标签和聚类之间的互信息,以及ii)给定标签的聚类的条件熵。
2021-06-05 cs.LG
Fairness in Supervised Learning: An Information Theoretic Approach
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自动决策系统越来越多地用于现实世界的应用。在这些系统中,大多数情况下,决策规则是通过最小化可用历史数据的训练误差来导出的。因此,如果数据中存在与敏感属性(例如性别、种族、宗教等)相关的偏见,例如由于针对特定人口的文化/历史歧视性做法,则系统可以通过将所述偏见包括在其决策规则中来继续决策中的歧视。我们提出了一个信息理论的框架,设计公平的预测数据,其目的是防止歧视对指定的敏感属性在监督学习设置。我们使用均衡的几率作为判别标准,这要求预测应该独立于以实际标签为条件的受保护属性。为了同时确保公平性和泛化性,我们将数据压缩为辅助变量,用于预测任务。选择该辅助变量,以便从均衡赔率的意义上去除歧视性属性。通过对辅助变量应用贝叶斯决策规则来获得最终预测值。
2018-07-29 cs.AI cs.IT cs.LG
Improving Supervised Phase Identification Through the Theory of Information Losses
本文研究了配电系统中的相位辨识问题。特别是,它侧重于提高监督学习的准确性,专注于利用一些问题的信息理论属性。这种关注,以及信息理论机器学习(ITML)的最新进展,帮助我们创建了两种新技术。第一个将信息损失的界限转化为数据选择技术。这是重要的,因为在实践中很难获得相位识别数据标签。第二部分从ITML的角度解释了配电系统的性质。这使我们能够在应用于问题的任何分类器所学习的表示中获得改进。我们在真实数据集上对这两种技术进行了实验测试,发现它们在每种情况下都能产生惊人的性能。在最极端的情况下,它们将相位识别精度从$51.7\%$提高到$97.3\%$。此外,由于许多问题共享的物理性质,相位识别利用本文中,该技术可以应用到广泛的类似问题。
2019-11-04 cs.LG stat.ML
A Graph-Theoretic Framework for Understanding Open-World Semi-Supervised Learning
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
针对开放世界半监督学习缺乏理论基础的问题,本文提出一套图论框架,证明SORL算法的损失最小化等价于图谱分解,给出聚类误差界,且实验中该算法性能匹配或优于多个强基线。
2023-11-06 cs.LG
DeepFork: Supervised Prediction of Information Diffusion in GitHub
University of Central Florida(中佛罗里达大学)
信息在复杂的社交网络上传播速度极快,换句话说,一条信息可以在短时间内迅速传播。通常情况下,在出现重大混乱之前,很难阻止这种扩散,无论是社交媒体还是在线编码平台。GitHub是一个这样的趋势在线焦点,任何企业都可以同时接触到他们的潜在贡献者和客户。通过利用这样的软件开发范式,数以百万计的自由软件最近出现在不同的社区。为了了解GitHub中各类用户之间的人类影响、信息传播和信息传播的演变,我们开发了一个深度神经网络模型:DeepFork,这是一种基于监督机器学习的方法,旨在预测复杂社交网络中的信息扩散;考虑节点和拓扑特征。在我们的实证研究中,我们观察到信息扩散可以通过使用监督学习的链接预测来检测。DeepFork优于其他机器学习模型,因为它可以更好地从输入特征中学习判别模式。DeepFork通过用户和存储库的双向网络帮助理解信息传播和演变,即,信息流从用户到存储库再到用户。
2019-10-17 cs.AI cs.LG cs.MA
Semi-supervised Contrastive Learning Using Partial Label Information
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
本文提出一种名为 Nullspace Tuning 的半监督对比学习方法,利用无标签样本中的部分标签信息(即已知子集具有相同标签),通过鼓励模型对同类样本给出相同预测来优化线性模型的零空间,在多个公共数据集上使测试误差显著降低。
2024-06-03 cs.LG stat.ML
Information Planning for Text Data
Massachusetts Institute of Technology(麻省理工学院)
信息规划可以用更少的训练示例实现更快的学习。它特别适用于获取训练示例的成本很高的情况。这项工作通过关注三种监督模型:Naive Bayes,监督LDA和深度神经网络来研究文本数据信息规划的优势。我们表明,基于熵和互信息的规划优于随机选择基线,因此加快了学习。
2018-03-21 cs.LG stat.ML
A Theoretical Study of Inductive Biases in Contrastive Learning
Stanford University(斯坦福大学)
本研究首次从理论上分析了模型架构的归纳偏置对对比学习的影响,证明容量有限的模型会恢复兼容架构的聚类结构而忽略其他结构,并在合成数据上提供了实证支持。
2023-04-08 cs.LG stat.ML
Inverting Supervised Representations with Autoregressive Neural Density Models
University of Edinburgh(爱丁堡大学);Microsoft Research Cambridge(微软剑桥研究院);Alan Turing Institute(艾伦·图灵研究所)
我们提出了一种方法,利用自回归密度估计模型的最新进展,反转模型表示的功能解释。我们训练生成反演模型来表达以中间模型表示为条件的输入特征的分布。通过查看这些反演模型的样本,可以深入了解监督模型学习的不变性。此外,我们可以使用这些反演模型来估计模型的输入与其中间表示之间的互信息,从而量化网络在不同阶段保留的信息量。使用这种方法,我们检查了保留在卷积神经网络的不同层的信息的类型,并探索不同的架构选择引起的不变性。最后,我们证明了输入和网络层之间的互信息在训练过程中会减少,这支持了Shwartz-Ziv和Tishby(2017)最近关于深度学习的信息瓶颈理论的工作。
2019-01-02 cs.LG stat.ML
An information-Theoretic Approach to Semi-supervised Transfer Learning
Tel Aviv University(特拉维夫大学);University College London(伦敦大学学院)
针对半监督迁移学习中源域与目标域分布差异影响性能的问题,提出基于互信息和劳图姆信息的目标数据正则化信息论方法,可提升深度神经网络可迁移性,并经实验验证有效。
2023-06-11 cs.LG
From Random to Supervised: A Novel Dropout Mechanism Integrated with Global Information
Beijing University of Post and Telecommunication(北京邮电大学);Beijing Normal University(北京师范大学)
Dropout用于通过在训练期间从神经网络随机丢弃单元来避免过拟合。受dropout方法的启发,提出了一种结合全局信息的dropout方法GI-Dropout,用于改进神经网络的文本分类。与传统的dropout方法不同,在dropout方法中,单元根据相同的概率随机丢弃,我们的目标是使用基于数据集全局信息的显式指令来指导训练过程。使用GI-Dropout,模型应该更加关注不明显的特征或模式。实验结果表明,辍学的有效性与全球信息的七个文本分类任务,包括情感分析和主题分类。
2018-10-10 cs.CL cs.LG stat.ML
A random matrix analysis and improvement of semi-supervised learning for large dimensional data
CentraleSupélec(中央理工-高等电力学院)
本文对一类面向图的半监督学习算法在大量数据限制下的行为提供了一种新颖的理解。它表明,在这些方法的根源的直觉崩溃在这个限制,因此,他们中的大多数变得不一致。校正措施和一个新的数据驱动的参数化方案提出了理论分析的渐近性能的方法。在整个文章中还说明了高斯混合模型和真实数据集上的理论性能之间惊人的接近行为,从而表明了所提出的分析对处理实际数据的重要性。其结果是,显着的性能增益观察到实际数据分类使用建议的参数化。
2017-11-09 cs.LG stat.ML
Efficient Modeling of Latent Information in Supervised Learning using Gaussian Processes
Inferentia Limited(Inferentia有限公司);University of Sheffield(谢菲尔德大学)
通常在机器学习中,数据被收集为多个条件的组合,例如,多个人的语音记录,每个人都有一个ID。我们如何建立一个模型,捕捉与这些条件相关的潜在信息,并推广到一个新的数据很少?我们提出了一个新的模型,称为潜在变量多输出高斯过程(LVMOGP),并允许联合建模多个条件的回归和推广到一个新的条件与测试时的几个数据点。LVMOGP推断高斯过程的后验以及表示关于不同条件的信息的潜在空间。我们推导出一种有效的变分推断方法LVMOGP,其计算复杂度与稀疏高斯过程一样低。我们表明,LVMOGP显着优于相关的高斯过程方法在各种任务的合成和真实数据。
2017-05-27 cs.LG stat.ML
Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning
National University of Singapore(新加坡国立大学)
这项工作的重点是使用多个可能不可靠的传感器来学习有用且鲁棒的深度世界模型。我们发现,目前的方法不足以鼓励模态之间的共享表示,这可能会导致下游任务的性能不佳和过度依赖特定的传感器。作为解决方案,我们贡献了一个新的多模态深层潜在状态空间模型,使用互信息下限进行训练。关键的创新是一个专门设计的密度比估计,鼓励每一种形式的潜在代码之间的一致性。我们的任务是在多模态Natural MuJoCo基准和具有挑战性的Table Wiping任务上学习策略(以自我监督的方式)。实验表明,我们的方法明显优于最先进的深度强化学习方法,特别是在存在缺失观测的情况下。
2021-07-06 cs.AI cs.LG cs.RO
The Power of Contrast for Feature Learning: A Theoretical Analysis
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
本文在线性表示设置下理论证明对比学习优于自编码器和生成对抗网络,并分析监督对比学习中标签数据的影响,为对比学习的优越性提供理论支持。
2023-12-20 cs.LG stat.ML
SUGAR: Subgraph Neural Network with Reinforcement Pooling and Self-Supervised Mutual Information Mechanism
Beihang University(北京航空航天大学);Macquarie University(麦考瑞大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Lehigh University(理海大学)
图表示学习越来越受到人们的关注。然而,大多数现有的研究融合了所有的结构特征和节点属性,以提供一个总体视图的图,忽略了更精细的子结构的语义,并遭受解释之谜。本文提出了一种新的分层子图级选择和嵌入的图神经网络的图分类,即糖,学习更多的判别子图表示和响应的解释性的方式。SUGAR通过提取显著子图作为原始图的代表部分来重建草图图,以揭示子图级模式。为了在不需要先验知识的情况下自适应地选择攻击子图,我们提出了一种增强池机制,提高了模型的泛化能力。为了区分图之间的子图表示,我们提出了一个自我监督的互信息机制,鼓励子图嵌入要注意的全局图的结构特性,最大限度地提高他们的互信息。在六个典型的生物信息学数据集上进行的大量实验表明,模型质量得到了显着和一致的改善,具有竞争力的性能和可解释性。
2021-05-24 cs.AI cs.LG
Information theoretic underpinning of self-supervised learning by clustering
Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音和信号处理中心);Surrey Institute for People-Centred AI (PAI)(Surrey 以人为本的人工智能研究所)
本文通过类比监督学习,将自监督学习建模为K-L散度优化,提出通过教师分布约束防止模式崩溃,并理论化了知识蒸馏与中心化等常用方法。
2026-05-12 cs.IT cs.LG math.IT
CRMSP: A Semi-supervised Approach for Key Information Extraction with Class-Rebalancing and Merged Semantic Pseudo-Labeling
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件学院)
针对长尾分布下关键信息抽取的半监督学习挑战,提出CRMSP方法,通过类重平衡伪标签模块和合并语义伪标签模块增加对尾部类别的关注并聚类尾部特征,在多个基准上达到SOTA。
2024-07-19 cs.AI cs.LG
Semi-Supervised Node Classification by Graph Convolutional Networks and Extracted Side Information
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
存在于集群中的图的节点更有可能彼此连接,而不是与图中的其他节点连接。然后揭示一些节点的一些信息,图的结构(图边)提供了了解其他节点更多信息的机会。从这个角度来看,本文重温了节点分类任务,在半监督的情况下,图卷积网络(GCN)。我们的目标是从围绕显示的节点标签循环的信息流中受益。本文的贡献是双重的。首先,本文提供了一种从图实现中提取边信息的方法。然后提出了一种新的GCN结构,将传统GCN的输出与提取的边信息相结合。本文的另一个贡献是相关的非图观察(独立的边信息),存在于旁边的图实现在许多应用程序。实际上,所提取的边信息可以被独立于图结构的边信息序列替换。对于这两种情况下,在合成和真实世界的数据集上的实验表明,与现有的最先进的节点分类任务的方法相比,所提出的模型实现了更高的预测精度。
2020-11-13 cs.LG cs.SI stat.ML
Disentangled Variational Auto-Encoder for Semi-supervised Learning
Northwestern Polytechnical University(西北工业大学);Pennsylvania State University(宾夕法尼亚州立大学);Nanyang Technological University(南洋理工大学)
半监督学习由于许多领域的数据集缺乏足够的标记数据而受到越来越多的关注。特别是变分自动编码器(VAE)已经证明了半监督学习的好处。大多数现有的半监督VAE利用分类器来利用标签信息,其中分类器的参数被引入到VAE。给定有限的标记数据,学习分类器的参数可能不是利用标签信息的最佳解决方案。因此,在本文中,我们开发了一种新的方法,半监督VAE没有分类器。具体地说,我们提出了一种新的半监督解纠缠VAE(Semi-supervised Disentangled VAE,SDVAE)模型,该模型将输入数据编码为解纠缠表示和不可解释表示,然后通过等式约束直接利用类别信息对解纠缠表示进行正则化.为了进一步增强所提出的VAE的特征学习能力,我们将强化学习,以减轻数据的缺乏。动态框架能够处理图像和文本数据及其相应的编码器和解码器网络。在图像和文本数据集上的大量实验证明了该框架的有效性。
2018-12-02 cs.AI cs.LG
No Data Wasted: A Semi-supervised Generative Model for Incomplete Multi-view Data Integration with Missing Labels
针对带缺失标签和视图的多视图学习问题,提出半监督生成模型,结合标记与未标记样本,在共享潜在空间最大化似然与互信息,提升预测与生成性能。
2026-09-03 cs.AI cs.LG
TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning
Microsoft Research-Asia(微软亚洲研究院);Peking University(北京大学);Capital Medical University(首都医科大学);UC Berkeley(加州大学伯克利分校);Deepwise AI Lab(深睿人工智能实验室)
融合来自多个模态的数据为训练机器学习系统提供更多信息。然而,它是昂贵的和耗时的标记每个模态与大量的数据,这导致了一个关键的问题,半监督多模态学习。现有方法要么存在跨模态融合无效的问题,要么缺乏适当假设下的理论保证。在本文中,我们提出了一种新的信息理论方法,即\textbf{T}总\textbf{C}或关系\textbf{G}和\textbf{M}最大化(TCGM),用于半监督多模态学习,它被赋予了有前途的属性:(i)它可以有效地利用未标记数据点的不同模态之间的信息,以便于训练每种模态的分类器。(ii)它具有识别贝叶斯分类器的理论保证,也就是说,所有模态的地面真实后验。具体而言,通过在所有模态的分类器上最大化TC引起的损失(即TC增益),这些分类器可以协作地发现地面实况分类器的等效类;并且通过利用有限百分比的标记数据来识别独特的分类器。我们将我们的方法应用于各种任务,并取得了最先进的结果,包括新闻分类,情感识别和疾病预测。
2020-07-14 cs.CV cs.LG
An Augmentation-Aware Theory for Self-Supervised Contrastive Learning
Peking University(北京大学);University of Twente(特文特大学)
首次提出自监督对比学习的增强感知误差界,揭示数据增强引发的权衡对监督风险的影响,并通过像素级和表示级实验验证了理论结果。
2025-05-28 cs.LG
Structure-aware Protein Self-supervised Learning
McGill University(麦吉尔大学);MILA - Quebec AI Institute(MILA——魁北克人工智能研究所);Baidu Research(百度研究院);Baidu Inc.(百度公司)
针对现有蛋白质语言模型忽略结构信息的问题,提出一种结构感知的自监督学习方法,利用图神经网络从残基距离和二面角视角预训练,并通过伪双层优化融合序列与结构信息,在下游任务中验证了有效性。
2023-04-08 cs.AI cs.LG q-bio.QM
Semi-supervised Formality Style Transfer using Language Model Discriminator and Mutual Information Maximization
Georgia Institute of Technology(佐治亚理工学院)
形式风格转换是将非正式句子转换为语法正确的正式句子的任务,可以用于提高许多下游NLP任务的性能。在这项工作中,我们提出了一个半监督的形式风格的传输模型,利用一个基于语言模型的转换,以最大限度地提高输出句子的可能性是正式的,这使我们能够使用最大化的令牌级的条件概率进行训练。我们进一步建议最大化源和目标风格之间的互信息作为我们的训练目标,而不是最大化经常导致重复和琐碎的生成响应的规则可能性。实验表明,我们的模型在自动化指标和人类判断方面都明显优于以前的最先进基线。我们进一步将我们的模型推广到无监督的文本风格转换任务,并在两个基准情感风格转换数据集上取得了显着的改进。
2020-10-10 cs.AI cs.CL cs.LG
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services(亚马逊云科技);UMass Amherst(马萨诸塞大学阿默斯特分校);UCLA(加州大学洛杉矶分校)
少样本学习的目的是从一个任务中转移信息,以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中,我们调查的互补作用,这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习(SUPMOCO)。我们的方法避免了在监督学习中观察到的一个问题,即图像中与任务无关的信息被丢弃,这阻碍了它们对新任务的推广。我们表明,(自监督)对比学习和监督学习是互惠互利的,导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据,从而进一步改进。
2021-06-21 cs.CV cs.LG
PLATINUM: Semi-Supervised Model Agnostic Meta-Learning using Submodular Mutual Information
University of Texas at Dallas(德克萨斯大学达拉斯分校)
Few-Shot分类(FSC)要求每个类使用几个(通常为一到五个)数据点来训练模型。元学习已被证明能够通过对各种其他分类任务进行训练来学习FSC的参数化模型。在这项工作中,我们提出了PLATINUM(半监督模型不可知元学习使用子模块互信息),一种新的半监督模型不可知元学习框架,使用子模块互信息(SMI)功能,以提高FSC的性能。PLATINUM在元训练期间使用SMI函数在内外循环中利用未标记的数据,并为元测试获得更丰富的元学习参数化。我们研究了PLATINUM在两种情况下的性能- 1)未标记的数据点属于与某个事件的标记集相同的类集,以及2)存在不属于标记集的分布外类。我们在miniImageNet,tieredImageNet和Fewshot-CIFAR 100数据集上的各种设置上评估了我们的方法。我们的实验表明,PLATINUM优于MAML和半监督方法,如半监督FSC的伪标记,特别是对于每个类的标记样本比例很小。
2022-07-05 cs.LG
Hyperspherical Consistency Regularization
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
对比学习的最新进展已经启发了各种半监督领域的各种应用。利用共享的特征编码器联合训练监督学习和无监督学习成为一种常见的方案。虽然该方案同时利用了自监督学习的特征依赖信息和监督学习的标签依赖信息,但仍存在分类器偏差的问题。在这项工作中,我们系统地探索了自监督学习和监督学习之间的关系,并研究了自监督学习如何帮助强大的数据高效深度学习。我们提出了超球面一致性正则化(HCR),一个简单而有效的即插即用的方法,使用特征相关的信息来正则化分类器,从而避免标签的偏见。具体来说,HCR首先将来自分类器的logit和来自投影头的特征投影投影到相应的超球上,然后通过最小化成对距离的相似性度量的二进制交叉熵来强制超球上的数据点具有相似的结构。半监督和弱监督学习的实验证明了我们的方法的有效性,通过显示优越的性能与HCR。
2022-06-02 cs.AI cs.CV cs.LG
Reducing Information Bottleneck for Weakly Supervised Semantic Segmentation
Seoul National University(首尔大学)
弱监督的语义分割从类标签产生像素级定位;然而,在这样的标签上训练的分类器可能集中在目标对象的小的区分区域上。我们使用信息瓶颈原理来解释这种现象:由sigmoid或softmax激活函数激活的深度神经网络的最后一层会导致信息瓶颈,因此,只有一部分任务相关信息被传递到输出。我们首先通过一个模拟的玩具实验来支持这一论点,然后提出了一种通过删除最后一个激活函数来减少信息瓶颈的方法。此外,我们引入了一种新的池化方法,进一步鼓励信息从非歧视性区域的分类传输。我们的实验评估表明,这种简单的修改显着提高了PASCAL VOC 2012和MS COCO 2014数据集上的定位图的质量,为弱监督语义分割展示了新的最先进的性能。该代码可从以下网址获得:https://github.com/jbeomlee93/RIB。
2021-10-13 cs.CV cs.LG
A Theoretical Analysis of Self-Supervised Learning for Vision Transformers
University of Pennsylvania(宾夕法尼亚大学);Carnegie Mellon University(卡内基梅隆大学);The Ohio State University(俄亥俄州立大学)
本文通过建模全局与局部特征的不平衡,分析一层softmax视觉Transformer在MAE和对比学习目标下的训练动态,从理论上解释了MAE能同时学习全局与局部特征而CL偏向全局特征的现象。
2025-02-05 cs.LG math.OC stat.ML
Towards Self-Supervised High Level Sensor Fusion
TUM(慕尼黑工业大学);Artisense(Artisense公司);Audi Electronics Venture(奥迪电子创投)
在本文中,我们提出了一个框架,通过融合RGB图像和深度图的原始信息来控制自动驾驶汽车。深度神经网络架构用于将视觉和深度信息分别映射到转向命令。来自两个传感器源的信息的这种融合允许在存在传感器故障的情况下提供冗余和容错。即使其中一个输入传感器无法产生正确的输出,另一个功能传感器仍然能够操纵汽车。这种冗余在自动驾驶汽车的关键应用中至关重要。实验结果表明,我们的方法是能够学习使用相关的传感器信息,即使其中一个传感器失败,没有任何明确的信号。
2019-02-12 cs.AI cs.CV cs.LG
Self-Supervised Learning with an Information Maximization Criterion
Koc University(科奇大学);Google Cloud AI Research(谷歌云人工智能研究部)
自监督学习允许AI系统使用不需要昂贵标签的任务从大量数据中学习有效的表示。模式坍塌,即,为所有输入产生相同表示的模型是许多自监督学习方法的中心问题,使得诸如匹配输入的失真变体的自监督任务无效。在这篇文章中,我们认为,一个简单的应用程序的信息最大化之间的替代潜在表示相同的输入自然解决了崩溃的问题,并取得了竞争力的实证结果。我们提出了一种自监督学习方法,CorInfoMax,它使用了二阶基于几何的互信息措施,反映了其参数之间的相关性水平。最大化相同输入的替代表示之间的这种相关信息度量有两个目的:(1)通过生成具有非退化协方差的特征向量来避免崩溃问题;(2)通过增加替代表示之间的线性相关性来建立替代表示之间的相关性。建议的信息最大化目标的近似简化为一个基于欧氏距离的目标函数正则化的特征协方差矩阵的对数行列式。正则化项充当防止特征空间退化的天然屏障。因此,除了避免完整的输出崩溃到一个单一的点,所提出的方法还通过鼓励信息在整个特征空间中的传播来防止维度崩溃。数值实验表明,CorInfoMax实现更好的或有竞争力的性能结果相对于国家的最先进的SSL方法。
2022-09-16 cs.AI cs.CV cs.IT
MUSCLE: Strengthening Semi-Supervised Learning Via Concurrent Unsupervised Learning Using Mutual Information Maximization
USC Information Sciences Institute(南加州大学信息科学研究所);Alexandria University(亚历山大大学)
深度神经网络是强大的、大规模参数化的机器学习模型,已被证明在监督学习任务中表现良好。然而,通常需要非常大量的标记数据来训练深度神经网络。已经提出了几种半监督学习方法来使用少量的标记数据和大量的未标记数据来训练神经网络。这些半监督方法的性能显着降低标记数据的大小减少。我们介绍了基于互信息的无监督和半监督并行学习(MUSCLE),一种混合学习方法,使用互信息结合无监督和半监督学习。MUSCLE可以用作神经网络的独立训练方案,也可以并入其他学习方法。我们表明,所提出的混合模型优于几个标准的基准,包括CIFAR-10,CIFAR-100和Mini-Imagenet的最先进的。此外,性能增益始终随着标记数据量的减少以及存在偏差而增加。我们还表明,MUSCLE有可能提高分类性能时,用于微调阶段的模型预训练只在未标记的数据。
2020-11-30 cs.CV cs.LG
Investigating Self-Supervised Image Denoising with Denaturation
Institute of Science Tokyo(东京科学研究所);Fujitsu Limited(富士通有限公司);RIKEN Center for Computational Science(理化学研究所计算科学中心);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文通过理论分析和数值实验,深入探究了使用变性数据的自监督图像去噪算法,证明其能找到总体风险下的理想解,且经验性能与理论一致,为未来改进提供了见解。
2024-12-16 cs.CV cs.LG eess.IV
Deep Supervised Information Bottleneck Hashing for Cross-modal Retrieval based Computer-aided Diagnosis
Huazhong University of Science and Technology(华中科技大学);Guizhou Normal University(贵州师范大学);Hubei University(湖北大学)
将X射线图像、放射学报告和其他医学数据映射为公共空间中的二进制代码,这可以帮助临床医生从异构模态(即,基于散列的跨模态医学数据检索),为促进计算机辅助诊断提供了新的视角。然而,仍然存在一个障碍,以提高医疗检索的准确性:如何揭示模糊的语义的医疗数据,而不分心的多余信息。为了克服这个缺点,我们提出了深度监督信息瓶颈哈希(DSIBH),它有效地增强了哈希码的可区分性。具体而言,针对单模态的深度确定性信息瓶颈(Yu,Yu和Principe 2021)被扩展到跨模态场景。这样就减少了多余的信息,从而提高了散列码的可鉴别性。实验结果表明,所提出的DSIBH相比,国家的最先进的跨模态医学数据检索任务的优越的准确性。
2022-05-06 cs.AI cs.CV cs.LG