Analysis of Semi-Supervised Learning on Hypergraphs
University of California Los Angeles（加州大学洛杉矶分校）；University of Warwick（沃里克大学）
研究超图上的半监督学习问题，提出高阶超图学习（HOHL）方法，通过分析随机几何超图上的变分问题，确定缩放机制，证明离散极小值收敛，还给出多尺度拉普拉斯替代并证明收敛，数值实验验证了高阶正则化的实用性。
2026-07-20 cs.LG math.ST stat.TH
Supervised Hypergraph Reconstruction
Cornell University（康奈尔大学）
我们研究了图数据分析中常见的一个问题：许多涉及高阶相互作用的现实世界复杂系统最好用超图编码;然而，它们的数据集通常最终只以投影的形式（带有二元边）被发布或研究。为了理解这个问题，我们首先建立一个理论框架来描述这个问题的影响和最坏的情况。分析激励我们制定的新任务，监督超图重建：重建现实世界的超图从其投影图，与一些现有的知识的应用领域的帮助。为了重建超图数据，我们从分析投影中的超边分布入手，在此基础上建立了一个包含两个模块的框架：（1）为了处理潜在超边的巨大搜索空间，我们设计了一个具有功效保证的采样策略，该策略将空间显着缩小到较小的候选集;（2）为了从候选中识别超边缘，我们进一步设计了两个工作良好的变体中的超边缘分类器，其捕获投影中的结构特征。大量的实验验证了我们的主张，方法和扩展。值得注意的是，我们的方法在硬数据集上的准确性优于所有基线。我们的代码和数据可以从bit.ly/SHyRe下载。
2022-11-23 cs.AI cs.DM cs.IR
Hypergraph Transformer for Semi-Supervised Classification
Shanghai Jiao Tong University（上海交通大学）；University of Oxford（牛津大学）；The Hong Kong Polytechnic University（香港理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对超图神经网络依赖局部消息传递难以捕捉全局结构信息的问题，提出基于Transformer的超图学习框架HyperGT，通过位置编码和结构正则化融合全局与局部信息，在节点分类任务上达到SOTA。
2024-06-02 cs.LG
Laplacian-based Semi-Supervised Learning in Multilayer Hypergraphs by Coordinate Descent
University of Padova（帕多瓦大学）；University of Rome “Tor Vergata”（罗马第二大学）；Gran Sasso Science Institute（格兰萨索科学研究所）
本文提出将基于拉普拉斯的图半监督学习优化形式扩展到多层超图，并采用多种坐标下降方法求解，实验证明在合适选择规则下坐标下降优于经典梯度下降。
2023-09-24 cs.DM cs.LG
HyperFuse: Fast Self-Supervised Node Embeddings for Attributed Hypergraphs
Indian Institute of Science Education and Research Thiruvananthapuram（印度科学教育与研究学院蒂鲁文南特普拉姆分校）；Indian Institute of Science Education and Research Kolkata（印度科学教育与研究学院加尔各答分校）；University of Rostock（罗斯托克大学）；Stellenbosch Institute for Advanced Study (STIAS)（斯泰伦博斯高等研究院）
HyperFuse提出一种无标签快速超图嵌入方法，通过谱松弛、多尺度特征和效用加权编码器，在保持精度的同时实现13-179倍加速，适用于多超图或演化场景。
2026-10-05 cs.LG
Directed hypergraph neural network
Thu Dau Mot University（守德大学）
为了处理不规则的数据结构，图卷积神经网络已经被许多数据科学家开发出来。然而，数据科学家主要集中在为无向图开发深度神经网络方法。在本文中，我们将提出新的神经网络方法的有向超图。换句话说，我们将不仅开发新的有向超图神经网络方法，而且开发新的基于有向超图的半监督学习方法。这些方法被用来解决节点分类任务。实验中使用的两个数据集是cora和citeseer数据集。在经典的基于有向图的半监督学习方法、新型的基于有向超图的半监督学习方法、新型的有向超图神经网络方法中，我们发现新型的有向超图神经网络方法达到了最高的精度。
2022-09-03 cs.LG stat.CO stat.ML
Multi-Task Hypergraphs for Semi-supervised Learning using Earth Observations
University Politehnica of Bucharest（布加勒斯特理工大学）；NORCE Norwegian Research Center（挪威NORCE研究中心）
针对地球观测领域多任务且真值数据缺失的问题，提出多任务超图半监督方法，在NASA NEO数据集上取得性能提升，还可适应分布偏移并恢复长期缺失的观测数据。
2023-08-21 cs.CV cs.LG
CHGNN: A Semi-Supervised Contrastive Hypergraph Learning Network
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Aalborg University（奥尔堡大学）；School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
本文提出半监督对比超图学习网络CHGNN，通过自适应视图生成、改进编码器及联合损失函数，利用有标签和无标签数据，在九个数据集上分类准确率优于13个对比方法。
2024-05-28 cs.AI cs.LG
Hypergraph-enhanced Dual Semi-supervised Graph Classification
School of Statistics and Data Science, Nankai University（南开大学统计与数据科学学院）；Department of Computer Science, University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机系）
提出超图增强双框架HEAL，通过超图结构学习和线图交互捕捉高阶依赖，结合关系一致性学习，有效解决半监督图分类中标记数据稀缺问题。
2024-05-28 cs.AI cs.IR cs.LG
DualHGNN: A Dual Hypergraph Neural Network for Semi-Supervised Node Classification based on Multi-View Learning and Density Awareness
South China University of Technology（华南理工大学）；Concordia University（康考迪亚大学）；Pazhou Lab（琶洲实验室）
针对人工或原始图结构不优及密度等隐式信息利用不足的问题，本文提出DualHGNN，通过多视图超图结构学习与密度感知注意力表示学习提升半监督节点分类性能。
2023-06-07 cs.CV cs.LG
Hypergraph based semi-supervised learning algorithms applied to speech recognition problem: a novel approach
Ho Chi Minh City University of Technology-VNU HCM（胡志明市理工大学（越南国家大学胡志明市分校））
大多数基于网络的语音识别方法都是基于网络中两个相邻语音样本的标签可能相同的假设。然而，假设语音样本之间的成对关系是不完整的。一组语音样本显示非常相似的模式，往往有类似的标签的信息被错过了。克服上述假设的信息损失的自然方法是将语音样本的特征数据表示为超图。因此，本文介绍了三种基于半监督学习的非规范化、随机游动和对称规范化超图Laplacian方法，并将其应用于由语音样本特征数据构造的超图，以预测语音样本的标签。实验结果表明，这三种基于超图拉普拉斯算子的半监督学习方法的灵敏度性能指标均大于隐马尔可夫模型方法的灵敏度性能指标（当前应用于语音识别问题的最先进的方法）和基于图的半监督学习方法（即当前最先进的基于网络的分类问题的方法）应用于从语音样本的特征数据创建的网络。
2018-10-28 cs.LG cs.SD eess.AS
Hypergraph Transformer: Weakly-supervised Multi-hop Reasoning for Knowledge-based Visual Question Answering
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；AI Institute (AIIS), Seoul National University（首尔国立大学人工智能研究院（AIIS））
基于知识的视觉问答（QA）的目的是回答一个问题，这需要视觉基础的外部知识超越图像内容本身。在弱监督下对需要多跳推理的复杂问题进行推理被认为是一个具有挑战性的问题，因为i）没有对推理过程进行监督，ii）需要捕获多跳知识事实的高阶语义。在本文中，我们引入超图的概念来编码问题和知识库的高级语义，并学习它们之间的高阶关联。提出的模型Hypergraph Transformer构造了一个问题超图和一个查询感知知识超图，并通过编码超图之间的关联和超图本身的关联来推断答案。在两个基于知识的视觉问答和两个基于知识的文本问答上的实验证明了该方法的有效性，特别是对于多跳推理问题。我们的源代码可以在https://github.com/yujungheo/kbvqa-public上找到。
2022-04-22 cs.AI cs.CL cs.CV
Hypergraph $p$-Laplacian equations for data interpolation and semi-supervised learning
China Jiliang University（中国计量大学）；Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器研究所）；Universität Hamburg（汉堡大学）
本文针对超图 p-Laplacian 正则化学习提出快速数值实现方法，推导超图 p-Laplacian 方程并提出简化方程，实验证明其能抑制插值尖峰解并提升半监督分类准确率。
2025-04-07 cs.LG cs.NA math.NA
BHyGNN+: Unsupervised Representation Learning for Heterophilic Hypergraphs
University of Notre Dame（圣母大学）；University of Connecticut（康涅狄格大学）；Amazon GenAI（亚马逊生成式人工智能）
BHyGNN+通过超图对偶性实现无监督学习，有效提升异质超图表示学习性能。
2026-02-16 cs.AI cs.LG
K-SpecPart: Supervised embedding algorithms and cut overlay for improved hypergraph partitioning
本文提出监督谱超图划分框架 K-SpecPart，利用广义特征向量、监督降维嵌入和割叠加集成多路方案，在二分与多路划分上分别取得最高15%和20%的割尺寸改进。
2023-06-03 cs.LG
Noise-robust classification with hypergraph neural network
Ho Chi Minh City University of Technology (HCMUT), VNU-HCM（胡志明市理工大学（HCMUT），越南国家大学胡志明市分校）；EPHE-PSL University（巴黎高等研究实践学院-巴黎文理研究大学）
本文提出了一种新的超图神经网络方法。该方法被用来解决噪声标签学习问题。首先，我们将PCA降维技术应用到图像数据集的特征矩阵中，以减少图像数据集的特征矩阵中的“噪声”和冗余特征，并减少超图神经网络方法构造超图的运行时间。然后，经典的基于图的半监督学习方法，经典的基于超图的半监督学习方法，图神经网络，超图神经网络，和我们提出的超图神经网络被用来解决噪声标签学习问题。这五种方法的精度进行了评估和比较。实验结果表明，当噪声水平增加时，超图神经网络方法达到最佳性能。此外，超图神经网络方法至少与图神经网络一样好。
2022-09-03 cs.LG stat.ML
Spatial-Temporal Hypergraph Self-Supervised Learning for Crime Prediction
South China University of Technology（华南理工大学）；Simon Fraser University（西蒙弗雷泽大学）；Musketeers Foundation Institute of Data Science（火枪手基金会数据科学研究院）；University of Hong Kong（香港大学）
犯罪已成为许多城市的主要问题，这就要求及时预测全市犯罪发生的需求不断上升。准确的犯罪预测结果对于政府的事前决策、缓解人们对公共安全的日益关注至关重要。虽然许多努力已经致力于提出各种时空预测技术，以探索跨位置和时间段的依赖性，其中大多数遵循监督学习的方式，这限制了他们的时空表示能力稀疏的犯罪数据。受最近自监督学习成功的启发，本文提出了一个时空超图自监督学习框架（ST-HSL）来解决犯罪预测中的标签稀缺问题。具体来说，我们提出了跨区域超图结构学习编码区域明智的犯罪依赖下，整个城市空间。此外，我们设计的双阶段自监督学习范式，不仅共同捕捉本地和全球层面的时空犯罪模式，但也补充稀疏犯罪表示，通过增强区域自我歧视。我们在两个现实生活中的犯罪数据集上进行了广泛的实验。评估结果表明，我们的ST-HSL显著优于最先进的基线。进一步的分析提供了我们的ST-HSL方法在时空犯罪模式的表示的优越性的见解。实现代码可在https://github.com/LZH-YS1998/STHSL上获得。
2022-05-07 cs.AI cs.CY cs.LG
Line Hypergraph Convolution Network: Applying Graph Convolution for Hypergraphs
IBM Research（IBM研究院）；Indian Institute of Science（印度科学研究所）
由于不同类型的图神经网络的出现，网络表示学习和图中节点分类得到了极大的关注。图卷积网络（GCN）是一种流行的半监督技术，它聚集每个节点邻域内的属性。传统的GCN可以应用于每个边仅连接两个节点的简单图。但是，许多现代应用程序需要在图中建模高阶关系。超图是处理这种复杂关系的有效数据类型。在本文中，我们提出了一种新的技术，应用图卷积的超图具有可变的超边大小。在超图学习文献中，我们首次使用超图的线图的经典概念。然后，我们提出使用图卷积的线图超图。多个真实世界的网络数据集上的实验分析表明，我们的方法相比，国家的最先进的优点。
2020-02-09 cs.LG cs.SI
Wasserstein Soft Label Propagation on Hypergraphs: Algorithm and Generalization Error Bounds
The University of Chicago（芝加哥大学）
最近的机器学习和超图数据挖掘算法的发展兴趣的启发，我们调查在本文中的半监督学习算法的传播“软标签”（例如概率分布，类成员分数）超图，通过最佳运输。借用图上Wasserstein传播的见解[Solomon et al. 2014]，我们将标签传播过程重新制定为消息传递算法，这使得其本身自然地通过Wasserstein重心适用于超图的推广。此外，在PAC学习框架中，我们通过建立所提出的半监督学习算法的\textit{algorithmic stability}，提供了使用2-瓦瑟斯坦距离在图和超图上传播一维分布的泛化误差界。这些理论结果也为更深入地理解图上的Wasserstein传播提供了新的思路。
2018-11-16 cs.LG stat.ML
Bilevel Hypergraph Networks for Multi-Modal Alzheimer's Diagnosis
DAMTP, University of Cambridge（剑桥大学 DAMTP）；Department of Psychology, University of Cambridge（剑桥大学心理学系）
针对阿尔茨海默病早期诊断，提出双层级超图网络，联合学习图增强与半监督分类，并采用梯度驱动伪标签生成，实验证明性能优于现有方法。
2024-03-19 cs.LG
Stochastic Block Model for Hypergraphs: Statistical limits and a semidefinite programming approach
New York University（纽约大学）
研究了一个随机超图模型中的社团发现问题，我们称之为$k$ -一致超图的随机块模型（$k$ -SBM）.我们研究了$k$ -SBM中的精确恢复问题，并证明了在一个阈值附近会发生急剧的相变：在阈值以下，不可能以非零概率恢复社区，但在阈值以上，存在一个几乎渐近肯定地恢复社区的估计。我们还考虑了一个简单的，有效的算法的精确恢复问题是基于半定松弛技术。
2018-07-08 cs.IT cs.LG math.IT
Enhancing Hyperedge Prediction with Context-Aware Self-Supervised Learning
Chung-Ang University（中央大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Hanyang University（汉阳大学）
本文提出超边预测框架CASH，通过上下文感知节点聚合解决节点关系捕获问题，并利用超边感知增强与双重对比的自监督学习缓解数据稀疏，在六个真实数据集上显著提升了预测准确率。
2025-01-30 cs.LG cs.SI
I'm Me, We're Us, and I'm Us: Tri-directional Contrastive Learning on Hypergraphs
KAIST（韩国科学技术院）
虽然超图的机器学习已经引起了相当大的关注，但大多数工作都集中在（半）监督学习，这可能会导致沉重的标记成本和泛化能力差。近年来，对比学习作为一种成功的无监督表示学习方法出现。尽管对比学习在其他领域得到了蓬勃的发展，但超图上的对比学习却很少有人研究。在本文中，我们提出了三向对比学习（TriCL），超图上的对比学习的一般框架。它的主要思想是三向对比，具体来说，它的目的是在两个增强视图中最大化（a）相同节点之间的一致性，（b）相同节点组之间的一致性，以及（c）每个组及其成员之间的一致性。结合简单但令人惊讶的有效数据增强和负采样方案，这三种形式的对比度使TriCL能够在节点嵌入中捕获微观和介观结构信息。我们使用13种基线方法，5个数据集和两个任务进行了广泛的实验，证明了TriCL的有效性，最值得注意的是，TriCL的性能不仅优于无监督竞争对手，而且还优于（半）监督竞争对手，主要是节点分类的显著优势。代码和数据集可在https://github.com/wooner49/TriCL上获得。
2023-01-05 cs.LG
From Hypergraph Energy Functions to Hypergraph Neural Networks
Fudan University（复旦大学）；Amazon（亚马逊）；Peng Cheng Laboratory（鹏城实验室）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）
本文提出参数化超图正则化能量函数，其极小值作为节点嵌入，通过双层优化端到端训练分类器，并在超图节点分类基准上取得最先进结果。
2023-06-19 cs.LG
Hypergraph-MLP: Learning on Hypergraphs without Message Passing
University of Oxford（牛津大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对超图神经网络中消息传递导致的过平滑、高延迟和脆弱性问题，提出Hypergraph-MLP框架，将结构信息融入训练监督，以简单MLP实现竞争性能并提升推理速度与鲁棒性。
2025-03-11 cs.LG eess.SP
Semi-Supervised Classification on Non-Sparse Graphs Using Low-Rank Graph Convolutional Networks
Department of Mathematics, Chair of Scientific Computing（数学系，科学计算教研室）
本文提出了一种低秩图卷积网络架构，用于高效处理非稀疏图上的半监督学习问题，通过引入低秩滤波器提升运行效率和准确率，并扩展到超图数据集的处理。
2019-05-24 cs.DM cs.LG cs.NA
Multi-Modal Hypergraph Diffusion Network with Dual Prior for Alzheimer Classification
University of Cambridge（剑桥大学）；Universite de Bordeaux（波尔多大学）
阿尔茨海默病前驱期的自动早期诊断对于患者治疗以改善生活质量具有重要意义。我们解决这个问题作为一个多模态分类任务。多模态数据提供了更丰富和互补的信息。然而，现有技术仅考虑数据与单/多模态成像数据之间的低阶关系。在这项工作中，我们介绍了一种新的半监督超图学习框架阿尔茨海默氏症的诊断。我们的框架允许多模态成像和非成像数据之间的高阶关系，同时需要一个微小的标记集。首先，我们引入了一种对偶嵌入策略来构造一个保持数据语义的健壮超图。我们实现这一点，通过强制执行扰动不变性在图像和图形级别使用基于对比的机制。其次，我们提出了一个动态调整的超图扩散模型，通过一个半显式流，以改善预测的不确定性。我们证明，通过我们的实验，我们的框架是能够优于目前的技术阿尔茨海默氏症的诊断。
2022-09-06 cs.CV cs.LG eess.IV
Hypergraph Pre-training with Graph Neural Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon（亚马逊）
尽管超图在各种高影响力的应用中普遍存在，但关于超图表示学习的工作相对较少，其中大多数主要集中在超链接预测上，通常限于转导学习环境。其中，有效的超图表示学习的主要障碍在于节点和/或超边的标签稀缺性。为了解决这个问题，本文提出了一个端到端的，两个层次的预训练策略与图神经网络的超图。所提出的名为HyperGene的框架具有三个独特的优势。首先，它能够在可用时摄取标签信息，但更重要的是，它主要是以自我监督的方式设计的，这大大拓宽了它的适用性。其次，在心脏的建议HyperGene是两个精心设计的借口，一个在节点级别和其他的超边缘水平，这使我们能够编码本地和全球的背景下，在一个相互补充的方式。第三，所提出的框架可以在转换和归纳设置。当串联应用这两个提出的借口时，由于所提出的方法的双层性质，它可以加速知识从预训练模型到转换设置中的下游应用的适应。大量的实验结果表明：（1）HyperGene在超边缘分类方面实现了高达5.69%的改进，（2）平均提高了42.80%的预训练效率。
2021-05-23 cs.LG
Hypergraph Node Representation Learning with One-Stage Message Passing
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）；AI Division, Westlake University（西湖大学人工智能系）
本文提出单阶段消息传递范式统一并改进两阶段超图节点表示学习，并将其集成到基于 Transformer 的 HGraphormer 框架中，同时建模局部与全局信息，在五个基准数据集上取得最优性能。
2023-12-01 cs.IR cs.LG
From Diffusion to Reaction-Diffusion: A Dynamical-Systems View of Oversmoothing in Hypergraph Neural Networks
School of Mathematics and Statistics, Shandong University, Weihai（山东大学（威海）数学与统计学院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
研究超图神经网络过平滑问题，从动力系统视角出发，提出反应扩散框架HNRD，通过定义算子解释消息传递为扩散过程，分析得出过平滑是能量耗散现象，HNRD能补偿耗散稳定变化，实验证明其优于基线，为深度超图架构设计提供框架。
2026-07-20 cs.LG
Comprehensive reconstruction of collider events with hypergraph representation learning and graph-conditioned diffusion
Shanghai Jiao Tong University（上海交通大学）；University of Manchester（曼彻斯特大学）
VyPER利用超图表示和扩散模型统一解决碰撞事件中的粒子分配与中微子运动学预测，在多个质子-质子过程中实现精确重建，助力标准模型精密测量。
2026-09-17 cs.LG hep-ex hep-ph
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University（上海交通大学）
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本，以避免由于标记样本不足而导致的性能（或模型）退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论，并介绍了半监督学习研究的最新进展，最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出了一个半监督学习框架，是新的设计自动调制分类（AMC）。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据，我们的框架在给定少量标记数据的情况下实现了更高的性能，从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明，我们的半监督方法显着优于监督框架，从而大大提高了我们的能力，训练深度神经网络自动调制分类的方式，利用未标记的数据。
2022-03-29 cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University（哥伦比亚大学）
在这项工作中，我们表明，用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展，将预训练中的图像数量从数百万增加到10亿。我们进行消融研究，比较半监督和监督模型的迁移学习，同时保持所有其他因素相同。在半监督模型中，我们比较了对比学习与师生方法，以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性，为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia（东英吉利大学）
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的，但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现，颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感，我们发现类似的问题阻碍了半监督语义分割，并提供颜色增强作为解决方案，提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware（特拉华大学计算机与信息科学系）
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中，我们研究了多个对抗性示例的对抗性训练，以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明，对抗训练提供了对监督模型的改进，并且在半监督训练情况下也有效地涉及未标记数据。此外，我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Online Semi-Supervised Learning with Bandit Feedback
IBM Research（IBM研究院）
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题，其动机是一些应用，包括临床试验和广告推荐。我们演示了如何图卷积网络（GCN），一个半监督学习的方法，可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后，我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
SSDL: Self-Supervised Dictionary Learning
China University of Petroleum (East China)（中国石油大学（华东））；Harbin Institute of Technology（哈尔滨工业大学）
标签嵌入式词典学习（DL）算法通过引入判别信息来生成有影响力的词典。然而，存在一个局限性：所有的标签嵌入DL方法依赖于标签，因为这种方式只能达到理想的性能在监督学习。而在半监督和无监督学习中，它不再足以有效。受自监督学习概念的启发（例如，设置借口任务以生成下游任务的通用模型），我们提出了一个自监督字典学习（SSDL）框架来解决这一挑战。具体来说，我们首先设计了一个$p$ -Laplacian注意超图学习（pAHL）块作为借口任务来生成DL的伪软标签。然后，我们采用伪标签训练一个字典从一个主要的标签嵌入DL方法。我们在两个人类活动识别数据集上评估我们的SSDL。与其他国家的最先进的方法的比较结果表明，SSDL的效率。
2021-12-03 cs.CV cs.LG
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University（卡内基梅隆大学）
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此，当在现实世界的用例中使用时，学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例，通常会提高性能。然而，在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中，我们解除这一假设，并提出了两个半监督的方法，基于卷积神经网络（CNN）学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习，同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中，我们表明，我们的CNN在平均F1得分（Fm）方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja（拉里奥哈大学）
在本文中，我们描述了一种新的方法，半监督机器学习的数学基础。利用符号计算和计算机代数的方法，利用持久同调的概念，得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo（东京大学前沿科学研究生院）；Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目中心）
最大化受试者工作特征曲线下面积（AUC）是不平衡分类的标准方法。到目前为止，已经开发了各种监督AUC优化方法，并且它们也被扩展到半监督场景以应对小样本问题。然而，现有的半监督AUC优化方法依赖于强分布假设，而这些假设在现实世界的问题中很少得到满足。在本文中，我们提出了一种新的半监督AUC优化方法，不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法（PU-AUC），然后将其与监督AUC优化方法相结合，将其扩展到半监督学习。我们从理论上证明，在没有限制性分布假设的情况下，未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后，我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）
从顺序到达的数据中学习，可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止，持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中，每个任务都包含标记（通常很少）和未标记（通常很多）的训练样本，这需要半监督学习方法。为了在持续学习环境中解决这个问题，我们提出了一个半监督持续学习的框架，称为连续半监督学习的元巩固（MCSSL）。我们的框架有一个超网络，它学习元分布，生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识，基础网络学习半监督学习任务。此外，我们提出了$\textit{Semi-Split CIFAR-10}$，一个新的基准连续半监督学习，通过修改$\textit{Split CIFAR-10}$数据集，其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能，提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University（京都大学）
我们解释了基于图的半监督学习的泊松学习，看看它是否可以避免全局信息丢失的问题，因为基于拉普拉斯的学习方法在大型图。从我们的分析来看，泊松学习仅仅是带有阈值的拉普拉斯正则化，不能克服这个问题。
2022-03-11 cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research（Flyreel人工智能研究院）
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力：访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果，仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中，我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础，挑战了一致性正则化的长期成功。我们进行了广泛的比较实验，以证明自监督正则化的有效性，监督和半监督图像分类SVHN，CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果：（1）使用自监督正则化增强的模型显着改进了传统的监督分类器，而不需要未标记的数据;（2）与未标记的数据一起，我们的模型产生了半监督性能，与现有的最先进的一致性基线竞争，并且在许多情况下超过了它。最后，我们的模型具有端到端有效训练的实用性，并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Semi-supervised classification using a supervised autoencoder for biomedical applications
Cote d'Azur University（蔚蓝海岸大学）；Orange Labs（Orange实验室）
在本文中，我们提出了一种新的方法来解决半监督分类任务的生物医学应用，涉及监督自动编码器网络。我们创建了一个网络架构，将标签编码到自动编码器的潜在空间中，并定义了一个结合分类和重建损失的全局标准。我们使用双下降算法在标记数据上训练半监督自动编码器（SSAE）。然后，我们使用学习的网络对未标记的样本进行分类，这要归功于应用于潜在空间的softmax分类器，该分类器为每个类别提供分类置信度得分。我们使用PyTorch框架实现了SSAE方法，用于模型、优化器、优化器和损失函数。我们比较我们的半监督自动编码器方法（SSAE）与经典的半监督方法，如标签传播和标签扩散，并与全连接神经网络（FCNN）。实验表明，SSAE优于标签传播和传播和全连接神经网络在合成数据集和两个真实世界的生物数据集。
2022-08-22 cs.AI cs.LG q-bio.GN
Semi-supervised Vision Transformers at Scale
AWS AI Labs（亚马逊云科技人工智能实验室）
我们研究半监督学习（SSL）的视觉Transformer（ViT），尽管广泛采用的ViT架构不同的任务，一个未充分探讨的话题。为了解决这个问题，我们提出了一个新的SSL管道，包括第一个非/自我监督的预训练，其次是监督微调，最后是半监督微调。在半监督微调阶段，我们采用指数移动平均（EMA）-教师框架，而不是流行的FixMatch，因为前者更稳定，并提供更高的精度为半监督视觉Transformer。此外，我们提出了一种概率伪混淆机制来内插未标记的样本及其伪标签，以改进正则化，这对于训练具有弱归纳偏差的ViT非常重要。我们提出的方法，被称为半ViT，实现了可比或更好的性能比CNN同行在半监督分类设置。Semi-ViT还享有ViT的可扩展性优势，可以轻松扩展到大尺寸模型，并提高精度。例如，Semi-ViT-Huge在ImageNet上仅使用1%的标签就达到了令人印象深刻的80%的top-1准确率，这与使用100% ImageNet标签的Inception-v4相当。
2022-08-11 cs.AI cs.CV cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University（普渡大学）；ETH Zürich（苏黎世联邦理工学院）
我们使用梯形网络[Rasmus et al.（2015）]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下，这已被证明比其他半监督技术更成功，例如使用未标记数据进行预训练。我们还表明，卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术，并在帕维亚大学数据集上实现了新的最先进的性能，每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
Semi-supervised Fréchet Regression
School of Statistics, East China Normal University（华东师范大学统计学院）；National University of Singapore（新加坡国立大学）
针对非欧标签获取成本高的问题，本文提出两种基于图距离的半监督Fréchet回归方法，推导了其收敛速率，实验证明性能优于监督式方法，填补了相关研究空白。
2024-04-16 cs.LG math.ST stat.ML
Augmenting Variational Autoencoders with Sparse Labels: A Unified Framework for Unsupervised, Semi-(un)supervised, and Supervised Learning
Relayr (GmbH)（Relayr有限公司）
我们提出了一种新的风格的变分自编码器（VAE），无监督，半监督和全监督学习域之间无缝插值。我们表明，未标记的数据点不仅可以提高无监督任务，而且可以提高分类性能。反之亦然，每个标签不仅可以改进分类，还可以改进无监督任务。所提出的架构很简单：分类层连接到最顶层的编码器层，然后与解码器的重采样潜在层相结合。通常的证据下限（ELBO）损失补充了该分类层上的监督损失目标，仅适用于标记的数据点。这种简单性允许以最小的努力将任何现有的VAE模型扩展到我们提出的半监督框架。在分类的背景下，我们发现这种方法甚至优于直接监督设置。
2019-11-14 cs.AI cs.LG cs.NE
