Hypergraph and protein function prediction with gene expression data
University of Minnesota(明尼苏达大学)
大多数基于网络的蛋白质(或基因)功能预测方法都是基于网络中两个相邻蛋白质的标签可能相同的假设。然而,假设蛋白质或基因之间的成对关系是不完整的,那么一组表现出非常相似的表达模式并倾向于具有相似功能(即功能模块)的基因的信息就被遗漏了。克服上述假设的信息损失的自然方法是将基因表达数据表示为超图。因此,本文介绍了三种基于半监督学习的非归一化、随机游动和对称归一化超图Laplacian方法,并将其应用于由基因表达数据构建的超图,以预测酵母蛋白质的功能。实验结果表明,这三种基于超图拉普拉斯算子的半监督学习方法的平均准确率性能指标是相同的。然而,这三种方法的平均精度性能指标远大于应用于从基因表达数据创建的基因共表达网络的基于非归一化图拉普拉斯算子的半监督学习方法(即本文的基线方法)的平均精度性能指标。
2012-12-03 cs.LG q-bio.QM stat.ML
HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs
在许多真实世界的网络数据集中,如共同作者,共同引用,电子邮件通信等,关系是复杂的,超越了两两。超图提供了一种灵活而自然的建模工具来建模这种复杂的关系。在许多现实世界的网络中,这种复杂关系的明显存在自然激发了超图学习的问题。一种流行的学习范例是基于超图的半监督学习(SSL),其目标是为超图中最初未标记的顶点分配标签。基于图卷积网络(GCN)在基于图的SSL中的有效性,提出了一种基于属性超图的SSL GCN--HyperGCN.此外,我们展示了如何HyperGCN可以作为一个基于学习的方法组合优化NP难超图问题。我们证明了HyperGCN的有效性,通过详细的实验在现实世界的超图。
2019-05-22 cs.LG stat.ML
Quadratic Decomposable Submodular Function Minimization: Theory and Practice (Computation and Analysis of PageRank over Hypergraphs)
Purdue University(普渡大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们引入了一个新的凸优化问题,称为二次可分解子模块函数最小化(QDSFM),它允许模拟一些学习任务的图形和超图。该问题与可分解次模函数最小化(DSFM)有着密切的联系,但解决起来更具挑战性。我们通过一个新的对偶策略来解决这个问题,并制定了一个目标,可以通过一些双环算法进行优化。外循环使用随机坐标下降(RCD)或替代投影(AP)方法,我们证明这两种方法的线性收敛速度。内循环通过修改的最小范数点或Frank-Wolfe算法计算子模函数的基多面体生成的锥上的投影。我们还描述了两个新的应用QDSFM:超图适应PageRank和半监督学习。所提出的基于超图的PageRank算法可用于局部超图划分,并具有可证明的性能保证。对于超图适应的半监督学习,我们提供了数值实验,证明了我们的QDSFM求解器的效率和预测精度的显着改善时,与国家的最先进的方法。
2020-10-26 cs.DS cs.LG cs.SI
Semi-Supervised Classification on Non-Sparse Graphs Using Low-Rank Graph Convolutional Networks
Department of Mathematics, Chair of Scientific Computing(数学系,科学计算教研室)
本文提出了一种低秩图卷积网络架构,用于高效处理非稀疏图上的半监督学习问题,通过引入低秩滤波器提升运行效率和准确率,并扩展到超图数据集的处理。
2019-05-24 cs.DM cs.LG cs.NA
Classification in biological networks with hypergraphlet kernels
Indiana University(印第安纳大学)
生物和细胞系统通常被建模为图,其中顶点表示感兴趣的对象(基因,蛋白质,药物),边表示这些对象之间的关系(绑定,相互作用,调节)。由于支持图表分析和学习的理论、方法和软件,这种方法非常成功。然而,图形,往往遭受信息丢失建模时,由于其无法准确地表示多对象的关系物理系统。超图是图的一种概括,它提供了一个框架来减少信息丢失,并统一不同的基于图的方法。在本文中,我们提出了一个基于超图的方法来建模物理系统,并制定顶点分类,边缘分类和链接预测问题(超)图的顶点分类(扩展,双)超图在半监督设置的实例。我们介绍了一种新的核方法的顶点和边标记(着色)超图的分析和学习。该方法是基于精确和不精确(通过超图编辑距离)枚举的小简单超图,称为hypergraphlets,植根于一个顶点的利益。我们广泛评估这种方法,并显示其潜在的使用在一个积极的未标记的设置,以估计蛋白质-蛋白质相互作用网络中的缺失和假阳性链接的数量。
2017-03-14 cs.LG stat.ML
Generalizing diffuse interface methods on graphs: non-smooth potentials and hypergraphs
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);Department of Computer Science, The University of British Columbia(不列颠哥伦比亚大学计算机科学系)
本文提出非光滑势函数扩展扩散界面方法,用于超图数据分割,并展示图拉普拉斯矩阵源于超图信息。
2016-11-18 cs.NA math.NA stat.ML
Quadratic Decomposable Submodular Function Minimization
UIUC(伊利诺伊大学厄巴纳-香槟分校)
我们引入了一个新的凸优化问题,称为二次可分解子模函数极小化。这个问题与可分解的子模函数最小化密切相关,并且在图和超图设置的许多学习中出现,例如基于图的半监督学习和PageRank。我们通过一个新的对偶策略来解决这个问题,并描述了一个可以通过随机坐标下降(RCD)方法和锥投影来优化的目标。我们还建立了RCD算法的线性收敛速度,并开发了具有可证明性能保证的高效投影算法。超图上的半监督学习数值实验证实了所提出的算法的效率,并证明了相对于最先进的方法在预测精度上的显着改善。
2018-10-11 cs.AI cs.LG stat.ML
Self-supervised Guided Hypergraph Feature Propagation for Semi-supervised Classification with Missing Node Features
JD Retail(京东零售)
具有缺失节点特征的图神经网络(GNN)最近受到越来越多的关注。这种缺失的节点特征严重损害了现有GNN的性能。最近提出了一些方法来重建丢失的节点特征之间的信息传播与已知和未知属性的节点。虽然这些方法已经取得了优异的性能,如何准确地利用节点之间复杂的数据相关性来重建丢失的节点特征仍然是一个巨大的挑战。为了解决上述问题,我们提出了一种自监督引导超图特征传播(SGHFP)。具体而言,首先根据缺失信息的节点特征生成特征超图。然后,将前一次迭代产生的重构节点特征馈送到两层GNNs以构造伪标签超图。在每次迭代前,将构造的特征超图和伪标签超图进行有效融合,能更好地保持节点间的高阶数据相关性。然后,我们将融合超图应用到特征传播中,以重建丢失的特征。最后,通过多次迭代优化重构的节点特征应用于下游的半监督分类任务。大量的实验表明,所提出的SGHFP优于现有的半监督分类与缺失节点特征的方法。
2023-02-16 cs.LG
Optimal and Safe Estimation for High-Dimensional Semi-Supervised Learning
我们考虑高维半监督学习中的估计问题。我们的目标是研究何时以及如何利用未标记数据来改善线性模型回归参数的估计,鉴于这类线性模型在数据分析中可能被错误指定的事实。我们首先建立了半监督环境下参数估计的极大极小下界,并证明了仅使用标记数据的监督估计不能达到这个下界。我们提出了一个最佳的半监督估计,可以达到这个下限,从而提高了监督估计,条件是可以一致地估计的平均函数与适当的速率。我们进一步提出了一个安全的半监督估计。我们认为它是安全的,因为这个估计量总是至少和监督估计量一样好。我们还将我们的想法扩展到由条件均值函数的不同误指定引起的多个半监督估计的聚集。大量的数值模拟和实际数据分析进行了说明我们的理论结果。
2023-03-18 math.ST stat.ME stat.ML
A nonlinear diffusion method for semi-supervised learning on hypergraphs
School of Computer Science(计算机科学学院);Gran Sasso Science Institute(大萨索科学研究所);Department of Computer Science(计算机科学系);Cornell University(康奈尔大学);School of Mathematics(数学学院)
超图是数据中多路关系的常见模型,超图半监督学习是将标签分配给超图中的所有节点的问题,仅在少数节点上给出标签。扩散和标签扩散是图环境中半监督学习的经典技术,并且有一些标准的方法将它们扩展到超图。然而,这些方法都是线性模型,并没有提供一个明显的方法来结合节点特征进行预测。在这里,我们在超图上开发了一个非线性扩散过程,该过程根据超图结构传播特征和标签,这可以被解释为超图平衡网络。即使这个过程是非线性的,我们表现出全局收敛到一个独特的限制点的广泛的非线性,这是一个可解释的,正规化的半监督学习损失函数的全局最优。极限点作为一个节点嵌入,我们从这个节点嵌入中使用线性模型进行预测。我们的方法比几个超图神经网络更准确,也需要更少的时间来训练。
2022-02-11 cs.LG cs.SI physics.data-an
Online Semi-Supervised Learning with Bandit Feedback
IBM Research(IBM研究院)
我们在半监督学习和上下文强盗的交叉点上提出了一个新的问题,其动机是一些应用,包括临床试验和广告推荐。我们演示了如何图卷积网络(GCN),一个半监督学习的方法,可以调整到新的问题制定。我们还提出了半监督缺失回报估算的线性上下文强盗的变体。然后,我们充分利用这两种方法来开发多GCN嵌入式上下文强盗。我们的算法在几个真实世界的数据集上进行了验证。
2020-10-23 cs.LG stat.ML
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
HypeBoy: Generative Self-Supervised Representation Learning on Hypergraphs
Kim Jaechul Graduate School of AI(金在哲人工智能研究生院);School of Electrical Engineering(电气工程学院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出超图生成式自监督学习方法HypeBoy,通过超边填充任务学习通用超图表示,在11个基准数据集上超越16种基线方法。
2024-03-31 cs.LG
Semi-Supervised AUC Optimization based on Positive-Unlabeled Learning
Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究生院);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心)
最大化受试者工作特征曲线下面积(AUC)是不平衡分类的标准方法。到目前为止,已经开发了各种监督AUC优化方法,并且它们也被扩展到半监督场景以应对小样本问题。然而,现有的半监督AUC优化方法依赖于强分布假设,而这些假设在现实世界的问题中很少得到满足。在本文中,我们提出了一种新的半监督AUC优化方法,不需要这样的限制性假设。我们首先开发了一种仅基于阳性和未标记数据的AUC优化方法(PU-AUC),然后将其与监督AUC优化方法相结合,将其扩展到半监督学习。我们从理论上证明,在没有限制性分布假设的情况下,未标记数据有助于提高PU和半监督AUC优化方法的泛化性能。最后,我们通过实验证明了所提出的方法的实用性。
2022-04-11 cs.LG stat.ML
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur(印度理工学院坎普尔分校);Duke University(杜克大学)
从顺序到达的数据中学习,可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止,持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中,每个任务都包含标记(通常很少)和未标记(通常很多)的训练样本,这需要半监督学习方法。为了在持续学习环境中解决这个问题,我们提出了一个半监督持续学习的框架,称为连续半监督学习的元巩固(MCSSL)。我们的框架有一个超网络,它学习元分布,生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识,基础网络学习半监督学习任务。此外,我们提出了$\textit{Semi-Split CIFAR-10}$,一个新的基准连续半监督学习,通过修改$\textit{Split CIFAR-10}$数据集,其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能,提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco(信息中心 - 伯南布哥联邦大学)
近年来,由于大量的数据集含有大量未标记数据,而只有少量标记样本,因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据,将它们结合起来,以获得更好的聚类和分类性能。此外,这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射(SOM)的半监督聚类和分类方法,称为半监督自组织映射(SS-SOM)。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明,SS-SOM优于其他半监督方法的条件下,有少量的标记样本,也取得了良好的效果时,所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University(京都大学)
我们解释了基于图的半监督学习的泊松学习,看看它是否可以避免全局信息丢失的问题,因为基于拉普拉斯的学习方法在大型图。从我们的分析来看,泊松学习仅仅是带有阈值的拉普拉斯正则化,不能克服这个问题。
2022-03-11 cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research(Flyreel人工智能研究院)
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力:访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果,仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中,我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础,挑战了一致性正则化的长期成功。我们进行了广泛的比较实验,以证明自监督正则化的有效性,监督和半监督图像分类SVHN,CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果:(1)使用自监督正则化增强的模型显着改进了传统的监督分类器,而不需要未标记的数据;(2)与未标记的数据一起,我们的模型产生了半监督性能,与现有的最先进的一致性基线竞争,并且在许多情况下超过了它。最后,我们的模型具有端到端有效训练的实用性,并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
Semi-supervised Hypergraph Node Classification on Hypergraph Line Expansion
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);George Mason University(乔治梅森大学)
本文提出超图线扩展方法,将顶点-超边对视为线节点以保留共现对称性,并验证其在五个数据集上半监督节点分类性能显著超越现有最优基线。
2023-04-13 cs.LG cs.SI stat.ML
Hypergraph Self-supervised Learning with Sampling-efficient Signals
University of New South Wales(新南威尔士大学);Tongji University(同济大学);University of Technology Sydney(悉尼科技大学);Shanghai Jiaotong University(上海交通大学)
针对现有超图自监督对比学习负采样任意与成本高的问题,提出SE-HSSL框架,采用典型相关分析无采样信号及层次成员级对比目标,在7个真实超图上实现更优效果与效率。
2024-04-18 cs.LG
Self-Supervised Pretraining for Heterogeneous Hypergraph Neural Networks
Meta AI
提出用于异构超图神经网络的自监督预训练框架SPHH,通过两个预训练任务学习局部和全局表示,在多种下游任务中显著提升性能并展现鲁棒性。
2023-11-19 cs.LG cs.SI stat.ML
Hypergraph Transformer for Semi-Supervised Classification
Shanghai Jiao Tong University(上海交通大学);University of Oxford(牛津大学);The Hong Kong Polytechnic University(香港理工大学);Shanghai AI Laboratory(上海人工智能实验室)
针对超图神经网络依赖局部消息传递难以捕捉全局结构信息的问题,提出基于Transformer的超图学习框架HyperGT,通过位置编码和结构正则化融合全局与局部信息,在节点分类任务上达到SOTA。
2024-06-02 cs.LG
Laplacian-based Semi-Supervised Learning in Multilayer Hypergraphs by Coordinate Descent
University of Padova(帕多瓦大学);University of Rome “Tor Vergata”(罗马第二大学);Gran Sasso Science Institute(格兰萨索科学研究所)
本文提出将基于拉普拉斯的图半监督学习优化形式扩展到多层超图,并采用多种坐标下降方法求解,实验证明在合适选择规则下坐标下降优于经典梯度下降。
2023-09-24 cs.DM cs.LG
HyperFuse: Fast Self-Supervised Node Embeddings for Attributed Hypergraphs
Indian Institute of Science Education and Research Thiruvananthapuram(印度科学教育与研究学院蒂鲁文南特普拉姆分校);Indian Institute of Science Education and Research Kolkata(印度科学教育与研究学院加尔各答分校);University of Rostock(罗斯托克大学);Stellenbosch Institute for Advanced Study (STIAS)(斯泰伦博斯高等研究院)
HyperFuse提出一种无标签快速超图嵌入方法,通过谱松弛、多尺度特征和效用加权编码器,在保持精度的同时实现13-179倍加速,适用于多超图或演化场景。
2026-10-05 cs.LG
Multi-Task Hypergraphs for Semi-supervised Learning using Earth Observations
University Politehnica of Bucharest(布加勒斯特理工大学);NORCE Norwegian Research Center(挪威NORCE研究中心)
针对地球观测领域多任务且真值数据缺失的问题,提出多任务超图半监督方法,在NASA NEO数据集上取得性能提升,还可适应分布偏移并恢复长期缺失的观测数据。
2023-08-21 cs.CV cs.LG
CHGNN: A Semi-Supervised Contrastive Hypergraph Learning Network
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Aalborg University(奥尔堡大学);School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
本文提出半监督对比超图学习网络CHGNN,通过自适应视图生成、改进编码器及联合损失函数,利用有标签和无标签数据,在九个数据集上分类准确率优于13个对比方法。
2024-05-28 cs.AI cs.LG
DualHGNN: A Dual Hypergraph Neural Network for Semi-Supervised Node Classification based on Multi-View Learning and Density Awareness
South China University of Technology(华南理工大学);Concordia University(康考迪亚大学);Pazhou Lab(琶洲实验室)
针对人工或原始图结构不优及密度等隐式信息利用不足的问题,本文提出DualHGNN,通过多视图超图结构学习与密度感知注意力表示学习提升半监督节点分类性能。
2023-06-07 cs.CV cs.LG
Hypergraph Transformer: Weakly-supervised Multi-hop Reasoning for Knowledge-based Visual Question Answering
Seoul National University(首尔国立大学);Hanyang University(汉阳大学);AI Institute (AIIS), Seoul National University(首尔国立大学人工智能研究院(AIIS))
基于知识的视觉问答(QA)的目的是回答一个问题,这需要视觉基础的外部知识超越图像内容本身。在弱监督下对需要多跳推理的复杂问题进行推理被认为是一个具有挑战性的问题,因为i)没有对推理过程进行监督,ii)需要捕获多跳知识事实的高阶语义。在本文中,我们引入超图的概念来编码问题和知识库的高级语义,并学习它们之间的高阶关联。提出的模型Hypergraph Transformer构造了一个问题超图和一个查询感知知识超图,并通过编码超图之间的关联和超图本身的关联来推断答案。在两个基于知识的视觉问答和两个基于知识的文本问答上的实验证明了该方法的有效性,特别是对于多跳推理问题。我们的源代码可以在https://github.com/yujungheo/kbvqa-public上找到。
2022-04-22 cs.AI cs.CL cs.CV
Hypergraph $p$-Laplacian equations for data interpolation and semi-supervised learning
China Jiliang University(中国计量大学);Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所);Universität Hamburg(汉堡大学)
本文针对超图 p-Laplacian 正则化学习提出快速数值实现方法,推导超图 p-Laplacian 方程并提出简化方程,实验证明其能抑制插值尖峰解并提升半监督分类准确率。
2025-04-07 cs.LG cs.NA math.NA
Higher-Order Regularization Learning on Hypergraphs
University of California Los Angeles(加州大学洛杉矶分校);University of Warwick(沃里克大学)
本文提出高阶超图学习方法,通过理论分析和实验验证,展示了其在不同学习场景中的有效性与鲁棒性。
2025-11-24 cs.LG math.ST stat.TH
Supervised Hypergraph Reconstruction
Cornell University(康奈尔大学)
我们研究了图数据分析中常见的一个问题:许多涉及高阶相互作用的现实世界复杂系统最好用超图编码;然而,它们的数据集通常最终只以投影的形式(带有二元边)被发布或研究。为了理解这个问题,我们首先建立一个理论框架来描述这个问题的影响和最坏的情况。分析激励我们制定的新任务,监督超图重建:重建现实世界的超图从其投影图,与一些现有的知识的应用领域的帮助。为了重建超图数据,我们从分析投影中的超边分布入手,在此基础上建立了一个包含两个模块的框架:(1)为了处理潜在超边的巨大搜索空间,我们设计了一个具有功效保证的采样策略,该策略将空间显着缩小到较小的候选集;(2)为了从候选中识别超边缘,我们进一步设计了两个工作良好的变体中的超边缘分类器,其捕获投影中的结构特征。大量的实验验证了我们的主张,方法和扩展。值得注意的是,我们的方法在硬数据集上的准确性优于所有基线。我们的代码和数据可以从bit.ly/SHyRe下载。
2022-11-23 cs.AI cs.DM cs.IR
BHyGNN+: Unsupervised Representation Learning for Heterophilic Hypergraphs
University of Notre Dame(圣母大学);University of Connecticut(康涅狄格大学);Amazon GenAI(亚马逊生成式人工智能)
BHyGNN+通过超图对偶性实现无监督学习,有效提升异质超图表示学习性能。
2026-02-16 cs.AI cs.LG
K-SpecPart: Supervised embedding algorithms and cut overlay for improved hypergraph partitioning
本文提出监督谱超图划分框架 K-SpecPart,利用广义特征向量、监督降维嵌入和割叠加集成多路方案,在二分与多路划分上分别取得最高15%和20%的割尺寸改进。
2023-06-03 cs.LG
Hypergraph-enhanced Dual Semi-supervised Graph Classification
School of Statistics and Data Science, Nankai University(南开大学统计与数据科学学院);Department of Computer Science, University of California, Los Angeles(加利福尼亚大学洛杉矶分校计算机系)
提出超图增强双框架HEAL,通过超图结构学习和线图交互捕捉高阶依赖,结合关系一致性学习,有效解决半监督图分类中标记数据稀缺问题。
2024-05-28 cs.AI cs.IR cs.LG
Spatial-Temporal Hypergraph Self-Supervised Learning for Crime Prediction
South China University of Technology(华南理工大学);Simon Fraser University(西蒙弗雷泽大学);Musketeers Foundation Institute of Data Science(火枪手基金会数据科学研究院);University of Hong Kong(香港大学)
犯罪已成为许多城市的主要问题,这就要求及时预测全市犯罪发生的需求不断上升。准确的犯罪预测结果对于政府的事前决策、缓解人们对公共安全的日益关注至关重要。虽然许多努力已经致力于提出各种时空预测技术,以探索跨位置和时间段的依赖性,其中大多数遵循监督学习的方式,这限制了他们的时空表示能力稀疏的犯罪数据。受最近自监督学习成功的启发,本文提出了一个时空超图自监督学习框架(ST-HSL)来解决犯罪预测中的标签稀缺问题。具体来说,我们提出了跨区域超图结构学习编码区域明智的犯罪依赖下,整个城市空间。此外,我们设计的双阶段自监督学习范式,不仅共同捕捉本地和全球层面的时空犯罪模式,但也补充稀疏犯罪表示,通过增强区域自我歧视。我们在两个现实生活中的犯罪数据集上进行了广泛的实验。评估结果表明,我们的ST-HSL显著优于最先进的基线。进一步的分析提供了我们的ST-HSL方法在时空犯罪模式的表示的优越性的见解。实现代码可在https://github.com/LZH-YS1998/STHSL上获得。
2022-05-07 cs.AI cs.CY cs.LG
Bilevel Hypergraph Networks for Multi-Modal Alzheimer's Diagnosis
DAMTP, University of Cambridge(剑桥大学 DAMTP);Department of Psychology, University of Cambridge(剑桥大学心理学系)
针对阿尔茨海默病早期诊断,提出双层级超图网络,联合学习图增强与半监督分类,并采用梯度驱动伪标签生成,实验证明性能优于现有方法。
2024-03-19 cs.LG
I'm Me, We're Us, and I'm Us: Tri-directional Contrastive Learning on Hypergraphs
KAIST(韩国科学技术院)
虽然超图的机器学习已经引起了相当大的关注,但大多数工作都集中在(半)监督学习,这可能会导致沉重的标记成本和泛化能力差。近年来,对比学习作为一种成功的无监督表示学习方法出现。尽管对比学习在其他领域得到了蓬勃的发展,但超图上的对比学习却很少有人研究。在本文中,我们提出了三向对比学习(TriCL),超图上的对比学习的一般框架。它的主要思想是三向对比,具体来说,它的目的是在两个增强视图中最大化(a)相同节点之间的一致性,(b)相同节点组之间的一致性,以及(c)每个组及其成员之间的一致性。结合简单但令人惊讶的有效数据增强和负采样方案,这三种形式的对比度使TriCL能够在节点嵌入中捕获微观和介观结构信息。我们使用13种基线方法,5个数据集和两个任务进行了广泛的实验,证明了TriCL的有效性,最值得注意的是,TriCL的性能不仅优于无监督竞争对手,而且还优于(半)监督竞争对手,主要是节点分类的显著优势。代码和数据集可在https://github.com/wooner49/TriCL上获得。
2023-01-05 cs.LG
Enhancing Hyperedge Prediction with Context-Aware Self-Supervised Learning
Chung-Ang University(中央大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Hanyang University(汉阳大学)
本文提出超边预测框架CASH,通过上下文感知节点聚合解决节点关系捕获问题,并利用超边感知增强与双重对比的自监督学习缓解数据稀疏,在六个真实数据集上显著提升了预测准确率。
2025-01-30 cs.LG cs.SI
DPHGNN: A Dual Perspective Hypergraph Neural Networks
IIT Delhi(印度理工学院德里分校);IIIT Delhi(德里印度信息技术学院);Meesho(Meesho公司)
DPHGNN通过双视角等变算子学习融合低阶图特征与高阶超图结构,在八个数据集上超越七个基线,并在电商RTO预测中提升约7%宏F1分数。
2024-05-26 cs.LG cs.SI
Semi-supervised Fréchet Regression
School of Statistics, East China Normal University(华东师范大学统计学院);National University of Singapore(新加坡国立大学)
针对非欧标签获取成本高的问题,本文提出两种基于图距离的半监督Fréchet回归方法,推导了其收敛速率,实验证明性能优于监督式方法,填补了相关研究空白。
2024-04-16 cs.LG math.ST stat.ML
Pseudoinverse Graph Convolutional Networks: Fast Filters Tailored for Large Eigengaps of Dense Graphs and Hypergraphs
Chemnitz University of Technologies(开姆尼茨工业大学)
图卷积网络(GCN)已被证明是基于图的数据集上的半监督分类的成功工具。我们提出了一个新的GCN变体,其三部分过滤器空间是针对稠密图。示例包括用于3D点云的高斯图,其增加了对非局部信息的关注,以及基于分类数据的超图。这些图不同于常见的稀疏基准图,因为它们的图拉普拉斯算子的谱性质。最值得注意的是,我们观察到大的本征间隙,这是不利的流行现有的GCN架构。我们的方法通过利用拉普拉斯算子的伪逆来克服这些问题。另一个关键因素是卷积矩阵的低秩近似,确保计算效率并同时提高精度。我们概述了如何在每个应用程序中有效地计算必要的本征信息,并讨论了适当的选择的唯一元参数,近似秩。最后,我们展示了我们的方法的性能,在各种实验与真实世界的数据集的运行时间和准确性。
2021-01-28 cs.LG stat.ML
MARIOH: Multiplicity-Aware Hypergraph Reconstruction
Kim Jaechul Graduate School of AI, KAIST, Seoul, Republic of Korea(韩国科学技术院(KAIST)人工智能研究生院);GraphAI, Daejeon, Republic of Korea(韩国大田GraphAI)
MARIOH提出一种利用边多重性从投影图重构原始超图的监督方法,通过识别可证明的规模为2超边、结合结构与多重性特征预测候选超边,并探索低置信度候选,在10个真实数据集上实现最高74.51%的重构准确率提升。
2025-05-06 cs.DB cs.LG
Hypergraph $p$-Laplacian regularization on point clouds for data interpolation
China Jiliang University(中国计量大学);Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所);Universität Hamburg(汉堡大学)
本文提出基于超图的p-拉普拉斯正则化方法,用于提升点云数据插值中防止标记点尖峰发展的性能。
2025-03-17 cs.LG cs.NA math.AP
Molecular Hypergraph Neural Networks
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对传统图无法建模分子高阶连接的问题,本文提出分子超图神经网络(MHNN),以超边表示共轭结构,在多个数据集上超越基线,且无需3D几何信息,数据效率高。
2023-12-21 cs.LG physics.chem-ph
S4L: Self-Supervised Semi-Supervised Learning
Google Research(谷歌研究院)
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是,半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法,我们提出了自监督半监督学习的框架,并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比,精心调整的基线,和现有的半监督学习方法。然后,我们证明了我们的方法和现有的半监督方法可以联合训练,在半监督ILSVRC-2012上产生了一个新的最先进的结果,标签数为10%。
2019-07-23 cs.CV cs.LG
A Review of Semi Supervised Learning Theories and Recent Advances
Shanghai Jiao Tong University(上海交通大学)
半监督学习是本世纪初兴起的一种介于传统监督学习和无监督学习之间的新型学习方法。半监督学习的主要思想是在模型训练过程中引入未标记样本,以避免由于标记样本不足而导致的性能(或模型)退化。半监督学习在许多领域都有着成功的应用。回顾了半监督学习的发展历程和主要理论,并介绍了半监督学习研究的最新进展,最后结合应用实例分析了半监督学习在解决实际问题中的重要作用.
2019-05-28 cs.LG
Self-Contrastive Learning based Semi-Supervised Radio Modulation Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);US Army Research Laboratory(美国陆军研究实验室)
本文提出了一个半监督学习框架,是新的设计自动调制分类(AMC)。通过仔细利用具有自监督对比学习预训练步骤的未标记信号数据,我们的框架在给定少量标记数据的情况下实现了更高的性能,从而大大减少了深度学习的标记负担。我们评估了我们的半监督框架在公共数据集上的性能。评估结果表明,我们的半监督方法显着优于监督框架,从而大大提高了我们的能力,训练深度神经网络自动调制分类的方式,利用未标记的数据。
2022-03-29 cs.LG
Vehicle Trajectory Prediction by Transfer Learning of Semi-Supervised Models
Columbia University(哥伦比亚大学)
在这项工作中,我们表明,用于车辆轨迹预测的半监督模型显着提高了最先进的现实世界基准上的监督模型的性能。从监督模型到半监督模型允许通过使用未标记数据进行扩展,将预训练中的图像数量从数百万增加到10亿。我们进行消融研究,比较半监督和监督模型的迁移学习,同时保持所有其他因素相同。在半监督模型中,我们比较了对比学习与师生方法,以及预测少量轨迹的网络与预测大轨迹集上概率的网络。我们的结果使用低级别和中级表示的驾驶环境证明了半监督方法的适用性,为现实世界的车辆轨迹预测。
2020-10-10 cs.CV cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong(香港城市大学)
介绍了基于全变分(TV)、再生核希尔伯特空间(RKHS)、支持向量机(SVM)、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法,并表明,电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Colour augmentation for improved semi-supervised semantic segmentation
University of East Anglia(东英吉利大学)
一致性正则化描述了一类已经产生了最先进的半监督分类结果的方法。虽然半监督语义分割被证明是更具挑战性的,但最近已经提出了许多成功的方法。最近的工作探讨了使用一致性正则化分割问题所涉及的挑战。Chen等人在他们的自监督工作中发现,颜色增强阻止了分类网络使用图像颜色统计作为通过实例判别进行自监督学习的捷径。从中汲取灵感,我们发现类似的问题阻碍了半监督语义分割,并提供颜色增强作为解决方案,提高了半监督语义分割在具有挑战性的摄影图像上的性能。
2021-10-09 cs.CV cs.LG
Adversarial Learning for Supervised and Semi-supervised Relation Extraction in Biomedical Literature
Department of Computer and Information Science University of Delaware(特拉华大学计算机与信息科学系)
对抗性训练是一种通过在训练过程中引入对抗性样本来提高模型性能的技术。在本文中,我们研究了多个对抗性示例的对抗性训练,以利于关系抽取任务。我们还在半监督场景中应用对抗训练技术来利用未标记的数据。对蛋白质相互作用和蛋白质亚细胞定位任务的评估结果表明,对抗训练提供了对监督模型的改进,并且在半监督训练情况下也有效地涉及未标记数据。此外,我们的方法在两个基准数据集上实现了最先进的性能。
2020-09-25 cs.CL cs.LG
Semi-supervised Classification for Natural Language Processing
University of Western Ontario(西安大略大学)
半监督分类是一个有趣的想法,其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域,它与监督分类相比有许多优点。例如,监督分类只利用昂贵的标记数据,这些数据通常难以获得,数量不足,并且需要人类专家进行注释。另一方面,未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用,但由于其性能水平在经验上与监督分类一样好,因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Semi-Supervised Machine Learning: a Homological Approach
Universidad de La Rioja(拉里奥哈大学)
在本文中,我们描述了一种新的方法,半监督机器学习的数学基础。利用符号计算和计算机代数的方法,利用持久同调的概念,得到了一种新的半监督学习方法。
2023-01-27 cs.DS cs.LG
Semi-supervised Conditional GANs
Palo Alto Research Center(帕洛阿尔托研究中心);Verizon Labs(威瑞森实验室)
我们引入了一种新的模型,用于在半监督设置中建立条件生成模型,通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN(SS-GAN)模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中,边缘分布(通常更难学习)是从标记+未标记的数据中学习的,而条件分布纯粹是从标记数据中学习的。我们的实验结果表明,该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML