Node Classification With Integrated Reject Option
IIIT Hyderabad(印度信息技术学院海得拉巴分校)
提出 NCwR,为 GNN 节点分类引入集成拒绝选项,结合基于成本与覆盖率的弃权方法,并在引文网络及法律判决数据上验证与解释。
2024-12-04 cs.LG
What Makes Graph Neural Networks Miscalibrated?
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
鉴于获得校准的预测和可靠的不确定性估计的重要性,各种事后校准方法已被开发用于标准多类分类任务的神经网络。然而,这些方法不太适合校准图神经网络(GNN),这带来了独特的挑战,例如考虑图结构和节点之间的图诱导相关性。在这项工作中,我们对GNN节点预测的校准质量进行了系统的研究。特别是,我们确定了影响GNN校准的五个因素:一般不自信趋势,节点预测分布的多样性,到训练节点的距离,相对置信度和邻域相似性。此外,基于这项研究的见解,我们设计了一种新的校准方法命名为图注意力温度标度(GATS),这是专门为校准图神经网络。GATS采用的设计,解决所有确定的影响因素,并产生节点的温度缩放使用的注意力为基础的架构。GATS同时具有保持准确性、数据高效性和表达性的特点。我们的实验经验验证了GATS的有效性,表明它可以在不同GNN主干的各种图形数据集上一致地实现最先进的校准结果。
2022-10-12 cs.AI cs.LG
Self-supervised Guided Hypergraph Feature Propagation for Semi-supervised Classification with Missing Node Features
JD Retail(京东零售)
具有缺失节点特征的图神经网络(GNN)最近受到越来越多的关注。这种缺失的节点特征严重损害了现有GNN的性能。最近提出了一些方法来重建丢失的节点特征之间的信息传播与已知和未知属性的节点。虽然这些方法已经取得了优异的性能,如何准确地利用节点之间复杂的数据相关性来重建丢失的节点特征仍然是一个巨大的挑战。为了解决上述问题,我们提出了一种自监督引导超图特征传播(SGHFP)。具体而言,首先根据缺失信息的节点特征生成特征超图。然后,将前一次迭代产生的重构节点特征馈送到两层GNNs以构造伪标签超图。在每次迭代前,将构造的特征超图和伪标签超图进行有效融合,能更好地保持节点间的高阶数据相关性。然后,我们将融合超图应用到特征传播中,以重建丢失的特征。最后,通过多次迭代优化重构的节点特征应用于下游的半监督分类任务。大量的实验表明,所提出的SGHFP优于现有的半监督分类与缺失节点特征的方法。
2023-02-16 cs.LG
NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Institute of Artificial Intelligence, Huazhong University of Science and Technology(华中科技大学人工智能研究院);Hopcroft Center on Computing Science, Huazhong University of Science and Technology(华中科技大学霍普克罗夫特计算科学中心)
提出NTFormer图Transformer,通过Node2Par生成多类型token序列全面表达图特征,无需图特定修改即可在节点分类任务上超越现有方法。
2024-06-27 cs.LG
Advancing Edge Classification through High-Dimensional Causal Modeling of Node-Edge Interplay
Sichuan University(四川大学)
本文提出CECF框架,通过高维因果建模节点-边交互,提升边分类性能,并为现有方法提供灵活增强。
2026-05-01 cs.LG
Semi-Supervised Node Classification on Graphs: Markov Random Fields vs. Graph Neural Networks
Duke University(杜克大学)
图结构数据的半监督节点分类在欺诈检测、虚假账号和评论检测、社交网络中用户的私有属性推断以及社区发现等方面有着广泛的应用。各种方法,如成对马尔可夫随机场(pMRF)和图神经网络开发的半监督节点分类。pMRF比图神经网络更有效。然而,现有的基于pMRF的方法不如图神经网络准确,这是由于它们假设所有边缘的基于几何学的恒定边缘势的关键限制。在这项工作中,我们的目标是解决现有的基于pMRF的方法的关键限制。特别是,我们建议学习边缘电位pMRF。我们对各种类型的图数据集的评估结果表明,我们优化的pMRF为基础的方法始终优于现有的图神经网络的准确性和效率。我们的研究结果强调,以前的工作可能低估了半监督节点分类的pMRF的力量。
2020-12-25 cs.LG
Generalized Equivariance and Preferential Labeling for GNN Node Classification
Peking University(北京大学);University of Alberta(阿尔伯塔大学)
现有的图神经网络(GNN)在很大程度上依赖于节点嵌入,节点嵌入通过其身份、类型或内容将节点表示为向量。然而,具有无属性节点的图广泛存在于现实世界的应用中(例如,匿名社交网络)。以前的GNN要么为节点分配随机标签(这会给GNN引入伪影),要么为所有节点分配一个嵌入(这无法显式区分一个节点与另一个节点)。此外,当这些GNN应用于无属性节点分类问题时,它们具有不期望的等方差属性,这从根本上无法解决具有多个可能输出的数据。在本文中,我们分析了现有的节点分类问题的方法的局限性。我们的分析的启发,我们提出了一个广义的等方差属性和优先标签技术,满足所需的属性渐近。实验结果表明,我们取得了较高的性能在几个无属性的节点分类任务。
2022-02-26 cs.AI cs.LG
Every Node Counts: Improving the Training of Graph Neural Networks on Node Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);University of British Columbia(不列颠哥伦比亚大学)
图神经网络(GNN)在高效处理稀疏和非结构化数据方面表现突出。具体来说,GNN被证明对节点分类任务非常有效,其中标记的信息仅适用于一小部分节点。通常,通过目标函数,优化过程仅考虑标记的节点,而忽略其余节点。在本文中,我们提出了新的目标术语来训练用于节点分类的GNN,旨在利用所有可用数据并提高准确性。我们的第一项旨在最大限度地提高节点和标签特征之间的互信息,同时考虑优化过程中的标记和未标记节点。我们的第二项促进了预测图中的各向异性平滑度。最后,我们提出了一种交叉验证梯度方法来增强对标记数据的学习。我们提出的目标是通用的,可以应用于各种GNN,不需要架构修改。广泛的实验证明了我们的方法使用流行的GNN,如GCN,GAT和GCNII,在10个真实世界的节点分类数据集上读取一致和显着的准确性提高。
2022-11-29 cs.LG cs.SI
Determinate Node Selection for Semi-supervised Classification Oriented Graph Convolutional Networks
Guizhou University(贵州大学)
图卷积网络(GCN)通过从图数据中提取结构信息,在半监督节点分类领域已被证明是成功的。然而,随机选择的标记节点使用的GCN可能会导致不稳定的泛化性能的GCN。在本文中,我们提出了一种有效的方法,确定性选择标记的节点:确定性节点选择(DNS)算法。DNS算法识别图中的两类代表性节点:典型节点和发散节点。通过探索图的结构并确定节点表示图内数据分布的能力来选择这些标记的节点。DNS算法可以非常简单地应用于广泛的半监督图神经网络模型的节点分类任务。通过大量的实验,我们已经证明,与原始方法相比,DNS算法的引入可以显着提高模型的平均准确度,并显着降低标准差。
2023-01-11 cs.AI cs.LG
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
图神经网络(GNNs)在基于图的半监督节点分类中取得了显著的成功,它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而,这样的假设并不总是有效,限制了GNN在节点分类方面的性能。在本文中,我们提出了基于标签一致性的图神经网络(LC-GNN),利用节点对不连接,但具有相同的标签,以扩大GNN中的节点的感受野。在基准数据集上的实验表明,LC-GNN在基于图的半监督节点分类中优于传统GNN,并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Dynamic Graph Node Classification via Time Augmentation
Visa Research(维萨研究院)
图结构数据的节点分类旨在对标签未知的节点进行分类。虽然静态图的研究是普遍的,很少有研究集中在动态图节点分类。动态图上的节点分类具有挑战性,原因有两个。首先,该模型需要捕获结构和时间信息,特别是在具有悠久历史的动态图上,需要大的感受野。其次,随着动态图的大小增加,模型的可伸缩性成为一个重要的问题。为了解决这些问题,我们提出了时间增强动态图神经网络(TADGNN)框架。TADGNN由两个模块组成:1)时间增强模块,它从结构上捕获节点在时间上的时间演化,创建时间增强的时空图,以及2)信息传播模块,它使用构建的时间增强图来学习每个节点在时间上的动态表示。我们在四个动态图基准上进行节点分类实验。实验结果表明,TADGNN框架优于几个静态和动态国家的最先进的(SOTA)GNN模型,同时表现出优越的可扩展性。我们还进行了理论和实证分析,以验证所提出的方法的效率。我们的代码可在https://sites.google.com/view/tadgnn上获得。
2022-12-07 cs.LG cs.SI
TAM: Topology-Aware Margin Loss for Class-Imbalanced Node Classification
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
由于相邻节点之间的相互作用,在类不平衡图数据下学习无偏节点表示是具有挑战性的。现有研究的共同点是,他们补偿的小类节点“作为一个组”,根据他们的整体数量(忽略节点连接图),这不可避免地增加了假阳性的情况下,主要节点。我们假设这些假阳性病例的增加受到每个节点周围标签分布的高度影响,并通过实验证实了这一点。此外,为了处理这个问题,我们提出了拓扑感知余量(TAM),以反映局部拓扑的学习目标。我们的方法比较了每个节点的连接模式与类平均对应部分,并自适应地调整相应的基础上,保证金。我们的方法在具有代表性GNN架构的各种节点分类基准数据集上始终表现出优于基线的优势。
2022-06-26 cs.AI cs.LG
Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification
Vanderbilt University(范德堡大学);IBM T.J. Watson Research Center(IBM T.J. 华生研究中心)
近年来,图神经网络(GNNs)在学习有效的节点表示进行分类方面取得了显著的成功。然而,目前的GNN大多是在平衡的数据分割下构建的,这与许多现实世界的网络不一致,其中训练节点的数量在类之间可能非常不平衡。因此,直接在不平衡数据上使用当前的GNN将生成少数类别中节点的粗略表示,并最终损害分类性能。因此,这预示着开发有效的GNN来处理不平衡图形数据的重要性。在这项工作中,我们提出了一种新的距离明智的原型图神经网络(DPGNN),它提出了一个类原型驱动的训练,以平衡大多数和少数类之间的训练损失,然后利用距离度量学习来区分不同维度的表示的贡献,并充分编码每个节点到每个类原型的相对位置。此外,我们设计了一个新的不平衡标签传播机制,以获得额外的监督从未标记的节点,并采用自监督学习平滑表示相邻节点,同时分离类间原型。在多个网络上进行了全面的节点分类实验和参数分析,所提出的DPGNN几乎总是显着优于所有其他基线,这表明它在不平衡节点分类的有效性。DPGNN的实现可在\url{https://github.com/YuWVandy/DPGNN}上获得。
2021-10-22 cs.LG cs.SI
BuffGraph: Enhancing Class-Imbalanced Node Classification via Buffer Nodes
National University of Singapore(新加坡国立大学)
BuffGraph通过在图结构中插入缓冲节点来调节多数类影响,从而缓解类别不平衡节点分类中的偏差问题,并在多个数据集上取得优于现有方法的性能。
2024-02-20 cs.AI cs.LG
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification
Shanghai Jiao Tong University(上海交通大学);Amazon Web Service(亚马逊云科技);Shanghai AI Lab(上海人工智能实验室)
针对图神经网络存在的过压缩、异配性等缺陷及传统方法二次复杂度的问题,提出基于核化Gumbel-Softmax算子的NodeFormer,实现线性复杂度的可扩展图结构学习,在大图节点分类和无图增强任务中表现优异。
2023-06-14 cs.AI cs.LG
Graph Decipher: A transparent dual-attention graph neural network to understand the message-passing mechanism for the node classification
University of Colorado Denver(科罗拉多大学丹佛分校)
图神经网络可以有效地应用于为广泛不同领域的许多现实问题找到解决方案。图神经网络的成功与图上的消息传递机制有关,然而,大多数算法中的消息聚集行为仍然不完全清楚。为了改善功能,我们提出了一个新的透明网络,称为图形解密调查的消息传递机制,优先级在两个主要组成部分:图形结构和节点属性,在图形,功能和全局水平下的节点分类任务的图形。然而,计算负担现在成为最重要的问题,因为图的结构和节点属性的相关性计算上的图。为了解决这个问题,图特征过滤器只提取相关的代表性节点属性,允许以面向类别的方式执行计算。在7个数据集上的实验表明,Graph Decipher在节点分类任务下实现了最先进的性能,同时大大降低了计算负担。此外,由于我们的算法有能力探索的代表节点属性的类别,它是用来减轻不平衡的节点分类问题的多类图数据集。
2022-01-04 cs.AI cs.LG
Using Subgraph GNNs for Node Classification:an Overlooked Potential Approach
East China Normal University(东华师范大学)
SubGND通过引入子图分类方法和自适应特征缩放机制,在异质设置中实现了与全局GNNs相当或更优的节点分类性能。
2026-01-13 cs.AI cs.LG
Meta-Inductive Node Classification across Graphs
Singapore Management University(新加坡管理大学)
图上的半监督节点分类是一个重要的研究问题,在信息检索中有许多实际应用,例如社交网络上的内容分类和电子商务查询图上的查询意图分类。虽然传统的方法在很大程度上是传导性的,但最近的图神经网络(GNN)将节点特征与网络结构相结合,从而实现了可以应用于相同特征空间中的新节点甚至新图的归纳节点分类模型。然而,图间差异仍然存在于同一域内的图之间。因此,仅训练一个全局模型(例如,现有技术的GNN)来处理所有新的图,同时忽略图间差异,可能导致次优性能。本文研究了图上的归纳节点分类问题。与现有的一个模型适合所有的方法不同,我们提出了一种新的元归纳框架,称为MI-GNN,在元学习范式下为每个图定制归纳模型。也就是说,MI-GNN不直接学习归纳模型;它学习如何在新图上训练半监督节点分类模型的一般知识。为了处理图之间的差异,MI-GNN在图和任务级别都采用了双重自适应机制。更具体地说,我们在适应图级差异之前学习图,并且在适应以图为条件的任务级差异之前学习任务。对五个真实世界图集合的广泛实验证明了我们提出的模型的有效性。
2022-03-27 cs.LG cs.SI
Edge2Node: Reducing Edge Prediction to Node Classification
Amirkabir University of Technology(阿米尔卡比尔理工大学)
针对图神经网络边预测任务依赖评分函数的局限,提出名为 Edge2Node 的方法,通过构建新图将边预测归约为节点分类任务,直接获取边嵌入,为该领域提供了新思路。
2023-11-22 cs.LG cs.SI
Graph Neural Network with Curriculum Learning for Imbalanced Node Classification
Aerospace Information Research Institute, Chinese Academy Of Sciences(中国科学院空天信息研究院);School of Software, Tsinghua University(清华大学软件学院);National University of Singapore(新加坡国立大学)
图神经网络(GNN)是一种新兴的基于图的学习任务,如节点分类技术。在这项工作中,我们揭示了GNN的脆弱性节点标签的不平衡。传统的不平衡分类解决方案(例如,rescue)在节点分类中没有考虑图结构是无效的。更糟糕的是,由于缺乏足够的先验知识,它们甚至可能带来过拟合或欠拟合的结果。为了解决这些问题,我们提出了一种新的图神经网络框架与课程学习(GNN-CL)由两个模块。一方面,我们希望通过新的基于图的过采样,获得一定的可靠的插值节点和边缘的基础上光滑和同质性。另一方面,我们结合了图分类损失和度量学习损失,调整了特征空间中与少数类相关的不同节点之间的距离。受课程学习的启发,在训练过程中动态调整不同模块的权重,以获得更好的泛化和区分能力。通过几个广泛使用的图数据集评估了所提出的框架,表明我们提出的模型始终优于现有的最先进的方法。
2022-02-05 cs.AI cs.LG
Rethinking Tokenized Graph Transformers for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Hopcroft Center on Computing Science, Huazhong University of Science and Technology(华中科技大学霍普克罗夫特计算科学中心);Cornell University(康奈尔大学)
针对现有节点标记化图Transformer仅利用一阶邻居生成标记序列的局限,提出SwapGT方法,通过标记交换操作生成更优序列,结合Transformer骨干与中心对齐损失,在多数据集上提升节点分类性能。
2025-02-12 cs.AI cs.LG
Synthetic Over-sampling for Imbalanced Node Classification with Graph Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学)
近年来,图神经网络(GNN)已经实现了节点分类的最新性能。然而,大多数现有的GNN都会受到图不平衡问题的困扰。在许多现实场景中,节点类是不平衡的,一些多数类构成了图的大部分。GNN中的消息传播机制将进一步放大这些多数类的优势,导致分类性能次优。在这项工作中,我们试图通过生成少数类的伪实例来平衡训练数据,扩展以前的基于过采样的技术来解决这个问题。这个任务是不平凡的,因为这些技术是在假设实例是独立的情况下设计的。忽视关系信息会使这种过采样过程变得复杂。此外,节点分类任务通常采用仅具有少数标记节点的半监督设置,从而为少数实例的生成提供不足的监督。生成的低质量的新节点会损害训练好的分类器。在这项工作中,我们解决这些困难,通过合成新的节点在一个构建的嵌入空间,编码节点属性和拓扑信息。此外,边生成器同时被训练来对图结构进行建模并为新样本提供关系。为了进一步提高数据效率,我们还探索合成混合的“中间”节点,以利用在这个过采样过程中的大多数类的节点。在真实数据集上的实验验证了该框架的有效性。
2022-06-10 cs.LG cs.SI
Revisiting Neighborhood Aggregation in Graph Neural Networks for Node Classification using Statistical Signal Processing
International University of Rabat(拉巴特国际大学)
本文从统计信号处理角度重新审视GNN中的邻域聚合,指出基准模型在边缘独立标签假设下的概念缺陷,并提出改进设计见解。
2024-07-21 cs.LG eess.SP stat.ML
A Probabilistic Model for Node Classification in Directed Graphs
本文提出一种面向有向图的概率生成式分类模型,利用最大似然或最大后验估计预测节点标签,兼具高可解释性,并在两个数据集上取得优于或媲美最先进方法的性能。
2025-01-03 cs.LG cs.SI
MGCN: Semi-supervised Classification in Multi-layer Graphs with Graph Convolutional Networks
Sharif University of Technology(谢里夫理工大学)
图嵌入是实现节点分类、链接预测等图分析任务的重要方法。图嵌入的目标是找到保留图信息的图节点的低维表示。最近的方法,如图卷积网络(GCN),试图考虑节点属性(如果可用),除了节点关系和学习节点嵌入的无监督和半监督的任务图。另一方面,多层图分析最近受到关注。然而,现有的多层图嵌入方法不能包含所有可用的信息(如节点属性)。此外,他们中的大多数考虑节点或边的类型,他们不处理层内和层间的边缘不同。在本文中,我们提出了一种称为MGCN的方法,利用GCN的多层图。MGCN使用层内和层间关系和节点属性嵌入多层图的节点。我们在半监督节点分类任务上评估我们的方法。实验结果表明,该方法的优越性,其他多层和单层的竞争对手,也显示了积极的效果,使用跨层的边缘。
2019-08-24 cs.LG stat.ML
Node Classification in Random Trees
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种方法,用于对结构为随机树的对象进行分类,通过马尔可夫网络和图神经网络建模节点标签分布,优于现有方法。
2024-04-14 cs.LG cs.SI
Population Graph Cross-Network Node Classification for Autism Detection Across Sample Groups
Michigan State University(密歇根州立大学)
本文提出OTGCN方法,将图卷积网络与最优传输相结合以解决跨网络节点分类中的领域漂移问题,并在结合成像与非成像数据的自闭症谱系障碍分类任务中验证了其有效性。
2024-01-10 cs.AI cs.LG cs.SI
On Positional and Structural Node Features for Graph Neural Networks on Non-attributed Graphs
Emory University(埃默里大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Purdue University(普渡大学)
图神经网络(GNN)已被广泛用于各种与图相关的问题,例如节点分类和图分类,其中主要在自然节点特征可用时建立优越的性能。然而,没有自然节点特征的GNN如何工作还没有很好的理解,特别是关于构建人工节点的各种方法。在本文中,我们指出了两种类型的人工节点特征,即,位置和结构节点特征,并提供关于为什么它们中的每一个更适合于某些任务的见解,即,位置节点分类、结构节点分类和图形分类。在10个基准数据集上进行的大量实验结果验证了我们的见解,从而为非属性图上GNN的不同人工节点特征之间的选择提供了实用指南。该代码可在https://github.com/zjzijielu/gnn-positional-structural-node-features上获得。
2022-09-09 cs.AI cs.LG cs.SI
From Abductive Explanations to Global Logical Rules for Node Classification in SGCs
本研究针对SGC节点分类任务,提出以最小溯因解释为中间表示的逻辑框架,可提取紧凑且高保真的全局逻辑规则。
2026-08-19 cs.AI cs.LG cs.LO
Enhance GNNs with Reliable Confidence Estimation via Adversarial Calibration Learning
The Pennsylvania State University(宾夕法尼亚州立大学)
针对现有GNN校准方法跨节点组泛化差、甚至可能降低校准效果的问题,提出AdvCali框架,通过对抗训练识别校准不佳的节点组并结合可微分组ECE损失优化,同时提升全局与多维度分组的校准效果。
2025-03-23 cs.LG
Can we trust our models? Epistemic calibration in second-order classification
Université de Lorraine, CentraleSupélec Loria, CNRS(洛林大学,中央理工-高等电力学院洛里亚实验室,法国国家科学研究中心)
提出认知校准准则,衡量认知不确定性估计是否可靠,并证明其比经典校准更严格,通过EECE指标实验揭示不同不确定性量化方法的差异。
2026-06-09 cs.LG
Normality Calibration in Semi-supervised Graph Anomaly Detection
University of Science and Technology of China(中国科学技术大学)
提出GraphNC框架,通过教师模型在异常分数和表示空间联合校准正态性,解决半监督图异常检测中正态性过拟合问题,降低误报。
2026-06-06 cs.LG
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
University of Southern California(南加州大学);AWS AI Labs(AWS AI实验室)
本文提出一种校准感知强化学习方法,通过调整决策标记概率,在保持准确性的同时减少过度自信,提升决策LLM的校准性能。
2026-01-19 cs.LG
Byzantine-Robust Federated RAG via Aligned Calibration and Fixed-Membership Conformal Prediction
Georgia Institute of Technology(佐治亚理工学院)
针对联邦RAG中拜占庭节点攻击,利用诚实节点跨步骤一致性,通过对齐校准与固定成员共形预测,在有限样本下提供覆盖保证,并实现更小的预测集。
2026-09-30 cs.LG stat.ML
Inference-Time Decision Calibration for Temporal Classification
Department of Computer Science (DCC), Universidade Federal de Minas Gerais (UFMG)(米纳斯吉拉斯联邦大学计算机科学系)
提出将时序分类错误分解为表征错误和决策错误,通过冻结原生分类器并添加残差多尺度分支与事后分支感知校准器,在不重训练骨干网络的情况下区分缺失时序证据与未充分利用的决策级证据。
2026-06-16 cs.LG
KDCTime: Knowledge Distillation with Calibration on InceptionTime for Time-series Classification
Jinan University(暨南大学);University of Macau(澳门大学);Beijing Institute of Technology(北京理工大学)
基于深度神经网络的时间序列分类方法在UCR数据集上容易过拟合,这是由这些数据集的Few-Shot问题引起的。因此,为了减轻过拟合现象以进一步提高准确性,我们首先提出了InceptionTime(LSTime)的标签平滑,与硬标签相比,它采用了软标签的信息。接下来,而不是手动调整软标签的LSTime,知识蒸馏的InceptionTime(KDTime),提出了自动生成软标签的教师模型。最后,为了纠正教师模型中错误预测的软标签,提出了基于初始时间校正的知识蒸馏(KDCTime),其中包含两种可选的校正策略,即基于翻译的知识蒸馏(KDCT)和基于重排序的知识蒸馏(KDCR)。实验结果表明,KDCTime的准确性是有前途的,而其推理时间是两个数量级的速度比ROCKET在一个可接受的训练时间开销。
2021-12-04 cs.LG
Split Conformal Classification with Unsupervised Calibration
BCAM-Basque Center for Applied Mathematics and IKERBASQUE-Basque Foundation for Science(BCAM巴斯克应用数学中心和IKERBASQUE巴斯克科学基金会)
本文提出一种用于分类任务的无监督校准分裂共形预测方法,利用无监督校准样本和训练样本构建集合预测规则,在性能保证和计算效率适度下降的情况下达到与有监督校准相当的性能。
2025-10-14 cs.LG stat.ML
Calibration tests in multi-class classification: A unifying framework
Uppsala University(乌普萨拉大学);Linköping University(林雪平大学)
在安全关键应用中,通常需要校准概率模型,即,来准确捕捉其预测的不确定性。在多类分类中,仅校准最有信心的预测往往是不够的。我们提出并研究了多类分类的校准措施,推广现有的措施,如预期的校准误差,最大校准误差,最大平均校准误差。我们提出并评估经验不同的一致性和无偏估计量为一类特定的措施的基础上矩阵值的内核。重要的是,这些估计量可以被解释为检验统计量,与明确定义的界限和在模型经过校准的原假设下的p值近似值相关,显著提高了校准测量的可解释性,否则缺乏任何有意义的单位或尺度。
2020-03-16 cs.LG stat.ML
On Calibration of Modern Neural Networks
Cornell University(康奈尔大学)
置信度校准-预测代表真实正确性可能性的概率估计的问题-对于许多应用中的分类模型很重要。我们发现,现代神经网络与十年前的网络不同,校准得很差。通过大量的实验,我们观察到,深度,宽度,权重衰减,和批量归一化是影响校准的重要因素。我们评估了各种后处理校准方法在最先进的图像和文档分类数据集架构上的性能。我们的分析和实验不仅提供了对神经网络学习的见解,而且还为实际设置提供了简单而直接的方法:在大多数数据集上,温度缩放-普拉特缩放的单参数变体-在校准预测方面令人惊讶地有效。
2017-08-03 cs.LG
Neighbor Enhanced Graph Convolutional Networks for Node Classification and Recommendation
Beihang University(北京航空航天大学);Yangtze University(长江大学);Alibaba Group(阿里巴巴集团);Cainiao Network(菜鸟网络);Jinan University(暨南大学);Tencent Inc.(腾讯公司)
最近提出的图卷积网络(GCN)在各种与图相关的任务(如节点分类和推荐)上取得了显着优越的性能。然而,目前对GCN模型的研究通常是递归地聚合所有邻居或随机采样的邻居子集的信息,而没有明确地识别聚合的邻居在图卷积过程中是否提供有用的信息。本文从理论上分析了邻居质量对GCN模型性能的影响,提出了邻居增强图卷积网络(Neighbor Enhanced Graph Convolutional Network,NEGCN)框架来提高现有GCN模型的性能。我们的贡献是三方面的。首先,我们在第一次提出的概念,邻居质量的节点分类和推荐任务的一般理论框架。具体而言,对于节点分类,我们提出了三个命题,从理论上分析邻居质量如何影响GCN模型的节点分类性能。其次,基于提出的三个命题,我们引入了图细化过程,包括专门设计的邻居评估方法,以提高邻居质量,从而提高节点分类和推荐任务。第三,我们在几个基准数据集上进行了广泛的节点分类和推荐实验。实验结果表明,我们提出的NEGCN框架可以显着提高性能的各种典型的GCN模型上的节点分类和推荐任务。
2022-03-30 cs.LG
Calibration through the Lens of Interpretability
York University(约克大学)
本文从公理化角度系统梳理校准模型及评估指标的理想性质、可行性与对应关系,并通过实验比较常见校准方法和简单可解释决策树。
2024-12-01 cs.LG
Multiclass Classification Calibration Functions
University of Alberta(阿尔伯塔大学)
在本文中,我们完善的过程中计算校准功能的多类分类代理损失。校准函数是一个强大的工具,可以轻松地将替代风险的界限(可以通过众所周知的方法计算)转换为真实风险的界限,即犯错误的概率。它们特别适用于非参数设置,其中近似误差可以控制,并且提供比通过替代损失上限0-1损失的常见技术更严格的界限。更复杂的现有校准函数结果的抽象性质要求在逐个情况的基础上明确地导出校准函数,每当需要新的替代损失的界限时,都需要重复的努力。我们设计了一个精简的分析,简化了大量的替代损失,已在文献中提出的推导校准函数的过程。推导校准函数的努力,然后推测在验证中,对于一个选定的替代损失,少量的条件,我们介绍。作为案例研究,我们恢复了Lee等人(2004)的已知损失的现有校准函数,并为已知损失提供了新的校准函数,包括一对所有损失和逻辑斯谛回归损失,以及过去已被证明是分类校准的许多其他损失,但没有导出校准函数。
2016-09-20 cs.LG stat.ML
Calibration tests beyond classification
Uppsala University(乌普萨拉大学);Linköping University(林雪平大学)
大多数有监督的机器学习任务都受到不可约的预测误差的影响。概率预测模型通过提供表示对似然目标的信念的概率分布而不是点估计来解决这个限制。这种模型可以成为在不确定情况下进行决策的宝贵工具,前提是模型输出是有意义的和可解释的。经过校准的模型保证概率预测既不会过度自信,也不会信心不足。在机器学习文献中,已经提出并研究了用于评估分类模型的校准的不同测量和统计测试。然而,对于回归问题,研究一直集中在一个较弱的校准条件的基础上预测的分位数为实值目标。在本文中,我们提出了第一个框架,统一的校准评估和测试一般概率预测模型。它适用于任何此类模型,包括任意维度的分类和回归模型。此外,该框架概括了现有的措施,并提供了一个更直观的重新制定最近提出的框架校准多类分类。特别是,我们重新制定和推广的内核校准误差,它的估计,并使用标量值内核的假设检验,并评估校准的实值回归问题。
2022-10-21 cs.LG stat.ML
Improved Trainable Calibration Method for Neural Networks on Medical Imaging Classification
University of Kentucky(肯塔基大学)
最近的工作表明,深度神经网络可以在医学成像领域的广泛图像分类任务中实现超人的性能。然而,这些工作主要集中在分类精度,忽略了不确定性量化的重要作用。从经验上讲,神经网络经常在预测中被错误校准和过度自信。这种误校准在任何自动决策系统中都可能存在问题,但我们专注于医学领域,其中神经网络误校准有可能导致重大的治疗错误。我们提出了一种新的校准方法,保持整体分类精度,同时显着提高模型校准。所提出的方法是基于预期的校准误差,这是一个共同的度量量化误校准。我们的方法可以很容易地集成到任何分类任务中作为辅助损失项,因此不需要明确的训练轮进行校准。我们表明,我们的方法在各种架构和数据集上显着降低了校准误差。
2020-09-09 cs.CV cs.LG eess.IV
An Empirical Analysis of Calibration and Selective Prediction in Multimodal Clinical Condition Classification
New York University(纽约大学);University of Toronto(多伦多大学)
本研究通过实证分析多标签临床状况分类中基于不确定性的选择性预测,发现其性能可能严重下降,原因是类别依赖的误校准,尤其对少数类别,并强调需要校准感知评估来确保临床AI的安全性。
2026-05-22 cs.LG
UPL: Uncertainty-aware Pseudo-labeling for Imbalance Transductive Node Classification
Sharif University of Technology(谢里夫理工大学);Alan Turing Institute(阿兰·图灵研究所)
针对图结构数据的类别不平衡导致节点分类困难的问题,提出不确定性感知伪标签标注算法UPL,通过为无标签节点分配伪标签并利用不确定性方法降低训练噪声,有效提升了分类准确率,性能优于现有最先进方法。
2025-02-02 cs.LG
Contextual Gating within the Transformer Stack: Synergistic Feature Modulation for Enhanced Lyrical Classification and Calibration
Independent Researcher(独立研究者)
SFL Transformer通过在Transformer堆栈中引入上下文门控机制,有效融合结构和语义信息,提升了歌词分类的准确率和概率估计的可靠性。
2025-11-27 cs.LG
Unsupervised Neighborhood Propagation Kernel Layers for Semi-supervised Node Classification
KU Leuven(鲁汶大学)
本研究提出深度图卷积核机器GCKM用于半监督节点分类,由无监督邻域传播核层与半监督分类核模块构成,设计了对偶域端到端训练方案,在少标签场景下提升了分类性能。
2023-12-15 cs.LG
Optimizing Estimators of Squared Calibration Errors in Classification
German Cancer Consortium (DKTK)(德国癌症联盟(DKTK));German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Goethe University Frankfurt(法兰克福大学);Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
本研究针对分类任务中平方校准误差估计器选型与调参缺乏指导的问题,提出基于均方误差的风险度量与训练-验证-测试流水线,将校准估计重构为回归问题以适配规范校准准则,优化并对比了传统与核岭回归类估计器的性能。
2025-02-21 cs.LG stat.ML
Better Uncertainty Calibration via Proper Scores for Classification and Beyond
German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联盟);Goethe University Frankfurt(法兰克福大学);Frankfurt Cancer Institute(法兰克福癌症研究所)
本文提出适当校准误差框架,将校准误差与适当评分关联,提供最优估计上界,可靠量化校准改进,并扩展至分类以外。
2024-03-12 cs.LG stat.ML
On Classification-Calibration of Gamma-Phi Losses
University of Michigan(密歇根大学)
该研究针对Gamma-Phi多类分类损失,首次给出其满足分类校准的通用充分条件,证明其为首个经完整论证满足CC的非凸多类代理损失族,同时指出既往一个充分条件不成立,填补了相关研究的技术空白。
2023-12-12 cs.LG stat.ML
Transductive Linear Probing: A Novel Framework for Few-Shot Node Classification
Arizona State University(亚利桑那州立大学);University of Virginia(弗吉尼亚大学)
Few-Shot节点分类的任务是提供准确的预测节点从新的类只有几个代表性的标记节点。这个问题已经引起了极大的关注,因为它的投影到流行的现实世界的应用,如产品分类的新添加的商品类别的电子商务平台上的稀缺记录或罕见疾病的诊断上的患者相似性图。为了解决非欧几里德图域中具有挑战性的标签稀缺问题,元学习已经成为一种成功和主导的范式。最近,受图自监督学习发展的启发,为Few-Shot节点分类转移预训练的节点嵌入可能是元学习的一个有前途的替代方案,但尚未公开。在这项工作中,我们经验性地证明了另一种框架\textit{Transductive Linear Probing}的潜力,该框架可以传输从图对比学习方法中学习的预训练节点嵌入。我们进一步将Few-Shot节点分类的设置从标准的完全监督扩展到更现实的自监督设置,其中由于缺乏来自训练类的监督,元学习方法无法轻松部署。令人惊讶的是,即使没有任何地面事实标签,具有自监督图对比预训练的直推线性探测也可以在相同协议下优于最先进的完全监督元学习方法。我们希望这项工作可以揭示新的光在Few-Shot节点分类问题,并促进未来的研究,从几乎没有标记的实例图的学习。
2022-12-11 cs.LG
On the Calibration of Multiclass Classification with Rejection
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能项目中心)
我们调查的问题,多类分类拒绝,其中一个分类器可以选择不作出预测,以避免严重的误分类。首先,我们考虑一种基于同时训练分类器和拒绝器的方法,该方法在二进制情况下实现了最先进的性能。我们分析这种方法的多类的情况下,并推导出校准的贝叶斯最优解,这表明校准是很难实现的一般损失函数不同的二进制情况下的一般条件。接下来,我们考虑另一种基于置信度分数的传统方法,其中现有的工作集中在特定类别的损失上。我们提出了更一般的损失,这种方法的拒绝标准,并保证校准到贝叶斯最优解。最后,我们进行实验,以验证我们的理论研究结果的相关性。
2019-10-30 cs.LG stat.ML
Monitoring the calibration of probability forecasts with an application to concept drift detection involving image classification
研究图像分类中概率预测校准问题,提出基于累积和与动态限制的方法,能在传统监测及概念漂移应用里检测校准错误,可早期发现影响图像分类性能的变化,广泛用于监测概率预测校准且无需访问模型内部。
2026-07-14 cs.LG stat.ML