Conditional validity of inductive conformal predictors
共形预测因子是在覆盖概率等于或超过给定置信水平的意义上自动有效的集合预测因子。归纳共形预测是一个计算效率高的版本的共形预测满足相同的属性的有效性。然而，归纳共形预测已经只知道控制无条件覆盖概率。本文探讨了各种版本的条件效度和各种方法来实现它们使用归纳共形预测及其修改。
2012-09-24 cs.LG
Inductive Graph Neural Networks for Moving Object Segmentation
La Rochelle Université（拉罗谢尔大学）；Télécom Paris - Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）
针对运动目标分割在现实部署中无法访问全部数据的直推式学习局限，提出基于图神经网络的GraphIMOS归纳算法，利用已训练模型对新数据帧进行预测，性能优于现有方法且更具通用性。
2023-05-16 cs.CV cs.LG
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络（RGNN），解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性，我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中，我们证明了我们的模型类在三个基准测试中获得了最先进的结果：Pubmed，Reddit和PPI网络数据集。我们的深入分析还表明，结合递归单元是一种简单而有效的方法来防止图中的噪声信息，从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Graph Sparsification for Enhanced Conformal Prediction in Graph Neural Networks
The Ohio State University（俄亥俄州立大学）
针对图神经网络保形预测缺乏训练阶段优化的问题，提出融合图稀疏化与专属目标的SparGCP方法，过滤任务无关边以提升效率，实验显示其预测集规模平均缩小32%，可适配普通GPU上的大规模网络。
2024-10-28 cs.LG
Inductive Graph Neural Networks for Spatiotemporal Kriging
McGill University（麦吉尔大学）；HEC Montreal（蒙特利尔高等商学院）
时间序列预测和时空克立格法是时空数据分析中的两个最重要的任务。近年来，图神经网络在时间序列预测方面取得了很大的进展，但对Kriging问题（未采样位置/传感器的信号恢复）的研究却很少。大多数现有的可扩展克里金方法（例如，矩阵/张量完成）是可转换的，因此当我们有新的传感器要插值时，需要完全重新训练。在本文中，我们开发了一个归纳图神经网络克立格（IGNNK）模型，以恢复网络/图结构上的未采样传感器的数据。为了推广距离和可达性的影响，我们生成随机子图作为样本，并为每个样本重建相应的邻接矩阵。通过重构每个样本子图上的所有信号，IGNNK可以有效地学习空间消息传递机制。几个真实世界的时空数据集上的实证结果证明了我们的模型的有效性。此外，我们还发现，学习的模型可以成功地转移到一个看不见的数据集上的相同类型的克里金任务。我们的研究结果表明：1）GNN是空间克里金法的高效工具; 2）归纳GNN可以使用动态邻接矩阵进行训练; 3）经过训练的模型可以转换为新的图形结构; 4）IGNNK可以用于生成虚拟传感器。
2020-12-19 cs.LG stat.ML
Link Stealing Attacks Against Inductive Graph Neural Networks
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）；Hong Kong University of Science and Technology（香港科技大学）；University of Birmingham（伯明翰大学）；University of Lausanne（洛桑大学）；Duke University（杜克大学）
本文从链接窃取攻击视角系统分析归纳式GNN隐私，提出仅后验与组合攻击，并在六个数据集上验证其有效性、鲁棒性及现有防御不足。
2024-05-09 cs.CR cs.LG
Neural Structured Prediction for Inductive Node Classification
Université de Montréal（蒙特利尔大学）；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院）
本文研究归纳环境下的节点分类，即，目的是在标记的训练图上学习一个模型，并将其推广到未标记的测试图上推断节点标签。这个问题已经通过学习有效的节点表示而用图神经网络（GNN）以及用于对节点标签的结构化输出进行建模的传统结构化预测方法（例如，条件随机场（CRF）。在本文中，我们提出了一种新的方法，称为结构化代理网络（SPN），它结合了这两个世界的优势。SPN定义了具有GNN的CRF的灵活潜在函数。然而，学习这样一个模型是不平凡的，因为它涉及到优化一个最大最小的游戏与高成本的推理。受马尔可夫网络定义的联合分布和边缘分布之间的潜在联系的启发，我们建议将优化问题的近似版本作为代理来解决，这会产生一个接近最优的解决方案，使学习更有效。在两个设置上的广泛实验表明，我们的方法优于许多竞争基线。
2022-04-15 cs.AI cs.LG
Model Stealing Attacks Against Inductive Graph Neural Networks
Norton Research Group（诺顿研究组）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；INRIA（法国国家信息与自动化研究所）
许多真实世界的数据都是以图表的形式出现的。图神经网络（GNN）是一种新的机器学习（ML）模型家族，已被提出来充分利用图数据来构建强大的应用程序。特别是，可以推广到看不见的数据的归纳GNN成为这个方向的主流。机器学习模型在各种任务中显示出巨大的潜力，并已被部署在许多现实世界的场景中。为了训练一个好的模型，需要大量的数据和计算资源，从而导致有价值的知识产权。先前的研究表明，ML模型容易受到模型窃取攻击，其目的是窃取目标模型的功能。然而，他们中的大多数都集中在用图像和文本训练的模型上。另一方面，很少关注用图形数据训练的模型，即，GNN。在本文中，我们通过提出针对归纳GNN的第一个模型窃取攻击来填补这一空白。我们系统地定义了威胁模型，并提出了六个攻击对手的背景知识和目标模型的响应的基础上。我们对六个基准数据集的评估表明，所提出的模型针对GNN的窃取攻击取得了令人满意的性能。
2021-12-15 cs.CR cs.LG
SEGNO: Generalizing Equivariant Graph Neural Networks with Physical Inductive Biases
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯AI实验室）
针对现有等变图神经网络物理归纳偏置不足的问题，提出二阶等变图神经常微分方程SEGNO，兼具二阶连续性与等变性，理论上轨迹误差有界，在多类物理系统任务上性能优于SOTA基线。
2024-03-12 cs.AI cs.LG
Power to the Relational Inductive Bias: Graph Neural Networks in Electrical Power Grids
Siemens（西门子）
图神经网络（GNNs）在电网领域的应用对智能电网监控具有很大的潜在影响。尽管GNN中的潮流与消息传递有着天然的对应关系，但它们在电网上的性能还没有得到很好的理解。我们认为，GNN的研究驱动的基准，其中包含的图形，不同的电网在几个重要方面之间存在差距。此外，还没有用真实世界的数据探索跨多个电网拓扑结构的GNN的归纳学习。我们解决这个差距，通过（i）定义电网图形数据集在归纳设置，（ii）图形属性的探索性分析，和（iii）在现实世界的电网状态估计的具体学习任务的实证研究。我们的研究结果表明，与基线相比，GNN对噪声的鲁棒性更强，误差降低了400%。此外，由于电网的独特性质，我们没有观察到GNN的众所周知的过度平滑现象，并发现性能最好的模型非常深，最多可达13层。这与现有的基准数据集形成鲜明对比，其中共识是2到3层GNN表现最好。我们的研究结果表明，在这一领域的一个关键挑战是有效地处理长程依赖。
2021-09-08 cs.LG eess.SP
The Road to Learning Explainable Inverse Kinematic Models: Graph Neural Networks as Inductive Bias for Symbolic Regression
Faculty of Computer Science, Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学计算机科学学院）；Fraunhofer Institute for Transportation and Infrastructure Systems IVI（弗劳恩霍夫运输与基础设施系统研究所IVI）
本文利用图神经网络学习逆运动学模型，泛化至不同连杆长度的机械臂，并作为归纳偏置用于符号回归生成解析方程。
2025-01-23 cs.LG cs.RO
Towards Probabilistic Inductive Logic Programming with Neurosymbolic Inference and Relaxation
TNO（荷兰应用科学研究组织）
针对传统ILP无法处理概率背景知识的问题，提出Propper框架，结合神经符号推理、连续假设选择标准（BCE）和约束松弛（NoisyCombo），能从极少示例中学习并优于现有模型。
2024-09-20 cs.AI cs.LG
Inductive Matrix Completion Based on Graph Neural Networks
Washington University in St. Louis（圣路易斯华盛顿大学）；Facebook（脸书）
我们提出了一个不使用边信息的归纳矩阵完备化模型。通过将（评级）矩阵分解为行（用户）和列（项目）的低维潜在嵌入的乘积，大多数现有的矩阵完成方法都是直推的，因为学习的嵌入不能推广到看不见的行/列或新矩阵。为了使矩阵补全归纳，大多数以前的作品使用内容（边信息），如用户的年龄或电影的类型，进行预测。然而，高质量的内容并不总是可用的，并且很难提取。在除了要完成的矩阵之外没有任何边信息可用的极端设置下，我们仍然可以学习归纳矩阵完成模型吗？在本文中，我们提出了一个基于归纳图的矩阵完成（IGMC）模型来解决这个问题。IGMC训练一个图神经网络（GNN），纯粹基于1跳子图周围（用户，项目）从评级矩阵生成的对，并将这些子图映射到其相应的评级。它通过最先进的转换基线实现了极具竞争力的性能。此外，IGMC是归纳性的--它可以概括为在训练过程中看不到的用户/项目（假设他们的交互存在），甚至可以转移到新的任务。我们的迁移学习实验表明，从MovieLens数据集训练出来的模型可以直接用于预测豆瓣电影的评分，并且性能惊人。我们的工作表明：1）可以在不使用边信息的情况下训练归纳矩阵完成模型，同时实现与现有技术的转换方法类似或更好的性能; 2）（用户，项目）对周围的局部图形模式是该用户给予项目的评级的有效预测器;以及3）长范围依赖性对于建模推荐系统可能不是必需的。
2020-02-16 cs.IR cs.LG stat.ML
Inductive Logical Query Answering in Knowledge Graphs
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Stanford University（斯坦福大学）；HEC Montréal（蒙特利尔高等商学院）
制定和回答逻辑查询是知识图谱（KG）的标准通信接口。神经方法通过学习实体、关系和查询的表示，减轻了现实世界KG的不完整性，在链接预测和复杂查询回答任务中取得了令人印象深刻的结果。尽管如此，大多数现有的查询应答方法依赖于转换实体嵌入，并且在不重新训练实体嵌入的情况下不能推广到包含新实体的KG。在这项工作中，我们研究了归纳查询应答任务，其中推理是在一个包含新实体的图上进行的，查询既可以看到，也可以看到实体。为此，我们设计了两种机制，利用由图神经网络（GNNs）驱动的归纳节点和关系结构表示。实验表明，归纳模型能够在推理时对看不见的节点进行逻辑推理，并将其推广到比训练图大500%的图。探索效率-有效性权衡，我们发现归纳关系结构表示方法通常具有更高的性能，而归纳节点表示方法能够在仅推理的情况下回答复杂的查询，而无需对查询进行任何训练，并且可以扩展到数百万节点的图形。代码可在https://github.com/DeepGraphLearning/InductiveQE上获得。
2022-11-08 cs.AI cs.LG
Unravelling the Performance of Physics-informed Graph Neural Networks for Dynamical Systems
Indian Institute of Technology Delhi（德里印度理工学院）
最近，图神经网络已经获得了大量的关注，以模拟动态系统，由于其归纳性质，导致zero-shot泛化。类似地，深度学习框架中的物理信息归纳偏差已被证明在学习物理系统的动态方面具有优异的性能。有越来越多的文献试图将这两种方法结合起来。在这里，我们评估了13个不同的图神经网络的性能，即，哈密顿和拉格朗日图神经网络，图神经ODE，以及它们的变种明确的约束和不同的架构。我们简要地解释了突出的相似性和差异，这些系统的归纳偏见和图形架构的理论制定。我们评估这些模型的弹簧，钟摆，重力和3D可变形固体系统比较性能的推出误差，守恒量，如能量和动量，以及不可见的系统尺寸的推广。我们的研究表明，具有额外归纳偏差的GNN，例如明确的约束和动能和势能的解耦，表现出显着增强的性能。此外，所有的物理知识GNN表现出zero-shot的泛化能力，系统大小比训练系统大一个数量级，从而提供了一个有前途的路线来模拟大规模的现实系统。
2023-02-02 cs.LG physics.comp-ph
Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks
Universitat Politècnica de Catalunya-BarcelonaTech（加泰罗尼亚理工大学-巴塞罗那科技大学）；UC Santa Barbara（加利福尼亚大学圣巴巴拉分校）；University of Cambridge（剑桥大学）
受观点动力学启发，提出两种新的层叠学习方法，为异质性和过平滑引入归纳偏置，减少参数量，并通过新合成任务评估其性能。
2024-07-30 cs.LG math.DS
Inductive Graph Representation Learning with Quantum Graph Neural Networks
Pasqal NL
本文提出了一种基于量子图神经网络的归纳图表示学习框架，通过灵活的量子卷积和池化层实现高效分子表示学习，展示了在复杂分子建模中的竞争力和扩展性。
2026-09-22 cs.LG quant-ph
Inductive Correlation Clustering with Graph Neural Networks
Sapienza University of Rome（罗马大学）；Intesa Sanpaolo AI Research（裕信银行人工智能研究院）；Bowling Green State University（鲍灵格林州立大学）
本研究针对关联聚类算法的直推式缺陷，提出基于图神经网络的归纳式关联聚类框架，可高效推广至新图，在归纳设置下推理时间大幅降低，还可作为图分类的高效池化层。
2026-08-28 cs.DS cs.LG
Reliable Prediction Intervals with Directly Optimized Inductive Conformal Regression for Deep Learning
University of Nottingham Ningbo China（宁波诺丁汉大学）
通过生成预测区间（PI）来量化深度学习回归中每个预测的不确定性，可以有效控制错误预测的风险。高质量的PI需要尽可能窄，同时覆盖预设比例的真实标签。目前，许多提高PI质量的方法可以有效地减少PI的宽度，但它们不能确保捕获足够的真实标签。归纳共形预测器（ICP）是一种算法，可以生成有效的PI，理论上保证覆盖预定比例的数据。然而，典型地，不直接优化ICP以产生最小PI宽度。然而，在这项研究中，我们使用直接优化的归纳共形回归（DOICR），只需要PI的平均宽度作为损失函数，并通过优化的计划，在PI中捕获足够的真实标签的有效性条件下，提高PI的质量。基准实验表明，DOICR优于当前最先进的算法，用于使用表格和图像数据的底层深度神经网络结构的回归问题。
2023-02-02 cs.LG
Quantum Graph Attention Networks: Trainable Quantum Encoders for Inductive Graph Learning
Pasqal NL
本文提出量子图注意力网络（QGATs），通过参数化量子电路和量子注意力机制编码图结构，实验证明其在QM9数据集上能提升预测性能，尤其在大型分子图上表现优异。
2025-09-14 cs.LG quant-ph
Inductive randomness predictors: beyond conformal
本文提出归纳随机性预测器，证明其严格支配归纳共形预测器但改进有限，呼吁对其开展更深入研究而非直接替代。
2025-07-07 cs.LG stat.ME
Distribution Free Prediction Sets for Node Classification
University of Oxford（牛津大学）
针对图神经网络因图结构依赖难以量化预测不确定性的问题，本文通过加权conformal scores反映网络结构，提出一种适用于归纳节点分类的无分布预测集构建方法，实验证明其比朴素方法更紧密且校准更好。
2024-01-08 cs.LG stat.ML
How Neural Processes Improve Graph Link Prediction
The University of Sydney（悉尼大学）
链接预测是图数据分析中的一个基本问题。虽然大多数文献集中在需要所有图节点和大多数链接进行训练的转导链接预测上，但仅使用一部分节点及其链接进行训练的归纳链接预测在各种现实世界应用中是更具挑战性的问题。在本文中，我们提出了一个元学习方法与图神经网络的链接预测：神经过程图神经网络（NPGNN），它可以执行两个转导和归纳学习任务，并适应模式在一个大的新的图训练后，一个小的子图。在真实世界的图上进行实验来验证我们的模型，结果表明，与其他最先进的模型相比，所提出的方法具有更强的性能，同时在较小的子图上训练时具有很好的泛化能力。
2021-09-30 cs.LG stat.ML
GOPHER: Categorical probabilistic forecasting with graph structure via local continuous-time dynamics
Stanford University（斯坦福大学）；Amazon Research（亚马逊研究院）
我们考虑的问题的概率预测的类别与图结构，在一个顶点的动态依赖于其局部连通性结构。我们提出了GOPHER，一种方法，结合了图神经网络与神经ODE的归纳偏差，以捕捉我们的概率预测的内在局部连续时间动态。我们通过与基线模型进行比较来研究这两种归纳偏见的好处，这些模型有助于理清每种偏见的好处。我们发现，捕获的图形结构是至关重要的准确的域内概率预测和更多的样本有效的模型。令人惊讶的是，我们的实验表明，尽管反映了真实的概率动力学，但连续时间演化感应偏置几乎没有带来任何好处。
2021-12-18 cs.LG math.DS
Few-shot link prediction via graph neural networks for Covid-19 drug-repurposing
Amazon Web Services AI Lab（亚马逊云科技人工智能实验室）
预测异构图结构数据之间的交互具有许多应用，例如知识图谱完成、推荐系统和药物发现。通常情况下，要预测的联系属于罕见类型，例如将药物用于新疾病的情况。这激发了Few-Shot链接预测的任务。通常，GCN在学习这种罕见的链接类型时装备不良，因为关系嵌入不是以归纳的方式学习的。本文提出了一个归纳RGCN学习信息的关系嵌入，即使在少样本学习制度。在少样本学习任务中，所提出的归纳模型显著优于RGCN和最先进的KGE模型。此外，我们将我们的方法应用于药物再利用知识图谱（DRKG），以发现新冠病毒药物。我们提出的药物发现任务为链接预测和学习嵌入的生物实体参与DRKG。我们的初步结果证实，临床试验中使用的几种药物被确定为可能的候选药物。本文中的方法是使用高效的深度图学习（DGL）实现的
2020-07-20 cs.LG stat.ML
RetaGNN: Relational Temporal Attentive Graph Neural Networks for Holistic Sequential Recommendation
National Cheng Kung University（国立成功大学）
顺序推荐（SR）是根据用户当前访问的项目，为用户准确地推荐一个项目列表。当新用户不断进入现实世界时，一个关键的任务是拥有归纳SR，它可以在不重新训练的情况下生成用户和项目的嵌入。考虑到用户-项目交互可能非常稀疏，另一个关键任务是具有可转移的SR，可以将从一个具有丰富数据的领域中获得的知识转移到另一个领域。在这项工作中，我们的目标是提出整体SR，同时容纳传统的，归纳的，和可转移的设置。我们提出了一种新的基于深度学习的模型，关系时间注意图神经网络（RetaGNN），用于整体SR。首先，具有归纳和可转移的能力，我们训练一个关系关注GNN上的局部子图提取的用户项目对，其中可学习的权重矩阵是在用户，项目和属性之间的各种关系，而不是节点或边缘。其次，长期和短期的时间模式的用户偏好编码的建议顺序自我注意力机制。第三，设计了一个关系感知的正则化项，以更好地训练RetaGNN。在MovieLens，Instagram和Book-Crossing数据集上进行的实验表明，RetaGNN在传统，归纳和可转移的设置下可以胜过最先进的方法。导出的注意力权重也带来了模型的可解释性。
2021-01-29 cs.IR cs.LG cs.SI
Inductive Conformal Prediction under Data Scarcity: Exploring the Impacts of Nonconformity Measures
Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
本研究评估了数据稀缺下归纳共形预测中多种非一致性度量的表现，发现没有单一度量始终最优，且增加数据量不一定提升效率，需根据数据特性选择度量。
2024-10-13 cs.LG
Inductive Relation Prediction by Subgraph Reasoning
McGill University（麦吉尔大学）；Mila
知识图谱中的关系预测的主导范例涉及对潜在表示的学习和操作（即，嵌入）实体和关系。然而，这些基于嵌入的方法并不明确地捕获知识图谱底层的组成逻辑规则，并且它们仅限于转换设置，其中在训练期间必须知道完整的实体集。在这里，我们提出了一个基于图神经网络的关系预测框架，GraIL，原因在当地的子图结构，并有很强的归纳偏见，学习实体独立的关系语义。与基于嵌入的模型不同，GraIL是自然归纳的，可以在训练后推广到看不见的实体和图形。我们提供了理论证明和强有力的经验证据，GraIL可以代表一阶逻辑的有用子集，并表明GraIL优于现有的规则归纳基线的归纳设置。我们还展示了通过在转导设置中将GraIL与各种知识图谱嵌入方法相结合所获得的显着收益，突出了我们方法的互补归纳偏差。
2020-02-12 cs.AI cs.LG stat.ML
Inductive Conformal Recommender System
National Institute of Technology, Warangal（瓦朗加尔国立理工学院）；Mahindra University（马恒达大学）；University of Hyderabad（海得拉巴大学）；University of Delhi（德里大学）
传统的推荐算法开发的技术，可以帮助人们选择所需的项目。然而，在许多现实世界的应用中，除了一组建议之外，量化每个建议的（非）确定性也是至关重要的。适形推荐系统使用用户的经验来输出一组推荐，每个推荐与精确的置信度值相关联。给定显著性水平$\varepsilon$，它提供了关于做出错误推荐的概率的界限$\varepsilon$。适形框架使用了一个称为\emph{nonconformity measure}的关键概念，它衡量一个项目对其他项目的陌生度。任何共形推荐框架的一个重要设计挑战是将不一致性度量与推荐算法相结合。本文介绍了共形推荐系统的一个归纳变体。我们提出并分析了不同的不符合措施，在感应设置。并对算法的误差界和时间复杂度进行了理论证明。在十个基准数据集上的大量实证分析表明，归纳变体在保持准确性的同时大大提高了计算时间的性能。
2022-01-25 cs.IR cs.LG
Approximation to Object Conditional Validity with Inductive Conformal Predictors
School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机科学学院）
共形预测器是机器学习算法，其输出具有最小分布假设的有限样本的边际有效性保证的预测集。这是一个属性，使共形预测有用的机器学习任务，我们需要可靠的预测。在预测区间的有效性保持有效而不管预测对象的任何特定性质的条件的意义上，还期望在相同的设置中实现条件有效性。不幸的是，它已被证明，这样的条件有效性是不可能保证有限样本的非平凡预测问题。在这篇文章中，而不是试图实现一个强大的条件有效性的结果，实现一个近似条件有效性的较弱的目标被认为是。一种新的算法被引入到这样做，通过迭代地调整一致性措施的偏差从对象的条件有效性测量的训练数据。随着一些理论结果，实验结果提供了三个数据集，证明（1）在现实世界中的机器学习任务，缺乏条件有效性是一个可衡量的问题，（2）所提出的算法是有效的，在缓解这个问题。
2021-03-02 cs.LG
Node Masking: Making Graph Neural Networks Generalize and Scale Better
Facebook AI；Facebook
图神经网络（GNN）在最近一段时间受到了广泛的关注。从早期的光谱架构只能在无向图上操作的每一个转换学习范式到目前最先进的空间架构，可以归纳地应用于任意图，GNN已经看到了来自研究界的重大贡献。在本文中，我们利用一些理论工具来更好地可视化最先进的空间GNN执行的操作。我们分析了这些架构的内部工作原理，并引入了一个简单的概念，节点掩码，使它们能够更好地泛化和扩展。为了从经验上验证这一概念，我们在一些广泛使用的数据集上进行了几次实验，用于在转导和归纳设置中进行节点分类，从而为未来的研究奠定了强有力的基准。
2021-05-16 cs.AI cs.LG stat.ML
Conformal Predictors for Compound Activity Prediction
Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本文提出了一个应用共形预测的化学信息学问题，识别化合物的活动。本文解决了这一领域的一些具体挑战：大量的化合物（训练样本），高维的特征空间，稀疏和强大的类不平衡。共形预测称为归纳蒙德里安共形预测的一个变种，以应对这些挑战。结果提出了几个非一致性措施（NCM）提取的基础算法和不同的内核。一些性能指标的使用，以证明在处理这样一个复杂的数据集的归纳蒙德里安共形预测的灵活性。关键词：共形预测，置信估计，化学信息学，不一致性度量。
2016-03-14 cs.LG
Structural Inductive Biases in Emergent Communication
University of Cambridge（剑桥大学）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔综合理工学院）；ServiceNow（ServiceNow公司）
为了交流，人类将复杂的想法及其属性表示成一个单词或句子。我们通过开发图形参考游戏来研究人工智能体中表示学习的影响。我们的经验表明，代理参数化的图神经网络开发一个更组成的语言相比，袋的话和序列模型，这使他们能够系统地推广到新的组合熟悉的功能。
2021-07-27 cs.AI cs.CL cs.LG
Assurance Monitoring of Learning Enabled Cyber-Physical Systems Using Inductive Conformal Prediction based on Distance Learning
Vanderbilt University（范德堡大学）
诸如深度神经网络之类的机器学习组件在网络物理系统（CPS）中被广泛使用。然而，这些组件可能会引入新类型的危险，可能会产生灾难性的后果，需要解决工程值得信赖的系统。虽然深度神经网络提供了先进的功能，但它们必须辅以工程方法和实践，以实现CPS中的有效集成。在本文中，我们提出了一种基于共形预测框架的学习型CPS保证监控方法。为了允许实时保证监控，该方法采用远程学习将高维输入转换为较低大小的嵌入表示。通过利用共形预测，该方法提供了良好校准的置信度，并确保了有界的小出错率，同时限制了无法进行准确预测的输入的数量。我们使用三个数据集的移动机器人以下的墙壁，说话人识别和交通标志识别的方法。实验结果表明，出错率校准良好，而报警的数量是非常小的。此外，该方法在计算上是高效的，并且允许CPS的实时保证监控。
2021-10-07 cs.LG
Investigating Data Usage for Inductive Conformal Predictors
School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机学院）
针对归纳共形预测器在数据有限或成本高场景下的高效数据划分开放问题，通过多组实验探究划分方式及训练与校准集样本重叠的情况，为相关学术与实践应用提供参考。
2024-06-18 cs.LG stat.ML
Inductive Conformal Prediction: A Straightforward Introduction with Examples in Python
IEETA/DETI（电子与信息工程研究院/电子、电信与信息工程系）；University of Aveiro（阿威罗大学）
归纳共形预测（ICP）是一组无分布和模型不可知的算法，旨在以用户定义的置信度进行预测，并保证覆盖率。而不是点预测，即，在回归或多类分类中的单个类的情况下为实数，使用ICP校准的模型分别输出一个区间或一组类。ICP在高风险环境中特别重要，我们希望真实输出属于高概率的预测集。作为示例，分类模型可以输出在给定磁共振图像的情况下患者没有要报告的潜在疾病。然而，该模型输出基于最可能的类别，第二个最可能的类别可能告诉患者有15%的可能性患有脑肿瘤或其他严重疾病，因此应进行进一步检查。因此，使用国际比较方案提供的信息更多，我们认为这应该是制作预测的标准方法。本文是一个动手介绍，这意味着我们将提供例子，因为我们介绍的理论。
2022-07-01 cs.LG stat.ML
Optimized conformal classification using gradient descent approximation
University of Nottingham Ningbo China（宁波诺丁汉大学）
保形预测器是一类重要的算法，它允许以用户定义的置信水平进行预测。他们能够通过输出预测集而不是简单的点预测来做到这一点。保形预测是有效的，在这个意义上，它的预测精度保证满足置信水平，只有假设在数据中的交换。由于保证了准确性，因此通过预测集的效率来测量共形预测器的性能。通常，共形预测器建立在底层机器学习算法上，因此其预测能力继承自该算法。然而，由于底层机器学习算法不是以最小化预测效率为目标来训练的，这意味着所得到的适形预测器可能是次优的并且与该目标不充分对准。因此，在这项研究中，我们考虑一种方法来训练的共形预测直接与最大的预测效率作为优化目标，我们专注于归纳共形预测分类。为此，共形预测器由一个可微的目标函数近似，并利用梯度下降对其进行优化，然后将得到的参数估计值传递给一个适当的归纳共形预测器，得到有效的预测集。我们测试的方法在几个现实世界的数据集，发现该方法是有前途的，在大多数情况下，提供了改进的预测效率对基线共形预测。
2021-05-24 cs.LG
Cross-conformal predictors
本文介绍了交叉共形预测方法，它是归纳共形预测方法和交叉验证方法的混合，并对其有效性和预测效率进行了实证研究。
2012-08-03 cs.LG stat.ML
Rethinking Inductive Bias in Geographically Neural Network Weighted Regression
本文重新审视GNNWR的归纳偏置，提出融合CNN、RNN和Transformer思想以增强空间回归建模能力，并通过合成数据实验证明其优势及模型性能对数据特征的依赖性。
2025-07-21 cs.LG
Benchmarking Sheaf Neural Networks for Inductive Tasks
本文通过首个层状神经网络设计空间的系统基准测试，在14个归纳式数据集上开展1890项实验，明确了层状神经网络在归纳任务中的表现及关键设计选择，为其实际应用提供了指导。
2026-08-04 cs.LG
Empirical Analysis of the Inductive Bias of Recurrent Neural Networks by Discrete Fourier Transform of Output Sequences
University of Tokyo（东京大学）
本研究通过将模型输出视为离散时间信号进行频域分析，直接计算输出序列频率，揭示了LSTM和GRU偏向低频模式而Elman RNN偏向高频模式的归纳偏置，并发现该偏置受层数和隐藏层大小影响。
2023-05-16 cs.LG
Unifying physical systems' inductive biases in neural ODE using dynamics constraints
Machine Discovery Ltd.（机器发现有限公司）
能量守恒是许多物理现象和动力系统的核心。在过去的几年中，已经有大量的工作，旨在预测使用神经网络的动力系统的运动轨迹，同时坚持能量守恒定律。这些工作的灵感大多来自经典力学，如哈密顿和拉格朗日力学以及神经常微分方程。虽然这些工作已经被证明在特定领域分别工作良好，但缺乏一种统一的方法，该方法更普遍适用，而不需要对神经网络架构进行重大改变。在这项工作中，我们的目标是解决这个问题，通过提供一个简单的方法，可以适用于不仅是节能系统，但也耗散系统，包括不同的电感偏置在不同的情况下，在损失函数的正规化项的形式。所提出的方法不需要改变神经网络的架构，并可以形成基础，以验证一个新的想法，因此显示承诺，以加快在这个方向上的研究。
2022-08-03 cs.LG
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London（伦敦大学学院）
尽管近年来强化学习在许多领域得到了成功的应用，但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力，但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中，我们表明，我们可以将关系归纳偏见，编码的关系图的形式，到代理。基于这一见解，我们提出了网格到图（GTG），从网格结构到关系图的映射，当通过关系图卷积网络（R-GCN）处理时，关系图携带有用的空间关系归纳偏差。我们表明，与基于卷积神经网络和神经逻辑机的基线相比，在具有挑战性的程序生成环境和MinAtar上，R-GCN在分布内和分布外都具有更好的泛化能力。此外，我们表明，GTG产生的代理，可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum
Weizmann Institute of Science（魏茨曼科学研究所）；Meta AI
针对宽神经网络学习偏置影响梯度下降收敛与可达函数的问题，提出利用MSKs近似核与预条件梯度下降方法改变GD轨迹，实现多项式或指数级训练加速且不改变最终解。
2024-03-20 cs.LG
Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias
Columbia University（哥伦比亚大学）
本文研究了 $\mathcal{R}$-norm 最小化插值函数的结构与统计性质，发现其本质是多变量函数且在某些学习问题中无法实现统计最优泛化，为两层神经网络的归纳偏置提供了新见解。
2023-06-26 cs.LG
Frequency Regularization: Unveiling the Spectral Inductive Bias of Deep Neural Networks
School of Artificial Intelligence（人工智能学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究通过频域正则化揭示深度神经网络对低频结构的归纳偏置，展示L2正则化在抑制高频能量和提升鲁棒性方面的优势。
2025-12-20 cs.LG
The Good, The Efficient and the Inductive Biases: Exploring Efficiency in Deep Learning Through the Use of Inductive Biases
本论文探讨了通过连续建模和对称性保持等归纳偏置提升深度学习效率的策略，展示了其在计算、参数与数据效率上的显著提升及权衡，并指出了未来研究方向。
2024-11-14 cs.LG
Beyond Conformal Predictors: Adaptive Conformal Inference with Confidence Predictors
Department of Mathematics, Stockholm University（数学系，斯德哥尔摩大学）；Department of Computing, Jönköping School of Engineering（计算系，约克灵根工程学院）
本研究证明自适应保形推断的覆盖保证适用于更广泛的非保形置信预测器，在非可交换数据下提供计算优势并提升预测效率。
2025-06-26 cs.LG stat.ML
Out-of-Sample Hydrocarbon Production Forecasting: Time Series Machine Learning using Productivity Index-Driven Features and Inductive Conformal Prediction
Sudapet Co. Ltd.（苏达佩特公司）；University of Portsmouth（波特茅斯大学）
本研究针对样本外油气产量预测的鲁棒性问题，提出整合产能指数驱动特征选择与归纳共形预测的机器学习框架，在Volve和Norne油田数据上验证了LSTM模型的最优性能，为复杂油气预测提供可靠方法。
2025-08-12 cs.LG physics.data-an
Towards Few-shot Inductive Link Prediction on Knowledge Graphs: A Relational Anonymous Walk-guided Neural Process Approach
Nanjing University of Science and Technology（南京理工大学）；Monash University（莫纳什大学）；Griffith University（格里菲斯大学）
本文提出RawNP方法，通过关系匿名游走提取少样本观测中的关系模体，并结合神经过程建模链接预测函数分布，以快速适应新实体并估计不确定性，从而在知识图谱少样本归纳式链接预测任务上取得最先进性能。
2023-06-26 cs.AI cs.LG
On the Inductive Bias of Neural Tangent Kernels
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
最先进的神经网络严重过度参数化，使得优化算法成为学习具有良好泛化特性的预测模型的关键因素。最近的一系列工作表明，在一定的过参数化制度下，梯度下降的学习动力学由初始化时获得的某个内核（称为神经正切内核）控制。我们通过分析这个核和相应的函数空间（RKHS）来研究在这样的制度下学习的归纳偏差。特别是，我们研究了具有有限范数的函数的平滑性，近似性和稳定性，包括卷积网络情况下图像变形的稳定性，并与其他已知的类似架构的内核进行比较。
2019-10-31 cs.LG stat.ML
PAC-Bayes Generalization Certificates for Learned Inductive Conformal Prediction
NVIDIA Research（英伟达研究院）；Princeton University（普林斯顿大学）；Harvard University（哈佛大学）；Stanford University（斯坦福大学）
本文针对学习型 ICP 预测集合的覆盖率与效率泛化问题，提出 PAC-Bayes 泛化界及可利用全部校准数据联合微调模型与评分函数的算法，在低数据回归和分类任务上优于 Hoeffding 基线。
2023-12-07 cs.LG stat.ML
Enhancing the Inductive Biases of Graph Neural ODE for Modeling Dynamical Systems
Indian Institute of Technology Delhi（印度理工学院德里分校）
本文提出图神经 ODE 模型 GNODE 学习动力系统演化，并系统引入约束与牛顿第三定律等物理偏置，使其在能量误差和展开误差上显著优于图版 LNN/HNN。
2024-06-15 cs.LG nlin.CD
Teasing Apart Architecture and Initial Weights as Sources of Inductive Bias in Neural Networks
Princeton University（普林斯顿大学）；New York University（纽约大学）；Yale University（耶鲁大学）
本文通过元学习分离架构与初始权重对神经网络归纳偏置的影响，发现元学习可消除架构间性能差异，但所有架构在远距离泛化上仍表现不佳。
2025-02-27 cs.AI cs.LG
