A Locality Radius Framework for Understanding Relational Inductive Bias in Database Learning
Vishwakarma Institute of Technology（维什瓦卡玛技术学院）
本文提出局部半径框架，用于分析数据库学习中关系归纳偏置的影响，通过实验揭示任务局部半径与架构聚合深度的对齐关系。
2026-02-19 cs.LG
Schema-Aware Deep Graph Convolutional Networks for Heterogeneous Graphs
AWS AI Labs（AWS AI 实验室）
基于图卷积网络（GCN）的方法在解决复杂的图结构问题方面取得了重大进展。GCN通过消息传递将图的结构信息和节点（或边）特征结合起来，并计算“深”节点表示。尽管在该领域取得了重大进展，但为异构图设计GCN架构仍然是一个开放的挑战。由于异构图的模式，有用的信息可能驻留在多跳之外。一个关键的问题是如何执行消息传递，以纳入多跳以外的邻居的信息，同时避免众所周知的过度平滑问题的GCN。为了解决这个问题，我们提出了我们的GCN框架“深度异构图卷积网络（DHGCN）”，它利用了异构图的模式，并使用分层的方法来有效地利用信息许多跳远。它首先基于目标节点的“模式导出的自我网络”（SEN）计算目标节点的表示。然后，它将相同类型的节点与各种预定义的元路径链接起来，并沿着这些链接执行消息传递，以计算最终的节点表示。我们的设计选择自然地捕获了从模式生成异构图的方式。真实和合成数据集上的实验结果证实了设计选择，并说明了相对于竞争替代品的性能增益。
2021-05-03 cs.AI cs.LG
The neighborhood lattice for encoding partial correlations in a Hilbert space
邻域回归在图形和结构方程建模中是一种成功的方法，可应用于学习无向和有向图形模型。我们扩展这些想法定义和研究的代数结构称为邻域格的基础上广义概念的邻域回归。我们表明，这种代数结构有可能提供一个经济编码的所有条件独立声明在高斯分布（或条件不相关一般），即使在没有图形模型存在的情况下，可以“完美”编码所有这些语句。我们研究了计算这些结构的计算复杂性，并表明在稀疏性假设下，它们可以在多项式时间内计算，即使在没有假设的完美图。另一方面，假设完美，我们展示了如何这些邻域格可以“图形”计算使用的分离特性的所谓的偏相关图。我们还与有向无环图模型和贝叶斯网络建立了联系。我们得出这些结果使用部分不相关性的抽象概括，称为部分正交性，这使我们能够使用希尔伯特空间上的投影算子的代数性质，显着简化和扩展现有的想法和论点。因此，我们的结果适用于广泛的随机对象和数据结构，如随机向量，数据矩阵和函数。
2019-02-06 cs.LG math.ST stat.ML
One Model, Many Graphs: Learning over Attributed Graphs across Heterogeneous Modalities with Vision-Language Models
New York University Shanghai（纽约大学上海分校）；New York University（纽约大学）
研究利用视觉语言模型解决属性图模态异质性问题，提出OMG-VLM框架，以预训练VLM为共享主干，引入结构感知图适配器，在节点分类和链接预测等任务中表现出色，优于现有基线且泛化能力强。
2026-09-03 cs.LG
Rewiring with Positional Encodings for Graph Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
针对现有GNN位置编码扩展感受野成本高、改架构复杂的问题，提出在输入前用位置编码增广图的节点边扩展r跳邻域，模型无关且无损，小r即可缓解过挤压、提性能，在多模型数据集达有竞争力表现。
2023-12-13 cs.LG
A Self-Encoder for Learning Nearest Neighbors
Télécom Paris（巴黎电信学院）；Institut Polytechniques de Paris（巴黎理工学院）
提出一种通过自监督学习数据表示的自编码器，使样本在嵌入空间线性可分且对特征缩放不变，结合最近邻分类器在异构数据上表现优异。
2023-06-25 cs.LG
Supervised Auto-Encoding Twin-Bottleneck Hashing
University of Geneva（日内瓦大学）
该研究将自编码双瓶颈哈希推广为监督深度哈希网络，融入标签信息并处理类别不平衡，在三个数据集上取得显著改进。
2023-06-19 cs.LG
Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation
Nanjing University（南京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Alibaba Group（阿里巴巴集团）
图神经网络（GNN）由于其识别同构子图的能力，已经成为基于嵌入的实体对齐的强大范例。然而，在真实的知识图谱中，对应实体通常具有非同构的邻域结构，这容易导致GNN对它们产生不同的表示。为了解决这个问题，我们提出了一个新的KG对齐网络，即AliNet，旨在以端到端的方式减轻邻域结构的非同构。由于模式异构性，对应实体的直接邻居通常是不相似的，AliNet引入远邻居来扩展它们的邻居结构之间的重叠。它采用了一种注意力机制来突出有用的远距离邻居并减少噪音。然后，它使用门控机制控制直接和远距离邻域信息的聚合。我们进一步提出了一个关系损失，以细化实体表示。我们对五个实体对齐数据集进行了详细的消融研究和分析，证明了AliNet的有效性。
2019-11-20 cs.AI cs.CL cs.LG
STEER: Reducing Inference Cost in Relational Foundation Models through Semantically Informed Sampling
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
STEER通过利用大型语言模型对数据库模式外键进行相关性排序，将推理上下文集中在最相关的表上，平均减少约40%的上下文大小，同时保持或提升预测准确性。
2026-10-02 cs.DB cs.LG
LEAP: Local ECT-Based Learnable Positional Encodings for Graphs
AIDOS Lab, University of Fribourg（弗里堡大学AIDOS实验室）；Institute of AI for Health, Helmholtz Munich（慕尼黑亥姆霍兹人工智能与健康研究所）；Technical University of Munich（慕尼黑技术大学）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Department of Computer Science, University of Basel（巴塞尔大学计算机科学系）
LEAP通过结合可微近似ECT和其局部变体，提出了一种新的端到端可训练的局部结构位置编码方法，用于图神经网络，以提高图表示学习的效果。
2026-05-14 cs.LG
Temporal Heterogeneous Graph Pretraining for Relational Deep Learning
RWTH Aachen University（亚琛工业大学）；Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）
针对关系深度学习中的时序异构图，提出结合多尺度与旋转时间编码及三目标自监督的两阶段预训练框架，在RelBench数据集上显著提升下游任务性能。
2026-09-29 cs.LG
What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Stony Brook University（石溪大学）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；University of Science and Technology of China（中国科学技术大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J.沃森研究中心）
本文首次从理论上研究了用于半监督节点分类的浅层Graph Transformer，定量刻画了其样本复杂度与收敛条件，并证明自注意力与位置编码通过使注意力图稀疏化来增强泛化能力。
2024-06-04 cs.LG
Bridging Distance and Spectral Positional Encodings via Anchor-Based Diffusion Geometry Approximation
National University of Defense Technology（国防科技大学）
本文通过基于锚点的扩散几何近似方法，桥接距离与谱位置编码，提升分子图学习的性能。
2026-01-08 cs.IT cs.LG math.IT
ROPE: Reading Order Equivariant Positional Encoding for Graph-based Document Information Extraction
Google Cloud AI（谷歌云人工智能）；McGill University（麦吉尔大学）；Google Research（谷歌研究院）
自然的单词阅读顺序是从表单文档中提取信息抽取的关键。尽管图卷积网络（GCN）在建模文档的空间布局模式方面取得了最新进展，但它们捕获图中给定单词级节点表示的阅读顺序的能力有限。我们提出了阅读顺序等变位置编码（ROPE），一种新的位置编码技术，旨在理解顺序呈现的话在文件中。ROPE生成唯一的阅读顺序代码的相邻单词相对于给定的单词级图形连接的目标单词。我们研究了两个基本的文档实体提取任务，包括单词标记和单词分组的公共FUNSD数据集和大规模支付数据集。我们表明，ROPE一贯改善现有的GCN与利润高达8.4%F1分数。
2021-06-21 cs.CL cs.LG
Regularized target encoding outperforms traditional methods in supervised machine learning with high cardinality features
LMU Munich（慕尼黑大学）
由于大多数机器学习（ML）算法都是为数值输入而设计的，因此有效地编码分类变量是数据分析中的一个关键方面。一个常见的问题是高基数特征，即具有大量水平的无序分类预测变量。我们研究了产生分类变量的数值表示的技术，这些变量可以在随后的ML应用中使用。我们专注于这些技术对后续算法的预测性能的影响，并-如果可能的话-获得何时使用哪种技术的最佳实践。我们进行了一个大规模的基准测试实验，在实验中，我们使用回归、二进制和多类分类设置的数据集，比较了不同的编码策略和五种ML算法（套索、随机森林、梯度提升、k近邻、支持向量机）。在我们的研究中，目标编码的正则化版本（即使用基于训练集中特征水平的目标预测作为新的数值特征）始终提供最佳结果。传统上广泛使用的编码在创建二进制指示符变量之前做出不合理的假设来将级别映射到整数（例如整数编码）或减少级别的数量（可能基于目标信息，例如叶编码）（独热或虚拟编码）在比较中不是有效的。
2022-03-04 cs.LG stat.ML
NPNet: A Non-Parametric Network with Adaptive Gaussian-Fourier Positional Encoding for 3D Classification and Segmentation
Sirjan University of Technology（锡尔詹理工大学）；Clemson University（克莱姆森大学）
NPNet通过自适应高斯-傅里叶位置编码实现3D点云分类和分割，无需学习权重，具有高效的内存和推理性能。
2026-01-31 cs.CV cs.LG
Distance and Hop-wise Structures Encoding Enhanced Graph Attention Networks
Sci-Tech Academy of ZheJiang University（浙江大学科学技术研究院）；Research Center of Hundsun LTD.（恒生电子股份有限公司研发中心）；School of Finance, NanKai University（南开大学金融学院）
大量的工作已经证明，现有的邻域平均图神经网络不能有效地捕捉结构特征，许多工作表明，注入结构，距离，位置或空间特征可以显着提高GNN的性能，然而，注入整体结构和距离到GNN是一个直观的，但仍然没有触及的想法。在这项工作中，我们阐明了方向。该算法首先提取跳数结构信息和计算距离分布信息，将它们与节点的内在特征进行融合，嵌入到同一个向量空间中，然后相加。将得到的嵌入向量输入GAT（如GAT、AGDN），然后进行修正和平滑，实验表明DHSEGAT算法取得了较好的效果。该代码可在https://github.com/hzg0601/DHSEGATs上获得。
2021-12-06 cs.AI cs.LG
Graph Auto-Encoder Via Neighborhood Wasserstein Reconstruction
University of Virginia（弗吉尼亚大学）；Emory University（埃默里大学）；Purdue University（普渡大学）
图神经网络（GNNs）近年来引起了广泛的研究关注，主要是在半监督学习的背景下。当首选任务不可知表示或监督不可用时，自动编码器框架可以方便地使用自然图重建目标进行无监督GNN训练。然而，现有的图自动编码器被设计为重建直接链接，因此以这种方式训练的GNN仅针对面向邻近的图挖掘任务进行优化，并且在拓扑结构重要时会出现不足。在这项工作中，我们重新审视了GNNs的图形编码过程，该过程基本上是学习将每个节点的邻域信息编码到嵌入向量中，并提出了一种新的图形解码器，通过邻域Wasserstein重建（NWR）来重建关于邻近度和结构的整个邻域信息。具体来说，从每个节点的GNN嵌入，NWR联合预测其节点度和邻居特征分布，其中分布预测采用基于Wasserstein距离的最优传输损失。在合成和真实网络数据集上的大量实验表明，使用NWR学习的无监督节点表示在面向结构的图挖掘任务中具有更大的优势，同时在面向邻近度的任务中也具有竞争力的性能。
2022-02-18 cs.LG cs.SI
RASAT: Integrating Relational Structures into Pretrained Seq2Seq Model for Text-to-SQL
Shanghai Jiao Tong University（上海交通大学）；ProtagoLabs；Microsoft Research（微软研究院）；Chinese Academy of Sciences（中国科学院）；IGSNRR（中国科学院地理科学与资源研究所）
关系结构（如模式链接和模式编码）已被验证为将自然语言定性转换为SQL查询的关键组件。然而，引入这些结构关系是有代价的：它们通常会导致专门的模型结构，这在很大程度上禁止在文本到SQL中使用大型预训练模型。为了解决这个问题，我们提出了RASAT：一个Transformer seq2seq架构，增强了关系感知的自我注意力，可以利用各种关系结构，同时有效地继承T5模型的预训练参数。我们的模型可以将几乎所有类型的文献中现有的关系，此外，我们建议引入共指关系的多回合的情况下。在三个广泛使用的文本到SQL数据集上的实验结果表明，RASAT可以在所有三个基准测试中实现最先进的结果（Spider上的75.5% EX，SParC上的52.6% IEX和CoSQL上的37.4% IEX）。
2022-10-09 cs.AI cs.CL cs.DB
gHAWK: Local and Global Structure Encoding for Scalable Training of Graph Neural Networks on Knowledge Graphs
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
gHAWK通过预计算节点的局部和全局结构特征，提升大规模知识图谱上图神经网络训练的效率和准确性。
2026-11-10 cs.DB cs.LG
Unleashing the Power of Transformer for Graphs
Zhejiang University（浙江大学）
尽管最近在自然语言处理和计算机视觉方面取得了成功，但Transformer在处理图形时存在可扩展性问题。计算复杂性对于大规模图是不可接受的，例如，知识图谱。一种解决方案是只考虑最近的邻居，然而，这将失去Transformer关注任何距离的元素的关键优点。在本文中，我们提出了一种新的Transformer架构，命名为双编码Transformer（DET）。DET有一个结构化编码器来聚合来自相连邻居的信息，还有一个语义编码器来关注语义上有用的远端节点。与采用多跳邻居相比，DET通过自我监督训练来寻找所需的远距离邻居。我们进一步发现这两个编码器可以合并，以提高彼此的性能。我们的实验表明，DET在处理不同大小的分子、网络和知识图谱时，与相应的最先进的方法相比，取得了优越的性能。
2022-02-18 cs.AI cs.LG
Multi-Task Genetic Algorithm with Multi-Granularity Encoding for Protein-Nucleotide Binding Site Prediction
本文提出MTGA-MGE框架，通过多粒度编码和遗传算法提升蛋白质-核苷酸结合位点预测的准确性，在高资源和低资源场景均表现优异。
2026-03-16 cs.AI cs.LG
How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision
KAIST（韩国科学技术院）
图神经网络中的注意力机制被设计为向重要的邻居节点分配更大的权重以更好地表示。然而，图形注意力学习的是什么还没有很好地理解，特别是当图形是嘈杂的。在本文中，我们提出了一个自监督图注意力网络（SuperGAT），一个改进的图注意力模型的噪声图。具体来说，我们利用两个注意力形式兼容的自我监督任务来预测边缘，其存在和不存在包含的固有信息的重要性节点之间的关系。通过对边进行编码，SuperGAT在区分错误链接的邻居时学习到更多的表达注意力。我们发现两个图形特征影响注意形式和自我监督的有效性：同质性和平均度。因此，我们的配方提供了指导，当这两个图形特征已知时，使用哪种注意力设计。我们在17个真实数据集上的实验表明，我们的配方可以推广到其中的15个数据集，并且我们通过配方设计的模型显示出比基线更好的性能。
2022-04-11 cs.AI cs.LG cs.SI
SLM-Conditioned Hierarchical Relation Routing for Labeled Property Graph Learning
NASK National Research Institute（NASK国家研究院）
该研究针对带属性标签图学习的传统图神经网络的静态属性表示局限，提出SLM条件分层关系路由架构，结合拓扑GNN与参数高效SLM实现可解释的语义集成，提升图学习的预测能力。
2026-08-28 cs.CL cs.LG
High Order Local Directional Pattern Based Pyramidal Multi-structure for Robust Face Recognition
Cleveland State University（克利夫兰州立大学）；University of Dayton（代顿大学）
局部方向模式（LDP）是从局部邻域纹理的一般定义出发，对像素的3 × 3邻域内的方向信息进行编码，但在输入图像因光照变化而发生变化时，可能无法提取细节信息。因此，在本文中，我们介绍了一种新的特征提取技术，计算的n阶方向变化模式，称为高阶局部方向模式（HOLDP）。所提出的HOLDP可以捕获更详细的判别信息比传统的LDP。与LDP算子不同，我们所提出的技术通过对像素的每个邻域层中的各种不同的空间关系进行金字塔式多结构编码来提取n阶局部信息。然后，我们将每个邻域层的特征向量连接起来，形成最终的HOLDP特征向量。在几个公开的人脸数据库上进行了所提出的HOLDP算法的性能评估，并观察到HOLDP算法在极端光照条件下的优越性。
2020-12-12 cs.CV cs.LG eess.IV
