Deep Relational Metric Learning
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
本文提出了一种用于图像聚类和检索的深度关系度量学习（DRML）框架。大多数现有的深度度量学习方法学习嵌入空间，其一般目标是增加类间距离和减少类内距离。然而，传统的度量学习的损失通常会抑制类内变化，这可能有助于识别未知类的样本。为了解决这个问题，我们提出了自适应学习的特征，从不同的方面来模拟类间和类内分布的图像的合奏。我们还采用了一个关系模块来捕获集合中每个特征之间的相关性，并构建一个图来表示图像。然后，我们对图进行关系推理，以整合集成，并获得一个关系感知的嵌入来衡量相似性。在广泛使用的CUB-200-2011、Cars 196和Stanford Online Products数据集上进行的大量实验表明，我们的框架改进了现有的深度度量学习方法，并取得了非常有竞争力的结果。
2021-08-23 cs.AI cs.CV cs.LG
Relational Graph Transformer
Stanford University（斯坦福大学）；NVIDIA
RelGT通过新颖的多元素分词策略，解决关系图中异构性、时效性和拓扑结构的编码问题，实现对关系数据的高效建模，优于GNN基线。
2026-02-05 cs.AI cs.DB cs.LG
Integrating Temporal and Structural Context in Graph Transformers for Relational Deep Learning
University of Pennsylvania（宾夕法尼亚大学）；SAP（SAP公司）
本文针对关系数据建模中时间信息利用不足和单任务限制问题，提出时间子图采样器和关系图感知器RGP，通过潜在瓶颈整合时空上下文并支持多任务联合学习，在多个基准上取得最优性能。
2025-11-06 cs.AI cs.LG
Geometric Relational Embeddings
Universität Stuttgart（斯图加特大学）；Institut für Künstliche Intelligenz (KI) der Universität Stuttgart（斯图加特大学人工智能研究所）
针对向量表示难以捕捉关系数据复杂符号属性的问题，提出几何关系嵌入范式，通过多种模型捕捉网络、知识图谱及本体中的复杂结构、逻辑约束与高阶结构，有效保留数据的离散符号特性。
2024-09-18 cs.AI cs.LG cs.SI
Model-based Exception Mining for Object-Relational Data
Simon Fraser University（西蒙弗雷泽大学）
这篇文章是基于以前的出版物[29]。我们的工作扩展异常挖掘和离群值检测的情况下，对象关系数据。对象关系数据表示一个复杂的异构网络[12]，它包括不同类型的对象，这些对象之间的链接，也是不同类型的，以及这些链接的属性。这种特殊的结构禁止直接的矢量数据表示。我们遵循成熟的异常模型挖掘框架，该框架利用机器学习模型进行异常挖掘：对象是异常的，因为为对象数据学习的模型不同于为一般人群学习的模型。异常对象可以被视为离群值。我们应用最先进的概率建模技术的对象关系数据，构建一个图形化的模型（贝叶斯网络），其中companion表示数据中的概率关联。一个新的度量，来自学习对象-关系模型，量化的程度，一个潜在的离群值的个体关联模式偏离整个人口。该度量基于两个参数向量的似然比：一个表示总体关联，另一个表示个体关联。我们的方法在合成数据集和真实世界的足球比赛和电影数据集上进行了验证。与基线方法相比，我们的新转换似然比在所有数据集上都达到了最佳的检测精度。
2018-07-01 cs.AI cs.LG stat.ML
Link Prediction with Relational Hypergraphs
University of Oxford（牛津大学）；Universidad Católica de Chile（智利天主教大学）
本文提出关系超图链接预测框架，使图神经网络适用于 k 元完全关系结构，并结合关系型 Weisfeiler-Leman 算法与逻辑表达性分析其能力，实验在归纳式和直推式任务上取得优异结果。
2025-06-09 cs.AI cs.LG
Adjacency List Oriented Relational Fact Extraction via Adaptive Multi-task Learning
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
关系事实抽取的目的是从非结构化文本中抽取语义三元组。在这项工作中，我们表明，所有的关系事实提取模型可以组织根据面向图的分析角度。在此基础上提出了一个有效的模型-为了减轻错误传播和子任务损失平衡的挑战，DIRECT采用了一种新的自适应多任务学习策略，动态子任务损失平衡。在两个基准数据集上进行了大量的实验，结果证明，该模型优于一系列的国家的最先进的（SoTA）模型的关系三元组提取。
2021-06-03 cs.CL
Clustering-Based Relational Unsupervised Representation Learning with an Explicit Distributed Representation
KU Leuven（鲁汶大学）
无监督表示学习的目标是提取新的数据表示，从而使解决许多不同的任务变得更容易。现有的方法通常集中在矢量化的数据和提供的关系数据，另外描述实例之间的关系的支持很少。在这项工作中，我们介绍了一种关系无监督表示学习的方法。将关系数据集视为超图，通过聚类顶点和超边来获得新的特征。为了找到适合于许多关系学习任务的表示，考虑关系对象之间的广泛的相似性，例如特征和结构相似性。我们通过实验评估了所提出的方法，并表明在这种潜在表示上学习的模型表现更好，复杂性更低，并且在分类任务上优于现有方法。
2017-03-08 cs.LG stat.ML
Relational Representation Distillation
Imperial College London（伦敦帝国学院）
针对现有基于对比学习的知识蒸馏存在的类别碰撞问题，提出保留实例相对关系的双温度关系表示蒸馏（RRD）方法，理论上证明InfoNCE为其极限情况，实验显示在分类、检测任务上关系对齐和泛化性更优。
2026-09-01 cs.AI cs.CV
KBLRN : End-to-End Learning of Knowledge Base Representations with Latent, Relational, and Numerical Features
NEC Labs Europe（欧洲NEC实验室）
我们提出了KBLRN，一个从潜在的，关系的，和数值特征的知识库表示的端到端学习的框架。KBLRN将特征类型与神经表示学习和专家模型的概率乘积相结合。据我们所知，KBLRN是第一种通过整合潜在的，关系的和数值特征来学习知识库表示的方法。我们表明，KBLRN的实例优于现有的方法在一系列的知识库完成任务。我们贡献了一个新的数据集，丰富了常用的知识库完成基准与数值特征。这些数据集在许可的BSD-3许可证下可用。我们还研究了数值特征对KBLRN的KB完成性能的影响。
2018-06-11 cs.AI
VC-Dimension Based Generalization Bounds for Relational Learning
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）；Cardiff University（卡迪夫大学）
在关系学习的许多应用中，可用数据可以被视为来自更大关系结构的样本（例如，我们可能会从一些社交网络中获得一个小片段）。在本文中，我们特别关注的情况下，我们可以假设（i）出现在给定的样本中的域元素已被均匀采样，而没有从（未知的）完整域中替换，以及（ii）样本对于这些域元素是完整的（即，它是由这些元素引起的完整子结构）。在这种情况下，我们研究的误差界限充分统计的关系模型，估计可用的数据。作为我们的主要结果，我们证明了一个绑定的基础上的一个变种的Vapnik-Chervonenkis维，这是适合于关系数据。
2018-07-04 cs.AI cs.LG stat.ML
Graph Based Relational Features for Collective Classification
Google Inc.（谷歌公司）；University of Konstanz（康斯坦茨大学）
统计关系学习（SRL）方法已经表明，通过整合样本之间的关系可以提高分类精度。迭代分类或松弛标记等技术通过在推理过程中在相关样本之间传播信息来实现这一点。当只有少数样本被标记并且样本之间的连接稀疏时，集体推理方法比标准的基于特征的ML方法有很大的改进。然而，与基于特征的ML相比，集体推理方法需要复杂的推理过程，并且通常依赖于相关样本之间标签一致性的强假设。在本文中，我们通过从直接和间接关系中提取信息，为标准ML方法引入了新的关系特征。我们在三个标准基准数据集上的经验表明，我们的关系特征产生的结果与集体推理方法相当。最后，我们表明，我们的建议优于这些方法时，额外的信息。
2017-02-09 cs.AI cs.IR cs.LG
Investigating Relational State Abstraction in Collaborative MARL
University of Warwick（华威大学）；Nanyang Technological University（南洋理工大学）
本文提出基于空间关系的状态抽象方法MARC，通过图神经网络编码空间归纳偏置，在六个协作任务中显著提升样本效率和渐近性能，无需复杂设计即可实现高效泛化。
2024-12-19 cs.AI cs.LG cs.MA
Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
Yale University（耶鲁大学）；UCLA（加利福尼亚大学洛杉矶分校）；Princeton University（普林斯顿大学）
该研究提出含关系交叉注意力的Abstractor模块扩展Transformer，通过解耦关系与对象特征实现显式关系推理，在多类任务上提升了性能与样本效率。
2024-04-12 cs.LG stat.ML
Combining Planning and Reinforcement Learning for Solving Relational Multiagent Domains
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；IBM Research（IBM研究院）；Oregon State University（俄勒冈州立大学）
针对多智能体强化学习在关系型领域中的样本效率低和泛化困难问题，提出将关系型规划器作为集中控制器与强化学习结合，实现高效任务迁移与泛化。
2025-02-26 cs.AI cs.LG cs.MA
Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction
NJUST（南京理工大学）；CQU（重庆大学）；PolyU（香港理工大学）；CUHK（香港中文大学）；Data61 CSIRO（澳大利亚联邦科学与工业研究组织数据61）
针对预训练编码器窃取中优化目标有偏、查询成本高的问题，提出RDA方法，通过逐样本原型构建无偏目标、多关系损失训练替代编码器，以低查询量实现下游任务SOTA且对常见防御鲁棒。
2024-07-10 cs.AI cs.CR cs.LG
Relational Multi-Manifold Co-Clustering
Zhejiang University（浙江大学）
对样本进行分组时的共同聚类目标（例如，文档，用户）和特征（例如，#21453;，同时？它利用了样本和特征之间的二元关系和双边信息。在许多实际应用中，数据通常驻留在周围欧几里得空间的子流形上，但是以原则性的方式估计数据空间的固有流形是不平凡的。在这项研究中，我们专注于通过流形集成学习来提高联合聚类性能，该集成学习能够最大限度地逼近样本空间和特征空间的固有流形。为了实现这一点，我们开发了一种新的联合聚类算法称为关系多流形联合聚类（RMC）的基础上对称非负矩阵三分解，它分解成三个子矩阵的关系数据矩阵。该方法考虑了关系数据矩阵所揭示的类型间关系，以及编码在样本和特征数据分布上的亲和矩阵所反映的类型内信息。具体来说，我们假设样本或特征空间的固有流形位于一些预定义的候选流形的凸包中。我们想学习它们的凸组合，以最大限度地接近所需的内在流形。为了优化目标函数，利用乘法规则交替更新子矩阵。此外，利用熵镜像下降算法和坐标下降算法学习流形系数向量。在文档、图像和基因表达数据集上的大量实验证明了该算法的优越性。
2016-11-16 cs.LG
Relational decomposition for program synthesis
University of Southampton（索姆塞特大学）；University of Oxford（牛津大学）
该研究提出将程序合成任务关系化分解为输入/输出事实并学习其间关系，使现成 ILP 系统在四个数据集上超过标准表示和领域专用方法。
2025-06-10 cs.AI cs.LG
Non-Parametric Inference of Relational Dependence
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Adobe Research（奥多比研究院）
独立性检验在从观测数据进行统计和因果推断中起着核心作用。标准的独立性检验假设数据样本是独立且同分布（i.i.d.）的。但在许多现实世界的数据集和以关系系统为中心的应用程序中，这一假设是不成立的。这项工作探讨的问题，从关系系统中提取的数据，通过定义足够的代表性的观察集影响个别实例的估计独立性。具体来说，我们定义了边缘和条件独立性测试的关系数据考虑内核均值嵌入作为一个灵活的聚合函数的关系变量。我们提出了一个一致的，非参数的，可扩展的内核测试，可操作的关系独立性测试非i.i.d.在一组结构假设下的观测数据。我们在各种合成和半合成网络上实证评估了我们提出的方法，并与最先进的基于内核的独立性测试相比，证明了其有效性。
2022-06-30 cs.AI cs.LG stat.ML
GLIB: Efficient Exploration for Relational Model-Based Reinforcement Learning via Goal-Literal Babbling
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
我们解决了在基于关系模型的强化学习环境中没有外在目标或奖励的过渡模型学习的有效探索问题。受人类好奇心的启发，我们提出了目标文字咿呀学语（GLIB），一个简单而通用的方法，探索在这样的问题。GLIB对关系连接目标进行采样，这些目标可以被理解为智能体希望在世界上实现的特定目标，并计划使用正在学习的过渡模型来实现这些目标。我们提供的理论保证表明，与GLIB的探索几乎肯定会收敛到地面实况模型。在实验中，我们发现GLIB在一系列任务的预测和规划方面都强于现有方法，包括标准PDDL和PPDDL规划基准以及PyBullet物理模拟器中实现的机器人操作任务。视频：https://youtu.be/F6lmrPT6TOY代码：https://git.io/JIsTB
2020-12-08 cs.AI cs.LG
QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
Capital One（第一资本）
QUARTET通过因果随机游走采样和四分支交叉注意力，在局部与全局层面增强图Transformer，于RelBench v1分类任务中匹配或超越现有最先进模型。
2026-10-08 cs.AI cs.LG
On Neural Architecture Inductive Biases for Relational Tasks
Mila, Quebec AI Institute（米拉魁北克人工智能研究所）
目前的深度学习方法已经显示出良好的分布内泛化性能，但难以实现分布外泛化。这在涉及抽象关系的任务中尤其如此，比如识别序列中的规则，正如我们在许多智力测试中发现的那样。最近的研究探索了如何迫使关系表征与感官表征保持区别，就像大脑中的情况一样，可以帮助人工系统。在这项工作的基础上，我们进一步探索和形式化的优势提供的“分区”表示的关系和感官细节，以及如何这种归纳偏见可以帮助重组学习的关系结构，在新遇到的设置。我们引入了一个简单的架构，我们命名为组合关系网络（CoRelNet）的相似性分数的基础上。使用这个模型，我们调查了一系列的归纳偏见，确保抽象的关系，学习和代表明显的感官数据，并探讨其影响分布外泛化的一系列关系心理物理学任务。我们发现，简单的架构选择可以优于现有的模型在分布外泛化。总之，这些结果表明，分区关系表示从其他信息流可能是一种简单的方式来增强现有的网络架构的鲁棒性时，执行分布外的关系计算。
2022-06-09 cs.AI cs.LG cs.NE
Analogical Inference for Multi-Relational Embeddings
Carnegie Mellon University（卡内基梅隆大学）
大规模多关系嵌入是指学习大型知识图谱中实体和关系的潜在表示的任务。一个有效的和可扩展的解决方案，这个问题是基于知识的推理在广泛的应用中的真正成功的关键。本文提出了一种新的框架，优化潜在的表示方面的\textit{analogical}属性的嵌入式实体和关系。通过以可微的方式制定学习目标，我们的模型具有理论能力和计算可扩展性，并且在基准数据集上显著优于大量代表性基线方法。此外，该模型提供了一个优雅的统一的几个著名的方法在多关系嵌入，这可以被证明是我们的框架的特殊实例。
2017-07-06 cs.AI cs.CL cs.LG
Few-Sample Traffic Prediction with Graph Networks using Locale as Relational Inductive Biases
The Hong Kong Polytechnic University（香港理工大学）；University of Hong Kong（香港大学）；The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）；Research Institute for Sustainable Urban Development, The Hong Kong Polytechnic University（香港理工大学可持续城市发展研究院）
准确的短期交通预测在各种智能移动运营和管理系统中发挥着关键作用。目前，大多数最先进的预测模型是基于图神经网络（GNNs），所需的训练样本是成比例的交通网络的大小。在许多城市中，由于数据汇集费用，可用的交通数据量大大低于最低要求。在大规模网络中，如何利用少量的训练数据建立流量预测模型仍然是一个悬而未决的问题。我们注意到，一个节点的交通状态在不久的将来只取决于其本地化的邻居，这可以表示使用图关系归纳偏差的交通状态。有鉴于此，本文开发了一种基于图网络（GN）的深度学习模型LocaleGN，该模型使用局部数据聚合和更新函数以及逐节点递归神经网络来描述交通动态。LocaleGN是一种轻量级模型，设计用于在少量样本上训练而不会过度拟合，因此它可以解决少样本流量预测问题。用六个数据集对所提出的模型进行了检验，实验结果表明LocaleGN优于现有的最先进的基线模型。它还表明，从LocaleGN学到的知识可以跨城市转移。研究成果可以帮助开发轻量级的交通预测系统，特别是对于缺乏历史存档交通数据的城市。
2022-11-10 cs.LG stat.AP
AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition
研究针对设备端语音情感识别中大型模型成本高的问题，提出自适应多教师关系蒸馏方法。通过单类支持向量机分配教师权重，用关系蒸馏损失捕捉结构，在多数据集和学生架构上优于单教师蒸馏，两组件互补增益。
2026-07-29 cs.LG
Gaussian Relational Graph Transformer
School of Artificial Intelligence and Data Science, University of Science and Technology of China（中国科学技术大学人工智能与数据科学学院）；School of Biomedical Engineering, USTC（中国科学技术大学生物医学工程学院）；Data Darkness Lab, Suzhou Institute for Advanced Research, USTC（中国科学技术大学苏州市先进研究机构数据暗室）；Chinese Academy of Sciences（中国科学院）
本文提出GelGT，通过结构-语义协作采样和高斯图注意力机制，解决关系图模型中长距离依赖和多信息联合建模问题，实验显示在多个真实数据集上达到最先进的预测性能。
2026-09-29 cs.DB cs.LG
SARN: Relational Reasoning through Sequential Attention
Seoul National University（首尔国立大学）
本文提出了一种基于注意力模块的增强关系网络SARN（Sequential Attention Relational Network），它通过提取参考对象并在对象之间进行有效的配对来实现关系推理。SARN大大降低了关系网络的计算和内存需求，关系网络计算所有对象对。与其他模型相比，它在Sort-of-CLEVR数据集上的准确性也很高，特别是在关系问题上。
2018-11-01 cs.LG stat.ML
Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds
Department of Computer Science and Technology（计算机科学与技术系）；University of Cambridge（剑桥大学）
虽然当测试数据从与训练数据相同的分布中采样时，现代深度神经架构可以很好地推广，但当测试数据分布与训练分布甚至在几个维度上都不同时，它们会严重失败。当任务变得更加抽象和复杂时，例如在关系推理中，这种分布外概括的缺乏越来越明显。在本文中，我们提出了一个神经科学启发的归纳偏置模块，可以很容易地与当前的神经网络架构合并，以提高关系推理任务的分布外（o.o.d）泛化性能。该模块学习将高维对象表示投影到低维流形，以实现更有效和更通用的关系比较。我们表明，这种归纳偏见的神经网络实现了相当好的O.O.D的概括性能的一系列关系推理任务。最后，我们分析了所提出的归纳偏差模块，以了解低维投影的重要性，并提出了一个增强的算法对齐理论，以更好地衡量算法对齐与概括。
2020-10-03 cs.LG stat.ML
From Graphs to Hypergraphs: Enhancing Aspect-Based Sentiment Analysis via Multi-Level Relational Modeling
PES University（PES大学）；University of Washington（华盛顿大学）
针对基于方面的情感分析中短文本稀疏上下文、跨方面情感冲突及传统图方法成对依赖建模的局限，提出HyperABSA动态超图框架，通过样本特定层次聚类诱导方面-观点结构，实验证明其性能优于强基线，可扩展至其他短文本任务。
2025-11-18 cs.CL cs.LG
Learning Discriminative Relational Features for Sequence Labeling
IIT Bombay（印度理工学院孟买分校）
发现序列标记模型中输入特征之间的关系结构已被证明可以提高其在几个问题设置中的准确性。然而，关系特征的搜索空间在基本输入特征的数量上是指数的。因此，学习关系特征的方法倾向于遵循贪婪的搜索策略。在本文中，我们研究的可能性，最佳学习和应用判别关系特征序列标记。对于从特定序列位置的输入中获得的学习特征，我们提出了一种基于分层核的方法（称为结构化输出空间的分层核学习- StructHKL）。这种方法最佳和有效地探索了层次结构的特征空间的问题，如序列标记的结构化输出空间。由于StructHKL方法在学习来自相对位置输入的复杂关系特征方面存在局限性，因此我们提出了两种学习关系特征的解决方案，即（i）枚举复杂关系特征的简单组件特征并使用StructHKL发现它们的组合物，以及（ii）利用关系内核，在序列标记问题中隐式计算实例之间的相似性。我们对公开的数据集进行了广泛的实证评估，并记录了我们对某些方法有效的设置的观察结果。
2017-05-07 cs.LG
CORSD: Class-Oriented Relational Self Distillation
Xi'an Jiaotong University（西安交通大学）；Tsinghua University（清华大学）
针对现有知识蒸馏在关系建模与迁移上的不足，本文提出面向类别的关系自蒸馏框架CORSD，通过可训练关系网络与辅助分类器迁移深层关系知识，在多个数据集上实现了显著的准确率提升。
2023-04-28 cs.AI cs.CV cs.LG
Discriminative Gaifman Models
NEC Labs Europe（NEC欧洲实验室）
我们提出了判别Gaifman模型，一个新的家庭的关系机器学习模型。Gaifman模型从知识库（KB）的局部连接和有界大小区域的表示中自底向上的学习特征表示。考虑到知识库的局部和有界大小的邻域，使得逻辑推理和学习易于处理，减轻了过拟合问题，并促进了权重共享。Gaifman模型对知识库的邻域进行采样，以便使学习的关系模型对丢失的对象和关系更加鲁棒，这是开放世界知识库中的常见情况。我们提出了Gaifman模型的核心思想，并将其应用于大规模的关系学习问题。我们还讨论了Gaifman模型与一些现有的关系机器学习方法的关系。
2016-10-28 cs.LG
Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data
Columbia University（哥伦比亚大学）
经验风险最小化是预测问题的主要工具，但其扩展到关系数据仍然没有解决。我们解决这个问题，使用最近的想法，从图抽样论（i）定义一个经验风险的关系数据和（ii）获得随机梯度的经验风险是自动无偏的。这是通过考虑从图中采样数据的方法作为模型设计的显式组件来实现的。通过集成快速实现的图形采样方案与标准的自动微分工具，我们提供了一个有效的交钥匙求解器的风险最小化问题。我们建立的过程的基本理论属性。最后，我们展示了关系ERM与应用程序的两个非标准的问题：一个阶段的训练半监督节点分类，学习嵌入向量的顶点属性。实验证实，交钥匙推理过程是有效的，在实践中，用于模型规格的抽样方案有很强的影响模型的性能。代码可在https://github.com/wooden-spoon/relational-ERM上获得。
2019-02-22 cs.LG cs.SI stat.ML
Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
China Mobile Information Technology Co.,Ltd.（中国移动信息技术有限公司）；Fudan University（复旦大学）
针对现有知识蒸馏忽略教师模型相对预测中的关系归纳偏置导致曝光偏差的问题，提出GRKD框架，通过组相对损失学习类别间相对排序，在分类基准上取得更优泛化能力。
2025-04-29 cs.AI cs.LG
Cluster-aware Semi-supervised Learning: Relational Knowledge Distillation Provably Learns Clustering
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；New York University（纽约大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Center of Data Science（数据科学中心）
该研究针对半监督分类问题，从理论上证明关系知识蒸馏（RKD）可转化为谱聚类并实现低聚类误差，提出聚类感知半监督学习框架，揭示了RKD与一致性正则化分别提供全局与局部视角。
2023-10-23 cs.LG stat.ML
Learning Distributional Programs for Relational Autocompletion
KU Leuven（荷语鲁汶大学）；Czech Technical University in Prague（布拉格捷克理工大学）
关系自动补全是指在多关系数据中自动填充某些缺失值的问题。我们解决这个问题的概率逻辑编程框架内的分布子句（DC），它支持离散和连续的概率分布。在这个框架内，我们引入了DiceML {一种从关系数据（可能有丢失的数据）中学习DC程序的结构和参数的方法。为了实现这一点，DiceML将统计建模和分布子句与规则学习集成在一起。DiceML的显着特点是：1）处理关系数据中的自动完成，2）学习用统计模型扩展的分布子句，3）处理离散和连续分布，4）可以利用背景知识，5）使用基于期望最大化的算法来处理丢失的数据。实证结果表明，该方法的承诺，即使有缺失的数据。
2021-07-05 cs.AI cs.LG cs.LO
Leveraging Relational Information for Learning Weakly Disentangled Representations
University of Pisa（比萨大学）
在神经表征中，解纠缠是一个很难实现的特性。这可能是由于，在某种程度上，一个正规化的解纠缠问题，过于侧重于分离相关因素的变化的数据在单个孤立的维度的神经表示。我们认为，这样的定义可能过于限制性，并不一定有利于下游任务。在这项工作中，我们提出了另一种观点学习（弱）解开表示，利用关系学习的概念。我们识别对应于生成因子的特定实例的潜在空间的区域，并且我们学习这些区域之间的关系，以便对潜在代码执行受控的改变。我们还介绍了一个复合生成模型，实现了这样一个弱解纠缠的方法。我们的实验表明，学习的表示可以分离数据中的相关变化因素，同时保留有效生成高质量数据样本所需的信息。
2022-05-20 cs.LG
A Relational Tucker Decomposition for Multi-Relational Link Prediction
University of Mannheim（曼海姆大学）
提出了一种用于知识图谱中多关系链接预测的关系塔克3（RT）分解方法。我们发现，许多现有的知识图谱嵌入模型是特殊情况下的RT分解与某些预定义的稀疏模式在其组件。与这些先前的模型相比，RT将实体和关系嵌入的大小合并，允许在关系之间共享参数，并且不使用预定义的稀疏模式。我们使用RT分解作为工具来探索自动学习稀疏模式是否可能和有益，以及密集模型是否可以优于稀疏模型（使用相同数量的参数）。我们的实验表明，根据数据集的不同，这两个问题都可以得到肯定的回答。
2019-02-03 cs.LG stat.ML
Differentially Private Relational Learning with Entity-level Privacy Guarantees
Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
本文提出了一种具有实体级差分隐私保证的关系学习框架，通过自适应梯度裁剪和隐私放大分析，实现对关系数据的隐私保护与模型训练的平衡。
2026-02-03 cs.CR cs.LG
Privately Learning from Graphs with Applications in Fine-tuning Large Language Models
Purdue University（普渡大学）；Georgia Institute of Technology（佐治亚理工学院）
针对图数据敏感关系学习中的隐私问题，提出一种解耦依赖关系的隐私保护流水线，通过定制DP-SGD微调Llama2等大模型，在四个真实图数据上显著提升关系学习性能并保持稳健隐私保证。
2025-09-16 cs.CL cs.CR cs.LG
DSKReG: Differentiable Sampling on Knowledge Graph for Recommendation with Relational GNN
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Lehigh University（理海大学）
在信息爆炸时代，推荐系统被广泛研究和应用，以发现用户偏好的信息。当遭受冷启动问题时，RS表现不佳，如果将知识图谱（KG）作为边信息，则可以缓解该问题。然而，大多数现有的工作忽略了这样一个事实，即节点度在KG中是偏斜的，大量的相互作用在KG中是不相关的。为了解决这些问题，在本文中，我们提出了微分采样知识图谱与关系GNN（DSKReG）的建议，学习的相关性分布的连接项目从KG和样本合适的项目推荐遵循此分布。我们设计了一个可微分的抽样策略，使相关项目的选择，以共同优化的模型训练过程。实验结果表明，我们的模型优于国家的最先进的KG为基础的推荐系统。该代码可在https://github.com/YuWang-1024/DSKReG上获得。
2021-08-26 cs.LG
STARS: Spike Tail-Aware Relational Synthesis for ANN-to-SNN Data-Free Knowledge Distillation
Nanyang Technological University（南洋理工大学）；Jilin University（吉林大学）；Wuhan University（武汉大学）；Sun Yat-sen University（中山大学）
提出STARS方法，通过关系一致性对齐和尾部感知正则化增强BN引导的合成数据，解决SNN学生网络在无数据知识蒸馏中约束不足的问题，在多个数据集上提升性能。
2026-05-12 cs.AI cs.LG cs.NE
Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship
Tencent Jarvis Lab（腾讯Jarvis实验室）
提出关系经验回放（RER）双层学习框架，通过自适应调节任务间关系与样本重要性优化稳定性与可塑性权衡，有效缓解持续学习中的灾难性遗忘，在多个数据集上超越现有方法。
2023-08-03 cs.CV cs.LG
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London（伦敦大学学院）
尽管近年来强化学习在许多领域得到了成功的应用，但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力，但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中，我们表明，我们可以将关系归纳偏见，编码的关系图的形式，到代理。基于这一见解，我们提出了网格到图（GTG），从网格结构到关系图的映射，当通过关系图卷积网络（R-GCN）处理时，关系图携带有用的空间关系归纳偏差。我们表明，与基于卷积神经网络和神经逻辑机的基线相比，在具有挑战性的程序生成环境和MinAtar上，R-GCN在分布内和分布外都具有更好的泛化能力。此外，我们表明，GTG产生的代理，可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
Graph Neural Networks for Relational Inductive Bias in Vision-based Deep Reinforcement Learning of Robot Control
Technical University of Munich（慕尼黑工业大学）
最先进的强化学习算法主要从数值状态向量或图像中学习策略。这两种方法通常不考虑任务的结构知识，这在机器人应用中特别普遍，如果利用，可以有益于学习。这项工作引入了一种神经网络架构，该架构结合了关系归纳偏差和视觉反馈，以学习机器人操作的有效位置控制策略。我们推导出一个图形表示模型的机械手的物理结构，并结合机器人的内部状态与低维描述的图像编码网络生成的视觉场景。在此基础上，用强化学习训练的图神经网络预测关节速度来控制机器人。我们进一步介绍了一种不对称的方法，训练图像编码器单独的政策，使用监督学习。实验结果表明，对于一个2自由度的平面机器人在一个几何简单的2D环境中，学习表示的视觉场景可以取代访问的显式坐标的到达目标，而不损害的质量和样本效率的政策。我们进一步展示了该模型的能力，以提高样本效率的6自由度的机器人手臂在视觉上逼真的3D环境。
2022-03-11 cs.CV cs.LG cs.RO
Multi-relational Poincaré Graph Embeddings
University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）
双曲嵌入最近在机器学习中受到关注，因为它们能够比它们的欧几里得类似物更准确和简洁地表示分层数据。然而，多关系知识图谱往往表现出多个同时的层次结构，目前的双曲线模型没有捕捉。为了解决这个问题，我们提出了一个模型，嵌入多关系图数据的庞加莱球模型的双曲空间。我们的多关系庞加莱模型（MuRP）通过莫比乌斯矩阵向量乘法和莫比乌斯加法来学习特定于关系的参数来转换实体嵌入。在WN18 RR知识图谱上的实验表明，本文提出的Poincaré嵌入方法在链接预测任务上的性能优于欧氏嵌入方法和现有的嵌入方法，特别是在低维情况下.
2019-10-27 cs.LG stat.ML
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)（塞阿拉联邦学院）；Federal University of Ceará (UFC)（塞阿拉联邦大学）；Sigma Nova
提出基于重心蒸馏的归纳式框架，将转导式GW-MDS嵌入转化为显式神经映射，在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
RelDiff: Relational Data Generative Modeling with Graph-Based Diffusion Models
University of Ljubljana（卢布尔雅那大学）；Stanford University（斯坦福大学）
RelDiff提出一种基于扩散模型的关系数据库生成方法，通过联合图条件扩散建模属性并利用随机块模型生成外键图结构，在11个基准数据集上优于现有方法。
2025-05-31 cs.LG
Relational Knowledge Distillation
POSTECH（浦项科技大学）；Microsoft Research（微软研究院）
知识蒸馏旨在将一个模型（教师）中获得的知识转移到另一个模型（学生）中，该模型通常较小。以前的方法可以表示为训练学生模仿由教师表示的单个数据示例的输出激活的形式。我们介绍了一种新的方法，被称为关系知识蒸馏（RKD），而不是转移相互关系的数据示例。对于RKD的具体实现，我们提出了距离和角度蒸馏损失，惩罚关系中的结构差异。在不同任务上进行的实验表明，该方法提高了受过教育的学生模型具有显着的利润率。特别是对于度量学习，它允许学生超越老师的表现，在标准基准数据集上达到最先进的水平。
2019-05-01 cs.CV cs.LG
A Bayesian approach to multi-task learning with network lasso
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
网络套索是一种通过正则化极大似然方法解决多任务学习问题的方法。网络套索的一个特点是为每个样本设置不同的模型。模型之间的关系用关联系数表示。网络套索中的一个关键问题是为这些关系系数提供合适的值。在本文中，我们提出了一个贝叶斯方法来解决多任务学习问题的网络套索。这种方法使我们能够客观地确定贝叶斯估计的相关系数。仿真研究和实际数据分析表明了该方法的有效性。
2021-10-18 cs.LG stat.ME stat.ML
When Less Data Favors Smaller Teachers: Rethinking Teacher Capacity and Data Selection for Knowledge Distillation
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
本文研究知识蒸馏中数据剪枝下教师容量与数据预算的关系，提出DVA方法，利用小教师进行难度过滤和关系容量最大化，无需训练动态即可优于免训练基线。
2026-09-29 cs.LG
Uncertainty in Neural Relational Inference Trajectory Reconstruction
University of Cambridge（剑桥大学）
用于多交互轨迹重构的神经网络缺乏估计其输出中的不确定性的能力，这将有助于更好地分析和理解它们所建模的系统。在本文中，我们扩展了因子化神经关系推理模型输出的相空间向量的每个组成部分的平均值和标准差，这与一个适当的损失函数，可以考虑到不确定性。各种损失函数的研究，包括凸化和贝叶斯处理的问题的想法。我们表明，当考虑不确定性时，变量的物理意义是重要的，并证明了在训练过程中难以避免的病态局部极小值的存在。
2020-06-25 cs.LG stat.ML
Relational Message Passing for Knowledge Graph Completion
Stanford University（斯坦福大学）
知识图谱补全的目的是预测知识图谱中实体之间缺失的关系。在这项工作中，我们提出了一个关系消息传递方法的知识图谱完成。与现有的基于嵌入的方法不同，关系消息传递仅考虑边缘特征（即，关系类型），并迭代地在边之间传递关系消息以聚合邻域信息。具体而言，在关系消息传递框架下，为给定实体对建模了两种邻域拓扑：（1）关系上下文，它捕获给定实体对相邻边的关系类型;（2）关系路径，它表征给定两个实体在知识图谱中的相对位置。这两个消息传递模块结合在一起进行关系预测。在知识图谱基准测试和我们新提出的数据集上的实验结果表明，我们的方法PathCon的性能大大优于最先进的知识图谱完成方法。PathCon也被证明适用于在训练阶段看不到实体的归纳设置，并且能够为预测结果提供可解释的解释。代码和所有数据集都可以在https://github.com/hwwang55/PathCon上找到。
2021-05-27 cs.LG stat.ML
Dynamic Relational Inference in Multi-Agent Trajectories
Northeastern University（东北大学）；UC San Diego（加利福尼亚大学圣地亚哥分校）
从多智能体轨迹推断交互在物理学、视觉和机器人技术中有着广泛的应用。神经关系推理（NRI）是一种深度生成模型，可以在没有监督的情况下对复杂动态中的关系进行推理。在本文中，我们仔细研究这种方法的关系推理多智能体轨迹。首先，我们发现，NRI可以从根本上限制没有足够的长期观测。对于短输出序列，其准确推断相互作用的能力急剧下降。接下来，我们考虑一个更一般的设置时，相互作用的关系推理是随着时间的推移而变化。我们提出了一个扩展的NRI，我们称之为动态多Agent关系推理（DYARI）模型，可以推理动态关系。我们进行了详尽的实验，研究模型架构的影响，潜在的动力学和训练方案的性能动态关系推理使用模拟的物理系统。我们还展示了我们的模型在现实世界中的多智能体篮球轨迹的使用。
2020-10-08 cs.LG stat.ML
