Conditional Graph Information Bottleneck for Molecular Relational Learning
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）；KRICT（韩国化学技术研究院）
本文提出条件图信息瓶颈框架CGIB，通过检测分子对中随配对分子变化的核心子图来预测相互作用行为，在多个真实数据集上优于现有方法。
2023-07-09 cs.LG q-bio.MN
Towards Robust Relational Causal Discovery
Purdue University（普渡大学）；Pennsylvania State University（宾夕法尼亚州立大学）
我们考虑从关系数据中学习因果关系的问题。现有的方法依赖于查询的关系条件独立（RCI）的甲骨文建立和定向因果关系，在这样的设置。在实践中，对RCI oracle的查询必须被针对可用数据的RCI可靠测试所取代。关系数据在RCI测试中提出了几个独特的挑战。我们研究的条件下，传统的基于iid的条件独立性（CI）测试产生可靠的答案，RCI查询对关系数据。我们展示了如何对关系数据进行CI测试，以稳健地恢复底层关系因果结构。我们的实验结果证明了我们所提出的方法的有效性。
2019-12-05 cs.AI cs.LG stat.ML
Neural Relational Inference for Interacting Systems
University of Amsterdam（阿姆斯特丹大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Canadian Institute for Advanced Research（加拿大高级研究所）
交互系统在自然界中普遍存在，从物理学中的动力系统到复杂的社会动力学。组件之间的相互作用会导致复杂的行为，这通常可以用系统组成部分的简单模型来解释。在这项工作中，我们介绍了神经关系推理（NRI）模型：一个无监督的模型，学习推断相互作用，同时学习纯粹从观察数据的动态。我们的模型采用变分自动编码器的形式，其中的潜在代码表示底层的交互图和重建是基于图神经网络。在模拟物理系统的实验中，我们证明了我们的NRI模型可以以无监督的方式准确地恢复地面真实的相互作用。我们进一步证明，我们可以找到一个可解释的结构，并预测复杂的动态在真正的运动捕捉和运动跟踪数据。
2018-06-06 cs.LG stat.ML
Collective Relational Inference for learning heterogeneous interactions
ETH Zürich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
本文提出一种集体关系推断概率方法，通过联合分布编码边间相关性并支持时变拓扑，在多个基准上优于现有方法，可结合约束发现物理一致的交互规律，且数据高效、可推广至大系统。
2024-01-23 cs.LG
Online Relational Inference for Evolving Multi-agent Interacting Systems
Georgia Institute of Technology（佐治亚理工学院）
提出在线关系推断框架ORI，利用流式数据和在线反向传播实时识别演化多智能体系统中的交互图，并通过AdaRelation和轨迹镜像增强准确性与泛化能力。
2024-11-07 cs.AI cs.LG cs.MA
Diffusion model for relational inference
International Research Center for Neurointelligence (IRCN)（国际神经智能研究中心）；The University of Tokyo（东京大学）；Graduate School of Engineering, Nagoya Institute of Technology（名古屋技术大学工学院）；Hitachi, Ltd.（日立株式会社）
本文提出DiffRI模型，通过条件扩散建模推断复杂系统组件间的相互作用关系。
2024-06-20 cs.AI cs.LG
Enhancing Asynchronous Time Series Forecasting with Contrastive Relational Inference
Ant Group（蚂蚁集团）
针对现有TPP模型未显式建模事件交互的问题，提出基于对比关系推理的霍克斯过程CRIHP，结合NRI与变分推理，通过强度学习对比关系约束，在三个真实数据集上验证了捕捉事件交互的有效性，代码将集成入EasyTPP。
2023-10-07 cs.LG
Learning Densities Conditional on Many Interacting Features
Duke University（杜克大学）
学习一组离散值特征的分布条件是一个常见的任务。当特征之间存在交互的可能性时，这对于高维特征集变得更具挑战性。此外，许多常用的技术只考虑平均值的预测，但需要完整的条件密度来回答更复杂的问题。我们展示了一种新的非参数贝叶斯方法的基础上张量因式分解的特征依赖的权重高斯内核。该方法利用多级特征选择进行降维。所得到的条件密度随所选特征灵活变形。
2013-04-29 cs.LG stat.ML
GMNN: Graph Markov Neural Networks
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；University of Montréal（蒙特利尔大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院）；HEC Montréal（蒙特利尔高等商学院）
本文研究了关系数据中的半监督对象分类问题，这是关系数据建模中的一个基本问题。这个问题已经在统计关系学习（例如关系马尔可夫网络）和图神经网络（例如图卷积网络）的文献中得到了广泛的研究。统计关系学习方法可以通过条件随机场有效地对对象标签的依赖性进行建模，以进行集体分类，而图神经网络通过端到端训练来学习有效的对象表示以进行分类。在本文中，我们提出了图马尔可夫神经网络（GMNN），结合了这两个世界的优点。一个GMNN模型的对象标签的联合分布与条件随机场，它可以有效地训练与变分EM算法。在E步骤中，一个图神经网络学习有效的对象表示，用于近似对象标签的后验分布。在M-步骤中，另一个图神经网络被用来模拟本地标签依赖。在对象分类、链接分类和无监督节点表示学习上的实验表明，GMNN取得了最好的结果。
2020-07-23 cs.LG cs.SI stat.ML
Neural Relational Inference with Efficient Message Passing Mechanisms
Sun Yat-sen University（中山大学）
许多复杂的过程可以看作是相互作用的动力系统。在许多情况下，只观察到单个代理的状态序列，而相互作用的关系和动力学规则是未知的。神经关系推理（NRI）模型采用图神经网络，通过潜在图传递消息，以根据观察到的数据共同学习关系和动态。然而，NRI独立推断的关系，遭受的多步预测在动态学习过程中的误差积累。此外，在更复杂的系统中，没有先验知识的关系重构变得更加困难。针对这些问题，本文在具有结构先验知识的图神经网络中引入了有效的消息传递机制。提出了一种关系交互机制来捕获所有关系的共存，并提出了一种时空消息传递机制，利用历史信息来减轻错误积累。此外，结构先验知识，对称性作为一种特殊情况下，更好地预测在更复杂的系统中的关系。在模拟物理系统上的实验结果表明，该方法优于现有的最先进的方法。
2021-01-23 cs.AI cs.LG
Non-Parametric Inference of Relational Dependence
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Adobe Research（奥多比研究院）
独立性检验在从观测数据进行统计和因果推断中起着核心作用。标准的独立性检验假设数据样本是独立且同分布（i.i.d.）的。但在许多现实世界的数据集和以关系系统为中心的应用程序中，这一假设是不成立的。这项工作探讨的问题，从关系系统中提取的数据，通过定义足够的代表性的观察集影响个别实例的估计独立性。具体来说，我们定义了边缘和条件独立性测试的关系数据考虑内核均值嵌入作为一个灵活的聚合函数的关系变量。我们提出了一个一致的，非参数的，可扩展的内核测试，可操作的关系独立性测试非i.i.d.在一组结构假设下的观测数据。我们在各种合成和半合成网络上实证评估了我们提出的方法，并与最先进的基于内核的独立性测试相比，证明了其有效性。
2022-06-30 cs.AI cs.LG stat.ML
Precision Neural Networks: Joint Graph And Relational Learning
Delft University of Technology, Delft, Netherlands（代尔夫特理工大学）；King Juan Carlos University, Madrid, Spain（国王胡安·卡洛斯大学）
本文提出高精度神经网络，通过联合学习网络参数和精度矩阵，提升基于图和关系学习的表达性和稳定性。
2026-01-20 cs.LG
Interpretable Relational Inference with LLM-Guided Symbolic Dynamics Modeling
School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）
本文提出COSINE框架，通过联合发现交互图和稀疏符号动力学，实现对复杂系统中潜在相互作用结构的可解释推断，实验表明其在合成系统和大规模真实世界数据中的鲁棒性。
2026-04-14 cs.LG
Synthesis Without Training: An Inference-Only Pipeline for Tabular, Temporal, and Relational Synthetic Data
Betterdata AI；National University of Singapore（新加坡国立大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；KAJIMA Technical Research Institute Singapore（鹿岛技术研究所新加坡分所）
提出GENSCRIPT纯推理流水线，通过统计画像和语言模型推断约束，无需训练即可生成表格、时序和关系型合成数据，兼顾效率与保真度。
2026-10-01 cs.LG
When Less Data Favors Smaller Teachers: Rethinking Teacher Capacity and Data Selection for Knowledge Distillation
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
本文研究知识蒸馏中数据剪枝下教师容量与数据预算的关系，提出DVA方法，利用小教师进行难度过滤和关系容量最大化，无需训练动态即可优于免训练基线。
2026-09-29 cs.LG
Dynamic Language Binding in Relational Visual Reasoning
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能学院）
我们提出了一种具有约束力的对象图网络，它是第一种在视觉和文本领域具有动态关系结构的神经推理方法，并应用于视觉问答。放松目前的模型，对象谓词预先存在，并保持静态，被动的推理过程的共同假设，我们建议，这些动态谓词扩展跨域边界，包括成对的视觉语言对象绑定。在我们的方法中，这些上下文对象的链接，积极发现在每个循环推理步骤，而不依赖于外部预测先验。这些动态结构反映了条件双域对象依赖性，通过共同注意推理的不断发展的背景。这种发现的动态图促进了多步骤知识组合和细化，其迭代地推导出最终答案的紧凑表示。该模型的有效性证明了图像问答表现出良好的性能上的主要VQA数据集。我们的方法优于其他方法在复杂的问答任务，其中涉及多个对象的关系。图结构有效地帮助训练的进展，因此与其他推理模型相比，网络学习效率更高。
2021-02-18 cs.CV cs.LG
Connections between Relational Event Model and Inverse Reinforcement Learning for Characterizing Group Interaction Sequences
University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们探讨了以前未识别的连接关系事件模型（REM）从网络科学领域和反向强化学习（IRL）从机器学习领域的能力，以表征序列的有向社会互动事件组设置。REM是一种传统的方法来解决这样的问题，而IRL的应用是一个很大程度上unbeaten path.We开始检查REM和IRL的数学组件，并找到两种方法之间的直接类比，以及IRL方法的独特之处。我们展示了特殊的实用程序IRL在表征群体的社会互动与实证实验，在其中，我们使用IRL推断个人的行为偏好的基础上，从一组虚拟现实游戏玩家互动和合作，以实现一个共同的目标的定向通信事件的序列。我们的比较和实验为社会行为分析引入了新的视角，并有助于激发社会网络分析和机器学习之间联系的新研究机会。
2020-10-19 cs.LG cs.SI
Relational Graph Neural Network Design via Progressive Neural Architecture Search
The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；The Hong Kong Polytechnic University（香港理工大学）
针对图神经网络（GNNs）的表示学习中长期存在的一个难题，提出了一种新的解决方案：如何有效地捕获和表示嵌入在长距离节点中的有用信息，以提高低同质性节点的性能，而不会导致高同质性节点的性能下降。这种困境限制了现有GNN的泛化能力。直观地说，与远距离节点的交互比与近邻节点的交互引入更多的噪声。然而，在大多数现有的作品中，在节点之间传递的消息混合在一起，从通信的角度来看，这是低效的。我们的解决方案是基于一种新颖的，简单的，但有效的聚合方案，从而在一个梯形的GNN架构，即LADDER-GNN。具体来说，我们将来自不同跳点的消息分开，为它们分配不同的维度，然后将它们连接起来以获得节点表示。这种解开的表示有助于提高从不同跳传递的消息的信息噪声比。为了探索一个有效的跳-维关系，我们开发了一个条件渐进的神经结构搜索策略。基于搜索结果，我们进一步提出了一个有效的近似跳维关系函数，以促进建议的梯形GNN的快速配置。我们在七个不同的半监督节点分类数据集上验证了所提出的LADDER-GNN。实验结果表明，我们的解决方案实现了更好的性能比大多数现有的GNN。我们进一步分析了我们的聚合方案与两种常用的GNN架构，结果证实，我们的计划优于现有的计划在分类低同质性节点的大幅度。
2022-02-16 cs.LG
Grounded Relational Inference: Domain Knowledge Driven Explainable Autonomous Driving
Honda Research Institute（本田研究所）；UT Austin（得克萨斯大学奥斯汀分校）；JPMorgan Chase（摩根大通）；Amazon Web Services（亚马逊网络服务）；UC Berkeley（加州大学伯克利分校）
本文提出接地关系推断（GRI）模型，通过将关系潜空间与专家领域知识定义的语义交互行为对齐，实现多智能体交互建模与可解释的自动驾驶行为解释。
2024-07-06 cs.AI cs.LG cs.RO
A Conditional GAN for Tabular Data Generation with Probabilistic Sampling of Latent Subspaces
School of Science and Technology, International Hellenic University（国际希腊大学科学与技术学院）
本文提出ctdGAN，通过概率采样策略和新损失函数缓解表格数据类别不平衡问题，生成高质量样本并提升分类准确率。
2026-09-01 cs.LG
Learning Visual Dynamics Models of Rigid Objects using Relational Inductive Biases
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT）人类工程学与机器人研究所）；Stanford University（斯坦福大学）
赋予机器人类似人类的物理推理能力仍然具有挑战性。我们认为，现有的方法往往忽视时空关系，并通过使用图神经网络（GNNs），结合了关系归纳偏见，我们可以转向利用关系的学习过程。在这项工作中，我们学习行动条件的前向动力学模型的模拟操作任务，从视觉观察，涉及杂乱和不规则形状的物体。我们研究了两种GNN方法，并根据经验评估了它们推广到具有新颖和越来越多对象的场景的能力。第一种，基于图网络（GN）的方法，考虑了显式定义的边缘属性，它不仅始终表现不佳，我们修改了预测未来状态的自动编码器基线，我们的结果表明不同的边缘属性可以显着影响预测。因此，我们开发的自动预测，不依赖于明确定义的边缘属性。它优于基线和基于GN的模型。总的来说，我们的研究结果显示了基于GNN的方法对任务表示的敏感性，关系归纳偏差的有效性，并主张选择轻量级方法，这些方法隐含地推理关系，而不是将这些决定留给人类设计师。
2019-10-23 cs.CV cs.LG eess.IV
Environmental Sound Recognition using Masked Conditional Neural Networks
University of York（约克大学）
用于声音识别的基于神经网络的体系结构通常是从其他应用领域改编而来的，这些应用领域可能不会利用声音相关的属性。条件神经网络（CLNN）被设计为考虑时间信号中跨帧的关系属性，其扩展掩蔽条件神经网络（MCLNN）在网络中嵌入滤波器组行为，这强制网络在频带而不是频段中学习。此外，它自动探索不同的特征组合，类似于手工制作识别任务的最佳特征组合。我们将MCLNN应用于ESC-10数据集的环境声音。与最先进的卷积神经网络和手工制作的尝试相比，MCLNN实现了具有竞争力的准确性。
2019-04-11 cs.LG cs.SD eess.AS
EvolveGraph: Multi-Agent Trajectory Prediction with Dynamic Relational Reasoning
Honda Research Institute, USA（本田美国研究所）；University of California, Berkeley（加州大学伯克利分校）
从纯物理系统到复杂的社会动态系统，多智能体交互系统在世界范围内普遍存在。在许多应用中，有效地理解情况和准确的轨迹预测的交互代理在下游任务，如决策和规划中发挥了重要作用。在本文中，我们提出了一个通用的轨迹预测框架（名为EvolveGraph）与显式的关系结构识别和预测，通过多个异构的，交互式代理之间的潜在的交互图。考虑到未来行为的不确定性，该模型被设计为提供多模态预测假设。由于潜在的相互作用可能会演变，即使突然的变化，不同的方式的演变可能会导致不同的结果，我们解决的必要性，动态关系推理和自适应发展的相互作用图。我们还引入了一个双阶段的训练管道，不仅提高了训练效率，加快了收敛速度，而且提高了模型的性能。所提出的框架在合成物理模拟和多个真实世界的基准数据集在各个领域进行了评估。实验结果表明，我们的方法在预测精度方面达到了最先进的性能。
2020-10-22 cs.CV cs.LG cs.MA
EvolveHypergraph: Group-Aware Dynamic Relational Reasoning for Trajectory Prediction
Stanford University（斯坦福大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of California, Berkeley（加州大学伯克利分校）
虽然成对关系的建模在多智能体交互系统中得到了广泛的研究，但其捕获更高级别和更大规模的群体活动的能力是有限的。在本文中，我们提出了一个群体感知的关系推理方法（名为EvolveHypergraph）与显式推理的基础动态演变的关系结构，我们证明了它的有效性多智能体轨迹预测。除了一对节点之间的边（即，代理），我们建议推断hyperedges，自适应地连接多个节点，使组感知的关系推理在无监督的方式，而不固定的hyperedges的数量。所提出的方法推断动态演变的关系图和超图随着时间的推移，以捕获的关系，这是由轨迹预测器，以获得未来的状态的演变。此外，我们提出了正则化的关系演化的光滑性和稀疏的推断图或超图，这有效地提高了训练的稳定性，增强了推断关系的可解释性。所提出的方法在合成人群模拟和多个真实世界的基准数据集上进行了验证。我们的方法推断出可解释的，合理的群体感知关系，并在长期预测中实现了最先进的性能。
2022-08-10 cs.AI cs.CV cs.LG
Post-Hoc Robustness Enhancement in Graph Neural Networks with Conditional Random Fields
École Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；KTH（瑞典皇家理工学院）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Inria（法国国家信息与自动化研究所）
针对GNN推理阶段鲁棒性不足的问题，提出模型无关的事后方法RobustCRF，基于条件随机场增强鲁棒性，并在基准数据集上验证有效性。
2024-11-08 cs.LG cs.SI stat.AP
Multi-Agent Dynamic Relational Reasoning for Social Robot Navigation
University of California, Riverside（加州大学河滨分校）；University of California, Berkeley（加州大学伯克利分校）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Stanford University（斯坦福大学）
本文提出一种多智能体动态关系推理方法，通过推断动态演化的关系图与超图实现群体级推理，结合轨迹预测与深度强化学习框架，显著提升了社交机器人导航在密集交互场景下的安全性、效率与社交合规性。
2024-11-11 cs.AI cs.CV cs.LG
Meta-World Conditional Neural Processes
Bogazici University（海峡大学）
我们提出了元世界条件神经过程（MW-CNP），一个条件世界模型生成器，利用样本效率和条件神经过程的可扩展性，使代理从自己的“幻觉”采样。我们打算在测试时尽可能地减少代理与目标环境的交互。为了减少测试时所需的样本数量，我们首先从具有隐藏参数的测试环境中的单个卷展栏获得过渡动态的潜在表示。然后，我们通过与Meta世界模型生成的“幻觉”交互来获得少样本学习的推出。使用来自MW-CNP的世界模型表示，元RL代理可以适应看不见的目标环境，与基线相比，从目标环境收集的样本显著减少。我们强调，在整个训练和测试过程中，智能体不能访问任务参数，MW-CNP是在元训练期间记录的离线交互数据上训练的。
2023-02-20 cs.AI cs.LG cs.NE
