SeekJudge: A Practical Reward Framework for Reinforcement Learning in Computer-Use Agents
针对计算机使用智能体强化学习中轨迹指令判断问题,提出SeekJudge框架,通过四个智能体循环裁决,用种子校准蒸馏管道训练共享主干模型,该框架在在线RL中匹配或超原生规则监督,还有诸多优势并改进奖励服务器,使模型奖励成实用替代品。
2026-09-29 cs.AI
Planning as Emergent Behavior in Reinforcement Learning with Relational Hidden States
ETH Zurich(苏黎世联邦理工学院)
研究无模型强化学习中规划作为涌现行为的现象,发现神经架构的隐藏状态结构是决定因素,关系隐藏状态网络能获规划机制,恢复环境转移结构并改进策略,解释了涌现规划现象并引发相关问题。
2026-07-22 cs.AI cs.LG
GLIB: Efficient Exploration for Relational Model-Based Reinforcement Learning via Goal-Literal Babbling
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们解决了在基于关系模型的强化学习环境中没有外在目标或奖励的过渡模型学习的有效探索问题。受人类好奇心的启发,我们提出了目标文字咿呀学语(GLIB),一个简单而通用的方法,探索在这样的问题。GLIB对关系连接目标进行采样,这些目标可以被理解为智能体希望在世界上实现的特定目标,并计划使用正在学习的过渡模型来实现这些目标。我们提供的理论保证表明,与GLIB的探索几乎肯定会收敛到地面实况模型。在实验中,我们发现GLIB在一系列任务的预测和规划方面都强于现有方法,包括标准PDDL和PPDDL规划基准以及PyBullet物理模拟器中实现的机器人操作任务。视频:https://youtu.be/F6lmrPT6TOY代码:https://git.io/JIsTB
2020-12-08 cs.AI cs.LG
Relational Mimic for Visual Adversarial Imitation Learning
University of Geneva(日内瓦大学);Apple Inc(苹果公司)
在这项工作中,我们介绍了一种新的方法,模仿学习从视频演示。我们的方法,关系模仿(RM),通过结合生成对抗网络和关系学习,改进了以前的视觉模仿学习方法。RM是灵活的,可以与生成对抗模仿学习的其他最新进展结合使用,以更好地满足对更强大和样本效率更高的方法的需求。此外,我们还介绍了一种新的神经网络架构,该架构改进了之前的强化学习最新技术,并说明了如何提高代理的关系推理能力,使后者能够在具有挑战性的运动任务中实现越来越高的性能像素输入。最后,我们通过消融研究,研究了关系学习在政策评估、政策改进和奖励学习中的作用和贡献。
2019-12-18 cs.AI cs.CV cs.LG
Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);University of California Berkeley(加州大学伯克利分校)
使用具有稀疏奖励的强化学习来学习机器人操作任务目前是不切实际的,因为数据要求非常高。许多实际任务需要操纵多个对象,并且这些任务的复杂性随着对象的数量而增加。从日益复杂的任务课程中学习似乎是一种自然的解决方案,但不幸的是,在许多情况下都不起作用。我们假设,最先进的算法无法有效地利用任务课程源于缺乏归纳偏见,从简单到复杂的任务转移知识。我们表明,基于图的关系架构克服了这一限制,并使学习复杂的任务时,提供了一个简单的课程的任务与越来越多的对象。我们演示了我们的框架上的模拟块堆叠任务的实用程序。从零开始,我们的智能体学习将六个街区堆叠成一座塔。尽管使用了逐步稀疏奖励,但我们的方法的数据效率要高出几个数量级,并且优于现有的利用人类演示的最先进方法。此外,学习到的策略表现出零射击(zero-shot)概括,无需任何进一步的训练即可成功地将积木堆叠成更高的塔楼和以前从未见过的配置,例如金字塔。
2019-12-23 cs.AI cs.LG cs.RO
GRAIL: Autonomous Concept Grounding for Neuro-Symbolic Reinforcement Learning
Technical University of Darmstadt(达姆施塔特技术大学);Google Intrinsic(谷歌内在);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Centre for Cognitive Science, TU Darmstadt(达姆施塔特技术大学认知科学中心)
GRAIL通过环境交互自主 grounding 关系概念,利用大语言模型提供弱监督,提升在稀疏奖励和概念对齐问题中的性能,实验显示其在Atari游戏中表现优异。
2026-04-18 cs.AI cs.LG
Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach
Örebro University(厄勒布鲁大学);KU Leuven(鲁汶大学)
本文提出神经符号框架 DERRL,将符号规划的关系表示、约束与深度学习结合,提取逻辑规则形式的可解释策略,并在多种环境中验证其可迁移与泛化能力。
2023-07-14 cs.AI cs.LG
DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent HY(腾讯HY)
提出DCRL框架,通过策略-奖励流形对齐解决RL中奖励系统不稳定与奖励黑客问题,利用逻辑提示演化和联合更新机制,显著提升LLM推理性能,小模型超越大模型。
2026-09-24 cs.AI cs.LG
Relational Linear Programs
TU Dortmund University(多特蒙德工业大学);University of Bonn(波恩大学)
我们提出了关系线性规划,一个简单的框架结合线性程序(LP)和逻辑程序。关系线性规划(relational linear program,RLP)是一个声明性的LP模板,通过对象、关系和量化变量的逻辑概念定义目标和约束。这使得人们可以表达LP目标和约束关系的不同数量的个人和他们之间的关系,而不列举他们。连同逻辑知识库,有效地由逻辑事实和规则组成的逻辑程序,它归纳出一个基础LP。使用提升线性规划来求解该基础LP。也就是说,如果可能的话,采用地面LP内的对称性来降低其维数,并且使用任何现成的LP求解器来求解简化的程序。与主流LP模板语言(如AMPL)相比,它具有声明式和命令式编程风格的混合,RLP的关系性质允许在关系域上更直观地表示优化问题。我们说明了这一经验的实验近似推理在马尔可夫逻辑网络使用LP松弛,解决马尔可夫决策过程中,集体推理使用LP支持向量机。
2014-10-12 cs.AI cs.LO cs.PL
Reinforcement Learning with Conditional Expectation Reward
本文提出基于大语言模型自身作为隐式验证器的条件期望奖励方法,用于提升一般领域推理任务的准确性与适用性。
2026-03-11 cs.AI cs.CL cs.LG
Relational Deep Reinforcement Learning for Routing in Wireless Networks
Wesleyan University(卫斯理大学);University of Connecticut(康涅狄格大学);Fordham University(福特汉姆大学)
虽然已经广泛地研究了无线网络中的路由,但是现有的协议通常是针对特定的网络条件集而设计的,因此不能适应这些条件中的任何急剧变化。例如,为连接的网络设计的协议不能容易地应用于断开的网络。在本文中,我们开发了一种基于深度强化学习的分布式路由策略,该策略可推广到不同的流量模式、拥塞水平、网络连接和链路动态。我们在设计中进行了以下关键创新:(i)使用关系特征作为近似决策空间的深度神经网络的输入,这使得我们的算法能够推广到不同的网络条件,(ii)使用以分组为中心的决策,通过将分组而不是无线设备视为强化学习代理,将路由问题转换为情景任务,这提供了一种在学习期间准确地传播和建模奖励的自然方式,以及(iii)使用延长时间动作来对分组在队列中等待所花费的时间建模,这减少了所需的训练数据量并允许学习算法更快地收敛。我们评估我们的路由算法使用数据包级模拟器,并表明我们的算法在训练过程中学习的政策是能够推广到更大,更拥挤的网络,不同的拓扑结构,和不同的链路动态。我们的算法优于最短路径和背压路由的数据包交付和延迟每包。
2020-12-31 cs.AI cs.NI
Leveraging human Domain Knowledge to model an empirical Reward function for a Reinforcement Learning problem
Persistent Systems Ltd.(持久系统公司)
传统的强化学习(RL)问题依赖于一个详尽的仿真环境,该环境对问题的真实物理进行建模,并通过观察该环境来训练RL代理。在本文中,我们提出了一种新的方法来创建一个环境,通过建模的奖励功能的基础上提取的经验规则,从人类领域的知识系统的研究。利用这个经验奖励函数,我们将建立一个环境和训练代理。我们将首先创建一个环境,模拟通过恒温器设置机舱温度的效果。这通常在RL问题中通过创建具有详细热力学研究的系统的详尽模型来完成。相反,我们提出了一个经验的方法来模拟奖励功能的基础上人类领域的知识。我们将记录一些我们通常在设置恒温器温度时使用的经验法则,并尝试将其建模为我们的奖励函数。将经验人类领域规则建模为RL的奖励函数是本文的独特之处。这是一个连续的行动空间问题,使用深度确定性策略梯度(DDPG)方法,我们将解决最大化的奖励函数。我们将创建一个策略网络,该网络在给定外部温度和湿度的情况下预测最佳温度设定值。
2019-09-16 cs.AI cs.LG cs.SY
Reward-Sharing Relational Networks in Multi-Agent Reinforcement Learning as a Framework for Emergent Behavior
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
在这项工作中,我们将“社会”的相互作用,通过用户定义的关系网络的MARL设置和检查的影响,代理代理关系的崛起的紧急行为。利用社会学和神经科学的见解,我们提出的框架模型代理关系使用的概念奖励共享关系网络(RSRN),其中网络边权重作为衡量一个代理的成功投资(或“关心”)另一个。我们构造关系奖励作为RSRN交互权重的函数,通过多智能体强化学习算法来集体训练多智能体系统。针对具有不同关系网络结构(例如,利己主义、社群主义和威权主义网络)。我们的研究结果表明,奖励分享关系网络可以显着影响学习行为。我们认为RSRN可以作为一个框架,不同的关系网络产生不同的涌现行为,往往类似于这种网络的直觉社会学的理解。
2022-07-14 cs.AI cs.MA cs.SI
Planning with Noisy Probabilistic Relational Rules
有噪声的概率关系规则是一个有前途的世界模型表示有几个原因。它们是紧凑的,并且在世界实例上通用。它们通常是可解释的,并且可以从复杂世界中的行动经验中有效地学习。我们调查推理与接地关系域中的这些规则。我们的算法利用规则的紧凑性,有效和灵活的决策理论规划。作为第一种方法,我们将这些规则与基于前瞻树的上置信界应用于树(UCT)算法相结合。我们的第二种方法将这些规则转换成一个结构化的动态贝叶斯网络表示,并使用近似推理和世界状态的信念来预测动作序列的影响。我们评估我们的方法的有效性规划在一个模拟的复杂的3D机器人操作场景与关节式机械手和现实的物理和概率规划比赛的领域。实证结果表明,我们的方法可以解决问题,现有的方法失败。
2014-01-16 cs.AI
Learning Probabilistic Relational Dynamics for Multiple Tasks
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
代理的行为影响世界的方式通常可以使用一组相关的概率规划规则来建模。本文讨论了学习多个相关任务的规则集的问题。我们采取分层贝叶斯方法,系统学习规则集的先验分布。我们提出了一类先验分布参数化的规则集原型,随机修改,以产生一个特定于任务的规则集。我们还描述了一个坐标上升算法,迭代优化特定于任务的规则集和先验分布。使用该算法的实验表明,从相关的任务中转移信息显着减少了预测块世界域中的动作效果所需的训练数据量。
2012-06-20 cs.AI
SPARK: Self-Play with Asymmetric Reward from Knowledge Graphs
Hanbat National University, South Korea(韩国翰bac国立大学)
SPARK通过构建统一知识图谱实现多文档科学文献的自我对抗学习,利用图路径生成关系推理问题并基于结构化事实计算奖励,优于传统自对抗基线方法。
2026-05-07 cs.AI
Relational Association Rules: getting WARMeR
近年来,事务数据中的关联规则挖掘问题得到了广泛的研究。我们建议扩展经典关联规则的发现,发现关联规则的合取查询在任意关系数据,启发的WARMR算法,开发的Dehaspe和Toivonen,发现关联规则在有限的合取查询。关系数据库中的合取查询评估是很好理解的,但是当从发现的观点来处理时仍然提出了一些很大的挑战,在发现的观点中,模式是相对于一些定义良好的搜索空间和修剪算子来生成和评估的。
2002-06-15 cs.AI cs.DB
Learning Onto-Relational Rules with Inductive Logic Programming
规则补充和扩展了语义Web上的本体。我们将这些规则称为本体关系,因为它们结合了基于DL的本体语言和支持逻辑编程和演绎数据库传统内的关系数据模型的知识表示形式。规则编写是一项要求非常高的知识工程任务,可以通过应用机器学习算法来部分自动化。在这一章中,我们将展示归纳逻辑程序设计(ILP),诞生于机器学习和逻辑程序设计的交叉点,并被认为是关系学习的主要方法,可以适应本体关系学习。为了说明,我们提供了一个具体的本体关系学习解决方案的问题,学习基于规则的定义DL概念和角色与ILP的细节。
2012-10-29 cs.AI cs.DB cs.LG
A Preliminary Approach for Learning Relational Policies for the Management of Critically Ill Children
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心)
电子健康记录的增加使用使得从患者记录中自动提取医疗政策以帮助开发临床决策支持系统成为可能。我们采用了一个增强的统计关系学习(SRL)框架,从临床医院记录中学习概率规则,用于管理接受体外膜肺氧合治疗的严重心脏或呼吸衰竭儿童的生理参数。在这项初步研究中,结果是有希望的。特别是,该算法返回的逻辑规则与医疗推理一致的医疗行动。
2020-01-13 cs.AI
Identifying Independence in Relational Models
d-分离的规则提供了一个框架,用于从模型结构中导出条件独立事实。然而,该理论仅适用于简单的有向图模型。我们介绍了关系d-分离,推导关系模型中的条件独立性的理论。我们提供了一个健全的,完整的,计算效率高的方法关系d-分离,我们提出的实证结果表明,有效性。
2013-04-15 cs.AI
Lifted Relational Neural Networks
Czech Technical University in Prague(布拉格捷克理工大学);Charles University(查理大学);Cardiff University(卡迪夫大学)
我们提出了一种结合关系逻辑表示和神经网络学习的方法。一个一般的提升架构,可能反映了一些背景领域的知识,描述通过关系规则,可以手工制作或学习。关系规则集充当用于展开可能的深度神经网络的模板,深度神经网络的结构也反映给定训练或测试关系示例的结构。不同的网络对应于不同的例子共享其权重,在训练过程中通过随机梯度下降算法共同进化。该框架允许层次关系建模结构和学习潜在的关系概念,通过共享的隐藏层权重对应的规则。显着的关系概念的发现和实验上的78个关系学习基准证明了良好的性能的方法。
2015-10-13 cs.AI cs.LG cs.NE
Learning First-Order Rules with Relational Path Contrast for Inductive Relation Reasoning
School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院)
提出 RPC-IR,通过提取关系路径、构造正负路径对比并联合监督训练,学习实体无关的一阶逻辑规则,在三个归纳数据集上提升知识图谱关系推理性能与可解释性。
2021-10-17 cs.AI cs.LO
Can Evidence Be Combined in the Dempster-Shafer Theory
Information Sciences Institute(信息科学研究所)
Dempster的组合规则一直是Dempster-Shafer(D-S)理论中最有争议的部分。特别地,Zadeh从D-S理论的一个关系模型中得出了一个关于证据不可组合性的猜想。在本文中,我们将描述另一个关系模型,其中D-S质量表示为条件粒度分布。通过与Zadeh的关系模型的比较,我们将说明Zadeh关于可组合性的猜想如何不影响Dempster规则在我们的模型中的适用性。
2013-03-27 cs.AI
A Comprehensive Study on Knowledge Graph Embedding over Relational Patterns Based on Rule Learning
Zhejiang University(浙江大学);Donghai laboratory(东海实验室)
本文系统评估 7 个 KGE 模型在 2 个基准、4 种关系模式上的表现,结合理论、实体频率和部分到整体分析揭示反直觉结论,并提出免训练的 SPA 方法提升关系模式相关性能。
2023-08-15 cs.AI cs.CL
REMAX: Relational Representation for Multi-Agent Exploration
Samsung Research(三星研究院);KAIST(韩国科学技术院)
训练具有稀疏奖励的多智能体强化学习(MARL)模型通常是困难的,因为智能体之间的交互的许多组合会诱导某种结果(即,成功或失败)。早期的研究试图解决这个问题,通过采用内在奖励来诱导有助于学习有效策略的互动。然而,这种方法需要广泛的先验知识来设计内在奖励。为了有效地训练MARL模型而不设计内在奖励,我们提出了一种基于学习的探索策略来生成游戏的初始状态。所提出的方法采用变分图自动编码器来表示游戏状态,使得(1)通过考虑代理之间的关系,状态可以被压缩编码为潜在表示,并且(2)潜在表示可以用作耦合代理模型的有效输入来预测探索得分。然后,所提出的方法找到新的潜在表示,最大化探索分数,并解码这些表示,以生成初始状态,MARL模型从这些初始状态开始在游戏中进行训练,从而体验到新的和可奖励的状态。我们证明了我们的方法比现有的探索方法更能提高MARL模型的训练和性能。
2022-02-05 cs.AI cs.LG cs.MA
Relational Bayesian Networks
Computer Science Department, Stanford University(斯坦福大学计算机科学系)
提出了一种表示多个随机事件概率关系的新方法。在先前包含概率规则的知识库用于此目的的情况下,在此关系上的概率分布直接由贝叶斯网络表示。通过使用一种强大的方式来指定这些网络中的条件概率分布,所得到的形式主义比以前的形式主义更具表达力。特别地,它提供了对事件的等式的约束,并且它允许定义复杂的嵌套组合函数。
2013-02-06 cs.AI
Knowledge-Graph Paths as Intermediate Supervision for Self-Evolving Search Agents
Xiaohongshu Inc.(小红书公司)
本文通过利用知识图谱路径作为中间监督,改进自演化搜索代理的提问生成和奖励塑造,解决传统方法中提问孤立和奖励信息不足的问题,提升多跳问答性能。
2026-05-07 cs.AI
Integrating Association Rules with Decision Trees in Object-Relational Databases
研究提供的证据表明,与其他分类模型相比,关联分类产生更准确的结果。基于关联的分类(CBA)是一种著名的关联分类算法,它可以产生精确的分类器。然而,当前的关联分类算法驻留在数据库外部,这降低了企业分析系统的灵活性。本文采用两种不同的模型在Oracle数据库中实现了CBA:将CBA硬编码在Oracle数据采掘(ODM)包中,以及将Oracle Apriori模型与Oracle决策树模型相结合。我们在UCI的18个数据集上比较了所提出的模型与朴素贝叶斯、支持向量机、随机森林和决策树的性能。结果表明,我们的模型比原始CBA模型的性能高出1%,并且与基准数据集上的选定分类模型相比具有竞争力。
2019-04-21 cs.AI cs.IR
A mathematical theory of balancing relational generalization and memorization
Center for Theoretical Neuroscience(理论神经科学中心)
提出带例外的传递推理任务,利用核岭回归模型分析表示几何如何影响关系泛化与记忆的平衡,并在预训练语言模型中验证理论预测。
2026-05-21 cs.AI cs.LG
Stacked Structure Learning for Lifted Relational Neural Networks
Faculty of Electrical Engineering, CTU in Prague(布拉格捷克理工大学电气工程学院);School of Computer Science, Cardiff University(卡迪夫大学计算机科学学院)
提升关系神经网络(LRNN)使用加权一阶规则来描述关系域,这些规则用作构建前馈神经网络的模板。虽然以前的工作已经表明,使用LRNN可以在各种ILP任务中产生最先进的结果,但这些结果依赖于手工制作的规则。在本文中,我们用结构学习扩展了LRNN的框架,从而实现了完全自动化的学习过程。类似于许多ILP方法,我们的结构学习算法进行迭代的方式,通过自上而下的搜索,通过假设空间的所有可能的霍恩条款,考虑到谓词中出现的训练样本,以及发明的软概念所涉及的最佳加权规则迄今为止。在实验中,我们展示了自动诱导有用的分层软概念的能力,从而产生具有竞争力预测能力的深度LRNN。
2017-10-05 cs.AI cs.LG stat.ML
LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules
Georgia Institute of Technology(佐治亚理工学院)
本文提出LARS-VSA架构,利用超维计算和关系瓶颈策略构建组合式神经符号系统,通过高维注意力机制实现高效抽象规则学习,在多个数据集上达到更优或相当的准确率且效率显著提升。
2024-05-23 cs.AI cs.LG
Arbitrarily Applicable Same/Opposite Relational Responding with NARS
Department of Psychology, Stockholm University, Stockholm, Sweden(心理学系,斯德哥尔摩大学);Division of Robotics, Perception and Learning, KTH Royal Institute of Technology, Stockholm, Sweden(机器人、感知与学习 division,皇家理工学院)
本研究通过引入习得关系扩展非公理推理系统NARS,使其在匹配样本任务中展现出任意适用的相同/相反关系反应能力,验证了其关系学习机制与人类认知的相似性,为通用人工智能的关系建模提供了新思路。
2025-06-16 cs.AI
Rule Based Rewards for Language Model Safety
OpenAI
针对大语言模型安全微调中人类标注数据易致模型过度谨慎、更新成本高的问题,提出基于规则的奖励(RBR)方法,用细粒度可组合的LLM评分少样本提示做RL奖励,仅需少量人类数据,F1达97.1,优于人类反馈基线。
2024-11-02 cs.AI
Learning Probabilistic Logic Programs with Functional Gradient Guided Language Models
Technische Universität Darmstadt(达姆施塔特工业大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);AT&T CDO(AT&T首席数字官办公室);Oregon state University(俄勒冈州立大学)
提出神经符号框架grasp,将关系结构学习转化为函数梯度提升,用LLM处理难的内部搜索,在Tox21等四个基准上优于多种基线,生成可解释带权规则集成。
2026-10-09 cs.AI
Visual Perceptual to Conceptual First-Order Rule Learning Networks
Zhongguancun Academy(中关村学院);Vienna University of Technology (TU Wien)(维也纳技术大学);National Institute of Informatics(国立信息学研究所)
本文提出γILP框架,通过图像常量替换到规则结构归纳的可微流程,解决图像数据中无标签学习规则及自动发明谓词的问题,实验证明其在符号关系数据和图像数据上均表现优异。
2026-04-09 cs.AI cs.LG
Sparse Relational Reasoning with Object-Centric Representations
Imperial College London(帝国理工学院)
我们研究了在各种稀疏诱导约束下,在以对象为中心(基于槽)的表示上操作时,由关系神经架构学习的软规则的可组合性。我们发现,增加稀疏性,特别是在功能上,提高了一些模型的性能,并导致更简单的关系。此外,我们观察到,当并非所有对象都被完全捕获时,以对象为中心的表示可能是有害的; CNN不太容易出现这种故障模式。这些发现证明了可解释性和性能之间的权衡,即使是针对处理关系任务的模型。
2022-07-15 cs.AI cs.LG
Learning sparse relational transition models
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个表示在复杂的不确定领域的关系规则描述的过渡模型。对于任何操作,规则选择一组相关对象,并计算结果状态中仅这些对象的属性的分布,给定它们在先前状态中的属性。一个迭代的贪心算法被用来构造一组指示参考,确定哪些对象在任何给定的状态是相关的。前馈神经网络用于学习相关对象属性的转移分布。这种策略被证明是更通用和更有效的样本比学习一个整体的过渡模型在一个模拟的域中,机器人推一堆的对象在一个杂乱的表。
2018-10-26 cs.AI cs.LG cs.RO
Relational Graph Convolutional Networks Do Not Learn Sound Rules
University of Oxford(牛津大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本文研究R-GCN在知识图谱补全中的可解释性,提出提取和验证可靠规则的方法,发现其无法学习可靠规则,并通过训练变体在准确性与规则可靠性间取得平衡。
2024-08-14 cs.AI cs.LG cs.LO
Generating Graph-Like Logical Rules for Knowledge Graph Reasoning via Diffusion Models
Laboratory for Big Data and Decision(大数据与决策实验室);National University of Defense Technology(国防科技大学);National Key Laboratory of Information Systems Engineering(信息系统工程国家重点实验室);Microsoft Corporation(微软公司);College of Computer Science and Technology(计算机科学与技术学院)
提出GRiD框架,利用扩散模型将图状规则发现转化为以目标关系为条件的离散生成过程,结合监督预训练和强化学习优化,实现知识图谱补全中图状规则的高效挖掘。
2026-06-04 cs.AI
A Relational Macrostate Theory Guides Artificial Intelligence to Learn Macro and Design Micro
Arizona State University(亚利桑那州立大学);Santa Fe Institute(圣塔菲研究所)
复杂系统的高维性、非线性和突现性,对以在简单物理系统中如此成功的方式识别一般规律提出了挑战。在安德森关于为什么“更多是不同的”的开创性工作中,他指出了新兴的宏观模式如何打破微观规律的对称性。然而,很少有人认识到,这些大规模的,新兴的模式也必须保留一些微观规则的对称性。在这里,我们介绍了一个新的,关系宏观状态理论(RMT),定义宏观状态的两个相互预测的观察之间的对称性,并开发一个机器学习架构,MacroNet,识别宏观状态。使用这个框架,我们展示了如何在复杂的系统中识别宏观态,从简单的简谐振子到更复杂的空间图案特征的图灵不稳定性。此外,我们展示了我们的框架如何可以用于与给定的宏观属性相一致的微观状态的逆设计-在图灵模式中,这使我们能够设计具有给定空间图案规范的底层规则,并确定哪些规则参数最控制这些图案。通过展示宏观属性如何从观测之间的映射中的对称性守恒中出现的一般理论,我们提供了一个机器学习框架,该框架允许统一的方法来识别从简单到复杂的系统中的宏观状态,并允许设计与给定宏观属性一致的新示例。
2022-10-18 cond-mat.stat-mech cs.AI
Neural Networks for Relational Data
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon Inc.(亚马逊公司);TU Darmstadt(达姆施塔特工业大学)
虽然深度网络在过去十年中取得了巨大的成功,但它们依赖于平面特征向量表示,这使得它们不适用于结构丰富的领域,例如社会网络分析等应用中出现的领域。这些领域依赖于关系表示来捕获实体及其属性之间的复杂关系。因此,我们考虑学习神经网络的关系数据的问题。我们将自己与当前依赖于专家手工编码规则的方法区分开来,这些方法通过学习基于关系随机游走的特征来捕获局部结构相互作用和由此产生的网络架构。我们进一步利用所得到的关系神经网络的网络权重的参数绑定,其中相同类型的实例共享参数。我们在几个标准关系数据集上的实验结果证明了所提出的方法在多个神经网络基线以及最先进的统计关系模型上的有效性。
2020-01-13 cs.AI cs.LG
Enhancing Embedding Representations of Biomedical Data using Logic Knowledge
University of Siena(锡耶纳大学)
知识图谱嵌入(KGE)已经成为一种非常流行的模型,专门设计用于处理本体和图结构数据,因为它们可以隐式地编码潜在空间中实体和关系之间的统计依赖关系。KGE技术对于生物医学领域特别有效,在生物医学领域中,处理生物和化学对象之间的复杂相互作用的大知识图谱是非常常见的。最近在文献中,PharmKG数据集已被提出作为最具挑战性的知识图谱生物医学基准之一,具有基因,疾病和化学品之间的数十万个关系事实。尽管KGE可以扩展到非常大的关系域,但它们通常无法表示事实之间更复杂的关系依赖关系,如逻辑规则,这可能是复杂实验环境中的基础。在本文中,我们利用逻辑规则来增强嵌入表示的KGE的PharmKG数据集。为此,我们采用了关系推理网络(R2N),最近提出的神经符号的方法显示出可喜的成果知识图谱完成任务。R2N使用可用的逻辑规则来构建一个神经架构,在KGE潜在表示上进行推理。在实验中,我们表明,我们的方法能够显着改善PharmKG数据集的当前最先进水平。最后,我们提供了一个消融研究实验比较的效果,根据不同的选择标准和不同的考虑规则的数量的替代规则集。
2023-03-23 cs.AI cs.LG q-bio.QM
Inductive Logic Boosting
Nanjing University(南京大学)
近年来,人们对概率逻辑编程(PLP)和统计关系学习(SRL)模型的兴趣激增,这些模型将逻辑与概率相结合。这些系统的结构学习是归纳逻辑程序设计(ILP)和统计学习(SL)的交叉领域。然而,ILP不能处理概率,SL不能建模关系假设。集成这两个机器学习框架的最大挑战是如何仅从对接地逻辑原子的观察来估计逻辑子句的概率。现有的联合概率建模方法将子句表示为图模型,文字表示为图模型中的顶点,这种模型仍然过于复杂,只能用伪似然来近似。我们提出了归纳逻辑提升框架,将关系数据集转换为基于特征的数据集,通过提升Problog规则树来归纳逻辑规则,放松伪似然的独立性约束。在基准数据集上的实验结果表明,ILP学习规则的AUC-PR和AUC-ROC值高于当前最先进的SRL方法。
2014-02-25 cs.AI cs.LG
A logic-based relational learning approach to relation extraction: The OntoILPER system
Universidade Federal Rural de Pernambuco(伯南布哥州联邦农村大学);Aix-Marseille Université(艾克斯-马赛大学);Universidade Federal de Pernambuco(伯南布哥州联邦大学)
关系抽取(RelationExtraction,RE)是一种检测和描述文本中实体之间语义关系的方法,在过去的二十年里得到了广泛的关注,主要应用于生物医学领域。已经发表了许多关于使用监督机器学习技术的关系抽取的论文。这些技术中的大多数依赖于统计方法,例如基于特征和基于树核的方法。这种统计学习技术通常基于用于表示示例的命题假设空间,即,它们采用特征的属性值表示。这种表示有一些缺点,特别是在提取复杂关系时,这些关系需要更多关于所涉及实例的上下文信息,即,它不能有效地从解析树中捕获结构信息而不丢失信息。在这项工作中,我们提出了OntoILPER,一个基于逻辑的关系学习方法,关系抽取,使用归纳逻辑程序设计生成提取模型的形式,符号提取规则。OntoILPER利用了实例的丰富关系表示,这可以减轻上述缺点。建议的关系的方法似乎更适合关系抽取比统计的几个原因,我们认为。此外,OntoILPER使用领域本体,该领域本体指导背景知识生成过程并用于存储提取的关系实例。在生物医学领域的三个蛋白质-蛋白质相互作用数据集上评估了诱导提取规则。OntoILPER提取模型的性能与其他国家的最先进的RE系统进行了比较。令人鼓舞的结果似乎证明了所提出的解决方案的有效性。
2020-01-13 cs.AI cs.CL
AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出AutoRubric-T2I,一种首个用于文本到图像生成的规则学习框架,通过自动合成和选择显式规则来指导视觉语言模型(VLM)法官。该方法通过合成偏好对的推理轨迹生成候选规则,并利用VLM法官在每种规则下对配对图像进行评分,产生配对规则评分差异用于偏好学习。通过ℓ1正则化逻辑回归精简器去除噪声和冗余规则,从而在少量标注偏好数据下生成高质量、可解释的奖励信号,并在多个图像奖励基准测试中优于现有奖励模型基线。
2026-05-20 cs.AI cs.CV cs.LG
A Comparative Study of Distributional and Symbolic Paradigms for Relational Learning
KU Leuven(鲁汶大学);EPFL(洛桑联邦理工学院);NEC Labs(日本电气实验室)
许多现实世界的领域可以表示为图,更一般地,表示为多关系知识图谱。虽然知识图谱的推理和学习传统上是通过符号方法来解决的,但(深度)表示学习的最新方法已经显示出对专门任务(如知识库完成)有希望的结果。这些方法摒弃了传统的符号范式,用欧氏空间中的向量代替符号。除了少数例外,象征性和分配性办法在不同社区得到探讨,但对它们各自的优缺点知之甚少。在这项工作中,我们比较表示学习和关系学习的各种关系分类和聚类任务,并分析这些方法隐式使用的规则的复杂性。初步结果揭示了可能的指标,有助于为特定的知识图谱选择一种方法而不是另一种方法。
2020-03-24 cs.AI cs.LG stat.ML
Cooper: Co-Optimizing Policy and Reward Models in Reinforcement Learning for Large Language Models
Zhejiang University(浙江大学)
针对强化学习奖励模型易受奖励黑客攻击和规则奖励鲁棒性不足的问题,提出Cooper框架,协同优化策略与奖励模型,并引入混合标注和基于参考的奖励建模,实验证明其缓解奖励黑客并提升性能。
2025-08-07 cs.AI cs.CL
On Neural Architecture Inductive Biases for Relational Tasks
Mila, Quebec AI Institute(米拉魁北克人工智能研究所)
目前的深度学习方法已经显示出良好的分布内泛化性能,但难以实现分布外泛化。这在涉及抽象关系的任务中尤其如此,比如识别序列中的规则,正如我们在许多智力测试中发现的那样。最近的研究探索了如何迫使关系表征与感官表征保持区别,就像大脑中的情况一样,可以帮助人工系统。在这项工作的基础上,我们进一步探索和形式化的优势提供的“分区”表示的关系和感官细节,以及如何这种归纳偏见可以帮助重组学习的关系结构,在新遇到的设置。我们引入了一个简单的架构,我们命名为组合关系网络(CoRelNet)的相似性分数的基础上。使用这个模型,我们调查了一系列的归纳偏见,确保抽象的关系,学习和代表明显的感官数据,并探讨其影响分布外泛化的一系列关系心理物理学任务。我们发现,简单的架构选择可以优于现有的模型在分布外泛化。总之,这些结果表明,分区关系表示从其他信息流可能是一种简单的方式来增强现有的网络架构的鲁棒性时,执行分布外的关系计算。
2022-06-09 cs.AI cs.LG cs.NE
Knowledge Enhanced Neural Networks for relational domains
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
在最近的过去,对神经符号积分框架的兴趣越来越大,即,结合联结主义和符号方法的混合系统,以获得两个世界的最佳效果。在这项工作中,我们专注于一个特定的方法,KENN(知识增强神经网络),神经符号架构,注入到一个神经网络的顶部添加一个剩余层,修改相应的知识的初始预测的先验逻辑知识。在这种策略的优点中,包括子句权重,代表子句强度的可学习参数,这意味着模型可以学习每个规则对最终预测的影响。作为一种特殊情况,如果训练数据与约束相矛盾,KENN会学习忽略它,使系统对错误知识的存在具有鲁棒性。在本文中,我们提出了一个扩展的KENN的关系数据。KENN的主要优势之一在于其可扩展性,这要归功于对通过堆叠多个逻辑层获得的规则之间的依赖关系的灵活处理。我们的实验表明,这种策略的有效性。结果表明,KENN能够提高底层神经网络的性能,获得更好的或相当的精度方面的其他两个相关的方法,结合学习与逻辑,需要显着更少的时间学习。
2022-05-31 cs.AI cs.LG cs.LO
Knowledge Engineering for Hybrid Deductive Databases
University of Würzburg(维尔茨堡大学)
现代知识库系统经常需要以不同的格式组合数据库的集合:例如,关系数据库、XML数据库、规则库、本体等。在演绎数据库系统DDASE中,我们可以管理这些不同格式的知识并对它们进行推理。甚至不同计算机上的文件系统也可以是知识库的一部分。通常,需要处理知识库的不同版本。例如,在一个示例中,我们可能想要找出关系数据库的两个版本的共同部分或差异。我们将通过谓词依赖和规则谓词图来检查规则库抽象的使用。此外,派生原子的证明树可以帮助比较不同版本的规则库。此外,它可能有派生加入规则与其他形式主义的知识表示。本体已经在智能系统的许多应用中显示出它们的益处,并且已经有许多与语义web栈兼容的规则语言的提议,例如,SWRL,语义Web规则语言。最近,本体被用于混合系统中指定不同组件的出处。
2017-01-03 cs.AI cs.DB cs.PL
Message Passing Neural Processes
University of Cambridge(剑桥大学)
神经过程(NP)是一种强大而灵活的模型,能够在表示随机过程时包含不确定性,同时保持线性时间复杂度。然而,NP通过聚合上下文点的独立表示来产生潜在的描述,并且缺乏利用存在于许多数据集中的关系信息的能力。这使得NP在随机过程主要由邻域规则(如元胞自动机(CA))控制的环境中无效,并限制了关系信息未被使用的任何任务的性能。我们通过引入消息传递神经过程(MPNP)来解决这个缺点,MPNP是第一类明确使用模型中的关系结构的NP。我们的评估表明,MPNP蓬勃发展,在较低的采样率,现有的基准和新提出的CA和Cora分支的任务。我们进一步报告了基于密度的CA规则集的强大泛化能力,以及在挑战任意标签和少样本学习设置方面的显著收益。
2020-09-29 cs.AI cs.LG stat.ML
Beyond Outcome Verification: Verifiable Process Reward Models for Structured Reasoning
IBM Research Europe - Ireland(IBM欧洲研究院-爱尔兰);Dublin City University(都柏林城市大学);IT:U Interdisciplinary Transformation University Austria(IT:U跨学科转型大学奥地利)
本文提出可验证过程奖励模型,用于提升结构化推理的连贯性和准确性,实验显示其在医学证据评估中优于现有方法。
2026-01-23 cs.AI cs.CL
Learning Collaborative Agents with Rule Guidance for Knowledge Graph Reasoning
University of Southern California(南加州大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于Walk的模型在知识图谱(KG)推理中表现出了其优势,在提供可解释决策的同时实现了良好的性能。然而,KG在遍历期间提供的稀疏奖励信号通常不足以指导复杂的基于行走的强化学习(RL)模型。另一种方法是使用传统的符号方法(例如,规则归纳),取得了良好的性能,但由于符号表示的限制,很难推广。在本文中,我们提出了RuleGuider,它利用基于符号的方法生成的高质量规则,为基于行走的代理提供奖励监督。在基准数据集上的实验表明,RuleGuider在不损失可解释性的情况下提高了基于行走的模型的性能。
2020-10-06 cs.AI cs.CL cs.LG
Rethinking the Implications of Human Feedback for Preference Learning in Human-Robot Collaboration
Yale University(耶鲁大学)
本研究针对人机协作中偏好学习,提出IMPLIED方法,通过建模人类反馈的蕴含关系,改进奖励模型学习,提高行为适应性。
2026-09-15 cs.AI cs.HC cs.RO