EvolveHypergraph: Group-Aware Dynamic Relational Reasoning for Trajectory Prediction
Stanford University(斯坦福大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);University of California, Berkeley(加州大学伯克利分校)
虽然成对关系的建模在多智能体交互系统中得到了广泛的研究,但其捕获更高级别和更大规模的群体活动的能力是有限的。在本文中,我们提出了一个群体感知的关系推理方法(名为EvolveHypergraph)与显式推理的基础动态演变的关系结构,我们证明了它的有效性多智能体轨迹预测。除了一对节点之间的边(即,代理),我们建议推断hyperedges,自适应地连接多个节点,使组感知的关系推理在无监督的方式,而不固定的hyperedges的数量。所提出的方法推断动态演变的关系图和超图随着时间的推移,以捕获的关系,这是由轨迹预测器,以获得未来的状态的演变。此外,我们提出了正则化的关系演化的光滑性和稀疏的推断图或超图,这有效地提高了训练的稳定性,增强了推断关系的可解释性。所提出的方法在合成人群模拟和多个真实世界的基准数据集上进行了验证。我们的方法推断出可解释的,合理的群体感知关系,并在长期预测中实现了最先进的性能。
2022-08-10 cs.AI cs.CV cs.LG
Agent-Centric Representations for Multi-Agent Reinforcement Learning
DeepMind;Google Research(谷歌研究院)
以对象为中心的表示最近在处理关系推理任务方面取得了重大进展。通过在神经架构中构建强的以对象为中心的归纳偏差,最近的努力已经提高了这些问题的机器学习算法的泛化和数据效率。涉及关系推理的一个问题类别仍然未得到充分探讨,那就是多智能体强化学习(MARL)。在这里,我们调查是否以对象为中心的表示也是有益的,在充分合作的MARL设置。具体来说,我们研究了两种方法,将代理为中心的归纳偏见到我们的RL算法:1。引入一个以代理为中心的注意力模块,并在代理之间建立显式连接2。添加以代理为中心的无监督预测目标(即不使用动作标签),用作MARL的辅助损失,或作为预训练步骤的基础。我们在Google Research Football环境和DeepMind Lab 2D上评估了这些方法。经验上,以主体为中心的表示学习导致主体之间更复杂的合作策略的出现,以及增强的样本效率和泛化能力。
2021-04-19 cs.AI cs.LG
Relational Argumentation Semantics
Kyoto University(京都大学)
在本文中,我们提出了一个新的角度对论证语义,把它们看作是一个关系数据库。它提供了底层论证图的封装,并允许我们在一个单一的关系视角下理解论证语义,从而产生了关系论证语义的概念。这是通过一种公共的形式语言来理解论证语义的一个方向。我们发现,许多现有的语义,如解释语义,多代理语义,和更典型的语义,已提出了特定的目的,理解关系的角度来看。
2021-04-26 cs.AI cs.DB
Verification of Relational Multiagent Systems with Data Types (Extended Version)
Free University of Bozen-Bolzano(博尔扎诺自由大学);University of Genova(热那亚大学)
我们研究的关系多智能体系统(RMASs),其中代理人操纵成熟的关系数据库,数据类型和方面配备了特定领域的,刚性的关系(如总订单)的扩展。具体来说,我们专注于设计时验证的RMASs对丰富的一阶时间属性表示的一阶μ演算的一个变种,量化跨状态。我们建立在以前的可判定性结果下的“状态有界”的假设,即,在每个单个状态中,只有有限数量的数据对象被存储在代理数据库中,而随着时间的推移,可以遇到无限多的数据对象。我们重铸这种情况下,在存在密集的,线性的订单,并在他们上面定义的方面显示可判定性。我们的方法是基于建设的有限状态,健全和完整的抽象的原始系统,其中密集的线性订单被重新制定为非刚性的关系,仅在系统的活动域上工作。我们还显示不可判定性时,包括一个数据类型配备了后继关系。
2014-11-17 cs.AI cs.DB cs.MA
Grounded Relational Inference: Domain Knowledge Driven Explainable Autonomous Driving
Honda Research Institute(本田研究所);UT Austin(得克萨斯大学奥斯汀分校);JPMorgan Chase(摩根大通);Amazon Web Services(亚马逊网络服务);UC Berkeley(加州大学伯克利分校)
本文提出接地关系推断(GRI)模型,通过将关系潜空间与专家领域知识定义的语义交互行为对齐,实现多智能体交互建模与可解释的自动驾驶行为解释。
2024-07-06 cs.AI cs.LG cs.RO
DRG-MAPPO: Hierarchical Dynamic Role-Graph Multi-Agent Reinforcement Learning for Cooperative Air Combat
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, CASIA(中国科学院自动化研究所复杂系统认知与决策智能重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
提出DRG-MAPPO框架,结合图关系建模与动态角色分配,实现协同空战中的战术协同,达到87%的胜率。
2026-09-11 cs.AI
Thucy: An LLM-based Multi-Agent System for Claim Verification across Relational Databases
Thucy是一种基于LLM的多智能体系统,能够跨关系数据库验证声明,并提供支持裁定的SQL查询,准确率达94.3%。
2026-01-05 cs.AI cs.DB
What LLM Agents Say When No One Is Watching: Social Structure and Latent Objective Emergence in Multi-Agent Debates
Independent Researcher(独立研究员);Carnegie Mellon University(卡内基梅隆大学)
提出双通道辩论框架,研究社会结构(角色、受众、关系)如何导致LLM智能体在公开与私下(OTR)表达中产生系统性分歧,揭示潜在目标的涌现。
2026-07-03 cs.AI cs.CL cs.LG
Distributed Heuristic Forward Search for Multi-Agent Systems
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Be’er Sheva(贝尔谢巴)
本文介绍了一些分布式前向搜索算法解决多智能体规划问题。我们介绍了一个分布式制定的非最优前向搜索,以及最佳版本,MAD-A*。我们的算法利用多代理问题的结构,不仅可以有效地分配不同代理之间的工作,而且还可以消除对称性,减少整体工作量。该算法确保私人信息不会在代理之间共享,但计算仍然是有效的-优于当前最先进的分布式规划器,在某些情况下,甚至集中式搜索-尽管每个代理只能访问部分信息。
2013-06-25 cs.AI cs.DC
Towards Heterogeneous Multi-Agent Reinforcement Learning with Graph Neural Networks
FEI University Center(FEI大学中心)
这项工作提出了一种神经网络架构,可以在异构多代理强化环境中学习多个代理类的策略。该网络使用有向标记图表示状态,为不同的实体类编码不同大小的特征向量,使用关系图卷积层来模拟实体类型之间的不同通信通道,并为不同的代理类学习不同的策略,尽可能共享参数。结果表明,专门的实体类之间的通信通道是一个有前途的一步,以实现更高的性能,在环境中组成的异构实体。
2020-10-20 cs.AI cs.LG
Spatio-Temporal Graph Dual-Attention Network for Multi-Agent Prediction and Tracking
University of California, Berkeley(加州大学伯克利分校)
提出STG-DAT生成式神经系统,利用动态图、关系归纳偏置和双重注意力建模异构智能体交互,并加入运动学约束,在三个基准上提升轨迹预测与多目标跟踪精度。
2021-02-18 cs.AI cs.CV cs.LG
Tell me why! Explanations support learning relational and causal structure
DeepMind(深度思维)
推理世界的抽象关系和因果结构是学习代理的主要挑战。对人类来说,语言-特别是以解释的形式-在克服这一挑战方面起着相当大的作用。在这里,我们证明了语言可以在复杂环境中为深度RL代理发挥类似的作用。虽然代理通常很难获得关系和因果知识,但通过训练他们预测语言描述和解释来增加他们的经验可以克服这些限制。我们表明语言可以帮助智能体学习具有挑战性的关系任务,并研究语言的哪些方面有助于其益处。然后,我们表明,解释可以帮助代理推断不仅关系,而且因果结构。语言可以塑造智能体从模糊的、因果混淆的训练中概括分布外的方式,解释甚至允许智能体学习执行实验干预以识别因果关系。我们的研究结果表明,语言描述和解释可能是提高智能体学习和泛化能力的有力工具。
2022-05-25 cs.AI cs.LG stat.ML
TherapyProbe: Generating Design Knowledge for Relational Safety in Mental Health Chatbots Through Adversarial Simulation
BNRIST, Dept. of CST, Tsinghua University(北京理工大学(Tsinghua大学));Independent Researcher(独立研究者)
TherapyProbe通过对抗性模拟生成关系安全设计知识,帮助改进心理健康聊天机器人的交互模式质量。
2026-02-26 cs.AI cs.CL cs.HC
"MeBo Leaves a Piece of You Behind": Designing a Relational Voice-Based Memory Companion for Older Adults
Northeastern University(东北大学);Massachusetts Institute of Technology (MIT)(麻省理工学院);Northeastern University London(东北大学伦敦分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究通过参与式设计构建了基于关系的语音记忆伴侣MeBo,评估显示其可用性高,能增强老年人积极情感与社交联系,并引发关于记忆所有权与存续的伦理思考。
2026-09-22 cs.AI cs.HC
Dynamic Relational Inference in Multi-Agent Trajectories
Northeastern University(东北大学);UC San Diego(加利福尼亚大学圣地亚哥分校)
从多智能体轨迹推断交互在物理学、视觉和机器人技术中有着广泛的应用。神经关系推理(NRI)是一种深度生成模型,可以在没有监督的情况下对复杂动态中的关系进行推理。在本文中,我们仔细研究这种方法的关系推理多智能体轨迹。首先,我们发现,NRI可以从根本上限制没有足够的长期观测。对于短输出序列,其准确推断相互作用的能力急剧下降。接下来,我们考虑一个更一般的设置时,相互作用的关系推理是随着时间的推移而变化。我们提出了一个扩展的NRI,我们称之为动态多Agent关系推理(DYARI)模型,可以推理动态关系。我们进行了详尽的实验,研究模型架构的影响,潜在的动力学和训练方案的性能动态关系推理使用模拟的物理系统。我们还展示了我们的模型在现实世界中的多智能体篮球轨迹的使用。
2020-10-08 cs.LG stat.ML
MARBO: Relational Belief Grounding for LLM Agents in Social Deduction Games
Graduate School of Artificial Intelligence, UNIST(蔚山国家科学技术研究院人工智能研究生院)
MARBO提出基于关系信念的偏好优化框架,使紧凑LLM智能体在社交推理游戏中通过信念引导决策与言语,实现更一致学习并持续超越现有基线。
2026-09-23 cs.AI cs.LG
Relational Multi-Agent Reinforcement Learning for Dynamic Pricing in High-Speed Railway Markets
Department of Technologies and Information Systems, Universidad de Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学技术与信息系统系);Warwick Manufacturing Group, University of Warwick(华威大学华威制造集团)
针对高铁市场部分可观测、禁直接通信的动态定价难题,提出实体图建模与改进多智能体强化学习算法,较基线方法提升收益与稳定性。
2026-07-07 cs.AI cs.LG cs.MA
Relational Reasoning via Set Transformers: Provable Efficiency and Applications to MARL
National University of Singapore(新加坡国立大学);Northwestern University(西北大学);Yale University(耶鲁大学)
基于置换不变智能体框架的协作多智能体自主学习(MARL)在实际应用中取得了巨大的成功。不幸的是,这个MARL问题的理论理解是缺乏的,由于许多代理人的诅咒和有限的探索关系推理在现有的作品。在本文中,我们验证了Transformer实现了复杂的关系推理,我们提出并分析了无模型和基于模型的离线MARL算法与Transformer逼近。我们证明了无模型和基于模型的算法的次优差距是独立的和对数的代理的数量分别,这减轻了许多代理的诅咒。这些结果是一种新的泛化误差界的Transformer和一种新的分析的最大似然估计(MLE)的系统动态与Transformer的后果。我们的基于模型的算法是第一个证明有效的MARL算法,明确利用置换不变性的代理。我们改进的泛化界可能是独立的利益,并适用于其他回归问题有关的Transformer超越MARL。
2022-10-16 cs.LG cs.MA stat.ML
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London(伦敦大学学院)
尽管近年来强化学习在许多领域得到了成功的应用,但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力,但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中,我们表明,我们可以将关系归纳偏见,编码的关系图的形式,到代理。基于这一见解,我们提出了网格到图(GTG),从网格结构到关系图的映射,当通过关系图卷积网络(R-GCN)处理时,关系图携带有用的空间关系归纳偏差。我们表明,与基于卷积神经网络和神经逻辑机的基线相比,在具有挑战性的程序生成环境和MinAtar上,R-GCN在分布内和分布外都具有更好的泛化能力。此外,我们表明,GTG产生的代理,可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
EvolveGraph: Multi-Agent Trajectory Prediction with Dynamic Relational Reasoning
Honda Research Institute, USA(本田美国研究所);University of California, Berkeley(加州大学伯克利分校)
从纯物理系统到复杂的社会动态系统,多智能体交互系统在世界范围内普遍存在。在许多应用中,有效地理解情况和准确的轨迹预测的交互代理在下游任务,如决策和规划中发挥了重要作用。在本文中,我们提出了一个通用的轨迹预测框架(名为EvolveGraph)与显式的关系结构识别和预测,通过多个异构的,交互式代理之间的潜在的交互图。考虑到未来行为的不确定性,该模型被设计为提供多模态预测假设。由于潜在的相互作用可能会演变,即使突然的变化,不同的方式的演变可能会导致不同的结果,我们解决的必要性,动态关系推理和自适应发展的相互作用图。我们还引入了一个双阶段的训练管道,不仅提高了训练效率,加快了收敛速度,而且提高了模型的性能。所提出的框架在合成物理模拟和多个真实世界的基准数据集在各个领域进行了评估。实验结果表明,我们的方法在预测精度方面达到了最先进的性能。
2020-10-22 cs.CV cs.LG cs.MA
Multi-Agent Dynamic Relational Reasoning for Social Robot Navigation
University of California, Riverside(加州大学河滨分校);University of California, Berkeley(加州大学伯克利分校);Korea Advanced Institute of Science and Technology(韩国科学技术院);Stanford University(斯坦福大学)
本文提出一种多智能体动态关系推理方法,通过推断动态演化的关系图与超图实现群体级推理,结合轨迹预测与深度强化学习框架,显著提升了社交机器人导航在密集交互场景下的安全性、效率与社交合规性。
2024-11-11 cs.AI cs.CV cs.LG
Bayesian Relational Memory for Semantic Visual Navigation
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院);Technion(以色列理工学院);OpenAI
我们引入了一种新的内存架构,贝叶斯关系内存(BRM),以提高泛化能力的语义视觉导航代理在看不见的环境中,代理被赋予一个语义目标导航。BRM采用语义实体上的概率关系图的形式(例如,房间类型),这允许(1)从训练环境中事先捕获布局,即,先验知识,(2)估计测试时的后验布局,即,存储器更新和(3)有效的导航规划。我们开发了一个BRM代理组成的BRM模块,用于产生子目标和控制的目标条件运动模块。当在看不见的环境中进行测试时,BRM代理的性能优于没有显式利用概率关系内存结构的基线
2019-09-10 cs.CV cs.LG cs.RO
RelAgent: LLM Agents as Data Scientists for Relational Learning
University of Oxford(牛津大学);TU Wien(维也纳技术大学);AITHYRA(AITHYRA研究所);KAIST(韩国科学技术院)
RelAgent是一种基于LLM的关系学习自主数据科学家,通过两阶段流程构建SQL特征程序并选择预测模型,最终通过SQL查询和经典模型实现快速、确定性和可解释的预测。
2026-10-22 cs.LG
MART: MultiscAle Relational Transformer Networks for Multi-agent Trajectory Prediction
School of Integrated Technology (SIT), Gwangju Institute of Science and Technology (GIST)(光州科学技术院集成技术学院(SIT))
本文提出多尺度关系Transformer网络MART,通过超图Transformer编码器和自适应群体估计器建模个体与群体关系,在多智能体轨迹预测任务上取得最先进性能。
2024-07-31 cs.LG
Dynamic-Group-Aware Networks for Multi-Agent Trajectory Prediction with Relational Reasoning
Shanghai Jiao Tong University(上海交通大学);University of Oxford(牛津大学)
从过去的轨迹中揭示多个智能体之间的相互作用是精确和可解释的轨迹预测的基础。然而,以前的作品主要考虑静态的,成对的相互作用与有限的关系推理。为了促进更全面的交互建模和关系推理,我们提出了DynGroupNet,一个动态组感知网络,它可以i)在高度动态的场景中建模时变交互; ii)捕获成对和组间交互; iii)在没有直接监督的情况下推理交互强度和类别。基于DynGroupNet,我们进一步设计了一个预测系统,预测社会合理的轨迹与动态关系推理。该预测系统利用高斯混合模型、多重采样和预测细化分别提高预测多样性、训练稳定性和轨迹平滑性。大量的实验表明:1)DynGroupNet可以捕获时变群体行为,在轨迹预测过程中推断时变交互类别和交互强度,无需对物理仿真数据集进行任何关系监督; 2)DynGroupNet在NBA的ADE/FDE上比现有的轨迹预测方法分别提高了22.6%/28.0%、26.9%/34.9%、5.1%/13.0%,NFL足球和SDD数据集,并在ETH-UCY数据集上实现最先进的性能。
2022-06-27 cs.LG
Relational Deep Reinforcement Learning
Google(谷歌)
我们介绍了一种深度强化学习(RL)的方法,通过结构化感知和关系推理提高了传统方法的效率,泛化能力和可解释性。它使用自我注意力来迭代地推理场景中实体之间的关系,并指导无模型策略。我们的研究结果表明,在一个名为Box-World的新型导航和规划任务中,我们的智能体找到了可解释的解决方案,这些解决方案在样本复杂性、泛化到比训练过程中经历的更复杂场景的能力以及整体性能方面都有所改善。在星际争霸II学习环境中,我们的智能体在六个小游戏中达到了最先进的性能-超过了人类大师在四个小游戏中的性能。通过考虑架构归纳偏差,我们的工作为克服深度RL中重要但顽固的挑战开辟了新的方向。
2018-06-28 cs.LG stat.ML
Reinforcement Learning for Sparse-Reward Object-Interaction Tasks in a First-person Simulated 3D Environment
University of Michigan(密歇根大学);UC Berkeley(加州大学伯克利分校)
高保真、3D、模拟环境(如AI2Thor虚拟家庭环境)中的第一人称对象交互任务对从稀疏任务奖励中学习的强化学习(RL)代理提出了显著的样本效率挑战。为了缓解这些挑战,先前的工作通过奖励成形,地面实况对象信息和专家演示的组合提供了广泛的监督。在这项工作中,我们表明,可以从头开始学习对象交互任务,而无需监督,通过学习一个专注的对象模型作为辅助任务,在任务学习过程中,以对象为中心的关系RL代理。我们的关键见解是,学习一个将对象注意力纳入前向预测的对象模型,为对象及其关系的无监督表示学习提供了密集的学习信号。这反过来又为以对象为中心的关系RL代理提供了更快的策略学习。我们通过在AI2Thor环境中引入一组具有挑战性的对象交互任务来展示我们的代理,在AI2Thor环境中,使用我们专注的对象模型进行学习是强大性能的关键。具体来说,我们比较了我们的代理和关系RL代理与替代辅助任务的关系RL代理配备地面真理的对象信息,并表明,学习与我们的对象模型最好的学习速度和最大成功率方面的性能差距。此外,我们发现,将对象的注意力到一个对象模型的前向预测是学习表示捕捉对象类别和对象状态的关键。
2021-05-20 cs.AI cs.LG
Relational Graph Learning for Crowd Navigation
Simon Fraser University(西蒙弗雷泽大学);UT Austin(德克萨斯大学奥斯汀分校)
我们提出了一种基于模型的深度强化学习的机器人人群导航的关系图学习方法,该方法通过展望未来来规划行动。我们的方法的原因,所有代理之间的关系的基础上,他们的潜在功能,并使用图卷积网络编码高阶交互在每个代理的状态表示,随后利用状态预测和价值估计。预测人类运动的能力使我们能够执行多步前瞻规划,考虑到人类人群的时间演变。我们评估了我们的方法对一个国家的最先进的基线人群导航和消融我们的模型,以证明导航与我们的方法是更有效的,导致更少的碰撞,并避免涉及振荡和冻结行为的失败情况。
2020-08-03 cs.AI cs.LG cs.RO
Behavior-Inspired Neural Networks for Relational Inference
Princeton University(普林斯顿大学)
本文提出在可观测行为与潜在关系类别之间引入抽象层级,将学习到的类别偏好与智能体邻近性整合进非线性观点动力学模型,以自然识别互斥关系类别、预测智能体演化并控制行为,并通过实验验证其在可解释类别学习和长时域轨迹预测中的有效性。
2025-03-11 cs.LG cs.RO
Embodied Active Learning of Relational State Abstractions for Bilevel Planning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
提出具身主动学习范式,通过在线专家查询学习谓词解释,用于机器人双层规划,在三个环境中优于六个基线,提升样本效率。
2023-06-19 cs.AI cs.LG cs.RO
GINA: Neural Relational Inference From Independent Snapshots
Saarland University(萨尔兰大学)
在自然界和社会中,动力系统普遍存在,在这种系统中,主体之间的局部相互作用引起复杂的新兴现象。这项工作探讨的问题,推断未知的相互作用结构(表示为一个图形),这样一个系统的测量其组成代理或单个组件(表示为节点)。我们考虑一种设置,其中底层动力学模型是未知的,并且其中不同的测量(即,快照)可以是独立的(例如,可能来自不同的实验)。我们提出了GINA(图推理网络架构),一个图神经网络(GNN),同时学习潜在的相互作用图,并在相互作用图的条件下,预测一个节点的可观察状态的基础上相邻顶点。GINA基于以下假设:在所有其他潜在图中,地面真实交互图允许预测节点的状态,给定其邻居的状态,具有最高的准确性。我们测试这一假设,并证明GINA的有效性在广泛的相互作用图和动态过程。
2021-05-29 cs.AI cs.IR cs.LG
Spatially-Aware Graph Neural Networks for Relational Behavior Forecasting from Sensor Data
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学)
在本文中,我们解决了从传感器数据的关系行为预测的问题。为了实现这一目标,我们提出了一种新的空间感知图神经网络(SpAGNN),模型代理在场景中的相互作用。具体来说,我们利用一个卷积神经网络来检测演员和计算他们的初始状态。然后,图神经网络通过消息传递过程迭代地更新参与者状态。受高斯信念传播的启发,我们将消息设计为邻近代理的输出分布的空间变换参数。我们的模型是完全可区分的,从而实现端到端的培训。重要的是,我们的概率预测可以在轨迹层面上对不确定性进行建模。我们通过在两个现实世界的自动驾驶数据集:ATG4D和nuScenes上实现对最先进技术的显著改进来证明我们方法的有效性。
2019-10-18 cs.CV cs.LG cs.RO
GRAIL: Autonomous Concept Grounding for Neuro-Symbolic Reinforcement Learning
Technical University of Darmstadt(达姆施塔特技术大学);Google Intrinsic(谷歌内在);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Centre for Cognitive Science, TU Darmstadt(达姆施塔特技术大学认知科学中心)
GRAIL通过环境交互自主 grounding 关系概念,利用大语言模型提供弱监督,提升在稀疏奖励和概念对齐问题中的性能,实验显示其在Atari游戏中表现优异。
2026-04-18 cs.AI cs.LG
Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization
本文提出行为代理优化框架,通过增强和规范回合间行为,提升信息获取能力并抑制低效交互,从而在任务性能与用户参与间取得平衡,优于现有主动代理方法。
2026-06-28 cs.AI cs.LG
FLEX: Continuous Agent Evolution via Forward Learning from Experience
Institute for AI Industry Research (AIR), Tsinghua University(人工智能产业研究院(AIR)、清华大学);ByteDance Seed(字节跳动种子);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Chinese Academy of Sciences(中国科学院大学);School of Informatics, Xiamen University(厦门大学信息学院);SIA-Lab of Tsinghua AIR and ByteDance Seed(清华大学AIR实验室和字节跳动种子)
FLEX通过经验向前学习实现LLM智能体的持续进化,提升数学推理、化学逆合成和蛋白质预测性能,并揭示经验增长的扩展规律和跨智能体的经验继承现象。
2025-12-08 cs.AI cs.LG
Disentangled Relational Representations for Explaining and Learning from Demonstration
University of Edinburgh(爱丁堡大学)
示教学习是人类用户指导机器人行为的有效方法。然而,对于大多数具有实际意义的重要任务来说,有效的示教学习在很大程度上取决于所选奖励/成本和政策结构中的归纳偏差。我们解决的情况下,这种归纳偏见来自与人类用户的交流。我们提出了一种方法,在该方法中,学习代理利用高参数变分神经模型的信息瓶颈层,辅助损失条款,以地面抽象概念,如空间关系。这些概念在自然语言指令中被引用,并在智能体从世界接收的高维感觉输入流中表现出来。我们评估了学习模型在真实感合成环境中的潜在空间的属性,特别是专注于研究其对下游任务的可用性。此外,通过一系列受控桌面操作实验,我们证明了学习的流形可以用于地面演示作为符号计划,然后可以在PR 2机器人上执行。
2019-10-06 cs.LG cs.RO
Multi-Relational Graph based Heterogeneous Multi-Task Learning in Community Question Answering
HKUST(香港科技大学);Paradigm Inc.(第四范式公司);Tencent Technology (SZ) Co., Ltd.(腾讯科技(深圳)有限公司)
人们提出了各种数据采掘任务来研究Stack Overflow等社区问答(CQA)平台。其中一些任务之间的相关性通过多任务学习(MTL)相互提供有用的学习信号。然而,由于这些任务的高度异构性,很少有现有的作品管理,以共同解决它们在一个统一的框架。为了解决这个问题,我们开发了一个多关系图为基础的MTL模型称为异构多任务图同构网络(HMTGIN),有效地解决异构CQA任务。在每个训练前向传递中,HMTGIN通过图同构网络的扩展和跳过连接来嵌入输入CQA论坛图。然后,嵌入在所有特定于任务的输出层之间共享,以计算相应的损失。此外,两个跨任务的约束条件的基础上的领域知识的任务之间的关系,以规范的联合学习。在评估中,嵌入在不同的特定于任务的输出层之间共享,以做出相应的预测。据我们所知,HMTGIN是第一个能够从多关系图方面处理CQA任务的MTL模型。为了评估HMTGIN的有效性,我们构建了一个新的大规模多关系图CQA数据集,其中包含来自Stack Overflow的超过200万个节点。大量的实验表明:$(1)$ HMTGIN在五个任务上优于所有基线; $(2)$建议的MTL策略和跨任务约束具有实质性优势。
2021-09-04 cs.AI cs.CL cs.LG
Learning to Predict Without Looking Ahead: World Models Without Forward Prediction
Google Brain(谷歌大脑)
大部分基于基于模型的强化学习都涉及学习代理世界的模型,并训练代理利用该模型更有效地执行任务。虽然这些模型对代理人来说是非常有用的,但我们所知道的世界中的每一个自然发生的模型-例如,大脑的出现是为了生存而竞争进化压力的副产品,而不是通过梯度下降来最小化有监督的前向预测损失。有用的模型可以从混乱而缓慢的优化过程中产生,这表明在正确的情况下,前瞻性预测模型可以作为优化的副作用而出现。至关重要的是,这个优化过程不需要明确地是一个前瞻性预测损失。在这项工作中,我们引入了对传统强化学习的修改,我们称之为观察性辍学,从而限制代理在每个时间步观察真实环境的能力。在这样做的过程中,我们可以强迫智能体学习世界模型,以填补强化学习期间的观察空白。我们发现,出现的世界模型,而不是明确训练来预测未来,可以帮助代理学习所需的关键技能,在其环境中表现良好。我们的结果视频可在https://learningtopredict.github.io/上获得
2019-10-31 cs.LG cs.NE
Inferring Relational Potentials in Interacting Systems
Northeastern University(东北大学);Massachusetts Institute of Technology(麻省理工学院)
提出 NIIP 框架,通过以能量函数表示的关系势能重建轨迹来推断交互系统中的关系约束,在轨迹操作、预测、异常检测及测试时添加外部势能方面展现独特能力。
2023-10-23 cs.LG
Reinforcement Learning-Guided NSGA-II Enhanced with Gray Relational Coefficient for Multi-Objective Optimization: Application to NASDAQ Portfolio Optimization
本文针对投资组合优化中的约束多目标优化问题,提出RL-NSGA-II-GRC方法,结合强化学习智能体与灰色关联系数,通过自适应控制参数及设计综合指标引导搜索,在基准测试和纳斯达克案例中提升收敛性,得到密集前沿及有效投资组合。
2026-07-21 cs.LG econ.GN q-fin.EC