Hierarchical Decentralized Deep Reinforcement Learning Architecture for a Simulated Four-Legged Agent
Bielefeld University(比勒费尔德大学)
腿部运动在自然界中广泛存在,并激发了当前机器人的设计。这些足式机器人的控制器通常被实现为一个集中实例。然而,在自然界中,对运动的控制是以等级和分散的方式发生的。将这些生物学设计原理引入机器人控制系统激发了这项工作。我们解决的问题是否分散和分层控制是有益的足式机器人,并提出了一种新的分散,分层体系结构来控制模拟腿代理。三个不同的任务,不同的复杂性被设计为基准五个架构(集中式,分散式,分层和分层分散架构的两种不同组合)。结果表明,分散分层架构的不同级别有助于智能体的学习,确保更节能的运动以及对新的不可见环境的鲁棒性。此外,这种比较揭示了模块化在分层架构中解决复杂目标导向任务的重要性。我们提供了我们架构的开源代码实现(https://github.com/wzaielamri/hddrl)。
2022-09-21 cs.AI cs.LG cs.RO
Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation
The Hong Kong Polytechnic University(香港理工大学)
许多现实世界的应用可以被表述为多智能体协作问题,例如网络数据包路由和自动驾驶汽车的协调。深度强化学习(deep reinforcement learning,DRL)的出现为多智能体协作提供了一种很有前途的方法。然而,传统的DRL解决方案遭受在策略搜索过程中具有连续动作空间的多个代理的高维数。此外,智能体策略的动态性使得训练过程具有非平稳性。为了解决这些问题,我们提出了一个分层的强化学习方法,高层次的决策和低层次的个人控制,有效的政策搜索。特别是,多个智能体的合作,可以学习高层次的离散行动空间有效。同时,低层次的个体控制可以简化为单智能体的强化学习。除了层次强化学习,我们提出了一个对手建模网络,在学习过程中建模其他代理的政策。与端到端DRL方法相比,我们的方法通过将整个任务以分层的方式分解为子任务来降低学习复杂度。为了评估我们的方法的效率,我们进行了一个真实的案例研究,在合作换道的情况下。仿真和实际实验都表明了该方法在碰撞率和收敛速度方面的优越性。
2022-06-25 cs.AI cs.MA cs.RO
Just-In-Time Agent Memory with Runtime Agentic Research
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Peking University(北京大学);Hong Kong Polytechnic University(香港理工大学)
针对现有代理记忆系统提前构建记忆可能丢失重要信息的问题,本文提出即时代理记忆(JAM)框架,通过运行时查询条件化上下文构建,并在多个基准上实现优于AOT系统且更高效的任务性能。
2026-09-29 cs.AI cs.CL cs.IR
Deep Hierarchical Reinforcement Learning Based Recommendations via Multi-goals Abstraction
Peking University(北京大学)
推荐系统是智能应用的一种重要形式,它帮助用户减少信息冗余。在评价一个推荐系统的指标中,转化率指标变得越来越重要。现有的大多数推荐系统由于其极其稀疏的反馈信号而在转换度量上表现不佳。为了应对这一挑战,我们提出了一个基于深度层次强化学习的推荐框架,该框架由两个组件组成,即,高级代理和低级代理。高层智能体捕捉长期稀疏的转换信号,自动为底层智能体设定抽象目标,底层智能体遵循抽象目标与实时环境交互。针对分层强化学习存在的问题,提出了一种基于多目标抽象的深度分层强化学习算法(HRL-MG).该算法具有三个特点:1)高层智能体在不同阶段产生多个目标来指导底层智能体,降低了接近高层目标的难度; 2)不同目标共享相同的状态编码器参数,增加了高层智能体的更新频率,从而加快了算法的收敛速度; 3)设计了一个增值收益分配函数,对每个目标进行奖励分配,使不同目标协调一致。我们评估我们提出的算法的基础上,现实世界的电子商务数据集,并验证其有效性。
2019-03-22 cs.AI cs.IR cs.LG
HIPIF: Hierarchical Planning and Information Folding for Long-Horizon LLM Agent Learning
Meituan(美团);University of Chinese Academy of Sciences(中国科学院大学)
提出层次化规划与信息折叠方法,通过子目标分解和历史折叠减少长上下文干扰,结合层次化反思和子目标过程奖励,提升LLM在多轮长视界任务中的表现。
2026-06-09 cs.AI
Hierarchical Program-Triggered Reinforcement Learning Agents For Automated Driving
IIT Kharagpur(印度理工学院卡拉格普尔分校)
强化学习(RL)与深度学习(DL)结合的最新进展在复杂任务(包括自动驾驶)中表现出令人印象深刻的性能。在自动驾驶中使用RL代理可以带来流畅的类人驾驶体验,但深度强化学习(DRL)有限的可解释性造成了验证和认证瓶颈。我们提出了HPRL -分层程序触发的强化学习,而不是依赖于RL代理来学习复杂的任务,它使用由结构化程序和多个RL代理组成的层次结构,每个RL代理都经过训练来执行相对简单的任务。验证的重点转移到主程序的简单保证下,从RL代理,导致一个更显着的可解释性和可验证的实现相比,一个复杂的RL代理。不同的驾驶任务,和NHTSA precrash方案使用CARLA,一个开源的动态城市模拟环境的框架的评估证明。
2021-03-25 cs.AI cs.LG cs.NE
Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation
AXXX;MIRIAI;ITMO University AI Talent Hub(ITMO大学AI人才中心);Mila – Quebec AI Institute(魁北克AI研究所);Polytechnique Montréal(蒙特利尔理工学院)
本文提出通过定义智能体记忆类型(如长期vs短期、陈述性vs程序性记忆)来简化强化学习中的记忆概念,并通过实验方法评估不同智能体的记忆能力。
2026-03-04 cs.AI cs.LG
Reasoning in a Hierarchical System with Missing Group Size Information
本文分析了问题的判断或偏好的初步分析后,由自主智能体在一个层次系统中,更高级别的代理没有访问组大小信息。我们提出的方法,减少辛普森悖论中遇到的那种偏好逆转的情况。
2018-02-07 cs.AI
Hierarchical Reinforcement Learning for Multi-agent MOBA Game
vivo AI Lab(vivo人工智能实验室)
实时的战略(RTS)游戏具有大的状态空间、动作空间和隐藏信息,需要宏观策略和微观策略来获得令人满意的性能。本文提出了一种新的分层强化学习模型,掌握多人在线对战竞技场(MOBA)游戏,RTS游戏的子类型。本文的创新之处在于:(1)提出了一个层次化的框架,其中智能体通过模仿学习执行宏观策略,通过强化学习进行微观操作;(2)开发了一种简单的自学习方法,以获得更好的样本效率进行训练;(3)在没有游戏引擎或应用编程接口(API)的情况下,设计了一种用于多智能体合作的密集奖励函数。最后,各种实验已经被执行,以验证所提出的方法优于其他国家的最先进的强化学习算法的性能。Agent成功学习战斗并以100%的胜率击败青铜级内置AI,实验表明,我们的方法可以为一种移动MOBA游戏{ \it王者荣耀}在5v5模式下创建一个竞争性的多Agent。
2019-06-21 cs.AI cs.LG
Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications
Rice University(里士大学)
本文提出基于语言的层次奖励设计(HRDL)和语言到层次奖励(L2HR)方法,用于通过人类规范增强智能体行为对齐,提升AI任务完成效果和规范遵守程度。
2026-02-20 cs.AI cs.CL cs.HC
Portable Agent Memory: A Protocol for Cryptographically-Verified Memory Transfer Across Heterogeneous AI Agents
Microsoft Corporation(微软公司)
本文提出Portable Agent Memory协议,通过结构化内存模型、基于能力的访问控制、抗注入重水化协议和JSON优先的序列化格式,实现跨异构AI代理的安全记忆传输。
2026-05-10 cs.AI cs.CR
Hierarchical Server Architecture for Agentic Science
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
针对智能体科学的资源调度需求,提出分层动态架构及软件,借助秘书智能体在云、边缘和HPC系统中发现资源,经模拟验证其协商准确率达87.71%,选择成本与传统策略相当,可支持Genesis Mission。
2026-09-09 cs.AI cs.DC
Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval
University College London(伦敦大学学院)
本文提出视觉代理记忆框架,通过在线索引、分层记忆和代理检索实现长视频理解,实验显示其在OVO-Bench和MM-Lifelong数据集上均取得优异成绩。
2026-05-15 cs.AI cs.CV
A Hierarchical Hybrid AI Approach: Integrating Deep Reinforcement Learning and Scripted Agents in Combat Simulations
Marine Corps Warfighting Lab(海军陆战队作战实验室);Naval Postgraduate School(海军研究生院)
本文提出一种分层混合AI方法,结合脚本代理和深度强化学习,以提升战斗模拟中智能代理的适应性和可靠性。
2025-11-28 cs.AI cs.LG cs.MA
MAGMA: A Multi-Graph based Agentic Memory Architecture for AI Agents
Department of Computer Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校计算机科学系);Department of Electrical and Computer Engineering, University of Florida(佛罗里达大学电气与计算机工程系)
MAGMA通过多图结构实现记忆表示,提升长时序推理任务的性能,提供透明推理路径和细粒度检索控制。
2026-04-16 cs.AI
Hierarchical Needs-driven Agent Learning Systems: From Deep Reinforcement Learning To Diverse Strategies
The University of Georgia(佐治亚大学)
需求描述了一个系统生存和进化的必要性,它激发一个代理人朝着一个目标采取行动,为行为提供目的和方向。根据马斯洛需求层次理论,一个智能体需要在当前层次上满足一定数量的需求,作为下一阶段--升级和进化--出现的条件。特别是深度强化学习(Deep Reinforcement Learning,DAL)可以帮助人工智能智能体(如机器人)组织和优化其行为和策略,以根据其当前状态和需求(预期效用或奖励)制定不同的策略。本文介绍了新的层次需求驱动的学习系统的基础上DAL和研究的实施在单机器人与一种新的方法称为贝叶斯软演员批评(BSAC)。然后,我们将这一主题扩展到多智能体系统(MAS),讨论了潜在的研究领域和方向。
2023-02-25 cs.AI cs.LG cs.MA
DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents
Department of Computer Science University of Bath(计算机科学系巴斯大学);Department of Psychology University of Bath(心理学系巴斯大学)
DHP通过离散可达性检查和递归分解任务,提升分层强化学习代理在长距离视觉规划中的效率和泛化能力。
2025-12-19 cs.AI cs.LG cs.RO
GAM: Hierarchical Graph-based Agentic Memory for LLM Agents
Zhejiang University(浙江大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Rutgers University(罗格斯大学);MBZUAI(麦吉尔大学人工智能研究所);McGill University(麦吉尔大学)
本文提出GAM框架,通过解耦记忆编码与巩固,解决LLM代理在快速上下文感知与稳定知识保留间的矛盾,提升推理准确性和效率。
2026-04-14 cs.AI
Is Agent Memory a Database? Rethinking Data Foundations for Long-Term AI Agent Memory
Concordia University(康科迪亚大学)
本文提出将长期AI智能体记忆视为一种新的数据管理工作负载,通过形式化治理演化记忆(GEM)框架,用四个状态级操作替代记录级操作,并论证记录级系统无法满足其正确性条件,最后通过原型MemState验证可行性并指出未来研究方向。
2026-05-25 cs.AI cs.DB
Homer: Understanding Long-form Videos with Hierarchical Memory and Agentic Reasoning
Soochow University(苏州大学);Tencent Hunyuan Multimodal Department(腾讯混元多模态部)
研究长视频理解问题,提出荷马分层在线记忆探索与推理框架,其记忆反映视频多尺度结构,智能推理器按人类方式探索记忆,通过多轮检索组合答案,性能优于此前最佳方法。
2026-07-07 cs.AI cs.CL cs.CV
Oracle Agent Memory as an Enterprise Memory Substrate for Long-Horizon AI Agents
研究以Oracle数据库为基础的Oracle代理内存作为长期人工智能代理的企业内存基础,围绕内存生命周期、分层架构及评估方法展开探讨,总结LongMemEval结果,与基线比较,展示其优势,并提供相关实现附录。
2026-07-16 cs.AI cs.DB
HiMAC: Hierarchical Macro-Micro Learning for Long-Horizon LLM Agents
School of Electronic and Computer Engineering(电子与计算机工程学院);Peking University(北京大学)
HiMAC通过分层宏微学习框架,提升LLM代理在长视界任务中的规划与执行能力,实现更高效的强化学习训练。
2026-03-01 cs.AI cs.LG
Joint Learning of Hierarchical Neural Options and Abstract World Model
Cornell University(康奈尔大学);Google Deepmind(谷歌DeepMind)
本文提出AgentOWL方法,通过高效样本学习抽象世界模型和层级神经选项,使智能体在Object-Centric Ataris游戏中以更少数据学习更多技能。
2026-11-13 cs.AI cs.LG
Temporal Order Matters for Agentic Memory: Segment Trees for Long-Horizon Agents
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(人工智能向量研究所)
提出线段树记忆架构SegTreeMem,通过在线右边缘更新规则保持对话历史的时间顺序,结合层次化时间上下文进行检索,在长程记忆基准上优于现有方法。
2026-06-03 cs.AI cs.CL
Hierarchical Memory Networks for Answer Selection on Unknown Words
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
近年来,端到端记忆网络在问答任务中表现出了良好的效果,它将过去的事实编码成外显记忆,并通过对记忆进行多个计算步骤来实现推理能力。然而,记忆网络在记忆层次上进行推理,输出的是粗糙的语义向量,没有进一步采取任何注意力机制来关注单词,这可能导致模型丢失一些细节信息,尤其是当答案是稀有或未知单词时。在本文中,我们提出了一种新的层次记忆网络,被称为HMN。首先,我们将过去的事实分别编码为事件级记忆和单词级记忆。然后,在推理模块之后,在词汇级存储器上利用(k)-最大池化来对与问题最相关的(k)个句子进行采样,并将这些句子馈送到单词级存储器上的注意力机制中,以集中所选句子中的单词。最后,预测是在句子级推理模块和单词级注意力机制的输出上联合学习的。实验结果表明,我们的方法成功地进行未登录词的答案选择,并取得了更好的性能比记忆网络。
2016-09-28 cs.AI cs.CL cs.IR
HMARS: A Hierarchical Multi-Agent Memory System for Long-Context Reasoning
The Chinese University of Hong Kong(香港中文大学)
提出HMARS分层多智能体记忆系统,通过子智能体、中层智能体和前沿模型的分层结构管理长上下文,在长文档和多轮记忆任务中优于检索、重排序、全上下文、基于图和智能体基线。
2026-06-03 cs.AI cs.IR
H-MAPS: Hierarchical Memory-Augmented Proactive Search Assistant for Scientific Literature
University of Tsukuba(筑波大学);National Institute of Informatics(日本情报学研究所)
H-MAPS通过三层分层记忆解决文献阅读中的上下文模糊问题,利用隐含的阅读行为将用户潜在需求转化为自然语言问题,并在本地设备上进行神经检索以确保隐私。
2026-05-11 cs.IR