Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta;Universidade do Vale do Rio dos Sinos(淡水河谷大学);University of Brasilia(巴西利亚大学)
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种,我们的进化与彼此交流知识的能力紧密相连。因此,自主和独立的代理之间的经验共享(ES)可能成为关键,以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能,并提出了三种选择经验的新方法来加速学习过程。首先,我们引入了聚焦ES,它优先考虑状态空间中未探索的区域。其次,我们提出了优先ES,其中的时间差误差被用来作为衡量优先级。最后,我们设计了重点优先ES,它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进,但我们表明所提出的ES方法可以成功地超越基线。特别是,Focused ES将学习速度提高了2倍,将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院);Computer Science Department, Stanford University(斯坦福大学计算机科学系);The Taub Faculty of Computer Science, Technion - Israel Institute of Technology(以色列理工学院陶布计算机科学学院)
提出选择性多智能体优先经验回放方法,通过智能体间共享少量高度相关的经验,在仅需有限通信的去中心化训练下显著提升多智能体强化学习性能。
2024-04-23 cs.AI cs.LG cs.MA
WebATLAS: An LLM Agent with Experience-Driven Memory and Action Simulation
University of Massachusetts Lowell(马萨诸塞大学洛威尔分校);Amazon Alexa AI(亚马逊Alexa人工智能)
WebATLAS通过经验驱动的记忆和前瞻动作模拟,实现无需微调的自主网页导航,成功率达63%。
2025-12-19 cs.AI cs.CL cs.IR
MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization
The George Washington University(乔治华盛顿大学)
经验重放是离线强化学习(RL)方法的关键。通过记忆和重用过去不同策略的经验,经验重放显著提高了RL算法的训练效率和稳定性。实践中的许多决策问题自然涉及多个智能体,需要集中训练分散执行范式下的多智能体强化学习(MARL)。然而,现有的MARL算法往往采用标准的经验重放的过渡均匀采样,而不管他们的重要性。寻找针对MARL体验重播优化的优先采样权重还有待探索。为此,我们提出了MAC-PO,它制定了最佳的优先经验重放多智能体问题作为一个遗憾最小化的采样权重的过渡。这种优化是放松和解决使用拉格朗日乘子的方法,以获得封闭形式的最佳采样权重。通过最小化所产生的政策遗憾,我们可以缩小目前的政策和名义上的最优政策之间的差距,从而获得一个改进的多智能体任务的优先级计划。我们在Predator-Prey和StarCraft Multi-Agent Challenge环境中的实验结果证明了我们方法的有效性,具有更好的重播重要转换的能力,并且优于其他最先进的基线。
2023-02-28 cs.AI cs.LG cs.MA
Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Microsoft Research(微软研究院)
许多现实世界的问题,如网络数据包路由和城市交通控制,自然建模为多智能体强化学习(RL)问题。然而,现有的多智能体RL方法通常在问题大小方面的规模很差。因此,一个关键的挑战是将深度学习在单智能体RL上的成功转化为多智能体设置。一个主要的障碍是独立Q学习,最流行的多智能体RL方法,引入了非平稳性,使其与深度Q学习所依赖的经验重放记忆不兼容。本文提出了两种方法,解决这个问题:1)使用多代理变量的重要性采样自然衰减过时的数据和2)条件每个代理的价值函数上的指纹,消除歧义的年龄从重放内存中采样的数据。一个具有挑战性的分散式星际单位微观管理变体的结果证实,这些方法能够成功地将经验重放与多智能体RL相结合。
2018-05-21 cs.AI cs.LG cs.MA
WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution
Google Research(谷歌研究院);Virginia Tech(弗吉尼亚理工大学)
WikiSkill是使智能体技能与持久知识库协同演化的框架,在多基准与模型上优于现有方法,证实持久知识积累对技能演化关键,且演化技能可跨模型迁移。
2026-08-28 cs.AI cs.CL
MemGovern: Enhancing Code Agents through Learning from Governed Human Experiences
UCAS(中国科学院大学);NUS(新加坡国立大学);ECNU(华东师范大学);FDU(福建师范大学);XDU(西安电子科技大学);UBC(不列颠哥伦比亚大学);HKUST(GZ)(香港科技大学);PKU(北京大学);RUC(中国人民大学);QuantaAlpha(量子阿尔法)
MemGovern通过学习受控的人类经验,提升代码代理的修复效率和性能。
2026-01-13 cs.AI cs.SE
SLEA-RL: Step-Level Experience Augmented Reinforcement Learning for Multi-Turn Agentic Training
Carnegie Mellon University(卡内基梅隆大学)
本文提出SLEA-RL框架,通过步骤级经验增强提升多轮代理训练性能,采用动态经验库和策略优化方法,在长周期任务中优于传统强化学习基线。
2026-03-18 cs.AI cs.LG
EDGE: Experience-Distillation for Guided Exploration in Agentic Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉科学学院);Wuhan AI Research(武汉人工智能研究院)
本文提出EDGE框架,将检索的经验内化到策略中,在ALFWorld和WebShop数据集7B规模下较GRPO提升8.3、12.5个成功率百分点,移除外部经验后仍保留96.0%支架性能。
2026-08-27 cs.AI cs.CL cs.LG
Real-Time Procedural Learning From Experience for AI Agents
Altrina(阿尔特里纳)
PRAXIS通过实时存储和检索行动后果,提升AI代理在动态环境中的任务完成效率与可靠性。
2025-12-02 cs.AI cs.IR
Selective Experience Sharing in Reinforcement Learning Enhances Interference Management
Villanova University(维拉诺瓦大学)
提出一种选择性经验共享的多智能体强化学习方法用于小区间干扰缓解,实现去中心化训练与执行,在大幅减少通信开销与经验共享量的同时,性能优于现有去中心化算法。
2025-01-27 cs.LG eess.SP
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University(比尔肯特大学)
体验重放机制允许代理多次使用体验。在以前的工作中,采样概率的过渡调整,根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此,经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而,随着策略和代理的价值函数的更新,转换的重要性级别动态地改变。此外,经验重放存储转换是由代理的先前策略生成的,其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新,这对代理是有害的。在本文中,我们开发了一种新的算法,批量优先经验重放通过KL分歧(KLPER),它优先考虑批量的过渡,而不是直接优先考虑每个过渡。此外,为了减少更新的关闭策略,我们的算法在一定数量的批次中选择一个批次,并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度,并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
FedEHR-Agents: Federated Agentic Optimization for Automated EHR Modeling
School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
针对医院EHR数据隐私与协作局限,提出以经验为中心的FedEHR-Agents框架,通过联邦智能体聚合建模经验,在多医院EHR基准上的临床预测任务中表现优于基线方法。
2026-08-31 cs.AI cs.LG cs.MA
CUER: Corrected Uniform Experience Replay for Off-Policy Continuous Deep Reinforcement Learning Algorithms
Bilkent University(比尔肯特大学)
针对经验回放中重要性动态变化及旧策略导致离策略更新偏差的问题,提出CUER算法,通过公平随机采样并使状态分布更在策略,提升连续控制算法的样本效率、性能与稳定性。
2024-06-13 cs.AI cs.LG
Agent KB: Leveraging Cross-Domain Experience for Agentic Problem Solving
Yale University(耶鲁大学);OPPO(OPPO公司);UW-Madison(威斯康星大学麦迪逊分校);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Stanford University(斯坦福大学);Bytedance(字节跳动);Nanjing University(南京大学);All Hands AI(All Hands AI公司);DeepWisdom(DeepWisdom公司);Microsoft Research(微软研究院);Google DeepMind(谷歌DeepMind)
针对智能体框架间经验无法共享的问题,提出通用记忆基础设施AGENT KB,通过结构化知识库和混合检索实现跨框架经验共享,在多个基准上显著提升性能。
2025-10-27 cs.AI cs.CL
Experience Augmentation: Boosting and Accelerating Off-Policy Multi-Agent Reinforcement Learning
Zhejiang University(浙江大学)
高维状态动作空间的探索是强化学习(RL)的最大挑战之一,特别是在多智能体领域。我们提出了一种称为经验增强的新技术,它可以在快速,公平和彻底探索环境的基础上实现时间效率和增强学习。它可以与任意非策略MARL算法相结合,适用于同构或异构环境。我们证明了我们的方法相结合,它与MADDPG和验证的性能在两个同质和异构环境。在性能最好的场景下,经验增强的MADDPG在1/4真实时间内达到了普通MADDPG的收敛效果,并且其收敛性明显优于原模型。我们的消融研究表明,经验增强是加速训练过程并促进收敛的关键因素。
2020-05-20 cs.AI cs.LG cs.MA
Off-Policy Actor-Critic with Shared Experience Replay
DeepMind(深度思维)
我们研究了演员-评论家强化学习算法与统一的大规模经验重放的结合,并提出了两个挑战的解决方案:(a)有效的演员-评论家学习与经验重放(b)离策略学习的稳定性,其中代理从其他代理的行为学习。我们利用这些见解来加速超参数扫描,其中所有参与的代理同时运行,并通过一个共同的重放模块分享他们的经验。为此,我们分析的偏差方差权衡V-跟踪,一种形式的重要性采样的演员批评的方法。基于我们的分析,然后,我们认为混合经验与政策上的经验重放采样,并提出了一个新的信任域方案,有效地扩展到数据分布的V-跟踪变得不稳定。我们提供了广泛的经验验证所提出的解决方案。我们进一步展示了这种设置的好处,通过展示Atari上最先进的数据效率,在训练到200 M环境帧的代理中。
2019-11-18 cs.AI cs.LG stat.ML
Shared Experience Actor-Critic for Multi-Agent Reinforcement Learning
University of Edinburgh(爱丁堡大学)
探索多智能体强化学习是一个具有挑战性的问题,特别是在稀疏奖励的环境中。我们提出了一个通用的方法,有效的探索,通过分享经验之间的代理。我们提出的算法,称为共享经验演员批评(SEAC),适用于演员批评框架中的经验共享。我们在一组稀疏奖励多智能体环境中评估了SEAC,发现它通过更少的步骤学习并收敛到更高的回报,始终优于两个基线和两个最先进的算法。在一些更困难的环境中,经验分享决定了学习解决任务和根本不学习的区别。
2021-05-19 cs.LG cs.MA
On Solving Cooperative MARL Problems with a Few Good Experiences
Singapore Management University(新加坡管理大学)
协作多智能体强化学习(MARL)在搜索和救援、无人机监视、包裹递送和消防问题等许多领域中对于协作分散式决策学习至关重要。在这些领域,一个关键的挑战是学习一些好的经验,即,仅在少数情况下获得正增强(例如,在灭火或追踪犯罪或递送包裹时),并且在大多数其他情况下,存在零强化或负强化。由于三个原因,学习决策与一些好的经验是非常具有挑战性的合作MARL问题。首先,与单个代理的情况相比,探索更难,因为多个代理必须协调才能获得良好的体验。第二,环境不是静止的,因为所有的智能体都在同时学习(从而改变策略)。第三,每增加一个代理,问题的规模就会显著增加。相关的现有工作是广泛的,并集中在处理一些很好的经验,在单代理RL问题或可扩展的方法来处理非平稳的MARL问题。不幸的是,这些方法(或其扩展)都不能有效地解决稀疏的好经验的问题。因此,我们提供了一种新的虚构的自我模仿的方法,能够同时处理非平稳性和稀疏的良好经验,在一个可扩展的方式。最后,我们提供了一个彻底的比较(实验或描述)对相关的合作MARL算法,以证明我们的方法的实用性。
2020-01-22 cs.AI cs.LG cs.MA
Lucid Dreaming for Experience Replay: Refreshing Past States with the Current Policy
Army Research Laboratory(陆军研究实验室);Washington State University(华盛顿州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼AI);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
经验重放(ER)通过允许代理在重放缓冲器中存储和重用其过去的经验来提高策略外强化学习(RL)算法的数据效率。虽然已经提出了许多技术来通过偏置如何从缓冲器采样经验来增强ER,但到目前为止,它们还没有考虑用于刷新缓冲器内的经验的策略。在这项工作中,我们介绍了清醒梦的经验重放(LiDER),一个概念上的新框架,允许重放经验,利用代理的当前政策刷新。LiDER由三个步骤组成:首先,LiDER将代理移回过去的状态。其次,从这个状态,LiDER然后让智能体通过遵循其当前策略执行一系列动作-就好像智能体正在“梦想”过去,并且可以尝试不同的行为来遇到梦中的新体验。第三,LiDER存储和重用新的体验,如果它比代理先前体验的更好,即,来刷新它的记忆LiDER被设计为可以很容易地纳入使用ER的离线策略,多工作者RL算法;我们在这项工作中提出了一个案例研究,将LiDER应用于基于演员-评论家的算法。结果显示,LiDER在六款Atari 2600游戏中始终提高了基线性能。我们的LiDER开源实现和用于生成本工作中所有图的数据可在github.com/duyunshu/lucid-dreaming-for-exp-replay上获得。
2021-04-03 cs.AI cs.LG stat.ML
Modified DDPG car-following model with a real-world human driving experience with CARLA simulator
Technische Universität Dresden(德累斯顿工业大学)
本文提出一种两阶段DRL跟车模型,利用真实人类驾驶经验改进DDPG策略,在CARLA与ROS环境中训练并验证其优于纯DRL智能体,更适合人机交互交通场景。
2022-09-19 cs.AI cs.LG cs.RO
Static Vs. Agentic Game Master AI for Facilitating Solo Role-Playing Experiences
Aalborg University(奥尔堡大学)
本文比较了两种单人角色扮演游戏主持人AI:基于简化提示工程的v1与采用多智能体架构和ReAct框架的v2,实验证明v2在保持可玩性的同时显著提升了模块化、沉浸感和好奇心。
2025-03-06 cs.AI cs.HC
Enhancing Human Experience in Human-Agent Collaboration: A Human-Centered Modeling Approach Based on Positive Human Gain
Tencent AI Lab(腾讯AI实验室);Tencent TiMi L1 Studio(腾讯天美L1工作室)
针对现有游戏AI以智能体为中心易导致人类协作体验不佳的问题,提出以人为中心的RLHG方法,在维持智能体获胜能力的同时提升人类目标达成度,在《Honor of Kings》的真人测试中验证了其能改善人类游戏体验。
2024-01-28 cs.AI cs.HC
Megaverse: Simulating Embodied Agents at One Million Experiences per Second
University of Southern California(南加州大学);Intel Labs(英特尔实验室);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
我们介绍了Megaverse,一个新的3D仿真平台,用于强化学习和具体的AI研究。我们的引擎的高效设计使基于物理的仿真能够在单个8 GPU节点上以每秒超过1,000,000个动作的高维自我中心观察。Megaverse在具有交互式对象的全阴影3D场景中比DeepMind Lab快70倍。我们通过利用批处理模拟来实现这种高模拟性能,从而充分利用现代GPU的大规模并行性。我们使用Megaverse来构建一个新的基准,该基准由几个单智能体和多智能体任务组成,涵盖各种认知挑战。我们在这个基准上评估无模型RL,以提供基线并促进未来的研究。源代码可在https://www.megaverse.info上获得
2021-07-21 cs.AI cs.LG
Experience-Evolving Multi-Turn Tool-Use Agent with Hybrid Episodic-Procedural Memory
本文提出混合情景-程序记忆策略,通过动态重用部分重叠的成功经验,使多轮工具使用策略实现经验驱动的自我演化,提升多轮任务中的推理与执行效率。
2026-06-28 cs.AI cs.LG
Agents for Automated User Experience Testing
INESC-ID
软件功能测试的自动化使得开发人员能够在整个开发的迭代阶段不断检查对功能的负面影响。但对于用户体验(UX)来说,情况并非如此,迄今为止,UX几乎完全依赖于对真实用户的测试。用户测试是一项缓慢的工作,可能成为开发交互式系统的瓶颈。为了解决这个问题,我们在这里提出了一个基于代理的自动UX测试方法。我们开发具有基本问题解决技能和核心影响模型的代理,使我们能够在他们穿越游戏的不同级别时模拟人工情感状态。虽然这项研究仍然处于原始状态,但我们相信这里的结果为使用具有情感计算模型的智能代理自动化UX测试提供了强有力的理由。
2021-04-13 cs.AI cs.SE
When History Fails to Become Experience: Action Calibration in Language Agents
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);ByteDance(字节跳动);Beijing Key Laboratory of Research on Large Models and Intelligent Governance(北京大模型与智能治理研究重点实验室);Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE(教育部新一代智能搜索与推荐工程研究中心)
针对语言智能体未能有效利用交互历史的问题,本文提出动作校准方法,通过显式标注动作结果及学习型校准器,提升任务成功率并减少动作重复。
2026-10-05 cs.AI cs.CL
AutoEG: Automated Experience Grafting for Off-Policy Deep Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);SUNY Binghamton(纽约州立大学宾汉姆顿分校)
深度强化学习(RL)算法经常需要禁止交互经验以确保学习策略的质量。这种局限性部分是因为智能体在早期学习阶段不能从许多低质量的试验中学习到很多,这导致低学习率。针对这一局限性,本文做出了两方面的贡献。首先,我们开发了一种算法,称为经验嫁接(EG),使RL代理重新组织部分的几个高质量的轨迹从经验池生成许多合成轨迹,同时保持质量。其次,在EG的基础上,我们进一步开发了一个AutoEG代理,它可以自动学习调整基于移植的学习策略。从一组六个机器人控制环境中收集的结果表明,与标准深度RL算法(DDPG)相比,AutoEG将学习过程的速度提高了至少30%。
2020-04-23 cs.AI cs.LG
Retrospex: Language Agent Meets Offline Reinforcement Learning Critic
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);Nanjing University School of Artificial Intelligence(南京大学人工智能学院)
Retrospex框架通过离线回顾训练强化学习评论器,结合LLM动作可能性与评论器动作值,并采用动态重评分机制,在ScienceWorld等环境中超越当代基线。
2025-05-27 cs.AI cs.CL
Agent Plasticity: Measuring Self-Improvement Through Experience
UC Berkeley(加州大学伯克利分校);Meta Superintelligence Labs(Meta超级智能实验室);University of Washington(华盛顿大学);Princeton University(普林斯顿大学)
本文提出智能体可塑性概念,衡量智能体将经验转化为未来保留性能提升的效率,并通过受控实验揭示前沿模型改进轨迹差异及失败瓶颈。
2026-10-08 cs.AI
Experience Replay Optimization
Texas A&M University(德克萨斯农工大学)
经验重放使强化学习代理能够记住和重用过去的经验,就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验,要么利用基于规则的重放策略,这可能是次优的。在这项工作中,我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的,因为重放记忆是嘈杂的和大的,并且累积的奖励是不稳定的。为了解决这些问题,我们提出了一种新的经验重放优化(ERO)框架,交替更新两个政策:代理政策,和重放政策。更新代理以基于重放的数据最大化累积奖励,同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性,经验上显示了经验重放学习的承诺,以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
A Framework of User Experience Principles for Human-AI Agent Interaction in the Workplace
SAP SE(SAP公司);Hochschule Fresenius(弗赖辛大学);University of Missouri(密苏里大学)
研究工作场所人类与人工智能代理交互的用户体验原则,采用多方法识别并验证八项核心原则框架及标准,为设计师和工程师提供指导方针,为相关实证研究奠定结构化基础。
2026-07-23 cs.AI cs.HC
Environment Scaling for Interactive Agentic Experience Collection: A Survey
Hong Kong University of Science and Technology(香港科技大学);King’s College London(伦敦国王学院);DAMO Academy, Alibaba Group(阿里云达摩院)
本文综述了交互式代理经验收集中环境缩放的方法,从环境中心视角系统回顾了任务生成、执行和反馈阶段的代表性方法,并探讨了实现框架、挑战及未来研究方向。
2025-12-23 cs.AI cs.LG
Empirical-MCTS: Continuous Agent Evolution via Dual-Experience Monte Carlo Tree Search
JianChengXingYun Technology Co., Ltd.(健成星云科技有限公司)
经验-MCTS通过双环框架实现连续智能体进化,结合局部探索与全局记忆优化,提升复杂推理任务性能。
2026-02-04 cs.AI cs.CL
Correcting Experience Replay for Multi-Agent Communication
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);University of Tübingen(蒂宾根大学)
我们考虑使用多智能体强化学习(MARL)学习沟通的问题。一种常见的方法是使用从重放缓冲区采样的数据来学习离线策略。然而,过去接收的消息可能无法准确反映每个代理的当前通信策略,这使得学习变得复杂。因此,我们引入了一个“通信校正”,它占多智能体学习引起的观察到的通信的非平稳性。它的工作原理是重新标记接收到的消息,使其可能在通信者的当前策略下,从而更好地反映接收者的当前环境。为了说明代理商都是代理商和接收器的情况下,我们引入了一个有序的重新标记计划。我们的校正是计算效率高,可以与一系列的关闭政策的算法。我们在实验中发现,它大大提高了MARL系统在各种合作和竞争任务中学习的能力。
2021-02-28 cs.AI cs.LG cs.MA
Aligning Agentic World Models via Knowledgeable Experience Learning
Zhejiang University(浙江大学);University of California, Los Angeles(加州大学洛杉矶分校)
WorldMind通过知识性经验学习对齐代理世界模型,解决物理模拟中的幻觉问题,实现跨环境的高效迁移。
2026-08-31 cs.AI cs.CL cs.CV
A Proposal for Intelligent Agents with Episodic Memory
HP Labs – HP Inc.(惠普实验室 – 惠普公司)
在未来,我们可以预期,人工智能代理,一旦部署,将需要不断学习他们的经验,在其操作寿命。这些代理还需要与人类和其他代理就其经验的内容进行沟通,在传递其学习的背景下,为了解释其在特定情况下的行为,或者只是为了更自然地与人类有关代理获得的经验,这些经验不一定与其分配的任务有关。我们认为,为了支持这些目标,代理将受益于情景记忆,也就是说,记忆编码代理的经验,以这样一种方式,代理可以重温的经验,沟通,并使用其过去的经验,包括代理自己过去的行动,学习更有效的模型和政策。在这篇简短的论文中,我们提出了一种潜在的方法来提供一个具有这种能力的人工智能智能体。我们利用不断增长的身体的工作检查的功能和操作的内侧颞叶(MTL)在哺乳动物中,以指导我们添加一个情景记忆的能力,人工人工智能智能体组成的人工神经网络(ANN)。在此基础上,我们强调的重要方面要考虑的内存组织,我们提出了一个架构结合人工神经网络和标准的计算机科学技术支持存储和检索的情景记忆。尽管是初步的工作,我们希望这篇简短的论文可以引发围绕创建具有记忆的智能代理的讨论,或者至少提供一个不同的观点。
2020-05-07 cs.AI
Remember and Forget Experience Replay for Multi-Agent Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Harvard University(哈佛大学)
我们提出的经验重放(ReF-ER)算法的记忆和忘记多智能体强化学习(MARL)的扩展。ReF-ER被证明在从OpenAI Gym到复杂流体流动的连续控制问题中优于最先进的算法。在MARL中,代理之间的依赖关系包括在状态值估计器和环境动态建模通过使用的重要性权重的参考ER。在协作环境中,当使用个人奖励估计价值时,我们发现最佳性能,并且我们忽略了其他动作对转换图的影响。我们在斯坦福智能系统实验室(SISL)环境中对ReF-ER MARL的性能进行了基准测试。我们发现,采用一个单一的前馈神经网络的政策和价值函数在Ref-ER MARL,优于最先进的算法,依赖于复杂的神经网络架构。
2022-09-02 cs.AI cs.LG math.OC
Generative Personas That Behave and Experience Like Humans
Institute of Digital Games(数字游戏研究所)
使用人工智能(AI)来自动测试游戏仍然是开发更丰富、更复杂的游戏世界以及人工智能发展的关键挑战。实现这一长期目标的最有希望的方法之一是使用生成式人工智能代理,即程序化人物角色,试图模仿特定的游戏行为,这些行为表现为规则,奖励或人类演示。然而,所有构建这些生成代理的研究工作都只集中在游戏行为上,这可以说是对玩家在游戏中实际行为的狭隘理解。出于现有技术水平中的这一差距的动机,在本文中,我们扩展了行为程序角色的概念以满足玩家体验,从而研究了能够像人类一样行为和体验游戏的生成代理。为此,我们采用了去探索强化学习范式来训练类人程序人物角色,我们测试我们的方法的行为和经验演示的100多名球员的赛车游戏。我们的研究结果表明,生成的代理人表现出独特的游戏风格和经验的人类角色,他们被设计模仿的反应。重要的是,与游戏行为相关的经验似乎也可以成为更好的行为探索的高度信息驱动力。
2022-08-26 cs.AI cs.HC cs.LG
Scaling Agent Learning via Experience Synthesis
Meta Superintelligence Labs(Meta超智能实验室);FAIR at Meta(Meta的FAIR部门);University of Chicago(芝加哥大学)
本文提出 DreamGym 框架,通过基于推理的经验模型合成多样化交互数据,并结合离线真实数据回放与自适应课程任务生成,在显著减少真实环境交互的同时提升在线强化学习训练效果。
2025-11-10 cs.AI
CLEAR: Context Augmentation from Contrastive Learning of Experience via Agentic Reflection
AWS AI Labs(亚马逊云科技人工智能实验室)
CLEAR通过对比学习经验的代理反思生成上下文,提升任务完成率和奖励。
2026-10-23 cs.AI
SR-Agent: An Experience-Driven Agentic Framework for Post-Ranking Strategy Refinement in E-Commerce Recommendation
Kuaishou Technology(快手科技)
电商推荐系统中,后排序策略因环境变化需优化,以往方式存在问题。本文提出SR-Agent框架,统一用户模拟、分析和策略优化组件,经快手平台测试,能提升订单量、浏览深度和点击类别多样性,还缩短优化周期、降低成本。
2026-07-22 cs.AI cs.MA
Freezing of Gait Prediction using Proactive Agent that Learns from Selected Experience and DDQN Algorithm
本文提出基于DDQN与优先经验回放的强化学习框架,用于预测帕金森病患者的步态冻结,实现提前8.72秒的预测能力,为辅助设备提供及时干预方案。
2026-03-04 cs.LG
AutoSkill: Experience-Driven Lifelong Learning via Skill Self-Evolution
School of Computer Science and Technology, East China Normal University(1 计算机科学与技术学院,东华大学);Shanghai AI Laboratory(2 上海人工智能实验室)
AutoSkill通过技能自我进化实现经验驱动的终身学习,使LLM代理能够自动推导、维护和重用技能,提升个性化能力的持续性和可重用性。
2026-03-05 cs.AI
Experience enrichment based task independent reward model
Carnegie Mellon University(卡内基梅隆大学)
对于大多数强化学习方法,通过最大化针对特定任务手动定义的累积奖励来执行学习。然而,在现实世界中,奖励是从代理和环境之间的复杂的相互作用涌现的现象。本文提出了一种用于强化学习的隐式通用奖励模型。与那些为特定任务手动定义的奖励不同,这种隐式奖励与任务无关。它只来自于与代理人先前经验的偏差。
2017-05-21 cs.AI
Towards AI Agents for Course Instruction in Higher Education: Early Experiences from the Field
Department of Computational and Data Sciences, Indian Institute of Science (IISc), Bangalore 560012 India(计算与数据科学系,印度科学研究院(IISc),班加罗尔)
本文报告在IISc研究生云计算课程中部署LLM驱动的讲师智能体作为主要授课者的早期经验,提出教学与分析框架,并通过参与度指标揭示学生从广泛探索到深入探究的参与演变,证明其可促进反思性学习与可扩展的高质量教育。
2025-10-23 cs.AI cs.CY cs.HC
From Lived Experience to Insight: Unpacking the Psychological Risks of Using AI Conversational Agents
School of Interactive Computing, Georgia Institute of Technology(交互计算学院,佐治亚理工学院);Purdue University(普渡大学);Microsoft Research(微软研究院);Microsoft(微软);Microsoft AI(微软人工智能);University of Toronto(多伦多大学)
本研究通过调查283名有心理健康亲身体验者及专家研讨会,提出了一种聚焦AI对话代理心理风险的新分类法,包含19种AI行为、21种负面心理影响和15种用户情境,并构建了多路径情景框架以理解其复杂交互,为开发更安全的AI代理提供了设计建议。
2025-05-29 cs.AI cs.CY cs.HC
Bootstrapping a DQN Replay Memory with Synthetic Experiences
University of Augsburg(奥格斯堡大学)
许多深度强化学习算法的一个重要组成部分是经验重放,它作为存储机制或记忆的经验。这些经验用于训练,并帮助智能体稳定地找到通过问题空间的完美轨迹。然而,经典的经验重放只使用它实际产生的经验,但是存储的样本以可以提取的关于问题的知识的形式具有很大的潜力。我们提出了一种算法,在不确定的离散环境中创建合成的经验,以帮助学习者。在FrozenLake环境下对插值经验重放进行了评估,我们表明它可以支持智能体更快地学习,甚至比经典版本更好。
2020-02-04 cs.LG stat.ML
SafeEvolve: Harness-Policy Co-Evolution from Agent Experience for Safety Alignment
Shanghai AI Laboratory(上海人工智能实验室);SJTU(上海交通大学);Fudan University(复旦大学);HKUST(香港科技大学);Zhejiang University(浙江大学)
SafeEvolve是一种基于智能体经验的安全对齐自进化框架,通过harness-策略协同进化实现更优的安全-效用权衡,在Qwen3.5-4B上可降低AgentDojo的ASR并提升良性效用
2026-09-03 cs.AI cs.CR
Positive Experience Reflection for Agents in Interactive Text Environments
Delft University of Technology(代尔夫特理工大学)
针对文本游戏中智能体反思方法的不足,提出Sweet&Sour方法,通过融入积极经验和受管理记忆丰富决策上下文,在闭源与开源LLM上均有效提升性能,尤其弥补了先前方法的短板。
2024-11-04 cs.AI cs.CL cs.LG
XferAgent: Cross-Agent Experience Transfer for Self-Improving LLM Agents
McGill University(麦吉尔大学);McCormick School of Engineering, Northwestern University(西北大学麦考密克工程学院);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Ohio University(俄亥俄大学)
本文提出XferAgent框架,解决现有跨智能体经验共享复用难问题,通过经验图组织经验,实验表明其性能优于同类方法且可提升累计任务成功率。
2026-10-14 cs.AI cs.MA
LiPUP-MA: A Residential Experience-centric Multi-Agent Framework for Living-in-the-loop Participatory Urban Planning
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong Polytechnic University(香港理工大学)
提出LiPUP-MA多智能体框架,通过模拟居住生活与体验驱动的计划修订循环,利用基于图的经验库和空间约束技能增强规划器,解决参与式城市规划中经验落地与反馈空间化问题。
2026-05-26 cs.AI cs.CL cs.LG
EMR: Self-Evolving Medical Multi-Agent System via Experience Mining and Reuse
East China Normal University(华东师范大学);City University of Hong Kong(香港城市大学)
EMR通过分层临床经验库和自动经验挖掘,使医疗多智能体系统能从诊断成败中自我进化,在基准上超越现有方法,并支持跨专科与跨模型迁移。
2026-09-15 cs.AI cs.CL
Retrieval-Augmented LLM Agents: Learning to Learn from Experience
NAVER LABS Europe(NAVER实验室欧洲)
本文提出结合微调与经验检索的方法,通过LoRA优化SFT流程,分析经验检索关键设计,提出整合经验检索的训练流程,提升代理对新任务的泛化能力。
2026-09-01 cs.AI cs.CL