Iterative Experience Refinement of Software-Developing Agents
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Siemens(西门子);Dalian University of Technology(大连理工大学)
针对 LLM 软件开发智能体静态经验难以适应任务的问题,提出迭代经验精炼框架及连续、累积两种模式,并通过启发式经验剔除以少量高质量经验提升稳定性与性能。
2024-05-07 cs.AI cs.CL cs.MA
State Machine of Thoughts: Leveraging Past Reasoning Trajectories for Enhancing Problem Solving
Kuaishou Technology(快手科技);Hefei University of Technology(合肥工业大学)
针对大语言模型智能体推理轨迹复用效率低的问题,提出SMoT框架,用状态机记录过往推理的成败经验,选择最优子解,在24点游戏和出租车导航强化学习任务中显著提升问题求解能力。
2024-03-09 cs.AI
How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior
Harvard University(哈佛大学);University of Georgia(佐治亚大学);Michigan State University(密歇根州立大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校)
本文实证研究了记忆添加与删除操作对 LLM 智能体长期表现的影响,发现其经验遵循特性会导致错误传播与经验错位重放,并提出利用未来任务评估作为质量标签来规范记忆库,为设计稳健的记忆组件提供指导。
2025-10-10 cs.AI
Knowing When Not to Reuse: Conditional Experience Transfer in Autonomous LLM Post-Training
Alibaba Cloud Computing(阿里巴巴云计算)
本研究针对自主大语言模型后训练中经验重用的决策问题,提出BCIT方法,通过绑定效果上下文、检查条件等减少有害更新,提升模型质量。
2026-08-28 cs.AI
Stand on The Shoulders of Giants: Building JailExpert from Previous Attack Experience
National University of Defense and Technology(国防科技大学);Inner Mongolia University(内蒙古大学)
本文提出自动化越狱框架 JailExpert,首次形式化表示攻击经验结构、按语义漂移分组并动态更新经验池,使攻击成功率平均提升17%、效率提升2.7倍。
2025-08-25 cs.AI cs.CR
WebATLAS: An LLM Agent with Experience-Driven Memory and Action Simulation
University of Massachusetts Lowell(马萨诸塞大学洛威尔分校);Amazon Alexa AI(亚马逊Alexa人工智能)
WebATLAS通过经验驱动的记忆和前瞻动作模拟,实现无需微调的自主网页导航,成功率达63%。
2025-12-19 cs.AI cs.CL cs.IR
CAVE-Mem: Boundary-Aware Experience Validation for Memory Search
Kent State University(肯特州立大学)
CAVE-Mem提出无需训练的边界感知经验验证框架,将经验建模为带适用性条件的干预算子,仅在匹配基底、答案契约、证据边界和效用时修改答案,否则弃权(不执行),在多项长期记忆任务上超越仅相关性复用。
2026-10-02 cs.AI cs.CL
Can Generative Agents Predict Emotion?
Grad. School of Science and Technology(科学技术研究生院);University of Tsukuba(筑波大学);Grad. School of Letters(文学院);Tokai University(东海大学)
本研究提出一种通过比较新体验与过去记忆的规范来生成情境的架构,利用PANAS量表评估生成式LLM智能体的情绪状态,实验显示引入情境可部分改善情绪对齐。
2024-02-07 cs.AI cs.CL
Lucid Dreaming for Experience Replay: Refreshing Past States with the Current Policy
Army Research Laboratory(陆军研究实验室);Washington State University(华盛顿州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼AI);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
经验重放(ER)通过允许代理在重放缓冲器中存储和重用其过去的经验来提高策略外强化学习(RL)算法的数据效率。虽然已经提出了许多技术来通过偏置如何从缓冲器采样经验来增强ER,但到目前为止,它们还没有考虑用于刷新缓冲器内的经验的策略。在这项工作中,我们介绍了清醒梦的经验重放(LiDER),一个概念上的新框架,允许重放经验,利用代理的当前政策刷新。LiDER由三个步骤组成:首先,LiDER将代理移回过去的状态。其次,从这个状态,LiDER然后让智能体通过遵循其当前策略执行一系列动作-就好像智能体正在“梦想”过去,并且可以尝试不同的行为来遇到梦中的新体验。第三,LiDER存储和重用新的体验,如果它比代理先前体验的更好,即,来刷新它的记忆LiDER被设计为可以很容易地纳入使用ER的离线策略,多工作者RL算法;我们在这项工作中提出了一个案例研究,将LiDER应用于基于演员-评论家的算法。结果显示,LiDER在六款Atari 2600游戏中始终提高了基线性能。我们的LiDER开源实现和用于生成本工作中所有图的数据可在github.com/duyunshu/lucid-dreaming-for-exp-replay上获得。
2021-04-03 cs.AI cs.LG stat.ML
Hindsight Experience Replay Accelerates Proximal Policy Optimization
Sandia National Laboratories(桑迪亚国家实验室)
针对HER因违反同策略假设难用于同策略算法的问题,研究验证了后见经验回放(HER)可在定制捕食者-猎物环境中显著加速同策略强化学习算法近端策略优化(PPO)。
2024-10-29 cs.LG
Boosting Soft Actor-Critic: Emphasizing Recent Experience without Forgetting the Past
New York University(纽约大学);NYU Shanghai(上海纽约大学)
Soft Actor-Critic(SAC)是一种基于最大熵强化学习的离线Actor-Critic深度强化学习(DRL)算法。通过将非策略更新与参与者-批评者制定相结合,SAC在一系列连续动作基准任务上实现了最先进的性能,优于先前的策略和非策略方法。SAC采用的非策略方法在执行参数更新时从过去的经验中统一采样数据。我们提出强调最近的经验(ERE),一个简单但功能强大的政策外采样技术,强调最近观察到的数据,同时不忘记过去。ERE算法从最近的经验中更积极地采样,并且还对更新进行排序,以确保来自旧数据的更新不会覆盖来自新数据的更新。我们比较香草SAC和SAC+ERE,并表明ERE是更有效的样本比香草SAC连续行动Mujoco任务。我们还考虑将SAC与优先级经验重放(PER)结合起来,PER是一种最初为深度Q学习提出的方案,它基于时间差(TD)误差对数据进行优先级排序。我们发现,SAC+PER可以稍微提高SAC的样本效率性能,但远远低于SAC+ERE。最后,我们提出了一种算法,它集成了ERE和PER,并表明这种混合算法可以给一些Mujoco任务的最佳结果。
2019-06-10 cs.AI cs.LG stat.ML
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta;Universidade do Vale do Rio dos Sinos(淡水河谷大学);University of Brasilia(巴西利亚大学)
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种,我们的进化与彼此交流知识的能力紧密相连。因此,自主和独立的代理之间的经验共享(ES)可能成为关键,以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能,并提出了三种选择经验的新方法来加速学习过程。首先,我们引入了聚焦ES,它优先考虑状态空间中未探索的区域。其次,我们提出了优先ES,其中的时间差误差被用来作为衡量优先级。最后,我们设计了重点优先ES,它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进,但我们表明所提出的ES方法可以成功地超越基线。特别是,Focused ES将学习速度提高了2倍,将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Imitating Past Successes can be Very Suboptimal
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
先前的工作提出了一种简单的强化学习(RL)策略:用该经验中获得的结果标记经验,然后模仿重新标记的经验。这些基于结果的模仿学习方法因其简单、性能强以及与监督学习的紧密联系而备受关注。然而,目前还不清楚这些方法如何与标准RL目标,奖励最大化。在本文中,我们正式与结果条件模仿学习奖励最大化,绘制一个精确的学习政策和Q值之间的关系,并解释这些方法和以前的EM为基础的政策搜索方法之间的密切联系。该分析表明,现有的以结果为条件的模仿学习方法不一定改善策略,但是在某些假设下,简单的修改导致确实保证策略改善的方法。
2023-02-17 cs.AI cs.LG
Fast deep reinforcement learning using online adjustments from the past
DeepMind(深度思维)
我们提出了短暂值调整(EVA):一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值,其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法,将情景记忆结构结合到强化学习代理中:基于槽的存储,基于内容的检索和基于记忆的规划。我们表明,EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes
Thales(泰雷兹)
人类一生都在学习。他们从一系列的学习经验中积累知识,记住基本概念,而不会忘记以前所学的知识。人工神经网络也在努力学习。他们通常依赖于严格预处理的数据来学习特定问题的解决方案,如分类或回归。特别是,如果他们接受新的培训,他们会忘记过去的学习经验。因此,人工神经网络往往不适合处理现实生活中的设置,如一个笨拙的机器人,必须在线学习,以适应新的情况,克服新的问题,而不会忘记它过去的学习经验。持续学习(CL)是解决这类问题的机器学习的一个分支。连续算法的目的是在学习经验的课程中积累和提高知识,而不会忘记。在这篇论文中,我们提出了探索连续算法与重放过程。重放过程集合了排练方法和生成重放方法。生成性重放包括用生成模型重新生成过去的学习经验来记住它们。排练包括从过去的学习经验中保存一组核心样本,以便以后排练。重放过程可以在优化当前学习目标和过去的学习目标之间进行折衷,从而使学习不会忘记任务设置的顺序。我们表明,他们是非常有前途的方法,持续学习。值得注意的是,它们能够用新知识重新评估过去的数据,并对抗来自不同学习经验的数据。我们展示了他们通过无监督学习、监督学习和强化学习任务不断学习的能力。
2020-12-08 cs.AI cs.LG cs.NE
Saliency Guided Experience Packing for Replay in Continual Learning
Purdue University(普渡大学)
人工学习系统渴望通过不断地从一系列任务中学习而不忘记过去的知识来模仿人类智能。实现这种学习的一种方法是将过去的经验以输入示例的形式存储在情景记忆中,并在学习新任务时重放它们。然而,这种方法的性能随着存储器的大小变得更小而受到影响。在本文中,我们提出了一种新的经验重放的方法,我们选择过去的经验,通过查看显着性图,为模型的决策提供视觉解释。在这些显着图的指导下,我们只将输入图像中对模型预测重要的部分或补丁装入内存。在学习新任务时,我们用适当的零填充来重放这些记忆补丁,以提醒模型过去的决定。我们在CIFAR-100,miniImageNet和CUB数据集上评估了我们的算法,并报告了比最先进方法更好的性能。通过定性和定量分析,我们表明,我们的方法捕捉更丰富的总结过去的经验,没有任何记忆增加,因此表现良好,小情景记忆。
2022-10-12 cs.CV cs.LG
AMBER: Adaptive Multi-Batch Experience Replay for Continuous Action Control
KAIST(韩国科学技术院)
针对连续动作控制中的近端策略优化问题,提出了一种新的自适应多批次经验重放方案。与原有的PPO算法不同,该算法使用过去策略的批量样本和当前策略进行下一个策略的更新,其中所使用的过去批次的数量是根据平均重要性采样(IS)权重衡量的过去批次的陈旧性自适应确定的.新算法将PPO与多批次经验回放方案相结合,通过存储预先计算的优点和值以及自适应地确定小批次大小,保持了原始PPO的优点,如随机小批次采样和低IS权重导致的小偏差。数值结果表明,所提出的方法显着提高了收敛速度和稳定性的各种连续控制任务相比,原来的PPO。
2018-10-02 cs.LG
Maximum Entropy Hindsight Experience Replay
Sandia National Laboratories(桑迪亚国家实验室)
本研究针对基于目标的强化学习场景,提出通过有原则地选择性应用HER的方式,改进此前适配同策略PPO算法的PPO-HER方法,进一步提升后见之明经验回放的效果。
2024-10-31 cs.LG
AdaMemento: Adaptive Memory-Assisted Policy Optimization for Reinforcement Learning
Peking University(北京大学);Tsinghua University(清华大学)
针对稀疏奖励强化学习问题,提出AdaMemento框架,通过记忆反思模块利用正负经验、细粒度内在动机引导探索以及集成学习自适应协调利用与探索,显著提升性能。
2026-05-27 cs.LG
Learn From the Past: Experience Ensemble Knowledge Distillation
Tsinghua University(清华大学);Tianjin University(天津大学)
传统的知识蒸馏将教师网络中的“暗知识”转移到学生网络中,忽略了教师在培训过程中的知识,即教师的经验。然而,在现实的教育场景中,学习体验往往比学习结果更重要。在这项工作中,我们提出了一种新的知识蒸馏方法,通过整合教师的经验知识转移,命名为经验集成知识蒸馏(EEKD)。我们从教师模型的训练过程中统一保存了适量的中间模型,然后通过集成技术将这些中间模型的知识进行集成。在知识转移过程中,自注意模块用于自适应地为不同的中间模型分配权重。从中间模型的质量、权重和数量三个方面探讨了构建EEKD的原则。一个令人惊讶的结论是,强大的合奏教师不一定产生强大的学生。在CIFAR-100和ImageNet上的实验结果表明,EEKD优于主流的知识蒸馏方法,达到了最新水平,特别是在节省训练成本的前提下,EEKD甚至超过了标准的集成蒸馏。
2022-02-25 cs.CV cs.LG
Complementary Learning for Overcoming Catastrophic Forgetting Using Experience Replay
University of Pennsylvania(宾夕法尼亚大学);HRL Laboratories, LLC(HRL实验室有限责任公司)
尽管取得了巨大的成功,但深度网络无法在顺序多任务学习环境中有效地学习,因为它们在学习新任务后会忘记过去学习的任务。受互补学习系统理论的启发,我们通过学习一个生成模型来解决这一挑战,该模型通过一个有区别的嵌入空间将当前任务与过去学习的任务耦合起来。我们在嵌入中学习一个抽象层次的生成分布,它允许生成数据点来表示经验。我们从这个分布中采样,并利用经验重放来避免遗忘,同时将新知识积累到抽象分布中,以便将当前任务与过去的经验结合起来。我们从理论上和经验上证明,我们的框架在嵌入中学习了一个分布,该分布在所有任务中共享,从而解决了灾难性遗忘。
2019-05-31 cs.LG stat.ML
Basis for Intentions: Efficient Inverse Reinforcement Learning using Past Experience
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
本文讨论了逆强化学习(IRL)的问题-从观察其行为推断代理的奖励函数。IRL可以为学徒学习提供一个可概括的和紧凑的表示,并能够准确地推断人类的偏好,以帮助他们。%,并提供更准确的预测。然而,有效的IRL是具有挑战性的,因为许多奖励函数可以与观察到的行为兼容。我们专注于如何利用先前的强化学习(RL)经验,使学习这些偏好更快,更有效。我们提出了IRL算法BASIS(通过样本特征意图推断的行为获取),该算法利用多任务RL预训练和后继特征,允许代理为跨越给定域中可能目标空间的意图建立强大的基础。当暴露于优化新目标的几个专家演示时,代理使用其基础来快速有效地推断奖励函数。我们的实验表明,我们的方法是非常有效的推断和优化演示奖励功能,准确地推断奖励功能,从不到100个轨迹。
2022-08-09 cs.LG
Deep Reinforcement Learning with Task-Adaptive Retrieval via Hypernetwork
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Peking University(北京大学);CASIA(中国科学院自动化研究所)
针对深度强化学习采样效率低的问题,提出基于任务条件超网络的任务自适应检索方法,结合动态修正机制增强检索与决策网络协同,在Minigrid多任务场景下性能显著优于强基线。
2024-03-06 cs.AI cs.LG
Learn to Adapt to New Environment from Past Experience and Few Pilot
Imperial College London(帝国理工学院);Zhejiang University(浙江大学)
近年来,深度学习在通信领域得到了广泛的应用,并取得了显著的性能提升。现有的大多数工作都是基于数据驱动的深度学习,这需要大量的训练数据用于通信模型以适应新的环境,并导致用于收集数据和重新训练模型的巨大计算资源。在本文中,我们将通过利用已知环境中的学习经验,显著减少新环境所需的训练数据量。因此,我们引入了少样本学习,使通信模型能够推广到新的环境,这是通过基于注意力的方法实现的。通过将注意力网络嵌入到基于深度学习的通信模型中,可以在训练过程中一起学习具有不同功率延迟分布的环境,这被称为学习体验。通过利用学习经验,通信模型只需要很少的导频块,在新的环境中表现良好。通过一个基于深度学习的信道估计的例子,我们证明了这种新的设计方法比现有的为少样本学习设计的数据驱动方法具有更好的性能。
2022-09-02 cs.IT cs.LG math.IT
Using Hindsight to Anchor Past Knowledge in Continual Learning
University of Oxford(牛津大学);Facebook AI(脸书人工智能研究院)
在持续学习中,学习者面对的是分布随时间而变化的数据流。众所周知,现代神经网络在这种情况下会受到影响,因为它们很快就会忘记以前获得的知识。为了解决这种灾难性遗忘,许多持续学习方法实现不同类型的经验重放,重新学习存储在称为情景记忆的小缓冲区中的过去数据。在这项工作中,我们用一个新的目标来补充经验重放,我们称之为锚定,学习者使用双层优化来更新其对当前任务的知识,同时保持对过去任务的一些锚点的预测不变。这些锚点是使用基于梯度的优化来学习的,以最大化遗忘,这是通过在过去任务的情景记忆上微调当前训练的模型来近似的。几个监督学习基准持续学习的实验表明,我们的方法提高了标准的经验重放的准确性和遗忘的指标和各种大小的情景记忆。
2021-03-02 cs.LG stat.ML
Experience Replay Optimization
Texas A&M University(德克萨斯农工大学)
经验重放使强化学习代理能够记住和重用过去的经验,就像人类对手头情况的重放记忆一样。当代的非策略算法要么统一地重放过去的经验,要么利用基于规则的重放策略,这可能是次优的。在这项工作中,我们考虑学习重放策略来优化累积奖励。重放学习是具有挑战性的,因为重放记忆是嘈杂的和大的,并且累积的奖励是不稳定的。为了解决这些问题,我们提出了一种新的经验重放优化(ERO)框架,交替更新两个政策:代理政策,和重放政策。更新代理以基于重放的数据最大化累积奖励,同时更新重放策略以向代理提供最有用的经验。在各种连续控制任务上进行的实验证明了ERO的有效性,经验上显示了经验重放学习的承诺,以提高非策略强化学习算法的性能。
2019-06-19 cs.LG stat.ML
Augmented Memory: Capitalizing on Experience Replay to Accelerate De Novo Molecular Design
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出增强记忆算法,将数据增强与经验回放结合以重复利用预言机评分,显著提升从头分子设计的样本效率,并在PMO基准的23项任务中19项上取得新最优。
2023-05-10 cs.LG q-bio.BM q-bio.QM
Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University(庆应义塾大学)
将多个计算节点互连的计算集群用于加速基于DQN(Deep Q-Network)的分布式强化学习。在分布式强化学习中,Actor节点通过与给定环境交互来获取经验,而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加,因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信,并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器,该服务器通过40 GbE(40 Gbit Ethernet)网络互连。评估结果表明,作为一种网络优化技术,内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术,行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%,并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
Improvements of Dark Experience Replay and Reservoir Sampling towards Better Balance between Consolidation and Plasticity
National Institute of Informatics (NII) / The Graduate University for Advanced Studies (SOKENDAI)(国立信息学研究院 / 高级研究大学)
本文改进暗经验回放与水库采样方法,通过自动适应权重、纠正错误数据和优化存储策略,实现持续学习中记忆巩固与可塑性的平衡。
2025-04-29 cs.LG
Remember and Forget for Experience Replay
ETH Zurich(苏黎世联邦理工学院)
经验重放(ER)是离线深度强化学习(RL)的一个基本组成部分。ER会调用过去迭代的经验来计算当前策略的梯度估计,从而提高数据效率。然而,当策略偏离过去的行为时,这种更新的准确性可能会恶化,并且可能会破坏ER的性能。许多算法通过调整超参数来减缓策略更改来缓解此问题。一种替代方案是主动地强制策略与重放存储器中的经验之间的相似性。我们介绍了记住和忘记经验重放(ReF-ER),一种新的方法,可以增强RL算法与参数化的政策。ReF-ER(1)跳过根据与当前策略太不可能的经验计算的梯度,并且(2)调节重放行为的信任区域内的策略改变。我们将ReF-ER与Q学习、确定性策略梯度和非策略梯度方法相结合。我们发现,ReF-ER一贯提高性能的连续行动,关闭政策RL完全可观察的基准和部分可观察的流量控制问题。
2019-05-20 cs.LG stat.ML
Bayesian Patchworks: An Approach to Case-Based Reasoning
University of Miami(迈阿密大学);Duke University(杜克大学)
医生常常依靠过去的经验来诊断病人。对于一个经验丰富的医生来说,几乎每一个病人,都和过去的关键病例有相似之处,每一个新的病人,都可以看作是这些关键病例的混合体。因为医生往往倾向于这样的推理,一个高效的计算辅助诊断工具,以同样的方式思考,可能有助于定位关键的过去感兴趣的情况下,可以帮助诊断。本文开发了一种新的数学模型来模仿医生在考虑过去的病例时使用的逻辑思维类型。所提出的模型还可以为医生提供类似于他们自然推理病例的解释。所提出的方法旨在产生预测准确性,计算效率和对医疗数据的洞察;关键要素是对医疗数据的洞察,在某种意义上,我们正在自动化医生可能手动执行的复杂过程。我们最终在两个公开的医疗数据集上实现了这项工作的结果,用于心脏病预测和乳腺癌预测。
2018-09-10 cs.AI cs.LG stat.ML
Variance Reduction based Experience Replay for Policy Optimization
对于复杂随机系统上的强化学习,其中许多因素动态地影响输出轨迹,期望有效地利用来自在先前迭代中收集的历史样本的信息来加速策略优化。经典经验重放允许代理通过重复使用历史观察来记住。然而,平等对待所有观测的统一重用策略忽略了不同样本的相对重要性。为了克服这一限制,我们提出了一个通用的基于方差减少的经验回放(VRER)框架,该框架可以选择性地重用最相关的样本来改进政策梯度估计。这种选择机制可以自适应地将更多权重放在更可能由当前目标分布生成的过去样本上。我们的理论和实证研究表明,所提出的VRER可以加快学习的最优策略,提高性能的国家的最先进的政策优化方法。
2022-09-09 cs.LG stat.ML
OCTNet: Trajectory Generation in New Environments from Past Experiences
the University of Sydney(悉尼大学);NVIDIA(英伟达)
能够在动态环境中长时间安全运行是自治系统的关键能力。这通常涉及对周围环境中的动态实体(例如车辆和人)的运动模式的预测和理解。文献中的许多运动预测方法可以学习函数,将位置和时间映射到人或其他动态实体采取的潜在轨迹。然而,这些预测仅依赖于先前观察到的轨迹,并且没有明确考虑环境。在一个环境中获得的运动趋势通常特定于该环境,并且不用于更好地预测其他环境中的运动。在本文中,我们解决的问题,产生可能的运动动态条件的环境,表示为占用地图。我们引入了Occupational Conditional Trajectory Network(OCTNet)框架,能够概括已知环境中先前观察到的运动,以在新的环境中生成没有观察到运动的轨迹。OCTNet将轨迹编码为固定大小的参数向量,并利用神经网络学习参数的条件分布。我们经验证明我们的方法的能力,在不同的环境中产生复杂的多模态轨迹模式。
2019-09-25 cs.LG cs.RO
Floyd-Warshall Reinforcement Learning: Learning from Past Experiences to Reach New Goals
The University of Michigan(密歇根大学);Purdue University(普渡大学)
考虑涉及静态环境和动态目标的多目标任务。这类任务的例子比比皆是,比如目标导向导航和机器人中的拾取和放置。两种类型的强化学习(RL)算法用于此类任务:无模型或基于模型。这些方法中的每一种都有局限性。当目标位置改变时,无模型强化学习很难传递学习到的信息,但在单目标任务中达到了很高的渐近精度。基于模型的强化学习可以通过保留显式学习的状态动态来将学习到的信息转移到新的目标位置,但受限于建模这些动态的小错误在长期规划中积累的事实。在这项工作中,我们改进了无模型强化学习在多目标领域的局限性。我们通过将Floor-Warshall算法用于RL来实现这一点,并将自适应称为Floor-Warshall RL(FWRL)。该算法通过约束任意两个状态之间的最优路径的值大于或等于经由中间状态的路径的值来学习目标条件动作价值函数。在实验中,我们表明,FWRL是更有效的样本和学习更高的奖励策略,在多目标任务相比,Q学习,基于模型的RL和其他相关基线在一个表格域。
2019-01-04 cs.LG stat.ML
Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization
University of Southern California(南加州大学)
针对严格类增量持续学习的遗忘难题,提出基于时间感知正则化的生成式经验重放方法,动态微调三类训练目标,在主流基准上提升了记忆保留能力与持续任务平均性能。
2023-10-05 cs.LG
Contrastive Initial State Buffer for Reinforcement Learning
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Robotics and Perception Group(机器人与感知组)
本文提出对比初始状态缓冲区方法,通过复用过去经验中的状态初始化智能体以提升探索效率,并在四足机器人和无人机任务中验证其能提高性能并加速收敛。
2024-02-26 cs.LG
Exploring Restart Distributions
Imperial College London(帝国理工学院);Mila(米拉研究所);McGill University(麦吉尔大学)
我们认为使用经验记忆,以帮助探索适应重新启动分布的通用方法。也就是说,考虑到重置状态的能力与那些对应于代理的过去的观察,我们通过促进更快的状态空间覆盖,通过重新启动代理从一组更多样化的初始状态,以及允许它重新启动与重要的过去的经验相关联的状态,帮助探索。这种方法与策略内和策略外方法都兼容。然而,需要注意的是,当在受限的策略类别中搜索时,改变初始状态的分布可能会改变最优策略。为了减少这种不必要的学习偏差,我们在深度强化学习中评估了我们的方法,该方法受益于深度神经网络的高表示能力。我们实例化我们的方法的三个变体,每个变体的灵感来自于经验重放的背景下的一个想法。使用这些变体,我们表明,可以实现性能增益,特别是在硬勘探问题。
2020-08-18 cs.AI cs.LG stat.ML
Dense Dynamics-Aware Reward Synthesis: Integrating Prior Experience with Demonstrations
University of Texas at Austin, USA(德克萨斯大学奥斯汀分校);University of Washington, USA(华盛顿大学)
本文提出一种系统化的奖励塑造框架,结合先验数据集和少量专家演示,生成密集动态感知奖励,加速连续控制任务的学习。
2025-04-24 cs.LG
Predictive Information Accelerates Learning in RL
Google Research(谷歌研究院);University of Michigan(密歇根大学)
预测信息是过去和未来之间的互信息,I(X_past; X_future)。我们假设捕捉预测信息在强化学习中是有用的,因为对接下来会发生什么进行建模的能力对于许多任务的成功是必要的。为了验证我们的假设,我们训练软演员-评论家(SAC)代理从像素与辅助任务,学习RL环境动态的预测信息的压缩表示使用对比版本的条件熵瓶颈(CEB)目标。我们将这些称为预测信息SAC(PI-SAC)代理。我们表明,PI-SAC代理可以大大提高样本效率的挑战性基线任务从DM控制套件的连续控制环境。我们通过与未压缩的PI-SAC代理,其他压缩和未压缩的代理以及直接从像素训练的SAC代理进行比较来评估PI-SAC代理。我们的实现在GitHub上给出。
2020-10-26 cs.AI cs.IT cs.LG
Similarity-based transfer learning of decision policies
Adaptive System Department Institute of Information Theory;Automation The Czech Academy of Sciences Prague, Czech Republic
考虑了从过去经验中学习决策策略的问题。使用完全概率设计(FPD)的形式主义,我们提出了一个新的一般方法,从过去的数据中找到一个随机的政策。
2020-06-12 cs.AI cs.LG cs.SY
Online Contrastive Divergence with Generative Replay: Experience Replay without Storing Data
Eindhoven University of Technology(埃因霍温理工大学);University of Pennsylvania(宾夕法尼亚大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在20世纪90年代早期,经验重放(ER)被证明是一种成功的机制,允许在线学习算法重用过去的经验。传统上,ER可以应用于所有机器学习范例(即,无监督、有监督和强化学习)。最近,ER有助于提高深度强化学习的性能。然而,它在许多实际环境中的应用仍然受到ER的内存要求的限制,需要明确存储以前的观察结果。为了解决这个问题,我们探索了一种新的方法,在线对比发散与生成重放(OCD_GR),它使用限制玻尔兹曼机(RBM)的生成能力,而不是记录过去的经验。RBM是在线训练的,并且不需要系统存储任何观察到的数据点。我们在9个真实世界的数据集上比较了OCD_GR和ER,考虑了最坏的情况(以排序顺序到达的数据点)以及更现实的情况(顺序随机顺序的数据点)。我们的结果表明,在64.28%的情况下,OCD_GR优于ER,在剩余的35.72%情况下,它具有几乎相同的性能,同时具有显著降低的空间复杂度(即,存储器使用)以相当的时间复杂度。
2016-10-18 cs.LG cs.NE
COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习已被应用于各种各样的机器人问题,但大多数此类应用都涉及为每个新任务从头开始收集数据。由于我们可以为任何单个任务收集的机器人数据量受到时间和成本因素的限制,因此学习的行为通常很窄:该策略只能在其训练的少数场景中执行任务。如果有一种方法可以合并大量的先前数据,无论是来自先前解决的任务还是来自无监督或无方向的环境交互,来扩展和概括习得的行为虽然大多数使用预先收集的数据来扩展机器人技能的工作都集中在建立显式的层次结构或技能分解上,但本文表明,我们可以简单地通过动态规划重用先前的数据来扩展新技能。我们表明,即使先前的数据实际上没有成功地解决新的任务,它仍然可以用于学习一个更好的政策,通过提供代理与其环境的力学更广泛的理解。我们通过将先前数据集中的几个行为链接在一起来解决新任务来证明我们方法的有效性,我们最难的实验设置涉及连续组成四个机器人技能:拾取,放置,抽屉打开和抓取,其中仅在任务完成时提供+1/0稀疏奖励。我们以端到端的方式训练我们的策略,将高维图像观测映射到低级别的机器人控制命令,并在模拟和真实世界域中呈现结果。其他材料和源代码可以在我们的项目网站上找到:https://sites.google.com/view/cog-rl
2020-10-27 cs.LG cs.RO
ExWarp: Extrapolation and Warping-based Temporal Supersampling for High-frequency Displays
Indian Institute of Technology New Delhi(新德里印度理工学院)
针对高频显示下GPU帧率不足及现有帧外推方法的精度速度矛盾,本文提出ExWarp方法,通过强化学习智能选择两种外推方式,实现4倍帧率提升且画质损失极小。
2023-07-24 cs.AR cs.CV cs.GR