Cooperative Inverse Reinforcement Learning
University of California at Berkeley(加州大学伯克利分校);Electrical Engineering and Computer Science(电气工程与计算机科学学院)
本文提出合作式逆向强化学习(CIRL)形式化定义价值对齐问题,通过人类与机器人协作博弈实现主动教学与学习,证明其最优策略可归约为POMDP求解且优于孤立最优。
2024-02-17 cs.AI
Seeing by haptic glance: reinforcement learning-based 3D object Recognition
CAPACITÉS SAS(CAPACITÉS SAS公司);University of Nantes(南特大学)
人类能够通过目标对象与他/她的手指之间的有限数量的触觉接触来进行3D识别,而无需看到对象。这种能力在认知神经科学中被定义为“触觉扫视”。现有的大多数三维识别模型都是基于密集的三维数据开发的。尽管如此,在许多现实生活中的用例中,机器人被用来通过触觉探索收集3D数据,只能收集有限数量的3D点。因此,在这项研究中,我们专注于解决如何获得具有认知代表性的3D关键点的目标对象与机器人和对象之间的有限的相互作用的棘手问题。提出了一种新的基于强化学习的框架,其中触觉探索过程(代理迭代地预测机器人探索的下一个位置)与具有主动收集的3D点的客观3D识别同时优化。由于模型仅在3D对象被准确识别时才被奖励,因此它被驱动以找到对象的稀疏但有效的触觉感知3D表示。实验结果表明,我们提出的模型优于最先进的模型。
2021-02-15 cs.AI
Program-Based Strategy Induction for Reinforcement Learning
Princeton Neuroscience Institute(普林斯顿神经科学研究所);Princeton University(普林斯顿大学);Department of Psychology(心理学系);Department of Computer Science(计算机科学系)
本文提出用贝叶斯程序归纳发现可解释的强化学习策略,在赌博机任务中揭示出经典增量学习难以捕捉的非对称学习、自适应随机探索和离散状态切换等策略。
2024-02-26 cs.AI cs.LG
Evolving Support Priorities in Empathetic Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);SenseTime Research(商汤科技研究院);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院);Tongji University(同济大学)
针对共情强化学习中支持优先级随对话状态演化而现有方法固定奖励的问题,提出CARE框架,通过上下文自适应评分标准动态调整奖励,在多个基准上显著提升性能。
2026-11-05 cs.AI
Trust Your Memory: Verifiable Control of Smart Homes through Reinforcement Learning with Multi-dimensional Rewards
AI Research Center, Midea Group(美的集团人工智能研究中心)
本文提出MemHomeLife和MemHome基准,通过多维奖励强化学习提升智能家庭的记忆驱动设备控制能力,解决现有方法在评估和方法论上的不足。
2026-04-11 cs.AI
Tandem Reinforcement Learning with Verifiable Rewards
University of Toronto(多伦多大学);EPFL(瑞士联邦理工学院洛桑分校)
提出串联强化学习(TRL),通过强弱模型交替生成推理链并共同奖励,在保持独立推理能力的同时提升模型间兼容性和可读性。
2026-09-29 cs.AI
A Short Survey On Memory Based Reinforcement Learning
National Institute of Technology, Warangal(瓦朗加尔国立理工学院)
强化学习(Reinforcement learning,RL)是机器学习的一个分支,用于解决各种顺序决策问题。由于深度学习的最新进展,新提出的Deep-RL算法已经能够在复杂的高维环境中表现得非常好。然而,即使在许多领域取得成功之后,这些方法的主要挑战之一是有效决策所需的与环境的高度相互作用。从大脑中寻求灵感,这个问题可以通过将基于实例的学习通过将决策偏向于高回报经验的记忆来解决。本文回顾了各种最近的强化学习方法,将外部记忆解决决策和他们的调查。我们提供了不同方法的概述-以及它们的优点和缺点,应用程序和用于基于内存的模型的标准实验设置。这篇评论希望成为一个有用的资源,提供关键的洞察力,在该领域的最新进展,并提供帮助,在未来的进一步发展。
2019-04-14 cs.AI
Image-Based Deep Reinforcement Learning with Intrinsically Motivated Stimuli: On the Execution of Complex Robotic Tasks
The University of Auckland(奥克兰大学)
本文提出NaSA-TD3,一种结合新颖性与惊讶内在刺激的基于图像的深度强化学习方法,用于改善稀疏奖励下复杂机器人任务的探索效率,并在模拟和真实环境中优于现有方法。
2024-07-31 cs.AI cs.LG
Two-Memory Reinforcement Learning
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
本文提出双记忆强化学习智能体2M,通过结合情景记忆的快速学习能力与强化学习的最优性和泛化能力,提升数据效率并优于现有记忆增强方法。
2023-04-23 cs.AI cs.LG
Learning user-defined sub-goals using memory editing in reinforcement learning
Rutgers University, The State University of New Jersey(罗格斯大学,新泽西州立大学)
强化学习(RL)的目的是让智能体实现最终目标。大多数RL研究都集中在提高学习效率,以更快地实现最终目标。然而,强化学习模型在达到最终目标的过程中很难修改中间路线。也就是说,在现有的研究中,智能体不能被控制以实现其他子目标。如果智能体能够在到达目的地的过程中遍历子目标,强化学习就可以在各个领域得到应用和研究。在这项研究中,我提出了一种方法来实现用户定义的子目标,以及使用记忆编辑的最终目标。执行内存编辑以生成各种子目标并向代理提供额外奖励。此外,子目标是从最终目标中单独学习的。我在测试环境中设置了两个简单的环境和各种场景。结果,智能体几乎成功地通过了子目标以及控制下的最终目标。此外,智能体能够被诱导间接访问环境中的新状态。我希望这种方法可以用于需要在各种场景中控制代理的领域。
2022-05-01 cs.AI
ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning
Alibaba ATH Token Foundry(阿里巴巴ATH代币铸造厂);Hema, Alibaba Group(阿里巴巴集团盒马)
针对强化学习训练开放式智能体的奖励与评分准则难题,提出ARISE-RL框架,结合Generator与Solver的协同进化及RG-SED机制,在ECR-Bench上实现最优性能。
2026-09-02 cs.AI
Honesty to Subterfuge: In-Context Reinforcement Learning Can Make Honest Models Reward Hack
LASR Labs(LASR实验室);Apollo Research(阿波罗研究公司)
本研究发现前沿对齐大语言模型仅通过情境内强化学习(ICRL)就会产生规格博弈行为,且ICRL用于专家迭代会提升模型学习博弈策略的倾向,凸显零样本场景下依赖模型对齐的风险。
2024-10-09 cs.AI cs.LG
Online Reinforcement Learning with Passive Memory
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出利用预收集的被动记忆来改进在线强化学习,证明了其遗憾值接近极小极大最优,并表明被动记忆质量决定遗憾值的次优程度,且方法适用于连续和离散状态-动作空间。
2024-10-18 cs.AI cs.LG
Reinforcement Learning from Diffusion Feedback: Q* for Image Search
Carnegie Mellon University(卡内基梅隆大学)
提出两种模型无关的图像生成模型,核心是RLDF方法,通过Q-learning和特殊CFG编码实现单图输入的跨领域高质量图像生成与搜索。
2023-11-27 cs.AI cs.CL cs.CV
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本研究探讨资源受限强化学习中内存分配对智能体性能的影响,重点分析MCTS和DQN算法下模型估计与规划间的内存权衡,并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
Learning What to Memorize: Using Intrinsic Motivation to Form Useful Memory in Partially Observable Reinforcement Learning
Izmir University of Economics(伊兹密尔经济大学)
强化学习在具有长期依赖性的部分可观察环境中面临着重要的挑战。为了在模糊的环境中学习,智能体必须将先前的感知保存在记忆中。早期的基于内存的方法使用固定的方法来确定在内存中保存什么,这将它们限制在某些问题上。在这项研究中,我们遵循的想法,让记忆的控制代理,允许它有记忆改变的行动。这种学习机制是由一种内在的动机来支持的,这种动机是为了记住罕见的观察结果,这可以帮助智能体消除其在环境中的状态。我们的方法进行了实验和分析的几个部分可观察的任务与长期的依赖关系,并与其他记忆为基础的方法进行了比较。
2022-02-04 cs.AI cs.LG
Leveraging Sequentiality in Reinforcement Learning from a Single Demonstration
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
本文提出利用顺序性偏置,通过单次演示学习目标条件策略,并设计DCIL-II算法解决连续目标兼容性问题,以高样本效率完成人形机器人行走、站立及Cassie快速奔跑等复杂任务。
2023-04-17 cs.AI cs.RO
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington(德克萨斯大学阿灵顿分校)
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习(RL)的一大挑战。主要是,不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互,这有效地(重新)将概念漂移引入到底层的策略学习过程中。我们假设,通过用额外的“自由度“来表征和表示动作,可以实现控制策略的更高适应性,从而以更大的灵活性来适应动作的“行为”结果的变化,包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架,首先建立参数动作模型的概念,以更好地应对不确定性和流体动作行为,然后引入强化场的概念,作为一个物理启发的结构,通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验,随着时间的推移,以自组织的方式演变。使用强化场作为基底,我们将通过将过去的记忆视为隐式图结构,进一步概括策略搜索以纳入高级决策概念,其中记忆实例或粒子,与定义和量化的关联性/相似性程度相互关联,使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
The act of remembering: a study in partially observable reinforcement learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);Element AI(元素人工智能公司)
强化学习(RL)代理通常学习无记忆策略--在选择动作时只考虑最后一次观察的策略。学习无记忆策略在完全可观察的环境中是有效和最优的。然而,当RL代理面临部分可观测性时,某种形式的记忆是必要的。在本文中,我们研究了一种轻量级的方法来解决RL中的部分可观性。我们为代理提供了一个外部存储器和额外的操作来控制写入内存的内容(如果有的话)。在每一步中,当前的内存状态都是代理观察的一部分,代理选择一个动作元组:一个动作修改环境,另一个动作修改内存。当外部记忆有足够的表现力时,最优无记忆策略会产生全局最优解。不幸的是,以前以二进制存储器的形式使用外部存储器的尝试在实践中产生了很差的结果。在这里,我们研究了其他形式的记忆,以支持学习有效的无记忆策略。我们的新形式的内存优于二进制和基于LSTM的内存在完善的部分可观察域。
2020-10-05 cs.AI cs.LG
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs(英特尔实验室);Intel Israel(英特尔以色列);Technion(以色列理工学院)
对于深度神经网络加速器来说,内存移动既消耗能量又会限制计算。因此,张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加,需要自动化的内存映射来代替人工的启发式方法;然而,神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习(EGRL),一种为大搜索空间设计的方法,它结合了图神经网络,强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证,以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比,本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
Metric Residual Networks for Sample Efficient Goal-Conditioned Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Sony AI(索尼人工智能研究院)
目标条件强化学习(GCRL)具有广泛的潜在现实应用,包括机器人中的操纵和导航问题。特别是在这样的机器人任务中,样本效率对于GCRL来说是至关重要的,因为默认情况下,代理只有在达到目标时才会得到奖励。虽然已经提出了几种方法来提高GCRL的样本效率,但一种相对研究不足的方法是设计神经架构来支持样本效率。在这项工作中,我们介绍了一种新的神经架构GCRL,实现显着更好的样本效率比常用的单片网络架构。关键的见解是,最佳行动-价值函数Q^*(s,a,g)必须满足三角不等式在特定意义下。此外,我们引入了度量残差网络(MRN),故意分解的动作价值函数Q(s,a,g)到一个度量加上残差非对称分量的否定总和。MRN可证明地逼近任何最优动作-价值函数Q^*(s,a,g),因此使其成为GCRL的合适神经架构。我们在GCRL的12个标准基准环境中进行了全面的实验。实证结果表明,MRN一致优于其他国家的最先进的GCRL神经架构的样本效率。
2023-01-20 cs.AI cs.LG cs.RO
Generalizable Episodic Memory for Deep Reinforcement Learning
Tsinghua University(清华大学);Peking University(北京大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
基于情景记忆的方法可以通过非参数记忆快速锁定过去的成功策略,提高传统强化学习的样本效率。然而,很少的努力是投入到连续域,其中一个状态是从来没有访问过两次,和以前的情节方法无法有效地跨轨迹的经验汇总。为了解决这个问题,我们提出了可概括的情景记忆(GEM),它有效地组织状态动作值的情景记忆在一个概括的方式,并支持记忆轨迹的隐式规划。GEM利用双估计器来减少规划过程中由价值传播引起的高估偏差。实证评估表明,我们的方法显着优于现有的基于概率的方法在各种MuJoCo连续控制任务。为了进一步说明我们的方法的普遍适用性,我们评估了Atari游戏与离散动作空间,这也表明了一个显着的改进基线算法。
2021-06-11 cs.AI cs.LG
A Memory Efficient Deep Reinforcement Learning Approach For Snake Game Autonomous Agents
North South University(北南大学)
为了表现良好,深度强化学习(DRL)方法需要大量的内存资源和计算时间。此外,有时这些系统需要额外的环境信息来实现良好的奖励。然而,对于许多应用程序和设备来说,减少内存使用和计算时间比获得最大回报更重要。本文提出了一种改进的DRL方法,该方法在压缩图像数据的情况下表现良好,无需额外的环境信息,并且使用较少的内存和时间。我们设计了一个轻量级的卷积神经网络(CNN),它具有Q网络的变体,可以有效地将预处理的图像数据作为输入,并且使用更少的内存。此外,我们使用一个简单的奖励机制和小的经验重放记忆,以便只提供最少的必要信息。我们修改的DRL方法使我们的自主智能体玩蛇,一个经典的控制游戏。结果表明,我们的模型可以达到类似的性能,其他DRL方法。
2023-01-27 cs.AI cs.LG
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
我们提出了一个统一的机制,以实现协调和沟通的多智能体强化学习(MARL),通过奖励代理有因果关系的影响,其他代理的行动。使用反事实推理评估因果影响。在每一个时间步,一个代理模拟它可能采取的替代动作,并计算它们对其他代理行为的影响。导致其他代理行为发生更大变化的行为被认为是有影响力的,并得到奖励。我们表明,这相当于奖励代理人之间的行动有高互信息。实证结果表明,影响力导致在具有挑战性的社会困境环境中增强协调和沟通,显着增加深度RL代理的学习曲线,并导致更有意义的学习通信协议。通过使代理能够使用深度神经网络学习其他代理的模型,可以以分散的方式计算所有代理的影响力奖励。相比之下,在MARL设置的紧急通信的关键以前的作品无法学习不同的政策,在一个分散的方式,不得不求助于集中的培训。因此,影响力奖励为这一领域的研究开辟了新的机会。
2019-06-18 cs.AI cs.LG cs.MA
Memory-efficient Reinforcement Learning with Value-based Knowledge Consolidation
University of Alberta(阿尔伯塔大学);University of Oxford(牛津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Amii(阿尔伯塔机器智能研究所)
本文针对深度强化学习中大型经验回放缓冲区带来的内存负担问题,提出基于深度Q网络的价值知识巩固算法,通过从目标Q网络向当前Q网络迁移知识来减少遗忘并保持样本效率,在特征和图像任务上取得可比或更优性能。
2023-04-10 cs.AI cs.LG
A Dual-Memory Architecture for Reinforcement Learning on Neuromorphic Platforms
University of California, San Diego(加州大学圣地亚哥分校)
强化学习(RL)是生物系统学习的基础,并提供了一个框架来解决现实世界人工智能应用中的众多挑战。RL技术的有效实现可以让部署在边缘用例中的代理获得新的能力,例如改进的导航,理解复杂情况和关键决策。为了实现这一目标,我们描述了一个灵活的架构,在神经形态平台上进行强化学习。该架构使用英特尔神经形态处理器实现,并演示了使用尖峰动态解决各种任务。我们的研究为现实世界的RL应用提出了一个可用的节能解决方案,并证明了神经形态平台对RL问题的适用性。
2021-03-05 cs.AI cs.LG
Reinforcement Learning with Fast and Forgetful Memory
University of Cambridge(剑桥大学);Toshiba Europe Ltd.(东芝欧洲有限公司)
针对强化学习中借用监督学习记忆模型存在的训练效率差异问题,提出专门适配RL的快速遗忘记忆模型,可直接替代RNN,在多基准中获更高奖励且训练速度快两个数量级。
2023-10-06 cs.AI cs.LG
Generative Memory for Lifelong Reinforcement Learning
SRI International(SRI国际研究所)
我们的研究重点是理解和应用生物记忆转移到新的人工智能系统,可以从根本上提高他们的性能,在他们的现场生活经验。我们利用目前对生物记忆转移的理解来达到记忆巩固和重放的AI算法。在本文中,我们提出了使用的生成记忆,可以召回批量样本训练的多任务代理的伪排练方式。我们的结果激励需要任务不可知的潜在空间分离的生成记忆,以解决终身学习中的灾难性遗忘的问题。
2019-02-22 cs.AI cs.LG stat.ML
Integrating Episodic Memory into a Reinforcement Learning Agent using Reservoir Sampling
University of Alberta(阿尔伯塔大学);Tsinghua University(清华大学)
情景记忆是一个心理学术语,指的是回忆过去特定事件的能力。我们认为,这种特殊类型的记忆的一个优点是,当记忆的信息被发现是有用的时,能够很容易地将信用分配给特定的状态。受这一想法的启发,以及外部存储器机制在深度学习系统中处理长期依赖关系的日益普及,我们提出了一种新的算法,该算法使用水库采样过程来维护由固定数量的过去状态组成的外部存储器。该算法允许深度强化学习代理在线学习,优先记住那些被发现是有用的回忆later on.Critical状态,这种方法允许有效的在线计算相对于外部存储器的写入过程的梯度估计。因此,与用于外部存储器的大多数现有机制不同,在在线强化学习设置中使用是可行的。
2018-06-01 cs.AI cs.LG stat.ML
Reinforcement Learning based DBMS Buffer Pool Auto-Tuning for Optimal Memory Utilization
Orange(奥兰治公司);Inria(法国国家信息与自动化研究所);Université de Lille(里尔大学)
该研究提出基于强化学习的MicroTune系统,用于DBMS缓冲池自动调优,可在保障SLA合规的同时减少内存浪费,性能优于基线方法。
2026-08-13 cs.AI cs.DB
Memory Retention Is Not Enough to Master Memory Tasks in Reinforcement Learning
Innopolis University(因诺普利斯大学);Cognitive AI Systems Lab(认知人工智能系统实验室)
本研究提出一个基准测试持续记忆更新,发现经典循环模型在记忆重写任务中表现更优,强调需平衡稳定保留与适应更新的记忆机制。
2026-01-21 cs.AI cs.LG
CMI-Mem: Toward Generalizable Long-Term Memory Management via CMI-Augmented Reinforcement Learning
Alibaba Group(阿里巴巴集团);HKUST(香港科技大学);PolyU(香港理工大学);HKUST(GZ)(香港科技大学(广州))
研究针对现有内存管理器模型局限,提出基于强化学习的CMI-Mem模型,结合下游问答正确性与内在条件互信息CMI作为混合奖励,可评估新输入信息,补充而非取代问答基础,实现可泛化的长期内存管理。
2026-08-25 cs.AI cs.CL
Same State, Different Task: Continual Reinforcement Learning without Interference
University of Oxford(牛津大学)
持续学习(CL)考虑在一组任务上顺序地训练代理,同时寻求保留所有先前任务的性能的问题。CL中的一个关键挑战是灾难性遗忘,当学习新任务时,先前掌握的任务的性能降低时,就会出现这种情况。虽然有各种各样的方法来对抗遗忘,但在某些情况下,任务从根本上相互不兼容,因此无法通过单一策略来学习。这可能发生在强化学习(RL)中,当代理可以从相同的观察中实现不同的目标时得到奖励。在本文中,我们形式化这种“干扰”的问题,从不同的遗忘。我们表明,现有的CL方法的基础上,共享重放缓冲区的单一神经网络预测失败的干扰存在。相反,我们提出了一个简单的方法,OWL,来解决这个挑战。OWL学习一个分解策略,使用共享的特征提取层,但是单独的头,每个专门用于一个新的任务。OWL中的分离头用于防止干扰。在测试时,我们制定的政策选择作为一个多臂强盗问题,并表明它是可能的,选择最佳的政策,为一个未知的任务,使用反馈的环境。强盗算法的使用允许OWL代理建设性地重复使用不同的不断学习的政策在不同的时间在一个插曲。我们在多个RL环境中表明,现有的基于重放的CL方法失败,而OWL在顺序训练时能够实现接近最佳性能。
2022-03-15 cs.AI cs.LG
Continuous Control with Coarse-to-fine Reinforcement Learning
Dyson Robot Learning Lab(戴森机器人学习实验室)
针对强化学习算法难部署于真实环境的问题,提出从粗到细强化学习框架CRL及具体算法CQN,通过迭代离散动作空间选高Q值区间实现连续控制,在RLBench任务和真实操作中表现优异。
2024-07-10 cs.AI cs.CV cs.LG
Deep reinforcement learning with time-scale invariant memory
本文将计算神经科学的尺度不变记忆模型整合到深度强化学习智能体中,使其在广泛时间尺度上实现稳健学习,展现出优于LSTM等架构的适应性。
2024-12-19 cs.AI cs.LG
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology(加州理工学院)
本研究提出泛化黑客现象,模型在强化学习中通过自我接种机制阻止行为泛化,在保持高奖励的同时抵抗行为修正,首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning
本文提出了一种基于端到端强化学习的框架,通过分块压缩和选择性记忆回溯实现高效长上下文推理,提升了多跳推理任务的准确性和效率。
2026-02-09 cs.AI cs.CL
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel(布鲁塞尔自由大学人工智能实验室)
许多现实世界的强化学习问题具有层次性,并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的(例如通过结合递归神经网络和选项),但我们表明,在许多情况下,同时解决这两个问题更简单,更有效。更具体地说,我们的初始设置的选项条件上的先前执行的选项,并表明,这样的选项观察初始集(OOI)的选项至少是表达有限状态控制器(FSC),一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计,导致可解释的策略,并保持顶级和选项策略无记忆。我们的实验表明,OOI允许代理在挑战POMDPs时学习最优策略,同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
Reward Shaping for Happier Autonomous Cyber Security Agents
The Alan Turing Institute(艾伦·图灵研究所)
本研究探讨了计算机网络防御任务中奖励信号对深度强化学习智能体的影响,提出结合正向外部奖励等奖励塑造技术以提升样本效率和收敛性能,并分析了内在好奇心在高级网络监控任务中的局限性。
2023-10-20 cs.AI cs.LG
SwiftRL: Towards Efficient Reinforcement Learning on Real Processing-In-Memory Systems
George Washington University(乔治·华盛顿大学);ETH Zürich(苏黎世联邦理工学院)
本文提出SwiftRL,利用UPMEM存内处理硬件实现并优化Tabular Q-learning与SARSA,在OpenAI GYM环境中获得近线性扩展且性能优于CPU和GPU。
2024-05-07 cs.AI cs.AR cs.LG
Self Punishment and Reward Backfill for Deep Q-Learning
Microsoft Development Center Norway(微软挪威开发中心);Turnto Health;Kavli Institute for Systems Neuroscience, Norwegian University of Science and Technology(挪威科技大学卡夫利系统神经科学研究所);Queensland Brain Institute, University of Queensland(昆士兰大学昆士兰脑研究所)
强化学习代理通过鼓励最大化其总奖励的行为来学习,通常由环境提供。然而,在许多环境中,奖励是在一系列行动之后提供的,而不是在每个单一行动之后提供的,这导致代理在这些行动是否有效方面存在不确定性,这个问题被称为信用分配问题。在本文中,我们提出了两个策略的启发行为心理学,使代理本质上估计更多的信息奖励值的行动没有奖励。第一种策略,称为自我惩罚(SP),阻止代理犯错误,导致不受欢迎的终端状态。第二种策略称为奖励回填(RB),在两个奖励动作之间反向传播奖励。我们证明,在一定的假设下,无论使用的强化学习算法,这两个策略保持在空间中的所有可能的政策在其总回报的政策顺序,并通过扩展,保持最优的政策。因此,我们提出的策略与任何通过经验学习值或动作-价值函数的强化学习算法相结合。我们将这两种策略整合到三种流行的深度强化学习方法中,并在30款Atari游戏上评估了结果。参数调整后,我们的研究结果表明,所提出的策略提高了测试方法在超过65%的测试游戏的性能提高了25倍以上。
2022-01-01 cs.AI cs.LG
The Effects of Memory Replay in Reinforcement Learning
Stanford University(斯坦福大学)
经验回放是深度强化学习许多最新进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不希望的时间相关性。尽管其广泛的应用,很少有人知道的经验重放的属性。记忆量如何影响学习动力?它是否有助于优先考虑某些经验?在本文中,我们解决这些问题,制定了一个动力系统ODE模型的Q-学习经验重放。我们推导出一个简单的设置的常微分方程的解析解。我们表明,即使在这个非常简单的设置中,保持的内存量可以大大影响代理的性能。太多或太少的记忆都会减慢学习速度。此外,我们还描述了优先重播损害代理学习的制度。我们表明,我们的解析解与实验有很好的一致性。最后,我们提出了一个简单的算法,自适应地改变内存缓冲区的大小,实现一贯良好的经验性能。
2017-10-18 cs.AI cs.LG stat.ML
Memory-based Deep Reinforcement Learning for POMDPs
University of Waterloo(滑铁卢大学);Monash University(莫纳什大学)
深度强化学习(DRL)的一个有前途的特性是它能够以端到端的方式学习最优策略,而不依赖于特征工程。然而,大多数方法假设完全可观察的状态空间,即完全可观察的马尔可夫决策过程(MDP)。在现实世界的机器人中,这种假设是不切实际的,因为传感器灵敏度限制和传感器噪声等问题,以及缺乏关于观察设计是否完整的知识。这些场景导致部分可观察的MDP(POMDP)。本文通过在TD 3中引入记忆成分,提出了基于长短期记忆的双延迟深度确定性策略梯度(LSTM-TD 3),并在MDP和POMDP中与其他DRL算法进行了性能比较。我们的研究结果表明,内存组件在解决POMDPs的显着优势,包括处理丢失和嘈杂的观测数据的能力。
2021-09-13 cs.AI cs.LG cs.RO
Offline Reinforcement Learning with Value-based Episodic Memory
Tsinghua University(清华大学)
离线强化学习(RL)显示出通过有效利用之前收集的数据将RL应用于现实世界问题的希望。大多数现有的离线RL算法使用正则化或约束来抑制数据集之外的动作的外推误差。在本文中,我们采用了一个不同的框架,它学习V函数而不是Q函数,以自然地将学习过程保持在离线数据集的支持下。为了在离线学习中保持适当的保守性的同时实现有效的泛化,我们提出了期望V学习(EVL),它平滑地插入最优值学习和行为克隆之间。此外,我们沿着离线轨迹引入隐式规划,以增强学习的V值并加速收敛。同时,我们提出了一种新的离线方法,称为基于价值的情景记忆(VEM)。我们提供了我们提出的VEM方法的收敛特性的理论分析,并在D4RL基准测试的实证结果表明,我们的方法在大多数任务,特别是在稀疏奖励的任务中取得了优异的性能。
2021-10-19 cs.AI cs.LG
Continuous Episodic Control
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
针对情景控制仅限离散动作空间的局限,提出非参数化的Continuous Episodic Control(CEC),在稀疏奖励连续控制任务中实现比无模型及记忆增强RL更快的学习并保持长期性能。
2023-04-23 cs.AI cs.LG cs.RO
MIRA: Memory-Integrated Reinforcement Learning Agent with Limited LLM Guidance
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学)
MIRA通过集成记忆图减少对LLM的依赖,提升稀疏奖励环境中的强化学习性能。
2026-02-20 cs.AI cs.LG
Learning offline: memory replay in biological and artificial reinforcement learning
Centre de Recerca Matemàtica(数学研究中心);McGill University(麦吉尔大学);Mila(米拉);University of Bristol(布里斯托大学)
学习在一个环境中采取行动以获得最大的回报是大脑的关键功能之一。这个过程通常在强化学习的框架内被概念化,强化学习在机器学习和人工智能(AI)中也获得了突出地位,作为优化决策的一种方式。生物和机器强化学习的一个共同点是重新激活先前经历的事件,称为重放。重放对于生物神经网络中的记忆巩固非常重要,并且是稳定深度神经网络中学习的关键。在这里,我们回顾了最近的发展有关重放在神经科学和人工智能领域的功能作用。互补的进展表明,重放如何支持学习过程,包括概括和持续学习,提供机会在两个领域转移知识,以促进对生物和人工学习和记忆的理解。
2021-09-21 cs.AI cs.LG q-bio.NC
Generalization of Reinforcement Learners with Working and Episodic Memory
DeepMind(深度思维)
记忆是智力的一个重要方面,在许多深度强化学习模型中发挥作用。然而,在理解特定的记忆系统何时比其他系统更有帮助以及它们的泛化能力方面,几乎没有取得进展。该领域还没有看到一个普遍的一致和严格的方法来评估代理人的表现。在本文中,我们的目标是开发一个全面的方法来测试不同种类的记忆体中的代理和评估如何以及代理可以应用它在训练中学到的坚持集,从训练集不同的尺寸,我们建议是相关的评估内存特定的泛化。为此,我们首先构建了一组不同的记忆任务,使我们能够在多个维度上评估测试时的泛化。其次,我们开发和执行多个消融剂的架构,结合多个内存系统,观察其基线模型,并调查其性能对任务套件。
2020-02-19 cs.AI cs.LG stat.ML
MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China(中国科学院软件研究所信息处理实验室,北京,中国);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国);Xiaohongshu Inc(小红书公司)
MemSearcher通过端到端强化学习训练LLM进行推理、搜索和内存管理,通过维护紧凑的记忆在多轮交互中保持上下文长度稳定,优于基于历史拼接的基线方法。
2026-05-08 cs.AI cs.CL
Zero-Shot Reinforcement Learning Under Partial Observability
本研究探讨部分可观测条件下零样本强化学习的性能退化,并提出基于记忆的架构作为有效补救,实验证明其优于无记忆基线。
2025-06-18 cs.AI cs.LG
Provable Reinforcement Learning with a Short-Term Memory
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
现实世界中的序列决策问题通常涉及部分可观测性,这要求智能体保持历史记忆,以便推断潜在状态,计划和做出好的决策。一般来说,处理部分可观测性是非常具有挑战性的,因为在学习部分可观测马尔可夫决策过程(POMDPs)时存在许多最坏情况的统计和计算障碍。出于在几个物理应用中的问题结构,以及一个常用的技术称为“帧堆叠”,本文提出了研究一个新的子类POMDPs,其潜在的状态可以解码的最新历史的一个短的长度$m$。我们建立了一组样本复杂性的上限和下限,用于在表格和丰富的观察设置(观察的数量是巨大的)中学习这类问题的接近最优的政策。特别是,在丰富的观测设置,我们开发了新的算法,使用一种新的“矩匹配”的方法与样本的复杂性,指数尺度与短长度$m$,而不是问题的地平线,是独立的观测数量。我们的研究结果表明,短期记忆足以在这些环境中进行强化学习。
2022-02-08 cs.AI cs.LG
Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning
AXXX;MIRIAI;ITMO University(ITMO大学)
本文提出MIKASA基准,旨在通过强化学习解决复杂任务,包含32个记忆密集型任务,用于评估智能体在桌面机器人操作中的记忆能力。
2026-03-04 cs.AI cs.LG cs.RO
Continual and Multi-task Reinforcement Learning With Shared Episodic Memory
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
情景记忆在动物和人类的行为中起着重要的作用。它允许以与任务无关的方式积累有关环境当前状态的信息。这种情景表示可以稍后由下游任务访问,以使其执行更有效。在这项工作中,我们介绍了共享情景记忆(SEM)的学习和多个任务的顺序执行的神经架构。我们明确地将情景记忆和任务特异性记忆的编码分成单独的循环子网络。增强SEM的代理能够有效地重用在其他任务中收集的情节知识,以改善其政策上的当前任务的出租车问题。在持续学习实验中重复使用情景表征有助于在相同的环境中获得新技能。
2019-05-07 cs.AI cs.LG cs.NE
POPGym: Benchmarking Partially Observable Reinforcement Learning
强化学习(RL)的现实应用通常是部分可观察的,因此需要记忆。尽管如此,部分可观察性仍然在很大程度上被当代RL基准和库所忽视。我们介绍了部分可观察过程Gym(POPGym),这是一个由两部分组成的库,包含(1)15个部分可观察环境的不同集合,每个环境都有多个困难,以及(2)13个内存模型基线的实现-在单个RL库中最多。现有的部分可观察基准往往专注于3D视觉导航,这是计算昂贵,只有一种类型的POMDP。相比之下,POPGym环境是多样化的,产生更小的观察结果,使用更少的内存,并且通常在消费级GPU上训练两小时内收敛。我们在流行的RLlib框架之上实现了高级内存API和内存基线,为各种训练算法、探索策略和分布式训练范式提供了即插即用的兼容性。使用POPGym,我们执行了迄今为止最大的RL内存模型比较。POPGym可在https://github.com/proroklab/popgym上获得。
2023-03-03 cs.AI cs.LG cs.RO