Adaptive Control in Autonomous Driving via Real-Time Recurrent RL
TU Wien（维也纳技术大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Liquid AI
本文研究了通过实时递归强化学习（RTRRL）对自动驾驶预训练控制策略进行在线微调，结合离线行为克隆与在线RTRRL微调，以适应部署时的分布偏移。在CarRacing模拟和1:10比例的RoboRacer平台上的实验验证了该方法的有效性。
2026-05-16 cs.LG cs.NE cs.RO
Reinforcement Learning via Recurrent Convolutional Neural Networks
IIT Guwahati（印度理工学院古瓦哈提分校）
深度强化学习使得能够在部分可观察的环境中学习复杂任务的策略，而无需显式地学习任务的底层模型。虽然这种无模型方法取得了相当大的性能，他们往往忽略了任务的结构。为了更好地利用这种固有结构，我们使用递归卷积神经网络（RCNN）对强化学习（RL）问题进行了自然表示。我们定义了3个这样的RCNN，它们的前向传递执行有效的值迭代，在部分可观察的环境中传播状态的信念，并分别选择最佳动作。通过这些RCNN的反向传播梯度允许系统显式学习与底层MDP相关的转换模型和奖励函数，作为经典的基于模型的RL的优雅替代方案。我们评估所提出的算法在仿真中，考虑到机器人规划问题。我们证明了我们的框架能够降低重新规划的成本，学习准确的MDP模型，并最终使用学习的模型重新规划以实现接近最优的政策。
2017-01-09 cs.AI cs.LG
Investigating Action Encodings in Recurrent Neural Networks in Reinforcement Learning
University of Alberta（阿尔伯塔大学）
本文探讨了在强化学习中如何通过修改循环神经网络架构来整合动作信息，评估了不同方法在多个示例领域中的效果，并讨论了未来发展的挑战。
2026-05-04 cs.LG
Learning Coordination Policies over Heterogeneous Graphs for Human-Robot Teams via Recurrent Neural Schedule Propagation
Georgia Institute of Technology（佐治亚理工学院）；Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）
随着人机协作在劳动力中的增加，人机团队有效和直观地协调变得至关重要。传统的人-机器人调度方法要么利用精确的方法，这对于大规模的问题是难以解决的，并且难以考虑随机的、时变的人类任务性能，要么利用需要专家领域知识来开发的特定于应用的方法。我们提出了一个基于深度学习的框架，称为HybridNet，结合了异构的基于图的编码器与经常性的调度传播调度随机人类机器人团队的上限和下限的时间约束。HybridNet的编码器利用异构图注意力网络对初始环境和团队动态进行建模，同时考虑约束。通过将任务调度制定为顺序决策过程，HybridNet的递归神经调度传播器利用长短期记忆（LSTM）模型来传播动作的前向结果，以执行快速调度生成，从而消除了在每个任务代理对选择之间与环境交互的需要。由此产生的调度策略网络提供了一个计算量小但表达能力强的模型，该模型可通过强化学习算法进行端到端训练。我们开发了一个虚拟的任务调度环境，在多轮设置的混合人类机器人团队，能够模拟人类工人的随机学习行为。实验结果表明，HybridNet在确定性和随机性人类性能方面优于其他人类-机器人调度解决方案，与基于纯GNN的机器人相比，运行时间更快。
2023-01-30 cs.AI cs.LG cs.MA
Memory-based control with recurrent neural networks
Google Deepmind（谷歌DeepMind）
部分观测控制问题是强化学习的一个挑战性方面。我们扩展了两个相关的，无模型的连续控制算法-确定性的策略梯度和随机值梯度-解决部分观察域使用循环神经网络训练通过时间的反向传播。我们证明，这种方法，加上长短期记忆是能够解决各种各样的物理控制问题，表现出各种各样的内存需求。这些问题包括来自噪声传感器的信息的短期整合和系统参数的识别，以及需要在许多时间步长上保存信息的长期记忆问题。我们还证明了成功的结合探索和记忆问题的形式，一个简化版本的著名的莫里斯水迷宫任务。最后，我们证明了我们的方法可以通过直接从像素学习来处理高维观测。我们发现，经常性的确定性和随机政策能够学习类似的好的解决方案，这些任务，包括水迷宫的代理必须学习有效的搜索策略。
2015-12-14 cs.LG
Recurrent networks, hidden states and beliefs in partially observable environments
University of Liège（列日大学）；Institut Polytechnique de Paris（巴黎理工学院）
强化学习的目标是从与动态未知的环境的交互中学习最优策略。许多方法依赖于一个价值函数的近似值来获得接近最优的策略。在部分可观测的环境中，这些函数依赖于观测和过去行为的完整序列，称为历史。在这项工作中，我们经验性地表明，经过训练以近似这种价值函数的递归神经网络在内部过滤了给定历史的当前状态的后验概率分布，称为信念。更确切地说，我们表明，作为一个循环神经网络学习的Q函数，其隐藏状态变得越来越相关的信念的状态变量是相关的最优控制。这种相关性通过它们的互信息来测量。此外，我们表明，预期收益的代理增加的能力，其经常性的架构，以达到高互信息之间的隐藏状态和信念。最后，我们表明，通过学习过程中的隐藏状态和信念的变量是无关的最优控制之间的互信息减少。总之，这项工作表明，在其隐藏状态下，近似部分可观察环境的Q函数的递归神经网络从历史中再现了与采取最佳行动的信念的相关部分相关的足够的统计数据。
2022-08-06 cs.LG stat.ML
Recurrent World Models Facilitate Policy Evolution
Google Brain（谷歌大脑）；NNAISENSE；The Swiss AI Lab, IDSIA (USI & SUPSI)（瑞士人工智能实验室IDSIA（提契诺大学与瑞士南方应用科学大学））
生成递归神经网络以无监督的方式快速训练，以通过压缩的时空表示对流行的强化学习环境进行建模。世界模型的提取的特征被馈送到通过进化训练的紧凑和简单的策略中，在各种环境中实现最先进的结果。我们还完全在由其内部世界模型生成的环境中训练我们的代理，并将此策略转移回实际环境中。论文互动版，网址：https://worldmodels.github.io
2018-09-04 cs.LG stat.ML
Recurrent Deep Reinforcement Learning for Chemotherapy Control under Partial Observability
University of Padova（帕多瓦大学）；University of Biskra（比斯克拉大学）
该研究针对部分可观测的临床场景，提出基于循环TD3与LSTM演员-评论家的强化学习方法，在AhnChemoEnv基准上验证其相比前馈算法能更稳定地优化化疗剂量，提升肿瘤抑制与正常细胞保护效果。
2026-05-04 cs.AI cs.LG
PM-FSM: Policies Modulating Finite State Machine for Robust Quadrupedal Locomotion
Georgia Institute of Technology（佐治亚理工学院）
深度强化学习（deep RL）已经成为开发足式机器人控制器的有效工具。然而，香草深度RL通常需要大量的训练样本，并且对于实现健壮的行为不可行。相反，研究人员通过整合人类专家的知识，研究了一种新的策略架构，例如策略调制轨迹生成器（PMTG）。该架构通过结合参数轨迹生成器（TG）和反馈策略网络来构建循环控制回路，以实现更鲁棒的行为。为了利用人类专家的知识，但消除耗时的交互式教学，研究人员研究了一种新的架构，策略调制轨迹生成器（PMTG），它通过结合参数轨迹生成器（TG）和反馈策略网络来构建一个递归控制回路，以实现更强大的行为使用直观的先验知识。在这项工作中，我们提出了政策调制有限状态机（PM-FSM），通过替换TG与接触感知有限状态机（FSM），它提供了更灵活的控制每个腿。与TG相比，FSM为每个腿部运动发生器提供了高级别的管理，并实现了灵活的状态安排，这使得学习到的行为不那么容易受到看不见的扰动或具有挑战性的地形的影响。本发明为策略提供了接触事件的明确概念，以协商意外的扰动。我们证明了所提出的架构可以实现更强大的行为在各种情况下，如具有挑战性的地形或外部扰动，在模拟和真实的机器人。补充视频可以在https://youtu.be/78cboMqTkJQ上找到。
2022-08-01 cs.LG cs.RO
Reinforcement Learning in POMDPs with Memoryless Options and Option-Observation Initiation Sets
Artificial Intelligence Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）
许多现实世界的强化学习问题具有层次性，并且通常表现出一定程度的部分可观察性。虽然层次结构和部分可观测性通常是分开解决的（例如通过结合递归神经网络和选项），但我们表明，在许多情况下，同时解决这两个问题更简单，更有效。更具体地说，我们的初始设置的选项条件上的先前执行的选项，并表明，这样的选项观察初始集（OOI）的选项至少是表达有限状态控制器（FSC），一个国家的最先进的POMDPs学习方法。OOI很容易基于任务的直观描述进行设计，导致可解释的策略，并保持顶级和选项策略无记忆。我们的实验表明，OOI允许代理在挑战POMDPs时学习最优策略，同时比递归神经网络在选项上的样本效率更高。
2017-09-12 cs.AI cs.LG
Realistic CDSS Drug Dosing with End-to-end Recurrent Q-learning for Dual Vasopressor Control
University of California, San Francisco（加州大学旧金山分校）；Engineering Science, University of Toronto（多伦多大学工程科学系）；University of Pittsburgh（匹兹堡大学）
本文提出一种端到端递归Q学习方法，用于ICU中双血管加压素的剂量优化，通过设计动作空间提升可解释性与临床实用性。
2025-11-24 cs.LG
Learning Transferable Policies from Action-free Time Series Through Dynamical Embeddings
Hector Institute for AI in Psychiatry (HITKIP)（赫克托人工智能精神病学研究所）；Central Institute of Mental Health (CIMH)（中央精神健康研究所）；Heidelberg University（海德堡大学）；Interdisciplinary Center for Scientific Computing (IWR)（跨学科科学计算中心）；Hertie Institute for AI in Brain Health（赫蒂人工智能脑健康研究所）；University of Tübingen（蒂宾根大学）
本文提出层次化模型强化学习框架，利用低维动力学嵌入共享结构，从无动作记录学习可迁移控制策略，在Lorenz-63和双摆系统上验证了提升的迁移性能与机制分析能力。
2026-10-05 cs.LG
MPC-Inspired Neural Network Policies for Sequential Decision Making
Georgia Institute of Technology（佐治亚理工学院）；Autonomous Control and Decisions Lab（自主控制与决策实验室）
在本文中，我们研究了使用MPC启发的神经网络政策的顺序决策。我们介绍了一个扩展的Dagger算法训练这样的政策，并显示他们如何提高训练性能和泛化能力。我们利用这个扩展来展示复杂的规划策略架构在连续状态和动作空间中的可扩展和有效的训练。我们提供了一个广泛的比较神经网络政策考虑前馈政策，经常性的政策，经常性的政策与规划结构的启发路径积分控制框架。我们的研究结果表明，MPC型的经常性政策有更好的鲁棒性干扰和建模误差。
2018-03-14 cs.LG
Recurrent Models of Visual Attention
Google DeepMind（谷歌DeepMind）
将卷积神经网络应用于大图像在计算上是昂贵的，因为计算量与图像像素的数量成线性比例。我们提出了一种新的递归神经网络模型，该模型能够通过自适应地选择一系列区域或位置并仅以高分辨率处理所选区域来从图像或视频中提取信息。像卷积神经网络一样，所提出的模型具有一定程度的内置平移不变性，但它执行的计算量可以独立于输入图像大小进行控制。虽然模型是不可微的，但可以使用强化学习方法来训练它，以学习特定于任务的策略。我们在几个图像分类任务上评估了我们的模型，在这些任务中，它在杂乱图像上的表现明显优于卷积神经网络基线，在动态视觉控制问题上，它学会了在没有明确训练信号的情况下跟踪简单对象。
2014-06-24 cs.CV cs.LG stat.ML
Counting to Explore and Generalize in Text-based Games
Microsoft Research（微软研究院）
我们提出了一个经常性的RL代理与情节探索机制，有助于发现良好的政策，在基于文本的游戏环境。我们在一组不同难度的基于文本的游戏中显示出了有希望的结果，其目标是收集位于房间链末端的硬币。与以前的基于文本的RL方法相比，我们观察到我们的代理学习策略，这些策略可以推广到更难的看不见的游戏。
2019-03-07 cs.CL cs.LG
On learning history based policies for controlling Markov decision processes
McGill University（麦吉尔大学）；Mila（米拉研究所）
强化学习（RL）的民间传说认为，基于历史的函数逼近方法，如递归神经网络或基于历史的状态抽象，比它们的无记忆同行表现得更好，因为马尔可夫决策过程（MDP）中的函数逼近可以被视为诱导部分可观察MDP。然而，这种基于历史的算法很少有正式的分析，因为大多数现有的框架只专注于无记忆功能。在本文中，我们介绍了一个理论框架，学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外，我们使用这个框架来设计一个实用的RL算法，我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
Learning what to look in chest X-rays with a recurrent visual attention model
King’s College London（伦敦国王学院）
X射线是通常进行的成像测试，使用少量的辐射来产生身体器官，组织和骨骼的图片。胸部X射线用于检测气道、血管、骨骼、心脏和肺部的异常或疾病。在这项工作中，我们提出了一个随机的注意力为基础的模型，能够学习胸部X射线扫描中的哪些区域应该进行视觉探索，以得出结论，扫描包含一个特定的放射性异常。所提出的模型是一个递归神经网络（RNN），它学习顺序地对整个X射线进行采样，并只关注可能包含相关信息的信息区域。我们报告的实验进行了超过$100,000$ X射线含有扩大的心脏或医疗器械。该模型已使用强化学习方法进行训练，以学习特定于任务的策略。
2017-01-23 cs.CV cs.LG stat.ML
Scalable Real-Time Recurrent Learning Using Columnar-Constructive Networks
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
提出两种约束条件使RTRL随参数数量线性扩展，通过分解网络或分阶段学习避免梯度噪声与偏差，在预测基准和Atari 2600策略评估中优于Truncated-BPTT。
2023-11-21 cs.AI cs.LG
SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Li Auto（利汽车）；Shanghai AI Laboratory（上海人工智能实验室）
SAC Flow通过速度重参数化序列建模，高效训练基于流的策略，实现连续控制和机器人操作的高性能表现。
2026-01-14 cs.LG cs.RO
Recurrent Natural Policy Gradient for POMDPs
Department of Mathematics RWTH Aachen University（数学系RWTH亚琛大学）；Department of Electrical and Computer Engineering The Ohio State University（电气与计算机工程系俄亥俄州立大学）
本文提出将循环神经网络融入自然策略梯度和时序差分学习的自然演员-评论家算法，用于解决POMDP中的非平稳性，并提供非渐近收敛保证及对长期依赖病态情况的分析。
2025-10-17 cs.LG math.OC stat.ML
Recurrent Sum-Product-Max Networks for Decision Making in Perfectly-Observed Environments
University of Georgia（佐治亚大学）
最近对和积最大网络（SPMN）的研究概括了和积网络（SPN），为决策提供了一种数据驱动的替代方案，主要依赖于手工制作的模型。SPMN在计算上代表了一个概率决策问题，其解决方案在网络的大小上线性缩放。然而，SPMN不太适合在多个时间步长上进行顺序决策。在本文中，我们提出了经常性的SPMN（RSPMN），学习和模型决策数据随着时间的推移。RSPMN利用根据数据序列的长度按需展开的模板网络。这一点很重要，因为RSPMN不仅继承了SPMN的数据驱动和易于处理的优点，而且还非常适合于顺序问题。我们在模板网络上建立条件，保证得到的SPMN是有效的，并提出了一种结构学习算法来学习一个健全的模板网络。我们证明了在顺序决策数据集的测试平台上学习的RSPMNs生成的MEU和策略在完全观察的域上接近最优。它们很容易改进最近的批量约束强化学习方法，这很重要，因为RSPMN为离线强化学习提供了一种新的基于模型的方法。
2020-06-12 cs.AI cs.LG
MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization
Aalto University（阿尔托大学）
这项工作考虑的问题，学习合作的政策，在多智能体设置部分可观察的和非平稳的环境中没有一个通信信道。我们专注于提高代理之间的信息共享，并提出了一种新的多代理Actor-Critic方法称为\textit{Multi-Agent Cooperative Recurrent Proximal Policy Optimization}（MACRPO）。我们提出了两种新的方法，在MACRPO的代理和时间的信息集成：首先，我们使用一个经常性的层评论家的网络架构，并提出了一个新的框架，使用元轨迹训练经常性的层。这允许网络学习代理之间的合作和动态交互，并处理部分可观察性。其次，我们提出了一个新的优势函数，它包含了其他代理人的奖励和价值函数。我们在三个具有连续和离散动作空间的具有挑战性的多智能体环境，Deepdrive-Zero，Multi-Walker和Particle环境中评估了我们的算法。我们比较的结果与几个消融和国家的最先进的多智能体算法，如QMIX和MADDPG和单代理的方法，如IMPALA和APEX代理之间的共享参数。结果表明，优于其他算法的性能。该代码可在https://github.com/kargarisaac/macrpo上获得。
2021-09-02 cs.AI cs.GT cs.LG
Periodic agent-state based Q-learning for POMDPs
McGill University（麦吉尔大学）；Mila（米拉研究所）；Cohere（科here公司）
针对POMDPs中基于智能体状态的平稳Q学习表现受限的问题，提出学习周期性策略的PASQL算法，理论证明其收敛性并通过实验验证其优于平稳策略。
2024-10-29 cs.LG
Signal-Adaptive Trust Regions for Gradient-Free Optimization of Recurrent Spiking Neural Networks
Tsinghua University（清华大学）
本文提出信号自适应信任区域方法，用于提高递归脉冲神经网络在高维连续控制任务中的训练稳定性与性能。
2026-01-29 cs.AI cs.LG
Differential Variable Speed Limits Control for Freeway Recurrent Bottlenecks via Deep Reinforcement learning
Beijing Institute of Technology（北京理工大学）；Southeast University（东南大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
可变车速限制（VSL）控制是一种灵活的方式来改善交通状况，提高安全性和减少排放。利用强化学习技术进行VSL控制是一个新兴的趋势，最近的研究已经显示出有希望的结果。目前，深度学习正在使强化学习能够为以前难以解决的问题开发自主控制代理。提出了一种更有效的深度强化学习（DRL）模型用于差分可变限速（DVSL）控制，该模型可以在车道之间施加动态和不同的限速。建议的DRL模型使用一种新的行动者-评论家架构，可以学习大量的离散速度限制在一个连续的动作空间。采用不同的奖励信号，如总行程时间、瓶颈速度、紧急制动和车辆排放等对DVSL控制器进行训练，并对这些奖励信号进行比较。我们测试建议DRL基于DVSL控制器上模拟高速公路经常性瓶颈。结果表明，该方法可以有效地改善柴油机的效率、安全性和排放。我们还显示了一些有趣的发现，通过可视化的DRL模型产生的控制策略。
2018-10-25 cs.AI cs.LG stat.ML
Optimal Attacks on Reinforcement Learning Policies
KTH Royal Institute of Technology（KTH皇家理工学院）
使用深度强化学习训练的控制策略最近被证明容易受到对抗攻击的攻击，即使对策略输入引入非常小的扰动。到目前为止，提出的攻击是使用反演算法设计的，并建立在现有的对抗性示例制作技术的基础上，这些技术用于在监督学习中欺骗分类器。相比之下，本文研究了设计最佳攻击的问题，这取决于一个明确定义的攻击者的目标，例如，最小化主代理的平均奖励当攻击者知道策略和系统动态以及奖励时，这种情况被称为白盒攻击，设计最佳攻击相当于解决马尔可夫决策过程。对于我们所说的黑盒攻击，即策略和系统都不知道，可以使用强化学习技术训练最佳攻击。通过数值实验，我们证明了我们的攻击与现有攻击（通常基于梯度方法）相比的效率。我们进一步量化了攻击的潜在影响，并建立了它与受到攻击的策略的平滑性的联系。平滑的策略自然不容易受到攻击（这解释了为什么Lipschitz策略在状态方面更具弹性）。最后，我们表明，从主代理的角度来看，系统的不确定性和攻击者可以建模为一个部分可观测的马尔可夫决策过程。我们实际上证明了使用针对POMDP定制的强化学习技术（例如使用递归神经网络）可以带来更有弹性的策略。
2019-07-31 cs.CR cs.LG stat.ML
Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially Observable Environments
Zhejiang University（浙江大学）
多智能体深度强化学习（MADRL）的最新进展使其在现实世界的任务中更加实用，但其相对较差的可扩展性和部分可观察的约束对其性能和部署提出了挑战。基于我们的直观观察，人类社会可以被看作是一个大规模的部分可观察的环境中，每个人都有与邻居的通信和记住自己的经验的功能，我们提出了一种新的网络结构称为分层图递归网络（HGRN）的多智能体合作的部分可观察性。具体来说，我们构建的多智能体系统作为一个图，使用层次图注意力网络（HGAT）来实现相邻的代理之间的通信，并利用GRU，使代理记录历史信息。为了鼓励探索和提高鲁棒性，我们设计了一种最大熵学习方法来学习可配置目标动作熵的随机策略。在此基础上，提出了一种基于值的MADRL算法Soft-HGRN和它的actor-critic变体SAC-HRGN。基于三个同构任务和一个异构环境的实验结果不仅表明，我们的方法实现了明显的改善相比，四个基线，但也证明了所提出的模型的可解释性，可扩展性和可移植性。消融研究证明了每个组件的功能和必要性。
2021-09-05 cs.AI cs.LG cs.MA
Direct Load Control of Thermostatically Controlled Loads Based on Sparse Observations Using Deep Reinforcement Learning
KU Leuven/EnergyVille（鲁汶大学/能源城）；REstore（REstore公司）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Vito/EnergyVille（弗拉芒技术研究院/能源城）
本文考虑了一个需求响应代理，必须找到一个接近最优的决策序列的基础上稀疏观察其环境。从这些观察中提取相关的特征集是一项具有挑战性的任务，可能需要大量的领域知识。解决这个问题的一种方法是将过去的观察和动作序列存储在状态向量中，使其成为高维，并应用深度学习的技术。本文研究了不同的深度学习技术（如卷积神经网络和递归神经网络）的能力，以提取相关特征，为受稀疏观测阻碍的住宅供暖系统和电热水器找到接近最优的策略。我们的模拟结果表明，在这种特定的情况下，将时间序列馈送到LSTM网络（一种特定类型的递归神经网络），比将这些时间序列堆叠在卷积神经网络或深度神经网络的输入中获得了更高的性能。
2017-07-26 cs.LG
Looped Actor: Depth-Recurrent Reasoning Models for Reinforcement Learning
ELLIS Institute Tübingen（ELLIS研究所蒂宾根）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；Liquid AI；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；Case Western Reserve University（凯斯西储大学）
本研究提出循环Actor，一种基于Transformer的策略，通过动态循环共享计算块实现自适应计算，在22个任务上匹配或超越16倍参数基线，显著提升强化学习智能体的规划能力。
2026-09-30 cs.LG
Cocktail Edge Caching: Ride Dynamic Trends of Content Popularity with Ensemble Learning
Tandon School of Engineering, New York University（纽约大学坦登工程学院）；New York Institute of Technology（纽约理工学院）
边缘缓存将在促进新兴的内容丰富的应用程序中发挥关键作用。然而，它面临着许多新的挑战，特别是高度动态的内容流行度和异构缓存配置。在本文中，我们提出了鸡尾酒边缘缓存，通过集成学习来处理动态流行度和异构性。而不是试图找到一个单一的占主导地位的缓存策略的所有缓存的情况下，我们采用了一个合奏的组成缓存策略，并自适应地选择性能最好的策略来控制缓存。为了实现这一目标，我们首先通过正式的分析和实验表明，不同的变化的LFU和LRU的政策在不同的缓存方案具有互补的性能。我们进一步开发了一种新的缓存算法，该算法通过基于深度递归神经网络（LSTM）的时间序列分析来增强LFU/LRU。最后，我们开发了一个深度的强化学习代理，根据并行虚拟缓存的虚拟命中率，自适应地结合基础缓存策略。通过两个大型视频流媒体平台的真实内容请求驱动的大量实验，我们证明了CEC不仅始终优于所有单一策略，而且还提高了它们的鲁棒性。CEC可以很好地推广到不同的缓存场景，部署的计算开销低。
2021-01-14 cs.LG cs.NI
Learning-based agricultural management in partially observable environments subject to climate variability
Department of Mechanical Engineering, Iowa Technology Institute, University of Iowa（机械工程系、爱荷华技术研究所、爱荷华大学）；Department of Chemical and Biochemical Engineering, Iowa Technology Institute, University of Iowa（化学与生物化学工程系、爱荷华技术研究所、爱荷华大学）
本研究提出基于深度强化学习和RNN的农业管理框架，通过模拟实验展示其在应对气候变化和极端天气下的适应性与有效性。
2026-02-10 cs.LG
Train Short, Act Long: Multistability and the Horizon Independence of Recurrent Policies
Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of Liège（利根大学）
本文探讨了多稳态对长地平线泛化的重要性，分析了非线性RNN在实现多稳态中的作用，并指出现代并行架构在长地平线泛化中的局限性。
2026-10-14 cs.LG
Perception-Prediction-Reaction Agents for Deep Reinforcement Learning
University of Berkeley（伯克利大学）；DeepMind
我们引入了一个新的经常性代理架构和相关的辅助损失，提高强化学习在部分可观察的任务，需要长期记忆。我们采用了一个时间层次，使用一个缓慢滴答的循环核心，让信息更容易在长时间内流动，和三个快速滴答的循环核心，旨在创建一个信息不对称的连接。\emph{reaction}核心将新的观察与来自慢核心的输入合并以产生代理的策略; \emph{perception}核心仅访问短期观察并通知慢核心;最后，\emph{prediction}核心仅访问长期记忆。辅助损失使从所有三个核心中提取的策略相互规则化，制定策略应该从最近或长期记忆中表达的先验。我们提出了由此产生的\emph{Perception-Prediction-Reaction}（PPR）代理，并证明了其改进的性能在DMLab-30中的强大的LSTM代理基线，特别是在需要长期记忆的任务。我们进一步显示了显着的改进，在夺旗，环境需要代理人获得复杂的混合技能在很长的时间尺度。在一系列的消融实验中，我们探讨了PPR试剂的每个组分的重要性，确定了整个新颖的组合对于这一有趣的结果是必要的。
2020-06-26 cs.AI cs.LG
Multi-Phase Spacecraft Trajectory Optimization via Transformer-Based Reinforcement Learning
Aeronautics & Astronautics, Massachusetts Institute of Technology（航空与宇航科学系，麻省理工学院）；Department of Computer Systems Engineering, Universidad Politécnica de Madrid（计算机系统工程系，马德里理工大学）
针对航天器多阶段自主控制需分阶段设置独立策略的问题，提出基于GTrXL的Transformer强化学习框架，用单一策略实现跨动力学区间的多阶段轨迹优化，在多类基准与火箭上升任务中验证了有效性。
2025-11-14 cs.LG
Deep Reinforcement Learning for Visual Object Tracking in Videos
University of California at Santa Barbara（加州大学圣塔芭芭拉分校）；Samsung Research America（三星美国研究院）
在本文中，我们介绍了一个完全端到端的方法，视觉跟踪的视频，学习预测的限界框位置的目标对象在每一帧。一个重要的见解是，跟踪问题可以被认为是一个顺序的决策过程和历史语义编码高度相关的信息，为未来的决策。基于这种直觉，我们将我们的模型制定为与视频超时交互的递归卷积神经网络代理，并且我们的模型可以使用强化学习（RL）算法进行训练，以学习良好的跟踪策略，这些策略关注连续的帧间相关性，并从长远来看最大化跟踪性能。所提出的跟踪算法在现有的跟踪基准中实现了最先进的性能，并且以比实时更快的帧速率操作。据我们所知，我们的跟踪器是第一个将卷积和递归网络与RL算法相结合的神经网络跟踪器。
2017-04-10 cs.CV cs.LG
N2N Learning: Network to Network Compression via Policy Gradient Reinforcement Learning
Robotics Institute（机器人研究所）；Carnegie Mellon University（卡内基梅隆大学）；Volvo Construction Equipment（沃尔沃建筑设备）；Volvo Group（沃尔沃集团）
虽然更大、更深的神经网络架构继续推动许多计算机视觉任务的最新发展，但这些网络的实际应用受到硬件和速度限制的阻碍。传统的模型压缩方法试图通过手动修改架构或使用预定义的语法来解决这个问题。由于所有简化架构的空间非常大，因此以这种方式修改深度神经网络的架构是一项困难的任务。在本文中，我们通过引入一种使用强化学习以数据驱动的方式学习简化网络架构的原则方法来解决这个问题。我们的方法需要一个更大的“教师”网络作为输入，并输出一个压缩的“学生”网络来自“教师”网络。在我们的方法的第一阶段，一个经常性的政策网络积极删除层从大型的“教师”模型。在第二阶段，另一个循环策略网络仔细地减少了剩余每一层的大小。然后对生成的网络进行评估以获得奖励-基于网络的准确性和压缩的分数。我们的方法使用这个奖励信号与策略梯度训练的政策，以找到一个局部最优的学生网络。我们的实验表明，对于ResNet-34等模型，我们可以实现超过10倍的压缩率，同时保持与输入“教师”网络相似的性能。我们还提出了一个有价值的迁移学习结果表明，在较小的“教师”网络上预先训练的政策可以用来快速加快在较大的“教师”网络上的训练。
2017-12-17 cs.LG stat.ML
State Space Decomposition and Subgoal Creation for Transfer in Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
典型的强化学习（RL）代理学习完成由针对其域定制的奖励函数指定的任务。因此，他们学习的策略甚至不能推广到类似的领域。为了解决这个问题，我们开发了一个框架，通过该框架，深度RL代理可以使用循环注意力机制学习将策略从更小，更简单的域推广到更复杂的域。任务以图像和指定目标的指令的形式呈现给代理。这个元控制器通过在注意力的状态空间中设计一系列较小的子任务来引导代理实现其目标，有效地分解它。作为基线，我们也考虑了没有注意力的设置。我们的实验表明，元控制器学习在注意力中创建子目标。
2017-05-24 cs.AI cs.LG stat.ML
PrivilegedDreamer: Explicit Imagination of Privileged Information for Rapid Adaptation of Learned Policies
Georgia Institute of Technology（佐治亚理工学院）；Georgia Tech Research Institute（佐治亚理工学院研究院）
针对隐藏参数导致的 sim-to-real 策略性能下降问题，提出基于双循环架构显式估计特权参数的模型强化学习框架 PrivilegedDreamer，并在五个 HIP-MDP 任务上验证其优于多种先进算法。
2025-02-17 cs.LG cs.RO
Transformers for Image-Goal Navigation
Minnesota Robotics Institute（明尼苏达机器人研究所）；University of Minnesota - Twin Cities（明尼苏达大学双城分校）
针对图像目标导航任务，提出一种生成式Transformer模型，联合建模图像目标、观测与历史动作，利用先进感知模型学习策略，无需实时交互，有效支持长时程导航。
2024-05-24 cs.CV cs.LG cs.RO
Ultra-Reliable Indoor Millimeter Wave Communications using Multiple Artificial Intelligence-Powered Intelligent Surfaces
Shahid Chamran University of Ahvaz（阿瓦兹沙希德·查姆兰大学）；Virginia Tech（弗吉尼亚理工大学）；Kyung Hee University（庆熙大学）；University of Oulu（奥卢大学）
在本文中，提出了一种新的框架，保证超可靠的毫米波（mmW）通信使用多个人工智能（AI）启用的可重构智能表面（RIS）。使用多个AI供电的RIS允许改变从mmW接入点（AP）传输的信号的传播方向，从而改善覆盖范围，特别是对于非视线（NLoS）区域。然而，由于mmW链路上高度随机阻塞的可能性，设计智能控制器以联合优化mmW AP波束和RIS相移是一项艰巨的任务。在这方面，首先，提出了参数风险敏感的情节回报，以最大化预期的比特率，并减轻毫米波链路阻塞的风险。在此基础上，给出了风险敏感情景收益率的策略梯度的近似解析表达式。接下来，联合波束形成的毫米波AP和相移控制毫米波RISs的问题被建模为一个相同的支付随机博弈在一个合作的多智能体环境中，其中的代理是毫米波AP和RISs。提出了两种集中式和分布式控制器来控制mmW AP和RIS的策略。为了直接找到最优解，使用深度递归神经网络（RNN）对这些控制器的参数函数形式策略进行建模。仿真结果表明，最优控制策略与基于RNN的控制策略之间的误差小于1.5%。此外，基于深度RNN的控制器产生的可实现速率的方差比风险规避基线的方差小60%。
2021-08-19 cs.LG cs.NI
Learning Finite State Representations of Recurrent Policy Networks
Oregon State University（俄勒冈州立大学）；Google Brain（谷歌大脑）
递归神经网络（RNN）是一种有效的表示控制策略的范围广泛的强化和模仿学习问题。然而，RNN策略特别难以解释、理解和分析，因为它们使用了连续值记忆向量和观察特征。在本文中，我们介绍了一种新的技术，量化瓶颈插入，学习这些向量和功能的有限表示。结果是RNN的量化表示，可以分析它以提高我们对记忆使用和一般行为的理解。我们提出了这种方法的合成环境和六个雅达利游戏的结果。在某些情况下，所得到的有限表示令人惊讶地小，对于完美的Pong策略，仅使用3个离散记忆状态和10个观察。我们还表明，这些有限的政策表示导致提高可解释性。
2018-11-29 cs.LG stat.ML
AMAGO: Scalable In-Context Reinforcement Learning for Adaptive Agents
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；NVIDIA Research（英伟达研究院）
本研究提出可扩展的上下文强化学习智能体AMAGO，通过重新设计离策略上下文方法实现长序列Transformer的并行端到端训练，在元RL、长期记忆及目标条件开放世界任务中表现优异。
2024-02-01 cs.LG
Towards End-to-End Learning for Dialog State Tracking and Management using Deep Reinforcement Learning
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一个端到端的框架，面向任务的对话系统使用的深度递归Q网络（DRQN）的变体。该模型能够与关系数据库接口，并共同学习语言理解和对话策略的策略。此外，我们提出了一种混合算法，结合了强化学习和监督学习的强度，以实现更快的学习速度。我们评估了20个问题的游戏会话游戏模拟器上提出的模型。结果表明，该方法优于基于模块的基线和学习的潜在对话状态的分布式表示。
2016-09-15 cs.AI cs.CL cs.LG
Linear Recurrent Memory Suffices to Distil a World-Model Policy for Robot Air Hockey
UNSW Sydney（新南威尔士大学悉尼分校）
本研究通过提炼DreamerV3教师模型至64维线性循环策略，证明在机器人空气曲棍球防守中，线性记忆足以应对跟踪丢失，非线性循环并非必需。
2026-10-01 cs.LG cs.RO
Variational Latent Branching Model for Off-Policy Evaluation
Duke University（杜克大学）；North Carolina State University（北卡罗来纳州立大学）
基于模型的方法最近显示出极大的潜力，离线政策评估（OPE）的行为政策引起的离线轨迹拟合马尔可夫决策过程（MDP），这是用来推出模拟轨迹和估计政策的性能的过渡。基于模型的OPE方法面临两个关键挑战。首先，由于离线轨迹通常是固定的，它们往往覆盖有限的状态和动作空间。其次，基于模型的方法的性能可能对其参数的初始化敏感。在这项工作中，我们提出了变分潜在分支模型（VLBM），通过将环境动态制定为一个紧凑的潜在空间，然后从中采样下一个状态和奖励来学习MDP的过渡函数。具体而言，VLBM利用并扩展了具有递归状态对齐（RSA）的变分推理框架，其被设计为通过平滑VLBM的变分（编码）和生成（解码）部分之间的信息流来捕获尽可能多的有限训练数据的信息。此外，我们还引入了分支结构，以提高模型的鲁棒性对随机初始化的模型权重。VLBM的有效性进行评估的深OPE（DOPE）基准，从训练轨迹的设计，导致不同的覆盖范围的状态-动作空间。我们表明，VLBM优于现有的最先进的OPE方法一般。
2023-02-03 cs.AI cs.LG stat.ML
Neural Policy Style Transfer
Universidad Carlos III de Madrid (UC3M)（马德里卡洛斯三世大学）
该研究提出神经策略风格迁移NPST算法，将风格迁移概念拓展至深度强化学习控制策略，通过逆强化学习基于用户演示训练不同Q网络架构的策略，在接球游戏与人形机器人绘画场景中验证了方法的有效性。
2024-02-01 cs.AI cs.LG cs.NE
VMAV-C: A Deep Attention-based Reinforcement Learning Algorithm for Model-based Control
College of Systems Engineering, University of Defense Technology（国防科技大学系统工程学院）；Institute for Advanced Study, University of Amsterdam（阿姆斯特丹大学高等研究院）
近年来，强化学习在围棋和战略博弈中的应用取得了突破性进展，在不确定环境下智能调度方面具有巨大的潜力，但在将其推广到一般复杂任务时也遇到了一些瓶颈。其中，无模型增强算法的数据利用率低是备受关注的问题。相比之下，基于模型的强化学习算法可以揭示学习环境中的潜在动态，并且很少遭受数据利用问题。针对这一问题，本文提出了一种嵌入注意力机制的基于基于模型的强化学习算法，作为对世界模型的扩展。我们通过混合密度网络递归网络（MDN-RNN）学习环境模型，以便代理进行交互，在学习策略的过程中，将变分自动编码器（VAE）和注意力结合到状态值估计中。通过这种方式，智能体可以学习最优策略，通过与实际环境的交互较少，最终的实验证明了我们的模型在控制问题的有效性。
2018-12-24 cs.AI cs.LG cs.NE
Control of Dual-Sourcing Inventory Systems using Recurrent Neural Networks
Frankfurt School of Finance and Management（法兰克福金融管理学院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Zurich（苏黎世大学）；Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学）
本文提出将库存动态与补货策略融入循环神经网络设计的NNCs，用于双源库存控制，可在普通PC上快速学得近优策略，并有效应对非平稳需求。
2023-04-18 cs.LG math.OC
Neural-encoding Human Experts' Domain Knowledge to Warm Start Reinforcement Learning
Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）；Georgia Institute of Technology（佐治亚理工学院）
深度强化学习已经在各种任务中取得了成功，例如游戏和机器人操作。然而，试图学习\textit{tabula rasa}忽略了许多领域的逻辑结构以及来自领域专家的丰富的现成知识，这些知识可以帮助“热启动”学习过程。我们提出了一种新的强化学习技术，允许智能初始化的神经网络的权重和架构。我们的方法允许将领域知识直接编码到神经决策树中，并通过策略梯度更新来改进该知识。我们在两个OpenAI Gym任务和两个修改后的星际争霸2任务上实证验证了我们的方法，表明我们的新架构优于多层感知器和递归架构。我们的知识为基础的框架发现优越的政策相比，模仿学习为基础的和先验知识为基础的方法。重要的是，我们证明了我们的方法可以被未经训练的人使用，相对于训练前的基线，最初提供>80%的预期奖励增加（p < 0.001），这导致策略优化后的预期奖励增加>60%（p = 0.011）。
2020-09-23 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Neural Control
University of Washington（华盛顿大学）
我们提出了一种基于深度强化学习的神经回路控制新方法。我们的方法通过产生现有神经回路的外部连续刺激（神经调制控制）或神经回路结构的调制（连接体控制）来实现目标行为。由于神经活动的非线性和循环复杂性，这两种形式的控制都具有挑战性。为了推断候选控制策略，我们的方法将神经回路和它们的连接体映射到一个网格世界中，并推断实现目标行为所需的动作。这些动作是通过适应深度Q学习方法来推断的，这些方法以其在导航网格世界中的强大性能而闻名。我们将我们的方法应用于\textit{C. elegans}模型，该模型模拟了具有肌肉和身体的完整的躯体神经系统。我们的框架成功地推断神经肽电流和突触结构控制的趋化性。我们的研究结果是一致的，在体内测量，并提供了额外的见解趋化性的神经控制。我们进一步证明了我们的方法的一般性和可扩展性，从零开始推断趋化神经回路。
2020-06-12 cs.AI cs.LG cs.SY
Imitation Learning of Factored Multi-agent Reactive Models
我们将深度生成建模的最新进展应用于生物制剂的模仿学习任务。具体来说，我们将变分递归神经网络模型的变体应用于多代理设置，在该设置中，我们根据个体不协调代理的感知输入和隐藏的信念状态来学习个体不协调代理的策略。我们直接从观测数据中学习这些代理的随机策略，而不构建奖励函数。与策略联合学习的推理网络允许在给定其当前感知输入序列和其执行的先前动作的情况下对代理的信念状态进行有效推理，这使我们能够将观察到的行为序列外推到未来，同时保持对未来轨迹的不确定性估计。我们在2D环境中相互作用的苍蝇数据集上测试了我们的方法，在那里我们展示了比现有方法更好的预测性能，这些方法使用递归神经网络学习确定性策略。我们进一步表明，我们获得的未来轨迹的不确定性估计是很好的校准，这使得他们有用的各种下游处理任务。
2020-06-30 cs.AI cs.LG cs.MA
Structurally Flexible Neural Networks: Evolving the Building Blocks for General Agents
IT University Copenhagen（哥本哈根信息技术大学）
针对强化学习人工神经网络结构刚性限制跨环境策略优化的问题，提出进化由GRU表示的神经元与可塑性突触、优化不同单元类型的方法，缓解了对称性困境，可同时解决多项强化学习控制任务。
2024-05-17 cs.AI cs.LG cs.NE
Recurrent Neural Network Controllers for Signal Temporal Logic Specifications Subject to Safety Constraints
Boston University（波士顿大学）
我们提出了一个框架，基于递归神经网络（RNNs），以确定一个离散时间系统，需要满足规格的信号时序逻辑（STL）公式的最佳控制策略。RNN可以存储系统随时间变化的信息，因此，使我们能够确定STL公式中指定的动态时间要求的满足情况。给定一个STL公式，一个满足系统执行的数据集和相应的控制策略，我们可以使用RNN根据系统的当前和以前的状态预测每次的控制策略。我们使用控制障碍函数（CBF）来保证预测控制策略的安全性。我们验证了我们的理论公式，并通过仿真证明了其性能的最优控制问题的部分未知的安全约束。
2020-09-24 cs.LG cs.SY eess.SY
Contractive Dynamical Imitation Policies for Efficient Out-of-Sample Recovery
McGill University（麦吉尔大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
提出基于收缩动态系统的模仿学习框架，利用循环均衡网络和耦合层保证策略收缩性，实现高效样本外恢复，并在模拟机器人任务中验证性能提升。
2025-03-26 cs.LG cs.RO stat.ML
