Cautious Policy Programming: Exploiting KL Regularization in Monotonic Policy Improvement for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们提出了谨慎的政策规划（CPP），一种新的基于值的强化学习（RL）算法，可以确保单调的政策改善在学习过程中。基于熵正则化强化学习的性质，我们推导出一个新的熵正则化感知的策略改进下界，该下界只需要估计期望的策略优势函数。CPP利用该下限作为调整策略更新程度的标准，以减轻策略振荡。与同类算法大多是理论导向的不同，我们还提出了一种新的插值方案，使CPP更好地在高维控制问题的规模。我们证明，该算法可以交易o？在经典的控制问题和具有挑战性的高维度Atari游戏中，性能和稳定性都很出色。
2022-01-16 cs.AI cs.LG
ESP: Exploiting Symmetry Prior for Multi-Agent Reinforcement Learning
Beihang University（北京航空航天大学）
针对MARL数据需求大且忽略强归纳偏置的问题，提出一种与模型无关的框架，通过集成数据增强和一致性损失利用对称性先验，在多任务和物理多机器人平台上验证了有效性和优越性。
2023-08-09 cs.AI cs.LG cs.MA
Exploiting Generalization in Offline Reinforcement Learning via Unseen State Augmentations
Georgia Institute of Technology（佐治亚理工学院）；Amazon Alexa AI（亚马逊Alexa人工智能）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Southern California（南加州大学）
本文提出一种未见状态增强策略，通过对已见状态进行价值引导扰动并利用认知不确定性过滤，使离线强化学习能够在模型和价值估计可泛化的区域利用未见状态，从而在多个任务中实现更保守的Q值估计和性能提升。
2023-09-24 cs.AI cs.LG stat.ML
Exploiting Symmetry in Dynamics for Model-Based Reinforcement Learning with Asymmetric Rewards
University of California, Berkeley（加州大学伯克利分校）
针对强化学习中常假设动力学与奖励同对称的局限，本文仅基于动力学对称性，用Cartan活动标架法学习具备指定对称性的动力学模型，拓展了对称技术的适用场景，且实验验证其模型精度更高。
2024-08-16 cs.AI cs.LG cs.RO
The Unintended Consequences of Discount Regularization: Improving Regularization in Certainty Equivalence Reinforcement Learning
Harvard University（哈佛大学）；Imperial College London（帝国理工学院）
本文揭示折扣正则化等价于对转移矩阵施加特定先验，导致数据不均时性能下降，并提出按状态-动作对局部设置正则化参数的改进方法。
2023-06-20 cs.AI cs.LG stat.ML
The Value Equivalence Principle for Model-Based Reinforcement Learning
University of Michigan（密歇根大学）；DeepMind（DeepMind（深度思考））
从数据中学习环境模型通常被视为构建智能强化学习（RL）代理的重要组成部分。通常的做法是将模型的学习与使用分开，通过构建一个正确预测观察到的状态转换的环境动态模型。在本文中，我们认为，有限的代表性资源的基于模型的RL代理更好地用于建立模型，是直接有用的基于价值的规划。作为我们的主要贡献，我们介绍了价值等价的原则：两个模型是价值等价的一组功能和政策，如果它们产生相同的贝尔曼更新。我们提出了一个公式化的模型学习问题的基础上的价值等价原则，并分析了如何设置的可行的解决方案是由政策和功能的选择的影响。具体来说，我们表明，当我们增加所考虑的政策和功能集时，价值等价模型的类会缩小，直到最终崩溃到一个与完美描述环境的模型相对应的点。在许多问题中，直接建模状态到状态的转换可能既困难又不必要。通过利用值等价原则，可以找到更简单的模型，而不会影响性能，节省计算和内存。我们通过实验将其与最大似然估计等更传统的模型进行比较，说明了值等效模型学习的好处。更一般地说，我们认为，价值等价的原则是RL中最近一些经验成功的基础，如价值迭代网络，Predictron，价值预测网络，TreeQN和MuZero，并为这些结果提供了第一个理论基础。
2020-11-06 cs.AI cs.LG
Exploiting Language Instructions for Interpretable and Compositional Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Facebook AI Research（脸书人工智能研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
在这项工作中，我们提出了一种替代方法，通过使用诊断分类器，使代理组合。由于在自动化决策过程中需要可解释的代理，我们试图解释从RL代理的潜在空间，以确定其当前目标在一个复杂的语言指令。结果表明，分类过程导致隐藏状态的变化，这使得它们更容易解释，但也导致zero-shot性能的变化，以新的指令。最后，我们限制监督信号的分类，并观察到类似的，但不太显着的效果。
2020-01-13 cs.AI
Between Rate-Distortion Theory & Value Equivalence in Model-Based Reinforcement Learning
Stanford University（斯坦福大学）
典型的基于模型的强化学习代理迭代地改进其关于环境的真实底层模型的估计或先验信念。然而，最近在基于基于模型的强化学习与函数逼近方面的经验成功，避开了真正的模型，而倾向于替代模型，尽管忽略了环境的各个方面，但仍然有助于对行为进行有效的规划。这种算法技术最近被形式化为值等价原则，可能是不可避免的，因为现实世界的强化学习需要考虑一个简单的、计算有限的代理与极其复杂的环境进行交互。在这项工作中，我们接受一个极端的情况下，一些组合的巨大的环境复杂性和有限的代理能力完全排除了确定一个完全价值等价的模型。有鉴于此，我们接受了近似值等价的概念，并引入了一种算法，用于增量合成简单而有用的近似环境，从该环境中，代理仍然可以恢复接近最佳的行为。至关重要的是，我们认识到这种有损环境压缩问题的信息理论性质，并使用适当的工具，率失真理论，使数学精确的值等价如何可以提供易处理性，否则难以处理的顺序决策问题。
2022-06-04 cs.IT cs.LG math.IT
Reward Machines: Exploiting Reward Function Structure in Reinforcement Learning
Vector Institute（向量学院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习（RL）方法通常将奖励函数视为黑箱。因此，这些方法必须与环境广泛互动，以发现奖励和最佳策略。然而，在大多数RL应用程序中，用户必须对奖励函数进行编程，因此有机会使奖励函数可见-向RL代理显示奖励函数的代码，以便它可以利用函数的内部结构以更有效的方式学习最佳策略。在本文中，我们展示了如何通过两个步骤来实现这一想法。首先，我们提出了奖励机，一种有限状态机，它支持奖励函数的规范，同时暴露奖励函数的结构。然后，我们描述了利用此结构来支持学习的不同方法，包括自动奖励塑造、任务分解以及带有离策略学习的反事实推理。在不同任务和RL代理之间的表格和连续域上的实验显示了利用奖励结构在样本效率和所得政策的质量方面的好处。最后，由于是有限状态机的一种形式，奖励机具有正则语言的表达能力，并且因此支持循环、序列和条件，以及线性时间逻辑和非马尔可夫奖励规范的典型的时间扩展属性的表达。
2022-01-17 cs.AI cs.LG
Exploiting Semantic Epsilon Greedy Exploration Strategy in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）
多智能体强化学习（MARL）可以对许多现实世界的应用进行建模。然而，许多MARL方法依赖于贪婪的探索，这可能会阻碍在困难的情况下访问有利的状态。在本文中，我们提出了一种新的方法QMIX（SEG）处理MARL。它利用价值函数分解方法QMIX训练每Agent策略和一种新的语义外延贪婪（SEG）探索策略。SEG是对传统的贪婪搜索策略的简单扩展，但实验表明它可以大大提高MARL的性能。我们首先将动作聚类成具有相似效果的动作组，然后在一个双层的贪婪探索层次结构中使用这些组进行动作选择。我们认为，SEG有利于语义探索，探索在空间组的行动，这比原子行动具有更丰富的语义意义。实验表明，QMIX（SEG）大大优于QMIX，并导致强大的性能竞争力与当前国家的最先进的MARL方法在星际争霸多智能体挑战赛（SMAC）的基准。
2022-01-27 cs.AI cs.LG cs.MA
Exploiting Action Impact Regularity and Exogenous State Variables for Offline Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出动作影响规律性（AIR）假设，将状态分为内生与外生部分，并基于拟合Q迭代设计算法，在模拟和真实环境中验证其优于现有离线强化学习方法。
2023-05-03 cs.LG
Discount Factor as a Regularizer in Reinforcement Learning
Technion - Israel Institute of Technology（以色列理工学院）；Microsoft Research（微软研究院）
强化学习（RL）任务涉及选择合适的规划范围，其通常由折扣因子建模。众所周知，应用具有较低折扣因子的RL算法可以充当正则化器，从而提高有限数据状态下的性能。然而这个正则化子的确切性质还没有被研究过。在这项工作中，我们填补了这一空白。对于几种时间差（TD）学习方法，我们显示了使用减少的折扣因子和在算法的损失中添加显式正则化项之间的显式等价性。出于等效性的动机，我们经验性地研究这种技术相比，标准的$L_2$正则化广泛的实验，在离散和连续域，使用表格和功能表示。我们的实验表明，正则化的有效性与可用数据的属性密切相关，例如大小，分布和混合率。
2020-07-04 cs.AI cs.LG stat.ML
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University（布朗大学卡尼脑科学研究所）
本文提出 LCD 工具，用于分别量化电子游戏任务的感知与强化学习需求，并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
MONEYBaRL: Exploiting pitcher decision-making using Reinforcement Learning
General Analytics；University of Alberta（阿尔伯塔大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
这篇手稿使用机器学习技术来利用棒球投手的决策，所谓的“棒球智商”，通过建模的击球信息，球场选择和计数，作为一个马尔可夫决策过程（MDP）。MDP的每个状态都以马尔可夫的方式模拟投手的当前投球选择，条件是在做出当前投球之前的信息。这包括在前一个投球之前的计数，他随后的投球选择，击球手随后的动作和投球的结果。
2014-07-31 cs.AI stat.AP
Exploiting Model Equivalences for Solving Interactive Dynamic Influence Diagrams
Aalborg University（奥尔堡大学）；University of Georgia（佐治亚大学）
我们专注于在部分可观察的环境中与其他代理的不确定类型具有类似或冲突的目标共享的顺序决策的问题。这个问题以前已经正式由多个框架，其中之一是交互式动态影响图（I-DID），它概括了众所周知的影响图的多智能体设置。I-DID是图形模型，可用于计算代理的策略，给定其对物理状态和其他模型的信念，其随着代理在多代理设置中的行为和观察而变化。正如我们所料，解决I-DID在计算上是困难的。这主要是由于归因于其他代理的候选模型的大空间及其随时间的指数增长。我们提出了两种方法来减少模型空间的大小，并阻止其指数增长。这两种方法都涉及将单个模型聚合到等价类中。我们的第一种方法将行为等价的模型分组在一起，只选择那些在更新后的模型空间中会产生与其他模型不同的预测行为的模型进行更新。第二种方法通过关注行为预测的部分来进一步压缩模型空间。具体来说，我们集群动作等效模型，规定在一个单一的时间步相同的行动。准确地识别等价性需要我们求解初始集合中的所有模型。我们通过选择性地求解某些模型来避免这种情况，从而引入近似值。我们讨论了近似引入的误差，并实证证明了由于等价性而提高了求解I-DID的效率。
2014-01-18 cs.AI
More Efficient Exploration with Symbolic Priors on Action Sequence Equivalences
Inria（法国国家信息与自动化研究所）；Ecole Polytechnique（巴黎综合理工学院）；CNRS（法国国家科学研究中心）；Université de Lille（里尔大学）；Google Research（谷歌研究院）
在强化学习算法中，先验知识的提取是一个悬而未决的问题。即使有关于环境动态的见解，强化学习传统上也用于白板设置，必须从头开始探索和学习一切。在本文中，我们考虑的问题，利用先验的行动序列等价：即，当不同的行动序列产生相同的效果。我们提出了一个新的本地探索策略校准，以尽量减少碰撞，最大限度地增加新的状态访问。我们表明，这种策略可以计算在很小的成本，通过求解凸优化问题。通过替换DQN中通常的ε-贪婪策略，我们展示了它在具有各种动态结构的几种环境中的潜力。
2021-11-07 cs.AI cs.LG
Exploiting Unlabeled Data for Feedback Efficient Human Preference based Reinforcement Learning
Arizona State University（亚利桑那州立大学）
基于偏好的强化学习在利用人类对查询轨迹对的二进制反馈来恢复人类在回路（HiL）的底层奖励模型方面表现出了很大的希望。虽然工程试图更好地利用查询的人，在这项工作中，我们做了两个观察的代理收集的未标记的轨迹，并提出了两个相应的损失函数，确保参与奖励学习过程中的未标记的轨迹，并构造嵌入空间的奖励模型，使它反映了相对于动作距离的状态空间的结构。我们验证了所提出的方法在一个运动域和一个机器人操作任务，并与最先进的基线PEBBLE。我们进一步提出了一个消融的建议损失组件在这两个领域，并发现，不仅每个损失组件的表现优于基线，但两者的协同组合有更好的回报恢复和人类反馈样本效率。
2023-02-17 cs.AI cs.RO
Exploiting Hybrid Policy in Reinforcement Learning for Interpretable Temporal Logic Manipulation
University of Science and Technology of China（中国科学技术大学）；Chongqing University（重庆大学）；Hunan University（湖南大学）
本文提出时序逻辑引导的混合策略框架HyTL，通过LTL编码任务规范并结合三层决策结构，提升长时程机器人操作的采样效率、性能与可解释性。
2024-12-29 cs.AI cs.LG cs.RO
Exploiting inter-agent coupling information for efficient reinforcement learning of cooperative LQR
Oklahoma State University（俄克拉荷马州立大学）
本文利用智能体间耦合信息提出精确分解局部Q函数的系统方法，开发近似最小二乘策略迭代算法，并证明其最坏情况样本复杂度与集中式相当，同时推导出提升样本效率的充要图条件。
2025-04-29 cs.LG cs.MA cs.SY
No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping
KAIST（韩国科学技术院）；EPFL（洛桑联邦理工学院）；Adobe Research（奥多比研究院）
通过熵引导的优势塑造，RL-ZVP利用零方差提示提升LLM推理能力，显著优于GRPO及其他基线方法。
2026-02-09 cs.AI cs.CL cs.LG
Exploiting Symbolic Heuristics for the Synthesis of Domain-Specific Temporal Planning Guidance using Reinforcement Learning
Fondazione Bruno Kessler（布伦诺·科塞勒基金会）
本文提出一种改进的时序规划学习框架，结合符号启发式与强化学习，通过学习符号启发式的残差，采用多队列规划方法，提升了时序规划的性能。
2026-08-14 cs.AI
Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究挑战离线强化学习中必须使用集成模型的观念，证明单个校准良好的自回归模型在D4RL基准上优于神经集成，并分析了影响最终性能的模型属性。
2024-02-05 cs.LG stat.ML
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中，我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题，并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外，我们进行实验，基于网格的机器人导航域，以证明其效率和鲁棒性，通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
Reinforcement Learning-Based Bionic Reflex Control for Anthropomorphic Robotic Grasping exploiting Domain Randomization
Indian Institute of Technology Guwahati（印度古瓦哈蒂印度理工学院）；Biomimetic Robotics and Artificial Intelligence Laboratory (BRAIL)（仿生机器人与人工智能实验室（BRAIL））
针对机器人手抓取易滑移、变形且传统仿生反射控制依赖人工阈值与标注的问题，提出基于强化学习并结合域随机化的自主控制流程，在 PyBullet 中验证其 Sim2Real 迁移潜力。
2023-12-08 cs.AI cs.LG cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Exploiting Causal Graph Priors with Posterior Sampling for Reinforcement Learning
Technion（以色列理工学院）；ETH Zurich（苏黎世联邦理工学院）；Politecnico di Milano（米兰理工大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
本文提出 C-PSRL 方法，以部分因果图作为先验，通过分层贝叶斯同时学习完整因果图和因子化动态参数，显著提升了无信息先验下后验采样的样本效率。
2024-04-08 cs.LG
MAMRL: Exploiting Multi-agent Meta Reinforcement Learning in WAN Traffic Engineering
University of California, Riverside（加州大学河滨分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
流量优化的挑战，如负载均衡，流量调度，并提高数据包的交付时间，是困难的广域网（WAN）的在线决策问题。例如，需要复杂的算法来找到最佳路径，以改善分组传递时间并最小化可能由链路故障或拥塞引起的中断。最近的成功强化学习（RL）算法可以提供有用的解决方案，以建立更好的鲁棒系统，从经验中学习无模型设置。在这项工作中，我们考虑的路径优化问题，特别是数据包路由，在大型复杂网络。我们开发和评估一种无模型的方法，应用多代理Meta强化学习（MAMRL），可以确定每个数据包的下一跳，让它以最短的时间整体交付到目的地。具体来说，我们建议利用和比较深度策略优化RL算法，以实现通信网络中的分布式无模型控制，并提出一种新的基于元学习的框架MAMRL，以实现快速适应拓扑变化。为了评估所提出的框架，我们模拟各种WAN拓扑结构。我们广泛的数据包级仿真结果表明，与经典的最短路径和传统的强化学习方法相比，MAMRL显着降低了平均数据包传输时间，即使当网络需求增加;和非元深度策略优化算法相比，我们的研究结果显示，减少数据包丢失在更少的情节时，发生链路故障，同时提供可比的平均数据包传输时间。
2021-11-30 cs.LG cs.MA cs.NI
Exploiting Hierarchy for Learning and Transfer in KL-regularized RL
DeepMind；Department of Computer Science and Engineering, POSTECH（POSTECH计算机科学与工程系）；POSTECH（POSTECH（浦项科技大学））
由于强化学习代理的任务是解决更具挑战性和多样化的任务，将先验知识纳入学习系统和利用解决方案空间中的可重用结构的能力可能变得越来越重要。KL正则化的预期奖励目标构成了实现这一目标的一个可能的工具。它引入了一个额外的组件，默认或先前的行为，可以与策略一起学习，因此部分地将强化学习问题转化为行为建模问题。在这项工作中，我们认为这一框架的影响，在这种情况下，政策和默认行为与潜变量增加。我们将讨论如何产生的层次结构可以用来实现不同的归纳偏见，以及它们的模块化如何有利于转移。根据经验，我们发现它们可以在一系列连续控制任务中导致更快的学习和迁移。
2020-01-23 cs.LG stat.ML
Regret Analysis of Certainty Equivalence Policies in Continuous-Time Linear-Quadratic Systems
本文从理论上研究了一种普适的强化学习策略，用于控制连续时间随机线性二次系统的规范模型。我们发现，随机确定性等价策略解决了线性控制系统中的探索-开发困境，根据未知的随机微分方程，其运营成本是二次的。更确切地说，我们建立了时间后悔界的平方根，表明随机确定性等价策略从单个状态轨迹快速学习最优控制动作。此外，线性缩放的遗憾与参数的数量示出。所提出的分析介绍了新颖而有用的技术方法，并揭示了连续时间强化学习的基本挑战。
2022-08-22 cs.LG cs.SY eess.SY
Exploiting Deep Reinforcement Learning for Edge Caching in Cell-Free Massive MIMO Systems
针对铁路无线通信中无蜂窝大规模MIMO系统因传播环境剧变导致内容交付时延高的问题，提出基于启发式凸优化和结合SAC的深度强化学习的边缘缓存算法，有效提升了QoE与内容命中率。
2024-09-11 cs.AI cs.IT math.IT
Causal Reasoning from Meta-reinforcement Learning
DeepMind（深度思维）；Harvard University（哈佛大学）；UCL（伦敦大学学院）
发现和利用环境中的因果结构是智能代理的一个关键挑战。在这里，我们探讨因果推理是否可以通过Meta强化学习出现。我们用无模型强化学习训练一个递归网络，以解决一系列问题，每个问题都包含因果结构。我们发现，经过训练的代理可以在新的情况下进行因果推理，以获得奖励。代理人可以选择信息干预，从观察数据中得出因果推论，并做出反事实的预测。虽然建立正式的因果推理算法也存在，在本文中，我们表明，这种推理可以从无模型强化学习，并建议在复杂的设置因果推理可能会受益于更多的端到端的学习为基础的方法在这里。这项工作还提供了新的策略，结构化探索强化学习，通过提供代理的能力，执行-和解释-实验。
2019-01-23 cs.AI cs.LG stat.ML
Exploiting Verification-Generation Gap: Test-Time Reinforcement Learning with Confidence-Conditioned Verification
Sun Yat-Sen University（中山大学）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）
提出TTRL-CoCoV框架，通过置信度自适应机制解决无标签设置下Pass@k优化中的伪标签错误和多样性崩溃问题，显著提升Pass@1和Pass@k性能。
2026-06-02 cs.AI cs.LG
Exploiting Exogenous Structure for Sample-Efficient Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Northwestern University（西北大学）
研究Exo-MDPs这类结构化马尔可夫决策过程，建立离散MDPs等之间的表示等价性，刻画其学习的极小极大遗憾值，证明不同情况下的遗憾值界，表明其解耦样本复杂度，通过实验验证相关见解。
2026-10-02 cs.LG math.OC stat.ML
Exploiting Approximate Symmetry for Efficient Multi-Agent Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
针对现实场景中缺乏精确对称性和已知模型的问题，提出将有限玩家非对称博弈扩展为诱导MFG的方法，利用近似对称性实现无需显式模型的对称化学习，并证明了其近似Nash策略的收敛性与样本复杂度。
2024-08-27 cs.GT cs.LG math.OC
Unsupervised Video Object Segmentation for Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）
我们提出了一种新的深度强化学习技术，可以自动检测移动对象并使用相关信息进行动作选择。通过从运动中利用运动恢复结构，以无监督的方式进行运动对象的检测。该代理不是直接从原始图像中学习策略，而是首先通过利用视频序列中的流信息来学习检测和分割移动对象。然后使用学习的表示将代理的策略集中在移动对象上。随着时间的推移，智能体识别哪些对象对决策至关重要，并根据相关的移动对象逐步建立策略。这种方法我们称之为面向运动的强化学习（MOREL），它在一系列Atari游戏中得到了演示，其中检测移动物体的能力减少了获得良好策略所需的与环境的交互量。此外，所产生的策略比直接将图像映射到具有黑盒神经网络的动作或值的策略更可解释。我们可以通过检查代理检测到的每个对象的分割和运动来深入了解策略。这使得从业人员能够确认政策是否基于合理的信息做出决策。
2018-05-20 cs.AI cs.CV cs.LG
Exploiting Transformer in Sparse Reward Reinforcement Learning for Interpretable Temporal Logic Motion Planning
University of Science and Technology of China（中国科学技术大学）
本文提出双 Transformer 引导的 T2TL 框架，结合 LTL progression 与环境无关预训练，将复杂时序逻辑任务分解为可学习子目标，提升稀疏奖励强化学习运动规划性能。
2023-07-17 cs.AI cs.LO cs.RO
Crown Jewels Analysis using Reinforcement Learning with Attack Graphs
Deloitte Consulting, LLC（德勤咨询有限责任公司）；Hume Center for National Security and Technology, Virginia Polytechnic University（弗吉尼亚理工大学休姆国家安全与技术中心）；Deloitte & Touche LLP（德勤会计师事务所）
网络攻击对国家和企业构成了生存威胁。目前的做法倾向于使用威胁模型进行逐段分析，而不是严格的网络地形分析和战场情报准备。使用强化学习的自动渗透测试为开发由网络结构和网络地形驱动的方法提供了一种新的和有前途的方法，这些方法可以在以后根据威胁模型进行解释，但主要是网络驱动的分析。本文提出了一种称为CJA-RL的皇冠宝石分析的新方法，该方法使用强化学习来识别开发皇冠宝石的关键地形和途径。在我们的实验中，CJA-RL确定了利用具有多个皇冠宝石的网络的理想入口点，瓶颈点和枢轴，举例说明了CJA-RL和用于渗透测试的强化学习通常可以使计算机网络操作工作流程受益。
2021-08-20 cs.CR cs.LG cs.NI
Transfer with Model Features in Reinforcement Learning
Brown University（布朗大学）
强化学习中的一个关键问题是智能体可以学习哪种表示来有效地在不同任务之间重用知识。最近的继任者表示被证明有经验的好处，在任务之间转移知识共享的过渡动态。本文提出了模型特征：一个特征表示，集群行为等价的状态，这是相当于一个模型约简。此外，我们提出了一个后继特征模型，表明学习后继特征相当于学习模型约简。一种新的优化目标的开发，我们提供的界限表明，最大限度地减少这一目标的结果，在一个日益改善的近似模型简化。此外，我们提供了随机生成的MDP的转移实验，其不同的过渡和奖励功能，但大约保持状态之间的行为等价。这些结果表明，模型特征适用于具有不同转换和奖励函数的任务之间的转换。
2018-07-04 cs.AI cs.LG stat.ML
Exploiting Contextual Structure to Generate Useful Auxiliary Tasks
Brown University（布朗大学）
本文提出多任务强化学习框架，利用时序逻辑抽象、大语言模型对象嵌入、反事实推理与离策略学习自动生成并同步学习辅助任务，在不增加环境交互的情况下提升经验复用与探索效用。
2024-04-04 cs.AI cs.LG cs.RO
Generalized Reinforcement Meta Learning for Few-Shot Optimization
Apple Inc（苹果公司）
针对少样本学习问题，提出了一种通用的、灵活的基于强化学习（RL）的元学习框架。在训练过程中，它通过利用损失表面中的稳定模式来学习最佳优化算法以产生学习器（排名器/分类器等）。我们的方法隐式估计梯度的缩放损失函数，同时保留一般属性完整的参数更新。除了在Few-Shot任务上提供改进的性能之外，我们的框架可以很容易地扩展到进行网络架构搜索。我们进一步提出了一种新的双编码器，亲和分数为基础的解码器拓扑结构，实现了额外的性能改善。在内部数据集MQ 2007和AwA 2上的实验表明，我们的方法在准确性和NDCG指标上分别比现有的替代方法高出21%，8%和4%。在Mini-ImageNet数据集上，我们的方法实现了与原型网络相当的结果。实证评估表明，我们的方法提供了一个统一和有效的框架。
2020-05-04 cs.AI cs.LG stat.ML
Equivalence Between Policy Gradients and Soft Q-Learning
OpenAI；UC Berkeley（加州大学伯克利分校）
无模型强化学习的两种主要方法是策略梯度方法和$Q$学习方法。$Q$ -学习方法在它们工作时可以是有效的和样本高效的，然而，还没有很好地理解它们为什么工作，因为根据经验，它们估计的$Q$ -值非常不准确。一个部分的解释可能是，$Q$ -学习方法正在秘密地实现策略梯度更新：我们表明，在熵正则化强化学习的设置中，$Q$ -学习和策略梯度方法之间存在精确的等价性，“软”（熵正则化）$Q$ -学习完全等价于策略梯度方法。我们还指出了$Q$ -学习方法和自然策略梯度方法之间的联系。在实验中，我们探索了$Q$的熵正则化版本-学习和策略梯度，我们发现它们在Atari基准测试中的表现与标准变体一样好（或略好于）。我们还表明，在实际环境中的等价性，通过构建一个$Q$的学习方法，密切匹配的A3 C的学习动态，而不使用目标网络或$ε$贪婪的探索时间表。
2018-10-14 cs.LG
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel（布鲁塞尔自由大学）
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法，用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息，我们的方法可以学习环境模型，并执行时间差异更新，从而同时影响多个联合状态和动作。此外，还执行批量更新，这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法，无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
Reconfigurable Intelligent Surface Assisted Multiuser MISO Systems Exploiting Deep Reinforcement Learning
Singapore University of Technology and Design（新加坡科技设计大学）
最近，可重构智能表面（RIS），受益于可编程超材料制造的突破，已被推测为未来第六代（6G）无线通信系统的关键使能技术之一，其规模超过大规模多输入多输出（Massive-MIMO）技术，以实现智能无线电环境。RIS用作反射阵列，能够在不需要射频链的情况下辅助MIMO传输，从而大幅降低功耗。在本文中，我们研究了联合设计的发射波束形成矩阵在基站和相位移矩阵在RIS，利用深度强化学习（DRL）的最新进展。我们首先开发了一个基于DRL的算法，其中的联合设计是通过观察预定义的奖励，在连续的状态和动作的上下文中，通过试错与环境的相互作用。与大多数报道的作品利用交替优化技术，交替获得发射波束形成和相移，所提出的DRL的算法获得的联合设计同时作为DRL神经网络的输出。仿真结果表明，该算法不仅能够从环境中学习并逐步改善其行为，而且与两个最先进的基准测试相比，性能相当。研究还表明，适当的神经网络参数设置将显著提高算法的性能和收敛速度。
2020-02-24 cs.IT cs.LG math.IT
Exploiting Expertise of Non-Expert and Diverse Agents in Social Bandit Learning: A Free Energy Approach
Cognitive Systems Lab., School of Electrical and Computer Engineering, College of Engineering, University of Tehran（认知系统实验室，电气与计算机工程学院，工程学院，塔里班大学）
本文提出了一种基于自由能的社会老虎机学习算法，通过评估其他代理的专长水平来提升学习效果，同时在各种场景中保持对数遗憾。
2026-03-12 cs.AI cs.LG stat.ML
Discovering User Types: Mapping User Traits by Task-Specific Behaviors in Reinforcement Learning
Harvard University（哈佛大学）
本文研究强化学习中用户行为与特质的对应关系，提出分解“用户类型”的工具，并将具有相同用户类型集合的环境定义为等价关系，以支持干预设计跨环境迁移与快速个性化。
2023-07-16 cs.HC cs.LG
Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning
AStar（新加坡科技研究局）；IBM Research（IBM研究院）
现实世界中的强化学习的主要挑战之一是从有限的训练样本中成功学习。我们表明，在某些设置中，可用的数据可以显着增加，通过一种形式的多任务学习，利用任务中的不变性。我们提供了一个理论上的性能界的增益在样本效率在此设置下。这激发了一种新的多任务学习方法，它涉及到一个适当的神经网络架构和优先任务采样策略的设计。我们实证证明了所提出的方法在两个现实世界的顺序资源分配任务中的有效性，这种不变性发生：金融投资组合优化和Meta联邦学习。
2021-02-18 cs.AI cs.LG
Pretrain Soft Q-Learning with Imperfect Demonstrations
Tsinghua University（清华大学）；University of Science & Technology Beijing（北京科技大学）
由于现有的强化学习算法需要大量的计算能力用于在线仿真，因此带演示的预训练强化学习方法是强化学习研究中的一个重要概念。预训练强化学习在利用专家演示的同时保持探索潜力，特别是对于基于值的方法，仍然是一个重大挑战。在本文中，我们提出了一种软Q学习的预训练方法。我们的工作受到演员评论家算法的预训练方法的启发，因为软Q学习是一种基于值的算法，相当于策略梯度。该方法基于$γ$ -熵正则化折扣有偏策略评估，这也是软Q学习的更新目标。我们的方法是评估从Atari 2600的各种任务。实验表明，我们的方法可以有效地从不完美的演示中学习，并且优于其他从专家演示中学习的最先进的方法。
2019-05-09 cs.AI cs.LG stat.ML
Proximal Policy Optimization for Tracking Control Exploiting Future Reference Information
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；IAV GmbH（IAV有限公司）
近年来，强化学习（RL）在控制工程中得到了越来越多的关注。特别是策略梯度方法被广泛应用。在这项工作中，我们提高了跟踪性能的近端策略优化（PPO）的任意参考信号，将未来的参考值的信息。扩展的演员和评论家考虑到未来的参考价值的参数的两个变种。在第一个变体中，全局未来引用值被添加到参数中。对于第二种变体，引入了一种新的适用于无模型强化学习的具有未来参考值的残差空间。我们的方法进行评估对一个简单的驱动训练模型的PI控制器。我们希望我们的方法比以前的方法更好地推广到任意参考，指向RL控制真实系统的适用性。
2021-07-20 cs.LG cs.RO cs.SY
Ancestral Reinforcement Learning: Unifying Zeroth-Order Optimization and Genetic Algorithms for Reinforcement Learning
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；Universal Biology Institute, The University of Tokyo（东京大学普遍生物学研究所）
本文提出祖先强化学习（ARL），通过让智能体利用祖先种群历史估计梯度，同时保持当前种群策略多样性，统一了零阶优化与遗传算法的优势，并证明其隐式引入KL正则化以增强探索。
2024-09-02 cs.LG
Exploiting Local Dynamics Regularity for Reusable Skills in Offline Hierarchical RL
UT Austin（UT奥斯汀）
提出CARL算法，通过对比学习对齐局部动态与动作序列，在离线分层强化学习中学习可复用技能，提升下游任务性能。
2026-05-29 cs.AI
An Equivalence between Loss Functions and Non-Uniform Sampling in Experience Replay
Mila, McGill University（蒙特利尔学习算法研究所（Mila）、麦吉尔大学（McGill University））
优先经验重放（PER）是一种深度强化学习技术，其中智能体从与其时间差误差成比例的非均匀概率采样的转换中学习。我们证明，任何损失函数评估与非均匀采样数据可以转换成另一个均匀采样损失函数具有相同的期望梯度。令人惊讶的是，我们发现在某些环境中，PER可以完全取代这个新的损失函数，而不影响经验性能。此外，这种关系提出了一个新的分支改进PER通过纠正其均匀采样损失函数等效。我们证明了我们提出的修改PER和等价的损失函数在几个MuJoCo和Atari环境的有效性。
2020-10-22 cs.LG stat.ML
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research New York（微软纽约研究院）
我们研究了批量强化学习的安全威胁，并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器，它首先从批量数据集中估计动态和奖励，然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集，并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架，并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明，这两个实例化的结果在凸优化问题上的全局最优性是有保证的，并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
Quantum Multi-Agent Meta Reinforcement Learning
Korea University（高丽大学）；Deakin University（迪肯大学）
虽然量子霸权尚未到来，但最近人们越来越关注在即将到来的实用量子计算时代识别量子机器学习（QML）的潜力。受此启发，在本文中，我们基于量子神经网络（QNN）的独特特性重新设计了多智能体强化学习（MARL），该网络具有两个独立的可训练参数维度：影响输出量子比特状态的角度参数和与输出测量基础相关的极点参数。利用这种二元可训练性作为元学习能力，我们提出了量子Meta MARL（QM2ARL），它首先将角度训练应用于元QNN学习，然后将极点训练应用于Few-Shot或局部QNN训练。为了避免过拟合，我们开发了一种角度到极点正则化技术，在角度训练期间将噪声注入极点域。此外，通过利用极点作为每个训练的QNN的存储器地址，我们引入了极点存储器的概念，允许仅使用两个参数的极点值来保存和加载训练的QNN。我们从理论上证明了角度训练在角度到极点正则化下的收敛性，并通过仿真证实了QM2ARL在实现高回报和快速收敛方面的有效性，以及极点记忆在快速适应时变环境方面的有效性。
2022-11-25 cs.AI cs.LG cs.MA
Augmenting Automated Game Testing with Deep Reinforcement Learning
SEED - Electronic Arts (EA)（SEED - 艺电公司）
一般的游戏测试依赖于人类游戏测试人员的使用、游戏测试脚本以及感兴趣领域的先验知识来产生相关的测试数据。使用深度强化学习（DRL），我们将自学习机制引入游戏测试框架。通过DRL，该框架能够基于用户定义的强化奖励信号来探索和/或利用游戏机制。结果，测试覆盖率增加，并且在众多游戏类型中发现了意外的游戏机制、漏洞和错误。在本文中，我们表明，DRL可以用来增加测试覆盖率，发现漏洞，测试地图的难度，并检测常见的问题，出现在第一人称射击（FPS）游戏的测试。
2021-03-29 cs.AI cs.LG
