FACMAC: Factored Multi-Agent Centralised Policy Gradients
University of Oxford（牛津大学）；Facebook AI Research（Facebook AI研究院）；Delft University of Technology（代尔夫特理工大学）
我们提出了因子化多智能体集中式策略梯度（FACMAC），一种新的方法，在离散和连续的动作空间的合作多智能体强化学习。像MADDPG，一个流行的多代理演员批评的方法，我们的方法使用深确定性策略梯度学习政策。然而，FACMAC学习一个集中的，但分解的评论家，它结合每个代理效用到联合行动价值函数通过一个非线性单调函数，如在QMIX，一个流行的多代理Q-学习算法。然而，与QMIX不同的是，对critics的分解没有固有的约束。因此，我们还采用了非单调因子分解和经验表明，其代表性的能力增加，使它能够解决一些任务，不能用单片，或单调因子的批评。此外，FACMAC使用一个集中的策略梯度估计，优化整个联合行动空间，而不是优化每个代理的行动空间分别在MADDPG。这允许更协调的政策变化，并充分利用集中批评的好处。我们评估FACMAC的多智能体粒子环境的变体，一种新的多智能体MuJoCo基准，和一组具有挑战性的星际争霸II微观管理任务。实证结果表明，FACMAC的优越性能超过MADDPG和其他基线上的所有三个领域。
2021-05-07 cs.AI cs.LG stat.ML
Reinforcement Learning in Factored Action Spaces using Tensor Decompositions
University of Oxford（牛津大学）；UCL（伦敦大学学院）；NVIDIA（英伟达）
我们提出了以前发表的工作TESSERACT [Mahajan等人，2021]，它提出了一种新的解决方案，强化学习（RL）在大，因子动作空间使用张量分解。本摘要的目标是双重的：（1）在张量研究社区中获得更大的兴趣，以创建近似RL的方法和分析，（2）阐明可以使用张量分解的因子作用空间的广义设置。我们使用合作多智能体强化学习场景作为示例性设置，其中动作空间自然地分解为多个智能体，并且学习变得难以处理，而无需对候选解决方案的潜在假设空间进行近似。
2021-10-27 cs.LG cs.MA
Lifelong Policy Gradient Learning of Factored Policies for Faster Training Without Forgetting
University of Pennsylvania（宾夕法尼亚大学）；University of Western Ontario（西安大略大学）
策略梯度方法在高维动力系统的控制策略学习中取得了成功。它们最大的缺点是在产生高性能政策之前需要进行大量的探索。在终身学习环境中，智能体在其生命周期中面临多个连续的任务，重用以前看到的任务的信息可以大大加快新任务的学习。我们提供了一种新的终身策略梯度学习方法，直接通过策略梯度训练终身函数逼近器，使代理受益于整个训练过程中积累的知识。我们的经验表明，我们的算法学习速度更快，收敛到更好的政策比单任务和终身学习基线，并完全避免了灾难性遗忘在各种具有挑战性的领域。
2020-10-21 cs.AI cs.LG stat.ML
Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
University of Toronto（多伦多大学）；New York University（纽约大学）；Vector Institute（向量研究所）
在这项工作中，我们建议使用最近提出的Kronecker因子近似曲率将信赖域优化应用于深度强化学习。我们扩展了自然策略梯度的框架，并建议使用Kronecker因子近似曲率（K-FAC）与信任区域优化演员和评论家，因此我们称我们的方法演员批评使用Kronecker因子信任区域（ACKTR）。据我们所知，这是第一个可扩展的信任区域自然梯度方法的演员批评的方法。它也是一种直接从原始像素输入学习连续控制中的非平凡任务以及离散控制策略的方法。我们在Atari游戏中的离散域以及MuJoCo环境中的连续域中测试了我们的方法。与以前的最先进的政策行动者-批评者方法相比，我们能够实现更高的回报和平均样本效率的2至3倍的改进。代码可在https://github.com/openai/baselines上获得
2017-08-18 cs.LG
Regression with Linear Factored Functions
Technische Universität Berlin（柏林工业大学）
许多使用经验估计函数的应用程序面临维数灾难，因为大多数函数类上的积分必须通过采样来近似。本文介绍了一种新的回归算法，学习线性因子函数（LFF）。这类函数的结构特性允许解析求解某些积分和计算逐点乘积。像信念传播和强化学习这样的应用程序可以利用这些属性来打破诅咒并加快计算速度。我们推导出一个正则化的贪婪优化方案，在训练过程中学习因子化的基函数。新的回归算法在基准任务上与高斯过程竞争，并且学习的LFF函数平均具有4-9个因子基函数非常紧凑。
2015-03-30 cs.LG stat.ML
Factored Policy Gradients: Leveraging Structure for Efficient Learning in MOMDPs
J. P. Morgan AI Research（摩根大通人工智能研究院）
策略梯度方法可以解决复杂的任务，但往往失败时，行动空间的维数或目标的多样性变得非常大。这部分是因为基于分数的梯度估计器的方差是二次缩放的。在本文中，我们解决这个问题，通过一个因素基线，利用独立结构编码在一个新的行动目标的影响网络。因子化的策略梯度（FPGs），这如下，提供了一个共同的框架，用于分析关键国家的最先进的算法，概括传统的策略梯度，并产生一个原则性的方式，将先验知识的问题域的生成过程。我们提供了一个分析建议的估计，并确定在何种条件下，方差减少。FPGs的算法方面进行了讨论，包括最佳的政策因式分解，其特征在于最小biclique覆盖，以及不正确地指定网络的偏差方差权衡的影响。最后，我们证明了我们的算法在大规模的土匪和交通路口的问题上的性能优势，后者提供了一个新的贡献，在空间近似的形式。
2021-11-23 cs.AI cs.LG cs.MA
Factored Adaptation for Non-Stationary Reinforcement Learning
City University of Hong Kong（香港城市大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Amsterdam（阿姆斯特丹大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
处理环境中的非平稳性（例如，在过渡动态中）和目标（例如，是一个具有挑战性的问题，在强化学习（RL）的实际应用中至关重要。虽然目前大多数方法将变化建模为单个共享嵌入向量，但我们利用最近因果关系文献的见解，根据个体潜在变化因素和不同环境中的因果关系图来建模非平稳性。特别是，我们提出了非平稳RL的因子自适应（FANS-RL），这是一种因子自适应方法，它可以联合学习因子MDP的因果结构和个体时变变化因子的因子表示。我们证明，在标准的假设下，我们可以完全恢复的因果图表示的因素化的过渡和奖励功能，以及个别的变化因素和状态组件之间的部分结构。通过我们的总体框架，我们可以考虑具有不同功能类型和变化频率的一般非平稳场景，包括跨事件和事件内的变化。实验结果表明，FANS-RL在返回、潜在状态表示的紧凑性以及对不同程度的非平稳性的鲁棒性方面优于现有方法。
2022-10-18 cs.AI cs.LG
Curricula for Learning Robust Policies with Factored State Representations in Changing Environments
University of Bath（巴斯大学）
本文研究因子化状态表示下课程设计对强化学习策略鲁棒性的影响，实验证明三种简单课程（如仅改变最高遗憾变量）可显著提升鲁棒性，为复杂环境提供实用指导。
2024-09-19 cs.AI cs.LG
Action-Factored Multi-Agent Reinforcement Learning for Scalable Quantum Device Tuning
University of Oxford（牛津大学）
针对量子器件调谐中参数串扰致学习不稳定问题，提出用在线学习动作空间分解表示的方法，框架QADAPT借此高效学习共享策略，实现零样本泛化及收敛步骤数恒定，为大规模量子处理器快速校准提供可扩展途径。
2026-07-13 cond-mat.mes-hall cs.LG
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
深度强化学习（DRL）方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中，那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左（这是前两个动作的组合）的动作。在这些领域中的控制策略的表示传统上被建模，而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式，因子化动作空间表示（FAR），其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量，类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作，而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进：FARA 3C在14个任务中的9个任务中优于A3 C（异步优势演员评论），FARAQL在13个任务中的9个任务中优于AQL（异步n步Q学习）。
2017-05-20 cs.AI cs.LG
From Pixels to Factors: Learning Independently Controllable State Variables for Reinforcement Learning
Brown University（布朗大学）；UC Berkeley（伯克利大学）
针对高维观测下强化学习无法利用因子化结构提升样本效率的问题，提出基于对比学习的动作可控因子化方法ACF，利用动作影响的稀疏性挖掘独立可控潜变量，在三个基准测试中性能优于现有解耦算法。
2025-10-02 cs.AI cs.LG
Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan（密歇根大学）；Michigan Medicine（密歇根医学中心）；Harvard University（哈佛大学）
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题，提出因子化动作空间诱导的线性Q函数分解法，兼具理论保证与样本效率，可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Q-function Decomposition with Intervention Semantics with Factored Action Spaces
IBM T. J. Watson Research Center（IBM 沃森研究中心）；The Chinese University of Hong Kong（香港中文大学）
针对离散分解动作空间中组合爆炸导致的强化学习难题，本文提出动作分解强化学习方法，利用因果效应估计在低维投影子空间上分解 Q 函数，显著提升了样本效率。
2025-04-30 cs.AI cs.LG
Hierarchical Entity-centric Reinforcement Learning with Factored Subgoal Diffusion
Brown University（布朗大学）；UT Austin（得克萨斯大学）；Carnegie Mellon University（卡内基梅隆大学）；Technion（技术学院）
本文提出分层实体导向强化学习方法，通过分因子子目标生成模型提升多实体领域中长周期任务的性能。
2026-02-02 cs.CV cs.LG cs.RO
KFCPO: Kronecker-Factored Approximated Constrained Policy Optimization
School of Computer Science and Engineering, Pusan National University, Busan, Korea（计算机科学与工程学院，釜山国立大学，韩国釜山）
提出KFCPO安全强化学习算法，结合K-FAC二阶优化与边际感知梯度操作，并采用KL回滚策略，在满足安全约束下显著提升回报。
2025-11-02 cs.AI cs.LG
Factored Value Functions for Graph-Based Multi-Agent Reinforcement Learning
University of Bath（巴斯大学）；BT Research（BT研究）
本文提出了一种基于图的多智能体强化学习中的分解价值函数（DVF），并设计了DA2C和LD-GNN算法，在多个任务中提升了平均奖励性能。
2026-01-16 cs.LG
Learning Dynamic Attribute-factored World Models for Efficient Multi-object Reinforcement Learning
City University of Hong Kong（香港城市大学）；University of Amsterdam（阿姆斯特丹大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对多目标强化学习中现有方法未充分利用属性因子化的问题，提出DAFT-RL框架，通过类模板图、交互模式图等实现高效泛化，在三个基准上性能超越SOTA。
2023-07-18 cs.LG
Multi-Agent Learning of Numerical Methods for Hyperbolic PDEs with Factored Dec-MDP
GE Research（通用电气研究院）；Binghamton University（宾汉姆顿大学）
分解分散马尔可夫决策过程（Dec-MDP）是一个多智能体系统序列决策问题的建模框架。在本文中，我们正式学习的数值方法的双曲型偏微分方程（PDE），特别是加权本质非振荡（WENO）计划，作为一个分解的Dec-MDP问题。我们发现，不同的奖励配方导致无论是强化学习（RL）或行为克隆，和一个同质的政策，可以学习所有代理下的RL配方与策略梯度算法。由于经过训练的智能体只作用于它们的局部观测值，因此多智能体系统可以用作双曲偏微分方程的通用数值方法，并推广到不同的空间离散化、情节长度、维度甚至方程类型。
2022-05-31 cs.AI cs.LG cs.MA
Counterfactual Data Augmentation using Locally Factored Dynamics
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
许多动态过程，包括机器人控制和强化学习（RL）中的常见场景，都涉及一组相互作用的子过程。虽然子过程不是独立的，但它们之间的相互作用通常是稀疏的，并且在任何给定时间步的动态通常可以分解为局部独立的因果机制。这种局部因果结构可以被利用来提高序列预测和离线强化学习的样本效率。我们通过引入局部因果模型（LCM）来正式化这一点，该模型是通过状态空间的一个子集进行调节而从全局因果模型中诱导出来的。我们提出了一种方法来推断这些结构的面向对象的状态表示，以及一种新的算法，用于反事实数据增强（CoDA）。CoDA使用局部结构和经验重放来生成在全局模型中因果有效的反事实经验。我们发现，CoDA显着提高了RL代理在本地因素的任务，包括批量约束和目标条件设置的性能。
2020-12-03 cs.AI cs.LG cs.RO
Off-policy evaluation for MDPs with unknown structure
Technion（以色列理工学院）
动态决策问题中的非策略学习对于提供强有力的证据证明新策略优于使用中的策略是必不可少的。但是我们怎么能在不测试新政策的情况下证明自己的优越性呢？为了回答这个问题，我们引入了G-SCOPE算法，该算法根据现有策略生成的数据评估新策略。我们的算法是计算和样本效率，因为它greenly学习利用因子结构的动态环境。我们提出了一个有限的样本分析，我们的方法，并通过实验表明，该算法规模以及高维问题的样本少。
2015-02-11 cs.LG stat.ML
Logical Team Q-learning: An approach towards factored policies in cooperative MARL
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们解决的挑战，学习因素的政策合作MARL的情况下。特别是，我们考虑的情况下，一个团队的代理合作，以优化共同的成本。我们的目标是获得因子化的政策，确定每个代理的个人行为，使最终的联合政策是最优的。这项工作的主要贡献是引入逻辑团队Q学习（LTQL）。LTQL不依赖于对环境的假设，因此通常适用于任何协作MARL场景。我们推导出LTQL作为一个随机逼近的动态规划方法，我们在这项工作中介绍。我们通过提供实验（在表格和深层环境中）来说明这些主张，从而结束本文。
2021-03-28 cs.AI cs.LG cs.MA
Efficient Solution and Learning of Robust Factored MDPs
本文提出了一种基于因式分解状态空间的鲁棒马尔可夫决策过程求解与学习方法，通过将非凸优化问题转化为线性规划问题，提高了样本效率和策略性能保证。
2025-11-20 cs.AI cs.LG
Reinforcement Learning for Heterogeneous Teams with PALO Bounds
University of Georgia（佐治亚大学）
我们引入强化学习的异构团队中，一个代理人的奖励被添加到本地成本，刺激独特的每个代理，和全球的奖励，这些共享的域中的所有代理。激励域包括协调不同的机器人平台，这会导致相同的行动不同的成本，但共享一个总体目标。我们提出了两个模板学习在这种情况下与因子奖励：一个概括的帕金斯的蒙特卡洛探索开始POMDPs规范MPOMDPs，一个单一的政策映射联合观察所有代理的联合行动（MCES-MP）;和另一个与每个代理单独映射联合观察到自己的行动（MCES-FMP）。我们使用可能近似局部最优（PALO）边界来分析样本的复杂性，将这些模板实例化到PALO学习中。我们促进样本效率，包括政策空间修剪技术，并评估的方法在三个领域的异构代理证明，MCES-FMP产生更好的政策，在更少的样本相比，MCES-MP和以前的基准。
2018-05-23 cs.AI cs.LG stat.ML
Chi-square Tests Driven Method for Learning the Structure of Factored MDPs
University Pierre et Marie Curie - Paris 6（皮埃尔和玛丽·居里大学（巴黎第六大学））；LIP6（利皮6实验室）
SDYNA是一个通用框架，旨在解决大型随机强化学习问题。与FMDPs中以前的基于模型的方法不同，它使用监督学习技术增量地学习RL问题的结构和参数。然后，它集成基于FMDPs的决策理论规划算法来计算其策略。SPITI是SDYNA的一个实例，它利用ITI（一种增量决策树算法）来学习奖励函数和动态贝叶斯网络，其中局部结构表示问题的转移函数。这些表示被结构化值迭代算法的增量版本使用。为了学习结构，SPITI使用卡方检验来检测两个概率分布之间的独立性。因此，我们研究了卡方检验中使用的阈值，所建模型的大小和诱导策略的价值函数相对于最优值的相对误差之间的关系。我们表明，在随机问题上，可以调整阈值，从而生成一个紧凑的模型和一个有效的政策。然后，我们表明，SPITI，同时保持其模型的紧凑性，使用其学习方法的泛化性能比随机的经典表格算法在大型RL问题与未知的结构。我们还引入了一种基于卡方的新度量来量化SPITI学习的模型的准确性。我们定性地表明，在SPITI的FMDP框架内的泛化属性可能会阻止指数增长的时间需要学习的结构的大型随机RL问题。
2012-06-27 cs.AI cs.LG stat.ML
Exploring compact reinforcement-learning representations with linear regression
Rutgers University（罗格斯大学）；University of Alberta（阿尔伯塔大学）
本文提出了一种新的在线线性回归算法，其效率保证满足KWIK（知道它知道什么）框架的要求。该算法提高了在这种情况下，目前的最先进的程序的复杂性界限。我们探讨了该算法的几个应用程序学习紧凑的强化学习表示。我们表明，KWIK线性回归可用于学习因子化MDP的奖励函数以及随机随机MDP和面向对象MDP中的动作结果概率，这些都没有被证明在RL设置中是有效学习的。我们还将KWIK线性回归与其他KWIK学习器相结合，以学习这些模型的更大部分，包括一起学习因子化MDP转换和奖励函数的实验。
2012-05-09 cs.AI cs.LG
Optimistic Initialization and Greediness Lead to Polynomial Time Learning in Factored MDPs - Extended Version
本文提出了一种分解马尔可夫决策过程的多项式时间强化学习算法。因子乐观初始模型（FOIM）算法，保持一个经验模型的FMDP在一个传统的方式，并始终遵循一个贪婪的政策，其模型。该算法的唯一技巧是模型被乐观地初始化。我们证明了，与适当的初始化（i）FOIM收敛到近似值迭代（AVI）的不动点;（ii）的步骤数时，代理作出非近最优的决定（相对于AVI的解决方案）是多项式的所有相关量;（iii）每步的成本算法也是多项式的。据我们所知，FOIM是第一个具有这些属性的算法。这个扩展版本包含了主要定理的严格证明。本文的一个版本出现在ICML'09上。
2009-04-21 cs.AI cs.LG
Patient-Centered Treatment Planning for Chronic Multimorbidity: A Hierarchical Reinforcement Learning Framework for Preference Modeling
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；University of Tennessee Health Science Center College of Medicine（田纳西大学健康科学中心医学院）；University of Tennessee Medical Center（田纳西大学医学中心）；University of Arkansas（阿肯色大学）
提出FAHOC分层强化学习框架，通过因子化动作与偏好约束建模患者偏好，在5万共病患者数据上实现QALY改善0.669且不违反偏好。
2026-10-01 cs.LG
Safe Multi-Agent Reinforcement Learning via Shielding
University of Virginia（弗吉尼亚大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）；Clausthal University of Technology（克劳斯塔尔工业大学）
多智能体强化学习（MARL）已经越来越多地用于广泛的安全关键应用中，这些应用需要有保证的安全性（例如，在学习过程中没有访问过不安全的状态）。不幸的是，当前的MARL方法没有安全保证。因此，我们提出了两种屏蔽方法的安全MARL。在集中屏蔽中，我们合成一个单一的屏蔽来监视所有代理的联合行动，并在必要时纠正任何不安全的行动。在因子屏蔽中，我们基于对所有Agent观测到的联合状态空间的因子分解来合成多个屏蔽，屏蔽集同时监控Agent，每个屏蔽只负责每一步中的一个子集.实验结果表明，这两种方法都能保证Agent在学习过程中的安全性，而不影响学习策略的质量;此外，因子化屏蔽在代理的数量上比集中式屏蔽更可缩放。
2021-02-02 cs.FL cs.LG
Information-Theoretic Confidence Bounds for Reinforcement Learning
Stanford University（斯坦福大学）
我们将信息理论的概念整合到乐观算法和汤普森采样的设计和分析中。通过信息理论的数量和置信区间之间的连接，我们得到的结果，每一个时期的代理性能与其有关的环境的信息增益，从而明确表征的探索开发权衡。由此产生的累积遗憾界取决于代理人的不确定性的环境和量化的先验信息的价值。我们展示了这种方法在几种环境中的适用性，包括线性土匪，表格MDPs和因子MDPs。这些例子证明了一个通用的信息理论方法的设计和分析的强化学习算法的潜力。
2019-11-21 cs.AI cs.LG stat.ML
Factorized Spectral Representations for Reinforcement Learning
University of Washington（华盛顿大学）
该研究聚焦强化学习，提出FaStR方法，通过对转移核的三模张量CP分解，用噪声对比目标拟合，产生单独编码器形成谱表示。其因式分解形式缩小假设类，在高维运动任务中效果好，状态编码器可跨执行器移位转移。
2026-10-30 cs.LG
Policy Poisoning in Batch Reinforcement Learning and Control
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research New York（微软纽约研究院）
我们研究了批量强化学习的安全威胁，并控制攻击者旨在毒害学习策略的位置。受害者是一个强化学习器/控制器，它首先从批量数据集中估计动态和奖励，然后求解关于估计的最优策略。攻击者可以在学习发生之前稍微修改数据集，并希望迫使学习者学习攻击者选择的目标策略。提出了一个统一的解决批量策略中毒攻击的框架，并对强化学习中的表格确定性等价学习器和控制中的线性二次型调节器这两种标准受害者进行了攻击实例。我们表明，这两个实例化的结果在凸优化问题上的全局最优性是有保证的，并提供攻击的可行性和攻击成本的分析。实验证明了策略中毒攻击的有效性。
2019-10-31 cs.LG stat.ML
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Regret Bounds for Reinforcement Learning with Policy Advice
Carnegie Mellon University（卡内基梅隆大学）；INRIA Lille - Nord Europe（里尔-北欧法国国家信息与自动化研究所）
在一些强化学习问题中，可以向代理提供一组输入策略，这些输入策略可能是从先前的经验中学习的，或者是由顾问提供的。我们提出了一个带有策略建议的强化学习（RLPA）算法，该算法利用这个输入集，并学习使用集合中的最佳策略来执行手头的强化学习任务。我们证明了RLPA有一个次线性的遗憾\tilde O（\sqrt{T}）相对于最佳的输入策略，并且这种遗憾和它的计算复杂性是独立的状态和动作空间的大小。我们的实证模拟支持我们的理论分析。这表明RLPA可以在提供一些先前好的策略的大型域中提供显着的优势。
2013-07-17 cs.LG stat.ML
Convergent Policy Optimization for Safe Reinforcement Learning
The University of Chicago（芝加哥大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）
研究了具有非线性函数逼近的安全强化学习问题，将策略优化问题转化为目标函数和约束函数均为非凸函数的约束优化问题.对于这样的问题，我们构造了一个替代凸约束优化问题的序列，通过替换局部的非凸函数与凸二次函数从策略梯度估计。我们证明了这些代理问题的解收敛到原非凸问题的一个不动点。此外，为了扩展我们的理论结果，我们将我们的算法应用到最优控制和多智能体强化学习与安全约束的例子。
2019-10-26 cs.LG stat.ML
Policy Consolidation for Continual Reinforcement Learning
Imperial College London（帝国理工学院）；DeepMind（深度思维）
我们提出了一种在深度强化学习中解决灾难性遗忘的方法，即\textit{agnostic}到经验分布变化的时间尺度，不需要任务边界的知识，并且可以适应\textit{continuously}不断变化的环境。在我们的\textit{policy consolidation}模型中，策略网络与隐藏网络的级联进行交互，这些隐藏网络同时记住代理在一系列时间尺度上的策略，并通过自己的历史来规范当前策略，从而提高其学习而不忘记的能力。我们发现，该模型提高了持续学习相对于基线的一些连续控制任务，在单任务，交替两个任务，和多代理竞争性自我发挥设置。
2019-06-17 cs.LG stat.ML
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning
Amazon Web Services（亚马逊云科技）；University of Pennsylvania（宾夕法尼亚大学）
本文提出了一套非策略强化学习（RL）技术，简化了训练过程，降低了样本的复杂性。首先，我们表明，简单的确定性策略梯度的作品非常好，只要高估偏见得到控制。这是对比现有的文献，创造了复杂的关闭政策的技术。其次，我们将训练不稳定性（典型的非策略算法）定位到贪婪策略更新步骤;现有的解决方案（如延迟策略更新）并不能缓解这个问题。第三，我们表明，在倾向估计文献中的想法可以用来从重放缓冲区的重要性样本的过渡，并有选择地更新的政策，以防止性能恶化。我们在一系列具有挑战性的MuJoCo任务上进行了大量的实验，从而得出了这些结论。我们的结果的一个简短的视频可以在https://tinyurl.com/scs6p5m上看到。
2020-06-26 cs.LG stat.ML
Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
Conditioning of Reinforcement Learning Agents and its Policy Regularization Application
ITMO University（ITMO大学）
研究了监督学习问题的雅可比奇异值正则化结果。研究还表明，雅可比条件正则化可以帮助避免生成对抗网络中的“模式切换”问题。在本文中，我们试图回答以下问题：关于政策条件的信息是否有助于形成一个更稳定和通用的强化学习代理政策？为了回答这个问题，我们进行了研究的雅可比条件行为在政策优化。据我们所知，这是第一个在强化学习代理中研究条件数的工作。我们提出了一个条件正则化算法，并测试其性能的连续控制任务的范围。最后，我们比较了CoinRun环境中的算法与分离的训练结束测试水平，以分析条件正则化如何有助于代理的泛化。
2020-07-13 cs.LG stat.ML
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Verifiable Reinforcement Learning via Policy Extraction
MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
虽然深度强化学习已经成功地解决了许多具有挑战性的控制任务，但其现实世界的适用性受到无法确保学习策略安全性的限制。我们提出了一种通过训练决策树策略来实现可验证强化学习的方法，该策略可以表示复杂的策略（因为它们是非参数的），但可以使用现有技术进行有效验证（因为它们是高度结构化的）。挑战在于决策树策略很难训练。我们提出了VIPER算法，该算法结合了模型压缩和模仿学习的思想，以学习由DNN策略（称为oracle）及其Q函数指导的决策树策略，并表明它的性能大大优于两个基线。我们使用VIPER（i）学习一个可证明的强大的决策树政策的Atari乒乓球的一个变种的符号状态空间，（ii）学习一个决策树政策的玩具游戏的基础上乒乓球，可证明永远不会输，和（iii）学习一个可证明的稳定决策树政策的cart-pole。在每种情况下，决策树策略都实现了与原始DNN策略相等的性能。
2019-01-24 cs.LG stat.ML
Policy Finetuning in Reinforcement Learning via Design of Experiments using Offline Data
University of California, Berkeley（加州大学伯克利分校）
本文研究如何利用离线数据设计单一非反应式探索策略以收集额外在线数据，提出具有可证明保证的算法，并理论分析最终策略质量与原始数据覆盖和新增数据量的关系。
2023-07-10 cs.LG stat.ML
Marginalized Operators for Off-policy Reinforcement Learning
DeepMind（深度思维）
本文提出边际化算子，推广多步离策略评估算子并降低方差，可扩展计算，实验证明其提升离策略评估与策略优化性能。
2026-10-06 cs.LG stat.ML
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
One Policy is Enough: Parallel Exploration with a Single Policy is Near-Optimal for Reward-Free Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Chicago（芝加哥大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
虽然并行性在强化学习（RL）中得到了广泛的应用，但并行探索的量化效果在理论上还没有得到很好的理解。我们研究了在线性马尔可夫决策过程（MDP）和两人零和马尔可夫博弈（MG）中简单并行探索无奖励RL的好处。与现有的文献，它侧重于鼓励代理人探索一套不同的政策的方法，我们表明，使用一个单一的政策，以指导所有代理人的探索是足够的，以获得几乎线性的加速在所有情况下相比，他们的完全顺序对应。此外，我们证明了这个简单的过程是近极大极小最优的奖励自由设置的线性MDPs。从实践的角度来看，我们的论文表明，单个策略对于在探索阶段纳入并行性来说是足够的，并且可以证明是接近最佳的。
2023-03-01 cs.LG stat.ML
Structural Return Maximization for Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
批量强化学习（RL）算法试图从设计者提供的一类策略中选择一个策略，给定一组固定的训练数据。选择的政策，最大限度地估计回报往往会导致过度拟合时，只有有限的数据是可用的，由于政策类的大小与可用的数据量。在这项工作中，我们专注于学习策略类，这些策略类的大小适合于可用的数据量。我们通过使用统计学习理论中的结构风险最小化原则来实现这一点，该原则使用拉德马赫复杂度来确定一个策略类，该策略类在给定可用数据的情况下最大化所选策略类中最佳策略的回报范围。与类似的批处理RL方法不同，我们的返回界只需要对真实系统进行非常弱的假设。
2014-05-12 cs.LG stat.ML
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel（布鲁塞尔自由大学）
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法，用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息，我们的方法可以学习环境模型，并执行时间差异更新，从而同时影响多个联合状态和动作。此外，还执行批量更新，这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法，无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
Centralised rehearsal of decentralised cooperation: Multi-agent reinforcement learning for the scalable coordination of residential energy flexibility
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）
本文提出采用集中式但因子化 critic 的深度多智能体 actor-critic 方法，在执行前排练住宅能源协调，实现可扩展、隐私保护且训练成本显著降低的分布式控制。
2023-06-05 cs.LG cs.MA cs.SY
Off-Policy Deep Reinforcement Learning without Exploration
McGill University（麦吉尔大学）；Mila Québec AI Institute（米拉魁北克人工智能研究所）
强化学习的许多实际应用限制代理从已经收集的固定批次数据中学习，而不提供进一步的数据汇集的可能性。在本文中，我们证明了由于外推引入的错误，标准的非策略深度强化学习算法（如DQN和DDPG）无法使用与当前策略下的分布不相关的数据进行学习，这使得它们对于这种固定的批量设置无效。我们引入了一类新的关政策算法，批量约束强化学习，它限制了动作空间，以迫使代理的行为接近对政策的一个子集的给定数据。我们提出了第一个连续控制深度强化学习算法，该算法可以从任意固定的批量数据中有效地学习，并在几个任务中实证证明了其行为的质量。
2019-08-10 cs.AI cs.LG stat.ML
Policy Optimization Reinforcement Learning with Entropy Regularization
CreateAmind（CreateAmind（需确认具体中文译名，此处按原文保留））
熵正则化是强化学习中的一个重要思想，在最近的软Q网络（SQN）和软Actor-Critic（SAC 1）等算法中取得了巨大成功。在这项工作中，我们将这个想法扩展到政策领域。提出了基于策略的最大熵强化学习的软策略梯度定理（SPGT）。在SPGT的基础上，推导出了一系列新的策略优化算法，如SPG、SA 2C、SA 3C、SDDPG、STRPO、SPPO、SIMPAL等，并发现SDDPG与SAC 1是等价的。对于策略梯度，策略网络通常表示为具有全局动作方差的高斯分布，这损害了表示能力。我们在策略网络中引入了一个局部行为方差，发现它可以与熵正则化的思想协同工作。我们的方法在一系列基准任务上优于先前的工作。此外，我们的方法可以很容易地扩展到大规模的实验，具有很大的稳定性和并行性。
2020-10-16 cs.AI cs.LG stat.ML
Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning
Graduate School of Science and Technology, Nara Institute of Science and Technology（奈良科学技术大学大学院科学技术研究科）
本文旨在建立一种基于熵正则化值的强化学习方法，保证每次策略更新时策略的单调改进。与以前提出的一般无限地平线MDPs的政策改进的下限，我们得到一个熵正则化意识的下限。由于我们的界限只需要估计预期的策略优势函数，它是可扩展的大规模（连续）的状态空间问题。我们提出了一种新的强化学习算法，利用这个下限作为一个标准，调整的程度，减轻政策的政策更新振荡。我们证明了我们的方法在离散状态迷宫和连续状态倒立摆任务中使用线性函数近似值估计的有效性。
2020-08-25 cs.AI cs.LG stat.ML
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
NADPEx: An on-policy temporally consistent exploration method for deep reinforcement learning
SenseTime（商汤科技）
强化学习智能体需要探索性行为来摆脱局部最优。这些行为可以包括即时抖动扰动和时间上一致的探索。为了实现这些，一个随机的政策模型，是内在一致的，通过一段时间是在期望中，特别是对于任务，无论是稀疏的奖励或长期的信息。在这项工作中，我们引入了一种新的策略时间一致的探索策略-神经自适应丢弃策略探索（NADPEx）-用于深度强化学习代理。dropout被建模为条件分布的全局随机变量，被纳入强化学习策略，即使在奖励信号稀疏的情况下，也为它们提供了固有的时间一致性。讨论了NADPEx策略稳定改进的两个因素，即梯度与目标的一致性和策略空间的KL约束。我们的实验表明，NADPEx解决任务的稀疏奖励，而天真的探索和参数噪声失败。它在连续控制的标准mujoco基准测试中产生同样或甚至更快的收敛。
2018-12-24 cs.LG cs.RO stat.ML
Variational Policy Propagation for Multi-agent Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）；Shanghai Jiao Tong University（上海交通大学）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们提出了一个\emph{collaborative}多智能体强化学习算法变分策略传播（VPP）学习\emph{joint}政策，通过代理之间的相互作用。我们证明了联合策略在一定的条件下是一个马尔可夫随机场，从而有效地减少了策略空间。我们将变分推理作为特殊的可微层集成在策略中，使得动作可以从马尔可夫随机场有效地采样，并且整体策略是可微的。我们评估了我们的算法在几个大规模的挑战性任务，并证明它优于以前的国家的最先进的。
2022-01-29 cs.LG cs.MA stat.ML
