Efficient Offline Learning of Ranking Policies via Top-$k$ Policy Decomposition
Institute of Science Tokyo（东京科学大学）；Keio University（庆应义塾大学）；Cornell University（康奈尔大学）；Yale University（耶鲁大学）；LY Corporation；Hanjuku-kaso, Co., Ltd.（Hanjuku-kaso株式会社）
针对排序策略离线学习中的高方差和偏差问题，提出R-POD方法，将策略分解为top-k选择与底部排序两阶段，结合策略梯度与回归方法，实现高效且无偏的学习。
2026-09-30 cs.LG
On the Fundamental Limitations of Dual Static CVaR Decompositions in Markov Decision Processes
Department of Computer Science（计算机科学系）；Université Laval（拉瓦尔大学）；Canada-CIFAR AI Chair（加拿大CIFAR人工智能主席）
本文研究了基于对偶形式的动态规划方法在马尔可夫决策过程中的局限性，指出静态CVaR评估的双重最小化问题及风险分配一致性约束的空交集导致评估误差，证明单一最优策略在双CVaR分解中的根本限制。
2026-04-15 cs.LG
Spectral Decomposition Representation for Reinforcement Learning
Google Research（谷歌研究院）；UT Austin（德克萨斯大学奥斯汀分校）；UC Berkeley（加州大学伯克利分校）；University of Alberta（阿尔伯塔大学）；Georgia Tech（佐治亚理工学院）
表示学习通常通过管理维度灾难在强化学习中起着关键作用。一类具有代表性的算法利用随机过渡动力学的谱分解来构造在理想化设置中具有强理论性质的表示。然而，目前的谱方法受到有限的适用性，因为它们被构造为仅状态聚合和来自一个依赖于策略的过渡内核，而不考虑探索的问题。为了解决这些问题，我们提出了一种替代的谱方法，谱分解表示（SPEDER），从动态中提取状态-动作抽象，而不会引起对数据汇集策略的虚假依赖，同时还平衡了学习过程中的探索与利用权衡。理论分析建立了所提出的算法在在线和离线设置的样本效率。此外，实验研究表明，在几个基准测试的性能优于当前国家的最先进的算法。
2023-03-07 cs.LG stat.ML
Dealing with Non-Stationarity in MARL via Trust-Region Decomposition
East China Normal University（华东师范大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）
非平稳性是协作多智能体强化学习（MARL）中的一个棘手问题。其中一个原因是代理人在学习过程中的政策变化。已有的一些工作已经讨论了各种测量指标的非平稳性所造成的各种后果。这使得现有算法的目标或目的不可避免地是不一致和不同的。在本文中，我们引入了一个新的概念，$δ$-测量，显式测量的非平稳性的政策序列，可以进一步证明是有界的连续联合政策的KL-分歧。一个直接但非常重要的方法是控制联合策略的分歧，这是很难准确估计的联合策略上施加信任区域约束。虽然将联合策略分解并对分解后的策略施加信任域约束具有较低的计算复杂性，但简单的策略分解（如平均场近似）会导致更大的策略分歧，这可以被认为是信任域分解困境。我们将联合策略建模为一个两两马尔可夫随机场，并提出了一个基于消息传递的信任区域分解网络（TRD-Net），以更准确地估计联合策略的分歧。通过端到端自适应调整局部策略的信任域，建立了带信任域分解的多Agent镜像下降策略算法（MAMT）。MAMT可以近似地约束连续联合策略的发散，以满足$δ$-平稳性，并缓解非平稳性问题。在不同复杂度的协作任务中，与基线相比，我们的方法可以带来显著和稳定的性能改善。
2022-02-10 cs.GT cs.LG cs.MA
Composite Q-learning: Multi-scale Q-function Decomposition and Separable Optimization
University of Freiburg（弗莱堡大学）
在过去的几年中，非策略强化学习方法在机器人控制中的应用显示出了良好的效果。然而，深度Q学习仍然存在数据效率低下的问题，并且容易受到环境或奖励函数的随机性的影响，这在现实世界的应用中是有限的。我们通过提出两种新的非策略时间差公式来缓解这些问题：（1）截断Q函数，其表示目标策略推出的前n个步骤的返回。完整的动作值和（2）移位的Q函数，在该截断的展开之后充当远见的返回。这种分解使我们能够优化这两个部分各自的学习率，实现显着的学习加速。我们证明了这些短期和长期预测的组合是完全回报的表示，从而导致复合Q-学习算法。我们在表格中展示了复合Q学习的有效性，并将深度复合Q学习与TD 3和TD 3（Delta）进行了比较，TD 3（Delta）是TD（Delta）的非策略变体。此外，我们表明，复合TD 3在多个模拟机器人任务的数据效率方面明显优于TD 3以及最先进的组合Q学习方法，复合Q学习对随机环境和奖励函数具有鲁棒性。
2020-08-14 cs.AI cs.LG stat.ML
Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition
本文提出了分层强化学习的MAXQ方法的基础上分解的目标马尔可夫决策过程（MDP）到一个层次的较小的MDP和分解的价值函数的目标MDP到一个加法组合的价值函数的较小的MDP。本文定义了MAXQ层次结构，证明了其表示能力的形式化结果，并建立了安全使用状态抽象的五个条件。本文提出了一种在线无模型的学习算法MAXQ-Q，并证明了即使在存在五种状态抽象的情况下，它也以概率1收敛到一种称为递归最优策略的局部最优策略。本文通过三个领域的一系列实验对MAXQ表示和MAXQ-Q进行了评估，并通过实验表明MAXQ-Q（具有状态抽象）收敛到递归最优策略的速度比平坦Q学习快得多。MAXQ学习价值函数的表示的事实具有重要的益处：它使得可以通过类似于策略迭代的策略改进步骤的过程来计算和执行改进的非分层策略。本文通过实验证明了这种非分层执行的有效性。最后，本文的结论与相关工作的比较和层次强化学习的设计权衡的讨论。
1999-05-21 cs.LG
Explainable Reinforcement Learning via Temporal Policy Decomposition
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Boston University（波士顿大学）
本文提出时间策略分解TPD，通过固定时间范围时序差分的离策略学习将价值函数分解为各步EFO，为RL动作提供准确、对比性的时间解释并辅助奖励函数微调。
2025-01-07 cs.AI cs.LG
Optimal Policy Sparsification and Low Rank Decomposition for Deep Reinforcement Learning
Detroit Country Day School（底特律乡村日校）
针对深度强化学习稠密策略算力消耗高、易过拟合、推理受限的问题，提出基于最优稀疏映射的$L_0$范数正则化技术，可在保证奖励不衰减的前提下实现策略稀疏化与低秩压缩，在多环境验证效果优异。
2024-03-10 cs.AI cs.LG
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法，通过帕累托上升方向选择标量化权重并计算多目标策略梯度，实现高效多目标问题分解与策略优化，提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Cloud AI Research（谷歌云人工智能研究）
RubricEM通过规则引导的策略分解和反思元策略进化，解决深度研究代理在不可验证奖励下的训练问题，实现长周期优化和可重用经验积累。
2026-10-19 cs.CL cs.LG
Federated Q-Learning with Reference-Advantage Decomposition: Almost Optimal Regret and Logarithmic Communication Cost
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出FedQ-Advantage算法，通过参考优势分解和事件触发机制，在联邦Q学习中同时实现几乎最优遗憾和低对数级通信成本。
2025-03-10 cs.LG stat.ML
Gap-Dependent Bounds for Q-Learning using Reference-Advantage Decomposition
The Pennsylvania State University（宾夕法尼亚州立大学）
本文首次为采用方差估计器和参考优势分解的 Q-learning 算法（UCB-Advantage 和 Q-EarlySettled-Advantage）建立了对数级间隙相关遗憾界，并首次给出策略切换成本的间隙相关分析。
2025-03-10 cs.LG stat.ML
Second-Order Actor-Critic Methods for Discounted MDPs via Policy Hessian Decomposition
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯）
本文提出一种基于政策Hessian分解的二阶Actor-Critic方法，通过利用Hessian-向量积计算实现高效稳定的二阶更新，解决折扣MDP中的价值近似问题。
2026-07-10 cs.AI cs.LG
A Policy Decomposition Framework for Dynamic Order Fulfillment Operations
Massachusetts Institute of Technology（麻省理工学院）；School of Industrial and Intelligent Systems Engineering, Tel Aviv University（特拉维夫大学工业与智能系统工程学院）；Otto-von-Guericke Universitat Magdeburg（马格德堡奥托·冯·格里克大学）
介绍动态订单履行问题（DOFP），将其建模为马尔可夫决策过程。提出分解驱动框架DDF-VFA，通过策略级分解将搜索分为交付和准备子问题，经反馈迭代优化，数值示例显示其性能优于基准方法。
2026-07-07 cs.LG math.CO math.DS
Reinforcing Language Agents via Policy Optimization with Action Decomposition
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
本文提出POAD方法，通过将语言智能体优化从动作级分解到令牌级，结合动作分解的贝尔曼备份，实现细粒度信用分配，提升学习效率与泛化能力。
2024-05-23 cs.AI cs.LG
Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）数据科学学院）；School of Computer Science, Tongji University, Shanghai, China（同济大学计算机科学学院）；Vector Institute（向量研究所）
针对离线合作多智能体强化学习中联合动作空间高维和异质行为数据导致的策略分布偏移问题，提出序列得分函数分解方法，利用扩散模型从多模态离线数据中学习每个智能体的正则化信号，指导策略更新至高分、分布内区域，在多个粒子环境和多智能体MuJoCo基准上实现最先进性能。
2026-05-28 cs.LG cs.MA
Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
Technion, Israel Institute of Technology（以色列理工学院）；University of Augsburg（奥格斯堡大学）
本文研究将局部奖励分解与全局策略摘要方法 HIGHLIGHTS 相结合来解释强化学习智能体，并通过用户研究验证两种方法在不同偏好差异场景下对理解智能体行为的互补收益。
2022-10-21 cs.AI cs.HC cs.LG
Unified Policy Value Decomposition for Rapid Adaptation
Computational Neuroscience Unit, Istituto Superiore di Sanità（国家卫生研究院计算神经科学单位）；School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）
本文提出一种统一的策略价值分解框架，通过共享低维系数向量实现快速任务适应。该方法结合了结构化价值基础和兼容策略基础，利用乘法门控机制在无需重新训练的情况下适应新任务。
2026-03-18 cs.LG q-bio.NC
Off-Policy Multi-Agent Decomposed Policy Gradients
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
多智能体策略梯度（MAPG）方法近年来得到了蓬勃发展。然而，有一个显着的性能差异之间的MAPG方法和国家的最先进的多代理价值为基础的方法。在本文中，我们调查的原因，阻碍了MAPG算法的性能，并提出了一个多代理分解的策略梯度方法（DOP）。该方法将价值函数分解的思想引入到多主体行动者-批评者框架中。基于这一思想，DOP支持有效的离策略学习，并解决了离散和连续动作空间中的集中-分散失配和信用分配问题。我们正式表明，DOP批评有足够的代表性能力，以保证收敛。此外，在星际争霸II微观管理基准和多智能体粒子环境上的实证评估表明，DOP显著优于最先进的基于值和基于策略的多智能体强化学习算法。演示视频可在https://sites.google.com/view/dop-mapg/上获得。
2020-10-04 cs.LG cs.MA stat.ML
Learning Good State and Action Representations via Tensor Decomposition
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Duke University（杜克大学）
连续状态作用马尔可夫决策过程（MDP）的转移核具有自然张量结构。本文提出了一种张量启发的无监督学习方法，从经验轨迹中识别有意义的低维状态和动作表示。该方法通过核化、重要性抽样和低Tucker秩近似来利用MDP的张量结构。该方法可以进一步用于状态和动作的聚类，并找到最佳的离散MDP抽象。我们提供了尖锐的统计误差范围张量浓度和保存后嵌入的扩散距离。我们进一步证明，学习的状态/动作抽象提供准确的近似潜在的块结构，如果它们存在，使功能近似在下游任务，如政策评估。
2023-02-19 cs.LG stat.ML
Newton Optimization on Helmholtz Decomposition for Continuous Games
Politecnico di Milano（米兰理工大学）
许多学习问题涉及多个代理优化不同的交互功能。在这些问题中，标准的策略梯度算法由于设置的非平稳性和每个代理的不同利益而失败。事实上，算法必须考虑到这些系统的复杂动态，以保证快速收敛到（局部）纳什均衡。在本文中，我们提出了NOHD（牛顿优化亥姆霍兹分解），牛顿式算法的多智能体学习问题的基础上分解的系统的动力学在其无旋（潜在的）和螺线管（哈密顿）组件。该方法保证了纯无旋系统和纯螺线管系统的二次收敛性。此外，我们表明，NOHD被吸引到稳定的不动点在一般的多智能体系统和排斥严格的鞍。最后，我们经验比较的NOHD的性能与国家的最先进的算法在一些双矩阵游戏，并在一个连续的Gridworld环境。
2021-09-02 cs.LG stat.ML
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
Demystifying the Paradox of Importance Sampling with an Estimated History-Dependent Behavior Policy in Off-Policy Evaluation
Hongyi Zhou（周洪毅）；Josiah P. Hanna（哈尼安）；Jin Zhu（朱锦）；Ying Yang（杨莹）；Chengchun Shi（石成春）
本文从理论上揭示了在离策略评估中，使用历史依赖的估计行为策略虽增加有限样本偏差，但能降低渐近方差，从而降低均方误差，并将此结论扩展至多种OPE估计量。
2025-05-28 cs.AI cs.LG stat.ML
Two-Stage Learned Decomposition for Scalable Routing on Multigraphs
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
本文提出多阶段学习分解方法，通过节点排列和边选择阶段解决多图路由的可扩展性问题，实验表明其在解的质量和速度上优于现有方法。
2026-09-29 cs.AI cs.LG
ODRPO: Ordinal Decompositions of Discrete Rewards for Robust Policy Optimization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
本文提出ODRPO框架，通过将离散奖励分解为序二进制指标，减少噪声影响，提升策略优化鲁棒性，实验表明在Qwen2.5-7B和Qwen3-4B模型上表现优异。
2026-05-14 cs.AI cs.LG
Unveiling Options with Neural Decomposition
Amii（阿米研究院）；University of Alberta（阿尔伯塔大学）
本文提出一种基于神经网络分解的强化学习算法，将策略网络分解为可重用子策略并转化为 options，通过最小化 Levin loss 的选择机制识别有用 options，加速相关任务的学习。
2024-10-15 cs.AI cs.LG
Learning Complex Teamwork Tasks Using a Given Sub-task Decomposition
University of Edinburgh（爱丁堡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Heriot-Watt University（赫瑞瓦特大学）
提出基于专家子任务分解的多智能体强化学习方法，通过子团队训练、合并与微调高效解决复杂任务，并改进现有actor-critic算法以克服朴素实现的缺陷。
2024-02-15 cs.AI cs.LG cs.MA
Chaining Value Functions for Off-Policy Learning
DeepMind；University College London（伦敦大学学院）
为了积累知识并改进其行为策略，强化学习代理可以学习与用于生成其经验的策略不同的策略的“非策略”。这对学习反事实很重要，或者因为经验是在它自己的控制之外产生的。然而，离策略学习是不平凡的，标准的学习算法可能是不稳定和发散的。在本文中，我们讨论了一个新的家庭的政策外预测算法是收敛的建设。这个想法是首先学习关于数据生成行为的on-policy，然后在这个on-policy估计上引导一个off-policy值估计，从而构建一个部分off-policy的值估计。可以重复该过程以构建价值函数的链，每次在链中的先前估计上引导新的估计。链中的每一步都是稳定的，因此完整的算法保证是稳定的。在温和的条件下，当我们增加链的长度时，这任意地接近于非政策TD解。因此，即使在偏离策略TD发散的情况下，它也可以计算解。我们证明了该方案是收敛的，对应于逆密钥矩阵的迭代分解。此外，它可以被解释为估计一个新的目标-我们称之为“k步远征”-在无限期地继续执行行为政策之前，先执行目标政策200多步。经验上，我们评估的想法，挑战MDPs，如贝尔德的反例，并观察到有利的结果。
2022-02-02 cs.AI cs.LG stat.ML
Learning Goal Embeddings via Self-Play for Hierarchical Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在分层强化学习中，一个主要的挑战是确定适当的低级策略。我们提出了一个无监督学习方案，该方案基于Sukhbaatar et al.（2018）的非对称自我游戏，可以自动学习环境中子目标的良好表示以及可以执行它们的低级策略。然后，高级策略可以通过生成一系列连续的子目标向量来指导较低的策略。我们使用Mazebase和Mujoco环境评估我们的模型，包括具有挑战性的AntGather任务。子目标嵌入的可视化揭示了环境中任务的逻辑分解。量化，我们的方法获得了令人信服的性能增益超过非层次的方法。
2018-11-22 cs.LG stat.ML
A Recipe for Stable Offline Multi-agent Reinforcement Learning
本文提出一种稳定离线多智能体强化学习的配方，通过尺度不变价值归一化技术解决非线性价值分解的不稳定性问题，提升训练稳定性与性能。
2026-03-09 cs.AI cs.LG cs.RO
Learning Predictive Safety Filter via Decomposition of Robust Invariant Set
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种结合鲁棒模型预测控制与强化学习的理论框架，通过分解鲁棒不变集并采用对抗式演员-评论家算法学习安全滤波器，以较低计算复杂度实现非线性系统在不确定性下的持久鲁棒安全保证。
2023-11-12 cs.LG cs.SY eess.SY
Optimal data pooling for shared learning in maintenance operations
Eindhoven University of Technology（埃因霍温理工大学）
针对状态视情维护与备件管理中高维马尔可夫决策过程求解难的问题，提出将其降为二维MDP的分解方法，验证了数据池化可显著降本，并明确两类问题分别对应控制限、订货点至水平的最优策略。
2023-11-06 cs.LG math.PR
Off-Policy Reinforcement Learning with Delayed Rewards
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们研究了具有延迟奖励的深度强化学习（RL）算法。在许多现实世界的任务中，即时奖励通常不容易获得，甚至在代理执行操作后立即定义。在这项工作中，我们首先正式定义的环境与延迟奖励，并讨论了由于非马尔可夫性质的这种环境所提出的挑战。然后，我们引入了一个通用的非策略RL框架，该框架具有新的Q函数公式，可以处理延迟奖励，并具有理论收敛保证。对于具有高维状态空间的实际任务，我们进一步在我们的框架中引入了Q函数的HC分解规则，这自然会导致一种近似方案，有助于提高训练效率和稳定性。最后，我们进行了广泛的实验，以证明我们的算法优于现有的工作和他们的变种的性能。
2021-06-22 cs.LG
ProRL: Effective Reinforcement Learning for Proactive Recommendation via Rectified Policy Gradient Estimation
School of Data Science, Fudan University, Shanghai, China（复旦大学数据科学学院，上海，中国）
针对主动推荐系统中策略梯度估计存在的长度依赖偏差和高方差问题，提出ProRL框架，通过逐步奖励中心化和位置特定优势估计两个机制修正梯度，显著提升推荐效果。
2026-05-28 cs.AI cs.LG
Multilinear Tensor Low-Rank Approximation for Policy-Gradient Methods in Reinforcement Learning
King Juan Carlos University（胡安·卡洛斯国王大学）；The Chinese University of Hong Kong（香港中文大学）
针对神经网络策略的收敛、架构选择及状态-动作冗余利用不足等问题，本文利用PARAFAC分解构建张量低秩RL策略，给出理论保证并实验证明其可降低计算与样本复杂度且奖励相近。
2025-01-08 cs.LG
Reinforcement Learning with Competitive Ensembles of Information-Constrained Primitives
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of California, Berkeley（加州大学伯克利分校）
在多样化和复杂环境中运行的强化学习代理可以从其行为的结构化分解中受益。通常，这是在分层强化学习的上下文中解决的，其目的是将策略分解为较低级别的原语或选项，以及触发针对给定情况的适当行为的较高级别的元策略。然而，元策略仍然必须在所有状态下产生适当的决策。在这项工作中，我们提出了一个政策设计，分解成原语，类似于分层强化学习，但没有一个高层次的元政策。相反，每个原语可以自己决定是否希望在当前状态下操作。我们使用信息理论机制来实现这种分散决策：每个原语选择它需要多少关于当前状态的信息来做出决策，并且请求关于当前状态的最多信息的原语在世界上行动。原语被规则化以使用尽可能少的信息，这导致了自然竞争和专业化。我们的实验表明，这种政策架构提高了平面和层次化的政策方面的泛化。
2019-06-25 cs.AI cs.LG stat.ML
More Centralized Training, Still Decentralized Execution: Multi-Agent Conditional Policy Factorization
Peking University（北京大学）；Tencent AI Lab（腾讯人工智能实验室）；BAAI（北京智源人工智能研究院）
在协作多智能体强化学习（MARL）中，结合价值分解和行动者-批评者策略，使智能体能够学习更适合部分可观测环境的随机策略.考虑到学习本地政策的目标，使分散执行，代理通常被认为是相互独立的，即使在集中训练。然而，这样的假设可能会阻止智能体学习最优联合策略。为了解决这个问题，我们显式地将代理之间的依赖性纳入集中训练。虽然这导致了最优的联合策略，但它可能不会被分解为分散执行。尽管如此，我们从理论上证明，从这样的联合策略中，我们总是可以推导出另一个联合策略，它可以实现相同的最优性，但可以分解为分散执行。为此，我们提出了多代理条件策略分解（MACPF），它需要更集中的训练，但仍然可以分散执行。我们经验验证MACPF在各种合作MARL任务，并证明MACPF实现更好的性能或更快的收敛比基线。我们的代码可在https://github.com/PKU-RL/FOP-DMAC-MACPF上获得。
2023-02-10 cs.LG cs.MA
Multi-Agent Cross-Entropy Method with Monotonic Nonlinear Critic Decomposition
School of Computing Technologies, RMIT University（计算技术学院，皇家墨尔本理工大学）
多智能体交叉熵方法结合单调非线性批评分解，通过提高高价值联合动作的概率来解决集中-分散不匹配问题，并在连续和离散动作基准上表现优异。
2025-11-26 cs.LG cs.MA
Decomposition Methods with Deep Corrections for Reinforcement Learning
分解方法已被提出来近似解决大型序列决策问题。在代理与多个实体交互的上下文中，效用分解可以用于将全局目标分离为独立考虑每个个体实体的局部任务。然后，仲裁者负责将各个效用组合起来，并实时的选择一个动作来解决全局问题。虽然这些技术可以很好地执行经验，他们依赖于强假设的本地任务之间的独立性和牺牲全局解决方案的最优性。本文提出了一种方法，通过学习一个校正项表示的神经网络的近似解的改进。我们展示了这种方法的渔业管理问题，多艘船必须协调，以最大限度地提高他们的渔获量随着时间的推移，以及行人回避问题的自动驾驶。在每个问题中，分解方法可以通过使用涉及一个实体的策略扩展到多个船只或行人。我们经验验证，所提出的校正方法显着提高了分解方法，并优于一个政策训练的全尺寸的问题，没有效用分解。
2019-04-22 cs.AI cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Episodic Return Decomposition by Difference of Implicitly Assigned Sub-Trajectory Reward
Nanjing University（南京大学）；Polixir Technologies（波利希尔科技）；Peng Cheng Laboratory（鹏城实验室）
针对强化学习中延迟奖励尤其是极端回合奖励下样本效率低的问题，提出Diaster回合回报分解方法，通过子轨迹奖励差值生成逐步代理奖励，经理论和实验验证可提升样本效率与性能。
2023-12-17 cs.LG
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
基于价值的多智能体强化学习（MARL）方法，特别是价值分解方法，已经在一系列具有挑战性的协作任务中得到了验证。然而，目前的方法很少关注代理之间的交互，这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率：协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~（IAC），它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面，引入了多智能体联合随机策略，采用了一个协作探索模块，通过最大化熵正则化的期望收益来训练。在价值方面，我们使用共享注意力机制来估计每个代理的价值函数，它考虑了队友的影响。在实现层面上，我们扩展的价值分解方法，连续控制任务和评估IAC的基准任务，包括经典的控制和多智能体粒子环境。实验结果表明，我们的方法优于国家的最先进的方法，并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性，提出统一价值函数和广义贝尔曼方程，实现独立执行选择与改进，实验验证互补收益。
2026-10-06 cs.AI cs.LG
Experimental results : Reinforcement Learning of POMDPs using Spectral Methods
University of California, Irvine（加利福尼亚大学欧文分校）；INRIA, France（法国国家信息与自动化研究所）
提出了一种基于谱分解方法的部分可观测马尔可夫决策过程（POMDP）的强化学习新算法。虽然谱方法以前已经用于（被动）潜变量模型（如隐马尔可夫模型）的一致学习，但POMDP更具挑战性，因为学习者与环境交互，并可能改变过程中的未来观测。我们设计了一个贯穿各个时期的学习算法，在每个时期，我们采用谱技术从一个固定的策略生成的轨迹中学习POMDP参数。在历元结束时，优化预言机返回最优无记忆规划策略，该策略基于估计的POMDP模型最大化期望回报。我们证明了一个订单最优的遗憾界方面的最优无记忆政策和有效的缩放方面的维度的观察和行动空间。
2017-05-07 cs.AI cs.LG stat.ML
Automatic feature identification in least-squares policy iteration using the Koopman operator framework
Department of Computer Science & Lamarr Institute, TU Dortmund University, Germany（德国多特蒙德工业大学计算机科学系与拉马尔研究所）
本文提出了一种基于Koopman自动编码器的最小二乘策略迭代算法（KAE-LSPI），通过扩展动态模式分解（EDMD）重构线性强化学习中的特征学习问题，无需预先设定特征或核函数，实验表明其在特征数量和策略收敛性上表现良好。
2026-11-09 cs.LG math.DS
Efficient Solving of Large Single Input Superstate Decomposable Markovian Decision Process
Efrei Research Lab, Université Paris-Panthéon-Assas, Villejuif, 94800, France（埃弗里研究实验室，巴黎- panthéon-assas大学，维勒福）
针对大状态空间下无限时域马尔可夫决策过程策略评估计算量大的问题，提出结合单输入分解与单循环递推性质的SISDMDP结构，基于该结构开发的精确高效策略评估方法可适配两类回报设定的可扩展求解。
2025-08-01 cs.LG cs.PF math.OC
Distill and Align Decomposition for Enhanced Claim Verification
University of Oxford（牛津大学）；JPMorgan AI Research（摩根大通人工智能研究院）
本文提出一种基于强化学习的分解与对齐方法，通过优化分解质量和验证器对齐，提升声明验证性能，达到71.75%的宏F1，优于现有方法。
2026-02-25 cs.AI cs.CL cs.LG
Weighted Quantum Channel Compiling through Proximal Policy Optimization
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
我们提出了一种通用和系统的策略来编译任意量子信道，而不使用辅助量子比特，基于邻近策略优化-一种强大的深度强化学习算法。我们严格证明，在鲜明对比的情况下，编译酉门，这是不可能的编译任意通道任意精度与任何给定的有限基本通道集，无论分解序列的长度。然而，对于固定精度的$ε$，可以构建具有恒定数量的$ε$相关基本通道的通用集合，使得任意量子信道可以被分解成这些基本通道的序列，随后是幺正门，其中序列长度由$O(\frac{1}ε\log\frac{1}ε)$限定。通过一个关于Majorana费米子拓扑编译的具体例子，我们证明了我们提出的算法通过在最近策略优化的奖励函数中加入加权代价，可以方便有效地减少昂贵的基本门的使用.
2021-11-03 cond-mat.dis-nn cs.LG quant-ph
Pareto Set Learning for Multi-Objective Reinforcement Learning
Nanjing University（南京大学）
针对现有多目标强化学习方法难以获取完整帕累托前沿、无法为不同偏好生成个性化策略的问题，提出基于超网络的通用分解框架PSL-MORL，理论保证其性能，实验验证其在帕累托前沿覆盖效果上显著优于现有方法。
2025-01-14 cs.LG
COPC: Coupled Off-Policy Correction for Asynchronous LLM Reinforcement Learning
Fudan University（复旦大学）；Meituan（美团）；East China Normal University（华东师范大学）
针对异步LLM强化学习中的策略与优势双重失配问题，提出耦合离策略校正（COPC）方法，通过协调策略侧和优势侧校正提升工具集成推理与搜索性能，并保持训练稳定性和低开销。
2026-10-08 cs.LG
Policy as Data: Replay-Based Policy Dual Averaging via Advantage Regression
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
提出RDA2C算法，将重放数据作为对偶目标，通过优势回归累积策略改进，在MuJoCo和Atari基准上超越PPO等基线。
2026-10-06 cs.AI cs.LG math.OC
Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement
Shanghai Jiao Tong University（上海交通大学）；Xi’an Jiaotong University（西安交通大学）；University College London（伦敦大学学院）
本文提出熵正则化令牌级策略优化（ETPO），通过逐令牌软贝尔曼更新将动作级Q函数分解为令牌级，以线性时间复杂度实现稳定训练，并提升语言智能体在交互式决策任务中的表现。
2024-06-06 cs.AI cs.LG
Dual Self-Awareness Value Decomposition Framework without Individual Global Max for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对合作多智能体强化学习中IGM原则限制问题，提出双自感知价值分解框架，结合自我策略与 alter ego 价值函数并引入反自我探索机制，实现完全无需IGM的价值分解并在多任务中表现优异。
2023-05-17 cs.AI cs.LG cs.MA
