Optimal and Approximate Q-value Functions for Decentralized POMDPs
University of Amsterdam（阿姆斯特丹大学）；Instituto Superior Técnico（里斯本高等理工学院）；Technical University of Crete（克里特理工大学）
决策理论规划是一种流行的方法，顺序决策问题，因为它处理的不确定性，在传感器和行动的原则。在MDP和POMDP等单智能体框架中，规划可以通过求助于Q-价值函数来执行：通过动态规划以递归方式计算最优Q-值函数Q*，然后从Q* 中提取最优策略。在本文中，我们研究是否可以定义类似的Q-价值函数的分散POMDP模型（Dec-POMDP），以及如何从这样的价值函数中提取政策。我们定义了两种形式的最佳Q-价值函数的Dec-POMDPs：一个是一个规范的描述作为Q-价值函数的最佳纯联合政策和另一个是顺序合理的，从而给出了一个配方的计算。然而，除了最小的问题之外，这种计算对所有问题都是不可行的。因此，我们分析了各种近似Q-价值函数，允许有效的计算。我们描述了它们之间的关系，并证明了它们都提供了最优Q-价值函数Q* 的上界。最后，统一以前的一些方法来解决Dec-POMDPs，我们描述了一个家庭的算法，从这样的Q-价值函数提取政策，并进行实验评估现有的测试问题，包括一个新的消防基准问题。
2011-10-31 cs.AI
CP-MDP: A CANDECOMP-PARAFAC Decomposition Approach to Solve a Markov Decision Process Multidimensional Problem
Pontifical Catholic University of Rio Grande do Sul (PUCRS)（南里奥格兰德天主教大学）
马尔可夫决策过程（MDP）是随机环境中决策理论代理最优规划的基础模型。虽然许多研究都集中在解决MDP问题的表格形式或使用因子表示，没有集中在张量分解方法。使用张量代数求解MDP提供了利用基于张量的计算的进步来进一步提高求解器效率的前景。在本文中，我们开发了一个多维问题的MDP求解器，使用张量分解方法来压缩转换模型，优化值迭代和策略迭代算法。我们根据经验评估我们的方法对表格方法，并表明我们的方法可以计算更大的问题，使用更少的内存，开辟了新的可能性，基于张量的方法在随机规划
2021-02-27 cs.AI
Flexible Decomposition Algorithms for Weakly Coupled Markov Decision Problems
Stanford University（斯坦福大学）
本文提出了两种分解和求解大型马尔可夫决策问题的新方法：部分解耦方法和完全解耦方法。在这些方法中，一个大的随机决策问题被分成较小的部分。第一种方法为问题的每个部分独立地构建策略缓存，然后在单独的轻量级步骤中组合这些部分。第二种方法也将问题分成更小的部分，但信息在不同的问题部分之间进行交流，从而可以做出明智的决定，决定哪一部分需要最多的关注。这两种方法都可以用来找到最优策略或近似最优策略与可证明的界限。这些算法还提供了一个框架，跨共享类似结构的问题的知识的有效转移。
2013-01-30 cs.AI
Reinforcement Learning in Rich-Observation MDPs using Spectral Methods
University California, Irvine（加州大学欧文分校）；Facebook AI Research (FAIR)（Facebook人工智能研究院）；California institute of technology（加州理工学院）
大状态空间马尔可夫决策过程的强化学习是一个具有挑战性的问题。标准强化学习算法的性能随着状态空间维数的增加而急剧下降。然而，在实践中，这些大的MDP通常包含潜在的或隐藏的低维结构。本文研究了富观测马尔可夫决策过程（ROMDP）的设定问题，其中有少量隐状态与观测状态具有内射映射.换句话说，每个观察状态都是通过单个隐藏状态生成的，并且这种映射是先验未知的。我们引入了一种谱分解方法，该方法始终学习该映射，更重要的是，以低遗憾实现该映射。估计映射被集成到乐观RL算法（UCRL），该算法对估计的隐藏空间进行操作。我们推导出有限时间遗憾的界限，我们的算法与观察空间的维数弱依赖。事实上，我们的算法渐近地实现了相同的平均遗憾的甲骨文UCRL算法，它具有从隐藏到观察空间的映射的知识。因此，我们得到一个有效的谱RL算法ROMDPs。
2018-06-19 cs.AI cs.LG stat.ML
Scaling Up Decentralized MDPs Through Heuristic Search
INRIA（法国国家信息与自动化研究所）；Computer Science and AI Laboratory（计算机科学与人工智能实验室）；Loria（洛林计算机科学研究所）；Massachusetts Institute of Technology（麻省理工学院）；Mines Douai（杜埃矿业学院）
分散部分可观测马尔可夫决策过程（Dec-POMDP）是不确定性条件下合作决策的丰富模型，但通常难以最优求解（NEXP-完全）。转移和观察无关的Dec-MDP是NP中的一个一般子类，已被证明具有复杂性，但该子类的优化算法在实践中仍然效率低下。在本文中，我们首先提供了一个更新的证明，最优策略不依赖于代理的历史，但只有当地的观察。然后，我们提出了一种新的算法的基础上启发式搜索，能够扩大搜索节点，通过使用约束优化。我们展示了实验结果，将我们的方法与最先进的DecMDP和Dec-POMDP求解器进行比较。这些结果表明，减少计算时间和可扩展性的增加，在一些基准测试的多个数量级。
2012-10-16 cs.AI cs.MA
Multi-Agent Reinforcement Learning: A Report on Challenges and Approaches
强化学习（Reinforcement Learning，RL）是一种学习范式，它关注于学习如何控制一个系统，以便在长期内最大化一个目标。这种学习方法最近受到了极大的关注，成功表现在\textit{Go}等游戏的人类水平表现上。虽然RL正在成为现实生活系统中的一个实用组件，但大多数成功都是在单智能体领域。本报告将特别关注在混合合作和竞争环境中交互的多智能体系统所特有的挑战。该报告的结论是，在训练多智能体系统称为\textit{Decentralized Actor, Centralized Critic}的范例中取得了进展，该范例基于称为\textit{Decentralized Partially Observable MDP}的MDP的扩展，最近又引起了人们的兴趣。
2018-07-25 cs.AI cs.LG stat.ML
Reward Redistribution for CVaR MDPs using a Bellman Operator on L-infinity
提出一种基于状态增强的静态 CVaR 目标新公式，通过奖励再分配得到稠密奖励和压缩 Bellman 算子，并开发风险厌恶值迭代和无模型 Q 学习算法，具有收敛保证和离散化误差界。
2026-07-01 cs.AI cs.LG
Towards Return Parity in Markov Decision Processes
University of Virginia（弗吉尼亚大学）；Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
机器学习模型在高风险领域做出的决策可能会随着时间的推移产生持久的影响。然而，标准公平准则在时域上的静态设置中的幼稚应用可能导致延迟和不利影响。为了理解性能差异的动态，我们研究了马尔可夫决策过程（MDP）中的公平性问题。具体来说，我们提出了回报平价，一个公平的概念，需要来自不同人口群体的MDP共享相同的状态和动作空间，以实现大致相同的预期时间折扣奖励。我们首先提供了一个分解定理的回报差距，它分解的回报差距的任何两个共享相同的状态和动作空间的MDP到组明智的奖励函数之间的距离，组策略的差异，和状态访问分布之间的差异引起的组策略。出于我们的分解定理，我们提出了算法，以减轻回报差距，通过学习一个共享的组策略与状态访问分布对齐使用积分概率度量。我们进行实验来证实我们的结果，表明该算法可以成功地关闭差距，同时保持两个现实世界的推荐系统基准数据集的政策的性能。
2022-02-25 cs.AI cs.CY cs.LG
Multi-level meta-reinforcement learning with skill-based curriculum
本文提出基于技能的多级元强化学习框架，通过多级分解和策略分解实现技能转移，提升复杂MDP的求解效率与泛化能力。
2026-03-09 cs.AI cs.LG stat.ML
RUDDER: Return Decomposition for Delayed Rewards
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Institute for Machine Learning（机器学习研究所）；LIT AI Lab（LIT人工智能实验室）；Institute of Advanced Research in Artificial Intelligence (IARAI)（人工智能高级研究所（IARAI））
我们提出了RUDDER，一种新的强化学习方法在有限马尔可夫决策过程（MDP）的延迟奖励。在MDP中，Q值等于预期的即时奖励加上预期的未来奖励。后者与时间差（TD）学习中的偏差问题和蒙特卡洛（MC）学习中的高方差问题有关。当奖励被推迟时，这两个问题都更加严重。RUDDER的目标是使期望的未来奖励为零，这将Q值估计简化为计算即时奖励的平均值。我们提出了以下两个新概念，以将预期的未来回报推向零。(i)奖励再分配，导致回报等价的决策过程具有相同的最优策略，当最优时，零预期未来奖励。(ii)通过贡献分析进行返回分解，将强化学习任务转换为回归任务，深度学习在这方面表现出色。在具有延迟奖励的人工任务上，RUDDER明显快于MC，并且指数地快于蒙特卡罗树搜索（MCTS）、TD（λ）和奖励塑造方法。在Atari游戏中，在近端策略优化（PPO）基线之上的RUDDER提高了分数，这在延迟奖励的游戏中最为突出。源代码可在\url{https://github.com/ml-jku/rudder}获得，演示视频可在\url{https://goo.gl/EQerZV}获得。
2019-09-10 cs.AI cs.LG math.OC
Learning to Hand Off: Provably Convergent Workflow Learning under Interface Constraints
Stern School of Business（斯特恩商学院）；New York University（纽约大学）；Department of Computer Science（计算机科学系）；Dartmouth College（达特茅斯学院）；Virginia Tech（弗吉尼亚理工大学）
该研究探讨了在接口约束下的工作流学习问题，提出了一种异步去中心化的Q学习算法IC-Q，并给出了神经IC-Q的有限样本界，证明了在去中心化部分可观测性下的神经Q学习的第一个有限样本保证。
2026-05-18 cs.AI
Multiscale Markov Decision Problems: Compression, Solution, and Transfer Learning
Duke University（杜克大学）
提出一种多尺度压缩马尔可夫决策过程的快速算法，自动构建层次结构，解耦子任务并加速收敛，同时实现跨问题的策略迁移。
2012-12-05 cs.AI cs.SY eess.SY
Decision-Theoretic Planning: Structural Assumptions and Computational Leverage
University of British Columbia（不列颠哥伦比亚大学）；Brown University（布朗大学）；University of Washington（华盛顿大学）
不确定性下的规划是自动顺序决策研究中的一个核心问题，并且已经被许多不同领域的研究人员所解决，包括人工智能规划，决策分析，运筹学，控制理论和经济学。虽然在这些领域采用的假设和观点往往有很大的不同，但这些领域的研究人员感兴趣的许多规划问题可以建模为马尔可夫决策过程（MDP），并使用决策理论的技术进行分析。本文介绍了一个概述和综合的MDP相关的方法，显示他们如何提供一个统一的框架，在人工智能研究的规划问题建模的许多类。它还描述了MDP的结构特性，当表现出特定类别的问题，可以利用在建设最优或近似最优的政策或计划。规划问题通常在用于描述性能标准的回报和价值函数、用于描述状态转换和观察的函数以及用于描述状态、动作、回报和观察的特征之间的关系中具有结构。专门的表示和采用这些表示的算法可以通过利用这些不同形式的结构来实现计算杠杆。某些人工智能技术--特别是那些基于使用结构化、内涵式表示的技术--可以用这种方式来看待。本文调查了几种类型的表示为经典和决策理论规划问题，规划算法，利用这些表示在许多不同的方式，以减轻计算负担的建设政策或计划。它主要关注基于AI风格表示的抽象、聚合和分解技术。
2011-05-27 cs.AI
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Tensor Low-rank Approximation of Finite-horizon Value Functions
King Juan Carlos University（胡安·卡洛斯国王大学）
针对有限时域MDP值函数随时间变化导致估计量增大的问题，提出基于PARAFAC分解的非参数低秩随机算法，以张量形式高效逼近最优值函数。
2024-05-27 cs.AI cs.LG
Learning Adversarial Low-rank Markov Decision Processes with Unknown Transition and Full-information Feedback
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Boston University（波士顿大学）
针对全信息反馈下损失对抗变化的低秩MDP，提出基于策略优化的POLO算法，实现亚线性遗憾界且不依赖状态空间大小，并证明其统计难度高于线性MDP。
2023-11-14 cs.AI cs.LG stat.ML
Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning
Georgia Tech（佐治亚理工学院）；Google（谷歌）
我们提出了一个框架，结合分层和多代理深度强化学习方法，使用半分散模型解决众多代理之间的协调问题。该框架通过引入一个元控制器来扩展多代理学习设置，该元控制器引导代理对之间的通信，使代理能够专注于在任何步骤中仅与另一个代理进行通信。这种任务的层次分解允许有效的探索，以学习识别全局最优解决方案的策略，即使合作代理的数量增加。我们展示了有前途的初步实验结果的模拟分布式调度问题。
2017-12-22 cs.AI
Distributed Value Decomposition Networks with Networked Agents
Instituto Superior Técnico（高等技术学院）；INESC-ID；PUC-Rio（里约热内卢天主教大学）
针对部分可观测下无法集中训练的协作式多智能体强化学习问题，提出分布式价值分解网络（DVDN）及异构、同构场景的两种算法，通过局部估计共享目标实现去中心化训练，在多任务中逼近集中式方法性能。
2025-02-11 cs.AI cs.LG cs.MA
Policy Gradient With Value Function Approximation For Collective Multiagent Planning
School of Information Systems（信息系统学院）；Singapore Management University（新加坡管理大学）
本文提出一种改进的actor-critic方法，用于优化集体决策多智能体规划问题，通过分解近似动作价值函数提升收敛速度，并在合成任务和出租车车队优化中验证了方法的有效性。
2018-04-09 cs.AI cs.LG cs.MA
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
值分解方法作为求解分散部分可观测马尔可夫决策过程（Dec-POMDP）问题的方法之一，近年来取得了重要的成果。然而，大多数值分解方法需要在训练期间完全可观察的环境状态，但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此，我们提出了一种新的价值分解框架，称为状态推理价值分解（SIDE），它通过同时寻求最优控制和状态推理两个问题的解决方案，消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法，以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能，我们验证了SIDE可以在没有可访问状态的情况下，根据过去的局部观察推断出有助于强化学习过程的当前状态，甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
Distributed Reinforcement Learning for Robot Teams: A Review
National University of Singapore（新加坡国立大学）
审核目的：传感、驱动和计算方面的最新进展为由数百/数千个机器人组成的多机器人系统打开了大门，该系统在自动化制造、救灾、收获、最后一英里交付、港口/机场操作或搜索和救援方面具有广阔的应用前景。该社区利用无模型多智能体强化学习（MARL）为多机器人系统（MRS）设计高效、可扩展的控制器。这篇综述的目的是提供一个国家的最先进的分布式MARL多机器人合作的分析。最近的研究结果：分散MRS面临的基本挑战，如非平稳性和部分可观测性。建立在“集中培训，分散执行”的范式，最近的MARL方法包括独立学习，集中批评，价值分解和沟通学习的方法。合作行为通过人工智能基准和基本的现实世界机器人功能（如多机器人运动/路径规划）进行演示。摘要：本调查报告了围绕用于多机器人协作的去中心化无模型MARL和现有方法类别的挑战。我们提出了基准和机器人应用程序，并讨论了当前的研究开放途径。
2022-04-07 cs.AI cs.LG cs.MA
Age of Information-Aware Radio Resource Management in Vehicular Networks: A Proactive Deep Reinforcement Learning Perspective
VTT Technical Research Centre of Finland Ltd（芬兰VTT技术研究中心）；University of Electro-Communications（电气通信大学）；Zhejiang University（浙江大学）；Shizuoka University（静冈大学）；University of Oslo（奥斯陆大学）；University of Oulu（奥卢大学）
在本文中，我们调查的问题，信息时代（AOI）意识到无线电资源管理预期的长期性能优化在曼哈顿网格车对车网络。通过在每个调度时隙观察全局网络状态，路边单元（RSU）为所有车辆用户设备对（VUE对）分配频带并调度分组传输。我们建模的随机决策过程作为一个离散时间单代理马尔可夫决策过程（MDP）。解决最优控制策略的技术挑战源于高空间移动性和随时间变化的交通信息到达的VUE对。为了使问题的解决易于处理，我们首先将原始MDP分解为一系列每个VUE对的MDP。然后提出了一种基于长短期记忆和深度强化学习技术的主动算法来解决每个VUE对所面临的局部网络状态空间的部分可观测性和高维灾难。在该算法中，RSU根据VUE对全局网络状态的部分观测值，以分散的方式在每个调度时隙进行最优频带分配和分组调度决策。数值实验验证了理论分析的正确性，并证明了该算法的有效性.
2019-11-15 cs.AI cs.LG
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Wasserstein Convergence of ODE-Based Samplers in Decentralized Diffusion Model via Velocity Field Decomposition
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
针对去中心化扩散模型中随机专家切换的ODE采样，通过速度场分解建立Wasserstein-2距离下的收敛保证，证明N步离散化以O(N^{-1/2}+ε)速率收敛。
2026-09-29 cs.AI cs.LG
ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning
提出基于联合策略梯度精确分解的智能体链式策略优化（ACPO），通过序列化决策和信念机制实现独立智能体更新构成联合梯度步，在多机器人仓库等任务中优于强基线方法。
2026-07-20 cs.AI
Towards Global Optimality in Cooperative MARL with the Transformation And Distillation Framework
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本文提出TAD框架，通过将多智能体MDP转换为单智能体MDP并蒸馏策略，解决合作MARL中的优化问题，实现全局最优并提升执行性能。
2025-12-26 cs.AI cs.LG cs.MA
Thinking Beyond Visibility: A Near-Optimal Policy Framework for Locally Interdependent Multi-Agent MDPs
Department of Electrical and Computer Engineering, Carnegie Mellon University（电气与计算机工程系，卡内基梅隆大学）
本文针对局部相互依赖多智能体MDP提出扩展截断策略类，通过记忆超出可见范围的智能体，解决小可见性下的惩罚抖动问题，实现指数级接近最优并保证部分可观测下的联合最优行为。
2025-06-04 cs.AI cs.LG cs.MA
Value-Decomposition Networks For Cooperative Multi-Agent Learning
DeepMind；University of Liverpool（利物浦大学）
研究了具有单一联合奖励信号的协作多智能体强化学习问题。这类学习问题是困难的，因为通常很大的组合动作和观察空间。在完全集中和分散的方法中，我们发现了虚假奖励的问题和我们称之为“懒惰代理”问题的现象，这是由于部分可观测性而产生的。我们解决这些问题，通过训练个人代理与一种新的价值分解网络架构，学会分解成代理明智的价值函数的团队价值函数。我们在一系列部分可观察的多智能体领域进行了实验评估，并表明学习这种值分解会带来更好的结果，特别是当与权重共享，角色信息和信息渠道相结合时。
2017-06-16 cs.AI
Decentralized Supply Chain Formation: A Market Protocol and Competitive Equilibrium Analysis
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Michigan（密歇根大学）
供应链的形成是确定交换关系的结构和条件的过程，以实现多层次、多主体的生产活动。我们提出了一个简单的供应链模型，突出两个特征：层次子任务分解，和资源竞争。为了分散形成过程，我们引入了一个市场价格体系，沿着链条生产的资源。在这个系统的竞争均衡中，代理人选择局部最优的价格分配，结果是最优的整体。为了确定价格，我们定义了一个市场协议的基础上分布式，渐进式拍卖，短视的，非战略性的代理投标政策。在资源竞争的存在下，该协议产生更好的解决方案比贪婪协议常见的人工智能和多智能体系统文献。该协议往往收敛于高价值的供应链，当竞争均衡存在时，通常近似竞争均衡。然而，制剂生产技术的互补性可能导致议定书浪费性地将投入分配给不生产其产出的制剂。随后的退役阶段恢复了很大一部分损失的盈余。
2011-06-30 cs.AI
TRUST: A Decentralized Framework for Auditing Large Language Model Reasoning
针对大型语言模型推理审计的集中化、不透明和难以扩展问题，本文提出TRUST去中心化审计框架，通过共识机制、DAG分解、区块链账本和隐私保护切分，实现了鲁棒、可扩展且可信的推理验证。
2025-10-23 cs.AI
Multi-Agent Continuous Control with Generative Flow Networks
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Xidian University（西安电子科技大学）
针对生成流网络单流约束难以适配多智能体连续联合控制的问题，提出MACFN方法，通过集中式全局流匹配训练分散式单流策略，引入连续流分解网络推导各智能体流贡献，性能优于现有最优方法且探索能力更强。
2024-08-13 cs.AI cs.MA
Reward Machines for Cooperative Multi-Agent Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Arizona State University（亚利桑那州立大学）
在协作多智能体强化学习中，一组智能体学习在共享环境中进行交互以实现共同目标。我们建议使用奖励机（RM）- Mealy机作为奖励函数的结构化表示-来编码团队的任务。所提出的新的解释RM在多智能体设置明确编码所需的队友相互依赖关系，允许团队级任务分解成子任务的个人代理。我们定义了RM分解的概念，并提出了算法可验证的条件，保证子任务的分布式完成会导致团队行为完成原始任务。这种任务分解的框架为分散式学习提供了一种自然的方法：代理可以学习完成子任务，同时只观察他们的本地状态和他们的队友的抽象表示。因此，我们提出了一个分散的q-学习算法。此外，在未折现的奖励的情况下，我们使用本地价值函数推导出相应于团队任务的全局价值函数的上下界。在三个离散设置的实验结果验证了所提出的RM分解方法的有效性，该方法收敛到一个成功的团队策略比集中式学习器快一个数量级，并显着优于分层和独立的q学习方法。
2021-02-09 cs.AI cs.MA
Decentralized Task Allocation in Multi-Robot Systems via Bipartite Graph Matching Augmented with Fuzzy Clustering
University at Buffalo（布法罗大学）
机器人系统作为一个团队一起工作，正在成为从灾难响应到仓库履行服务等不同现实世界应用中的重要参与者。用于协调多机器人团队的集中式解决方案通常存在可扩展性差和通信中断的脆弱性。本文提出了一种分散式多智能体任务分配（Dec-MATA）算法的多机器人应用。任务规划问题是作为一个最大加权匹配的二分图，使用开花算法的解决方案，使每个机器人自主识别的最佳序列的任务，它应该承担。基于软聚类过程确定图的权重，软聚类过程也起到了问题分解的作用，以降低个体Agent任务分配问题的复杂性。为了评估新的Dec-MATA算法，进行了一系列的案例研究（不同的复杂性），任务随机分布在一个可观察的2D环境。一个集中的方法，一个国家的最先进的MILP制定的多旅行商问题的基础上进行比较分析。在集中式算法获得的最优成本的7-28%范围内，Dec-MATA算法被发现比集中式算法快1-3个数量级，并且对任务与机器人比率的敏感性最低。
2018-07-20 cs.AI cs.MA cs.RO
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
Core-Halo Decomposition: Decentralizing Large-Scale Fixed-Point Problems
Purdue University（普渡大学）；The University of Hong Kong（香港大学）；Johns Hopkins University（约翰霍普金斯大学）
本文提出核心-环分解方法，通过分离写入所有权与只读评估上下文，解决严格分解导致的结构偏差问题，实现去中心化多智能体系统中大规模固定点问题的准确求解。
2026-05-09 cs.AI cs.LG cs.NA
QLLM: Do We Really Need a Mixing Network for Credit Assignment in Multi-Agent Reinforcement Learning?
QLLM提出了一种利用大语言模型构建无训练信用分配函数的新框架，解决了传统混合网络训练成本高、可解释性差的问题，实验表明其在多个MARL基准上表现优异。
2026-03-15 cs.AI cs.MA
Contrastive Identity-Aware Learning for Multi-Agent Value Decomposition
Zhejiang University（浙江大学）
价值分解（VD）的目的是推导出的贡献，代理分散的政策存在的唯一的全球奖励，并最近出现了一个强大的信用分配范式，解决合作多智能体强化学习（MARL）问题。VD的主要挑战之一是促进代理之间的行为多样性，而现有的方法直接鼓励学习代理网络的多样性与各种策略。然而，我们认为，这些专用的设计代理网络仍然是有限的不可区分的VD网络，导致同质代理行为，从而降低合作能力。在本文中，我们提出了一种新的对比身份感知学习（CIA）方法，显式地提高了VD网络的信用级别的可扩展性，以打破多智能体多样性的瓶颈。具体而言，我们的方法利用对比学习，以最大限度地提高时间信用和身份表示的不同代理之间的互信息，鼓励充分表达的信用分配和进一步的个性化的出现。建议CIA模块的算法实现是简单而有效的，可以很容易地纳入各种VD架构。在SMAC基准测试和不同VD骨干上的实验表明，该方法的结果优于最先进的同类方法。我们的代码可在https://github.com/liushunyu/CIA上获得。
2023-03-14 cs.AI cs.LG cs.MA
MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在现实世界中，许多任务需要多个智能体在局部观测条件下相互协作。为了解决这些问题，许多多智能体强化学习方法的基础上集中训练与分散执行已被提出。一个代表性的工作类别是值分解，其将全局联合Q值$Q_\text{jt}$分解为个体Q值$Q_a$以指导个体的行为，例如VDN（值分解网络）和QMIX。然而，这些基线往往忽略了情况的随机性。我们提出了MMD-MIX，一种结合分布式强化学习和值分解的方法来缓解上述弱点。此外，为了提高数据采样效率，我们受到了REM（随机混合）的启发，REM是一种鲁棒的RL算法，将随机性显式引入MMD-MIX。实验表明，MMD-MIX优于星际争霸多智能体挑战赛（SMAC）环境中的先前基线。
2021-06-22 cs.AI cs.LG cs.MA
STAS: Spatial-Temporal Return Decomposition for Multi-agent Reinforcement Learning
Renmin University of China（中国人民大学）；Peking University（北京大学）；King’s College London（伦敦国王学院）；National Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能全国重点实验室）
提出STAS方法，通过将全局回报分解到各时间步并利用Shapley值和蒙特卡洛采样进行时空信用分配，有效解决了情景强化学习中的延迟奖励问题。
2024-01-04 cs.AI cs.LG
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
Distributed Constraint Optimization via Online Learning and Iterative Pricing with Application to Large-Scale Satellite Scheduling
Carnegie Mellon University（卡内基梅隆大学）；Jet Propulsion Laboratory, California Institute of Technology（喷气推进实验室，加州理工学院）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
研究分布式约束优化问题，通过结合在线学习方法与迭代定价框架，将其应用于大规模卫星调度，在实际问题实例上取得近最优性能，满足观测请求比例远超最先进基线。
2026-07-29 cs.AI cs.GT
Centralized Permutation Equivariant Policy for Cooperative Multi-Agent Reinforcement Learning
本文提出集中式置换等变（CPE）学习框架，通过轻量可扩展的全局-局部置换等变（GLPE）网络实现完全集中式策略，可无缝集成价值分解与演员-评论家方法，在 MPE、SMAC 和 RWARE 等协作基准上显著提升标准 CTDE 算法性能。
2025-08-13 cs.AI cs.LG cs.MA
