Planning for distributed agents with partial state information is considered from a decision- theoretic perspective. We describe generalizations of both the MDP and POMDP models that allow for decentralized control. For even a small number of agents, the finite-horizon problems corresponding to both of our models are complete for nondeterministic exponential time. These complexity results illustrate a fundamental difference between centralized and decentralized control of Markov processes. In contrast to the MDP and POMDP problems, the problems we consider provably do not admit polynomial-time algorithms and most likely require doubly exponential time to solve in the worst case. We have thus provided mathematical evidence corresponding to the intuition that decentralized planning problems cannot easily be reduced to centralized problems and solved exactly using established techniques.
Constructing Non-Markovian Decision Process via History Aggregator
AILab, School of Computer Science, Peking University（AILab，计算机科学学院，北京大学）；National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家级实验室，计算机科学学院，北京大学）
Convergence of Decentralized Actor-Critic Algorithm in General-sum Markov Games
Electrical Engineering and Computer Sciences (EECS) at UC Berkeley（加州大学伯克利分校电子工程与计算机科学系）；Operations Research and Information Engineering (ORIE) at Cornell University（康奈尔大学运筹学与信息工程系）
Provably Efficient Reinforcement Learning in Decentralized General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文讨论了通过分散式多智能体强化学习有效学习一般和马尔可夫博弈均衡的问题。考虑到计算纳什均衡（NE）的根本困难，我们的目标是找到一个粗略的相关均衡（CCE），一个解决方案的概念，通过允许可能的代理策略之间的相关性来推广NE。我们提出了一种算法，其中每个代理独立运行乐观的V-学习（Q-学习的变体），以有效地探索未知的环境，同时使用稳定的在线镜像下降（OMD）子例程进行策略更新。我们发现，代理可以找到一个$ε$ -近似CCE在最多$\widetilde{O}( H^6S A /ε^2)$情节，其中$S$是状态的数量，$A$是最大的个人行动空间的大小，和$H$是情节的长度。这似乎是通用一般和马尔可夫博弈学习的第一个样本复杂性结果。我们的研究结果依赖于一个新的调查的任何时候都高概率的遗憾界的OMD与动态学习率和加权遗憾，这将是独立的利益。我们的算法的一个关键特征是，它是完全\emph{decentralized}，在这个意义上说，每个代理只能访问其本地信息，是完全不知道其他人的存在。这样，我们的算法可以很容易地扩展到任意数量的代理，而不会受到代理数量的指数依赖。
On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；DeepMind（深度思维）；Massachusetts Institute of Technology（麻省理工学院）
多智能体强化学习（MARL）算法经常遭受指数样本复杂度对智能体数量的依赖，这种现象被称为\emph{the curse of multiagents}。在本文中，我们解决这一挑战，调查样本效率的无模型算法在\emph{decentralized} MARL，并旨在改善现有的算法沿这条线。对于学习（粗）一般和马尔可夫博弈中的相关均衡，我们提出了\emph{stage-based} V-学习算法，大大简化了最近的作品的算法设计和分析，并规避了一个相当复杂的无\emph{weighted}遗憾强盗子程序。针对马尔可夫势博弈中纳什均衡的学习问题，提出了一种独立的策略梯度算法，该算法采用分散的基于动量的方差缩减技术。我们所有的算法都是去中心化的，因为每个代理只能根据其本地信息做出决策。在学习过程中既不需要通信，也不需要集中协调，从而导致对大量代理的自然泛化。我们还提供了数值模拟来证实我们的理论研究结果。
CoMMa: Contribution-Aware Medical Multi-Agents for Decentralized Oncology Decision Support
Center for Advanced Medical Computing（先进医学计算中心）；Department of Radiology, Massachusetts General Hospital（放射科，马萨诸塞总医院）；Harvard Medical School（哈佛医学院）；Department of Radiation Oncology, Yonsei University College of Medicine（放射肿瘤科，延世大学医学院）；Yonsei University（延世大学）；Institute for Innovation in Digital Healthcare（数字医疗创新研究所）；Interventional Radiology Academic Medical Centers, Mass General Brigham（介入放射学学术医疗中心，马萨诸塞总医院 Brigham）
Edge-AI-Driven Learning-to-Rank for Decentralized Task Allocation in Circular Smart Manufacturing
Birmingham City University（伯明翰城市大学）；Macao Institute of Systems Engineering and Collaborative Laboratory for Intelligent Science and Systems（澳门系统工程研究院和智能科学与系统联合实验室）；New Jersey Institute of Technology（新泽西理工学院）
Data-driven and distributed governance of building facilities management using decentralized autonomous organization, digital twin, and large language models
School of Technology, Eastern Illinois University（东伊利诺伊大学技术学院）；Myers-Lawson School of Construction, Virginia Polytechnic Institute and State University（弗吉尼亚理工学院和州立大学迈尔斯-劳森建设学院）
