Value Propagation for Decentralized Networked Deep Multi-agent Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）；Technion（以色列理工学院）；Alibaba Group（阿里巴巴集团）；Georgia Institute of Technology（佐治亚理工学院）
我们认为网络化的多智能体强化学习（MARL）问题在一个完全分散的设置，代理学习协调，以实现联合成功。这个问题在包括交通控制、分布式控制和智能电网在内的许多领域中广泛遇到。我们假设每个代理的奖励函数可以是不同的，并且只能由代理本身局部观察。此外，每个代理位于通信网络的节点处，并且只能与其邻居交换信息。使用softmax时间一致性和分散优化方法，我们得到了一个原则和数据有效的迭代算法。在每次迭代的第一步中，代理计算其本地策略和值梯度，然后仅更新策略参数。在第二步中，代理基于其价值函数向其邻居传播消息，然后更新其自身的价值函数。因此，我们将算法命名为值传播。在非线性函数逼近下，我们证明了非渐近收敛速度为1/T。据我们所知，这是第一个MARL算法的收敛保证在控制，关闭政策和非线性函数逼近设置。我们经验证明我们的方法在实验中的有效性。
2019-09-28 cs.LG stat.ML
Scalable Multi-Agent Reinforcement Learning for Networked Systems with Average Reward
Caltech（加州理工学院）；Tsinghua University（清华大学）；Harvard University（哈佛大学）
人们早就认识到，多智能体强化学习（MARL）面临着重大的可扩展性问题，因为状态和动作空间的大小在智能体数量上呈指数级增长。在本文中，我们确定了一个丰富的网络MARL问题的模型表现出一个本地的依赖结构，使其能够以可扩展的方式解决。具体来说，我们提出了一个可扩展的演员-评论家（SAC）的方法，可以学习一个接近最优的本地化策略，以优化平均奖励与复杂性缩放的状态-动作空间大小的本地社区，而不是整个网络。我们的结果围绕着识别和利用指数衰减属性，确保代理对彼此的影响在其图形距离中以指数方式快速衰减。
2020-06-11 cs.AI cs.LG cs.MA
Deep Reinforcement Learning Based Networked Control with Network Delays for Signal Temporal Logic Specifications
Osaka University（大阪大学）
我们将深度强化学习（DRL）应用于具有网络延迟的网络控制器的设计，以完成由信号时序逻辑（STL）公式描述的时序控制任务。STL对于处理动力系统的有界时间区间规格说明是很有用的。一般而言，智能体不仅需要系统的当前状态，还需要系统的过去行为来确定满足给定STL公式的期望控制动作。此外，我们需要考虑网络延迟对数据传输的影响。因此，我们提出了一个扩展的马尔可夫决策过程，使用过去的系统状态和控制动作，这被称为一个$τd$ -MDP，使代理可以评估满意度的STL公式考虑网络延迟。之后，我们应用DRL算法设计一个网络控制器使用$τd$ -MDP。通过仿真，我们也证明了所提出的算法的学习性能。
2022-03-28 cs.LG cs.SY eess.SY
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；California Institute of Technology（加州理工学院）
我们研究了一个多智能体强化学习（MARL）问题，其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信，我们提出了一个局部化的政策迭代（LPI）算法，可证明学习一个接近全局最优的政策，只使用本地信息。特别是，我们表明，尽管限制每个代理的注意力，只有其$κ$跳邻域，代理能够学习的政策与最优性的差距，衰减多项式在$κ$。此外，我们展示了有限样本收敛的LPI的全局最优策略，明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Decentralized Multi-Agent Reinforcement Learning with Networked Agents: Recent Advances
Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多智能体强化学习（MARL）一直是机器学习和控制领域的重要研究课题。随着最近（单智能体）深度RL的发展，人们对开发新的MARL算法，特别是那些有理论分析支持的算法重新产生了兴趣。在本文中，我们回顾了最近的一些进展，这一主题的一个子领域：分散MARL与网络代理。具体来说，多个代理在一个共同的环境中执行顺序决策，而无需任何中央控制器的协调。相反，允许代理通过通信网络与其邻居交换信息。这种设置在机器人、无人驾驶车辆、移动传感器网络和智能电网的控制和操作中有广泛的应用。这篇综述是建立在我们在这个方向上的几个研究努力，以及其他研究人员沿着这条线取得的一些进展。我们希望这篇评论能激励更多的研究工作投入到这个令人兴奋但又具有挑战性的领域。
2019-12-09 cs.AI cs.LG cs.MA
Fully Decentralized Multi-Agent Reinforcement Learning with Networked Agents
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Tencent AI Lab（腾讯人工智能实验室）
我们考虑\emph{fully decentralized}多智能体强化学习（MARL）的问题，其中代理位于时变通信网络的节点。具体来说，我们假设代理的奖励函数可能对应于不同的任务，并且仅为相应的代理所知。此外，每个代理根据本地观察到的信息和通过网络从其邻居接收到的消息做出单独的决策。在这种情况下，代理的集体目标是通过与邻居交换信息来最大化网络上的全局平均回报。为此，我们提出了两个分散的行动者-评论家算法与功能近似，这是适用于大规模的MARL问题的状态和代理的数量都是巨大的。在分散结构下，行动者步骤由每个代理单独执行，无需推断其他代理的策略。对于评论步骤，我们提出了通过网络通信的共识更新。我们的算法是完全增量的，可以在线实现。当价值函数在线性函数类内逼近时，给出了算法的收敛性分析。大量的仿真结果与线性和非线性函数逼近，以验证所提出的算法。我们的工作似乎是第一次研究完全分散的MARL算法的网络代理与功能近似，可证明的收敛保证。
2018-02-27 cs.AI cs.LG cs.MA
Networked Restless Multi-Arm Bandits with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出网络化RMAB框架，结合RMAB与独立级联模型以捕捉网络环境中的臂间相互作用，并通过Q学习算法验证了网络效应的重要性。
2025-12-06 cs.AI cs.LG
Peer-to-Peer Energy Trading of Solar and Energy Storage: A Networked Multiagent Reinforcement Learning Approach
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
针对P2P能源交易中主体缺乏交易 expertise、可再生能源零边际成本定价难的问题，提出结合供需比P2P出清机制的多智能体强化学习框架，实现光伏与储能资源自动化管理，还可整合网络约束实现电压控制，保障交易物理可行性以推动落地。
2024-10-09 cs.LG cs.MA cs.SY
General sum stochastic games with networked information flows
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
受供应链管理、流行病和社交网络等应用的启发，我们建立了一个随机博弈模型，该模型解决了这些领域中常见的三个关键特征：1）网络结构的玩家交互，2）玩家之间的成对混合合作和竞争，3）个人决策的有限全局信息。总之，这些特征对基于深度学习的多智能体强化学习（MARL）算法所采用的黑盒方法构成了重大挑战，值得进行更详细的分析。我们制定了一个网络随机游戏与成对一般和目标和不对称的信息结构，并实证研究了信息的可用性对不同的MARL范式，如个人学习和集中学习分散执行的结果的影响。
2022-05-05 cs.LG
Enhancing Cyber Resilience of Networked Microgrids using Vertical Federated Reinforcement Learning
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Iowa State University（爱荷华州立大学）
本文针对网络化微电网的网络韧性提升问题，提出纵向联邦软演员-评论家（FedSAC）算法，在保护多方数据隐私的同时有效捕捉微电网间耦合动态，并通过IEEE 123节点基准系统验证了其抵御对抗攻击的有效性。
2022-12-17 cs.LG cs.SY eess.SY
Learning to Share in Multi-Agent Reinforcement Learning
Peking University（北京大学）；Peng Cheng Lab（鹏城实验室）
在本文中，我们研究了网络化多智能体强化学习（MARL）的问题，其中一些代理被部署为一个部分连接的网络，每个交互只与附近的代理。网络MARL要求所有代理以分散的方式做出决策，以优化网络上邻居之间通信受限的全局目标。受共享在人类学习合作中起着关键作用这一事实的启发，我们提出了LToS，一个分层分散的MARL框架，使代理能够学习动态地与邻居分享奖励，以鼓励代理通过集体在全局目标上合作。对于每个代理，高层策略学习如何与邻居共享奖励以分解全局目标，而低级策略学习优化由高层策略在邻域中诱导的局部目标。这两种策略形成一个双层优化，交替学习。我们的经验表明，LToS优于现有的方法，在社会困境和网络MARL的情况下跨尺度。
2022-06-21 cs.LG cs.MA
Learning to Route Efficiently with End-to-End Feedback: The Value of Networked Structure
IDSS, MIT（麻省理工学院信息与决策系统实验室）；LIDS, MIT（麻省理工学院信息与决策系统实验室）
我们引入有效的算法，实现近最佳的遗憾的问题，随机在线最短路径路由端到端的反馈。该设定是组合随机土匪问题的一个自然应用，是线性随机土匪问题的一个特例。我们展示了如何由大规模行动集所带来的困难，可以克服的行动集的网络结构。我们的方法提出了一种新的连接之间的强盗学习和最短路径算法。我们的主要贡献是一个自适应探索算法，几乎最佳的实例依赖遗憾的任何有向无环网络。然后，我们修改它，使接近最佳的最坏情况下的遗憾是同时实现的。在精心设计的前两名比较（TTC）技术的驱动下，这些算法可以高效地实现。我们进一步进行了大量的数值实验表明，我们提出的算法不仅实现了优越的遗憾性能，但也大大减少了运行时间。
2018-12-19 cs.LG stat.ML
Transformer-Based Multi-Agent Reinforcement Learning for Networked Systems with Long-Range Interactions
Department of Electrical and Computer Engineering, Carnegie Mellon University（电气与计算机工程系，卡内基梅隆大学）
研究针对现有多智能体强化学习在处理长程交互及网络泛化性上的局限，提出均值场稳定性分析等，贡献了基于Transformer的STACCA框架，提升了在相关网络控制任务中的性能与泛化性。
2026-07-07 cs.LG cs.MA cs.SY
Scalable Reinforcement Learning for Multi-Agent Networked Systems
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）；Harvard University（哈佛大学）
我们研究强化学习（RL）的设置与代理网络的状态和动作相互作用的本地方式，其目标是找到本地化的政策，使（折扣）的全球奖励最大化。在这种情况下，一个根本的挑战是，状态动作空间的大小在代理的数量呈指数级扩展，使问题难以处理的大型网络。在本文中，我们提出了一个可扩展的演员评论（SAC）框架，利用网络结构，并找到一个本地化的政策，这是一个$O(ρ^κ)$ -近似的一个固定点的目标，一些$ρ\in(0,1)$，与复杂性的规模与当地的状态动作空间大小的最大$κ$跳邻居的网络。我们举例说明我们的模型和方法，从无线通信，流行病和交通。
2021-11-01 cs.AI cs.LG math.OC
Scalable Policy Optimization for Networked Multi-Agent Reinforcement Learning with Continuous State-Action Spaces
Department of Electrical and Computer Engineering, University of California, Riverside（加州大学河滨分校电气与计算机工程系）；Engineering Systems and Design Pillar, Singapore University of Technology and Design（新加坡科技与设计大学工程系统与设计学院）；Frontiers Science Center for Mobile Information Communication and Security, School of Mathematics, Southeast University（东南大学数学学院移动信息通信与安全前沿科学中心）
研究网络多智能体强化学习，提出CDCPG算法。通过构造条件期望消除延续核不匹配，证明激励界，在特定条件下驱动平稳性度量，还有自适应局部规则。实验验证算法在局部性和特征维度方面的有效性。
2026-09-18 cs.LG cs.MA
Fully-Decentralized MADDPG with Networked Agents
ETHZ（苏黎世联邦理工学院）
本文提出三种基于网络化通信和代理策略的全去中心化演员-评论家算法，在合作、对抗及混合多智能体连续控制任务中取得与MADDPG相当的性能，并显著降低计算成本。
2025-03-09 cs.AI cs.LG cs.MA
Resilient Control of Networked Microgrids using Vertical Federated Reinforcement Learning: Designs and Real-Time Test-Bed Validations
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Indian Institute of Technology at Delhi（印度理工学院德里分校）
针对网络化微电网在对抗性网络事件下的弹性控制问题，提出纵向联邦强化学习方法解决模型复杂、隐私保护等挑战，并通过硬件在环测试验证仿真到现实的迁移效果，提升系统弹性。
2023-11-21 cs.AI cs.LG cs.SY
Networked Stochastic Multi-Armed Bandits with Combinatorial Strategies
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Singapore University of Technology and Design（新加坡科技设计大学）
在本文中，我们研究了一个很大程度上扩展版本的经典MAB问题，称为网络组合强盗问题。特别地，我们考虑了决策者在网络化强盗上的设置如下：每次组合策略，例如，选择一组手臂，决策者收到她的策略产生的奖励，也收到每个手臂邻居的策略产生的附加奖励。这是由许多真实的应用程序，如在线社交网络，其中朋友可以提供他们的反馈共享内容，因此，如果我们向用户推广产品，我们也可以收集反馈，她的朋友对该产品。为此，我们在这项研究中考虑了两种类型的边奖金：边观察和边奖励。根据每个时间段的手臂拉动次数，我们研究了两种情况：单人游戏和组合游戏。因此，这给我们留下了四个场景来研究存在边奖金的情况：带边观察的单人游戏，带边观察的组合游戏，带边奖励的单人游戏和带边奖励的组合游戏。对于每一种情况下，我们提出并分析了一系列的\emph{zero regret}政策，随着时间的推移，随着时间的推移，后悔的期望接近零。大量的模拟验证了我们的结果的有效性。
2015-03-20 cs.LG
Distributed Influence-Augmented Local Simulators for Parallel MARL in Large Networked Systems
Delft University of Technology（代尔夫特理工大学）；Aalto University（阿尔托大学）
本文提出将大型多智能体网络化系统分解为并行局部模拟器，并通过周期性训练的学习模型建模组件间影响，从而加速训练并缓解同时学习的负面影响。
2024-03-01 cs.LG cs.MA
A Reinforcement Learning Approach to Sensing Design in Resource-Constrained Wireless Networked Control Systems
Department of Information Engineering, University of Padova（帕多瓦大学信息工程学院）；Autec s.r.l.（奥特克有限公司）
针对资源受限无线传感器网络中原始测量与本地处理之间的延迟-精度权衡问题，本文提出一种强化学习方法动态决策各传感器何时处理测量数据，并通过无人机互联网场景下的智能感知案例仿真验证其有效性。
2024-01-10 cs.LG cs.RO cs.SY
An Algorithm For Adversary Aware Decentralized Networked MARL
Arizona State University（亚利桑那州立大学）；Amazon（亚马逊）
针对现有协作式去中心化网络化MARL算法共识更新易受对抗智能体干扰的问题，提出一种可在受限场景下保障非对抗智能体达成共识的算法，弥补了现有框架的安全漏洞。
2023-06-15 cs.LG cs.MA
Scalable and Sample Efficient Distributed Policy Gradient Algorithms in Multi-Agent Networked Systems
ShanghaiTech University（上海科技大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
本文针对奖励耦合的多智能体强化学习问题，提出一种分布式策略梯度算法，该算法在策略和学习过程上均实现分布式，并在无线网络访问控制和功率控制中显著优于现有方法。
2023-05-14 cs.LG cs.MA
Networked Agents in the Dark: Team Value Learning under Partial Observability
INESC-ID/Instituto Superior Técnico（INESC-ID/高等技术学院）；PUC-Rio（里约天主教大学）
针对网络化智能体在部分可观测下的协作问题，提出基于共识机制与梯度下降的分布式MARL方法DNA-MARL，在基准场景中性能优于现有方法，拓展了现实应用范围。
2025-01-15 cs.AI cs.LG cs.MA
Influence-Augmented Local Simulators: A Scalable Solution for Fast Deep RL in Large Networked Systems
Delft University of Technology（代尔夫特理工大学）
学习有效的政策，现实世界的问题仍然是一个开放的挑战，强化学习（RL）领域。主要的限制是所需的数据量和获得数据的速度。在本文中，我们研究如何构建复杂系统的轻量级模拟器，这些模拟器可以足够快地运行，以使深度RL适用。我们专注于代理与一个更大的环境中减少的一部分，同时仍然受到全球动态的影响域。我们的方法结合使用本地模拟器与学习模型，模仿全球系统的影响。实验表明，将这一想法纳入深度RL工作流程可以大大加快训练过程，并为未来提供了几个机会。
2022-02-03 cs.LG
A Demonstration of Issues with Value-Based Multiobjective Reinforcement Learning Under Stochastic State Transitions
Federation University Australia（澳大利亚联邦大学）；Deakin University（迪肯大学）
我们报告了一个以前未识别的问题，无模型，基于值的方法，多目标强化学习的环境中的随机状态转换。一个例子多目标马尔可夫决策过程（MOMDP）是用来证明，在这种条件下，这些方法可能无法发现的政策，最大化的标量预期收益，实际上可能会收敛到帕累托主导的解决方案。我们讨论了几种替代方法，这可能是更适合于最大化SER MOMDPs随机过渡。
2020-04-14 cs.LG cs.MA stat.ML
Near-Optimal Reinforcement Learning with Shuffle Differential Privacy
College of Control Science and Engineering, Zhejiang University（控制科学与工程学院，浙江大学）；Department of Computer Science, University of Copenhagen（计算机科学系，哥本哈根大学）
针对现有RL差分隐私模型的信任风险或性能缺陷，本文提出洗牌差分隐私策略消除（SDP-PE）算法，通过指数批处理调度和遗忘机制平衡隐私与性能，实现近最优遗憾界，为网络系统安全决策提供新方案。
2025-11-17 cs.AI cs.CR cs.LG
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Scalable Model-based Policy Optimization for Decentralized Networked Systems
Peking University（北京大学）；Chinese Academy of Sciences（中国科学院）；University College London（伦敦大学学院）；King’s College London（伦敦国王学院）；Xiamen University（厦门大学）；BIGAI（北京通用人工智能研究院）
强化学习算法需要大量的样本;这往往限制了它们在现实世界中的应用，即使是简单的任务。这种挑战在多智能体任务中更为突出，因为操作的每一步都需要通信或转移或资源。本文旨在通过基于模型的学习提高多智能体控制的数据效率。我们考虑网络系统中的代理是合作的，只与他们的邻居进行本地通信，并提出了分散的基于模型的策略优化框架（DMPO）。在我们的方法中，每个代理学习一个动态模型来预测未来的状态，并通过通信广播他们的预测，然后在模型推出下训练策略。为了减轻模型生成数据的偏差，我们限制了模型生成近视滚动的使用，从而减少了模型生成的复合误差。为了保证策略更新的独立性，我们引入了扩展价值函数，并从理论上证明了所得到的策略梯度是真实策略梯度的近似。我们评估我们的算法在智能交通系统，这是连接自主车辆控制任务（流量和CACC）和自适应交通信号控制（ATSC）的几个基准。实验结果表明，我们的方法实现了优越的数据效率和匹配的无模型方法使用真正的模型的性能。
2022-09-01 cs.AI cs.LG cs.MA
Incremental Reinforcement Learning --- a New Continuous Reinforcement Learning Frame Based on Stochastic Differential Equation methods
DDPG和A3 C等连续强化学习广泛应用于机器人控制和自动驾驶。然而，这两种方法都存在理论上的缺陷。DDPG在控制过程中不能控制噪声，而A3 C在高斯策略下不满足连续性条件。为了解决这些问题，我们提出了一种新的连续强化学习方法的基础上随机微分方程，我们称之为增量强化学习（IRL）。该方法既保证了动作在任意时间间隔内的连续性，又控制了训练过程中动作的方差。此外，我们的方法不假设马尔可夫控制在代理的动作控制，并允许代理预测场景变化的动作选择。有了我们的方法，智能体不再被动地适应环境。相反，他们积极地与环境互动，以获得最大的回报。
2019-08-08 cs.LG stat.ML
Distributed Value Decomposition Networks with Networked Agents
Instituto Superior Técnico（高等技术学院）；INESC-ID；PUC-Rio（里约热内卢天主教大学）
针对部分可观测下无法集中训练的协作式多智能体强化学习问题，提出分布式价值分解网络（DVDN）及异构、同构场景的两种算法，通过局部估计共享目标实现去中心化训练，在多任务中逼近集中式方法性能。
2025-02-11 cs.AI cs.LG cs.MA
A General Family of Robust Stochastic Operators for Reinforcement Learning
IBM Research（IBM研究院）
我们考虑一个新的家庭的运营商强化学习的目标是减轻负面影响，并成为更强大的近似或估计误差。建立了各种理论结果，其中包括显示在样本路径的基础上，我们的家庭运营商保持最优性，并增加行动差距。我们的实证结果说明了我们的家庭运营商的强大优势，显着优于经典的贝尔曼运营商和最近提出的运营商。
2019-05-28 cs.LG stat.ML
Collaborative Wideband Spectrum Sensing and Scheduling for Networked UAVs in UTM Systems
University of Kansas（堪萨斯大学）；Universities Space Research Association（大学空间研究协会）
本文提出一种数据驱动的协同宽带频谱感知与调度框架，通过多类分类、服务器融合和强化学习动态分配，为UTM系统中的网络化无人机实现机会性频谱利用。
2023-08-09 cs.LG cs.MA cs.NI
Causality Meets Locality: Provably Generalizable and Scalable Policy Learning for Networked Systems
King’s College London（伦敦国王学院）；Eindhoven University of Technology（埃因霍温理工大学）；University of California, San Diego（加州大学圣地亚哥分校）；The Alan Turing Institute（艾伦·图灵研究所）
针对大规模网络化系统的规模与环境变化问题，提出GSAC框架，结合因果表示学习与元Actor-Critic，通过局部因果掩码和紧致表示实现可扩展性与领域泛化，并证明其快速适应且性能优于基线。
2025-10-24 cs.LG
PowerGym: A Reinforcement Learning Environment for Volt-Var Control in Power Distribution Systems
Princeton University（普林斯顿大学）；Iowa State University（爱荷华州立大学）；Siemens Technology（西门子科技）
我们介绍PowerGym，一个开源的强化学习环境，用于配电系统中的电压无功控制。遵循OpenAI Gym API，PowerGym的目标是在物理网络约束下最大限度地减少功率损耗和电压违规。PowerGym提供四种基于IEEE基准系统的分布式系统（13总线、34总线、123总线和8500节点），以及针对各种控制困难的设计变体。为了促进推广，PowerGym为使用其分发系统的用户提供了详细的定制指南。作为演示，我们研究了PowerGym中最先进的强化学习算法，并通过研究控制器行为来验证环境。存储库位于\url{https://github.com/siemens/powergym}。
2022-03-14 cs.AI cs.LG
Consensus Multi-Agent Reinforcement Learning for Volt-VAR Control in Power Distribution Networks
电压无功控制（VVC）是有源配电网络管理系统中降低网损、改善电压分布的关键技术。为了消除对不准确和不完整网络模型的依赖，并增强对通信或控制器故障的弹性，我们提出了共识多智能体深度强化学习算法来解决VVC问题。将VVC问题描述为一个网络化的多智能体马尔可夫决策过程，采用最大熵强化学习框架和一种新的通信高效共识策略来解决。所提出的算法允许个体代理学习使用本地奖励的组控制策略。IEEE分布测试馈线的数值研究表明，我们提出的算法匹配的单智能体强化学习基准的性能。此外，该算法被证明是通信效率和弹性。
2020-07-06 cs.LG cs.SY eess.SY
Federated Reinforcement Learning at the Edge
University of Oxford（牛津大学）
现代网络物理架构使用从不同物理位置的系统收集的数据来学习适当的行为并适应不确定的环境。然而，一个重要的挑战出现，因为在网络系统的边缘通信交换是昂贵的，由于有限的资源。本文考虑了一种设置，多个代理需要有效地进行通信，以共同解决强化学习问题的时间序列数据收集在一个分布式的方式。这被设定为通过通信网络学习近似价值函数。提出了一种实现通信效率的算法，支持理论保证，实际实现和数值评估。这种方法的基础是只有在收集到足够的信息数据时才进行交流。
2021-12-11 cs.LG cs.SY eess.SY
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology（佐治亚理工学院）
受强化学习和联邦学习的广泛应用的启发，我们研究了代理网络上的局部随机逼近，其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时，在每个代理的数据是从马尔可夫过程中产生的，因此它们是依赖的。特别是，我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明，这些比率是在一个独立的数据下的对数因子。然后，我们说明了这些结果的应用程序不同的有趣的问题，多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
Stochastic Reinforcement Learning
Victoria University（维多利亚大学）；Hong Kong Baptist University（香港浸会大学）；University of California, San Diego（加州大学圣地亚哥分校）
在强化学习中，奖励和惩罚通常是不确定的，并且总是有随机因素控制潜在的情况。这种随机因素往往很多，无法事先知道，而且它们往往会掩盖潜在的奖惩模式。事实上，如果没有随机因素，每次都会出现相同的结果，所涉及的学习问题可以大大简化。此外，在大多数实际情况下，观察获得奖励或惩罚的成本可能很大，人们希望通过产生最小成本来得出正确的学习结论。在本文中，我们提出了一个随机的方法来强化学习，明确建模的变化存在于学习环境和观察的成本。定量地分析了学习成功的准则和规则，并得到了超过观测成本界的概率。
2019-02-11 cs.AI cs.LG stat.ML
Efficient Evaluation of Natural Stochastic Policies in Offline Reinforcement Learning
Cornell University（康奈尔大学）
我们研究了自然随机策略的有效离策略评估，这些策略是根据与行为策略的偏差定义的。这是一个偏离文献的政策外的评价，其中大多数工作考虑明确规定的政策的评价。至关重要的是，具有自然随机策略的离线强化学习可以帮助缓解弱重叠问题，导致基于当前实践的政策，并提高政策在实践中的可实施性。与经典的情况下，一个预先指定的评估政策，评估自然随机政策时，效率界，衡量最佳可实现的估计误差，膨胀，因为评估政策本身是未知的。在本文中，我们推导出两种主要类型的自然随机政策：倾斜政策和修改的治疗政策的效率界。然后，我们提出了有效的非参数估计，在非常宽松的条件下达到效率界。这些也享有（部分）双重鲁棒性属性。
2020-11-03 cs.LG math.OC stat.ML
Networked Communication for Decentralised Agents in Mean-Field Games
Department of Computer Science（计算机科学系）；University of Oxford（牛津大学）
本文提出一种网络通信机制，用于改进均场博弈中去中心化代理的训练效率，同时增强鲁棒性。
2025-12-22 cs.AI cs.LG cs.MA
Resource Optimization for Tail-Based Control in Wireless Networked Control Systems
Centre for Wireless Communication, University of Oulu, Finland（奥卢大学无线通信中心，芬兰）；Infotech Oulu, University of Oulu, Finland（奥卢大学Infotech，芬兰）
针对资源受限的WNCS，提出融合Lyapunov调度、GPR预测与RL控制的尾部控制优化方案，实验显示总体代价降低22%。
2024-06-20 cs.LG cs.SY eess.SY
Concentration of Contractive Stochastic Approximation and Reinforcement Learning
Indian Institute of Technology Bombay（印度理工学院孟买分校）
利用鞅浓度不等式，导出了具有压缩映射的随机近似算法在鞅差和马尔可夫噪声下的“从时间$n_0$开始”的浓度界.这些应用于强化学习算法，特别是异步Q学习和TD（0）。
2022-06-11 cs.LG cs.SY eess.SY
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Priority-Driven Control and Communication in Decentralized Multi-Agent Systems via Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland（埃因霍恩理工大学电气工程与自动化系，芬兰 Espoo）；Finnish Center for Artificial Intelligence, Helsinki, Finland（芬兰人工智能中心，芬兰 Helsinki）
本文提出一种无模型、优先级驱动的强化学习算法，通过数据联合学习通信优先级和控制策略，解决事件触发控制中通信带宽浪费问题，实验表明其优于基线方法。
2026-05-12 cs.LG cs.RO cs.SY
The ODE Method for Stochastic Approximation and Reinforcement Learning with Markovian Noise
University of Virginia（弗吉尼亚大学）；Scaled Foundations
本文将Borkar-Meyn稳定性定理从鞅差分噪声推广到马尔可夫噪声，显著提升其在离策略强化学习中的适用性，核心在于利用强大数定律和重对数律证明若干函数渐近变化率递减。
2025-11-05 cs.AI cs.LG
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在许多领域，如物理科学，生命科学和金融，控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中，我们制定了控制随机偏微分方程（SPDE）的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法，利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能，描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Reachability analysis in stochastic directed graphs by reinforcement learning
Istituto di Analisi dei Sistemi ed Informatica “A. Ruberti”, Consiglio Nazionale delle Ricerche（意大利国家研究委员会“A.鲁贝尔蒂”系统分析与信息研究所）；University of Catania（卡塔尼亚大学）；Politecnico di Torino（都灵理工大学）
利用强化学习方法刻画了随机有向图的可达概率。特别是，我们表明，在一个随机有向图的转移概率的动态可以通过差分包含，这反过来又可以被解释为一个马尔可夫决策过程建模。使用后一种框架，我们提供了一种方法来设计奖励函数，以提供一组节点的随机有向图的可达概率的上界和下界。通过将该技术应用于流行病在移动代理邻近模式生成的时变接触网络上的传播，证明了该技术的有效性。
2022-02-25 cs.AI cs.LG
Communication-Control Codesign for Large-Scale Wireless Networked Control Systems
School of Electrical and Computer Engineering, The University of Sydney（悉尼大学电气与计算机工程学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文针对大规模无线网络化控制系统，提出一种基于深度强化学习的通信调度与控制输入联合优化方法，以应对耦合回路、时变信道和计算复杂度等挑战，并通过仿真验证其优于基准方法。
2024-10-15 cs.IT cs.LG cs.SY
Controlling dynamics of stochastic systems with deep reinforcement learning
Arnold Sommerfeld Center for Theoretical Physics（阿诺德·索末菲理论物理中心）；Center for NanoScience（纳米科学中心）；Ludwig-Maximilians-Universität München（慕尼黑大学）
本文提出一种基于深度强化学习的模拟算法，利用训练好的神经网络作为控制器驱动随机系统的状态转移，并在粒子凝聚和全不对称排斥过程中验证了其有效性。
2025-02-25 cond-mat.stat-mech cs.LG physics.comp-ph
Reinforcement Learning for Caching with Space-Time Popularity Dynamics
University of Minnesota（明尼苏达大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
随着有线和无线网络上的数据流量的巨大增长，以及越来越多的富媒体应用，缓存被设想在下一代网络中发挥关键作用。为了智能地预取和存储内容，缓存节点应该能够了解缓存什么以及何时缓存。考虑到地理和时间的内容流行动态，有限的可用存储在缓存节点，以及在网络缓存设置中的缓存决策的交互影响，开发有效的缓存策略实际上是具有挑战性的。为了应对这些挑战，本章提出了一个通用的强化学习为基础的方法，近最佳的缓存策略设计，在单节点和网络缓存设置下的动态时空流行。本文提出的政策补充使用一组数值测试，这展示了所提出的方法相对于几个标准的缓存政策的优点。
2020-05-19 cs.IT cs.LG cs.NI
Reinforcement Learning for Adaptive Optimal Stationary Control of Linear Stochastic Systems
New York University（纽约大学）
本文研究了具有加性和乘性噪声的连续时间线性随机系统的自适应最优平稳控制问题。基于策略迭代，提出了一种新的非策略强化学习算法--基于乐观最小二乘的策略迭代算法，该算法能够从初始容许控制策略出发，直接从输入/状态数据中迭代找到自适应最优平稳控制问题的近优策略，而无需显式地识别任何系统矩阵.在较弱的条件下，证明了所提出的基于最小二乘的策略迭代算法的解以概率1收敛到最优解的一个小邻域内。通过对三级倒立摆系统的仿真，验证了该算法的可行性和有效性。
2021-12-05 cs.LG cs.SY eess.SY
Deep Learning for Wireless Networked Systems: a joint Estimation-Control-Scheduling Approach
School of Electrical and Information Engineering, The University of Sydney（悉尼大学电气与信息工程学院）；School of Electrical Engineering and Robotics, Queensland University of Technology (QUT)（昆士兰科技大学电气工程与机器人学院）
针对模型未知非线性WNCS，本文提出融合AoI与信道状态、联合无模型与基于模型数据的DRL估计-控制-调度协同设计框架，显著优于分离式方案。
2022-10-03 cs.AI cs.IT cs.LG
ADMM-based Networked Stochastic Variational Inference
New York University（纽约大学）
由于“大数据”建模和预测任务的最新进展，变分贝叶斯估计由于其提供近似后验的精确解的能力而受到欢迎。近似推理的一个关键技术是随机变分推理（SVI）。SVI将变分推理作为一个随机优化问题，并使用噪声梯度估计迭代求解。它旨在通过应用已观察到的复杂贝叶斯模型以及潜在变量来处理预测和分类任务的大量数据。本文旨在分散它允许并行计算，安全学习和鲁棒性的好处。我们在自上而下的设置中使用交替方向乘法来开发分布式SVI算法，使得运行推理算法的独立学习者只需要共享估计的模型参数，而不是他们的私有数据集。我们的工作将我们首先提出的分布式SVI-ADMM算法扩展为基于ADMM的网络SVI算法，其中学习者不仅分布式工作，而且根据形成网络的图的规则共享信息。这种工作属于“网络上的深度学习”的范畴，我们验证了我们的算法，用于维基百科文章语料库的主题建模问题。我们说明了潜在的Dirichlet分配（LDA）的主题模型在大文档分类的结果，比较性能与集中式算法，并使用数值实验来证实分析结果。
2018-02-27 cs.LG stat.ML
Fully Distributed and Asynchronized Stochastic Gradient Descent for Networked Systems
the Chinese University of Hong Kong（香港中文大学）
本文研究了网络系统中的一般数据拟合问题，其中多个计算节点由一个无向图连接。这类问题在现实世界中有着广泛的应用，并在文献中得到了广泛的研究。然而，现有的解决方案要么需要一个中央控制器进行信息共享，要么需要不同节点之间的时隙同步，这增加了实际实现的难度，特别是对于非常大的异构系统。作为对比，在本文中，我们把网络上的数据拟合问题作为一个具有许多约束的随机规划问题。通过调整最近的论文中的结果，我们设计了一个完全分布式和并行化的随机梯度下降（SGD）算法。我们表明，我们的算法可以实现全局最优性和共识渐近只有本地计算和通信。此外，我们还为规则图情况下的收敛速度提供了一个精确的下界。这一结果符合直觉，并为设计一个“好”的网络拓扑结构以加速收敛提供了指导。此外，我们的设计的优点是验证了合成和真实世界的数据集上的实验。
2017-04-13 cs.AI cs.LG cs.PF
