MDPGT: Momentum-based Decentralized Policy Gradient Tracking
Johnson Controls Inc.(江森自控有限公司);Iowa State University(爱荷华州立大学);New York University(纽约大学)
我们提出了一种新的策略梯度方法用于多智能体强化学习,该方法利用两种不同的方差减少技术,并且不需要大批量迭代。具体来说,我们提出了一个基于动量的分散策略梯度跟踪(MDPGT),其中一个新的基于动量的方差减少技术被用来近似的本地策略梯度代理的重要性采样,和一个中间参数被用来跟踪两个连续的策略梯度代理。此外,MDPGT可证明地实现了最佳的可用样本复杂度的$\mathcal{O}(N^{-1}ε^{-3})$收敛到一个$ε$ -平稳点的全局平均值的$N$本地性能函数(可能是非凹的)。这优于分散式无模型强化学习中最先进的样本复杂度,并且当用单个轨迹初始化时,样本复杂度与现有分散式策略梯度方法获得的样本复杂度相匹配。我们进一步验证了高斯策略函数的理论主张。当所需的误差容限$ε$足够小时,MDPGT导致线性加速,这在分散随机优化中已经建立,但对于强化学习则不是。最后,我们提供了一个多智能体强化学习基准环境的实证结果,以支持我们的理论研究结果。
2021-12-06 cs.AI cs.LG
Implications of Decentralized Q-learning Resource Allocation in Wireless Networks
Universitat Pompeu Fabra(庞培法布拉大学);Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
强化学习正受到无线网络社区的关注,因为它有可能仅从观察到的结果中学习性能良好的配置。在这项工作中,我们提出了一个无状态的变化Q学习,我们应用于利用无线网络中的空间重用。特别是,我们允许网络修改其传输功率和信道使用的经验的吞吐量的基础上。我们集中在一个完全分散的情况下,没有关于相邻节点的信息是提供给学习者。我们的研究结果表明,虽然该算法能够找到最佳的性能动作,以提高总吞吐量,有很高的变化,在吞吐量所经历的个别网络。我们确定这种变化的原因是我们的设置的对抗性设置,其中最播放的动作提供间歇性的好/差的性能取决于相邻的决定。我们还评估了算法的内在学习参数对这种变化的影响。
2017-08-29 cs.LG cs.NI
Breaking the Curse of Multiagency: Provably Efficient Decentralized Multi-Agent RL with Function Approximation
Princeton University(普林斯顿大学);Salesforce Research(赛富时研究院)
多智能体强化学习(MARL)中的一个独特挑战是多智能体的诅咒,其中游戏的描述长度以及许多现有学习算法的复杂性随着智能体的数量呈指数级增长。虽然最近的工作成功地解决了这一挑战下的表格马尔可夫博弈模型,其机制严重依赖于有限的状态和小的数量,并没有扩展到实际的情况下,巨大的状态空间,函数近似必须使用近似价值函数或政策。本文提出了第一行的MARL算法,可证明解决诅咒的多机构下的功能近似。设计了一种新的分散学习算法--策略重放的V-学习算法,给出了在分散线性函数近似下学习马尔可夫博弈的近似粗相关均衡(CCE)的第一多项式样本复杂度结果.我们的算法总是输出马尔可夫CCE,并实现了$\widetilde{\mathcal{O}}(ε^{-2})$的最佳率为找到$ε$ -最优的解决方案。此外,当限制到表格的情况下,我们的结果改善了目前最好的分散结果$\widetilde{\mathcal{O}}(ε^{-3})$寻找马尔可夫CCE。我们进一步提出了一种替代算法-分散乐观策略镜像下降,它发现使用多项式数量的样本的策略类限制的CCE。作为学习较弱版本的CCE的交换,该算法适用于通用函数近似下的更广泛的问题,例如线性二次博弈和具有低“边际"Eluder维数的MARL问题。
2023-03-02 cs.AI cs.GT cs.LG
Concurrent Decentralized Channel Allocation and Access Point Selection using Multi-Armed Bandits in multi BSS WLANs
Universitat Pompeu Fabra(庞培法布拉大学)
企业无线局域网(WLAN)由覆盖给定区域的多个接入点(AP)组成。考虑到AP和站点之间的复杂依赖关系,找到能够最大限度提高企业WLAN性能的合适网络配置是一项具有挑战性的任务。最近,在无线网络中,强化学习技术的使用已经成为有效探索不同网络配置对系统性能的影响、识别提供更好性能的网络配置的有效解决方案。在本文中,我们研究如果多臂强盗(MABs)能够提供一个可行的解决方案,分散的信道分配和AP选择问题,在企业无线局域网的场景。要做到这一点,我们授权AP和站与代理,通过实施汤普森采样算法,探索和学习,这是最好的信道使用,这是最好的AP相关联,分别。我们的评估是随机生成的情况下,其中包括不同的网络拓扑结构和流量负载。所呈现的结果表明,所提出的使用MAB的自适应框架优于静态方法(即,总是使用初始默认配置,通常是随机的),而不管网络密度和业务需求。此外,我们表明,所提出的框架的使用减少了不同情况下的性能变化。结果还表明,我们实现了相同的性能(或更好)比静态策略,较少的AP相同数量的站。最后,特别注意的是如何代理人相互作用。即使代理以完全独立的方式操作,它们的决策也具有相互关联的影响,因为它们在同一组通道资源上采取行动。
2020-06-05 cs.LG stat.ML
Cooperative Backdoor Attack in Decentralized Reinforcement Learning with Theoretical Guarantee
Shandong University(山东大学);The George Washington University(乔治·华盛顿大学)
本文提出一种去中心化强化学习中的协同后门攻击方法,将后门行为按状态空间分解到多个恶意智能体策略中,实现隐蔽注入,并给出理论保证与Atari实验验证。
2024-05-24 cs.AI cs.LG
Partner-Aware Algorithms in Decentralized Cooperative Bandit Teams
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
当人类彼此合作时,他们通常通过观察他人并考虑他们的行为可能对整个团队产生的后果来做出决定,而不是只为自己做最好的事情。我们希望我们的人工智能智能体通过捕获其合作伙伴的模型来以类似的方式进行有效合作。在这项工作中,我们提出并分析了一个分散的多臂强盗(MAB)问题与耦合奖励更一般的多智能体协作的抽象。我们证明,天真的扩展单代理最优MAB算法失败时,分散的强盗队。相反,我们提出了一个合作伙伴意识的联合顺序决策策略,扩展了著名的单代理置信上限算法。我们分析表明,我们提出的策略实现了对数遗憾,并提供了涉及人类-AI和人类-机器人协作的广泛实验,以验证我们的理论研究结果。我们的研究结果表明,所提出的伙伴意识策略优于其他已知的方法,我们的人类受试者研究表明,人类更喜欢与实施我们的伙伴意识策略的人工智能智能体合作。
2021-12-16 cs.AI cs.LG cs.MA
Value Propagation for Decentralized Networked Deep Multi-agent Reinforcement Learning
Ant Financial Services Group(蚂蚁金融服务集团);Technion(以色列理工学院);Alibaba Group(阿里巴巴集团);Georgia Institute of Technology(佐治亚理工学院)
我们认为网络化的多智能体强化学习(MARL)问题在一个完全分散的设置,代理学习协调,以实现联合成功。这个问题在包括交通控制、分布式控制和智能电网在内的许多领域中广泛遇到。我们假设每个代理的奖励函数可以是不同的,并且只能由代理本身局部观察。此外,每个代理位于通信网络的节点处,并且只能与其邻居交换信息。使用softmax时间一致性和分散优化方法,我们得到了一个原则和数据有效的迭代算法。在每次迭代的第一步中,代理计算其本地策略和值梯度,然后仅更新策略参数。在第二步中,代理基于其价值函数向其邻居传播消息,然后更新其自身的价值函数。因此,我们将算法命名为值传播。在非线性函数逼近下,我们证明了非渐近收敛速度为1/T。据我们所知,这是第一个MARL算法的收敛保证在控制,关闭政策和非线性函数逼近设置。我们经验证明我们的方法在实验中的有效性。
2019-09-28 cs.LG stat.ML
Mean-Field Multi-Agent Reinforcement Learning: A Decentralized Network Approach
University of California, Berkeley(加州大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);University of Southern California(南加州大学)
多智能体强化学习(MARL)面临的挑战之一是为大型系统设计有效的学习算法,在该系统中每个智能体仅具有整个系统的有限或部分信息。虽然在分析具有社交网络和团队视频游戏的代理网络的去中心化MARL方面取得了令人兴奋的进展,但理论上对具有用于建模自动驾驶车辆,乘车共享以及数据和交通路由的状态网络的去中心化MARL知之甚少。本文提出了一个局部训练和分散执行的框架来研究具有状态网络的MARL。局部化训练意味着Agent只需要在训练阶段收集邻近状态的局部信息;分散化执行意味着Agent可以在训练之后执行学习到的分散化策略,这些策略仅取决于Agent的当前状态。理论分析由三个关键部分组成:第一是将MARL系统重新表述为具有多个代理团队的网络化马尔可夫决策过程,使得能够以局部方式更新相关团队Q函数;第二是用于价值函数的Bellman方程和概率测度空间上的适当Q函数;第三是团队Q函数的指数衰减特性,使其具有有效的样本效率和可控的误差近似。理论分析为一种新的算法LTDE-Neural-AC铺平了道路,其中提出了过参数化神经网络的Actor-Critic方法。的收敛性和样本的复杂性的建立和证明是可扩展的代理和状态的大小。据我们所知,这是第一个基于神经网络的MARL算法的网络结构和可证明的收敛保证。
2022-02-19 cs.LG math.OC
Decentralized Best-Response-Based Learning in Two-Player Zero-Sum Stochastic Games: A Finite-Sample Analysis
Purdue University(普渡大学);University of Maryland, College Park(马里兰大学学院公园分校);Caltech(加州理工学院);MIT(麻省理工学院)
本文对两人零和矩阵博弈和随机博弈中的去中心化学习进行有限样本分析,提出基于最优响应的学习算法,并证明其样本复杂度。
2026-06-26 cs.GT cs.LG
Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate
Temple University(天普大学)
本文研究去中心化随机多层组合优化问题,提出两种新颖的去中心化优化算法,在比现有单机算法更温和的条件下首次实现了与层数无关的非凸收敛速率,并通过大量实验验证了其有效性。
2024-05-31 cs.LG
DeEPCA: Decentralized Exact PCA with Linear Convergence Rate
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hong Kong University of Science and Technology(香港科技大学)
由于智能代理的快速增长,如弱连接的计算节点和传感器,开发分散的算法,可以执行本地代理的计算成为一个主要的研究方向。本文考虑了分散主成分分析(PCA)的问题,这是一种广泛用于数据分析的统计方法。我们引入了一种称为子空间跟踪的技术,以减少通信成本,并将其应用到电源迭代。这导致了一个分散的PCA算法称为\texttt{DeEPCA},它具有类似的集中式PCA的收敛速度,同时实现了最好的通信复杂性在现有的分散PCA算法。\texttt{DeEPCA}是第一个分散PCA算法,每个幂迭代的通信轮数与目标精度无关。与现有的算法相比,该方法更容易在实践中调整,与改善的整体通信成本。我们的实验验证了\texttt{DeEPCA}经验的优势。
2021-02-08 cs.LG math.OC
Decentralized Parameter-Free Online Learning with Compressed Gossip
Center for Pervasive Communications & Computing and EECS Department, University of California, Irvine(普及通信与计算中心和加州大学尔湾分校电子工程与计算机科学系)
提出DECO-EF算法,结合coin-betting预测与压缩差分八卦,实现去中心化在线凸优化中无参数自适应且压缩通信下的次线性网络遗憾。
2026-05-27 cs.LG eess.SP math.OC
PoQ-Judge: A Multi-Architecture Evaluation Framework for Cost-Aware Proof-of-Quality in Decentralized LLM Inference
DGrid AI
提出PoQ-Judge框架,训练专用裁判模型对查询-输出对进行无参考评分,研究三种架构,最佳模型在Pearson相关性上达到0.747,级联评估降低72.7%成本。
2026-06-11 cs.AI cs.CL cs.CR
Decentralized and Equitable Optimal Transport
National University of Singapore(新加坡国立大学);Rice University(莱斯大学)
本文研究去中心化最优传输(D-OT)问题,将其重构为约束耦合优化问题并提出复杂度为O(1/ε)的单循环去中心化算法;同时提出去中心化公平最优传输(DE-OT)问题,其算法复杂度同为O(1/ε),优于现有最佳集中式算法的O(1/ε^2)。
2024-03-12 cs.LG math.OC
Fully First-Order Methods for Decentralized Bilevel Optimization
The Hong Kong University of Science and Technology(香港科技大学);University of California Davis(加州大学戴维斯分校);Rice University(莱斯大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种分布式双层优化的完全一阶方法,通过一阶 oracle 实现高效收敛,样本复杂度与单智能体最优结果匹配,并验证了算法的通信和训练效率。
2025-03-10 cs.LG math.OC
Meta-Learning for Speeding Up Large Model Inference in Decentralized Environments
Nesa Research(Nesa研究机构)
针对去中心化环境中大模型推理加速方案选择困难的问题,提出基于元学习的自动化框架,通过学习历史性能数据根据任务特征匹配最优加速策略,显著提升了系统效率与性能。
2025-08-08 cs.AI cs.LG
VALID: a Validated Algorithm for Learning in Decentralized Networks with Possible Adversarial Presence
Arizona State University(亚利桑那州立大学);New Jersey Institute of Technology(新泽西理工学院);University of Wisconsin-Eau Claire(威斯康星大学欧克莱尔分校)
提出 VALID 去中心化学习协议,在无对抗时保持 O(1/T) 最优收敛,在有对抗时实现可接受共识或检测对抗。
2024-05-12 cs.IT cs.LG math.IT
Meta-Learning for Speeding Up Large Model Inference in Decentralized Environments
Nesa Research(内萨研究所)
针对去中心化大模型部署中推理加速方法选择难的问题,提出基于元学习的框架,通过学习历史性能数据自动匹配任务最优加速策略,效率与性能均优于传统方法。
2024-10-28 cs.AI cs.DC cs.LG