Accelerated Multi-Agent Optimization Method over Stochastic Networks
提出了一种分布式方法来求解具有强凸费用函数和等式耦合约束的多智能体最优化问题。该方法是基于Nesterov的加速梯度法和工程随机时变通信网络。我们考虑Nesterov方法的标准假设,并证明了期望对偶值序列以$\mathcal{O}(1/k^2)$的速率收敛到最优值。此外,我们提供了一个仿真研究解决最优潮流问题与一个著名的基准情况。
2020-12-16 cs.MA math.OC
Learning to Seek: Multi-Agent Online Source Seeking Against Non-Stochastic Disturbances
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Purdue University(普渡大学)
针对未知动态且受两类非随机扰动的环境下多智能体协同寻源问题,提出结合折扣卡尔曼滤波与多面体置信界的算法,实现次线性遗憾值,在污染监测场景验证了有效性。
2023-04-29 cs.LG cs.MA cs.SY
An Approach to Stochastic Dynamic Games with Asymmetric Information and Hidden Actions
在离散时间中,我们考虑一类具有以下特征的非对称信息序列随机动态博弈。底层系统具有由智能体的联合行动控制的马尔可夫动力学。每个代理的瞬时效用取决于当前系统状态和代理的联合行动。在每个时刻,每个代理对当前系统状态和代理在前一时刻的动作进行私人噪声观察。此外,在每个时刻,所有代理都对当前系统状态及其在前一时刻的动作进行共同的噪声观测。每个特工的行动都是他私人信息的一部分。我们的目标是确定贝叶斯纳什均衡(BNE)的战略配置文件的基础上压缩版本的代理人的信息,并可以按顺序计算,这样的BNE战略配置文件可能并不总是存在。我们提出了一种实现上述目标的方法/方法,以及具有上述特征的BNE策略配置文件存在的游戏实例。我们表明,该方法也适用于代理人没有共同的意见的情况。
2023-01-12 cs.GT cs.MA cs.SY
Decentralized Safe Multi-agent Stochastic Optimal Control using Deep FBSDEs and ADMM
Georgia Institute of Technology(佐治亚理工学院)
在这项工作中,我们提出了一种新的安全和可扩展的分散解决方案的多智能体控制中存在的随机干扰。安全是数学编码使用随机控制障碍函数和安全控制计算通过求解二次规划。分散化是通过增加每个代理的优化变量,复制变量,为它的邻居。这使我们能够解耦集中式多智能体优化问题。然而,为了确保安全,邻近的代理必须就“什么对我们双方都安全”达成一致,这就需要达成共识。为了实现安全的共识解决方案,我们采用了基于ADMM的方法。具体来说,我们提出了一个合并的CADMM-OSQP隐式神经网络层,解决了一个小批量的两个,局部二次规划以及整体的共识问题,作为一个单一的优化问题。该层在每个时间步嵌入到深度FBSDEs网络架构中,以促进端到端可微分、安全和分散的随机最优控制。在几个具有挑战性的多机器人任务的模拟所提出的方法的有效性。通过对避碰约束所指定的安全性施加要求,在整个训练过程中确保所有代理的安全操作。我们还展示了优越的可扩展性方面的计算和内存节省相比,一个集中的方法。
2022-06-07 cs.LG cs.MA cs.RO
Herding stochastic autonomous agents via local control rules and online global target selection strategies
在本文中,我们提出了一个简单而有效的本地控制规则集,使一组“牧人代理”收集和包含在一个所需的区域的非合作随机“目标代理”在平面上的合奏。我们研究了所提出的策略的鲁棒性变化的目标代理的数量和排斥力的强度,他们觉得当在附近的牧民。大量的数值模拟证实了该方法的有效性,并通过ROS对商用机器人代理进行了更现实的验证。
2021-04-07 cs.MA
Attention-Based Recurrence for Multi-Agent Reinforcement Learning under Stochastic Partial Observability
针对随机部分可观测性下多智能体强化学习,提出基于注意力的递归嵌入(AERIAL)方法,并构建更通用的MessySMAC基准,实验验证其优于基于状态的CTDE。
2023-12-28 cs.MA
A Multi-Agent Prediction Market based on Partially Observable Stochastic Game
我们提出了一种新的,博弈论表示的多代理预测市场使用部分可观察的随机博弈信息(POSGI)。然后,我们描述了一个相关的平衡(CE)为基础的解决方案策略,使每个代理动态计算的价格,它应该在预测市场上交易的证券。我们已经扩展了我们的研究结果,风险厌恶的交易者,并表明,帕累托最优相关均衡策略可以用来激励真实的启示,从风险厌恶的代理。仿真结果比较我们的CE策略与其他五种常用的策略在类似的市场,风险中性和风险厌恶的代理,表明CE策略提高了价格预测,并提供了更高的实用程序的代理相比,其他现有的策略。
2012-03-27 cs.MA
Strategic Abilities of Forgetful Agents in Stochastic Environments
本文研究了不完美信息下策略逻辑ATL和ATL*的概率变体,在随机转移模型中限制智能体使用无记忆策略,得出了新的可判定性和复杂性结果。
2023-10-26 cs.MA
A Parallel Stochastic Approximation Method for Nonconvex Multi-Agent Optimization Problems
考虑最小化由随机(向量)变量参数化的(可能非凸的)成本函数的期望值的问题,当期望不能被准确地计算时(例如,因为随机变量的统计量是未知的和/或计算复杂性过高)。经典的样本随机梯度方法解决这个问题可能会受到经验缓慢收敛。在本文中,我们首次提出了一个随机并行连续凸近似为基础的(最佳响应)算法框架一般非凸随机效用和优化问题,自然出现在多智能体系统的设计。建议的新的分解,使所有用户能够更新他们的优化变量并行解决一系列的强凸子问题,每个用户一个。证明了几乎处处收敛于平稳点。然后,我们定制我们的算法框架,以解决随机和速率最大化问题单输入单输出(SISO)频率选择性干扰信道,多输入多输出(MIMO)干扰信道,MIMO多址接入信道。数值结果表明,我们的算法比最先进的随机梯度格式快得多,同时实现相同(或更好)的和率。
2014-10-21 cs.MA math.OC
Success and Failure of Adaptation-Diffusion Algorithms for Consensus in Multi-Agent Networks
LTCI, Télécom ParisTech & CNRS(电信巴黎学院与法国国家科学研究中心联合通信与电子学实验室)
本文研究了多智能体系统中的分布式随机逼近问题,分析了非双随机矩阵对算法极限点的影响,并证明双随机协议在渐近性能上与集中算法相当。
2014-10-25 cs.MA cs.NA cs.SY
STEMFold: Stochastic Temporal Manifold for Multi-Agent Interactions in the Presence of Hidden Agents
本文提出基于时空注意力的生成模型 STEMFold,通过随机流形在不完全观测且交互拓扑未知的条件下预测多智能体系统隐藏动力学,并在仿真与真实数据上验证其优于现有方法。
2024-04-02 cs.MA
An Agent-Centric Dynamical Systems Perspective on Multi-Agent Reinforcement Learning
提出将多智能体强化学习训练建模为耦合随机动力系统,利用动力系统理论分析智能体行为的稳定性和敏感性,以应对随机性挑战。
2026-07-20 cs.MA
Model-Based Stochastic Search for Large Scale Optimization of Multi-Agent UAV Swarms
强化学习社区最近的工作表明,演化策略是其他强化学习方法的快速和可扩展的替代方案。在本文中,我们表明,演化策略是一个特殊的情况下,基于模型的随机搜索方法。这类算法具有良好的渐近收敛性和已知的收敛速度。我们展示了如何使用这些方法来解决合作和竞争的多智能体问题,在一个有效的方式。我们证明了这种方法在两个复杂的多智能体无人机群作战场景的有效性:一队固定翼飞机必须攻击一个防御良好的基地,两队代理人去头对头击败对方。
2018-08-11 cs.MA
Social Laws for Multi-agent Coordination in Stochastic Environments
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Technion Israel Institute of Technology(以色列理工学院)
本文提出随机环境下多智能体社会法则的形式化框架,引入α-稳健性度量,并通过化简为马尔可夫决策过程进行验证,在玩具环境中展示其潜力。
2026-09-17 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning in Stochastic Networked Systems
Caltech(加州理工学院);Tsinghua University(清华大学)
我们研究了随机网络中的多智能体强化学习。我们的目标是找到本地化的政策,最大限度地提高(折扣)的全球回报。一般来说,可扩展性在这种设置中是一个挑战,因为全局状态/动作空间的大小可以是代理数量的指数。可扩展算法仅在依赖关系是静态的、固定的和局部的情况下是已知的,例如,在一个固定的、时不变的底层图中的邻居之间。在这项工作中,我们提出了一个可扩展的Actor Critic框架,该框架适用于依赖关系可以是非本地和随机的设置,并提供了一个有限时间的误差界,显示收敛速度如何取决于网络中信息传播的速度。此外,作为我们的分析的副产品,我们获得了新的有限时间收敛结果的一般随机逼近方案和时间差学习状态聚合,适用于网络系统中的MARL设置之外。
2021-11-02 cs.LG cs.MA stat.ML
Continuous On-line Evolution of Agent Behaviours with Cartesian Genetic Programming
演化计算已成功地用于合成控制器的体现代理和多智能体系统一般。尽管如此,连续在线适应进化算法的手段仍然是探索不足,特别是在进化机器人领域之外。在本文中,我们提出了一个在线进化规划算法,搜索在代理设计空间的适当的行为政策,以应付底层环境。我们讨论了目前的问题,连续代理适应,提出了我们的在线进化模拟的进化测试床。
2014-07-02 cs.MA cs.NE
Fast Multi-Agent Temporal-Difference Learning via Homotopy Stochastic Primal-Dual Optimization
University of Southern California(南加州大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
我们研究了多智能体强化学习中的策略评估问题,其中一组智能体具有联合观察的状态和私有的本地动作和奖励,通过连接的无向网络上的本地计算和通信来协作学习给定策略的值函数。这个问题出现在各种大规模的多智能体系统,包括电网,智能交通系统,无线传感器网络和多智能体机器人。当状态-动作空间维数较大时,采用线性函数逼近的时间差分学习方法得到了广泛的应用。在本文中,我们开发了一种新的分布式时间差学习算法,并量化其有限时间性能。我们的算法结合了分布式随机原始对偶方法与同伦为基础的方法,以适应性地调整学习率,以尽量减少均方投影贝尔曼误差从一个因果的政策轨迹采取新鲜的在线样本。我们明确地考虑到马尔可夫性质的采样和改善最著名的有限时间误差界从$O(1/\sqrt{T})$到~ $O(1/T)$,其中$T$是迭代的总次数。
2021-11-04 cs.LG cs.MA math.OC
Performance Limits of Stochastic Sub-Gradient Learning, Part II: Multi-Agent Case
第一部分中的分析揭示了当存在梯度噪声时,在随机最优化的上下文中次梯度学习算法的有趣性质。当风险函数是非光滑的并且涉及不可微的分量时,使用这些算法。长期以来,它们被认为是缓慢收敛的方法。然而,在第一部分中揭示了对于随机最优化问题,收敛速率变为线性,对于某些$α\in (0,1)$和小步长$μ$,误差以指数速度$α^i$收敛到优化器的$O(μ)-$邻域内。结论是建立在较弱的假设比以前的文献,而且,几个重要的问题(如LASSO,SVM,和全变差)被证明满足这些较弱的假设自动(但不是以前使用的条件,从文献)。这些结果表明,次梯度学习方法在用于实现连续适应和学习时具有比最初想象的更有利的行为。第I部分的结果仅限于单药适应。目前的第二部分的目的是研究这些发现的影响时,收集的网络代理采用次梯度学习作为他们的合作机制。分析将表明,尽管在网络化的情况下出现的耦合动态,代理仍然能够达到线性收敛的随机情况下,他们也能够达成协议的优化器内的$O(μ)$。
2017-04-20 cs.MA math.OC stat.ML
STT-CBS: A Conflict-Based Search Algorithm for Multi-Agent Path Finding with Stochastic Travel Times
Stanford University(斯坦福大学);Cruise Automation
我们提出了一个算法,找到最佳路径的多个随机代理在一个图中到达他们的目的地与用户指定的最大成对碰撞概率。我们的算法,称为STT-CBS,使用基于搜索(CBS)与随机旅行时间(STT)模型的代理。我们沿着图的每个边缘的独立的伽马分布的随机变量模型的机器人旅行时间,并提出概率碰撞识别和约束创建方法来鲁棒地处理旅行时间的不确定性。我们表明,在合理的假设下,我们的算法是最佳的旅行时间的预期总和,同时确保每个成对冲突概率的上限。仿真和硬件实验表明,STT-CBS能够显着降低冲突概率CBS,而保持在相同的复杂度类。
2021-08-31 cs.MA cs.RO
DelAC: A Multi-agent Reinforcement Learning of Team-Symmetric Stochastic Games
National Tsing Hua University(国立清华大学);MediaTek Inc.(联发科)
本文研究了具有m≥2个团队的团队对称博弈,证明了团队对称博弈总是存在团队对称纳什均衡,并提出了一种基于actor-critic的多智能体强化学习算法,通过模拟展示其优于现有算法。
2026-05-11 cs.GT cs.MA
Stochastic Multiplicative Weights Updates in Zero-Sum Games
我们研究代理相互竞争的重复网络零和博弈,同时应用乘法权重更新(MWU)算法与固定的学习率。在我们的实现中,代理在每次迭代中概率性地选择它们的策略,并使用所有策略的已实现向量收益来更新它们的权重/策略,即,完全信息随机MWU。我们发现,该系统的结果在一个不可约的马尔可夫链代理策略偏离纳什均衡集。此外,我们表明,代理将发挥纯策略的概率为1的限制。
2021-10-05 cs.GT cs.MA
Reputation-driven Decision-making in Networks of Stochastic Agents
Katholieke Universiteit Leuven(天主教鲁汶大学)
本文研究的多智能体系统,涉及网络的自利代理。我们提出了一个马尔可夫决策过程衍生的框架,称为RepNet-MDP,量身定制的域中,代理商的声誉是一个关键的驱动程序之间的互动代理。基本原理基于RepNet-POMDP的原则,RepNet-POMDP是Rens等人在2018年开发的框架,但解决了其数学不一致性,并通过仅考虑完全可观察的环境来解决其棘手性。此外,我们使用一个在线学习算法,找到近似的解决方案RepNet-MDP。在一系列的实验中,RepNet代理被证明能够使自己的行为适应网络中剩余代理的过去行为和可靠性。最后,我们的工作确定了框架在其目前的制定,防止其代理人学习的情况下,他们不是一个主要演员的限制。
2020-10-20 cs.AI cs.MA cs.SI
Entropy Enhanced Multi-Agent Coordination Based on Hierarchical Graph Learning for Continuous Action Space
在大规模多智能体协调的大多数现有研究中,控制方法的目的是学习离散的政策,有限的选择代理。它们很少考虑直接从连续动作空间中选择动作来提供更精确的控制,这使得它们不适合更复杂的任务。为了解决大规模多智能体系统的控制问题,连续的动作空间,我们提出了一种新的MARL协调控制方法,得到稳定的连续政策。通过最大熵学习优化策略,智能体在执行过程中提高了探索能力,并在训练后获得了优异的性能。我们还采用分层图注意力网络(HGAT)和门控递归单元(GRU),以提高我们的方法的可扩展性和可移植性。实验表明,我们的方法一致优于所有基线在大规模的多智能体合作侦察任务。
2022-08-23 cs.MA
Collaborative Multi-agent Stochastic Linear Bandits
University of California, Santa Barbara(加州大学圣巴巴拉分校);Google Research(谷歌研究院)
我们研究了一个合作的多代理随机线性土匪设置,其中$N$代理,形成一个网络在本地进行通信,以尽量减少他们的整体遗憾。在这种情况下,每个代理都有自己的线性强盗问题(自己的奖励参数),目标是选择最佳的全局行动w.r.t.奖励参数的平均值。在每一轮中,每个智能体提出一个动作,并随机选择一个动作作为网络动作。所有的代理观察相应的奖励的播放动作,并使用加速共识程序来计算的平均奖励的估计获得的所有代理。我们提出了一个分布式置信上限(UCB)算法,并证明了高概率界上的$T$轮遗憾,其中我们包括一个线性增长的遗憾与每个通信轮。我们的遗憾界是$\mathcal{O}\Big(\sqrt{\frac{T}{N \log(1/|λ_2|)}}\cdot (\log T)^2\Big)$阶的,其中$λ_2$是通信矩阵的第二大(绝对值)特征值。
2022-05-12 cs.LG cs.MA
Combining Diverse Information for Coordinated Action: Stochastic Bandit Algorithms for Heterogeneous Agents
Harvard University(哈佛大学)
本文针对异质敏感度智能体的随机多臂老虎机问题,提出UCB风格算法Min-Width,通过加权聚合不同智能体-臂对的奖励并协调分配,实现高效协作并分析其遗憾。
2024-08-06 cs.AI cs.LG cs.MA
Constant-Memory Strategies in Stochastic Games: Best Responses and Equilibria
The Hong Kong University of Science and Technology(香港科技大学)
本研究系统探讨随机博弈中的常数记忆策略,建立最佳响应与纳什均衡的理论结果,并验证于多个序贯决策基准,揭示单智能体与多智能体决策模型的联系。
2025-10-15 cs.GT cs.MA
Resource-Driven Mission-Phasing Techniques for Constrained Agents in Stochastic Environments
University of Michigan(密歇根大学)
由于代理资源决定了它可能采取的行动,因此它应该仔细计划它在一段时间内拥有哪些资源,考虑其固有的限制(例如功率或有效载荷限制),其他代理对相同资源的竞争需求以及环境的随机性。一般来说,如果这些代理人能够利用甚至创造机会来改变他们在不同时间拥有的资源,他们就可以实现更多的目标。在资源约束的驱动下,智能体可以将其整体任务分解为一系列最优阶段,在每个阶段最优地重新配置其资源,并在每个阶段最优地使用其分配的资源,给定其随机环境的知识。在本文中,我们正式定义和分析这一约束,顺序优化问题的单代理和多代理上下文中。我们提出了一个家庭的混合整数线性规划(MILP)配方的这个问题,可以最佳地创建阶段(当阶段没有预定义)会计阶段创建的成本和限制。因为我们的公式multimedia也找到了在每个阶段的资源的最佳分配和在每个阶段使用分配的资源的最佳策略,他们利用这些耦合问题的结构。这使他们能够找到解决方案显着更快(在较大的问题更快的数量级)比其他解决方案的技术,我们证明经验。
2014-01-16 cs.AI cs.MA
Comparing Stochastic Differential Equations and Agent-Based Modelling and Simulation for Early-stage Cancer
关于使用基于代理的建模和模拟作为另一种范式来研究早期癌症与免疫系统的相互作用,有很大的潜力有待探索。它不受常微分方程模型的一些限制,如缺乏随机性,代表个人行为而不是总量和个人记忆。在本文中,我们调查的潜在贡献基于代理的建模和模拟时,与随机版本的ODE模型,使用早期癌症的例子。我们寻求以下问题的答案:(1)这种新的随机制定产生类似的结果,以代理为基础的版本?(2)这些方法可以互换使用吗?(3)与Gillespie的结果相比,基于代理人的模型结果是否显示出任何好处?为了回答这些研究问题,我们研究了三个完善的数学模型,描述肿瘤细胞和免疫元素之间的相互作用。这些案例研究重新概念化的代理人为基础的角度来看,也转换为Gillespie算法制定。因此,我们对这项工作的兴趣是建立一个关于不同模拟方法可用性的方法论讨论,而不是提供进一步的生物学见解调查的案例研究。我们的研究结果表明,它是可能的,以获得等价的模型,实现相同的机制,然而,Gillespie算法的无能,以保留个人的记忆,过去的事件影响了一些结果的相似性。此外,ABMS的涌现行为在系统中产生了额外的行为模式,这是吉莱斯皮算法无法获得的。
2014-09-02 cs.CE cs.MA
Doubly Stochastic Pairwise Interactions for Agreement and Alignment
随机成对相遇通常发生在大的群体或移动代理组中,并且在相遇时发生的各种类型的局部相互作用解释了新兴的全球现象。特别是,在群体机器人,社会生物学和社会动力学领域,提出并分析了几种类型的本地成对的相互作用,导致空间聚集或集群和协议的机器人代理协调运动的团队,在动物群,或在人类社会。在这里,我们提出了一个非常简单的随机相互作用,在遇到,导致协议或几何对齐成群的简单代理,并分析收敛到共识的过程。考虑一组智能体,它们的“状态”通过成对交互随时间演变:智能体的状态要么是实值(区间内随机初始化的位置),要么是不受约束的向量(例如智能体在平面中的位置),要么被约束为具有单位长度(例如智能体运动的方向)。的相互作用是双重随机的,在这个意义上,在离散的时间步长,对代理随机选择和他们的新的状态是独立和均匀地随机设置在(本地)域或区间定义的相互作用对的状态。我们表明,这样的过程导致,在有限的预期时间(测量发生的相互作用的数量)的情况下,无约束的状态和对齐时的状态是单位向量的协议。
2021-03-15 cs.MA
Multiagent Stochastic Shortest Path Problem
Faculty of Informatics, Masaryk University(马萨里克大学信息学院)
研究多智能体随机最短路径问题,旨在最小化任意智能体到达目标状态的期望时间,设计高效策略合成算法并进行实验验证。
2026-05-07 cs.MA
Neural Stochastic Agent-Based Limit Order Book Simulation: A Hybrid Methodology
现代金融交易所使用电子限价订单簿(LOB)来存储特定金融资产的买入和卖出订单。作为描述资产需求和供应的最细粒度信息,LOB数据对于了解市场动态至关重要。因此,现实的LOB模拟提供了一个有价值的方法来解释市场的经验性质。主流的仿真模型包括基于主体的模型(ABM)和随机模型(SM)。然而,ABM往往不基于真实的历史数据,而SM往往不支持动态代理交互。为了克服这些限制,我们提出了一种新的混合LOB模拟范式,其特征在于:(1)通过神经点过程模型对历史LOB数据进行预训练的神经随机背景交易者表示市场事件逻辑的聚合;以及(2)将背景交易者嵌入到与其他交易代理的多代理模拟中。我们实例化这个混合NS-ABM模型使用ABIDES平台。我们首先孤立地运行后台交易员,并表明模拟的LOB可以重新创建一个全面的风格化事实列表,展示现实的市场行为。然后,我们介绍了人口的“趋势”和“价值”的交易代理,与后台交易者互动。我们表明,风格化的事实仍然存在,我们证明了订单流的影响和金融羊群行为,根据实际市场的经验观察。
2023-02-28 cs.CE cs.MA cs.NE
Towards Assume-Guarantee Verification of Abilities in Stochastic Multi-Agent Systems
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所);Faculty of Mathematics and Computer Science, Nicolaus Copernicus University(尼古拉·哥白尼大学数学与计算机科学学院)
针对随机多智能体系统中策略能力模型检测的难题,本文提出带不完美信息的概率交替时间时序逻辑的假设-保证验证方案,证明其可靠性并讨论完备性,还提出捕获“最多达成φ”的非概率交替时间逻辑新变体。
2025-10-28 cs.LO cs.MA
Multi-agent Path Finding in Continuous Environment
Faculty of Information Technology Czech Technical University in Prague Prague, Czech Republic
针对连续环境下智能体沿平滑曲线移动的多智能体路径规划变体问题,提出结合高层CBS框架与低层RRT*的CE-CBS算法,实验证明其性能与连续时间MAPF等同类算法相当。
2024-09-16 cs.AI cs.MA
Risk-Sensitive Bayesian Games for Multi-Agent Reinforcement Learning under Policy Uncertainty
Zenseact AB(Zenseact公司);University of Oslo(奥斯陆大学)
在不完全信息的随机博弈中,不确定性是由于缺乏对参与者自身和其他参与者类型(即效用函数和策略空间)的了解,以及不同参与者之间相互作用的内在随机性引起的。在现有的文献中,随机博弈中的风险已被研究的内在不确定性引起的变化的过渡和行动。在这项工作中,我们重点关注与\textit{uncertainty over types}相关的风险。我们将此与多智能体强化学习框架进行对比,在该框架中,其他智能体具有固定的静态策略,并由于其他智能体的自适应策略的不确定性而调查风险敏感性。我们提出了风险敏感版本的现有算法提出的风险中性的随机游戏,如迭代最佳响应(IBR),虚拟播放(FP)和一般的多目标梯度方法,使用双上升(DAPG)。我们的实验分析表明,风险敏感的DAPG比竞争算法的社会福利和一般和随机游戏。
2022-03-18 cs.LG cs.MA
Multi-Agent Continuous Transportation with Online Balanced Partitioning
National University of Singapore(新加坡国立大学)
我们将连续运输任务的概念引入到多智能体系统中。一个连续的运输任务是一个多智能体团队访问一些固定的位置,拿起物体,并将它们送到最终目的地。我们的目标是最大限度地提高运输速度,同时随着时间的推移补充对象。需要连续运输的问题的例子是觅食,区域清扫和第一/最后一英里问题。以前的方法通常忽略了干扰,并且高度依赖于代理之间的通信。有些还包括一个额外的侦察代理收集信息。在本文中,我们提出了一种混合的集中式和分布式的方法,最大限度地减少干扰和通信的多智能体团队,而不需要一个侦察代理。我们贡献了两个分区运输算法的启发,现有的算法,并贡献了一个新的在线分区运输算法与信息收集的多智能体团队。我们的算法已被实施和广泛的模拟测试。本文中提出的结果表明,我们的算法优于现有的算法的有效性,即使没有任何代理之间的通信,没有侦察代理的存在。
2016-07-28 cs.AI cs.MA cs.RO
Finite-Sample Analysis of Decentralized Q-Learning for Stochastic Games
The University of Chicago Booth School of Business(芝加哥大学布斯商学院);Boston University(波士顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
随机博弈中的学习可以说是多智能体强化学习(MARL)中最标准和最基本的设置。在本文中,我们考虑分散MARL在随机博弈中的非渐近制度。特别是,我们建立了有限样本的复杂性,完全分散的Q-学习算法在一个显着的类一般和随机游戏(SGs)-弱非循环的SGs,其中包括共同合作的MARL设置与相同的奖励,所有代理(马尔可夫团队问题)作为一个特例。我们专注于实际而具有挑战性的完全分散的MARL设置,其中每个代理都不能观察到其他代理的奖励和行动。事实上,每个智能体完全不知道其他决策者的存在。表格和线性函数逼近的情况下被认为是。在表格设置中,我们分析了分散Q-学习算法收敛到马尔可夫完美均衡(纳什均衡)的样本复杂度。与线性函数近似,结果是收敛到一个线性近似平衡-一个新的概念,我们提出的平衡-它描述了每个代理的政策是一个最好的答复(其他代理)在线性空间。数值实验也提供了这两种设置来证明结果。
2021-12-16 cs.GT cs.LG cs.MA
Stochastic Market Games
LMU Munich(慕尼黑大学);Technische Hochschule Ingolstadt(英戈尔施塔特应用技术大学)
多智能体系统的一些最相关的未来应用,如自动驾驶或工厂即服务,显示混合动机的场景,其中智能体可能有相互冲突的目标。在这些环境中,代理很可能在独立学习下的合作方面学习到不期望的结果,例如过度贪婪的行为。从现实世界的社会,在这项工作中,我们建议利用市场力量提供激励代理成为合作。正如囚徒困境的迭代版本中所展示的那样,拟议的市场制定可以改变游戏的动态,以不断学习合作政策。此外,我们评估我们的方法在空间和时间上扩展设置不同数量的代理。我们的实证研究发现,市场的存在可以提高整体的结果和代理人的个人收益,通过他们的交易活动。
2022-07-19 cs.AI cs.MA
Vairiational Stochastic Games
The Institute of Automation of the Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出面向去中心化多智能体一般和随机博弈的变分推断框架,证明策略构成ε-纳什均衡并具备收敛保证,用于求解纳什、平均场纳什及相关均衡。
2025-03-08 cs.AI cs.MA
Regret Lower Bounds for Decentralized Multi-Agent Stochastic Shortest Path Problems
Department of Mechanical Engineering(机械工程系);Indian Institute of Technology Bombay(孟买印度理工学院);School of Computer Science(计算机科学学院);University of Petroleum and Energy Studies(石油与能源研究大学);Industrial Engineering and Operations Research(工业工程与运筹学)
本文研究了去中心化多智能体随机最短路径问题,通过线性函数逼近提出首个遗憾下界,揭示了该问题的学习难度。
2025-12-13 cs.LG cs.MA
Deep Multi-Agent Reinforcement Learning with Discrete-Continuous Hybrid Action Spaces
Tianjin University(天津大学);Fuxi AI Lab in Netease(网易伏羲人工智能实验室)
深度强化学习(Deep Reinforcement Learning,DRL)已被应用于解决具有离散动作空间或连续动作空间的各种协作多智能体问题。然而,据我们所知,没有以前的工作已经成功地应用DRL多智能体问题的离散连续混合(或参数化)的行动空间,这是非常常见的实践。我们的工作填补了这一空白,提出了两个新的算法:深度多智能体参数化Q网络(深度MAPQN)和深度多智能体层次混合Q网络(深度MAHHQN)。我们遵循集中式训练但分散式执行的范式:不同代理之间的不同级别的通信用于促进训练过程,而每个代理在执行过程中根据本地观察独立执行其策略。我们对几个具有挑战性的任务(模拟RoboCup足球和游戏Ghost Story)的实证结果表明,Deep MAPQN和Deep MAHHQN都是有效的,并且显著优于现有的独立深度参数化Q学习方法。
2019-03-12 cs.AI cs.LG cs.MA