Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.(西门子技术服务私人有限公司);International Institute of Information Technology Hyderabad(海得拉巴国际信息技术学院);Indian Institute of Science Bengaluru(班加罗尔印度科学研究所)
我们使用异步优势演员评论(A3 C)实现一个人工智能智能体的控制器,优化交通流量在一个单一的交叉口,然后将其扩展到多个交叉口,考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-(1)使用A3 C的异步属性,使用单个智能体控制多个交叉口(2)利用多个交叉口的独立智能体之间的自我/竞争游戏(3)在智能体之间摄取全局奖励函数,以引入交叉口之间的合作行为。我们观察到,(1)和(2)导致交通拥堵减少。此外,(3)与(1)和(2)的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
Learning in Congestion Games with Bandit Feedback
在本文中,我们研究了纳什遗憾最小化拥塞游戏,一类游戏的良性的理论结构和广泛的现实世界中的应用。首先,我们提出了一个集中式算法的基础上的乐观面对不确定性原则的拥塞游戏(半)强盗反馈,并获得有限样本保证。然后,我们提出了一个分散的算法,通过一个新的组合的Frank-Wolfe方法和G-最优设计。通过利用拥塞游戏的结构,我们表明,这两种算法的样本复杂度只取决于多项式的球员的数量和设施的数量,但不是行动集的大小,这可以是指数级大的设施的数量。我们进一步定义了一个新的问题类,马尔可夫拥塞游戏,这使我们能够模拟拥塞游戏中的非平稳性。我们提出了一个集中式算法的马尔可夫拥塞游戏,其样本的复杂性再次只有多项式依赖于所有相关的问题参数,但不是行动集的大小。
2023-01-20 cs.GT cs.LG cs.MA
Offline congestion games: How feedback type affects data coverage requirement
本文首次研究离线拥塞博弈中近似纳什均衡的恢复问题,针对设施级、智能体级、博弈级三种反馈类型,提出对应数据覆盖条件与算法,证明不同反馈类型存在形式化差异。
2024-10-04 cs.GT cs.LG cs.MA
A Deep Reinforcement Learning Framework for Optimizing Congestion Control in Data Centers
Huawei Technologies Canada(华为技术加拿大公司);University of Toronto(多伦多大学)
针对数据中心在线学习拥塞控制难以收敛的问题,利用多智能体强化学习设计动态调参系统,基于网络与流量状态优化吞吐量和延迟,实验表明其能缓解静态参数问题。
2023-01-29 cs.LG cs.NI
Leveraging the Capabilities of Connected and Autonomous Vehicles and Multi-Agent Reinforcement Learning to Mitigate Highway Bottleneck Congestion
Purdue University(普渡大学);Lyles School of Civil Engineering(莱尔土木工程学院);Center for Connected and Automated Transportation (CCAT)(连通与自动化交通中心(CCAT));Carnegie Mellon University(卡内基梅隆大学);Robotics Institute(机器人研究所)
主动流量管理策略通常被实时采用以解决这种突发流量故障。当即将排队时,可以应用速度协调(SH),其调整上游流量的速度以减轻下游流量冲击波。然而,由于SH依赖于驾驶员的意识和遵守,它可能并不总是有效地缓解拥堵。使用多智能体强化学习进行协作学习,是一个很有前途的解决方案,这一挑战。通过将该技术结合到联网和自动驾驶车辆(CAV)的控制算法中,可以训练CAV来做出联合决策,该联合决策可以在没有人类驾驶员遵守改变的速度限制的情况下缓解高速公路瓶颈拥堵。在这方面,我们提出了一个基于RL的多智能体CAV控制模型在混合交通(CAV和人类驾驶的车辆(HDVs))。研究结果表明,即使在CAV的百分比份额走廊交通低至10%,CAV可以显着缓解公路交通的瓶颈。另一个目标是评估基于RL的控制器相对于基于规则的控制器的功效。在实现这一目标时,我们充分认识到,基于RL的CAV控制器的主要挑战之一是现实世界中存在的输入的多样性和复杂性,例如由其他连接实体提供给CAV的信息和感测信息。这些转换为难以处理和学习的动态长度输入。出于这个原因,我们建议使用图形卷积网络(GCN),一种特定的RL技术,以保留信息网络拓扑结构和相应的动态长度输入。然后,我们使用这个,结合深度确定性策略梯度(DDPG),进行多代理训练,使用CAV控制器缓解拥塞。
2020-10-12 cs.LG cs.SY eess.SY
Energy-based Surprise Minimization for Multi-Agent Value Factorization
University of Toronto(多伦多大学);Center for Management of Technology & Entrepreneurship(技术管理与创业中心);RBC Capital Markets(加拿大皇家银行资本市场)
多智能体强化学习(MARL)通过利用价值因子分解方法,在以集中的方式训练分散的策略方面取得了显著的成功。然而,解决跨虚假状态和近似偏差的惊喜仍然是多智能体设置的开放问题。为了实现这一目标,我们引入了基于能量的混合器(EMIX),一种利用跨代理的能量最大限度地减少惊喜的算法。我们的贡献有三方面:(1)EMIX在多智能体部分可观察设置的情况下引入了一种新的跨多智能体的惊喜最小化技术。(2)EMIX强调了MARL中能量函数的实际应用,并对能量算子进行了理论保证和实验验证。最后,(3)EMIX扩展了Maxmin Q-学习,以解决MARL中跨代理的高估偏差。在一项具有挑战性的星际争霸II微观管理场景研究中,EMIX展示了多智能体惊喜最小化的稳定性能。此外,我们的消融研究强调了基于能量的方案的必要性和消除MARL高估偏倚的必要性。我们的EMIX实现可以在karush17.github.io/emix-web/上找到。
2021-01-18 cs.LG cs.MA stat.ML
Learning Individual Policies in Large Multi-agent Systems through Local Variance Minimization
Institute of High Performance Computing, Agency for Science, Technology and Research(高性能计算研究所,科技研究局);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
在具有大量代理的多代理系统中,通常每个代理对其他代理的价值的贡献是最小的(例如,聚合系统,例如Uber、Umboo)。在本文中,我们考虑这样的多智能体系统中,每个代理是自私的,并采取了一系列的决定,并表示为一个随机非原子拥塞游戏(SNCG)。我们得到了非原子和几乎非原子的SNCG模型平衡解的关键性质。有了这些关键的平衡属性,我们提供了一种新的多智能体强化学习(MARL)机制,最大限度地减少在同一状态下的代理值之间的差异。为了证明这种新机制的实用性,我们提供了一个真实世界的出租车数据集和聚合系统的通用模拟器的详细结果。我们表明,我们的方法减少了出租车司机收入的差异,同时仍然提供更高的联合收入比领先的方法。
2022-12-27 cs.AI cs.MA
Large-scale Regional Traffic Signal Control Based on Single-Agent Reinforcement Learning
本文提出基于单智能体强化学习的大规模区域交通信号控制模型,通过优化交通信号协调以缓解拥堵和减少行驶时间。
2026-01-12 cs.LG cs.SY eess.SY
Toward Dependency Dynamics in Multi-Agent Reinforcement Learning for Traffic Signal Control
University of Sussex(萨塞克斯大学);City University of Hong Kong(香港城市大学)
本文提出DQN-DPUS动态参数更新策略,根据智能体间依赖动态调整深度Q网络参数,在无溢出拥堵时仅更新对角子矩阵,加速收敛且不牺牲探索,实验验证其在交通信号控制中的有效性。
2025-02-23 cs.AI cs.MA
Deep Reinforcement Learning for Multi-Agent Coordination
本文提出一种基于信息素的多智能体深度强化学习框架,通过虚拟信息素模拟局部和社会交互,实现无通信的去中心化协调,解决狭窄环境中多机器人协作的挑战。
2025-10-04 cs.AI cs.LG cs.MA
Traffic Flow Optimisation for Lifelong Multi-Agent Path Finding
Monash University(莫纳什大学);Carnegie Mellon University(卡内基梅隆大学)
针对多智能体路径规划中智能体数量增多导致拥堵、性能下降的问题,提出避堵路径引导的新方法,在单次和终身MAPF场景下分别显著提升了解质量与整体吞吐量。
2024-01-31 cs.AI cs.MA cs.RO
MVFST-RL: An Asynchronous RL Framework for Congestion Control with Delayed Actions
Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院);University of Oxford(牛津大学);McGill University(麦吉尔大学);MILA(蒙特利尔学习算法研究所)
有效的网络拥塞控制策略是保持Internet(或任何大型计算机网络)正常运行的关键。几十年来,网络拥塞控制一直由手工设计的算法主导。最近,强化学习(RL)已经成为自动优化此类控制策略的替代方案。到目前为止,研究主要考虑RL接口,它在代理考虑下一步行动时阻止发送者。这在很大程度上是在为游戏中的RL设计的框架之上构建的工件(例如OpenAI Gym)。然而,这并不能转化为现实世界的网络环境,在现实世界中,网络发送方等待策略而不发送数据会导致带宽利用不足。相反,我们建议制定拥塞控制与异步RL代理处理延迟的行动。我们提出了MVFST-RL,这是一个用于QUIC传输协议中拥塞控制的可扩展框架,它利用了异步RL训练中的最新技术,并进行了策略外校正。我们分析建模改进,以减轻偏离马尔可夫动态,并评估我们的方法从万神殿基准平台上的仿真网络。源代码可在https://github.com/facebookresearch/mvfst-rl上公开获得。
2021-05-26 cs.DC cs.LG cs.NI
On Singleton Congestion Games with Resilience Against Collusion
TOBB University of Economics and Technology(TOBB经济与技术大学);Özyeğin University(厄兹耶因大学)
我们研究了具有相同和递增成本函数的单点拥塞博弈的子类,即,每个代理试图从其可访问的资源子集中最不拥挤的资源进行利用。我们的主要贡献是一种新的方法来证明存在的均衡结果,是弹性弱改善偏差:$(i)$单例(纳什均衡),$(ii)$的大联盟(帕累托效率),和$(iii)$联盟相对于一个先验给定的分区联盟结构(分区均衡)。据我们所知,这是最强的存在性保证在文学的拥塞游戏,是有弹性的弱改善偏差的联盟。
2020-11-03 cs.AI cs.GT
Single-agent Reinforcement Learning Model for Regional Adaptive Traffic Signal Control
本文提出一种基于单代理强化学习的区域自适应交通信号控制模型,利用探测车辆数据有效缓解区域拥堵。
2026-01-12 cs.AI cs.LG
Age Minimization in Massive IoT via UAV Swarm: A Multi-agent Reinforcement Learning Approach
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心(CWC))
针对无人机集群服务大规模物联网带来的高维决策问题,本文采用多智能体深度强化学习最小化全网信息年龄,并证明协作与部分协作方案优于集中式方法。
2023-09-26 cs.AI cs.LG
Batch-Augmented Multi-Agent Reinforcement Learning for Efficient Traffic Signal Optimization
National Taiwan University(国立台湾大学);Academia Sinica(中央研究院);Elan Corporation(Elan公司)
本文的目标是为交通信号控制问题提供一种可行的基于强化学习的解决方案。尽管最先进的强化学习方法在各种领域取得了巨大成功,但考虑到高样本效率的要求以及如何收集训练数据,直接将其应用于缓解交通拥堵可能具有挑战性。在这项工作中,我们解决了几个挑战,我们遇到的时候,我们试图减轻严重的交通拥堵发生在大都市地区。具体而言,我们需要提供一种解决方案,能够(1)在检索强化学习信息的某些监控摄像机停机时处理交通信号控制,(2)在没有交通模拟器的情况下从批量数据中学习,(3)在没有交叉路口共享信息的情况下做出控制决策。我们提出了一个两阶段的框架来处理上述情况。该框架可以被分解成一个演化策略的方法,给出了一个固定时间的交通信号控制时间表和多智能体的政策外强化学习,能够学习批量数据的援助,提出了三个组件,有界的行动,批量扩增,和代理奖励裁剪。我们的实验表明,所提出的框架减少了36%的交通拥堵的等待时间相比,目前使用的固定时间的交通信号灯计划。此外,该框架只需要对模拟器进行600次查询即可实现结果。
2020-05-19 cs.AI cs.LG stat.ML
Robust Single-Agent Reinforcement Learning for Regional Traffic Signal Control Under Demand Fluctuations
本文提出一种鲁棒的单智能体强化学习框架,用于应对交通需求波动的区域交通信号控制,通过集中决策和高效学习模型有效减少交通队列长度。
2026-01-12 cs.AI cs.LG
GraphCC: A Practical Graph Learning-based Approach to Congestion Control in Datacenters
Barcelona Neural Networking Center, Universitat Politècnica de Catalunya(加泰罗尼亚理工大学巴塞罗那神经网络中心);Telefonica Research(西班牙电信研究中心);Huawei Technologies Co., Ltd.(华为技术有限公司)
GraphCC提出一种结合多智能体强化学习与图神经网络的分布式框架,通过交换机间协作优化ECN配置,在多种数据中心场景下相比ACC基线显著降低流完成时间和缓冲区占用。
2023-08-09 cs.AI cs.LG cs.MA
Dynamic network congestion pricing based on deep reinforcement learning
the University of Tokyo(东京大学);Tokyo Institute of Technology(东京工业大学)
交通拥挤是城市地区的一个严重问题。动态拥挤收费是在战略范围内消除交通拥挤的有效措施之一。然而,在现实中,由于道路网络规模大、结构复杂,以及道路使用者行为的不确定性,最优的动态拥挤收费在理论上是很难或不可能确定的。为了应对这一挑战,这项工作提出了一种使用深度强化学习(DRL)的动态拥塞定价方法。它旨在通过利用深度强化学习的数据驱动性质,基于一般大规模道路网络中的可观察数据消除交通拥堵。所提出的方法的新颖元素之一是分布式和协作学习计划。具体来说,DRL是以时空分布的方式实现的,DRL代理之间的合作是通过我们称为空间共享奖励和时间切换学习的新技术建立的。它可以在大规模网络中实现快速和计算效率高的学习。使用Sioux Falls网络的数值实验表明,所提出的方法工作良好,由于新的学习计划。
2022-06-24 cs.LG cs.SY eess.SY
Dynamic multi-agent deep reinforcement learning-based pricing and incentivization approach in multimodal transportation networks
University of California, Berkeley(加州大学伯克利分校);Technical University of Denmark(丹麦技术大学)
提出多智能体深度强化学习框架,通过动态定价和激励策略协调公共交通与共享出行服务,平衡效率、公平与收益,实验表明可降低通勤成本20%、排放10%并提升公平性。
2026-06-23 cs.AI cs.LG math.OC
Scaling Lifelong Multi-Agent Path Finding to More Realistic Settings: Research Challenges and Opportunities
本文探讨了将终身多智能体路径寻找扩展到现实场景中的三个研究挑战及未来发展方向。
2024-04-24 cs.AI cs.MA
Communication-Efficient Collaborative Regret Minimization in Multi-Armed Bandits
Indiana University(印第安纳大学)
本文研究多智能体多臂老虎机中并行性与通信开销的权衡,首次提出通信轮数与协作学习遗憾之间的权衡关系。
2023-12-21 cs.LG
MA-HEAD-Net: Adaptive Rule-Guided Multi-Agent DRL for AoI Minimization in UAV-Assisted Emergency Networks
该研究针对异构应急服务的无人机辅助应急通信场景,提出MA-HEAD-Net框架,通过自适应规则引导的多智能体深度强化学习优化联合调度,实现了更低的信息年龄(AoI)与更高的策略形成效率。
2026-08-04 cs.AI cs.LG
Learning to Sail Dynamic Networks: The MARLIN Reinforcement Learning Framework for Congestion Control in Tactical Environments
Florida Institute for Human & Machine Cognition(佛罗里达人机认知研究所);The University of West Florida(西佛罗里达大学);University of Ferrara(费拉拉大学);US Army DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
针对传统拥塞控制算法在战术环境中泛化性差的问题,提出基于强化学习的 MARLIN 框架,利用仿真环境训练智能体,在文件传输任务中表现优于 TCP Cubic 和 Mockets。
2023-06-27 cs.LG cs.NI cs.SE
Algorithmic Information Design in Multi-Player Games: Possibility and Limits in Singleton Congestion
Princeton University(普林斯顿大学);University of Oregon(俄勒冈大学);University of Chicago(芝加哥大学)
到目前为止,大多数关于多代理信息设计的算法研究都集中在没有代理间外部性的限制情况下;少数例外调查了真正的战略游戏,如零和游戏和第二价格拍卖,但都只关注最优公共信号。本文在一类具有负外部性的基本博弈中,提出了\emph{public}和\emph{private}信令的算法信息设计,即,单例拥塞游戏,在今天的数字经济,机器调度,路由等具有广泛的应用,对于公共和私人信令,我们表明,最优信息设计时,可以有效地计算资源的数量是一个常数。据我们所知,这是第一套有效的\emph{exact}算法的信息设计,简洁地表示多人游戏。我们的研究结果取决于新的技术,如开发某些“简化形式”,以competitively表征公共信号的均衡或代表球员的边际信念,在私人信号。当有许多资源,我们显示计算的棘手性的结果。为了克服多重均衡的问题,在这里我们引入了一个新的均衡概念-- \emph{oblivious}硬度,它排除了计算良好信号方案的任何可能性,无论均衡选择规则如何。
2022-09-05 cs.AI cs.GT
Symbolic Distillation for Learned TCP Congestion Control
University of Texas at Austin(德克萨斯大学奥斯汀分校);Rice University(莱斯大学)
TCP拥塞控制(CC)的最新进展利用深度强化学习(RL)方法取得了巨大成功,该方法使用前馈神经网络(NN)来学习复杂的环境条件并做出更好的决策。然而,这种“黑匣子”策略缺乏可解释性和可靠性,并且由于使用复杂的NN,它们通常需要在传统的TCP数据路径之外运行。本文提出了一种新的两阶段的解决方案,以实现两全其美:首先训练一个深RL代理,然后提取其(过)参数化的NN政策到白盒,重量轻的规则,在符号表达式的形式,更容易理解和实现在受约束的环境。在我们的建议的核心是一个新的符号分支算法,使规则能够知道的上下文在各种网络条件,最终转换成一个符号树的NN政策。经过提炼的符号规则保留了最先进的NN策略,并经常提高性能,同时比标准神经网络更快,更简单。我们验证我们的蒸馏符号规则的性能在模拟和仿真环境。我们的代码可在https://github.com/VITA-Group/SymbolicPCC上获得。
2022-10-24 cs.AI cs.LG
Regret Minimization in Population Network Games: Vanishing Heterogeneity and Convergence to Equilibria
School of Mechanical Engineering, Northwestern Polytechnical University(西北工业大学机械工程学院);Department of Computing, Hong Kong Polytechnic University(香港理工大学计算机学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Statistics and Mathematics, Yunnan University of Finance and Economics(云南财经大学统计与数学学院);School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University(西北工业大学人工智能、光学与电子学院(iOPEN));School of Cybersecurity, Northwestern Polytechnical University(西北工业大学网络安全学院)
本文用遗憾概率分布与连续性方程分析平滑遗憾匹配,证明大规模异质多智能体的遗憾方差会衰减并形成共识,从而在竞争与合作场景中收敛至量子响应均衡。
2025-07-23 cs.AI cs.GT cs.MA
A study of first-passage time minimization via Q-learning in heated gridworlds
Center for Computational and Data-intensive Science and Engineering, Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所计算与数据密集型科学工程中心)
在从纳米机器人导航到市场交易的应用中,需要优化首次通过时间。在这样的环境中,人们经常会遇到不均匀分布的噪声水平。我们广泛地研究了学习代理票价在1-和2-维加热gridworlds与不均匀的温度分布。结果表明,通过简单的表格Q-学习,SARSA,预期SARSA和双Q-学习训练的智能体中存在一定的偏差效应。虽然高学习率阻止了对具有较高温度的区域的探索,但足够低的学习率增加了这些区域中的代理的存在。在现实世界的物理应用和代理设计中,应该考虑到基于时间差的强化学习方法的特点和偏差。
2021-10-05 cond-mat.stat-mech cs.AI cs.LG
Reinforcement learning for bandwidth estimation and congestion control in real-time communications
Microsoft(微软)
用于实时的【形】通信的带宽估计和拥塞控制(即,音频和视频会议)仍然是一个困难的问题,尽管进行了多年的研究。为最终用户实现高质量的体验(QoE)需要不断更新,因为网络架构和技术不断变化。在本文中,我们首次将强化学习应用于实时的【形】通信(RTC)问题,在这里我们寻求优化用户感知质量。我们提出了初步的概念验证的结果,在这里我们学习一个代理来控制RTC系统中的发送速率,使用网络模拟和真实的互联网视频通话进行评估。我们讨论了我们观察到的挑战,特别是在设计反映QoE的现实奖励函数,以及弥合训练环境和现实网络之间的差距。
2019-12-04 cs.LG cs.NI
Combining Propositional Logic Based Decision Diagrams with Decision Making in Urban Systems
解决多智能体问题可能是一项艰巨的任务,由于环境的不确定性,部分可观察性和手头问题的可扩展性。特别是在城市环境中,有更多的挑战,因为我们还需要保持所有用户的安全,同时最大限度地减少代理的拥塞以及他们的旅行时间。为此,我们解决了不确定性和部分可观测性下的多智能体寻路问题,其中智能体的任务是从起点移动到终点,同时还满足一些约束,例如,低拥塞,并将其建模为多智能体强化学习问题。我们使用命题逻辑编译域约束,并将其与RL算法相结合,以实现RL的快速模拟。
2020-11-10 cs.AI
Multi-agent Natural Actor-critic Reinforcement Learning Algorithms
Indian Institute of Technology Bombay(印度理工学院孟买分校)
多智能体行动者-批评者算法是强化学习范式的重要组成部分。在这项工作中,我们提出了三个完全分散的多智能体自然演员-评论家(MAN)算法。我们的目标是共同找到一个联合政策,最大限度地提高这些代理人的平均长期回报。在没有中央控制器的情况下,为了保护隐私,代理通过时变通信网络向其邻居传达一些信息。我们证明了所有3 MAN算法的收敛到一个全局渐近稳定的ODE集对应的演员更新,这些使用线性函数近似。我们证明了连续迭代策略之间的Kullback-Leibler发散与目标函数的梯度成正比。我们观察到,Fisher信息矩阵的最小奇异值是在政策参数维度的倒数范围内。使用这一点,我们从理论上表明,MAN算法的确定性变体的最佳值在每个节点占主导地位的标准的基于梯度的多智能体演员-评论家(MAAC)算法。据我们所知,这是多智能体强化学习(MARL)的第一个这样的结果。为了说明我们提出的算法的有用性,我们实现了他们的双车道交通网络,以减少平均网络拥塞。我们观察到一个几乎25%的平均拥塞减少2 MAN算法,在另一个MAN算法的平均拥塞是与MAAC算法。我们还考虑了一个通用的$15$代理MARL的MAN算法的性能是一样好的MAAC算法。
2022-04-02 cs.LG cs.SY eess.SY
Learning Nearly Decomposable Value Functions Via Communication Minimization
Tsinghua University(清华大学);Turing AI Institute of Nanjing(南京图灵人工智能研究院)
强化学习在多智能体环境中遇到了重大挑战,例如可扩展性和非平稳性。最近,价值函数因子分解学习出现了一个很有前途的方式来解决这些挑战的协作多智能体系统。然而,现有的方法一直专注于学习完全分散的价值函数,这对于需要通信的任务来说是没有效率的。为了解决这一问题,本文提出了一种新的框架,通过通信最小化学习几乎可分解的Q函数(NDQ),与代理自己的大部分时间,但偶尔发送消息给其他代理,以有效的协调。该框架通过引入两个信息论正则化器,将价值函数分解学习和交流学习混合起来。这些正则化器最大化代理的动作选择和通信消息之间的互信息,同时最小化代理之间的消息的熵。我们展示了如何优化这些正则化的方式,很容易与现有的价值函数因式分解方法,如QMIX集成。最后,我们证明,在星际单位微观管理基准,我们的框架显着优于基线方法,并允许我们切断超过$80\%$的通信,而不牺牲性能。我们实验的视频可以在https://sites.google.com/view/ndq上找到。
2020-07-19 cs.LG stat.ML
Inducing Cooperation via Team Regret Minimization based Multi-Agent Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);Sun Yat-sen University(中山大学);King’s College London(伦敦国王学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
现有的基于价值因子分解的多Agent深度强化学习(MARL)方法在集中训练和分散执行(CTDE)方案下的各种多Agent协作环境中表现良好,其中所有Agent通过集中的价值网络一起训练,每个Agent独立执行其策略。然而,一个问题仍然存在:在集中式训练过程中,当团队的环境是部分可观察的或非静止的,即,现有方法的性能较差,采样效率低,所有智能体的观测和动作信息不能代表全局状态。遗憾最小化(Regret Minimization,RM)在部分可观察和完全竞争的环境中表现良好,是一种很有前途的方法,但它倾向于将其他人作为对手进行建模,因此在CTDE方案下不能很好地工作。本文提出了一种新的基于团队关系模型的贝叶斯MARL模型,它主要有三个贡献:(a)设计了一种新的团队关系模型方法,用于训练合作Agent作为一个团队,并为该团队获得一个基于团队遗憾的策略;(b)引入了一种新的方法来分解团队遗憾,为每个Agent生成分散执行的策略;(c)为了进一步提高性能,我们利用差分粒子滤波(SequentialMonteCarlo方法)网络对每个Agent的状态进行精确估计。在两步博弈(合作博弈)和战斗博弈(大规模混合合作-竞争博弈)上的实验结果表明,该算法的性能明显优于现有方法。
2019-11-18 cs.AI
Predictable Reinforcement Learning Dynamics through Entropy Rate Minimization
University of Oxford(牛津大学);Eindhoven University of Technology(埃因霍温理工大学);Delft University of Technology(代尔夫特理工大学)
本文提出可预测性感知强化学习(PARL),通过最大化折扣奖励与负轨迹熵率的线性组合,在策略梯度算法中引入熵率价值函数估计,从而在保持近最优性能的同时诱导出可预测的智能体行为。
2025-06-03 cs.AI cs.LG cs.SY
Simulating Cognitive Smart Freight Corridors with Agent-Based Models and Reinforcement Learning
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Concordia University(康考迪亚大学);Amazon.com, Inc.(亚马逊公司)
该研究提出耦合多技术层的ABM框架,结合RL与MARL模拟认知智能货运走廊,实验表明其在吞吐量、拥堵、节能等方面优于基准场景,高需求下优势更显著。
2026-08-27 cs.ET cs.LG
Collaborative Optimization of the Age of Information under Partial Observability
针对部分可观测网络中多传感器共享有限信道导致AoI恶化的问题,提出去中心化传输策略,结合粒子滤波与平均场控制及强化学习,协同最小化期望AoI。
2023-12-20 cs.DC cs.LG cs.MA
Federated UCBVI: Communication-Efficient Federated Regret Minimization with Heterogeneous Agents
École Polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);LMO(数学与运筹学实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
该研究提出面向联邦学习框架的$\texttt{Fed-UCBVI}$算法,证明其遗憾界特性与线性加速效果,引入新异构性度量,且该算法通信复杂度随智能体数量增长极缓。
2024-10-30 cs.LG stat.ML
The Complexity of Optimizing Atomic Congestion
Regensburg University(雷根斯堡大学);TU Wien(维也纳工业大学);IIT Hyderabad(印度理工学院海得拉巴分校)
本文通过参数化复杂性分析揭示了原子拥塞博弈中系统最优策略计算的可处理性边界,证明其复杂性由边分隔器而非顶点分隔器决定,并扩展到最小-最大变体。
2024-10-22 cs.AI cs.CC cs.GT
AlphaZeroES: Direct score maximization outperforms planning loss minimization
Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(策略机器人公司);Optimized Markets, Inc.(优化市场公司);Strategic Machine, Inc.(战略机器公司)
本文提出AlphaZeroES,在保持MCTS和神经网络架构不变的情况下,用进化策略直接最大化单智能体环境的回合得分,实验表明其性能优于AlphaZero的规划损失最小化方法。
2024-06-12 cs.AI
CCLab: Adversarial Testing of Learning- and Non-Learning-Based Congestion Controllers
CCLab
本文提出CCLab框架,用于系统评估学习型和非学习型拥塞控制器在对抗性条件下的鲁棒性,发现学习型控制器在对抗测试中比传统算法更鲁棒,并展示了对抗性追踪可用于训练更鲁棒的拥塞控制器。
2026-05-21 cs.CR cs.LG
Value Variance Minimization for Learning Approximate Equilibrium in Aggregation Systems
Singapore Management University(新加坡管理大学)
为了有效地匹配资源(例如,出租车、食品、自行车、购物物品)来满足客户需求,聚合系统已经非常成功。在聚合系统中,中央实体(例如,Uber、Food Panda、Ofo)聚合供应(例如,司机、送货人员),并在连续的基础上将需求与供应相匹配(顺序决策)。由于中央实体的目标是最大限度地提高其利润,个别供应商被牺牲,从而创造了激励个人离开系统。在本文中,我们考虑在聚集系统中学习近似均衡解(双赢解)的问题,使个体有动机留在聚集系统中。不幸的是,这样的系统有成千上万的代理,并考虑需求的不确定性和潜在的问题是(部分可观察)随机博弈。考虑到随机博弈中学习或规划的复杂性,我们做出了三个关键贡献:(a)利用每个代理的无穷小贡献和匿名性(奖励和代理之间的转换依赖于代理计数)在交互中,我们将其表示为多智能体强化学习(MARL)问题,该问题建立在非原子拥塞博弈模型的基础上;(b)我们提供了一种新的方差减少机制,用于将联合解决方案向纳什均衡移动,该机制利用每个代理的无穷小贡献;最后(c)我们提供了三个不同领域的详细结果,以证明我们的方法与最先进的方法相比的实用性。
2020-03-16 cs.LG stat.ML
Combat Urban Congestion via Collaboration: Heterogeneous GNN-based MARL for Coordinated Platooning and Traffic Signal Control
本文提出基于异构图多智能体强化学习的协调车队编队与交通信号控制方法,通过设计独立智能体、图神经网络协调机制和交替优化训练,有效缓解城市交通拥堵。
2025-08-12 cs.LG cs.MA
Pricing Mechanism for Resource Sustainability in Competitive Online Learning Multi-Agent Systems
Technical University Munich(慕尼黑工业大学)
在本文中,我们考虑竞争在线学习代理的资源拥塞控制问题。基于非合作博弈模型的代理之间的相互作用,和嘈杂的在线镜像上升作为模型的理性行为的代理人,我们提出了一种新的定价机制,使代理人的可持续使用的资源的激励。我们的机制是分布式和资源为中心的,在这个意义上说,它是由资源本身,而不是由一个集中的实例,它是基于而不是代理的偏好的资源的拥塞状态。在噪声是持久的情况下,并为几个选择的代理的内在参数,如他们的学习率,和机制参数,如学习率的-,价格设定者的累进性,和外在的价格敏感性的代理,我们表明,累积违反的资源约束的迭代是次线性的w.r.t.时间范围。此外,我们提供了数值模拟来支持我们的理论研究结果。
2019-10-21 cs.GT cs.LG cs.MA
A Regret Minimization Approach to Multi-Agent Control
Princeton University(普林斯顿大学);Google AI Princeton(谷歌AI普林斯顿)
研究了具有已知动态和对抗性干扰的动力系统的多智能体控制问题。我们的研究集中在最优控制没有集中的预先计算的政策,而是与适应控制政策,不同的代理人,只配备了一个稳定的控制器。我们给出了一个减少从任何(标准)遗憾最小化控制方法的分布式算法。减少保证所得到的分布式算法具有较低的遗憾相对于最佳的预先计算的联合政策。我们的方法包括推广在线凸优化的多智能体设置和应用最近的工具,从非随机控制派生的一个单一的代理。我们经验评估我们的方法上的模型的过驱动飞机。我们表明,分布式方法是强大的故障和对抗性扰动的动态。
2022-02-25 cs.LG math.OC stat.ML
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题,提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法,其核心是将策略优化在线学习归约为加权遗憾最小化,通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
Taming the Exponential Action Set: Sublinear Regret and Fast Convergence to Nash Equilibrium in Online Congestion Games
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
研究在线拥塞博弈,提出去中心化算法 CongestEXP。通过在设施层面维护权重,避免了动作集规模的指数级依赖,实现了 $O(kF\sqrt{T})$ 的次线性遗憾,并在存在严格纳什均衡时实现几乎指数级的快速收敛。
2023-06-19 cs.GT cs.LG stat.ML
Regret-Minimization Algorithms for Multi-Agent Cooperative Learning Systems
The London School of Economics and Political Science(伦敦政治经济学院)
本论文研究多智能体协作学习系统中的遗憾最小化问题,针对多臂赌博机、分布式在线凸优化和团队组建等场景,给出遗憾下界及达到该下界的高效算法,并揭示遗憾与通信网络连通性和延迟的关系。
2023-10-30 cs.LG cs.MA stat.ML
Entropy Minimization In Emergent Languages
Facebook AI Research(脸书人工智能研究院);Cognitive Machine Learning (ENS - EHESS - PSL - CNRS - INRIA)(认知机器学习实验室(巴黎高等师范学院-社会科学高等学院-巴黎文理研究大学-法国国家科学研究中心-法国国家信息与自动化研究所));Catalan Institute for Research and Advanced Studies(加泰罗尼亚研究与高级研究所)
当神经代理被联合训练来解决需要通过离散通道进行通信的任务时,人们对研究这些语言的兴趣越来越大。我们在这里调查的信息理论的复杂性,这样的语言,专注于基本的两个代理,一个交换设置。我们发现,在共同的训练程序,新兴的语言受到熵最小化的压力,也已被检测到在人类语言,从而通信代理的输入和消息之间的互信息被最小化,在所提供的范围内,需要成功的沟通。也就是说,紧急语言(几乎)和它们被开发的任务一样简单。这种压力随着我们增加沟通渠道的离散性而放大。此外,我们观察到,更强的离散通道驱动的熵最小化导致表示具有更强的鲁棒性过拟合和对抗攻击。最后,我们讨论了我们的研究结果的影响,自然和人工通信系统的研究。
2020-06-26 cs.CL cs.LG
Distributed Submodular Minimization via Block-Wise Updates and Communications
Alma Mater Studiorum Università di Bologna(博洛尼亚大学)
在本文中,我们处理网络的计算代理与本地处理和相邻的通信能力,旨在解决(没有任何中央单元)的子模块最优化问题。费用函数是许多局部次模函数的和,并且网络中的每个代理仅可以访问和中的一个函数。在这种\emph{distributed}设置中,为了保护自己的隐私,代理与邻居通信,但不共享其本地费用函数。我们提出了一种分布式算法,在该算法中,代理诉诸Lovàsz扩展其本地次模函数和执行本地更新和通信的整个优化变量的单块。通过贪婪算法执行更新,该算法仅运行到计算出所选块为止,从而导致计算负担减少。所提出的算法收敛于期望值的最优成本的问题,和一个近似解的子模块化问题的阈值操作检索。作为一个应用程序,我们考虑分布式图像分割问题,其中每个代理只能访问整个图像的一部分。虽然代理不能分割整个图像本身,他们正确地完成任务,通过合作,通过提出的分布式算法。
2020-05-25 cs.LG math.CO math.OC