Reinforcement Networks: novel framework for collaborative Multi-Agent Reinforcement Learning tasks
Institute for Artificial Intelligence, Lomonosov Moscow State University（人工智能研究所，罗蒙诺索夫莫斯科国立大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
强化网络提出了一种用于协作多智能体强化学习的新框架，通过有向无环图结构实现灵活的信用分配和可扩展协调，统一了分层、模块化和图结构的MARL观点。
2025-12-28 cs.AI cs.LG cs.MA
When Collaborative Filtering Meets Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）
本文研究了一个多步交互式推荐问题，其中当前推荐的项目可能会影响未来推荐的质量。为了解决这个问题，我们开发了一种新颖而有效的方法，命名为CFRL，它无缝集成了协同过滤（CF）和强化学习（RL）的想法。更具体地说，我们首先将推荐者-用户交互式推荐问题建模为代理-环境RL任务，该任务在数学上由马尔可夫决策过程（MDP）描述。此外，为了实现整个用户社区的协作推荐，我们提出了一种新的CF为基础的MDP编码到一个共享的潜在向量空间的所有用户的状态。最后，我们提出了一种有效的Q-网络学习方法来学习基于CF的MDP的代理的最优策略。CFRL的能力是通过比较其性能对各种现有的方法在现实世界的数据集。
2019-04-02 cs.IR cs.LG stat.ML
Heterogeneous Attentions for Solving Pickup and Delivery Problem via Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Shandong University（山东大学）
近年来，应用深度强化学习来解决车辆路径问题（VRP）成为一种新兴趋势，其中学习到的策略控制下一个访问节点的选择。然而，现有的方法无法很好地处理取送问题（PDP）中的配对和优先关系，取送问题是VRP的代表性变体。为了解决这个具有挑战性的问题，我们利用一种新型的神经网络与异构注意力机制集成，使深度强化学习中的策略能够自动选择节点。特别地，异构注意力机制具体地规定了节点的每个角色的注意力，同时考虑到优先约束，即，拾取节点必须在配对递送节点之前。进一步结合掩蔽计划，学习的政策，预计将找到更高质量的解决方案，解决PDP。大量的实验结果表明，我们的方法优于最先进的启发式和深度学习模型，分别，以及推广到不同的分布和问题大小。
2021-10-06 cs.LG
Handling Cold-Start Collaborative Filtering with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
推荐系统中的一个主要挑战是处理新用户，他们也被称为$\textit{cold-start}$用户。在本文中，我们提出了一种新的方法来学习一系列最佳的问题，以访问冷启动用户的电影推荐系统。我们建议使用Deep Q Networks来学习面试问题，以创建用户简档，从而为冷启动用户提供更好的推荐。虽然我们提出的系统是使用电影推荐系统进行训练的，但我们的Deep Q Network模型应该可以推广到各种类型的推荐系统。
2018-06-16 cs.AI cs.IR cs.LG
Fair collaborative vehicle routing: A deep multi-agent reinforcement learning approach
Microsoft Research Cambridge（微软研究院剑桥）；Value Chain Lab（价值链实验室）；Tsinghua University（清华大学）
本文首次将协作车辆路径中的路径分配与收益共享问题同时建模为联盟讨价还价博弈，利用深度多智能体强化学习在无法访问特征函数的情况下隐式推理，实现与Shapley值高度相关的公平分配，并将运行时间降低88%。
2023-10-26 cs.LG
An approach to implement Reinforcement Learning for Heterogeneous Vehicular Networks
Ahmedabad University（艾哈迈达巴德大学）
提出了基于多智能体强化学习的异构车载网络（HetVNET）的频谱共享思想。这里，多个车辆到车辆（V2V）链路重用其他车辆到接口（V2I）的频谱以及其他网络的频谱。车辆网络中快速变化的环境限制了集中CSI和分配信道的想法。因此，这里使用了实现基于ML的方法的想法，以便可以在所有车辆中以分布式方式实现。在这里，每个车载单元（OBU）可以感测信道中的信号，并基于该信息运行RL以决定自主占用哪个信道。在这里，每个V2V链路将是MARL中的代理。我们的想法是训练RL模型，使这些智能体能够合作而不是竞争。
2022-08-26 cs.LG
Human-centered collaborative robots with deep reinforcement learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们提出了一个基于强化学习的以人为中心的协作系统框架。该框架是积极主动的，通过最大限度地减少完成任务所花的总时间，平衡了及时行动的好处和采取不当行动的风险。该框架以无监督的方式进行端到端的学习，以综合的方式解决感知不确定性和决策。该框架被证明是提供更流畅的协调人类和机器人合作伙伴之间的一个例子任务的包装相比，感知和决策系统独立学习的替代品，使用监督学习。所提出的方法的最大好处是，它允许快速适应新的人类合作伙伴和任务，因为繁琐的注释的运动数据被避免，并在线进行学习。
2020-07-02 cs.AI cs.LG cs.RO
Graph Convolutional Reinforcement Learning for Collaborative Queuing Agents
Télécom SudParis, Institut Polytechnique de Paris（巴黎理工学院南巴黎电信学院）；Huawei Technologies Ltd.（华为技术有限公司）
在本文中，我们探讨了使用多代理深度学习以及学习合作原则，以满足严格的服务水平协议，在吞吐量和端到端延迟方面，一组分类的网络流。我们认为代理建立在加权公平排队算法之上，该算法连续设置三个流组的权重：金，银，铜。我们依赖于一种新的基于图卷积的多智能体强化学习方法，称为DGN。作为基准，我们提出了集中式和分布式深度Q网络方法，并评估了它们在不同网络、流量和路由场景中的性能，突出了我们建议的有效性和代理合作的重要性。我们表明，我们的基于DGN的方法满足严格的吞吐量和延迟要求在所有情况下。
2022-05-24 cs.LG cs.NI
Research on Edge Computing and Cloud Collaborative Resource Scheduling Optimization Based on Deep Reinforcement Learning
Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出一种基于深度强化学习（DRL）的边缘云协同资源调度优化方法，有效提升了任务处理效率与资源利用率并控制任务迁移，实验证明其优于传统算法，未来将致力于提升学习效率与容错能力。
2025-04-10 cs.AI cs.DC cs.LG
Solving Collaborative Dec-POMDPs with Deep Reinforcement Learning Heuristics
针对现有 Dec-POMDP 最先进算法难以处理复杂智能体协作的问题，提出 SA2MA 两阶段方法：先学习单智能体策略，再将其用于多智能体求解，并在复杂协作领域中取得明显优势。
2024-08-30 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Collaborative Edge Computing in Vehicular Networks
University of Waterloo（滑铁卢大学）；Ryerson University（瑞尔森大学）
移动边缘计算（MEC）是一种支持关键任务车辆应用（如智能路径规划和安全应用）的有前途的技术。本文提出了一种协作式边缘计算框架，以降低车载网络的计算服务延迟，提高服务可靠性。首先，提出了一种任务划分和调度算法（TPSA），以决定工作负载分配和调度的任务卸载到边缘服务器给定的计算卸载策略的执行顺序。其次，基于人工智能（AI）的协同计算方法的开发，以确定任务卸载，计算和结果交付政策的车辆。具体地，卸载和计算问题被公式化为马尔可夫决策过程。一种深度强化学习技术，即采用深度确定性策略梯度法求解复杂城市交通网络的最优解。该方法通过优化工作负载分配和服务器选择，使计算服务延迟和服务失败惩罚等服务成本最小化.仿真结果表明，提出的基于人工智能的协同计算方法能够适应高度动态的环境，具有优异的性能。
2020-10-05 cs.LG cs.SY eess.SY
OL4EL: Online Learning for Edge-cloud Collaborative Learning on Heterogeneous Edges with Resource Constraints
Xi’an Jiaotong University（西安交通大学）；Imperial College London（帝国理工学院）
网络边缘的分布式机器学习（ML）是一种很有前途的范例，可以保护网络带宽和数据提供者的隐私。然而，边缘服务器（或边缘）上的异构和有限的计算和通信资源对分布式ML提出了巨大的挑战，并形成了边缘学习（即边缘-云协作机器学习）的新范式。在这篇文章中，我们提出了一个新的框架的“学习学习”的有效边缘学习（EL）的异构边缘资源约束。我们首先将协作策略的动态确定（即在协作学习过程中在边缘服务器上分配局部迭代和在云上分配全局聚合）建模为在线优化问题，以实现EL性能和边缘服务器资源消耗之间的权衡。然后，我们提出了一个在线学习的EL（OL 4 EL）框架的基础上，有限的多臂土匪模型。OL 4 EL支持同步和异步学习模式，可用于监督和无监督学习任务。为了评估OL 4 EL的性能，我们进行了真实世界的测试平台实验和基于Docker容器的广泛模拟，其中支持向量机和K-means都被视为用例。实验结果表明，OL 4 EL在学习性能和资源消耗之间的权衡方面明显优于最先进的EL和其他协作ML方法。
2020-04-23 cs.DC cs.LG stat.ML
Collaborative Multi-Agent Heterogeneous Multi-Armed Bandits
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究 N 个智能体协作学习 M 个随机多臂老虎机的新问题，提出两种场景下的去中心化算法，推导了每智能体与群体遗憾上界，并证明群体遗憾下界，验证算法近最优性。
2024-07-02 cs.DC cs.LG cs.MA
Multi-Path Collaborative Reasoning via Reinforcement Learning
Sichuan University（四川大学）；GigaAI（极佳科技）；Tsinghua University（清华大学）
本文提出M3PO框架，通过多路径协作机制提升大语言模型的推理能力，实现更可靠和高效的多步推理。
2025-12-08 cs.AI cs.LG
Parallel Best Arm Identification in Heterogeneous Environments
Indiana University（印第安纳大学）
该研究聚焦异构协同学习模型中最优臂识别的时间与通信轮数权衡问题，通过证明几乎紧的上下界，证实异构场景下的协同学习在时间-轮数权衡上本质难于同构场景。
2024-04-18 cs.DS cs.LG
Graph Enhanced Reinforcement Learning for Effective Group Formation in Collaborative Problem Solving
Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）；Meta；Toby Tech Marketing（托比科技营销公司）
本研究提出一种结合图论与强化学习的新方法，通过构建参与者互动图并学习最优图结构，利用聚类形成有效小组，以提升协作效率并减少冲突，为团队建设与教育场景提供数据驱动方案。
2024-03-15 cs.CY cs.HC cs.LG
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
Ask to Learn: Query-Based Collaborative Reinforcement Learning
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究针对离线强化学习的数据覆盖局限，提出基于查询的协作强化学习方法，推导了查询复杂度下界并开发自适应查询分配算法，经实验验证其效率。
2026-11-03 cs.LG stat.ML
Energy-Aware Multi-Agent Reinforcement Learning for Collaborative Execution in Mission-Oriented Drone Networks
Colby College（科尔比学院）；Columbia University（哥伦比亚大学）
针对任务型无人机网络协同执行的能量与轨迹设计挑战，提出基于多智能体强化学习的协同执行模型，以电池电量驱动设计，实现高任务成功率。
2024-10-29 cs.AI cs.LG cs.MA
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London（帝国理工学院）
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率，我们实现了一个机器人平台，该平台能够与人类合作伙伴一起学习非平凡的协作任务，而无需在模拟中进行预训练，并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果，表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
Dynamic Collaborative Multi-Agent Reinforcement Learning Communication for Autonomous Drone Reforestation
Aleph Alpha
我们采用协作式多智能体强化学习（MARL）设置来实现基于无人机的自主重新造林。代理可以作为动态变化的网络的一部分进行通信。我们在一个高影响力的问题背后探索协作和沟通。森林是控制二氧化碳上升的主要资源。不幸的是，全球森林体积正在以前所未有的速度减少。许多地区太大，很难穿越种植新的树木。为了有效地覆盖尽可能多的区域，在这里，我们提出了一个基于图神经网络（GNN）的通信机制，使合作。代理可以共享需要重新造林的区域的位置信息，这增加了查看的区域和种植的树木数量。我们比较我们提出的通信机制与多代理基线没有能力进行通信。结果表明，沟通如何实现协作，提高集体绩效，种植精度和个人代理的冒险倾向。
2022-11-14 cs.AI cs.LG cs.MA
Toward Collaborative Reinforcement Learning Agents that Communicate Through Text-Based Natural Language
Stellenbosch University（斯泰伦博斯大学）
协作多代理设置中的代理之间的通信通常是隐式的或直接的数据流。本文认为基于文本的自然语言是一种新的形式的多个代理之间的通信训练强化学习。这可以被认为是迈向真正自主通信的第一步，而无需定义有限的指令集，以及人类和机器人之间的自然协作。灵感来自游戏的盲线索，我们提出了一个环境，其中一个代理使用自然语言的指令，以指导另一个通过迷宫。我们测试了强化学习代理通过离散单词级符号进行有效沟通的能力，并表明代理能够通过有限词汇量的自然语言进行充分沟通。虽然沟通并不总是完美的英语，但代理商仍然能够在迷宫中导航。我们实现了0.85的BLEU分数，这比随机生成的序列提高了0.61，同时保持了100%的迷宫完成率。这是使用我们的参考集的随机基线性能的3.5倍。
2021-07-21 cs.CL cs.LG
A Game-Theoretic Spatio-Temporal Reinforcement Learning Framework for Collaborative Public Resource Allocation
针对公共资源分配中缺乏容量感知协作的问题，提出CPRA问题并构建GSTRL框架，通过势博弈理论逼近纳什均衡，捕捉时空动态，在真实数据集上表现优越。
2026-09-29 cs.CY cs.LG
Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share?
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
在人类生命的早期阶段，婴儿通过探索不同的场景来发展他们的技能，这些场景的动机是他们内在的满足感，而不是来自环境的外在奖励。这种行为，被称为内在动机，已经成为解决来自奖励稀疏的强化学习环境的探索挑战的一种解决方案。已经提出了不同的探索方法，以加快学习过程中的单一和多代理问题的同质代理。然而，很少有研究阐述了异构代理部署到同一环境中，但与后者的不同实例之间的协作学习框架，没有任何先验知识。除了异质性之外，每个代理的特性只允许访问完整状态空间的一个子集，这可能隐藏不同的探索策略和最佳解决方案。在这项工作中，我们结合了内在动机和迁移学习的想法。具体来说，我们专注于共享参数的演员-评论家模型架构，并结合通过内在动机获得的信息，目的是有一个更有效的探索和更快的学习。我们测试我们的策略，通过实验进行了修改ViZDooM的我回家的路的情况下，这是更具挑战性的比原来的版本，并允许评估代理之间的异质性。我们的研究结果揭示了不同的方式，在没有知识共享的情况下，一个协作框架几乎没有额外的计算成本可以胜过一个独立的学习过程。此外，我们描述了需要正确调制的重要性之间的外在和内在的奖励，以避免不受欢迎的代理行为。
2022-02-24 cs.AI cs.LG
Reinforcement Learning on Human Decision Models for Uniquely Collaborative AI Teammates
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
2021年，约翰霍普金斯大学应用物理实验室举办了一项内部挑战赛，旨在开发能够在协作纸牌游戏Hanabi中表现出色的人工智能（AI）代理。代理人被评估他们与以前从未遇到过的人类玩家一起玩的能力。这项研究详细介绍了通过实现16.5的人类游戏平均得分赢得挑战的代理的开发，超过了目前最先进的人类机器人Hanabi得分。获胜的代理的开发包括观察和准确建模作者在Hanabi中的决策，然后用作者的行为克隆进行训练。值得注意的是，智能体发现了一种与人类互补的游戏风格，首先模仿人类的决策，然后探索类似人类的策略的变化，从而获得更高的模拟人类机器人得分。这项工作详细研究了这个与人类兼容的Hanabi队友的设计和实现，以及人类互补策略的存在和影响，以及如何探索它们，以便在人机团队中更成功地应用AI。
2021-11-18 cs.AI cs.LG
Deep Reinforcement Learning-Based User Scheduling for Collaborative Perception
National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究实验室）；Purple Mountain Laboratories（紫金山实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）
针对协同感知中通信资源受限问题，提出基于DDQN的SchedCP框架，融合CSI与感知语义并采用无标签目标实现自适应V2X用户调度。
2025-02-12 cs.LG cs.RO
Towards Closing the Sim-to-Real Gap in Collaborative Multi-Robot Deep Reinforcement Learning
Turku Intelligent Embedded and Robotic Systems Lab, University of Turku（图尔库大学图尔库智能嵌入式与机器人系统实验室）
目前深度强化学习的研究方向包括弥合模拟-现实差距，提高分布式多智能体强化学习中经验的样本效率，以及开发分布式学习中对抗对抗性智能体的鲁棒方法等。在这项工作中，我们特别感兴趣的是分析如何多智能体强化学习可以弥合差距，在分布式多机器人系统的不同机器人的操作不一定是同质的现实。这些变化可能是由于感测失配、机械接头校准方面的固有误差或精度的简单差异而发生的。虽然我们的结果是基于模拟的，但我们引入了分布式强化学习中的传感，校准和准确性失配的影响与近端策略优化（PPO）。我们讨论了如何不同类型的扰动，以及如何代理的数量经历这些扰动影响协作学习的努力。模拟使用Bullet物理引擎中的Kuka手臂模型进行。这是，据我们所知，第一次工作，探讨PPO在多机器人系统的限制时，考虑到不同的机器人可能会暴露在不同的环境中，他们的传感器或执行器引起的错误。随着这项工作的结论，我们为未来的工作设计和开发方法，以实现强大的强化学习的存在下，现实世界的扰动，可能会有所不同，在一个多机器人系统的起点。
2020-08-18 cs.DC cs.LG stat.ML
Communications-Incentivized Collaborative Reasoning in NetGPT through Agentic Reinforcement Learning
IEEE
本文提出NetGPT框架，通过代理强化学习实现AI原生xG网络的协作推理与自适应优化。
2026-01-31 cs.LG cs.MA
Deep Reinforcement Learning Based High-level Driving Behavior Decision-making Model in Heterogeneous Traffic
School of Electronic and Information Engineering, Beijing Jiaotong University（北京交通大学电子信息工程学院）；State Key Laboratory of Rail Traffic Control and Safety, Beijing Jiaotong University（北京交通大学轨道交通控制与安全国家重点实验室）
高层驾驶行为决策是互联车辆技术面临的一个挑战性问题，尤其是在异构交通场景下。提出了一种基于深度强化学习的异构交通环境下互联车辆高级驾驶行为决策方法。该模型由三个主要部分组成：将混合数据映射为称为超网格矩阵的数据格式的数据预处理器，提取隐藏特征的双流深度神经网络，以及学习最优策略的深度强化学习网络。最后，建立了一个包含不同异构交通场景的仿真环境，对所提出的方法进行了训练和测试。结果表明，该模型有能力学习最佳的高层次的驾驶策略，如驾驶快速通过异构交通没有不必要的车道变化。最后，通过两个独立的模型与所提出的模型进行了比较，并对性能进行了详细的分析。
2019-02-26 cs.AI cs.LG
Real-World Human-Robot Collaborative Reinforcement Learning
Imperial College London（帝国理工学院）
在现实世界中，人类和智能机器人（嵌入式AI）的直观协作是机器人技术许多理想应用的基本目标。虽然有很多关于显性沟通的研究，但我们专注于人类和机器人如何在运动适应水平上进行隐性互动。我们提出了一个现实世界的设置的人-机器人协作迷宫游戏，设计为非平凡的，只有通过合作，通过限制的行动，两个正交轴的旋转，并分配每个轴到一个球员，才能解决。这导致人类和智能体都无法自己解决游戏。我们使用深度强化学习来控制机器人智能体，并在30分钟的真实游戏中实现结果，而无需任何类型的预训练。然后，我们使用这个设置进行系统的实验时，人类/代理的行为和适应共同学习的合作游戏的政策。我们提出的结果如何共同策略学习随着时间的推移发生在人类和机器人代理之间，导致每个参与者的代理作为一个代表，他们将如何玩游戏。这使我们能够通过比较代理人的策略与他们自己的代理人的策略，将一个人在与不同代理人一起玩时的成功联系起来。
2020-07-31 cs.AI cs.LG cs.RO
Reinforcement Learning Increases Wind Farm Power Production by Enabling Closed-Loop Collaborative Control
提出首个直接与高保真度大涡模拟集成的强化学习控制器，通过动态闭环协作控制实时响应大气湍流，使风电场功率输出提升4.30%，显著优于静态最优偏航控制。
2025-06-25 cs.LG cs.SY eess.SY
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney（悉尼科技大学AAII）；National University of Singapore（新加坡国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
已经提出了许多深度强化学习代理，每个代理都有其优点和缺陷。在这项工作中，我们提出了一个合作异构深度强化学习（CHDRL）框架，可以通过整合异构代理的优势来学习策略。具体来说，我们提出了一个协作学习框架，异构代理分为两类：全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法（EA）代理，可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习，以便本地代理可以从样本有效代理中受益并同时保持其优势，例如，稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明，与最先进的基线相比，CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Multi-User Reinforcement Learning with Low Rank Rewards
Google Research（谷歌研究院）；Amazon India（亚马逊印度）
本文研究协作多用户强化学习，提出一种在低秩奖励假设下协同探索多用户特定MDP奖励的算法，在表格和线性MDP设定下显著降低了样本复杂度。
2023-05-22 cs.LG math.OC
Collaborative Policy Learning for Dynamic Scheduling Tasks in Cloud-Edge-Terminal IoT Networks Using Federated Reinforcement Learning
Kyungnam University（庆南大学）；Sejong University（世宗大学）
本文针对云-边-端IoT网络动态调度任务，提出基于联邦强化学习的协作策略学习框架，通过聚合边缘经验构建中心策略，显著提升学习速度并加速新边缘适应任务。
2023-07-02 cs.AI cs.DC cs.LG
FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
针对异构联邦强化学习中的分布不匹配问题，提出FedGuide框架，利用扩散先验作为行为模型，通过OT-MoE聚合保留异构模式，并采用DICE价值基线引导策略改进，实验证明其在回报和鲁棒性上优于现有方法。
2026-10-08 cs.LG cs.RO
Top K Enhanced Reinforcement Learning Attacks on Heterogeneous Graph Node Classification
School of Electrical and Electronic Engineering（电子与电气工程学院）；Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology (SIMTech)（新加坡制造技术研究所）
本文提出HeteroKRLAttack，一种结合强化学习与Top-K算法的异构图黑盒逃逸攻击方法，通过缩减动作空间高效破坏节点分类，并在多个数据集上验证了其攻击有效性。
2025-09-18 cs.AI cs.LG
Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shanghai University of Engineering Science（上海工程技术大学）
本文提出CWAC框架，通过分布式评判者、协同加权机制及随机悲观值估计缓解离线强化学习的高估问题，可集成于SAC等算法，在多模拟任务中性能显著提升。
2026-07-30 cs.AI cs.LG
Heterogeneous Knowledge for Augmented Modular Reinforcement Learning
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
针对现有模块化强化学习模块同构、难整合多源异构知识的问题，提出AMRL框架，通过选择器组合异构模块，实现性能、效率与泛化性提升，并探讨了相关安全等问题。
2024-10-31 cs.AI cs.LG
Collaborative Information Dissemination with Graph-based Multi-Agent Reinforcement Learning
Institute for Human & Machine Cognition（人机认知研究所）；The University of West Florida（西佛罗里达大学）；US Army Research Laboratory（美国陆军研究实验室）
本文提出基于图注意力网络的多智能体强化学习方法，通过部分可观测随机博弈建模信息传播，使智能体独立决策转发，在动态网络上以更低通信开销实现更高网络覆盖率。
2024-02-21 cs.AI cs.LG cs.MA
Graded-Q Reinforcement Learning with Information-Enhanced State Encoder for Hierarchical Collaborative Multi-Vehicle Pursuit
Beijing University of Posts and Telecommunications（北京邮电大学）
多车追逐问题作为一个从现实生活中抽象出来的问题，正成为智能交通系统中的一个研究热点。人工智能（AI）与车联网的结合极大地推动了MVP的研究发展。然而，现有的MVP的工作很少关注的重要性，在复杂的城市交通环境下的追求车辆之间的信息交流和合作。提出了一种基于信息增强状态编码器的分级Q强化学习（GQRL-IESE）框架来解决这种分层协作多车辆追踪（HCMVP）问题。在GQRL-IESE中，提出了协作分级Q方案，以方便追捕车辆的决策，提高追捕效率。每个追击车辆进一步使用深度Q网络（DQN）根据其编码状态做出决策。协调Q优化网络根据当前环境交通信息调整个体决策，以获得全局最优行动集。此外，信息增强的状态编码器被设计为从多个角度提取关键信息，并使用注意力机制来辅助每个追击车辆有效地确定目标。基于SUMO算法的大量实验结果表明，GQRL-IESE算法的总时间步长平均比其他算法小47.64%，表明GQRL-IESE算法具有良好的追踪效率.代码在https://github.com/ANT-ITS/GQRL-IESE中外包。
2022-10-24 cs.AI cs.LG
Reinforcement Learning for Individual Optimal Policy from Heterogeneous Data
National Heart, Lung, and Blood Institute（国家心肺血液研究所）；University of California, Irvine（加州大学伊文斯顿分校）
本文提出了一种针对异质数据的个体化离线强化学习框架，通过引入个体潜在变量和P4L算法，实现了对异质群体的高效策略优化。
2026-10-20 cs.LG stat.ML
Collaborative Evolutionary Reinforcement Learning
Intel AI Lab（英特尔人工智能实验室）；Collaborative Robotics and Intelligent Systems Institute, Oregon State University（俄勒冈州立大学协作机器人与智能系统研究所）
深度强化学习算法已成功应用于一系列具有挑战性的控制任务。然而，这些方法通常难以实现有效的探索，并且对超参数的选择非常敏感。原因之一是大多数方法使用其操作策略的嘈杂版本来探索-从而限制了探索的范围。在本文中，我们介绍了协同进化强化学习（CERL），一个可扩展的框架，包括一个投资组合的政策，同时探索和利用不同地区的解决方案空间。一系列学习器-通常是经过验证的算法，如TD 3-在不同的时间范围内优化，从而形成了这个多样化的投资组合。所有学习器都贡献并使用共享的重放缓冲区来实现更高的样本效率。计算资源是动态分布的，以支持最好的学习者作为在线算法选择的一种形式。神经进化将这整个过程结合起来，产生一个超越任何个体学习者能力的单一涌现学习者。在一系列连续控制基准测试中的实验表明，新兴学习者的表现显着优于其复合学习者，同时保持整体样本效率更高-特别是解决了Mujoco Humanoid基准测试，其中所有复合学习者（TD 3）完全孤立失败。
2019-05-06 cs.AI cs.LG stat.ML
Collaborative Multi-Agent Reinforcement Learning for Automated Feature Transformation with Graph-Driven Path Optimization
Computer Network Information Center, Chinese Academy of Sciences, and the University of the Chinese Academy of Sciences（中国科学院计算机网络信息中心及中国科学院大学）；Department of Electrical Engineering and Computer Science at the University of Kansas（堪萨斯大学电气工程与计算机科学系）；School of Computing and Information Technology, Great Bay University, Dongguan, China（广东大湾大学计算机与信息科技学院）；School of Software, Tsinghua University（清华大学软件学院）；Institute for Infocomm Research, Agency for Science, Technology, and Research（新加坡科技研究局信息与通信研究院）
提出TCTO框架，利用协作多智能体强化学习与图驱动路径优化，通过演化交互图实现自动化特征变换，提升下游任务性能。
2025-04-24 cs.AI cs.LG
Reinforcement Learning Algorithm for Traffic Steering in Heterogeneous Network
Poznan University of Technology（波兹南理工大学）
异构无线电接入网络需要高效的流量导向方法来达到接近最优的结果，以便最大化网络容量。本文的目的是提出一种新的流量导向算法中使用的HetNet，它利用强化学习算法结合人工神经网络，以最大限度地提高总用户满意度在模拟蜂窝网络。利用网络仿真结果将新算法与两种参考算法进行了比较。结果证明，新算法提供了显着更好的效率相比，参考算法，特别是在服务的用户数量有限的无线电接入网络的频率资源。
2021-11-29 cs.LG cs.NI
Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks
University of Colorado（科罗拉多大学）；Virginia Tech（弗吉尼亚理工学院）
协作式深度强化学习（CDRL）算法可以让多个智能体通过无线网络进行协调，这是一种很有前途的方法，可以实现未来依赖于复杂动态环境中实时决策的智能和自治系统。然而，在实际应用中，由于智能体及其学习任务的异构性、不同的环境、学习的时间限制以及无线网络的资源限制，CDRL面临着许多挑战。为了解决这些挑战，在本文中，提出了一种新的语义感知的CDRL方法，使一组异构的未经训练的代理与语义链接的DRL任务，有效地合作，在资源受限的无线蜂窝网络。为此，提出了一种新的异构联邦DRL（HFDRL）算法选择语义相关的DRL代理的最佳子集进行协作。所提出的方法，然后共同优化的培训损失和无线带宽分配的合作选定的代理，以训练每个代理的时间限制内的实时任务。仿真结果表明，所提出的算法相比，国家的最先进的基线的优越性能。
2022-03-04 cs.IT cs.LG cs.NI
Emergency Computing: An Adaptive Collaborative Inference Method Based on Hierarchical Reinforcement Learning
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））；School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）
本文提出E-SC3I应急网络框架，并针对其计算开销问题，设计了一种基于分层强化学习的自适应协同推理方法（ACIM），在资源受限条件下实现AI模型的快速推理。
2024-02-03 cs.AI cs.LG cs.NI
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center（FEI大学中心）
受图神经网络在智能体通信方面的最新进展的启发，提出了一种多智能体通信能力的有向标记异构智能体图表示方法，其中节点标签表示智能体类，边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构，专门在完全合作的异构多智能体任务的通信，通过学习个人的转换，每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享，我们表现出相当或优越的性能，在环境中，有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
Cooperative Localization Utilizing Reinforcement Learning for 5G Networks
University of Helsinki（赫尔辛基大学）
近年来，对精确定位的需求有所上升，以使自动驾驶汽车的出现成为可能。为了让这些车辆进入智慧城市的交通生态系统，需要一个精确的定位系统。为了实现精确定位，协同定位起着重要作用。这种类型的定位计算车辆之间的距离测量，并通过使用另一个更准确的值来校正其中一个的可能错误的值来提高位置的准确性。具有毫米波（mmWave）技术的5G信号支持精确的距离测量，5G网络提供设备到设备（D2D）通信，这改善了协作定位。本文的目的是为自动驾驶车辆提供精确的协作定位，利用强化学习技术为5G信号选择最准确和最合适的测距技术，不易出错。
2021-08-19 cs.AI cs.LG eess.SP
Multiagent Cooperation and Competition with Deep Reinforcement Learning
University of Tartu（塔尔图大学）；ETH Zurich（苏黎世联邦理工学院）
多智能体系统出现在大多数社会、经济和政治环境中。在目前的工作中，我们将Google DeepMind提出的Deep Q-Learning Network架构扩展到多智能体环境，并研究由独立Deep Q-Networks控制的两个智能体如何在经典视频游戏Pong中进行交互。通过操纵Pong的经典奖励计划，我们展示了竞争和合作行为是如何出现的。有竞争力的代理人学习有效地比赛和得分。在协作奖励计划下训练的代理找到一个最佳策略，以尽可能长时间地保持球在游戏中。我们还描述了从竞争到合作行为的进展。目前的工作表明，深度Q网络可以成为研究生活在高度复杂环境中的多智能体系统的分散学习的实用工具。
2015-11-27 cs.AI cs.LG q-bio.NC
Decentralized Covert Routing in Heterogeneous Networks Using Reinforcement Learning
U.S. Army Combat Capabilities Development Command (DEVCOM) Army Research Laboratory（美国陆军能力发展司令部（DEVCOM）陆军研究实验室）
本文研究异构网络中的隐蔽路由通信，提出一种基于强化学习的去中心化路由算法，节点仅依靠局部反馈选择下一跳与通信模态，仿真表明其性能接近最优集中式方案。
2024-01-31 cs.LG cs.NI eess.SP
Momentum for the Win: Collaborative Federated Reinforcement Learning across Heterogeneous Environments
Columbia University（哥伦比亚大学）；University of Connecticut（康涅狄格大学）
研究高异构环境下的联邦强化学习问题，提出两种基于动量机制的算法 FedSVRPG-M 和 FedHAPG-M，证明其能无视环境异构性精确收敛至平稳点，并实现随智能体数量线性加速的最优样本复杂度。
2024-05-29 cs.LG cs.MA math.OC
Heterogeneous Multi-Robot Reinforcement Learning
University of Cambridge（剑桥大学）
多机器人的物理和行为特征的异质性有利于多机器人协作任务的实现。尽管如此，传统的多智能体强化学习（MARL）框架缺乏明确适应策略异构性的能力，并且通常限制代理共享神经网络参数。这种强制的同质性限制了任务从异构行为中受益的情况下的应用。在本文中，我们明确了异质性在MARL政策中的作用。为此，我们引入异构图神经网络近端策略优化（HetGPPO），训练异构MARL策略，利用图神经网络可区分的智能体通信的范例。HetGPPO允许通信代理学习异构行为，同时在部分可观察的环境中实现完全分散的训练。我们补充这一点与分类的概述，暴露更多的异质性类比以前确定的。为了激励我们的模型的需要，我们提出了一个技术的表征，同质模型可以利用模仿异构行为，并显示这种“明显的异质性”是脆弱的，在现实世界的条件。通过模拟和真实世界的实验，我们表明：（i）当同质方法由于强烈的异构要求而失败时，HetGPPO成功了，（ii）当同质方法能够学习明显的异构行为时，HetGPPO对训练和部署噪声都具有更高的弹性。
2023-01-17 cs.AI cs.LG cs.MA
Accuracy-Guaranteed Collaborative DNN Inference in Industrial IoT via Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）；Beijing Jiaotong University（北京交通大学）
工业物联网（IoT）设备和边缘网络之间的协作对于支持需要低延迟和高准确性的计算密集型深度神经网络（DNN）推理服务至关重要。采样率自适应根据网络条件动态配置工业物联网设备的采样率，是最小化服务延迟的关键。在本文中，我们研究了工业物联网网络中的协作DNN推理问题。为了捕捉信道的变化和任务到达的随机性，我们制定了一个约束马尔可夫决策过程（CMDP）的问题。具体而言，采样率自适应，推理任务卸载和边缘计算资源分配被联合考虑，以最小化平均服务延迟，同时保证不同推理服务的长期精度要求。由于CMDP无法直接解决一般的强化学习（RL）算法由于棘手的长期约束，我们首先转换CMDP到MDP利用李雅普诺夫优化技术。然后，提出了一种基于深度RL的算法来求解MDP。为了加快训练过程，在该算法中嵌入了优化子程序，直接获得最优的边缘计算资源分配。大量的仿真结果表明，所提出的基于RL的算法可以显着降低平均服务延迟，同时保持长期的推理精度与高概率。
2022-12-31 cs.AI cs.LG cs.SY
