Dynamic Collaborative Multi-Agent Reinforcement Learning Communication for Autonomous Drone Reforestation
Aleph Alpha
我们采用协作式多智能体强化学习（MARL）设置来实现基于无人机的自主重新造林。代理可以作为动态变化的网络的一部分进行通信。我们在一个高影响力的问题背后探索协作和沟通。森林是控制二氧化碳上升的主要资源。不幸的是，全球森林体积正在以前所未有的速度减少。许多地区太大，很难穿越种植新的树木。为了有效地覆盖尽可能多的区域，在这里，我们提出了一个基于图神经网络（GNN）的通信机制，使合作。代理可以共享需要重新造林的区域的位置信息，这增加了查看的区域和种植的树木数量。我们比较我们提出的通信机制与多代理基线没有能力进行通信。结果表明，沟通如何实现协作，提高集体绩效，种植精度和个人代理的冒险倾向。
2022-11-14 cs.AI cs.LG cs.MA
Learning to Communicate with Deep Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Canadian Institute for Advanced Research（加拿大高等研究院）；Google DeepMind（谷歌DeepMind）
我们考虑的问题，多个代理感知和行动的环境中的目标是最大限度地提高他们的共享效用。在这些环境中，代理必须学习通信协议，以便共享解决任务所需的信息。通过拥抱深度神经网络，我们能够展示在复杂环境中协议的端到端学习，这些复杂环境受到通信谜语和具有部分可观测性的多代理计算机视觉问题的启发。我们提出了两种方法在这些领域的学习：加强代理间学习（RIAL）和可区分的代理间学习（DIAL）。前者使用深度Q学习，而后者利用了这样一个事实，即在学习过程中，代理可以通过（噪声）通信信道反向传播错误导数。因此，这种方法使用集中学习，但分散执行。我们的实验引入了新的环境，研究学习的通信协议，并提出了一套工程创新，在这些领域的成功是必不可少的。
2016-05-24 cs.AI cs.LG cs.MA
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab（日立工业人工智能实验室）
传统上，多智能体深度强化学习算法的性能是在游戏环境中展示和验证的，在游戏环境中，我们通常有固定数量的智能体。在许多工业应用中，可用试剂的数量可以在任何给定的一天改变，并且即使当试剂的数量提前已知时，试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中，我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
Reinforcement Networks: novel framework for collaborative Multi-Agent Reinforcement Learning tasks
Institute for Artificial Intelligence, Lomonosov Moscow State University（人工智能研究所，罗蒙诺索夫莫斯科国立大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
强化网络提出了一种用于协作多智能体强化学习的新框架，通过有向无环图结构实现灵活的信用分配和可扩展协调，统一了分层、模块化和图结构的MARL观点。
2025-12-28 cs.AI cs.LG cs.MA
When Collaborative Filtering Meets Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）
本文研究了一个多步交互式推荐问题，其中当前推荐的项目可能会影响未来推荐的质量。为了解决这个问题，我们开发了一种新颖而有效的方法，命名为CFRL，它无缝集成了协同过滤（CF）和强化学习（RL）的想法。更具体地说，我们首先将推荐者-用户交互式推荐问题建模为代理-环境RL任务，该任务在数学上由马尔可夫决策过程（MDP）描述。此外，为了实现整个用户社区的协作推荐，我们提出了一种新的CF为基础的MDP编码到一个共享的潜在向量空间的所有用户的状态。最后，我们提出了一种有效的Q-网络学习方法来学习基于CF的MDP的代理的最优策略。CFRL的能力是通过比较其性能对各种现有的方法在现实世界的数据集。
2019-04-02 cs.IR cs.LG stat.ML
Handling Cold-Start Collaborative Filtering with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
推荐系统中的一个主要挑战是处理新用户，他们也被称为$\textit{cold-start}$用户。在本文中，我们提出了一种新的方法来学习一系列最佳的问题，以访问冷启动用户的电影推荐系统。我们建议使用Deep Q Networks来学习面试问题，以创建用户简档，从而为冷启动用户提供更好的推荐。虽然我们提出的系统是使用电影推荐系统进行训练的，但我们的Deep Q Network模型应该可以推广到各种类型的推荐系统。
2018-06-16 cs.AI cs.IR cs.LG
Human-centered collaborative robots with deep reinforcement learning
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们提出了一个基于强化学习的以人为中心的协作系统框架。该框架是积极主动的，通过最大限度地减少完成任务所花的总时间，平衡了及时行动的好处和采取不当行动的风险。该框架以无监督的方式进行端到端的学习，以综合的方式解决感知不确定性和决策。该框架被证明是提供更流畅的协调人类和机器人合作伙伴之间的一个例子任务的包装相比，感知和决策系统独立学习的替代品，使用监督学习。所提出的方法的最大好处是，它允许快速适应新的人类合作伙伴和任务，因为繁琐的注释的运动数据被避免，并在线进行学习。
2020-07-02 cs.AI cs.LG cs.RO
Assembling the CREW: A Collaborative Multi-agent Reinforcement Learning Framework for Automated Related Work Generation
The Chinese University of Hong Kong（香港中文大学）；Hanoi University of Industry（河内工业大学）；Hanoi University of Science and Technology（河内理工大学）
针对多智能体LLM相关工作生成中静态协调的局限，提出CREW框架，让智能体通过IPPO策略自主选择操作动态协作，在标准基准上显著提升质量并降低令牌成本。
2026-09-15 cs.LG
Research on Edge Computing and Cloud Collaborative Resource Scheduling Optimization Based on Deep Reinforcement Learning
Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出一种基于深度强化学习（DRL）的边缘云协同资源调度优化方法，有效提升了任务处理效率与资源利用率并控制任务迁移，实验证明其优于传统算法，未来将致力于提升学习效率与容错能力。
2025-04-10 cs.AI cs.DC cs.LG
Solving Collaborative Dec-POMDPs with Deep Reinforcement Learning Heuristics
针对现有 Dec-POMDP 最先进算法难以处理复杂智能体协作的问题，提出 SA2MA 两阶段方法：先学习单智能体策略，再将其用于多智能体求解，并在复杂协作领域中取得明显优势。
2024-08-30 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Collaborative Edge Computing in Vehicular Networks
University of Waterloo（滑铁卢大学）；Ryerson University（瑞尔森大学）
移动边缘计算（MEC）是一种支持关键任务车辆应用（如智能路径规划和安全应用）的有前途的技术。本文提出了一种协作式边缘计算框架，以降低车载网络的计算服务延迟，提高服务可靠性。首先，提出了一种任务划分和调度算法（TPSA），以决定工作负载分配和调度的任务卸载到边缘服务器给定的计算卸载策略的执行顺序。其次，基于人工智能（AI）的协同计算方法的开发，以确定任务卸载，计算和结果交付政策的车辆。具体地，卸载和计算问题被公式化为马尔可夫决策过程。一种深度强化学习技术，即采用深度确定性策略梯度法求解复杂城市交通网络的最优解。该方法通过优化工作负载分配和服务器选择，使计算服务延迟和服务失败惩罚等服务成本最小化.仿真结果表明，提出的基于人工智能的协同计算方法能够适应高度动态的环境，具有优异的性能。
2020-10-05 cs.LG cs.SY eess.SY
Graph Enhanced Reinforcement Learning for Effective Group Formation in Collaborative Problem Solving
Monash University（莫纳什大学）；University of Melbourne（墨尔本大学）；Meta；Toby Tech Marketing（托比科技营销公司）
本研究提出一种结合图论与强化学习的新方法，通过构建参与者互动图并学习最优图结构，利用聚类形成有效小组，以提升协作效率并减少冲突，为团队建设与教育场景提供数据驱动方案。
2024-03-15 cs.CY cs.HC cs.LG
Graph Convolutional Reinforcement Learning for Collaborative Queuing Agents
Télécom SudParis, Institut Polytechnique de Paris（巴黎理工学院南巴黎电信学院）；Huawei Technologies Ltd.（华为技术有限公司）
在本文中，我们探讨了使用多代理深度学习以及学习合作原则，以满足严格的服务水平协议，在吞吐量和端到端延迟方面，一组分类的网络流。我们认为代理建立在加权公平排队算法之上，该算法连续设置三个流组的权重：金，银，铜。我们依赖于一种新的基于图卷积的多智能体强化学习方法，称为DGN。作为基准，我们提出了集中式和分布式深度Q网络方法，并评估了它们在不同网络、流量和路由场景中的性能，突出了我们建议的有效性和代理合作的重要性。我们表明，我们的基于DGN的方法满足严格的吞吐量和延迟要求在所有情况下。
2022-05-24 cs.LG cs.NI
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
Energy-Aware Multi-Agent Reinforcement Learning for Collaborative Execution in Mission-Oriented Drone Networks
Colby College（科尔比学院）；Columbia University（哥伦比亚大学）
针对任务型无人机网络协同执行的能量与轨迹设计挑战，提出基于多智能体强化学习的协同执行模型，以电池电量驱动设计，实现高任务成功率。
2024-10-29 cs.AI cs.LG cs.MA
Multi-Path Collaborative Reasoning via Reinforcement Learning
Sichuan University（四川大学）；GigaAI（极佳科技）；Tsinghua University（清华大学）
本文提出M3PO框架，通过多路径协作机制提升大语言模型的推理能力，实现更可靠和高效的多步推理。
2025-12-08 cs.AI cs.LG
PyTupli: A Scalable Infrastructure for Collaborative Offline Reinforcement Learning Projects
Technical University of Munich（慕尼黑技术大学）
PyTupli是一个Python基础设施，用于创建、存储和共享离线强化学习基准及元组数据集，支持细粒度过滤与安全部署，促进协作、可复现和可扩展的研究。
2025-05-23 cs.LG
Human-Robot Collaboration via Deep Reinforcement Learning of Real-World Interactions
Imperial College London（帝国理工学院）
我们提出了一个机器人设置真实世界的测试和评估的人-机器人和人-人的协作学习。利用Soft Actor-Critic算法的样本效率，我们实现了一个机器人平台，该平台能够与人类合作伙伴一起学习非平凡的协作任务，而无需在模拟中进行预训练，并且仅使用30分钟的真实世界交互。这使我们能够通过真实世界的交互来研究人与机器人和人与人的协作学习。我们提出了初步的结果，表明最先进的深度学习方法可以使人机协作学习更接近人类相互交互。
2019-12-02 cs.AI cs.LG cs.RO
Biological Pathway Guided Gene Selection Through Collaborative Reinforcement Learning
University of Central Florida（佛罗里达中央大学）；University of Kansas（堪萨斯大学）；Vanderbilt University Medical Center（范德比尔特大学医学中心）；Arizona State University（亚利桑那州立大学）
提出一种基于多智能体强化学习的两阶段框架，通过整合KEGG通路知识与统计方法，显著提升了高维基因组数据基因选择的预测准确性与生物学可解释性。
2025-05-30 cs.LG
Making Offline RL Online: Collaborative World Models for Offline Visual Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute of Technology（东方理工大学）；Southeast University（东南大学）
针对离线视觉RL的表征过拟合与奖励高估偏差问题，提出基于模型的CoWorld方法，借助现成RL模拟器搭建离线策略试验台并缓解跨域差异，实现在线到离线知识迁移，性能显著优于现有方法。
2024-10-29 cs.LG
Reinforcement Learning Increases Wind Farm Power Production by Enabling Closed-Loop Collaborative Control
提出首个直接与高保真度大涡模拟集成的强化学习控制器，通过动态闭环协作控制实时响应大气湍流，使风电场功率输出提升4.30%，显著优于静态最优偏航控制。
2025-06-25 cs.LG cs.SY eess.SY
Towards Closing the Sim-to-Real Gap in Collaborative Multi-Robot Deep Reinforcement Learning
Turku Intelligent Embedded and Robotic Systems Lab, University of Turku（图尔库大学图尔库智能嵌入式与机器人系统实验室）
目前深度强化学习的研究方向包括弥合模拟-现实差距，提高分布式多智能体强化学习中经验的样本效率，以及开发分布式学习中对抗对抗性智能体的鲁棒方法等。在这项工作中，我们特别感兴趣的是分析如何多智能体强化学习可以弥合差距，在分布式多机器人系统的不同机器人的操作不一定是同质的现实。这些变化可能是由于感测失配、机械接头校准方面的固有误差或精度的简单差异而发生的。虽然我们的结果是基于模拟的，但我们引入了分布式强化学习中的传感，校准和准确性失配的影响与近端策略优化（PPO）。我们讨论了如何不同类型的扰动，以及如何代理的数量经历这些扰动影响协作学习的努力。模拟使用Bullet物理引擎中的Kuka手臂模型进行。这是，据我们所知，第一次工作，探讨PPO在多机器人系统的限制时，考虑到不同的机器人可能会暴露在不同的环境中，他们的传感器或执行器引起的错误。随着这项工作的结论，我们为未来的工作设计和开发方法，以实现强大的强化学习的存在下，现实世界的扰动，可能会有所不同，在一个多机器人系统的起点。
2020-08-18 cs.DC cs.LG stat.ML
A Game-Theoretic Spatio-Temporal Reinforcement Learning Framework for Collaborative Public Resource Allocation
针对公共资源分配中缺乏容量感知协作的问题，提出CPRA问题并构建GSTRL框架，通过势博弈理论逼近纳什均衡，捕捉时空动态，在真实数据集上表现优越。
2026-09-29 cs.CY cs.LG
Real-World Human-Robot Collaborative Reinforcement Learning
Imperial College London（帝国理工学院）
在现实世界中，人类和智能机器人（嵌入式AI）的直观协作是机器人技术许多理想应用的基本目标。虽然有很多关于显性沟通的研究，但我们专注于人类和机器人如何在运动适应水平上进行隐性互动。我们提出了一个现实世界的设置的人-机器人协作迷宫游戏，设计为非平凡的，只有通过合作，通过限制的行动，两个正交轴的旋转，并分配每个轴到一个球员，才能解决。这导致人类和智能体都无法自己解决游戏。我们使用深度强化学习来控制机器人智能体，并在30分钟的真实游戏中实现结果，而无需任何类型的预训练。然后，我们使用这个设置进行系统的实验时，人类/代理的行为和适应共同学习的合作游戏的政策。我们提出的结果如何共同策略学习随着时间的推移发生在人类和机器人代理之间，导致每个参与者的代理作为一个代表，他们将如何玩游戏。这使我们能够通过比较代理人的策略与他们自己的代理人的策略，将一个人在与不同代理人一起玩时的成功联系起来。
2020-07-31 cs.AI cs.LG cs.RO
Collaborative Policy Learning for Dynamic Scheduling Tasks in Cloud-Edge-Terminal IoT Networks Using Federated Reinforcement Learning
Kyungnam University（庆南大学）；Sejong University（世宗大学）
本文针对云-边-端IoT网络动态调度任务，提出基于联邦强化学习的协作策略学习框架，通过聚合边缘经验构建中心策略，显著提升学习速度并加速新边缘适应任务。
2023-07-02 cs.AI cs.DC cs.LG
Reinforcement Learning on Human Decision Models for Uniquely Collaborative AI Teammates
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
2021年，约翰霍普金斯大学应用物理实验室举办了一项内部挑战赛，旨在开发能够在协作纸牌游戏Hanabi中表现出色的人工智能（AI）代理。代理人被评估他们与以前从未遇到过的人类玩家一起玩的能力。这项研究详细介绍了通过实现16.5的人类游戏平均得分赢得挑战的代理的开发，超过了目前最先进的人类机器人Hanabi得分。获胜的代理的开发包括观察和准确建模作者在Hanabi中的决策，然后用作者的行为克隆进行训练。值得注意的是，智能体发现了一种与人类互补的游戏风格，首先模仿人类的决策，然后探索类似人类的策略的变化，从而获得更高的模拟人类机器人得分。这项工作详细研究了这个与人类兼容的Hanabi队友的设计和实现，以及人类互补策略的存在和影响，以及如何探索它们，以便在人机团队中更成功地应用AI。
2021-11-18 cs.AI cs.LG
Deep Reinforcement Learning-Based User Scheduling for Collaborative Perception
National Mobile Communications Research Laboratory, Southeast University（东南大学国家移动通信研究实验室）；Purple Mountain Laboratories（紫金山实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）
针对协同感知中通信资源受限问题，提出基于DDQN的SchedCP框架，融合CSI与感知语义并采用无标签目标实现自适应V2X用户调度。
2025-02-12 cs.LG cs.RO
Collaborative Information Dissemination with Graph-based Multi-Agent Reinforcement Learning
Institute for Human & Machine Cognition（人机认知研究所）；The University of West Florida（西佛罗里达大学）；US Army Research Laboratory（美国陆军研究实验室）
本文提出基于图注意力网络的多智能体强化学习方法，通过部分可观测随机博弈建模信息传播，使智能体独立决策转发，在动态网络上以更低通信开销实现更高网络覆盖率。
2024-02-21 cs.AI cs.LG cs.MA
Communications-Incentivized Collaborative Reasoning in NetGPT through Agentic Reinforcement Learning
IEEE
本文提出NetGPT框架，通过代理强化学习实现AI原生xG网络的协作推理与自适应优化。
2026-01-31 cs.LG cs.MA
Fair collaborative vehicle routing: A deep multi-agent reinforcement learning approach
Microsoft Research Cambridge（微软研究院剑桥）；Value Chain Lab（价值链实验室）；Tsinghua University（清华大学）
本文首次将协作车辆路径中的路径分配与收益共享问题同时建模为联盟讨价还价博弈，利用深度多智能体强化学习在无法访问特征函数的情况下隐式推理，实现与Shapley值高度相关的公平分配，并将运行时间降低88%。
2023-10-26 cs.LG
Optimal Regret Bounds for Collaborative Learning in Bandits
University of Oxford（牛津大学）；MediaTek Research（联发科研究院）
针对协作多智能体多臂老虎机模型的最优后悔界未决问题，提出首个阶最优后悔界算法，且仅需少量常数期望通信轮次。
2023-12-15 cs.LG cs.MA stat.ML
Collaborative Evolutionary Reinforcement Learning
Intel AI Lab（英特尔人工智能实验室）；Collaborative Robotics and Intelligent Systems Institute, Oregon State University（俄勒冈州立大学协作机器人与智能系统研究所）
深度强化学习算法已成功应用于一系列具有挑战性的控制任务。然而，这些方法通常难以实现有效的探索，并且对超参数的选择非常敏感。原因之一是大多数方法使用其操作策略的嘈杂版本来探索-从而限制了探索的范围。在本文中，我们介绍了协同进化强化学习（CERL），一个可扩展的框架，包括一个投资组合的政策，同时探索和利用不同地区的解决方案空间。一系列学习器-通常是经过验证的算法，如TD 3-在不同的时间范围内优化，从而形成了这个多样化的投资组合。所有学习器都贡献并使用共享的重放缓冲区来实现更高的样本效率。计算资源是动态分布的，以支持最好的学习者作为在线算法选择的一种形式。神经进化将这整个过程结合起来，产生一个超越任何个体学习者能力的单一涌现学习者。在一系列连续控制基准测试中的实验表明，新兴学习者的表现显着优于其复合学习者，同时保持整体样本效率更高-特别是解决了Mujoco Humanoid基准测试，其中所有复合学习者（TD 3）完全孤立失败。
2019-05-06 cs.AI cs.LG stat.ML
Multi-User Reinforcement Learning with Low Rank Rewards
Google Research（谷歌研究院）；Amazon India（亚马逊印度）
本文研究协作多用户强化学习，提出一种在低秩奖励假设下协同探索多用户特定MDP奖励的算法，在表格和线性MDP设定下显著降低了样本复杂度。
2023-05-22 cs.LG math.OC
Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks
University of Colorado（科罗拉多大学）；Virginia Tech（弗吉尼亚理工学院）
协作式深度强化学习（CDRL）算法可以让多个智能体通过无线网络进行协调，这是一种很有前途的方法，可以实现未来依赖于复杂动态环境中实时决策的智能和自治系统。然而，在实际应用中，由于智能体及其学习任务的异构性、不同的环境、学习的时间限制以及无线网络的资源限制，CDRL面临着许多挑战。为了解决这些挑战，在本文中，提出了一种新的语义感知的CDRL方法，使一组异构的未经训练的代理与语义链接的DRL任务，有效地合作，在资源受限的无线蜂窝网络。为此，提出了一种新的异构联邦DRL（HFDRL）算法选择语义相关的DRL代理的最佳子集进行协作。所提出的方法，然后共同优化的培训损失和无线带宽分配的合作选定的代理，以训练每个代理的时间限制内的实时任务。仿真结果表明，所提出的算法相比，国家的最先进的基线的优越性能。
2022-03-04 cs.IT cs.LG cs.NI
Collaborative Training of Heterogeneous Reinforcement Learning Agents in Environments with Sparse Rewards: What and When to Share?
TECNALIA, Basque Research and Technology Alliance (BRTA)（TECNALIA，巴斯克研究与技术联盟）；University of the Basque Country (UPV/EHU)（巴斯克大学）
在人类生命的早期阶段，婴儿通过探索不同的场景来发展他们的技能，这些场景的动机是他们内在的满足感，而不是来自环境的外在奖励。这种行为，被称为内在动机，已经成为解决来自奖励稀疏的强化学习环境的探索挑战的一种解决方案。已经提出了不同的探索方法，以加快学习过程中的单一和多代理问题的同质代理。然而，很少有研究阐述了异构代理部署到同一环境中，但与后者的不同实例之间的协作学习框架，没有任何先验知识。除了异质性之外，每个代理的特性只允许访问完整状态空间的一个子集，这可能隐藏不同的探索策略和最佳解决方案。在这项工作中，我们结合了内在动机和迁移学习的想法。具体来说，我们专注于共享参数的演员-评论家模型架构，并结合通过内在动机获得的信息，目的是有一个更有效的探索和更快的学习。我们测试我们的策略，通过实验进行了修改ViZDooM的我回家的路的情况下，这是更具挑战性的比原来的版本，并允许评估代理之间的异质性。我们的研究结果揭示了不同的方式，在没有知识共享的情况下，一个协作框架几乎没有额外的计算成本可以胜过一个独立的学习过程。此外，我们描述了需要正确调制的重要性之间的外在和内在的奖励，以避免不受欢迎的代理行为。
2022-02-24 cs.AI cs.LG
Coalitional Bargaining via Reinforcement Learning: An Application to Collaborative Vehicle Routing
University of Cambridge（剑桥大学）；Tsinghua University（清华大学）；Value Chain Lab（价值链实验室）
针对协作车辆路径中传统博弈解概念因特征函数指数增长而难以计算的问题，本文将其建模为联盟讨价还价博弈，通过隐式推理特征函数并采用改进的独立近端策略优化进行去中心化学习，在可扩展且考虑自利性的同时，以79%最优联盟识别率和4.2%平均最优性差距超越强启发式方法，并减少62%运行时间。
2023-10-26 cs.LG
Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning
School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shanghai University of Engineering Science（上海工程技术大学）
本文提出CWAC框架，通过分布式评判者、协同加权机制及随机悲观值估计缓解离线强化学习的高估问题，可集成于SAC等算法，在多模拟任务中性能显著提升。
2026-07-30 cs.AI cs.LG
From Language to Goals: Inverse Reinforcement Learning for Vision-Based Instruction Following
Google AI Research（谷歌人工智能研究院）；Google AI（谷歌人工智能）
强化学习是解决控制问题的一个很有前途的框架，但它在实际情况中的使用受到奖励函数通常难以设计的事实的阻碍。自主机器（如机器人）的目标和任务是一个重大挑战：传统上，奖励函数和目标状态已被用于传达目标。但人们可以通过简单地描述或演示来相互传达目标。我们如何才能建立学习算法，让我们告诉机器我们想让他们做什么？在这项工作中，我们调查的问题接地语言命令作为奖励功能使用逆强化学习，并认为语言条件的奖励比语言条件的政策更可转移到新的环境。我们提出了语言条件奖励学习（LC-RL），它将语言命令作为由深度神经网络表示的奖励函数。我们证明，我们的模型学习奖励，转移到新的任务和环境中的现实，高维的视觉环境与自然语言命令，而直接学习的语言条件的政策导致性能不佳。
2019-02-20 cs.LG stat.ML
Emergency Computing: An Adaptive Collaborative Inference Method Based on Hierarchical Reinforcement Learning
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））；School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）
本文提出E-SC3I应急网络框架，并针对其计算开销问题，设计了一种基于分层强化学习的自适应协同推理方法（ACIM），在资源受限条件下实现AI模型的快速推理。
2024-02-03 cs.AI cs.LG cs.NI
Graded-Q Reinforcement Learning with Information-Enhanced State Encoder for Hierarchical Collaborative Multi-Vehicle Pursuit
Beijing University of Posts and Telecommunications（北京邮电大学）
多车追逐问题作为一个从现实生活中抽象出来的问题，正成为智能交通系统中的一个研究热点。人工智能（AI）与车联网的结合极大地推动了MVP的研究发展。然而，现有的MVP的工作很少关注的重要性，在复杂的城市交通环境下的追求车辆之间的信息交流和合作。提出了一种基于信息增强状态编码器的分级Q强化学习（GQRL-IESE）框架来解决这种分层协作多车辆追踪（HCMVP）问题。在GQRL-IESE中，提出了协作分级Q方案，以方便追捕车辆的决策，提高追捕效率。每个追击车辆进一步使用深度Q网络（DQN）根据其编码状态做出决策。协调Q优化网络根据当前环境交通信息调整个体决策，以获得全局最优行动集。此外，信息增强的状态编码器被设计为从多个角度提取关键信息，并使用注意力机制来辅助每个追击车辆有效地确定目标。基于SUMO算法的大量实验结果表明，GQRL-IESE算法的总时间步长平均比其他算法小47.64%，表明GQRL-IESE算法具有良好的追踪效率.代码在https://github.com/ANT-ITS/GQRL-IESE中外包。
2022-10-24 cs.AI cs.LG
Collaborative Multi-Agent Reinforcement Learning for Automated Feature Transformation with Graph-Driven Path Optimization
Computer Network Information Center, Chinese Academy of Sciences, and the University of the Chinese Academy of Sciences（中国科学院计算机网络信息中心及中国科学院大学）；Department of Electrical Engineering and Computer Science at the University of Kansas（堪萨斯大学电气工程与计算机科学系）；School of Computing and Information Technology, Great Bay University, Dongguan, China（广东大湾大学计算机与信息科技学院）；School of Software, Tsinghua University（清华大学软件学院）；Institute for Infocomm Research, Agency for Science, Technology, and Research（新加坡科技研究局信息与通信研究院）
提出TCTO框架，利用协作多智能体强化学习与图驱动路径优化，通过演化交互图实现自动化特征变换，提升下游任务性能。
2025-04-24 cs.AI cs.LG
Cooperative Localization Utilizing Reinforcement Learning for 5G Networks
University of Helsinki（赫尔辛基大学）
近年来，对精确定位的需求有所上升，以使自动驾驶汽车的出现成为可能。为了让这些车辆进入智慧城市的交通生态系统，需要一个精确的定位系统。为了实现精确定位，协同定位起着重要作用。这种类型的定位计算车辆之间的距离测量，并通过使用另一个更准确的值来校正其中一个的可能错误的值来提高位置的准确性。具有毫米波（mmWave）技术的5G信号支持精确的距离测量，5G网络提供设备到设备（D2D）通信，这改善了协作定位。本文的目的是为自动驾驶车辆提供精确的协作定位，利用强化学习技术为5G信号选择最准确和最合适的测距技术，不易出错。
2021-08-19 cs.AI cs.LG eess.SP
Multiagent Cooperation and Competition with Deep Reinforcement Learning
University of Tartu（塔尔图大学）；ETH Zurich（苏黎世联邦理工学院）
多智能体系统出现在大多数社会、经济和政治环境中。在目前的工作中，我们将Google DeepMind提出的Deep Q-Learning Network架构扩展到多智能体环境，并研究由独立Deep Q-Networks控制的两个智能体如何在经典视频游戏Pong中进行交互。通过操纵Pong的经典奖励计划，我们展示了竞争和合作行为是如何出现的。有竞争力的代理人学习有效地比赛和得分。在协作奖励计划下训练的代理找到一个最佳策略，以尽可能长时间地保持球在游戏中。我们还描述了从竞争到合作行为的进展。目前的工作表明，深度Q网络可以成为研究生活在高度复杂环境中的多智能体系统的分散学习的实用工具。
2015-11-27 cs.AI cs.LG q-bio.NC
Multi-Objective Reinforcement Learning for Large-Scale Tote Allocation in Human-Robot Collaborative Fulfillment Centers
Department of Computer and Information Science, University of Pennsylvania, Philadelphia, PA, USA（计算机与信息科学系，宾夕法尼亚大学，费城，PA，USA）；Amazon（亚马逊）
本文提出了一种多目标强化学习方法，用于解决大规模人机协作分拣中心中的托盘分配问题，通过权衡处理速度、资源使用和空间利用等目标，实现了高效且满足约束的策略学习。
2026-02-27 cs.LG
Accuracy-Guaranteed Collaborative DNN Inference in Industrial IoT via Deep Reinforcement Learning
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）；Beijing Jiaotong University（北京交通大学）
工业物联网（IoT）设备和边缘网络之间的协作对于支持需要低延迟和高准确性的计算密集型深度神经网络（DNN）推理服务至关重要。采样率自适应根据网络条件动态配置工业物联网设备的采样率，是最小化服务延迟的关键。在本文中，我们研究了工业物联网网络中的协作DNN推理问题。为了捕捉信道的变化和任务到达的随机性，我们制定了一个约束马尔可夫决策过程（CMDP）的问题。具体而言，采样率自适应，推理任务卸载和边缘计算资源分配被联合考虑，以最小化平均服务延迟，同时保证不同推理服务的长期精度要求。由于CMDP无法直接解决一般的强化学习（RL）算法由于棘手的长期约束，我们首先转换CMDP到MDP利用李雅普诺夫优化技术。然后，提出了一种基于深度RL的算法来求解MDP。为了加快训练过程，在该算法中嵌入了优化子程序，直接获得最优的边缘计算资源分配。大量的仿真结果表明，所提出的基于RL的算法可以显着降低平均服务延迟，同时保持长期的推理精度与高概率。
2022-12-31 cs.AI cs.LG cs.SY
Momentum for the Win: Collaborative Federated Reinforcement Learning across Heterogeneous Environments
Columbia University（哥伦比亚大学）；University of Connecticut（康涅狄格大学）
研究高异构环境下的联邦强化学习问题，提出两种基于动量机制的算法 FedSVRPG-M 和 FedHAPG-M，证明其能无视环境异构性精确收敛至平稳点，并实现随智能体数量线性加速的最优样本复杂度。
2024-05-29 cs.LG cs.MA math.OC
Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees
Georgia Institute of Technology（佐治亚理工学院）
本文提出一种人机协作框架，通过自然语言规范生成词汇决策树以热启动强化学习策略，在避免额外探索成本的同时实现了>80%的翻译准确率并匹配了基线性能。
2023-05-20 cs.AI cs.CL cs.LG
Learning to Communicate to Solve Riddles with Deep Distributed Recurrent Q-Networks
University of Oxford（牛津大学）；Canadian Institute for Advanced Research（加拿大高等研究院）；Google DeepMind（谷歌DeepMind）
我们提出了深度分布式递归Q网络（DDRQN），它使代理团队能够学习解决基于通信的协调任务。在这些任务中，代理没有任何预先设计的通信协议。因此，为了成功地进行通信，它们必须首先自动开发并商定自己的通信协议。我们提出了两个多智能体学习问题的经验结果的基础上著名的谜语，表明DDRQN可以成功地解决这些任务，并发现优雅的通信协议这样做。据我们所知，这是深度强化学习首次成功学习通信协议。此外，我们提出的消融实验，确认DDRQN架构的每个主要组成部分是其成功的关键。
2016-02-08 cs.AI cs.LG
Effective Communications: A Joint Learning and Communication Framework for Multi-Agent Reinforcement Learning over Noisy Channels
Imperial College London（伦敦帝国理工学院）
我们提出了一种新的通信“有效性问题”的公式，由Shannon和Weaver在他们的开创性工作中提出[2]，通过考虑多个代理在嘈杂的信道上进行通信，以便在多代理强化学习（MARL）框架中实现更好的协调和合作。具体来说，我们考虑一个多智能体部分可观测的马尔可夫决策过程（MA-POMDP），其中的代理，除了与环境的相互作用，也可以通过一个嘈杂的通信信道相互通信。噪声通信信道被明确地认为是环境动态的一部分，每个代理发送的消息是代理可以采取的动作的一部分。因此，智能体不仅学会了相互协作，而且学会了在嘈杂的信道上进行“有效”的通信。这个框架概括了传统的通信问题，其中的主要目标是在嘈杂的信道上可靠地传递消息，以及最近在MARL文献中受到关注的“学习通信”框架，其中底层的通信信道被假设为是无错误的。我们通过例子表明，使用建议的框架学习的联合政策优于通信被认为是单独从底层MA-POMDP。这是一个非常强大的框架，它有许多现实世界的应用，从自动驾驶汽车规划到无人机群控制，并为多用户通信系统的设计开辟了丰富的深度强化学习工具箱。
2021-04-01 cs.AI cs.IT cs.LG
DSDF: An approach to handle stochastic agents in collaborative multi-agent reinforcement learning
Ericsson Research（爱立信研究院）
多智能体强化学习近年来受到了广泛的关注，并在许多不同的领域得到了应用。现有的方法，涉及集中训练和分散执行，试图训练的代理学习模式的协调行动，以达到最佳的联合政策。然而，如果一些代理是随机的，以不同程度的随机性，上述方法往往无法收敛，并提供代理之间的协调差。在本文中，我们将展示这种随机性的代理，这可能是由于故障或老化的机器人，可以增加协调的不确定性，并有助于不满意的全球协调。在这种情况下，确定性代理必须了解随机代理的行为和限制，同时达到最佳联合策略。我们的解决方案，DSDF调整的折扣因子的代理根据不确定性和使用的值来更新个人代理的效用网络。DSDF还有助于赋予一定程度的协调可靠性，从而授予随机代理任务，这些任务是即时的，并且具有较短的轨迹，而确定性代理则承担涉及较长规划的任务。这样的方法使得能够实现代理的联合协调，其中一些代理可以部分地执行，从而可以在许多情况下减少或延迟代理/机器人更换的投资。不同场景下的基准环境的结果表明，与现有的方法相比，所提出的方法的有效性。
2021-09-14 cs.AI cs.LG
Collaborative Temporal Feature Generation via Critic-Free Reinforcement Learning for Cross-User Sensor-Based Activity Recognition
School of Artificial Intelligence (School of Future Technology), Nanjing University of Information Science and Technology（信息科学与技术大学人工智能学院）；School of Cyberspace Security, Nanjing University of Information Science and Technology（信息科学与技术大学网络空间安全学院）；Jinling Hospital, Affiliated Hospital of Medical School, Nanjing University（南京大学附属医院金陵医院）；Department of Electrical, Computer, and Software Engineering, The University of Auckland（奥克兰大学电气、计算机和软件工程系）
本文提出CTFG框架，利用无批评强化学习生成可迁移的时空特征，提升跨用户活动识别的准确性和鲁棒性。
2026-03-17 cs.AI cs.CV cs.LG
Distributed Deep Reinforcement Learning for Collaborative Spectrum Sharing
Bar-Ilan University（巴伊兰大学）；BITS Pilani（皮拉尼比尔拉理工学院）
用户之间的频谱共享是任何无线网络管理中的基本问题。本文讨论了一般未知信道下无中心管理的分布式频谱协作问题。由于通信、协调和控制的成本随着设备的数量和使用的扩展带宽而迅速增加，因此显然需要开发用于频谱协作的分布式技术，其中不使用显式信令。在本文中，我们将博弈论的见解与深度Q学习相结合，为频谱协作问题提供了一种新的渐进最优解决方案。我们提出了一种使用深度Q网络（DQN）的确定性分布式深度强化学习（D3RL）机制。它使用Q值和信道负载来选择信道，同时将用户可用的选项限制为具有最高Q值的几个信道，并且在这些信道中，它选择负载最小的信道。使用从博弈论和组合优化的见解，我们表明，这种技术是大型超载网络的渐近最优。所选择的信道和成功传输的结果被反馈到深度Q网络的学习中，以将其并入Q值的学习中。我们还分析了性能，以了解D3RL在不同环境中的行为。
2021-04-06 cs.IT cs.LG eess.SP
CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving
University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）
提出CoIRL-AD框架，通过解耦模仿学习与强化学习、利用潜在世界模型进行长时程奖励估计以及引入竞争机制，在离线训练中提升自动驾驶的鲁棒性，尤其在跨城市泛化和长尾场景中表现优异。
2026-06-16 cs.CV cs.LG cs.RO
Federated Offline Reinforcement Learning: Collaborative Single-Policy Coverage Suffices
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）
本文提出联邦离线强化学习算法FedLCB-Q，通过协作覆盖状态-动作空间实现线性加速，样本复杂度接近集中式，且通信高效。
2024-02-08 cs.LG cs.MA stat.ML
