Fairness Aware Reinforcement Learning via Proximal Policy Optimization
针对多智能体系统的奖励公平分配问题，提出融合回顾性与前瞻性惩罚分量的Fair-PPO算法，在两个测试场景中实现了优于PPO的公平性，性能比肩现有先进公平强化学习算法。
2025-09-02 cs.LG cs.MA
Trust Region Bounds for Decentralized PPO Under Non-stationarity
University of Manchester（曼彻斯特大学）；University of Oxford（牛津大学）；Microsoft Research（微软研究院）
我们提出了信任域界的合作多智能体强化学习（MARL），即使在过渡动力学是非平稳的优化分散的政策。这项新的分析提供了一个理论上的理解，最近的两个演员批评的方法，MARL，这都依赖于独立的比率，即，分别计算每个代理的策略的概率比。我们发现，尽管非平稳性，独立的比率造成的，单调的改善保证仍然会出现作为强制执行的信任区域约束的结果，在所有分散的政策。我们还表明，这种信赖域约束可以有效地执行在原则上的方式绑定独立的比例的基础上的代理在训练中，提供了一个理论基础，近端比裁剪。最后，我们的实证结果支持这样一个假设，即IPPO和MAPPO的强大性能是通过集中式训练中的裁剪来强制执行这种信任区域约束的直接结果，并根据代理的数量调整超参数，正如我们的理论分析所预测的那样。
2023-02-15 cs.LG
DPO Meets PPO: Reinforced Token Optimization for RLHF
Peking University（北京大学）；University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）；Microsoft Research Asia（微软亚洲研究院）
提出RTO框架，将RLHF建模为MDP以学习令牌级奖励，创新整合DPO与PPO，在AlpacaEval 2和Arena-Hard上分别超越PPO 7.5和4.1个百分点。
2025-05-21 cs.AI cs.CL cs.LG
Reinforcement Learning-Based Cooperative P2P Power Trading between DC Nanogrid Clusters with Wind and PV Energy Resources
Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在用可再生能源替代化石燃料以实现碳中和的过程中，间歇性风能和光伏（PV）电力的不平衡资源生产是P2P（P2P）电力交易的关键问题。为了解决这个问题，强化学习（RL）技术在本文中介绍。对于强化学习，基于合作博弈理论，将图卷积网络（GCN）和双向长短期记忆（Bi-LSTM）网络联合应用于纳米网格簇之间的P2P电力交易.灵活可靠的直流纳米电网适用于为配电系统集成可再生能源。每个局部纳米网格集群都处于产消者的位置，同时关注电力生产和消费。对于纳米网格簇的电源管理，采用物联网技术对每个局部纳米网格簇进行多目标优化。电动车辆（EV）的充电/放电是考虑到风力和光伏发电的间歇特性而执行的。RL算法（诸如用于深度Q学习网络（DQN）的GCN卷积神经网络（CNN）层、用于深度递归Q学习网络（DRQN）的GCN-LSTM层、用于DRQN的GCN-Bi-LSTM层以及用于近端策略优化（PPO）的GCN-Bi-LSTM层）被用于仿真。因此，合作P2P电力交易系统通过考虑基于使用时间（ToU）的电价成本和系统边际价格（SMP）来最大化利润，并最小化电网电力消耗量。在配电测试馈线上实时的模拟具有P2P电力交易的纳米网格集群的电力管理，并且所提出的GCN-Bi-LSTM-PPO技术在用于比较的RL算法中实现最低的电力成本，将电力成本降低了36.7%，平均超过纳米网格集群。
2022-12-31 cs.LG cs.SY eess.SY
Local Optimization Achieves Global Optimality in Multi-Agent Reinforcement Learning
Princeton University（普林斯顿大学）；Yale University（耶鲁大学）；Northwestern University（西北大学）
本文提出多智能体PPO算法，利用局部动作价值函数作为下降方向，在合作马尔可夫博弈中证明其以次线性速率收敛至全局最优，并扩展至离策略设置。
2023-05-08 cs.GT cs.LG cs.MA
Coordinated Proximal Policy Optimization
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）；Northwestern Polytechnical University（西北工业大学）
我们提出了协调的近端策略优化（CoPPO），一种算法，扩展了原来的近端策略优化（PPO）的多代理设置。其核心思想在于多个代理之间的策略更新过程中的步长的协调适应。我们证明了政策改进的单调性时，优化理论接地的联合目标，并推导出一组近似的基础上简化的优化目标。然后我们解释说，CoPPO中的这样一个目标可以实现代理之间的动态信用分配，从而缓解代理策略并发更新期间的高方差问题。最后，我们证明了CoPPO优于几个强大的基线，并与最新的多智能体PPO方法（即MAPPO）在典型的多智能体设置，包括合作矩阵游戏和星际争霸II微观管理任务的竞争力。
2021-11-07 cs.AI
Exploring Multi-Agent Reinforcement Learning for Unrelated Parallel Machine Scheduling
Vicomtech Foundation（维康科技基金会）；University of Naples "Federico II"（那不勒斯费德里科二世大学）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
本文使用多智能体强化学习（MARL）方法解决带设置时间和资源的无关并行机调度问题（UPMS），通过引入强化学习环境并比较单智能体与多智能体算法，验证了Maskable PPO和Multi-Agent PPO的有效性，并强调算法复杂性与可扩展性平衡的重要性。
2024-11-12 cs.AI cs.LG cs.MA
Reinforcement Learning from Hierarchical Critics
University of Tasmania（塔斯马尼亚大学）；University of Technology Sydney（悉尼科技大学）
在这项研究中，我们研究了使用全局信息来加快学习过程，并增加强化学习（RL）在竞争任务中的累积奖励。在行动者-批评者强化学习中，我们从两个层次上引入多个合作批评者，并提出了一种从层次批评者中进行强化学习（RLHC）算法。在我们的方法中，每个代理接收本地和全球的批评家关于竞争任务的价值信息，并访问多个合作的批评家在一个自上而下的层次结构。因此，每个代理不仅接收低级别的细节，而且还考虑从更高级别的协调，从而获得全局信息，以提高训练性能。然后，我们测试所提出的RLHC算法对基准算法，近端策略优化（PPO），在一个统一的环境中进行的网球和足球代理的比赛的两个实验方案。结果表明，RLHC在这两个竞争任务上都优于基准。
2020-03-01 cs.LG cs.MA stat.ML
CoRe-MARL: Cooperative Redistribution Under Unknown Dynamics Using Recurrent Multi-Agent Reinforcement Learning
North Carolina State University（北卡罗来纳州立大学）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
针对应急物资再分配中未知动态与独立决策问题，提出基于Dec-POMDP和循环MAPPO的合作多智能体框架，实现集中训练去中心化执行，有效缩小服务差距并提升最差区域服务。
2026-09-17 cs.AI cs.LG
Memory-Efficient Meta-Reinforcement Learning for Adaptive Safety-Critical Control in Adversarial Spacecraft Proximity Operations
MIT（麻省理工学院）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究利用元强化学习调整输入约束控制屏障函数的类K函数，比较三种循环网络架构和两种训练算法，发现Mamba与PPO组合在合作与非合作场景中均能提升任务完成率、安全性和燃料效率。
2026-06-17 cs.LG math.DS
Adaptive Opponent Policy Detection in Multi-Agent MDPs: Real-Time Strategy Switch Identification Using Running Error Estimation
University of Dhaka（达卡大学）
本文提出OPS-DeMo在线算法，通过动态误差衰减检测对手策略切换，并结合AOP库与响应策略库，提升多智能体强化学习在动态环境中的鲁棒性和决策能力。
2024-06-10 cs.AI cs.LG
Aggregate in the Advantage, Not the Ratio: A Canonical-Form Analysis of Cooperative Multi-Agent Policy Optimization
The Hong Kong University of Science and Technology（香港科技大学）
研究合作多智能体策略优化中聚合相邻智能体的问题，将设计选择形式化为支持矩阵，证明规范结构，得出聚合应在优势中按耦合邻域大小进行且保持每个智能体比率的设计原则。
2026-07-21 cs.LG cs.MA
Decentralized Policy Optimization
Peking University（北京大学）
合作多智能体强化学习中的分散学习或独立学习的研究已经有几十年的历史。最近的实证研究表明，独立的PPO（IPPO）可以获得良好的性能，接近甚至优于集中训练与分散执行的方法，在几个基准。然而，具有收敛保证的去中心化行动者-批评者仍然是开放的。在本文中，我们提出了\textit{decentralized policy optimization}（DPO），一个分散的行动者-评论家算法的单调改进和收敛保证。我们得到了一个新的分散代理的政策优化，使联合政策的单调改善，可以保证每个代理\textit{independently}优化代理。在实践中，这种分散代理可以实现两个自适应系数的政策优化在每个代理。经验上，我们比较DPO与IPPO在各种合作的多智能体任务，包括离散和连续的动作空间，完全和部分可观察的环境。实验结果表明，DPO在大多数任务中的表现优于IPPO，这为我们的理论结果提供了证据。
2022-11-06 cs.LG
FedMHAR: Federated Multimodal Human Activity Recognition using Multi-Agent Reinforcement Learning
Indian Statistical Institute Kolkata（加尔各答印度统计研究所）；Cornell University（康奈尔大学）
针对多模态HAR中传感器权重固定和联邦学习优化问题，提出基于MARL的集中式框架及联邦扩展FedMHAR，通过PPO智能体动态分配融合权重和BiFL-PPO双向优化，在MEx和UTD数据集上取得更高准确率并降低成本。
2026-10-06 cs.AI
Self-Supervised On-Policy Reinforcement Learning via Contrastive Proximal Policy Optimisation
InstaDeep；AIMS；University of Stellenbosch（斯特伦博斯大学）
本文提出CPPO算法，通过对比性Q值直接优化策略优势，无需奖励函数或回放缓冲区，在连续和离散环境中均表现出色，超越现有CRL基线并在多项任务中达到与PPO相当的性能。
2026-05-13 cs.AI cs.LG
Light Aircraft Game : Basic Implementation and training results analysis
Department of Computer Science, Peking University, Beijing, China（计算机科学系，北京大学，北京，中国）
该研究在LAG多智能体作战环境中评估HAPPO和HASAC两种强化学习算法，发现二者分别适配复杂导弹作战与简单无武器协调场景，为多智能体算法选型提供参考。
2025-06-17 cs.LG cs.MA
Is Independent Learning All You Need in the StarCraft Multi-Agent Challenge?
University of Oxford（牛津大学）；Snap Inc.（森宝公司）；NVIDIA（英伟达公司）
在\emph{centralized training with decentralized execution}环境中，最近开发的合作多智能体强化学习方法涉及估计集中式联合价值函数。在本文中，我们证明，尽管其各种理论上的缺点，独立PPO（IPPO），独立学习的形式，其中每个代理简单地估计其本地价值函数，可以执行一样好或更好地比国家的最先进的联合学习方法流行的多代理基准套件SMAC的超参数调整。我们还比较了IPPO的几个变种，结果表明，IPPO的强大性能可能是由于它的鲁棒性，某些形式的环境非平稳性。
2020-11-18 cs.AI
Empirical Study on Robustness and Resilience in Cooperative Multi-Agent Reinforcement Learning
State Key Laboratory of Complex & Critical Software Environment（复杂与关键软件环境国家重点实验室）；Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Institute of Artificial Intelligence, Peking University（北京大学人工智能研究院）；Institute of data space, Hefei Comprehensive National Science Center（合肥综合国家科学中心数据空间研究院）；Nanyang Technological University（南洋理工大学）
通过82,620次实验，系统评估合作MARL在多种不确定性下的鲁棒性与韧性，发现优化合作在轻度扰动下有益，但超参数调优（如早停、高学习率）对构建可信赖系统至关重要。
2025-10-23 cs.AI cs.LG cs.MA
VER: Scaling On-Policy RL Leads to the Emergence of Navigation in Embodied Rearrangement
Georgia Institute of Technology（佐治亚理工学院）；Meta AI；Google Atlanta（谷歌亚特兰大）
我们提出了可变体验推出（VER），这是一种在异构环境（不同的环境需要非常不同的时间来生成推出）中有效地扩展批量策略强化学习的技术，用于驻留在许多机器上的许多GPU。VER结合了同步和异步策略RL方法（分别为SyncOnRL和AsyncOnRL）的优点，并模糊了它们之间的界限。VER从策略经验中学习（如SyncOnRL），并且没有同步点（如AsyncOnRL）。VER在逼真的3D仿真环境中的广泛的具身导航和移动操作任务中导致显著和一致的加速。具体而言，对于Habitat 1.0中的PointGoal导航和ObjectGoal导航，VER比DD-PPO（当前最先进的分布式SyncOnRL）快60 - 100%（1.6 - 2倍加速），具有类似的样本效率。对于移动操作任务（打开冰箱/橱柜，拾取/放置物体），Habitat 2.0 VER在1个GPU上比DD-PPO快150%（2.5倍加速），在8个GPU上比DD-PPO快170%（2.7倍加速）。与SampleFactory（目前最先进的AsyncOnRL）相比，VER在1个GPU上的速度与其相当，在8个GPU上的速度快70%（1.7倍加速），具有更好的样本效率。我们利用这些加速来训练连锁技能，以完成家庭助理基准（HAB）中的GeometricGoal重排任务。我们发现，在表面上不需要导航的技能中，导航出现了令人惊讶的现象。具体来说，拾取…
2022-10-11 cs.AI cs.CV cs.LG
Bridging MARL to SARL: An Order-Independent Multi-Agent Transformer via Latent Consensus
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
本文提出CMAT框架，通过Transformer编码器处理联合观测空间，利用层次决策机制生成共识向量，实现顺序无关的联合决策，优于传统MARL方法。
2026-07-28 cs.AI cs.LG cs.MA
Asynchronous Multi-Agent Reinforcement Learning for Efficient Real-Time Multi-Robot Cooperative Exploration
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tongji University（同济大学）；Shanghai Qi Zhi Institute（上海期智研究院）
针对真实多机器人协同探索中同步假设导致的效率低下问题，本文提出异步MARL框架ACE，扩展MAPPO并引入动作延迟随机化与团队规模无关的CNN策略，在仿真和真实环境中分别减少超10%探索时间并在Habitat中提升28%效率。
2023-04-11 cs.AI cs.RO
Cooperative Multi-Agent Reinforcement Learning for Low-Level Wireless Communication
UC Berkeley（加州大学伯克利分校）
传统的无线电系统严格地在OSI堆栈的较低级别上进行协同设计，以实现兼容性和效率。虽然这使得无线电通信能够取得成功，但它也引入了冗长的标准化过程并强加了无线电频谱的静态分配。研究界已经采取了各种举措，通过使频率划分更具动态性和建立灵活的无线电来取代静态无线电来解决人为频谱稀缺的问题。我们有理由相信，正如计算机视觉和控制通过引入机器学习而得到彻底改革一样，无线通信也可以通过利用类似的技术来提高无线网络的灵活性。在这项工作中，我们提出了以完全去中心化的方式发现两个代理之间从无到有的低级无线通信方案的问题作为强化学习问题。我们提出的方法使用策略梯度来学习最佳的双向通信方案，并显示出令人惊讶的复杂和智能的学习行为。我们提出了广泛的实验结果和分析我们的方法的保真度。
2018-01-14 cs.AI eess.SP
ERPPO: Entropy Regularization-based Proximal Policy Optimization
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出ERPPO算法，通过引入熵正则化项解决多维环境中多智能体强化学习的非平稳观测问题，提升目标定位的准确性和稳定性。
2026-05-13 cs.LG cs.RO
Language-Driven Coordination and Learning in Multi-Agent Simulation Environments
本文提出 LLM-MARL 框架，将大语言模型集成到多智能体强化学习中，通过 Coordinator、Communicator 和 Memory 模块动态生成子目标、促进通信并支持情景回忆，显著提升了多游戏环境中的胜率、协调与泛化能力。
2025-11-03 cs.AI cs.LG cs.MA
School of hard knocks: Curriculum analysis for Pommerman with a fixed computational budget
TCS Research（塔塔咨询服务研究部）；IIT Bombay（印度理工学院孟买分校）
Pommerman是一个混合合作/对抗多智能体环境，具有部分可观察性，有限或无通信，稀疏和延迟奖励以及限制性计算时间限制方面的挑战性特征。这使得强化学习（RL）方法的环境具有挑战性。在本文中，我们专注于开发一个课程，学习一个强大的和有前途的政策，在一个有限的计算预算的10万场比赛，从一个固定的基础政策（这本身是训练模仿嘈杂的专家政策）。从基本策略开始的所有RL算法都使用具有相同奖励函数的普通近端策略优化（PPO），它们之间的唯一区别是对手策略的混合和顺序。人们预计，从更简单的对手开始训练，然后逐渐增加对手的难度将有助于更快的学习，从而与从一开始就引入所有可用对手策略的基线相比，产生更强大的策略。我们测试了这一假设，并表明在有限的计算预算内，实际上更好的是“在艰难的学校学习”，即，几乎从一开始就反对所有可用的对手政策。我们还包括烧蚀研究，在那里我们研究修改弹药和炸弹爆炸强度的代理性能的基本环境属性的影响。
2021-02-24 cs.AI cs.LG cs.MA
Simplifying Deep Temporal Difference Learning
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of Oxford（牛津大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Institut de Ciències del Mar（海洋科学研究所）
本文提出PQN，一种无需目标网络和大型回放缓冲区的简化深度Q学习算法，利用LayerNorm正则化和向量化环境并行采样，在保持稳定性的同时，性能媲美复杂方法且速度提升高达50倍。
2025-04-21 cs.LG
Teaching Large Language Models to Reason with Reinforcement Learning
Meta；Georgia Institute of Technology（佐治亚理工学院）；UC Berkeley（加州大学伯克利分校）；StabilityAI（StabilityAI公司）
该研究对比了多种反馈学习算法对大语言模型推理能力的提升效果，发现专家迭代表现最优且样本复杂度与PPO相近，同时揭示了SFT的指标权衡与RL的同步提升特性，为RLHF及LLM微调的RL应用提供参考。
2024-03-07 cs.LG
The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning
Computer Science Department, University of Virginia（弗吉尼亚大学计算机科学系）；Princeton Language and Intelligence (PLI), Princeton University（普林斯顿大学语言与智能研究所）
本研究分解强化学习信号，发现仅用负样本训练（惩罚错误响应）即可有效提升LLM推理性能，优于或匹敌PPO/GRPO，并提出加权NSR的简单变体进一步改进Pass@k。
2025-10-25 cs.CL cs.LG
Maximum Entropy On-Policy Actor-Critic via Entropy Advantage Estimation
School of Electrical Engineering（电气工程学院）；Korea University（高丽大学）
本文提出一种将熵目标从MaxEnt RL目标中分离的简单方法，解决了同策略演员-评论家设置中熵奖励管理困难的问题，在MuJoCo和Procgen任务中提升了PPO和TRPO的性能与泛化能力。
2024-07-25 cs.AI cs.LG
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
Regularization of the policy updates for stabilizing Mean Field Games
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Technology Innovation Institute（技术创新研究所）
本文针对大规模多智能体强化学习中的非平稳性问题，提出基于平均场策略近端更新的MF-PPO算法，以替代传统平滑技术，并在OpenSpiel框架中验证了其稳定学习的有效性。
2023-04-13 cs.AI
UAV aided Metaverse over Wireless Communications: A Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）；University of North Texas（北德克萨斯大学）
Metaverse有望在5G高数据速率通信技术的支持下，创造一个与现实紧密相连的虚拟世界，为用户提供身临其境的体验。物理世界中的大量数据需要同步到虚拟世界，为用户提供沉浸式体验，并且将更多用户纳入Metaverse对覆盖率提出更高要求。然而，5G信号遭受严重衰减，这使得维持相同覆盖范围的成本更高。无人机（UAV）是未来实现Metaverse作为低成本和高移动性通信设备平台的一种有前途的候选技术。本文提出了一种基于最近策略优化（PPO）的双智能体协同强化学习方法，用于无人机的信道分配和轨迹控制，实现从物理世界到虚拟世界的数据收集和同步，经济地扩大Metaverse服务的覆盖范围。仿真结果表明，我们提出的方法是能够实现更好的性能相比，基准方法。
2023-01-04 cs.LG cs.SY eess.SY
Multi-objective Reinforcement learning from AI Feedback
提出MORLAIF，将偏好建模按毒性、事实性等原则拆分并通过标量化组合奖励，实验证明其优于标准RLAIF且支持以小模型对齐大模型。
2024-06-12 cs.LG
Random Policy Valuation is Enough for LLM Reasoning with Verifiable Rewards
Hong Kong University of Science and Technology（香港科学与技术大学）；Kuaishou Technology（快手科技）；StepFun
该研究将数学推理 RLVR 建模为树状有限时域 MDP，证明固定均匀随机策略的 Q 值即可恢复最优动作，并提出极简算法 ROVER，在质量与多样性上超越复杂方法。
2025-09-29 cs.AI cs.LG
Mirror Learning: A Unifying Framework of Policy Optimisation
University of Oxford（牛津大学）
本文提出镜像学习这一统一理论框架，为TRPO和PPO等一大类算法提供理论保证，表明其经验成功源于理论性质而非近似类比，从而为探索理论上可靠的新型强化学习算法开辟了新方向。
2024-11-19 cs.AI cs.LG
Multiagent Model-based Credit Assignment for Continuous Control
University of Oxford（牛津大学）
深度强化学习（RL）最近在机器人连续控制任务中显示出巨大的前景。尽管如此，在这方面的先前研究集中在集中式学习设置上，这在很大程度上依赖于机器人所有组件之间的通信可用性。然而，由于延迟要求、有限的功率预算和安全问题，现实世界中的代理通常以分散的方式运行，而没有通信。通过制定机器人组件作为一个系统的分散代理，这项工作提出了一个分散的多智能体强化学习框架的连续控制。为此，我们首先开发了一个合作的多智能体PPO框架，允许在训练过程中进行集中优化，在执行过程中进行分散操作。然而，该系统只接收不属于每个代理的全局奖励信号。为了解决这个问题，我们进一步提出了一个通用的博弈论信用分配框架，计算代理特定的奖励信号。最后，我们还将基于模型的RL模块纳入我们的信用分配框架，这导致样本效率显着提高。我们证明了我们的框架对Mujoco运动控制任务的实验结果的有效性。有关演示视频，请访问：https://youtu.be/gFyVPm4svEY。
2021-12-27 cs.AI cs.RO
Muti-Agent Proximal Policy Optimization For Data Freshness in UAV-assisted Networks
Mohammed VI Polytechnic University（穆罕默德六世理工大学）
无人机（UAV）被视为在无线通信网络中执行广泛任务的有前途的技术。在这项工作中，我们考虑部署一组无人机来收集物联网设备生成的数据。具体而言，我们专注于收集的数据具有时间敏感性的情况，保持其及时性至关重要。我们的目标是优化设计无人机的轨迹和访问的物联网设备的子集，如全球更新周期（AoU）最小化。为此，我们制定了一个混合整数非线性规划（MINLP）的时间和服务质量的约束下研究的问题。为了有效地解决由此产生的最优化问题，我们研究了合作多智能体强化学习（MARL）框架，并提出了一种基于流行的策略强化学习（RL）算法：策略邻近优化（PPO）的RL方法。我们的方法利用了集中式训练分散执行（CTDE）框架，在该框架中，无人机在训练集中式价值函数的同时学习其最佳策略。我们的仿真结果表明，与传统的非策略强化学习方法相比，所提出的MAPPO方法将全局AoU降低了至少1/2。
2023-03-15 cs.LG math.OC
Chebyshev Policies and the Mountain Car Problem: Reinforcement Learning for Low-Dimensional Control Tasks
University of Freiburg（弗赖堡大学）
本文解析求解山地车问题，推导最优控制，并引入切比雪夫策略作为通用策略类，在低维控制任务中显著优于神经网络。
2026-08-06 cs.LG
UBCL: A Reinforcement Learning Framework for Controllable and Diverse Player Behaviors
Boğaziçi University（博雅奇大学）；Turkish Aerospace（土耳其航空航天）
本文提出了一种基于PPO的多智能体强化学习框架，通过可控的行为空间实现多样化玩家行为，适用于自动化测试和游戏平衡。
2026-09-11 cs.LG
A High-Throughput Compute-Efficient POMDP Hide-And-Seek-Engine (HASE) for Multi-Agent Operations
本文提出一种高效的Dec-POMDP引擎，通过C++架构和优化技术实现高吞吐量，验证了其在多智能体协作策略训练中的性能和通用性。
2026-04-29 cs.LG cs.MA cs.PF
Quantum-Inspired Multi Agent Reinforcement Learning for Exploration Exploitation Optimization in UAV-Assisted 6G Network Deployment
Intelligent Knowledge City（智能知识城）
本文提出量子启发的多智能体强化学习框架，用于优化UAV辅助6G网络部署中的探索利用权衡，通过整合量子优化技术提升样本效率和收敛速度。
2025-11-25 cs.AI math.OC
A Simple, Solid, and Reproducible Baseline for Bridge Bidding AI
Kyoto University（京都大学）；ATR；LY Corporation（LY公司）
本文提出一种简单可复现的桥牌叫牌 AI 基线，通过恰当组合现有方法，在对抗 WBridge5 时超越现有最先进方法，并开源代码与模型。
2024-06-14 cs.AI cs.GT cs.LG
SeqPO-SiMT: Sequential Policy Optimization for Simultaneous Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Bytedance（字节跳动）；Stanford University（斯坦福大学）
提出SeqPO-SiMT框架，将同声传译视为顺序决策问题，通过定制奖励优化策略，在六个数据集上显著提升翻译质量并降低延迟，其7B模型效果媲美高性能离线翻译。
2025-05-27 cs.AI cs.CL cs.LG
Epidemic Decision-making System Based Federated Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
针对疫情数据样本有限、隐私敏感的问题，提出联邦强化学习疫情决策系统，联合多省数据协同训练，实验证明其性能、回报和收敛速度更优，并发现A2C最适合该场景。
2023-11-03 cs.IR cs.LG
Today Me, Tomorrow Thee: Efficient Resource Allocation in Competitive Settings using Karma Games
ETH Zurich（苏黎世联邦理工学院）
我们提出了一种新型的协调机制，多个代理之间的分配有限的资源，如分配时隙通过一个十字路口。我们考虑这样一种设置，其中我们将一个计数器与每个代理相关联，我们称之为业力值，并且其中存在一个已建立的机制来基于代理交换业力来决定资源分配。这个想法是，代理人可能倾向于通过使用今天的资源，以换取业力，这将使他们更容易在未来要求资源使用。为了了解这样的系统是否可以健壮地工作，我们只设计协议，而不是代理的策略。我们采取博弈论的角度来看，并计算相应的策略的纳什均衡的游戏。我们发现，令人惊讶的是，纳什均衡的社会的自利代理人是非常接近的社会福利集中合作的解决方案。这些结果表明，许多资源分配问题可以有一个简单的，优雅的，和强大的解决方案，假设一个因果报应会计机制的可用性。
2019-07-22 cs.AI cs.GT cs.MA
Reinforcement Learning Fine-Tunes a Sparse Subnetwork in Large Language Models
该研究发现RL微调大语言模型时仅更新5-30%权重的稀疏子网络，该现象跨算法和模型普遍存在且子网络结构部分可迁移，仅微调该子网络即可达到全量微调性能，为高效RL方法和稀疏性研究提供新视角。
2025-07-28 cs.AI cs.LG
Diffusion Policy Policy Optimization
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Toyota Research Institute（丰田研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 DPPO 框架，用强化学习策略梯度微调基于扩散的机器人控制策略，实现稳定高效探索，并在仿真与真实机械臂零样本操作中验证优势。
2024-12-09 cs.LG cs.RO
Reinforcement Learning Finetunes Small Subnetworks in Large Language Models
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
强化学习在大型语言模型中通过微调小型子网络显著提升性能，且该子网络更新稀疏性源于数据分布和正则化技术的影响。
2025-12-18 cs.LG
Multi-Agent Reinforcement Learning for Intraday Operating Rooms Scheduling under Uncertainty
Department of Mathematics, National University of Singapore（新加坡国立大学数学系）；Department of Mathematics & Risk Management Institute & Center for Quantitative Finance, National University of Singapore（新加坡国立大学数学系及风险管理研究所及量化金融中心）；Department of Mathematics and Computer Science, Freie Universität Berlin（柏林自由大学数学与计算机科学系）；Department of Network Optimization, Zuse Institute Berlin（柏林Zuse研究所网络优化部）；Faculty of Mathematics and Natural Sciences, Technische Universität Berlin（柏林技术大学数学与自然科学学院）；Department of Applied Algorithmic Methods, Zuse Institute Berlin（柏林Zuse研究所应用算法方法部）
本文提出基于多代理强化学习的手术室调度方法，通过集中训练和分布式执行策略，有效应对不确定性，提升调度效率和及时性。
2025-12-04 cs.LG
Energy-Based Learning for Cooperative Games, with Applications to Valuation Problems in Machine Learning
Tencent AI Lab（腾讯人工智能实验室）；ETH Zürich（苏黎世联邦理工学院）
在许多机器学习应用中，估值问题，如特征解释、数据估值和模型估值，变得越来越重要。这类问题通常由著名的博弈论准则来解决，例如Shapley值或Banzhaf值。在这项工作中，我们提出了一种新的基于能量的治疗合作游戏，最大熵框架的理论依据。令人惊讶的是，通过对基于能量的模型进行变分推理，我们通过进行一步不动点迭代来最大化平均场ELBO目标，从而恢复了各种博弈论估值标准。这一观察也验证了现有标准的合理性，因为它们都试图通过平均场方法来解耦参与者之间的相关性。通过运行多步不动点迭代，我们实现了一个轨迹的估值，其中我们定义的估值与最好的可想象的解耦误差为变分指数。我们证明了在一致初始化下，这些变分赋值都满足一组博弈论公理。我们的实验表明，建议的变分指数享有较低的解耦误差和更好的评价性能在某些合成和现实世界的估值问题。
2022-05-12 cs.LG
Gaussian Process Decentralized Data Fusion Meets Transfer Learning in Large-Scale Distributed Cooperative Perception
National University of Singapore（新加坡国立大学）
本文提出了新的高斯过程分布式数据融合算法，利用以代理为中心的支持集的概念，分布式合作感知大规模的环境现象。为了克服现有工作中规模的限制，我们提出的算法允许每个移动传感代理选择不同的支持集，并在执行期间动态切换到另一个支持集，以将其自己的数据封装到本地摘要中，也许令人惊讶的是，该摘要仍然可以与其他代理的本地摘要（即，基于他们当前对支持集的选择）转换成全局一致的概要，以用于预测该现象。为了实现这一目标，我们提出了一种新的迁移学习机制，一个团队的代理能够共享和传输信息封装在一个摘要的基础上的支持集，利用不同的支持集，一些损失，可以在理论上界定和分析。为了缓解在多个迁移学习实例中积累信息丢失的问题，我们提出了一种新的信息共享机制，将其纳入我们的算法中，以实现记忆高效的惰性迁移学习。在真实数据集上的实验结果表明，该算法的性能优于现有的方法。
2017-11-16 cs.LG cs.MA cs.RO
Permutation Robustness Is Not Enough: Action Collapse in Multi-Agent Transformer Policies
University of California, Merced（加州大学默塞德分校）
本研究揭示多智能体Transformer策略在排列鲁棒性评估中的陷阱，提出结合动作坍缩诊断，并发现弱等变性正则化可在保持动作多样性的同时提升鲁棒性。
2026-10-05 cs.LG cs.MA cs.RO
