PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对现有智能体评估未测试策略合规性的缺口,提出PROBE算法训练审计员,通过多轮工具介导对话探测违规,实验显示其能发现更多违规,为自动化策略审计提供可扩展路径。
2026-10-16 cs.AI
Analyzing and Internalizing Complex Policy Documents for LLM Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
提出 CC-Gen 基准生成器评估智能体策略内化,并设计 CAP-CPT 方法通过分类解析和自回归预训练,显著降低计算开销并提升复杂策略下的推理性能。
2025-10-13 cs.AI
Coordinated Pandemic Control with Large Language Model Agents as Policymaking Assistants
The Hong Kong University of Science and Technology, Hong Kong(香港科学与技术大学);The Hong Kong University of Science and Technology (Guangzhou), China(香港科学与技术大学(广州));Zhejiang University, China(浙江大学);University of Macau, Macau(澳门大学)
本文提出利用大语言模型多代理系统进行协调流行病防控,通过模拟和闭环过程减少感染和死亡率。
2026-01-14 cs.AI
Communication Policy Evolution for Proactive LLM Agents
Shanghai Jiao Tong University(上海交通大学);OPPO Research Institute(OPPO研究院)
针对用户与智能体间信息不对称问题,形式化通信策略,提出基于文本和UI的策略,并引入自演化框架CPE,通过提示优化提升任务成功率。
2026-06-15 cs.AI
Autoformalization of Agent Instructions into Policy-as-Code
提出自动形式化流水线,通过LLM生成-批评循环将智能体提示和自然语言策略转化为Cedar策略语言,在MedAgentBench上比手工编码覆盖更多规范。
2026-06-26 cs.AI cs.CR
EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents
KAIST(韩国科学技术院)
EvolveTrade提出自进化框架,通过策略代理基于决策轨迹和投资组合反馈迭代优化交易代理的系统提示策略,在多个市场机制下提升夏普比率和累计收益,增强工具使用适应性。
2026-09-17 cs.AI cs.CL
Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Nanjing Institute of Software Technology(南京软件技术学院);Nanjing University of Posts and Telecommunications(南京邮电大学);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Technology(北京工业大学);Nanjing University of Information Science and Technology(南京信息工程大学)
本文提出Agent-Pro,通过策略级反思与深度优先搜索优化,使LLM智能体在动态交互场景中持续学习进化,并在Blackjack和Texas Hold'em中超越基线模型。
2024-06-06 cs.AI cs.CL
Solver-Aided Verification of Policy Compliance in Tool-Augmented LLM Agents
University of Washington(华盛顿大学)
本文提出一种基于SMT求解器的框架,用于确保工具增强大语言模型代理在工具使用上的政策合规性,通过将自然语言政策转化为形式逻辑约束,并在运行时检查工具调用以防止违规。
2026-03-20 cs.AI cs.SE
NLPG: Natural-Language Policy Gradients for Self-Evolving Language Agents
Wuhan University(武汉大学)
提出自然语言策略梯度(NLPG),一种外部策略记忆方法,通过诊断执行轨迹并将失败转化为局部自然语言修正,在不改变参数或结构的情况下改进冻结的智能体,在六个基准上平均超越最强基线8.71个百分点。
2026-09-29 cs.AI cs.CL
HarmonyGuard: Toward Safety and Utility in Web Agents via Adaptive Policy Enhancement and Dual-Objective Optimization
Zhejiang University(浙江大学);Xiamen University(厦门大学);Shanghai Jiao Tong University(上海交通大学)
针对Web智能体在长序列任务中安全与效用难以兼顾的问题,提出多智能体框架HarmonyGuard,通过自适应策略增强与双目标优化,将策略合规性提升38%,任务完成度提升20%。
2025-08-06 cs.AI cs.CL
PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails
Fudan University(复旦大学);Tongji University(同济大学);Virtue AI(美德人工智能公司);The Chinese University of Hong Kong(香港中文大学);University of Chicago(芝加哥大学);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究策略自适应图像护栏问题,提出PolicyShiftGuard方法,结合随机策略SFT和边界对策略适应进行两阶段训练,在PolicyShiftBench基准测试中显著提升性能,消融实验验证关键因素。
2026-07-08 cs.AI cs.CL cs.CV
Multi-agent Policy Optimization with Approximatively Synchronous Advantage Estimation
Xi’an Jiaotong University(西安交通大学)
协作多智能体任务要求智能体推断出自己的贡献与共享的全局奖励,称为信用分配的挑战。基于策略的多智能体强化学习解决这一挑战的一般方法为个体智能体引入微分价值函数或优势函数。在多智能体系统中,需要对不同智能体的策略进行联合评估。为了同步更新策略,这样的价值函数或优势函数也需要同步求值。然而,在现有的方法中,价值函数或优势函数使用异步评估的反事实联合行动,从而遭受自然的估计偏差。在这项工作中,我们提出了近似同步优势估计。我们首先推导出边际优势函数,从单智能体优势函数扩展到多智能体系统。此外,我们引入了一个策略近似的同步优势估计,并打破了多智能体的策略优化问题分解成多个子问题的单智能体的策略优化。我们的方法相比,基线算法的星际争霸多智能体的挑战,并显示出最好的性能上的大多数任务。
2021-05-08 cs.AI cs.LG
Boolean Decision Rules for Reinforcement Learning Policy Summarisation
IBM Research Ireland(IBM爱尔兰研究院);Trinity College Dublin(都柏林圣三一学院)
强化学习(RL)策略的可解释性仍然是一个具有挑战性的研究问题,特别是在安全背景下考虑RL时。理解RL策略的决策和意图提供了通过限制不良行为将安全纳入策略的途径。我们建议使用一个布尔决策规则模型来创建一个事后基于规则的摘要代理的政策。我们评估我们提出的方法,使用DQN代理培训的熔岩gridworld的实现,并表明,鉴于手工制作的功能表示这个gridworld,简单的通用规则,可以创建一个事后解释的摘要代理的政策。我们讨论了可能的途径,引入安全到RL代理的政策,通过使用由这个基于规则的模型所产生的规则作为对代理的政策施加的约束,以及讨论如何创建简单的规则摘要的代理的政策可能有助于在RL代理的调试过程。
2022-07-18 cs.AI cs.LG
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia(弗吉尼亚大学);Bar-Ilan University(巴伊兰大学)
多智能体强化学习(MARL)的进步使一系列令人兴奋的多智能体应用(如协作AI和自动驾驶)能够进行顺序决策。解释代理决策对于提高系统透明度,提高用户满意度和促进人类-代理协作至关重要。然而,现有的可解释的强化学习的工作主要集中在单智能体设置,不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL:(一)政策总结的代理合作和任务序列,和(ii)语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明,生成的解释显着提高用户的性能,并增加主观评分的指标,如用户满意度。
2022-05-23 cs.AI cs.LG
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University(比尔肯特大学)
体验重放机制允许代理多次使用体验。在以前的工作中,采样概率的过渡调整,根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此,经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而,随着策略和代理的价值函数的更新,转换的重要性级别动态地改变。此外,经验重放存储转换是由代理的先前策略生成的,其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新,这对代理是有害的。在本文中,我们开发了一种新的算法,批量优先经验重放通过KL分歧(KLPER),它优先考虑批量的过渡,而不是直接优先考虑每个过渡。此外,为了减少更新的关闭策略,我们的算法在一定数量的批次中选择一个批次,并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度,并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Learning Which Evidence-Seeking Decisions Matter: Calibrated Counterfactual Replay for Language Agents
stu.ahu.edu.cn(安徽大学)
提出CVT-RL算法,通过策略条件反事实贡献估计和可验证奖励约束,解决长周期语言智能体在推理和工具使用中的虚假证据链、信念漂移和捷径行为问题,在多个任务上提升成功率并降低作弊率。
2026-11-20 cs.AI cs.LG
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
在多智能体环境中,单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题,专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难:相互适应次优行为,我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先,代理利用策略梯度算法来学习能够实现多个目标的策略。其次,代理学习修改器策略,以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Offline Multi-Agent Reinforcement Learning via In-Sample Sequential Policy Optimization
Sun Yat-sen University(中山大学);Pengcheng Laboratory(鹏城实验室);Shanghai Innovation Institute(上海创新研究院);Meituan(美团)
针对离线多智能体强化学习中的分布外联合动作和次优收敛问题,提出顺序更新策略的 InSPO 算法,避免 OOD 动作并增强协调,理论保证单调改进与收敛于 QRE。
2024-12-18 cs.AI cs.LG
Adaptive Opponent Policy Detection in Multi-Agent MDPs: Real-Time Strategy Switch Identification Using Running Error Estimation
University of Dhaka(达卡大学)
本文提出OPS-DeMo在线算法,通过动态误差衰减检测对手策略切换,并结合AOP库与响应策略库,提升多智能体强化学习在动态环境中的鲁棒性和决策能力。
2024-06-10 cs.AI cs.LG
When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs
Oregon State University(俄勒冈州立大学);Pennsylvania State University(宾夕法尼亚州立大学);Adobe Inc.(Adobe公司);AG2AI, Inc.(AG2AI公司)
研究多智能体LLM工作流中端到端强化学习训练的效果,发现改进依赖于工作流、任务和规模,策略共享不提供统一稳定性而是重新分配失败模式。
2026-11-03 cs.AI cs.LG
Offline Policy Comparison under Limited Historical Agent-Environment Interactions
Lirio AI Research(Lirio人工智能研究院);Lirio, LLC(Lirio有限责任公司)
我们解决了政策评估的挑战,在现实世界中的应用强化学习系统,由于道德,实用或安全考虑,可用的历史数据是有限的。数据样本的这种受约束的分布往往导致有偏见的政策评估估计。为了弥补这一点,我们建议,而不是政策评估,应该执行政策比较,即排名的政策利益的价值的基础上,现有的历史数据。此外,我们提出了有限的数据估计(LDE)作为一个简单的方法来评估和比较政策,从少量的相互作用与环境。根据我们的理论分析,LDE被证明是统计上可靠的政策比较任务的历史数据的分布在温和的假设。此外,我们的数值实验比较的LDE其他政策评估方法的政策排名的任务,并证明其优势,在各种设置。
2021-06-07 cs.AI cs.LG
$K$-Level Policy Gradients for Multi-Agent Reinforcement Learning
Department of Computer Science, TU Darmstadt(图恩-达姆施塔特技术大学计算机科学系);Hessian Center for Artificial Intelligence (Hessian.ai)(黑森人工智能中心);German Research Center for AI (DFKI)(德国人工智能研究中心);Center for Cognitive Science, TU Darmstadt(图恩-达姆施塔特技术大学认知科学中心);Center for Artificial Intelligence and Data Science, University of Würzburg(弗赖堡大学人工智能与数据科学中心)
提出KPG方法,通过递归更新智能体策略以解决深度MARL中的协调失败问题,理论证明其单调收敛至局部纳什均衡,并在StarCraft II和多智能体MuJoCo中表现优异。
2025-09-15 cs.AI cs.LG
Score and Distribution Matching Policy: Advanced Accelerated Visuomotor Policies via Matched Distillation
Westlake University(西湖大学);Southwest University(西南大学);Zhejiang University(浙江大学);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(北京未来区块链与隐私计算高精尖创新中心);School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院)
针对扩散策略推理慢和一致性蒸馏误差问题,提出SDM Policy,通过score matching与distribution matching两阶段优化及双教师机制,将扩散策略转为单步生成器,实现6倍加速并保持最先进动作质量。
2024-12-19 cs.LG cs.RO stat.ML
Metric Policy Representations for Opponent Modeling
Peking University(北京大学)
在多智能体强化学习中,由于其他智能体的行为所导致的环境固有的非平稳性,使得智能体很难独立地学习到一个好的策略。处理非平稳性的一种方法是对手建模,通过这种方法,代理考虑到其他代理策略的影响。大多数现有的工作依赖于预测其他代理的行动或目标,或区分不同的政策。然而,这样的建模无法同时捕捉政策之间的相似性和差异性,从而无法提供足够的有用信息时,推广到看不见的代理。为了解决这个问题,我们提出了一个通用的方法来学习其他代理的政策表示,这样的政策之间的距离是故意反映的距离表示之间的距离,而政策的距离是从训练过程中的采样联合行动分布推断。我们的经验表明,代理条件的学习政策表示可以很好地推广到看不见的代理在三个多智能体任务。
2022-06-21 cs.AI cs.LG cs.MA
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);Princeton University(普林斯顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
本文将离线强化学习扩展到多智能体的情况下,一组网络代理与他们的邻居根据随时间变化的图进行通信,协同评估和改进的目标策略,同时遵循一个独特的行为策略。为此,本文开发了一个多智能体版本的时间差分学习的离线政策评估,并证明了收敛性下的线性函数逼近。然后,本文利用这一结果,结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法,开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Is Per-Agent Policy Composition Safe? Rethinking Successor-Feature Transfer in Cooperative Multi-Agent Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对多智能体强化学习中独立策略组合不安全的问题,提出MA-USFA分层方法,兼顾策略组合的安全性与灵活性,无需任务适配即可部署。
2026-08-13 cs.AI cs.LG cs.MA
Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL
Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学);Beijing Normal University(北京师范大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Sun Yat-sen University(中山大学)
协作多智能体强化学习(MARL)在网格世界和现实世界中的任务求解方面取得了快速的进展,在网格世界和现实世界中,智能体被赋予不同的属性和目标,从而导致整个多智能体任务的不同行为。在这项研究中,我们量化的代理的行为差异,并建立其与政策绩效通过{ \bf角色多样性},一个度量指标来衡量MARL任务的特点。我们从三个角度定义角色多样性:基于动作的,基于责任的,基于贡献的,以充分衡量一个多智能体任务。通过理论分析,我们发现MARL中的错误界可以分解为三个部分,这三个部分与角色多样性有很强的关系。分解后的因素可以在参数共享、通信机制和信用分配三个流行方向上对策略优化产生显著影响。主要的实验平台是基于{ \bf Multiagent Particle Environment(MPE)}和{ \bf The StarCraft Multi-Agent Challenge(SMAC)}。大量的实验表明,角色多样性可以作为多智能体协作任务特征的一个鲁棒度量,并有助于诊断策略是否适合当前的多智能体系统,以获得更好的策略性能。
2022-06-01 cs.AI cs.LG cs.MA
On Multi-Agent Deep Deterministic Policy Gradients and their Explainability for SMARTS Environment
University of Southern California(南加州大学)
多智能体RL或MARL是自动驾驶文献中的复杂问题之一,阻碍了当今全自动驾驶汽车的发布。几个模拟器在开始之后一直在迭代,以减轻自动驾驶中多个代理的复杂场景的问题。一个这样的模拟器-SMARTS,讨论了合作的多智能体学习的重要性。针对这个问题,我们讨论了两种方法-MAPPO和MADDPG,这是基于政策和政策外RL方法。我们将我们的结果与最先进的结果进行比较,并讨论了潜在的改进领域,同时讨论了这些方法与SMARTS环境中的航点结合的可解释性。
2023-01-20 cs.AI cs.CV cs.LG
Health-Informed Policy Gradients for Multi-Agent Reinforcement Learning
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Stanford University(斯坦福大学)
本文提出了一种定义的多个代理优化联合奖励函数的背景下,系统的健康。我们使用这个定义作为策略梯度算法中的信用分配项来区分个体代理对全局奖励的贡献。健康知情的信用分配,然后扩展到多代理变体的近端策略优化算法和粒子和多步行机器人环境,具有系统健康,冒险,半消耗性代理,连续动作空间,和部分可观察性的特点,证明。与不执行多代理信用分配的策略梯度方法相比,我们在学习性能上有了显着的提高。
2021-01-04 cs.AI cs.LG cs.MA
FACMAC: Factored Multi-Agent Centralised Policy Gradients
University of Oxford(牛津大学);Facebook AI Research(Facebook AI研究院);Delft University of Technology(代尔夫特理工大学)
我们提出了因子化多智能体集中式策略梯度(FACMAC),一种新的方法,在离散和连续的动作空间的合作多智能体强化学习。像MADDPG,一个流行的多代理演员批评的方法,我们的方法使用深确定性策略梯度学习政策。然而,FACMAC学习一个集中的,但分解的评论家,它结合每个代理效用到联合行动价值函数通过一个非线性单调函数,如在QMIX,一个流行的多代理Q-学习算法。然而,与QMIX不同的是,对critics的分解没有固有的约束。因此,我们还采用了非单调因子分解和经验表明,其代表性的能力增加,使它能够解决一些任务,不能用单片,或单调因子的批评。此外,FACMAC使用一个集中的策略梯度估计,优化整个联合行动空间,而不是优化每个代理的行动空间分别在MADDPG。这允许更协调的政策变化,并充分利用集中批评的好处。我们评估FACMAC的多智能体粒子环境的变体,一种新的多智能体MuJoCo基准,和一组具有挑战性的星际争霸II微观管理任务。实证结果表明,FACMAC的优越性能超过MADDPG和其他基线上的所有三个领域。
2021-05-07 cs.AI cs.LG stat.ML
Off-Policy Action Anticipation in Multi-Agent Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学)
针对大状态空间不可微博弈中现有高阶梯度方法效率低且性能差的问题,提出离策略动作预期框架OffPA2,通过动作预期实现学习预期,新方法在效率和性能上均优于现有方法。
2023-04-04 cs.AI cs.LG cs.MA
Sub-optimal Policy Aided Multi-Agent Reinforcement Learning for Flocking Control
Tsinghua University(清华大学)
群集控制是一个具有挑战性的问题,其中多个代理,如无人机或车辆,需要到达目标位置,同时保持群集并避免与障碍物的碰撞以及环境中代理之间的碰撞。多智能体强化学习在群集控制中取得了良好的效果。然而,基于传统的强化学习的方法需要相当数量的代理和环境之间的交互。提出一种次优策略辅助的多智能体强化学习算法(SPA-MARL),以提高样本效率。SPA-MARL直接利用可以手动设计或使用非学习方法求解的先验策略来帮助代理学习,其中策略的性能可能是次优的。SPA-MARL识别次优策略和自身之间的性能差异,然后如果次优策略更好,则模仿次优策略。我们利用SPA-MARL来解决植绒控制问题。基于人工势场的传统控制方法被用来生成次优策略。实验表明,SPA-MARL可以加快训练过程,并优于MARL基线和使用的次优策略。
2022-09-17 cs.AI cs.LG cs.MA
HCPO: Hierarchical Conductor-Based Policy Optimization in Multi-Agent Reinforcement Learning
针对协作式多智能体强化学习中联合策略因缺乏协调探索而受限的问题,提出基于指挥者的联合策略框架及HCPO算法,通过分层优化提升联合策略表达能力与探索效率,理论验证单调性,实验在多基准上优于基线。
2025-11-15 cs.LG
Directed Policy Gradient for Safe Reinforcement Learning with Human Advice
Vrije Universiteit Brussel(布鲁塞尔自由大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
许多目前部署的强化学习代理在与人类共享的环境中工作,无论是同事,用户还是客户。人们希望这些智能体能够适应人们的偏好,在他们的帮助下更快地学习,并在他们周围安全地行动。我们认为,目前大多数从人类反馈中学习的方法都是不安全的:事后奖励或惩罚代理人不能立即防止它做错事。在本文中,我们扩展了策略梯度,使其强大的外部指令,否则将打破从根本上的政策性质的策略梯度。我们的技术,定向策略梯度(DPG),允许教师或备份策略覆盖代理之前,它的行为不可取的,同时允许代理利用人类的建议或指令,以更快地学习。我们的实验表明,DPG使代理学习速度比基于奖励的方法快得多,同时需要一个数量级的建议。
2018-08-13 cs.AI cs.LG stat.ML
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学);Duke University(杜克大学);California Institute of Technology(加州理工学院)
我们研究了一个多智能体强化学习(MARL)问题,其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信,我们提出了一个局部化的政策迭代(LPI)算法,可证明学习一个接近全局最优的政策,只使用本地信息。特别是,我们表明,尽管限制每个代理的注意力,只有其$κ$跳邻域,代理能够学习的政策与最优性的差距,衰减多项式在$κ$。此外,我们展示了有限样本收敛的LPI的全局最优策略,明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Model-based Multi-agent Policy Optimization with Adaptive Opponent-wise Rollouts
Shanghai Jiao Tong University(上海交通大学)
研究了多智能体强化学习(MARL)中基于模型的方法。在MARL模型中定义了动态样本复杂度和对手样本复杂度,并对收益差异上界进行了理论分析。为了在整个学习过程中降低样本复杂度,降低上界,我们提出了一种新的分散的基于模型的MARL方法,称为自适应对手明智的推出策略优化(AORPO)。在AORPO中,每个代理建立其多代理环境模型,包括一个动力学模型和多个对手模型,并训练其政策与自适应顺应性明智的推出。在合理的假设下,我们进一步证明了AORPO的理论收敛性。竞争和合作任务的实验表明,AORPO可以实现改进的样本效率与比较的MARL方法的渐近性能。
2022-03-16 cs.AI cs.LG cs.MA
Descent-Guided Policy Gradient for Scalable Cooperative Multi-Agent Learning
National University of Singapore(新加坡国立大学)
本文提出Descent-Guided Policy Gradient方法,通过利用可微解析模型降低梯度方差,实现协作多智能体学习的可扩展性,验证了在200个智能体任务中收敛性能。
2026-09-29 cs.AI cs.LG cs.MA
On Learning Intrinsic Rewards for Policy Gradient Methods
University of Michigan(密歇根大学)
在许多顺序决策任务中,设计奖励函数来帮助RL代理有效地学习代理设计者认为好的行为是具有挑战性的。许多不同的配方的奖励设计问题,或其密切的变化,已经提出了文献。在本文中,我们建立在Singh等人的最优奖励框架之上,该框架将最优内在奖励函数定义为当被RL代理使用时实现优化任务指定或外在奖励函数的行为的函数。在这个框架中以前的工作已经表明,如何良好的内在奖励功能可以学习前瞻性搜索基于规划代理。是否有可能为学习代理学习内在奖励函数仍然是一个悬而未决的问题。在本文中,我们推导出一种新的算法学习的内在回报的政策梯度为基础的学习代理。我们比较的性能增强代理,使用我们的算法提供附加的内在奖励A2C为基础的政策学习者(雅达利游戏)和基于PPO的政策学习者(Mujoco域)与基线代理,使用相同的政策学习者,但只有外在的奖励。我们的研究结果表明,在大多数,但不是所有的域的性能提高。
2018-06-22 cs.AI cs.LG stat.ML
Polaris: A Gödel Agent Framework for Small Language Models through Experience-Abstracted Policy Repair
TCS Research, India(印度TCS研究)
Polaris通过经验抽象策略修复实现小型语言模型的Gödel代理框架,通过分析、策略形成、抽象和最小代码修补实现策略更新,提升模型在多个基准测试中的表现。
2026-06-25 cs.LG
JoyInside-VLM-Agent: Product-Conditioned Multimodal Policy Learning for Embodied Agents
该研究提出JoyInside-VLM-Agent,通过产品条件轨迹构建与分阶段策略学习开发,在BFCL v4等基准上优于多数基线,经四足机器人案例验证可实现具身智能体的相关任务。
2026-10-12 cs.AI cs.LG cs.RO
Agentic Policy Optimization via Instruction-Policy Co-Evolution
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组)
INSPO通过指令与策略的共演机制,动态优化指令以提升代理在多轮检索和推理任务中的性能,显著优于静态指令基线。
2026-01-31 cs.AI cs.CL cs.LG
Policy-focused Agent-based Modeling using RL Behavioral Models
RAND(兰德公司)
基于主体的模型(ABM)是政策分析的重要工具。ABM帮助分析师探索多主体决策环境中政策干预的紧急后果。但是,从ABM探索得出的推论的有效性取决于ABM代理人的行为模型的质量。代理行为模型的标准规范依赖于启发式决策规则或基于过去数据训练的回归。两种现有规范模式都有局限性。本文探讨了强化学习(RL)模型作为自适应,高性能和行为有效的代理决策模型在ABM中的价值。我们测试的假设,RL代理是有效的效用最大化代理政策ABMs。我们还解决了适应RL算法来处理多机构在游戏中的适应和扩展方法,从最近的文献。我们通过两个政策相关的ABM:少数人游戏ABM,和流感传播的ABM实验,评估这种基于RL的ABM代理的性能。我们在配备人工智能的ABM上进行了一些分析实验,例如探索群体中行为异质性的影响以及群体中同步的出现。实验表明,RL行为模型是有效的,在ABM代理人的奖励寻求或奖励最大化的行为。此外,RL行为模型可以学习,以超过默认的自适应行为模型在两个ABM检查。
2020-11-05 cs.AI cs.LG cs.MA
Heterogeneous Multi-Agent Reinforcement Learning via Mirror Descent Policy Optimization
Tarbiat Modares University(塔比阿特莫达勒斯大学)
针对异构协作 MARL 中智能体能力与策略不同的问题,提出 HAMDPO,利用多智能体优势分解和信赖域近似更新实现稳定单调改进,并在 MuJoCo、StarCraftII 上优于 HATRPO 与 HAPPO。
2023-08-13 cs.AI cs.LG cs.MA
Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients
University of Oxford(牛津大学)
策略梯度方法是解决多智能体强化学习问题的一种有吸引力的方法,因为它具有收敛性和在部分可观测场景下的鲁棒性。然而,在流行的星际争霸多智能体挑战赛(SMAC)基准测试中,最先进的策略梯度和基于值的方法之间存在显著的性能差距。在本文中,我们引入了半策略(SOP)训练作为一种有效的和计算效率高的方法来解决策略策略梯度方法的样本效率低下。我们增强了两个国家的最先进的策略梯度算法与SOP训练,表现出显着的性能改进。此外,我们表明,我们的方法在各种SMAC任务上的表现与最先进的基于值的方法一样好或更好。
2021-05-06 cs.LG cs.MA
Off-Policy Multi-Agent Decomposed Policy Gradients
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学)
多智能体策略梯度(MAPG)方法近年来得到了蓬勃发展。然而,有一个显着的性能差异之间的MAPG方法和国家的最先进的多代理价值为基础的方法。在本文中,我们调查的原因,阻碍了MAPG算法的性能,并提出了一个多代理分解的策略梯度方法(DOP)。该方法将价值函数分解的思想引入到多主体行动者-批评者框架中。基于这一思想,DOP支持有效的离策略学习,并解决了离散和连续动作空间中的集中-分散失配和信用分配问题。我们正式表明,DOP批评有足够的代表性能力,以保证收敛。此外,在星际争霸II微观管理基准和多智能体粒子环境上的实证评估表明,DOP显著优于最先进的基于值和基于策略的多智能体强化学习算法。演示视频可在https://sites.google.com/view/dop-mapg/上获得。
2020-10-04 cs.LG cs.MA stat.ML
Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Coordination by Multi-Critic Policy Gradient Optimization
School of Informatics, University of Leicester(莱斯特大学信息学院)
针对多智能体强化学习在无人机协同中存在的误差反向传播困难、忽略协作的问题,提出含多价值估计网络与新型优势函数的多评判器策略优化架构,实现稳定训练与最优协同。
2020-12-31 cs.AI cs.LG cs.RO
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University(杜克大学机械工程与材料科学系);Duke University(杜克大学)
在本文中,我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说,我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后,我们引入了一个额外的共识步骤,让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析,并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法,在这里的代理不共享有关他们的本地任务的信息,而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Imitating Opponent to Win: Adversarial Policy Imitation Learning in Two-player Competitive Games
Singapore Management University(新加坡管理大学);University of Oregon(俄勒冈大学)
最近对深度强化学习(RL)漏洞的研究表明,对手代理采用的对抗策略可以影响目标RL代理(受害者代理)在多代理环境中表现不佳。在现有的研究中,对抗性政策是直接训练的基础上与受害者代理的互动经验。这种方法有一个关键的缺点:从历史互动中获得的知识可能无法正确地推广到受害者代理的未探索的政策区域,这使得经过训练的对抗性政策的有效性大大降低。在这项工作中,我们设计了一个新的有效的对抗策略学习算法,克服了这一缺点。我们的新算法的核心思想是创建一个新的模仿者来模仿受害者代理的策略,而对抗策略不仅基于与受害者代理的交互,而且还基于模仿者的反馈来预测受害者的意图。通过这样做,我们可以利用模仿学习的能力,仅基于受害者的样本轨迹就可以很好地捕捉受害者策略的潜在特征。我们的受害者模仿学习模型不同于以前的模型,因为环境的动态由对手的策略驱动,并且在对抗策略训练过程中会不断变化。当对手的策略稳定时,我们给出了一个可证明的界来保证一个理想的模仿策略。我们通过让模仿者成为受害者的更强版本,进一步加强了我们的对抗性策略学习。最后,我们使用四个竞争激烈的MuJoCo游戏环境的广泛实验表明,我们提出的对抗性策略学习算法优于最先进的算法。
2022-10-30 cs.LG
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory(GRASP实验室);University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时,输入和控制空间的维数也会增加,这些方法的扩展性不好。为了解决这个问题,我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设,对于多代理设置,在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近,可以近似为一个单一的政策。有了这个简单的假设,我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Low-Rank Agent-Specific Adaptation (LoRASA) for Multi-Agent Policy Learning
University of Manchester(曼彻斯特大学)
针对多智能体强化学习中纯参数共享抑制智能体专业化的问题,提出LoRASA方法,通过在共享策略层附加低秩适配矩阵实现参数高效适配,在SMAC和MAMuJoCo基准上匹配或优于基线且降低开销,为MARL策略参数化提供新范式。
2025-02-08 cs.AI cs.LG cs.MA
A Decentralized Communication Policy for Multi Agent Multi Armed Bandit Problems
Sri Lanka Technological Campus(斯里兰卡理工学院);University of Peradeniya(佩拉德尼亚大学)
本文提出了一种新的政策,一组代理,单独以及集体,解决多武装土匪(MAB)问题。该策略仅依赖于代理通过自己的选项采样以及通过与邻居的通信获得的信息。选择政策是基于上置信度为基础(UCB)的战略,而提出的通信策略,迫使代理商与其他代理商,他们认为是最有可能探索比利用。整体策略显着优于一个独立的Erdens-Rényi(ER)图为基础的随机通信策略。该政策被证明是具有成本效益的通信方面,因此可以很容易地扩展到一个大型网络的代理。
2020-02-21 cs.LG stat.ML
Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies
本文提出CoSER方法,通过协调动作选择减少联合采样误差,提升多智能体强化学习中策略梯度算法的收敛可靠性。
2026-05-13 cs.LG
Rethinking Ratio-Based Trust Regions for Policy Optimization in Multi-Agent Reinforcement Learning
Northeastern University(东北大学);STR;University of California, Irvine(加州大学尔湾分校)
本文提出MARS方法,通过乘法对称几何屏障替代传统比率信任区域机制,提升多智能体策略优化性能。
2026-05-09 cs.LG
Asynchronous, Option-Based Multi-Agent Policy Gradient: A Conditional Reasoning Approach
Simon Fraser University(西蒙弗雷泽大学);Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司)
针对多机器人异步执行选项导致MAPG方法难以推导集中式策略的问题,提出一种条件推理方法,并在基于选项的多智能体合作任务中验证了其有效性。
2023-08-02 cs.AI cs.LG cs.MA