RecBayes: Recurrent Bayesian Ad Hoc Teamwork in Large Partially Observable Domains
INESC-ID & Técnico Lisboa(INESC-ID与里斯本大学高等技术学院);Delft University of Technology(代尔夫特理工大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出RecBayes,一种仅依赖观测的递归贝叶斯方法,用于部分可观测环境下的大规模临时团队协作,无需状态或队友动作,有效识别团队和任务并协助完成。
2025-06-18 cs.AI cs.LG cs.MA
Shapley Machine: A Game-Theoretic Framework for N-Agent Ad Hoc Teamwork
INFORMED-AI Hub University of Bristol, UK(INFORMED-AI Hub 英国布里斯托大学);Centre for AI Fundamentals University of Manchester, UK(人工智能基础研究中心 英国曼彻斯特大学);School of Engineering Mathematics and Technology University of Bristol, UK(工程数学与技术学院 英国布里斯托大学)
针对n智能体自组织团队协作中现有方法缺乏理论严谨性、信用分配模糊的问题,本文基于合作博弈论提出Shapley Machine强化学习算法,通过公理构造Shapley值实现信用分配,首次关联合作博弈论与强化学习概念,实验验证了其有效性与理论合理性。
2025-06-12 cs.GT cs.LG cs.MA
Generating Teammates for Training Robust Ad Hoc Teamwork Agents via Best-Response Diversity
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Edinburgh(爱丁堡大学)
本文提出一种优化最佳响应多样性(BRDiv)度量的自动化队友策略生成方法,通过基于收益兼容性衡量多样性,生成多样化训练队友,提升了即席团队合作智能体与未知队友协作时的鲁棒性和性能。
2023-05-24 cs.AI cs.LG
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology(威迪亚西里梅迪科学技术研究所)
特设团队合作问题描述的情况下,一个代理人必须与以前看不见的代理人合作,以实现一个共同的目标。为了使代理在这些场景中取得成功,它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为,将合作技能实现到代理中。然而,在复杂的领域,领域知识可能是不可用的。因此,如何从数据中直接学习合作技能是值得探讨的。在这项工作中,我们应用Meta强化学习(元RL)制定的背景下,特设团队合作的问题。我们的实证结果表明,这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况:社会顺应性和语言解释。(This是扩展抽象版本的全文。)
2021-11-05 cs.AI cs.LG cs.MA
Unsupervised Learning for Asynchronous Resource Allocation in Ad-hoc Wireless Networks
University of Pennsylvania(宾夕法尼亚大学);Intel Labs(英特尔实验室)
我们考虑异步无线网络环境下的最优资源分配问题。在没有明确模型知识的情况下,设计了一种基于聚合图神经网络(Agg-GNNs)的无监督学习方法。根据每个网络节点上的本地化聚合信息结构,该方法可以在本地实现的同时全局地和异步地学习。我们捕捉到的激活模式建模为每个节点的特性和训练基于策略的资源分配方法的复杂性。我们还提出了一个置换不变性的属性,这表明训练的Agg-GNN的可转移性。最后,我们通过数值模拟与基线方法相比,验证了我们的策略。
2020-11-05 cs.LG cs.NI eess.SP
Learning Complex Teamwork Tasks Using a Given Sub-task Decomposition
University of Edinburgh(爱丁堡大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Heriot-Watt University(赫瑞瓦特大学)
提出基于专家子任务分解的多智能体强化学习方法,通过子团队训练、合并与微调高效解决复杂任务,并改进现有actor-critic算法以克服朴素实现的缺陷。
2024-02-15 cs.AI cs.LG cs.MA
ReCollab: Retrieval-Augmented LLMs for Cooperative Ad-hoc Teammate Modeling
Department of Electrical and Computer Engineering, University of Texas at San Antonio(电子与计算机工程系,德克萨斯大学圣安东尼奥分校)
ReCollab通过检索增强生成技术提升即兴团队合作中队友行为建模的适应性与准确性。
2025-12-05 cs.AI cs.LG cs.MA
Non-local Policy Optimization via Diversity-regularized Collaborative Exploration
The Chinese University of Hong Kong(香港中文大学)
传统的强化学习(RL)算法通常由单个智能体独立学习来解决任务。因此,智能体只能探索状态-动作空间的有限部分,而学习到的行为与智能体先前的经验高度相关,使得训练容易陷入局部最小值。在这项工作中,我们赋予RL团队合作的能力,并提出了一种新的非局部策略优化框架,称为多样性正则化协作探索(DiCE)。DiCE利用一组异构代理同时探索环境并共享收集的经验。并设计了一个正则化机制,以保持团队的多样性,调节探索。我们实现的框架,在政策和关闭政策的设置和实验结果表明,DiCE可以实现实质性的改善,在MuJoCo运动任务的基线。
2020-06-14 cs.LG stat.ML
Semi-Supervised Imitation Learning of Team Policies from Suboptimal Demonstrations
Rice University(莱斯大学)
我们提出了贝叶斯团队模仿学习器(BTIL),一个模仿学习算法来模拟在马尔可夫域中执行顺序任务的团队行为。与现有的多智能体模仿学习技术相比,BTIL明确建模和推断团队成员随时间变化的心理状态,从而使分散的团队政策的学习从次优团队合作的示范。此外,为了允许从小数据集进行样本和标签有效的策略学习,BTIL采用贝叶斯观点,并且能够从半监督演示中学习。我们展示和基准的合成多智能体任务的性能,以及一个新的数据集的人类代理团队合作的BTIL。我们的实验表明,尽管团队成员的心理状态(随时间变化和潜在的不一致)对他们的行为的影响,BTIL可以成功地学习团队政策的演示。
2022-09-20 cs.AI cs.LG cs.MA
Post-Hoc Robustness for Model-Based Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
提出一种在推理时利用学习模型和名义策略进行鲁棒策略改进的后验鲁棒化方法,通过对抗性展开的模型预测控制提升鲁棒性,无需额外训练神经网络。
2026-06-02 cs.AI cs.LG
Learning Ad Hoc Network Dynamics via Graph-Structured World Models
Department of Computer Engineering, Middle East Technical University, Ankara, Turkiye(中东部技术大学计算机工程系);Graduate School of Informatics, Middle East Technical University, Ankara, Turkiye(中东部技术大学信息学院)
本文提出G-RSSM模型,通过图结构学习无线网络动态,应用于聚类任务,展示在不同规模网络中有效维持连通性。
2026-04-16 cs.LG cs.MA cs.NI
Boolean Decision Rules for Reinforcement Learning Policy Summarisation
IBM Research Ireland(IBM爱尔兰研究院);Trinity College Dublin(都柏林圣三一学院)
强化学习(RL)策略的可解释性仍然是一个具有挑战性的研究问题,特别是在安全背景下考虑RL时。理解RL策略的决策和意图提供了通过限制不良行为将安全纳入策略的途径。我们建议使用一个布尔决策规则模型来创建一个事后基于规则的摘要代理的政策。我们评估我们提出的方法,使用DQN代理培训的熔岩gridworld的实现,并表明,鉴于手工制作的功能表示这个gridworld,简单的通用规则,可以创建一个事后解释的摘要代理的政策。我们讨论了可能的途径,引入安全到RL代理的政策,通过使用由这个基于规则的模型所产生的规则作为对代理的政策施加的约束,以及讨论如何创建简单的规则摘要的代理的政策可能有助于在RL代理的调试过程。
2022-07-18 cs.AI cs.LG
Towards a more efficient computation of individual attribute and policy contribution for post-hoc explanation of cooperative multi-agent systems using Myerson values
Artificial and Natural Intelligence Toulouse Institute (ANITI)(图卢兹人工与自然智能研究所);University of Toulouse(图卢兹大学);ISAE-Supaero(法国高等航空航天学院);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所);Research Center for Information and Communications Technologies of the University of Granada (CITIC-UGR)(格拉纳达大学信息与通信技术研究中心);University of Granada(格拉纳达大学)
对于战略家、决策者和体育教练来说,对团队中一个代理人的全球重要性进行定量评估就像黄金一样有价值。然而,检索这些信息并不是微不足道的,因为在合作任务中,很难将个人的表现与整个团队的表现分开。此外,代理人的作用与其个人属性之间的关系并不总是很清楚。在这项工作中,我们设想的Shapley分析的应用研究代理政策和属性的贡献,把他们放在平等的基础上。由于计算复杂性是NP-难的,并与可转移效用联盟博弈中的参与者数量呈指数级关系,因此我们利用关于博弈规则的先验知识来约束图上参与者之间的关系。因此,我们提出了一种方法来确定一个层次的知识图谱的代理的政策和功能的多Agent系统。假设系统的模拟器是可用的,图形结构允许利用动态规划以更快的方式评估重要性。我们在一个案例证明环境中测试了所提出的方法,该环境部署了硬编码策略和通过深度强化学习获得的策略。所提出的范例是计算要求较低,比平凡计算的Shapley值,并提供了很大的洞察力,不仅在一个团队中的代理的重要性,但也到所需的属性部署的政策在其最好的。
2022-12-06 cs.AI cs.LG cs.MA
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University(清华大学)
基于价值的多智能体强化学习(MARL)方法,特别是价值分解方法,已经在一系列具有挑战性的协作任务中得到了验证。然而,目前的方法很少关注代理之间的交互,这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率:协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~(IAC),它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面,引入了多智能体联合随机策略,采用了一个协作探索模块,通过最大化熵正则化的期望收益来训练。在价值方面,我们使用共享注意力机制来估计每个代理的价值函数,它考虑了队友的影响。在实现层面上,我们扩展的价值分解方法,连续控制任务和评估IAC的基准任务,包括经典的控制和多智能体粒子环境。实验结果表明,我们的方法优于国家的最先进的方法,并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Accountable Off-Policy Evaluation With Kernel Bellman Statistics
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑了政策外评估(OPE),它根据从以前的实验中收集的观察数据来评估新政策的性能,而不需要执行新政策。这在具有高执行成本或安全问题的领域中找到了重要的应用,例如医疗诊断,推荐系统和机器人技术。在实际应用中,由于非策略数据所提供的信息有限,因此需要构造严格的置信区间,而不仅仅是点估计。在这项工作中,我们提出了一个新的变分框架,减少了问题的计算紧的置信界限OPE到一个可行的集合上的优化问题,捕获真正的状态动作价值函数具有高概率。通过利用最近提出的内核Bellman损失的统计特性来构造可行集(Feng等人,2019年)。我们设计了一个有效的计算方法来计算我们的界限,并将其扩展到执行事后诊断和校正现有的估计。实证结果表明,我们的方法在不同的设置产生紧的置信区间。
2020-08-15 cs.LG stat.ML
Multi-AUV Ad-hoc network-based Target Tracking: A Value Gradient Guidance Multi-Agent Diffusion Reinforcement Learning Approach
Software College, Northeastern University(东北大学软件学院);Hohai University(河海大学)
针对多AUV自组织网络目标跟踪的训练不稳定、跟踪性能差问题,提出VGG-MADiffRL算法与MDCA架构,实现了更快收敛、更高跟踪精度与平稳训练动态,具有工程应用价值。
2026-08-14 cs.LG cs.MA cs.NI
Ready Policy One: World Building Through Active Learning
University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);Google Brain Robotics(谷歌大脑机器人实验室)
基于模型的强化学习(MBRL)为样本有效学习提供了一个有希望的方向,通常可以实现连续控制任务的最新结果。然而,许多现有的MBRL方法依赖于结合贪婪的政策与勘探策略,甚至那些利用原则性的勘探奖金,在特设的方式构建双重目标。在本文中,我们介绍了准备政策一(RP 1),一个框架,认为MBRL作为一个主动学习的问题,我们的目标是改善世界模型在尽可能少的样本。RP1通过利用混合目标函数来实现这一点,该混合目标函数在优化过程中至关重要地适应,允许算法权衡奖励与在不同的学习阶段进行探索。此外,我们引入了一个原则性的机制,一旦我们有足够丰富的轨迹批次来改进模型,就终止样本收集。我们严格评估我们的方法在各种连续控制任务,并证明统计上显着的收益超过现有的方法。
2020-02-07 cs.LG stat.ML
A Multi-Component Reward Function with Policy Gradient for Automated Feature Selection with Dynamic Regularization and Bias Mitigation
本文提出一种结合偏差缓解的强化学习自动化特征选择框架,通过多组件奖励函数动态平衡泛化、准确性与公平性,解决隐藏依赖导致的模型偏差问题。
2025-10-09 cs.CY cs.LG stat.ML
Reinforcement Learning Your Way: Agent Characterization through Policy Regularization
Center for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学);Sparebank 1 SR-Bank(Sparebank 1 SR银行)
最先进的强化学习(RL)算法的复杂性增加导致了抑制可解释性和理解的不透明性。这导致了几个事后可解释性方法的发展,旨在从学习的政策,从而帮助可解释性提取信息。这些方法依赖于对政策的经验观察,因此旨在概括代理人行为的特征。在这项研究中,我们反而开发了一种方法,通过正则化他们的目标函数,将一个特征行为注入代理的策略中。我们的方法在学习过程中指导代理的行为,从而产生内在的特征;它将学习过程与模型解释联系起来。我们提供了一个正式的参数和经验证据,我们的方法的可行性。在未来的工作中,我们打算利用它来开发代理,根据个人金融客户的消费个性来优化他们的投资组合。
2022-01-21 cs.AI cs.LG
Renaissance Robot: Optimal Transport Policy Fusion for Learning Diverse Skills
University of Sydney(悉尼大学);Stanford University(斯坦福大学);NVIDIA(英伟达)
深度强化学习(RL)是解决复杂机器人问题的一种很有前途的方法。然而,尽管RL算法最近取得了进展,但通过试错交互进行学习的过程通常非常耗时。此外,强化学习的成功关键取决于奖励成形函数是否适合任务,这也是一项耗时的设计。随着在各种机器人问题上接受培训的代理继续激增,将其宝贵的学习成果重新用于新领域的能力变得越来越重要。在本文中,我们提出了一个事后技术的政策融合使用最优运输理论作为一个强大的手段,巩固了多个代理人的知识,已在不同的情况下训练。我们进一步证明,这提供了一个改进的权重初始化的神经网络政策学习新的任务,需要更少的时间和计算资源比重新训练的父政策或从头开始训练一个新的政策。最终,我们对深度强化学习中常用的各种代理的研究结果表明,专业知识可以统一到“文艺复兴代理”中,从而更快地学习新技能。
2022-07-03 cs.LG cs.RO
Learning robust control for LQR systems with multiplicative noise via policy gradient
Control, Optimization, and Networks lab, UT Dallas(控制、优化与网络实验室,UT Dallas);Delft Center for Systems and Control, TU Delft(代尔夫特系统与控制中心,TU Delft)
本文研究了具有乘性噪声的LQR系统,通过策略梯度方法实现鲁棒控制,证明了在非凸成本函数下策略梯度算法的全局收敛性。
2020-05-01 cs.LG cs.SY eess.SY
ZAPS-DA: Zero-Phase Action Policy Smoothing with Decoupled Actor for Continuous Control in Reinforcement Learning
Independent Researcher(独立研究者)
提出ZAPS-DA框架,通过解耦演员网络模仿零相位滤波目标,在不引入相位延迟和后处理的情况下减少连续控制策略的动作抖动,并在驾驶仿真中验证了其有效性。
2026-07-10 cs.LG cs.RO cs.SY
Co-Evolution of Policy and Internal Reward for Language Agents
McGill University(麦吉尔大学);McMaster University(麦克马斯特大学);The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Peking University(北京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);DeepWisdom(深度智慧);Université de Montréal(蒙特利尔大学);Mila(米拉研究所)
本文提出Self-Guide方法,通过自动生成内部奖励实现推理和训练时的协同优化,提升语言代理性能。
2026-04-03 cs.AI cs.CL cs.LG
Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight
Salesforce AI Research(Salesforce人工智能研究院);UC San Diego(加州大学圣地亚哥分校);Texas A&M University(得克萨斯农工大学);Stanford University(斯坦福大学)
提出自我反思蒸馏(SRD),利用事后轨迹知识训练交互前预见,补充RLVR,在奖励均匀场景下显著提升成功率,最高达24.2个百分点。
2026-10-15 cs.AI cs.CL cs.IR
Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models
Stanford University(斯坦福大学);KTH Royal Institute of Technology(KTH皇家理工学院);Aalto University(阿尔托大学)
我们提出了一个数据高效的框架来解决顺序决策问题,它利用了强化学习(RL)和潜变量生成模型的组合。该框架称为GenRL,通过引入动作潜变量来训练深度策略,使得前馈策略搜索可以分为两个部分:(i)训练子策略,该子策略输出给定系统状态的动作潜变量的分布,以及(ii)生成模型的无监督训练,该生成模型输出以潜在动作变量为条件的运动动作序列。GenRL能够安全探索并解决数据效率低下的问题,因为它利用了关于有效运动动作序列的先验知识。此外,我们还提供了一组用于评估生成模型的措施,以便我们能够在物理机器人的实际训练之前预测RL策略训练的性能。我们通过实验确定生成模型的特性,这些特性对两个机器人任务的最终策略训练的性能影响最大:射击曲棍球和投掷篮球。此外,我们的经验表明,GenRL是唯一的方法,可以安全,有效地解决机器人任务相比,两个国家的最先进的RL方法。
2022-04-18 cs.LG cs.RO
Controllable User Simulation
Google Research(谷歌研究);Tel Aviv University(特拉维夫大学)
本文提出将可控模拟视为因果推断问题,通过改进模拟器训练方法消除 lookahead 偏差,实现更稳定的评估性能。
2026-11-02 cs.AI cs.CL cs.LG
Learning Latent Representations to Influence Multi-Agent Interaction
Stanford University(斯坦福大学);Virginia Tech(弗吉尼亚理工学院暨州立大学)
与人类或机器人进行无障碍交互是很困难的,因为这些智能体是不稳定的。他们更新自己的政策,以回应自我代理人的行为,自我代理人必须预测这些变化,以适应。受人类的启发,我们认识到机器人不需要明确地对另一个代理将做出的每个低级动作进行建模;相反,我们可以通过高级表示来捕获其他代理的潜在策略。我们提出了一个强化学习为基础的框架,学习代理的政策,自我代理确定其行为和其他代理的未来战略之间的关系的潜在表示。然后,自我代理人利用这些潜在的动态来影响其他代理人,有目的地引导他们采取适合共同适应的政策。在几个模拟域和现实世界的空气曲棍球比赛,我们的方法优于替代品,并学会影响其他代理。
2020-11-12 cs.AI cs.LG cs.RO
Traversal-as-Policy: Log-Distilled Gated Behavior Trees as Externalized, Verifiable Policies for Safe, Robust, and Efficient Agents
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Worcester Polytechnic Institute(沃斯特理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
通过日志提炼生成门控行为树作为外部化策略,提升智能体在安全、鲁棒性和效率方面的表现。
2026-01-30 cs.AI cs.CR cs.LG