G2MAF: Test-Time Gradient Guidance for Multi-Agent Flow Policies
提出G2MAF框架,利用全局归一化投影评论家梯度在测试时引导多智能体流策略修正,在24个MPE和SMAC设置中改进20个,平均增益约9%,延迟仅增6%。
2026-09-28 cs.AI
Planning Not to Talk: Multiagent Systems that are Robust to Communication Loss
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在合作的多智能体系统中,一组智能体执行联合策略以达到共同的目标。这种系统的成功部署取决于可靠的智能体通信的可用性。然而,在实践中存在许多潜在的通信中断源,例如无线电干扰、硬件故障和对抗攻击。在这项工作中,我们开发的合作多智能体系统,是强大的潜在损失的通信联合政策。更具体地说,我们开发的合作马尔可夫博弈达到避免目标的联合政策。首先,我们提出了一个算法,在通信丢失期间的联合政策的分散执行。接下来,我们使用的总相关性的状态动作过程中引起的联合政策作为衡量代理之间的内在依赖关系。然后,我们使用这个措施,降低了一个联合政策的性能时,失去了沟通。最后,我们提出了一个算法,最大限度地提高代理这个下限,以合成最小的依赖联合政策,是强大的通信损失。数值实验表明,所提出的最小依赖性的政策,需要最小的代理之间的协调,而招致很少或没有损失的性能;合成的政策的总相关值是五分之一的基线政策,不考虑潜在的通信损失的总相关值。因此,无论通信是否可用,最小依赖性策略的性能始终保持较高。相比之下,当通信丢失时,基线策略的性能下降了20%。
2022-01-17 cs.AI cs.MA
Diffusing to Coordinate: Efficient Online Multi-Agent Diffusion Policies
University of Science and Technology of China(中国科学技术大学)
提出首个在线离线策略多智能体强化学习框架OMAD,利用扩散策略和松弛策略目标最大化缩放联合熵,实现高效探索与协调,在MPE和MAMuJoCo上样本效率提升2.5至5倍。
2026-06-11 cs.AI
AgentMixer: Multi-Agent Correlated Policy Factorization
Aalto University(阿尔托大学);University of Electronic Science and Technology of China(电子科技大学)
针对多智能体强化学习中CTDE方法独立决策难协调、模仿联合策略易出现非对称学习失败的问题,提出AgentMixer策略修正方法,通过非线性组合个体策略与个体-全局一致性机制实现分布式执行,收敛到ε-近似相关均衡,在多个基准上性能优于或持平SOTA。
2024-12-13 cs.AI cs.MA
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich(慕尼黑大学);MaibornWolff(迈博尔夫公司)
多智能体系统(MAS)中的决策是一个巨大的挑战,由于巨大的状态和联合行动空间以及不确定性,使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性,但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题,在复杂环境中会导致不稳定和不协调的行为。在本文中,我们提出了强紧急政策近似(STEP),一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此,我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合,只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间,并表明,STEP是能够学习更强的政策比标准的多智能体强化学习算法,结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中,以进一步提高性能。
2019-01-25 cs.AI cs.MA
Ranking Joint Policies in Dynamic Games using Evolutionary Dynamics
University of Piraeus(比雷埃克斯大学)
针对多玩家动态博弈中交互动力学难达纳什均衡的问题,本文提出将动态博弈转为实证形式,用演化方法α-Rank按长期动力学排序联合策略,经随机图着色协作任务实验验证了方法的有效性。
2025-05-17 cs.AI cs.LG cs.MA
Scalable Joint Learning of Wireless Multiple-Access Policies and their Signaling
Nokia Bell Labs(诺基亚贝尔实验室);National Institute of Applied Sciences(国立应用科学学院)
在本文中,我们应用一个多智能体强化学习(MARL)框架,允许基站(BS)和用户设备(UE)共同学习的信道接入策略和它的信令在无线多址接入场景。在该框架中,BS和UE是需要协作以便递送数据的强化学习(RL)代理。与无竞争和基于竞争的基线的比较表明,我们的框架实现了优越的性能,即使在高流量的情况下,同时保持低碰撞率的有效吞吐量。所提出的方法的可扩展性进行了研究,因为它是一个主要的问题,在MARL和本文提供的第一个结果,以解决这个问题。
2022-06-08 cs.AI cs.IT cs.LG
Solving Common-Payoff Games with Approximate Policy Iteration
DeepMind
为了使人工智能学习系统在现实世界中具有广泛的适用性,重要的是它们能够分散操作。不幸的是,分散控制是困难的--即使是ε-最优联合策略的计算也是一个NEXP完全问题。然而,最近重新发现的见解-一个团队的代理人可以通过共同的知识协调-已经产生了能够在小型共同收益游戏中找到最佳联合策略的算法。贝叶斯动作解码器(BAD)利用这种洞察力和深度强化学习来扩展到像双人Hanabi这样的游戏。然而,它所使用的近似方法阻止了它发现最优联合策略,即使在足够小的游戏中也无法找到最优解。这项工作提出了CAPI,一种新的算法,它像BAD一样,将常识与深度强化学习相结合。然而,与BAD不同,CAPI优先考虑发现最佳联合策略的倾向。虽然这一选择排除了CAPI从规模的游戏,如Hanabi,实证结果表明,在游戏的CAPI规模,它是能够发现最佳的联合政策,即使其他现代多智能体强化学习算法无法做到这一点。代码可在https://github.com/ssokota/capi上获得。
2021-01-11 cs.AI cs.LG
Modelling the Dynamic Joint Policy of Teammates with Attention Multi-agent DDPG
Peking University(北京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
在协作多智能体系统中建模和利用队友的策略一直是强化学习(RL)社区的兴趣所在,也是一个巨大的挑战。有趣的是,如果代理知道队友的政策,它可以相应地调整自己的政策,以达到适当的合作,而挑战是,代理的政策不断变化,因为他们正在学习的同时,这就很难准确地建模动态的队友政策。在本文中,我们提出了\emph{ATTention Multi-Agent Deep Deterministic Policy Gradient}(ATT-MADDPG),以解决这一挑战。ATT-MADDPG扩展了DDPG,一个单代理的演员-评论家RL方法,有两个特殊的设计。首先,为了对队友的策略进行建模,Agent应该访问队友的观察和动作。ATT-MADDPG采用集中的评论家来收集这些信息。其次,为了有效地利用收集到的信息对队友的策略进行建模,ATT-MADDPG通过注意力机制增强了集中式批评。该注意力机制引入了一种特殊的结构来显式地对队友的动态联合策略进行建模,保证了收集到的信息能够得到有效的处理。我们评估ATT-MADDPG的基准任务和现实世界的数据包路由任务。实验结果表明,该方法不仅在性能上大大优于基于RL和基于规则的方法,而且在可扩展性和鲁棒性方面也取得了更好的效果。
2018-11-13 cs.AI cs.LG cs.MA
Joint Learning-Based Stabilization of Multiple Unknown Linear Systems
基于学习的线性系统控制近年来受到了广泛的关注。在流行的设置中,真正的动态模型是未知的决策者,需要通过应用控制输入的系统交互式学习。与单系统自适应控制的有效强化学习策略的成熟文献不同,多系统联合学习的结果目前还没有。特别是,快速和可靠的关节稳定的重要问题仍然没有得到解决,所以是这项工作的重点。我们提出了一种新的联合学习为基础的稳定算法快速学习稳定政策的所有系统下研究,从数据的不稳定状态轨迹。所提出的方法是非常有效的,它稳定的家庭动力系统在极短的时间内。
2022-01-01 cs.AI cs.LG cs.SY
Flowing Faster to Coordinate: One-Step Online Multi-Agent Flow Policies
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Engineering Systems and Design Pillar, Singapore University of Technology and Design(新加坡科技设计大学工程系统与设计方向)
本文提出一步式流模型OMAF,结合Transformer流策略与近似路径得分代理,实现高效在线多智能体协调,在10个任务上回报提升3.4倍、样本效率提升10.5倍。
2026-10-02 cs.AI cs.LG
Learning RL-Policies for Joint Beamforming Without Exploration: A Batch Constrained Off-Policy Approach
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对无线网络速率最大化问题,提出一种基于批量约束深度Q学习(BCQ)的离线强化学习方法,无需在线探索即可实现与DQN相近的联合波束成形性能,提高样本效率并降低部署风险。
2023-11-11 cs.AI cs.LG eess.SP
Mind and Motion Aligned: A Joint Evaluation IsaacSim Benchmark for Task Planning and Low-Level Policies in Mobile Manipulation
AIRI;Moscow Institute of Physics and Technology (MIPT)(莫斯科物理技术学院);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Sberbank, Robotics Center(Sberbank机器人中心);Skoltech
本文提出 Kitchen-R 基准,在 Isaac Sim 数字孪生厨房环境中统一评估任务规划与底层控制,并提供视觉语言模型规划、扩散策略控制及轨迹采集系统,支持独立与集成评估,弥补具身 AI 中语言引导机器人整体评测的空白。
2025-08-21 cs.AI cs.RO
Joint Learning of Reward Machines and Policies in Environments with Partially Known Semantics
研究了由奖励机编码的任务的强化学习问题。该任务定义在环境中的一组属性上,称为原子命题,并由布尔变量表示。在文献中常用的一个不切实际的假设是,这些命题的真值是准确已知的。然而,在实际情况下,这些真值是不确定的,因为它们来自遭受不完美的传感器。与此同时,奖励机器可能很难明确建模,特别是当它们编码复杂任务时。我们开发了一个推理学习算法,该算法推断出一个奖励机器,该机器在学习如何执行任务的同时对底层任务进行编码,尽管命题的真值存在不确定性。为了解决这种不确定性,算法保持对原子命题真值的概率估计;它根据从环境探索中获得的新的感官测量来更新该估计。此外,该算法维护一个假设奖励机,它充当对要学习的任务进行编码的奖励机的估计。当智能体探索环境时,算法根据获得的奖励和原子命题真值的估计更新假设奖励机。最后,该算法使用Q学习过程的假设奖励机的状态,以确定完成任务的政策。我们证明了该算法成功地推断奖励机和渐近学习的政策,完成各自的任务。
2023-02-05 cs.AI cs.LG cs.SY
Joint Policy Search for Multi-agent Collaboration with Imperfect Information
Facebook AI Research(脸书人工智能研究院)
在信息不完全的情况下,学习多智能体协作的联合策略仍然是一个根本性的挑战。而对于两人零和博弈,坐标上升方法(每次优化一个代理的策略,例如,自博弈)在有保证的情况下工作,在多智能体合作环境中,它们经常收敛到次优纳什均衡。另一方面,由于政策之间的复杂相互作用(例如,上游更新影响下游状态可达性)。在本文中,我们证明了全局变化的博弈值可以分解为本地化的每个信息集的政策变化,与一个新的术语命名为政策变化密度。在此基础上,我们提出了联合策略搜索(JPS),迭代地提高不完全信息博弈中协作代理的联合策略,而无需重新评估整个博弈。在多智能体协作表格游戏中,JPS被证明永远不会恶化性能,并且可以改善单边方法(例如CFR)提供的解决方案,优于为协作策略学习设计的算法(例如BAD)。此外,对于现实世界的游戏,JPS有一个在线形式,自然与梯度更新链接。我们测试它的合同桥,一个4人的信息游戏,其中一个团队的$2$合作,以对抗其他。在投标阶段,参与者通过有限的信息渠道依次投标以找到一个好的合同。基于一个强大的基线代理,投标竞争性桥梁纯粹通过域不可知的自我发挥,JPS改善了团队球员的合作,并优于WBridge 5,一个冠军获奖软件,通过$+0.63$ IMP(国际匹配点)每板超过1000场比赛,大大优于以前的SoTA($+0.41$ IMP/b)在双假人评估。
2020-12-06 cs.AI cs.GT cs.LG
Negative Update Intervals in Deep Multi-Agent Reinforcement Learning
University of Liverpool(利物浦大学)
在多智能体强化学习(MA-RL)中,独立的合作学习者必须克服一些病态学习最优的联合策略。处理一种病理学往往会使其他方法变得脆弱。例如,滞后Q学习解决了不协调问题,同时使代理容易受到误导性随机奖励的影响。其他方法,如宽大处理,已被证明在同时处理多种病理时更稳健。然而,宽大处理主要是在战略形式游戏(双矩阵游戏)和完全可观察的马尔可夫游戏的背景下,由少量的概率状态转换的研究。这就提出了一个问题,即这些发现是否适用于更复杂的领域。为此,我们实现了一个时间上的扩展版本的攀登游戏,其中代理必须克服多种病理同时,包括相对过度概括,随机性,交替探索和移动目标的问题,同时从一个大的观察空间学习。我们发现,现有的宽松和滞后的方法无法始终如一地学习在这种环境中接近最优的联合政策。为了解决这些问题,我们引入了负更新间隔-DDQN(NUI-DDQN),这是一种深度MA-RL算法,它会丢弃在扩展间隔范围之外产生累积奖励的事件。NUI-DDQN在我们的环境中始终倾向于最佳的联合策略,克服了概述的病理学。
2019-05-07 cs.AI cs.LG cs.MA
Logical Team Q-learning: An approach towards factored policies in cooperative MARL
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们解决的挑战,学习因素的政策合作MARL的情况下。特别是,我们考虑的情况下,一个团队的代理合作,以优化共同的成本。我们的目标是获得因子化的政策,确定每个代理的个人行为,使最终的联合政策是最优的。这项工作的主要贡献是引入逻辑团队Q学习(LTQL)。LTQL不依赖于对环境的假设,因此通常适用于任何协作MARL场景。我们推导出LTQL作为一个随机逼近的动态规划方法,我们在这项工作中介绍。我们通过提供实验(在表格和深层环境中)来说明这些主张,从而结束本文。
2021-03-28 cs.AI cs.LG cs.MA
When Tomorrow Becomes Today: Self-Evolving Policies for Agentic Time-Series Forecasting
Ant International(蚂蚁国际);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
针对智能体时间序列预测中策略需随时间演化的问题,提出TimEvolve,通过将实现结果转化为对专家信任、路径选择和干预强度的持久联合更新,在八个领域上取得最优平均MSE和MAE排名。
2026-09-22 cs.AI cs.LG
Specification-Guided Learning of Nash Equilibria with High Social Welfare
University of Pennsylvania(宾夕法尼亚大学)
强化学习已被证明是一种有效的策略,自动训练具有挑战性的控制问题的政策。针对非合作多智能体系统,我们提出了一种新的强化学习框架,用于训练形成纳什均衡的联合策略。在我们的方法中,而不是提供低级别的奖励功能,用户提供高级别的规格,编码每个代理的目标。然后,在规范结构的指导下,我们的算法搜索策略,以确定可证明形成$ε$ -纳什均衡的策略(概率很高)。重要的是,它以最大化所有行为体的社会福利的方式确定政策的优先次序。我们的实证评估表明,我们的算法计算的均衡政策与高社会福利,而国家的最先进的基线要么无法计算纳什均衡或计算的社会福利相对较低。
2022-06-06 cs.AI cs.GT cs.LG
Mismatched No More: Joint Model-Policy Optimization for Model-Based RL
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
许多基于模型的强化学习(RL)方法都遵循类似的模板:将模型拟合到之前观察到的数据,然后使用该模型中的数据进行强化学习或规划。然而,实现更好训练性能的模型(例如,较低的MSE)并不一定更适合控制:RL代理可能会找出准确模型出错的一小部分状态,或者它可能会以不暴露不准确模型错误的方式行事。正如之前的工作所指出的,存在一个客观的不匹配:如果模型产生好的政策,那么它们是有用的,但是它们被训练以最大限度地提高其准确性,而不是由此产生的政策的性能。在这项工作中,我们提出了一个单一的目标,用于联合训练模型和策略,以便对任何一个组件的更新都会增加预期回报的下限。据我们所知,这是基于模型的强化学习的第一个下界,它全局有效,并且可以在连续设置中有效地估计;它是唯一能解决目标失配问题的下界。在某些假设下,这个界限的一个版本变得紧。优化这个界限类似于GAN:分类器区分真实和虚假的转换,更新模型以产生看起来真实的转换,更新策略以避免模型预测不切实际的状态。数值模拟表明,优化这一界限会产生奖励最大化的政策,并产生动态,(也许令人惊讶的)可以帮助探索。我们还表明,松散地基于我们的下限的深度RL算法可以实现与先前基于模型的方法相竞争的性能,并且在某些硬探索任务上具有更好的性能。
2023-02-17 cs.AI cs.LG cs.RO
Diverse Policy Optimization for Structured Action Space
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of AI and Robotics for Society(深圳人工智能与机器人研究院)
增强策略的多样性有利于强化学习的鲁棒性、探索性和迁移性。在本文中,我们的目标是寻求不同的政策,在一个未充分探索的设置,即RL任务与结构化的动作空间的可组合性和局部依赖性的两个属性。复杂的动作结构,不均匀的奖励景观,以及由于结构化动作的特性而引起的微妙的超参数调整,阻止了现有方法的良好扩展。我们提出了一种简单有效的强化学习方法,多样性策略优化(DPO),模型的策略在结构化的行动空间作为基于能量的模型(EBM)通过以下概率强化学习框架。最近提出的一种新颖的和强大的生成模型,GFlowNet,介绍了高效的,多样化的基于循证医学的政策采样器。DPO遵循联合优化框架:外层使用GFlowNet采样的不同策略来更新基于EBM的策略,这支持内层的GFlowNet训练。在ATSC和Battle基准测试上的实验表明,DPO可以在具有挑战性的场景中有效地发现令人惊讶的多样化策略,并大大优于现有的最先进的方法。
2023-02-23 cs.AI cs.LG
Optimizing Minimax Regret in Uncertain MDPs with Small Sets of Policies
针对不确定马尔可夫决策过程的策略数量约束问题,提出k-自适应策略合成算法KAPS,可优化小策略集的极小极大遗憾,实验显示从1个策略增至2个时遗憾降幅最大。
2026-08-04 cs.AI cs.LG
Learning Multi-Level Hierarchies with Hindsight
Brown University(布朗大学);Northeastern University(东北大学);Boston University(波士顿大学)
分层代理有可能解决更大的样本效率比他们的非分层的同行顺序决策任务,因为分层代理可以分解成一组子任务,只需要短序列的决策。为了实现这种快速学习的潜力,分层代理需要能够并行学习其多个级别的策略,以便可以同时解决这些更简单的子问题。然而,并行学习多个级别的策略是困难的,因为它本质上是不稳定的:层次结构中一个级别的策略的变化可能会导致层次结构中更高级别的转换和奖励功能的变化,使得难以联合学习多个级别的策略。在本文中,我们介绍了一个新的分层强化学习(HRL)框架,分层演员批评(HAC),可以克服不稳定的问题时,代理试图共同学习多层次的政策。HAC背后的主要思想是独立于较低级别来训练层次结构的每个级别,方法是训练每个级别,就好像较低级别的策略已经是最优的一样。我们在网格世界和模拟机器人领域的实验表明,我们的方法可以显着加速学习相对于其他非层次和层次的方法。事实上,我们的框架是第一个在具有连续状态和动作空间的任务中成功并行学习3级层次结构的框架。
2019-09-03 cs.AI cs.LG cs.NE
Metric Policy Representations for Opponent Modeling
Peking University(北京大学)
在多智能体强化学习中,由于其他智能体的行为所导致的环境固有的非平稳性,使得智能体很难独立地学习到一个好的策略。处理非平稳性的一种方法是对手建模,通过这种方法,代理考虑到其他代理策略的影响。大多数现有的工作依赖于预测其他代理的行动或目标,或区分不同的政策。然而,这样的建模无法同时捕捉政策之间的相似性和差异性,从而无法提供足够的有用信息时,推广到看不见的代理。为了解决这个问题,我们提出了一个通用的方法来学习其他代理的政策表示,这样的政策之间的距离是故意反映的距离表示之间的距离,而政策的距离是从训练过程中的采样联合行动分布推断。我们的经验表明,代理条件的学习政策表示可以很好地推广到看不见的代理在三个多智能体任务。
2022-06-21 cs.AI cs.LG cs.MA
Deep Latent Competition: Learning to Race Using Visual Control Policies in Latent Space
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT LIDS(麻省理工学院信息与决策系统实验室)
在多智能体环境中学习竞争行为,比如赛车,需要对潜在的对抗性互动进行长期推理。本文提出了深度潜在竞争(DLC),一种新的强化学习算法,学习竞争的视觉控制策略,通过自我发挥的想象力。DLC代理想象多智能体交互序列的学习世界模型,结合了联合过渡函数与对手的观点预测的紧凑的潜在空间。想象中的自我游戏减少了现实世界中昂贵的样本生成,而潜在的表征使规划能够随着观察维度优雅地扩展。我们证明了我们的算法在学习竞争行为的有效性,一个新的多智能体赛车基准,需要规划从图像观察。代码和视频可在https://sites.google.com/view/deep-latent-competition获得。
2021-02-19 cs.AI cs.LG cs.RO
Search-Aided Joint Agent-Environment Reinforcement Learning for Robust Lifelong Multi-Agent Path Finding with Rotations
针对带旋转约束的鲁棒终身多智能体路径规划难题,提出搜索辅助联合强化学习方法,通过结合Causal PIBT与联合优化智能体-环境策略,在高密度地图及混合现实仓库环境中取得显著性能提升。
2026-08-07 cs.AI cs.MA cs.RO
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据,天真的团队奖励最大化产生不公平的结果,为个别团队成员的动机。为了解决多智能体环境中的公平性问题,我们引入了团队公平性,这是一种基于组的多智能体学习公平性度量。然后,我们证明了它是可能的,以加强团队的公平性,在政策优化过程中,通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性(Fair-E),并以经验证明其有效性。然后,我们引入公平通过等变正则化(公平ER)作为公平E的软约束版本,并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后,我们提出了新的发现,在多代理设置的公平性效用权衡,显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Actor-Critic Learning for Extended Mean Field Control with Deterministic Policies
University of California, Berkeley(加州大学伯克利分校);Ecole Polytechnique, CMAP(巴黎政治经济学院(École Polytechnique));Imperial College London(伦敦帝国学院)
针对连续时间扩展平均场控制问题,提出无模型强化学习框架,采用确定性反馈策略,建立灵敏度公式并推导策略梯度公式,经细化后得到含相关导数项的策略梯度,结合多种方法形成算法,数值实验验证了该方法的有效性。
2026-07-14 cs.AI cs.LG math.OC
Learning Intuitive Policies Using Action Features
Ubiquant Investment(九坤投资);University of Chicago(芝加哥大学);Booth School of Business, University of Chicago(芝加哥大学布斯商学院);Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学);FLAIR, University of Oxford(牛津大学未来智能研究院)
本文研究多智能体协调中动作与观测特征的语义关联问题,发现联合处理二者特征表示的注意力架构更易学到可解释的直觉策略,并能在无人类数据训练时与人协调。
2023-06-06 cs.AI cs.LG cs.MA
A Cordial Sync: Going Beyond Marginal Policies for Multi-Agent Embodied Tasks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for AI(艾伦人工智能研究院);University of Washington(华盛顿大学)
自主智能体必须学会合作。每次任务的难度超过单个代理的能力时,开发新的集中式代理是不可扩展的。虽然多智能体协作的研究已经蓬勃发展,在网格世界的环境,相对较少的工作,认为视觉丰富的领域。为了解决这个问题,我们引入了一个新的任务“移动”,在这个任务中,智能体一起工作,将一件家具通过客厅移动到一个目标。与现有的任务不同,CIMOMove需要代理在每个时间步进行协调。我们确定了两个挑战时,训练代理完成CIMOMove:现有的分散行动抽样程序不允许表达联合行动的政策,在需要密切协调的任务,失败的行动的数量占主导地位的成功的行动。为了应对这些挑战,我们引入了同步策略(连贯地同步您的行动)和协调损失(CORDIAL)。通过使用SYNC策略和CORDIAL,我们的代理商实现了58%的移动支付完成率,比竞争对手的分散基线提高了25个百分点。我们的数据集,代码和预训练模型可在https://unnat.github.io/cordial-sync上获得。
2020-07-09 cs.AI cs.CV cs.LG
Neural Dynamic Policies for End-to-End Sensorimotor Learning
CMU(卡内基梅隆大学);FAIR(Meta人工智能研究院)
当前感觉运动控制的主导范式,无论是模仿还是强化学习,都是直接在原始动作空间(如扭矩、关节角度或末端执行器位置)中训练策略。这迫使智能体在训练中的每个时间步单独做出决策,因此限制了连续,高维和长期任务的可扩展性。相比之下,在经典机器人的研究,很长一段时间以来,利用动态系统作为一个政策表示学习机器人的行为,通过示范。然而,这些技术缺乏深度学习或强化学习所提供的灵活性和通用性,并且在这种环境中仍然没有得到充分的探索。在这项工作中,我们开始缩小这一差距,并通过二阶微分方程重新参数化动作空间,将动力系统的结构嵌入到基于深度神经网络的策略中。我们提出了神经动态策略(NDP),使预测的轨迹分布空间,而不是以前的策略学习方法,其中的行动表示原始的控制空间。嵌入式结构允许端到端的策略学习,用于强化学习和模仿学习设置。我们表明,NDP在几个机器人控制任务的效率或性能方面优于现有的最先进的水平,无论是模仿和强化学习设置。项目视频和代码可在https://shikharbahl.github.io/neural-dynamic-policies/上获得
2020-12-04 cs.AI cs.CV cs.LG
Learning Policies for Continuous Control via Transition Models
Donders Institute(唐德斯研究所);Radboud University(拉德堡德大学)
动物是否有完美的四肢逆模型是值得怀疑的(例如,必须对每个关节施加什么肌肉收缩才能到达空间中的特定位置)。然而,在机器人控制中,将手臂的末端执行器移动到目标位置或沿着目标轨迹移动需要精确的正向和反向模型。在这里,我们表明,通过从交互中学习过渡(向前)模型,我们可以用它来驱动摊销策略的学习。因此,我们重新审视与深度主动推理框架相关的策略优化,并描述了一种模块化神经网络架构,该架构同时从预测误差和随机策略中学习系统动态,该随机策略生成合适的连续控制命令以达到所需的参考位置。我们通过将其与线性二次调节器的基线进行比较来评估该模型,并得出结论,为实现类似人类的运动控制采取了额外的步骤。
2022-09-16 cs.AI cs.LG cs.RO