Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University(清华大学);Nanjing University(南京大学);University of Alberta(阿尔伯塔大学);NetEase(网易)
深度协作多智能体强化学习(MARL)中的有效探索在复杂协调问题中仍然具有挑战性。在本文中,我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索,称为EMC。我们利用流行的因子分解MARL算法的洞察力,即“诱导”的个体Q值,即,用于本地执行的各个效用函数是本地动作观察历史的嵌入,并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此,我们使用个人Q值的预测误差作为协调探索的内在奖励,并利用情景记忆开发探索的信息经验,以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响,我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点,通过教学的例子,并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务,在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Unsupervised Emergence of Egocentric Spatial Structure from Sensorimotor Prediction
SoftBank Robotics Europe(软银机器人欧洲公司)
尽管它在机器人应用中无处不在,空间知识的性质和机制,其出现在自主智能体仍然知之甚少。最近的理论工作表明,欧几里得空间结构诱导代理的原始感觉运动经验的不变量。我们假设,捕捉这些不变量是有益的感觉运动预测,并在一定的探索条件下,捕捉外部空间的结构的运动表征应该出现作为学习的副产品,以预测未来的感官体验。我们提出了一个简单的感觉运动预测方案,将其应用于不同的代理和类型的探索,并评估这些假设的相关性。我们表明,一个天真的代理可以捕获的拓扑结构和度量规则的传感器的位置在一个自我中心的空间框架,没有任何先验知识,也没有多余的监督。
2019-09-17 cs.AI cs.LG cs.RO
Hybrid Belief Reinforcement Learning for Efficient Coordinated Spatial Exploration
本文提出混合信念-强化学习框架,通过双通道知识转移提升多代理空间探索效率,实验显示在无线服务任务中累计奖励和收敛速度均优于基线。
2026-10-21 cs.LG
Emergence of Implicit World Models from Mortal Agents
RIKEN(理化学研究所);Kyoto University(京都大学)
本文从理论生物学视角探讨稳态作为开放式目标,提出结合元强化学习的假设架构,使自主智能体通过内部动力学隐式涌现世界模型与主动探索能力。
2024-11-19 cs.LG cs.NE
Generative Exploration and Exploitation
Peking University(北京大学)
稀疏奖励是强化学习(RL)面临的最大挑战之一。在本文中,我们提出了一种新的方法,称为生成的探索和利用(基因),以克服稀疏奖励。GENE自动生成启动状态,以鼓励智能体探索环境并利用收到的奖励信号。GENE可以根据学习过程中Agent所经历的状态分布的变化,自适应地在探索和利用之间进行权衡。GENE不依赖于环境的先验知识,可以与任何RL算法结合,无论是on-policy还是off-policy,单智能体还是多智能体。经验上,我们证明基因显着优于现有的方法,在三个任务,只有二进制奖励,包括迷宫,迷宫蚂蚁,和合作导航。消融研究证实了渐进探索和自动逆转的出现。
2019-11-20 cs.AI cs.LG stat.ML
On the Emergence of Thinking in LLMs I: Searching for the Right Intuition
University of YYY(YYY大学);Institute of WWW(WWW研究院);University of Torontoland(Torontoland大学);University of Edenborrow(Edenborrow大学)
本研究旨在揭示大型推理模型(LRMs)的训练算法框架,提出通过自博弈强化学习(RLSP)的后训练框架,在数学任务中提升模型性能并涌现出复杂推理行为,为LLMs向LRMs转变提供方法支持。
2025-02-10 cs.AI cs.CL cs.LG
Self-Motivated Multi-Agent Exploration
Nanjing University(南京大学);Polixir Technologies(Polixir科技)
针对合作多智能体强化学习中个体探索与团队协作难以平衡的问题,提出SMMAE,通过独立探索策略和自适应探索概率提升协调行为与学习性能。
2023-09-27 cs.LG cs.MA
Efficient Exploration Is Enough
University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));University of Alberta(阿尔伯塔大学);Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心)
本文提出高效探索的新视角,证明仅通过内在目标驱动的探索即可在无外在奖励下自动产生复杂行为,为开放式学习提供原则性机制。
2026-09-09 cs.AI cs.LG
Unsupervised Emergence of Spatial Structure from Sensorimotor Prediction
SoftBank Robotics Europe(软银机器人欧洲公司)
尽管它在机器人应用中无处不在,空间知识的性质和机制,其出现在自主智能体仍然知之甚少。最近的理论工作表明,空间的概念可以通过捕获代理的原始感觉运动经验中的空间结构引起的不变量来接地。此外,据推测,捕捉这些不变量是有益的幼稚代理试图预测其感觉运动的经验。在某些探索性条件下,空间表征应该是学习预测的副产品。我们提出了一个简单的感觉运动预测方案,将其应用于不同的代理和类型的探索,并评估这一假设的相关性。我们表明,一个天真的代理可以捕捉到的拓扑结构和度量规则的空间配置没有任何先验知识,也没有多余的监督。
2018-11-27 cs.LG stat.ML
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington(惠灵顿维多利亚大学)
深度强化学习(DRL)是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者,因此在多智能体环境中研究DRL非常重要。以往的研究表明,在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而,每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作,并且每当代理改变其沟通渠道时,可能会出现样本效率低下的情况。为了解决这些问题,我们提出了一个新的框架,称为集中式培训和探索,通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下,我们将首先训练具有共享全局组件的代理策略,以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明,我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
Noisy Agents: Self-supervised Exploration by Predicting Auditory Events
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学)
人类整合了多种感官形式(例如视觉和听觉),以建立对物理世界的因果理解。在这项工作中,我们提出了一种新的类型的内在动机的强化学习(RL),鼓励代理理解其行动的因果关系,通过听觉事件预测。首先,我们允许代理收集少量的声学数据,并使用K-means来发现潜在的听觉事件集群。然后,我们训练一个神经网络来预测听觉事件,并使用预测误差作为内在奖励来指导RL探索。在Atari游戏上的实验结果表明,我们新的内在动机显著优于几个最先进的基线。我们进一步可视化我们的噪声代理的行为在物理环境中,并证明我们新设计的内在奖励导致物理交互行为的出现(例如,与对象的接触)。
2020-07-27 cs.AI cs.CV cs.LG
Emergence of Writing Systems Through Multi-Agent Cooperation
ABV-Indian Institute of Information Technology and Management(ABV-印度信息技术与管理学院)
学习交流被认为是开发通用AI的一项重要任务。虽然最近的语言进化文献已经通过离散或连续的信息符号研究了新兴语言,但在人工智能体中出现的书写系统方面的工作很少。在本文中,我们提出了一个参考的游戏设置与两个代理人,其中的通信模式是一个书面语言系统,出现在玩。我们表明,代理可以学习成功地使用这种通信模式进行协调。此外,我们研究了如何游戏规则的影响,提出了一致性度量的书写系统分类。
2019-10-02 cs.CL cs.CV cs.IT
Goal-oriented Trajectories for Efficient Exploration
Imperial College London(帝国理工学院)
探索是强化学习中的一个困难挑战,即使是最近最先进的基于好奇心的方法也依赖于简单的ε贪婪策略来产生新颖性。我们认为,纯粹的随机行走不成功,适当扩大在大多数环境中的探索区域,并建议取代随机目标选择,然后在他们的方向上的几个步骤,以取代单一的随机行动的选择。这种方法与任何基于好奇心的探索和非策略强化学习代理兼容,并且生成比单个随机动作更长和更安全的轨迹。为了说明这一点,我们提出了一个独立于任务的代理,它学会了在屏幕帧中到达坐标,并展示了它在游戏《超级马里奥兄弟》中探索的能力。
2018-07-05 cs.LG stat.ML
KEA: Keeping Exploration Alive by Proactively Coordinating Exploration Strategies
针对 SAC 在稀疏奖励任务中结合新颖性探索时的策略冲突与样本冗余问题,提出 KEA 通过切换机制主动协调标准 SAC 与新颖性增强 SAC,显著提升学习效率和鲁棒性。
2025-06-07 cs.LG
Learning in embodied action-perception loops through exploration
University of California at Berkeley(加州大学伯克利分校);University of California, Berkeley(加州大学伯克利分校)
虽然探索行为在动物王国中无处不在,但它们的计算基础在很大程度上仍然是未知的。行为心理学已经将学习确定为许多探索性行为的主要驱动力。探索被视为动物收集感官数据的一种手段,有助于减少对环境的无知。虽然相关的问题已经在数据采掘和强化学习中得到了解决,但学习驱动的探索的计算建模在很大程度上是没有代表的。在这里,我们提出了一个计算理论,学习驱动的探索的基础上缺失的信息,允许代理使用贝叶斯推理来识别信息的行动的概念。我们证明,当实施例的限制是高的,代理必须积极协调他们的行动,有效地学习。与早期的方法相比,我们的探索策略在一系列具有不同结构的世界中产生了更有效的学习。改进的学习反过来在一般任务中提供更大的成功,包括导航和奖励收集。最后,我们讨论了所提出的理论与以前的信息理论的行为目标,如预测信息和自由能原理,以及它如何可能有助于探索行为的一般理论。
2011-12-09 cs.LG
Emergence of Roles in Robotic Teams with Model Sharing and Limited Communication
EEE Department(电子工程系);Trinity College Dublin(都柏林信任学院)
通过集中学习和模型共享,该方法在机器人团队中促进角色分化,减少计算能耗并应用于现实场景。
2025-05-01 cs.LG cs.MA cs.RO
Taxonomy of Dual Block-Coordinate Ascent Methods for Discrete Energy Minimization
University of Heidelberg(海德堡大学);Czech Technical University in Prague(布拉格捷克理工大学)
我们考虑离散图形模型中的最大后验推理问题,并研究基于对偶块坐标上升规则的求解器。我们将所有现有的求解器映射到一个框架中,以便更好地理解它们的设计原理。我们从理论上证明了一些块优化更新是次优的,以及如何严格改进它们。在各种各样的问题的情况下,不同的图形连接,我们研究现有的求解器的性能,以及新的变种,可以在框架内获得。作为这种探索的结果,我们建立了一个新的国家的最先进的求解器,执行均匀更好的整个范围内的测试实例。
2020-04-16 cs.LG stat.ML
Explore as a Storm, Exploit as a Raindrop: On the Benefit of Fine-Tuning Kernel Schedulers with Coordinate Descent
UFMG(米纳斯吉拉斯联邦大学);Stony Brook University(石溪大学)
本研究将Droplet Search引入Ansor的探索阶段,通过限制探索样本数、选优后用坐标下降利用的方式,在更短时间内得到更优内核,且该方法通用性已得到验证。
2024-07-15 cs.LG cs.PL
Learning to Coordinate in Multi-Agent Systems: A Coordinated Actor-Critic Algorithm and Finite-Time Guarantees
University of Minnesota(明尼苏达大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Texas A&M University(德克萨斯A&M大学)
多智能体强化学习(MARL)是近年来研究的热点。然而,与其单代理对应物不同,MARL的许多理论和算法方面尚未得到很好的理解。在本文中,我们研究了协调行为的出现,由自主智能体使用ACTOR-CRITIC(AC)算法。具体而言,我们提出并分析了一类协调的演员-评论家算法(CAC),其中单独参数化的政策有一个{ \it共享}部分(这是共同优化的所有代理)和一个{ \it个性化}部分(这是只局部优化)。这种{ \it部分个性化}策略允许代理通过利用对等体的过去经验来学习协调并适应各个任务。在我们的设计中的灵活性允许拟议的MARL-CAC算法被用于{ \it完全分散}设置,其中代理只能与他们的邻居,以及{ \it联邦}设置,其中代理偶尔与服务器进行通信,同时优化其(部分个性化)的本地模型。理论上,我们表明,在一些标准的正则性假设下,建议的MARL-CAC算法需要$\mathcal{O}(ε^{-\frac{5}{2}})$样本,以实现$ε$ -固定的解决方案(定义为解决方案的目标函数的梯度的平方范数小于$ε$)。据我们所知,这项工作提供了第一个有限样本保证分散AC算法与部分个性化的政策。
2021-12-06 cs.LG cs.MA