Automatic Exploration of Textual Environments with Language-Conditioned Autotelic Agents
Inria(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
在这个扩展的摘要中,我们讨论了在文本环境中探索研究内在动机代理的机会和挑战。我们认为文本环境和自主智能体之间存在重要的协同作用。我们确定文本世界的关键属性,使它们适合自主代理的探索,即深度,广度,进度利基和易用性的语言目标,我们确定的驱动程序的探索,这样的代理是可实现的文本世界。我们讨论的机会,使用自主智能体取得进展的文本环境基准。最后,我们列出了在这一领域需要克服的一些具体挑战。
2022-07-08 cs.AI
UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning
University of Oxford(牛津大学);Delft University of Technology(代尔夫特理工大学)
VDN和QMIX是两种流行的基于值的协作MARL算法,它们将集中式动作价值函数学习为每个代理效用的单调混合。虽然这使得学习策略的分散化变得容易,但受限的联合动作价值函数可能会阻止它们解决需要在给定时间步长处在代理之间进行显著协调的任务。我们表明,这个问题可以通过改善训练过程中所有代理的联合探索来克服。具体来说,我们提出了一种新的MARL方法,称为通用价值探索(UneVEn),学习一组相关的任务,同时线性分解的通用后继功能。利用已经解决的相关任务的策略,可以改进所有Agent的联合探索过程,帮助它们实现更好的协调。一组探索游戏的经验结果,具有挑战性的合作捕食者-猎物任务,需要显着的代理之间的协调,和星际争霸II微观管理基准显示,UneVEn可以解决其他国家的最先进的MARL方法失败的任务。
2021-06-10 cs.AI cs.LG cs.MA
Toward Efficient Exploration by Large Language Model Agents
Department of Computer Science(计算机科学系);Princeton University(普林斯顿大学);Department of Psychology(心理学系)
本文提出利用大型语言模型显式实现后验抽样强化学习算法,以提升自然语言任务中的探索效率。
2026-02-07 cs.AI cs.LG
Strangeness-driven Exploration in Multi-Agent Reinforcement Learning
Korea University of Technology and Education(韩国技术教育大学)
在需要复杂协调的协作多智能体强化学习(MARL)算法中,有效的探索策略是关键问题之一。在这项研究中,我们引入了一种新的探索方法,这种方法可以很容易地融入任何基于集中式训练和分散式执行(CTDE)的MARL算法。陌生度指的是一个主体对所访问的观察的不熟悉程度。为了给观察陌生感一个全局的视角,它还增加了对所访问的整个国家的不熟悉程度。探索奖金是从陌生性和所提出的探索方法是没有太大的影响,通常观察到在MARL任务中的随机过渡。为了防止高探索奖金使MARL训练对外部奖励不敏感,我们还提出了一个单独的动作-价值函数训练的外部奖励和探索奖金,在此基础上设计的行为策略,以产生过渡。这使得基于CTDE的MARL算法在使用探索方法时更加稳定。通过教学实例和星际争霸多智能体挑战赛的比较评估,我们表明,所提出的探索方法实现了显着的性能改善CTDE为基础的MARL算法。
2022-12-27 cs.AI cs.LG cs.MA
MESA: Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Tsinghua University(清华大学)
本文提出MESA元探索方法,通过识别高回报联合状态-动作子空间并学习多样化探索策略来覆盖该子空间,从而提升多智能体强化学习在稀疏奖励任务中的探索效率与性能。
2024-05-01 cs.AI cs.LG cs.MA
Exploiting Semantic Epsilon Greedy Exploration Strategy in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学)
多智能体强化学习(MARL)可以对许多现实世界的应用进行建模。然而,许多MARL方法依赖于贪婪的探索,这可能会阻碍在困难的情况下访问有利的状态。在本文中,我们提出了一种新的方法QMIX(SEG)处理MARL。它利用价值函数分解方法QMIX训练每Agent策略和一种新的语义外延贪婪(SEG)探索策略。SEG是对传统的贪婪搜索策略的简单扩展,但实验表明它可以大大提高MARL的性能。我们首先将动作聚类成具有相似效果的动作组,然后在一个双层的贪婪探索层次结构中使用这些组进行动作选择。我们认为,SEG有利于语义探索,探索在空间组的行动,这比原子行动具有更丰富的语义意义。实验表明,QMIX(SEG)大大优于QMIX,并导致强大的性能竞争力与当前国家的最先进的MARL方法在星际争霸多智能体挑战赛(SMAC)的基准。
2022-01-27 cs.AI cs.LG cs.MA
Cooperative Exploration for Multi-Agent Deep Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
探索对于深度强化学习的良好结果至关重要,并引起了广泛关注。然而,现有的多智能体深度强化学习算法仍然主要使用基于噪声的技术。最近,已经开发了考虑多个代理之间的合作的探索方法。然而,现有的方法遭受一个共同的挑战:代理人的斗争,以确定值得探索的状态,并很难协调对这些国家的探索努力。为了解决这个问题,在本文中,我们提出了合作多智能体探索(CMAE):代理共享一个共同的目标,而探索。目标是从多个投影状态空间通过归一化熵为基础的技术。然后,训练代理以协调的方式实现这一目标。我们证明了CMAE在各种任务上的表现始终优于基线,包括稀疏奖励版本的多粒子环境(MPE)和星际争霸多智能体挑战(SMAC)。
2021-07-23 cs.AI
Curiosity-Driven Multi-Agent Exploration with Mixed Objectives
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在单智能体强化学习中,内在奖励被越来越多地用于缓解稀疏奖励问题。这些内在奖励鼓励智能体寻找新的体验,引导智能体充分探索环境,尽管缺乏外在奖励。好奇心驱动的探索是一种简单而有效的方法,它将这种新奇性量化为智能体好奇心模块的预测误差,好奇心模块是一种内部神经网络,经过训练可以根据智能体的当前状态和动作预测智能体的下一个状态。然而,我们在这里表明,天真地使用这种好奇心驱动的方法来指导稀疏奖励合作多智能体环境中的探索并不总是会导致改进的结果。好奇心驱动的探索的简单多智能体扩展只考虑个人或集体的新颖性,因此,它们不提供一个独特的,但协作的内在奖励信号,这是必不可少的学习合作多智能体任务。在这项工作中,我们提出了一个好奇心驱动的多智能体探索方法,具有混合目标的激励代理人探索环境的方式,是单独和集体新颖的。首先,我们开发了一个双头好奇心模块,该模块被训练来预测相应的代理在第一个头中的下一个观察和在第二个头中的下一个联合观察。其次,我们将内在奖励公式设计为好奇心模块的个体和联合预测误差之和。我们的经验表明,我们的好奇心模块架构和内在的奖励制定相结合的指导多智能体探索更有效地比基线方法,从而提供了最佳的性能提升MARL算法在合作导航环境与稀疏的奖励。
2022-10-29 cs.AI cs.LG cs.MA
How To Avoid Being Eaten By a Grue: Exploration Strategies for Text-Adventure Agents
Georgia Institute of Technology(佐治亚理工学院)
基于文本的游戏--其中一个智能体通过文本自然语言与世界互动--给我们提出了组合大小的动作空间的问题。大多数当前的强化学习算法不能够有效地处理每回合如此大量的可能动作。因此,差的样本效率导致代理无法通过瓶颈状态,在瓶颈状态下,代理无法继续,因为它们没有看到正确的动作序列来通过瓶颈足够的次数以得到充分的加强。在强化学习中使用知识图谱的基础上,我们引入了两种新的游戏状态探索策略。我们将我们的探索策略与经典文本冒险游戏Zork 1的强大基线进行比较,在Zork 1中,先前的代理人无法通过瓶颈,代理人被Grue吃掉。
2020-02-19 cs.AI cs.CL cs.LG
Strategically Efficient Exploration in Competitive Multi-agent Reinforcement Learning
TU Delft(代尔夫特理工大学);Microsoft Research NYC(微软研究院纽约);Microsoft Research Cambridge(微软研究院剑桥)
高样本复杂性仍然是强化学习(RL)应用的障碍,特别是在多智能体系统中。大量的研究表明,基于不确定条件下乐观原则的探索机制可以显著提高强化学习在单智能体任务中的样本效率。这项工作旨在了解乐观的探索在非合作的多智能体设置的作用。我们将证明,在零和游戏中,乐观的探索可能会导致学习者浪费时间采样与策略游戏无关的状态空间部分,因为它们只能通过双方玩家之间的合作才能实现。为了解决这个问题,我们引入了一个正式的概念,战略有效的探索在马尔可夫游戏,并使用此开发两个战略有效的学习算法有限马尔可夫游戏。我们证明,这些方法可以显着更有效的样本比他们乐观的同行。
2021-07-30 cs.AI cs.LG cs.MA
Self-Motivated Multi-Agent Exploration
Nanjing University(南京大学);Polixir Technologies(Polixir科技)
针对合作多智能体强化学习中个体探索与团队协作难以平衡的问题,提出SMMAE,通过独立探索策略和自适应探索概率提升协调行为与学习性能。
2023-09-27 cs.LG cs.MA
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学)
强化学习(RL)已经取得了显著的成就,但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题,人口引导新奇搜索(PNS)的并行学习方法,本文提出。在PNS中,种群被划分为多个子种群,每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略,并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导,同时,上传他们的政策,以首席代理。为了平衡探索和利用,每个首席代理都采用了新奇搜索(NS),以鼓励具有高新奇性的政策,同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性(TD 3)策略梯度算法。PNS的有效性,以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是,PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略,以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Coordinated Exploration via Intrinsic Rewards for Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);Google AI(谷歌人工智能部门)
解决具有稀疏奖励的任务是强化学习中最重要的挑战之一。在单智能体环境中,通过引入内在奖励来激励智能体探索其状态空间中看不见的区域来解决这一挑战;然而,将这些技术天真地应用于多智能体环境会导致智能体独立探索,而不会相互协调。合作多代理设置的探索,可以加速和改善,如果代理协调他们的探索。在本文中,我们介绍了一个框架,设计内在的奖励,考虑其他代理人已经探索,使代理人可以协调。然后,我们开发了一种学习如何在几种探索模式之间进行动态选择以最大化外部奖励的方法。具体地说,我们制定的方法作为一个分层的政策,其中一个高层次的控制器选择不同的内在奖励和低层次的控制器学习这些特定的奖励下的所有代理的行动政策训练的政策集。我们证明了所提出的方法在合作领域的有效性与稀疏的奖励,最先进的方法失败,并具有挑战性的多阶段任务,需要改变协调模式。
2021-05-22 cs.AI cs.LG cs.MA
Clearing the Fog: Towards Installing and Refining Proactive Exploration Capabilities in LLM Agents
Engineering Research Center of Machine Learning and Industry Intelligence(机器学习与产业智能工程研究中心);National University of Singapore(新加坡国立大学);University of Leeds(利兹大学);Sichuan University(四川大学)
该研究针对LLM智能体主动探索能力的两大瓶颈,提出含探索性数据构建、对比信号引导的RL优化的方法,经实验验证其有效性并公开代码。
2026-09-11 cs.AI cs.LG
Credit Assignment and Efficient Exploration based on Influence Scope in Multi-agent Reinforcement Learning
Utrecht University(乌特勒支大学)
针对多智能体强化学习稀疏奖励场景下的信用分配与探索难题,提出ISA算法,通过计算智能体影响范围分配信用并划定探索空间,实验表明其性能优于现有基线。
2026-08-04 cs.LG
RAPO: Expanding Exploration for LLM Agents via Retrieval-Augmented Policy Optimization
Fudan University(复旦大学);Zhejiang University(浙江大学);UC Davis(加州大学戴维斯分校)
RAPO通过引入检索增强策略优化,扩展LLM代理的探索能力,提升训练效率和探索效果。
2026-03-03 cs.AI
FoX: Formation-aware exploration in multi-agent reinforcement learning
UNIST(蔚山科学技术院)
针对多智能体强化学习中探索空间随智能体数量指数增长及部分可观测问题,本文提出基于编队等价关系的编队感知探索框架FoX,通过引导智能体仅凭自身观测感知编队并访问多样化编队状态来缩减搜索空间,在GRF和SMAC任务上显著优于现有MARL算法。
2024-01-14 cs.LG
Intrinsically-Motivated Humans and Agents in Open-World Exploration
BAIR;University of California Berkeley(加州大学伯克利分校);Psychology(心理学)
本研究在Crafter环境中直接比较了人类与AI智能体的探索行为,发现Entropy和Empowerment与人类探索进度持续正相关,为智能体内在奖励设计提供了指导,并发现目标语言化有助于儿童探索。
2025-05-27 cs.AI
Influence-Based Multi-Agent Exploration
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学)
内在动机强化学习旨在解决稀疏奖励任务的探索挑战。然而,在过渡依赖的多智能体设置的探索方法的研究在很大程度上是缺乏文献。我们的目标是朝着解决这个问题迈出一步。我们提出了两种探索方法:探索通过信息理论的影响(EITI)和探索通过决策理论的影响(EDTI),通过利用代理的协调行为中的相互作用的作用。EITI使用互信息来捕获影响力转换动态。EDTI使用一种新的内在奖励,称为交互价值(VoI),来描述和量化一个代理人的行为对其他代理人预期回报的影响。通过优化EITI或EDTI目标作为正则化器,智能体被鼓励协调他们的探索和学习策略,以优化团队绩效。我们展示了如何优化这些正则化器,以便它们可以很容易地与策略梯度强化学习集成。由此产生的更新规则在协调探索和内在奖励分配之间建立了联系。最后,我们实证证明了我们的方法在各种多智能体场景的显着优势。
2019-10-12 cs.LG cs.MA stat.ML
Exploration in Deep Reinforcement Learning: From Single-Agent to Multiagent Domain
Tianjin University(天津大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);Northwestern Polytechnical University(西北工业大学)
深度强化学习(DRL)和深度多智能体强化学习(MARL)在游戏人工智能、自动驾驶汽车、机器人等广泛领域取得了重大成功。然而,DRL和深度MARL智能体被广泛认为是样本效率低下的,即使是相对简单的问题设置也通常需要数百万次交互,从而阻碍了在实际工业场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的勘探问题,即,如何有效地探索环境和收集有益于策略学习的有益经验,以实现最佳政策。这个问题在具有稀疏奖励、嘈杂干扰、长视野和非静止协同学习者的复杂环境中变得更具挑战性。在本文中,我们进行了全面调查现有的探索方法,单智能体和多智能体RL。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支,我们还包括其他具有不同思想和技术的显着勘探方法。除了算法分析,我们提供了一个全面和统一的经验比较不同的勘探方法DRL的一组常用的基准。最后,根据我们的算法和实证研究,总结了DRL和深层MARL研究中存在的问题,并指出了未来的发展方向。
2023-02-02 cs.AI cs.LG cs.MA
A Survey of Exploration Methods in Reinforcement Learning
McGill University(麦吉尔大学);University of Amsterdam(阿姆斯特丹大学)
探索是强化学习算法的重要组成部分,其中代理需要学习如何预测和控制未知且通常是随机的环境。强化学习智能体非常依赖于探索来获得学习过程中的信息数据,因为缺乏足够的信息可能会阻碍有效的学习。在这篇文章中,我们提供了(顺序)强化学习中的现代探索方法的调查,以及探索方法的分类。
2021-09-02 cs.AI cs.LG
MIR: Efficient Exploration in Episodic Multi-Agent Reinforcement Learning via Mutual Intrinsic Reward
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
MIR通过互惠内在奖励机制,提升多智能体强化学习中稀疏回合制奖励下的探索效率与团队协作性能。
2025-11-21 cs.AI cs.LG
Walk Wisely on Graph: Knowledge Graph Reasoning with Dual Agents via Efficient Guidance-Exploration
Peking University(北京大学)
针对多跳推理中奖励稀疏和长路径推理困难的问题,提出基于分层强化学习的双智能体模型FULORA,通过高层智能体在简化图上的高效引导与低层智能体在原图上的探索,有效提升了知识图谱推理性能,尤其在长距离推理上表现优异。
2024-12-18 cs.AI cs.LG
Perturbation-based exploration methods in deep reinforcement learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
结构化探索的最新研究强调在状态空间中识别新的状态,并通过内在奖励奖金激励代理重新访问它们。在这项研究中,我们的问题,通过这些方法表现出的性能提升是否确实是由于发现结构的探索性时间表的代理或利益主要归因于在追求结构化探索表现在政策和奖励空间的扰动。在这项研究中,我们调查的影响,在政策和奖励空间的探索行为的代理。我们继续表明,在softmax层之前扰动策略并将零星奖励奖金引入域中的简单行为可以大大增强街机学习环境中几个域的探索。鉴于这些发现,我们建议对结构化探索研究的任何改进进行基准测试,以对抗嘈杂的探索。
2020-11-10 cs.AI cs.LG
Redeeming Intrinsic Rewards via Constrained Optimization
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Aalto University(阿尔托大学)
现有技术的强化学习(RL)算法通常使用随机采样(例如,$ε$ -贪婪)的探索,但这种方法失败的硬探索任务,如蒙特祖玛的复仇。为了应对探索的挑战,先前的作品通过在智能体访问新状态时奖励智能体来激励探索。这种内在奖励(也称为探索奖金或好奇心)通常会导致在困难的探索任务中表现出色。然而,在简单的探索任务中,智能体会被内在奖励分散注意力,即使有足够的任务(也称为外在)奖励,也会进行不必要的探索。因此,这样一个过度好奇的代理比一个只接受任务奖励训练的代理表现得更差。任务之间的这种性能不一致性阻止了RL算法中内在奖励的广泛使用。我们提出了一个原则性的约束优化过程,称为外在-内在策略优化(EIPO),自动调整内在奖励的重要性:它抑制内在奖励时,探索是不必要的,并增加它时,探索是必需的。其结果是优越的探索,不需要手动调整平衡的内在奖励对任务奖励。在61款ATARI游戏中获得的一致性能提升验证了我们的说法。该代码可在https://github.com/Improbable-AI/eipo上获得。
2022-11-18 cs.AI cs.LG
Generative Exploration and Exploitation
Peking University(北京大学)
稀疏奖励是强化学习(RL)面临的最大挑战之一。在本文中,我们提出了一种新的方法,称为生成的探索和利用(基因),以克服稀疏奖励。GENE自动生成启动状态,以鼓励智能体探索环境并利用收到的奖励信号。GENE可以根据学习过程中Agent所经历的状态分布的变化,自适应地在探索和利用之间进行权衡。GENE不依赖于环境的先验知识,可以与任何RL算法结合,无论是on-policy还是off-policy,单智能体还是多智能体。经验上,我们证明基因显着优于现有的方法,在三个任务,只有二进制奖励,包括迷宫,迷宫蚂蚁,和合作导航。消融研究证实了渐进探索和自动逆转的出现。
2019-11-20 cs.AI cs.LG stat.ML
Exploration Through Introspection: A Self-Aware Reward Model
本文提出一种基于反思的奖励模型,通过模拟疼痛信号探索自我意识对强化学习代理学习能力的影响,并展示了其在复杂行为复制中的优势。
2026-01-06 cs.AI cs.LG
Conditionally Optimistic Exploration for Cooperative Deep Multi-Agent Reinforcement Learning
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);École Polytechnique de Montréal(蒙特利尔综合理工学院);University of Oxford(牛津大学);University of Alberta(阿尔伯塔大学);Université de Montréal(蒙特利尔大学)
本文提出 COE,将合作式 MARL 建模为顺序树搜索,并利用基于全局状态与前驱智能体联合动作访问计数的条件乐观奖励,在困难探索任务上超过现有探索方法。
2023-07-14 cs.LG cs.MA
Exploration Unbound
Stanford University(斯坦福大学)
本文研究序贯决策中探索与利用的平衡,提出一个奖励无界且探索收益永不消失的典型环境,证明最优智能体将永远保持探索倾向。
2024-07-16 cs.AI cs.LG stat.ML
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University(重庆大学)
将深度强化学习(drl)扩展到多智能体领域的研究,解决了许多复杂问题,取得了巨大的成就。然而,这些研究几乎都只关注离散或连续的动作空间,很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此,在本文中,我们提出了两个算法:深度多代理混合软演员-评论家(MAHSAC)和多代理混合深度确定性策略梯度(MAHDDPG),以填补这一空白。这两种算法遵循集中训练和分散执行(CTDE)范式,可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的,这是一个简单的多智能体粒子世界,以及一些基本的模拟物理。实验结果表明,这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Expanding LLM Agent Boundaries with Strategy-Guided Exploration
Apple(苹果公司)
SGE通过引导策略探索提升LLM代理的学习效率和性能,使其能解决基础模型无法处理的任务。
2026-03-02 cs.LG
Joint Agent Memory and Exploration Learning via Novelty Signals
Tsinghua University(清华大学);Sun Yat-sen University(中山大学);Baidu Inc.(百度公司);Tongji University(同济大学);Peking University(北京大学)
提出JAMEL框架,利用新颖性信号联合训练智能体记忆与探索策略,在开放环境中实现高效探索并泛化到未见环境。
2026-06-01 cs.AI
BAMAX: Backtrack Assisted Multi-Agent Exploration using Reinforcement Learning
Thoughtworks India Pvt Ltd.(Thoughtworks印度私人有限公司)
针对多机器人协作完全探索未知环境的难题,提出基于强化学习的回溯辅助多智能体探索方法BAMAX,利用回溯机制提升探索效率,实验证明其在多种六边形网格中实现了更快的覆盖率和更少的回溯。
2024-11-13 cs.AI cs.RO
Offline Meta Learning of Exploration
Technion(以色列理工学院)
考虑以下离线Meta强化学习(OMRL)问题的实例:给定$N$传统RL代理的完整训练日志,在$N$不同任务上训练,设计一个元代理,可以快速最大化来自相同任务分布的新的、看不见的任务的奖励。特别是,虽然每个传统的RL代理都探索和利用了自己不同的任务,但元代理必须识别数据中导致在看不见的任务中进行有效探索/利用的错误。在这里,我们采用贝叶斯RL(BRL)视图,并试图从离线数据中学习贝叶斯最优策略。基于最近的VariBAD BRL方法,我们开发了一种基于自适应神经信念估计的离线BRL方法,该方法学习规划探索策略。然而,学习从离线数据中推断这样的信念带来了一个新的可识别性问题,我们称之为MDP模糊性。我们描述了问题的特征,并通过数据汇集和修改程序提出了解决方案。最后,我们评估了我们的框架在不同的领域,包括困难的稀疏奖励任务,并证明学习有效的探索行为,这是定性不同的探索由任何RL代理在数据中。
2021-02-12 cs.AI cs.LG stat.ML
MAGE: Meta-Reinforcement Learning for Language Agents toward Strategic Exploration and Exploitation
Tsinghua University(清华大学)
MAGE通过元强化学习框架提升语言智能体在战略探索与利用中的性能,结合多回合训练与种群训练技术实现稳定学习和泛化能力。
2026-03-04 cs.AI
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy(韩国陆军士官学校);KAIST(韩国科学技术院)
多代理设置是复杂和不可预测的,因为多个代理的行为相互影响。为了解决这种环境的不确定性,分布式强化学习算法,通过分布式输出结合不确定性已被集成与多智能体强化学习(MARL)方法,实现国家的最先进的性能。然而,分布式MARL算法仍然依赖于传统的$ε$ -贪婪,没有考虑合作策略。在本文中,我们提出了一个基于风险的探索,导致合作乐观的行为,通过改变分布的采样区域。最初,我们从状态-动作值的上分位数中提取期望值进行探索,这是乐观的动作,并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下,我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能,在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration
School of Electrical;Archimedes, Athena Research Center, Greece;Department of Mathematics, ETH Zurich;Dept. of Mechanical Engineering \& Materials Science, Duke University;Dept. of Digital Systems, University of Piraeus, Greece
针对无通信分布式部分可观测环境下多智能体协作学习难题,提出含状态建模的MARL SMPE算法,通过置信表示融入策略与对抗式探索提升性能,在三类基准协作任务中超越现有最优算法。
2025-06-12 cs.AI cs.LG cs.MA
REMAX: Relational Representation for Multi-Agent Exploration
Samsung Research(三星研究院);KAIST(韩国科学技术院)
训练具有稀疏奖励的多智能体强化学习(MARL)模型通常是困难的,因为智能体之间的交互的许多组合会诱导某种结果(即,成功或失败)。早期的研究试图解决这个问题,通过采用内在奖励来诱导有助于学习有效策略的互动。然而,这种方法需要广泛的先验知识来设计内在奖励。为了有效地训练MARL模型而不设计内在奖励,我们提出了一种基于学习的探索策略来生成游戏的初始状态。所提出的方法采用变分图自动编码器来表示游戏状态,使得(1)通过考虑代理之间的关系,状态可以被压缩编码为潜在表示,并且(2)潜在表示可以用作耦合代理模型的有效输入来预测探索得分。然后,所提出的方法找到新的潜在表示,最大化探索分数,并解码这些表示,以生成初始状态,MARL模型从这些初始状态开始在游戏中进行训练,从而体验到新的和可奖励的状态。我们证明了我们的方法比现有的探索方法更能提高MARL模型的训练和性能。
2022-02-05 cs.AI cs.LG cs.MA
Wonder Wins Ways: Curiosity-Driven Exploration through Multi-Agent Contextual Calibration
Shanghai Jiao Tong University(上海交通大学);School of Automation and Intelligent Sensing(自动化与智能感知学院);Key Laboratory of System Control and Information Processing(系统控制与信息处理重点实验室);Ministry of Education of China(中华人民共和国教育部);National Key Laboratory of Human-Machine Hybrid Augmented Intelligence(人机混合增强智能国家级重点实验室);Institute of Artificial Intelligence and Robotics(人工智能与机器人研究院)
CERMIC通过多智能体上下文校准增强探索,解决稀疏奖励环境下多智能体强化学习的探索效率问题。
2026-02-22 cs.LG cs.RO
(Almost) Free Incentivized Exploration from Decentralized Learning Agents
University of Virginia(弗吉尼亚大学);The Hong Kong University of Science and Technology(香港科技大学)
近年来,多武装土匪(MAB)的激励勘探引起了越来越多的关注和许多进展,其中委托人为代理人提供奖金以代表她进行勘探。然而,几乎所有现有的研究都局限于暂时性近视剂。在这项工作中,我们打破了这一障碍,并研究激励探索与多个和长期的战略代理,谁有更复杂的行为,经常出现在现实世界中的应用程序。这项工作的一个重要的观察是,战略代理人的学习的内在需求的好处(而不是损害)的主要探索提供“免费拉”。此外,事实证明,增加代理人的人数大大降低了委托人的激励负担。从我们的研究结果中揭示的关键和令人惊讶的见解是,当有足够多的学习代理参与时,主体的探索过程可以(几乎)自由。我们的主要结果建立在三个可能具有独立兴趣的新组件之上:(1)一个简单但可证明有效的激励提供策略;(2)一个精心设计的最佳手臂识别算法,用于在不平等置信度下聚合的奖励;(3)UCB算法的高概率有限时间下限。实验结果提供了补充的理论分析。
2021-10-27 cs.IT cs.LG math.IT
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington(惠灵顿维多利亚大学)
深度强化学习(DRL)是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者,因此在多智能体环境中研究DRL非常重要。以往的研究表明,在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而,每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作,并且每当代理改变其沟通渠道时,可能会出现样本效率低下的情况。为了解决这些问题,我们提出了一个新的框架,称为集中式培训和探索,通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下,我们将首先训练具有共享全局组件的代理策略,以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明,我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
Imagine, Initialize, and Explore: An Effective Exploration Method in Multi-Agent Reinforcement Learning
Xi’an Jiaotong University(西安交通大学)
本文提出 IIE 方法,通过 transformer 自回归想象影响智能体转移的关键状态并初始化环境,从而增强 MARL 在长时序稀疏奖励任务中的探索,实验在 SMAC 与 SMACv2 上优于基线。
2024-03-01 cs.AI cs.LG cs.MA
Agent Alpha: Tree Search Unifying Generation, Exploration and Evaluation for Computer-Use Agents
The George Washington University(乔治·华盛顿大学)
Agent Alpha通过步骤级MCTS统一生成、探索和评估,实现计算机使用代理的高成功率。
2026-02-03 cs.AI
Active Learning for Autonomous Intelligent Agents: Exploration, Curiosity, and Interaction
Inria Bordeaux Sud-Ouest(法国国家信息与自动化研究所波尔多西南分部);University of Zaragoza(萨拉戈萨大学)
在这项调查中,我们提出了不同的方法,允许智能代理自主探索其环境,收集信息和学习多个任务。不同的社区提出了不同的解决办法,在许多情况下,这些办法是相似和/或互补的。这些解决方案包括主动学习、探索/利用、在线学习和社会学习。所有这些方法的共同点是,它是代理选择和决定下一步收集什么信息。这些方法的应用已经包括辅导系统,自主抓取学习,导航和地图以及人机交互。我们讨论这些方法是如何相关的,解释他们的相似之处和他们的差异方面的问题假设和成功的指标。我们认为,这种综合讨论将改善跨学科的研究和应用。
2014-03-06 cs.AI
Sophrosyne: Agentic Exploration of Relational Data Systems Needs Moderation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对LLM驱动的Text2SQL智能体在探索数据系统时过度探索的问题,提出Sophrosyne环境,通过增强API响应中的指令来引导探索,减少过度探索并提升SQL生成准确性。
2026-05-29 cs.AI cs.DB
Exploration-Exploitation in Multi-Agent Competition: Convergence with Bounded Rationality
Singapore University of Technology and Design(新加坡科技设计大学);University of Oxford(牛津大学)
在竞争性多智能体学习中,探索和利用之间的相互作用还远未得到很好的理解。受此启发,我们研究了平滑Q学习,这是一种典型的学习模型,它明确地捕捉了游戏奖励和探索成本之间的平衡。我们表明,Q-学习总是收敛到唯一的量子响应均衡(QRE),有限理性下的游戏的标准解概念,在加权零和多矩阵游戏与异构学习代理使用积极的探索率。补充最近的结果收敛加权潜在的游戏,我们表明,快速收敛的Q-学习在竞争环境中获得的代理的数量无关,没有任何需要的参数微调。正如我们在网络零和博弈中的实验所展示的那样,这些理论结果为竞争性多智能体环境中平衡选择的算法方法提供了必要的保证。
2021-06-24 cs.GT cs.LG cs.MA
Graph Exploration for Effective Multi-agent Q-Learning
提出一种基于图通信的多智能体探索方法,通过相邻智能体协作估计状态-动作空间不确定性,无需计数机制即可应用于连续状态环境,且通信量最小,仅交换单个参数向量。
2023-04-19 cs.LG cs.MA
Coordinated Exploration in Concurrent Reinforcement Learning
Stanford University(斯坦福大学)
我们考虑一个团队的强化学习代理,同时学习在一个共同的环境中操作。我们确定了三个属性-自适应性,承诺和多样性-这是必要的有效的协调探索,并证明了简单的扩展单代理乐观和后验抽样方法不能满足他们。作为替代方案,我们提出种子采样,它扩展后验采样的方式,满足这些要求。模拟结果研究如何每代理后悔减少代理数量的增长,建立种子采样替代探索计划的实质性优势。
2018-02-05 cs.AI
Learning to Explore: Scaling Agentic Reasoning via Exploration-Aware Policy Optimization
Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系);School of Cyber Science and Technology, Sun Yat-sen University Shenzhen Campus, Shenzhen, China(中山大学深圳校区信息科学与技术学院);State Key Laboratory of Internet Architecture, Tsinghua University, Beijing, China(清华大学互联网体系结构国家重点实验室)
本文提出一种探索意识强化学习框架,使LLM代理在不确定性高时主动探索,通过细粒度奖励函数和探索意识分组机制提升任务完成效率。
2026-05-12 cs.AI
NonZero: Interaction-Guided Exploration for Multi-Agent Monte Carlo Tree Search
The George Washington University(乔治华盛顿大学);Northeastern University(东北大学)
NonZero通过交互引导的提议规则,在低维非线性表示中进行代理引导选择,提升多智能体MCTS的可扩展性与探索效率。
2026-05-01 cs.LG
MAexp: A Generic Platform for RL-based Multi-Agent Exploration
College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
提出MAexp通用平台,集成多种MARL算法与点云场景,采样快40倍,支持任意智能体,建立首个连续动作机器人多智能体探索基准。
2024-04-19 cs.LG cs.MA cs.RO
A Behavior-based Approach for Multi-agent Q-learning for Autonomous Exploration
Central Mechanical Engineering Research Institute (CSIR)(中央机械工程研究所(CSIR));National Institute of Technology Durgapur(杜尔加普尔国家技术学院)
移动机器人的使用在世界范围内非常流行,主要用于在危险/有毒或未知环境中的自主探索。在未知环境中的探索,如果能够借鉴以往的经验,将更加有效和高效。目前,强化学习越来越多地被机器人接受,用于从系统与环境的相互作用中实现学习。这种学习可以使用单智能体和多智能体的概念来实现。本文描述了这样一个多智能体的方法来实现一种类型的强化学习使用基于优先级的行为为基础的架构。该方法已成功地在室内和室外环境中进行了测试。
2011-10-09 cs.LG cs.RO
Multi-Agent Reinforcement Learning for Autonomous UAV Exploration in Wildfire Response
本研究提出深度强化学习框架训练无人机智能体在模拟野火环境中导航监测,实验显示其行为稳定有效,凸显DRL无人机系统在自主野火监测中的潜力。
2026-09-10 cs.LG cs.RO
Exploration and Incentives in Reinforcement Learning
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校);Microsoft Research NYC(微软研究院纽约分院)
当自私的代理人更喜欢$\textit{exploit}$时,你如何激励他们选择$\textit{explore}$?我们考虑复杂的勘探问题,每个代理面临相同的(但未知的)MDP。与传统的强化学习公式相反,代理控制策略的选择,而算法只能发出建议。然而,该算法控制了信息流,并可以通过信息不对称激励代理进行探索。我们设计了一个算法,探索所有的可达状态的MDP。我们实现了可证明的保证类似于那些激励探索静态,无状态的探索问题之前研究。据我们所知,这是第一个在有状态的强化学习环境中考虑机制设计的工作。
2023-02-19 cs.GT cs.LG