Learning to Map Natural Language Instructions to Physical Quadcopter Control using Simulated Flight
Cornell University（康奈尔大学）
我们提出了一个联合仿真和现实世界的学习框架，用于将导航指令和原始第一人称观察映射到连续控制。我们的模型估计环境探索的需要，预测在执行过程中访问环境位置的可能性，并控制代理探索和访问高可能性的位置。有监督强化异步学习（Supervised Reinforcement Asynchronous Learning，SuReAL）学习使用模拟和真实环境，而不需要在训练期间在物理环境中自主飞行，并结合监督学习来预测要访问的位置和强化学习来进行连续控制。我们评估了我们的方法与物理四轴飞行器的自然语言解释以下的任务，并展示了有效的执行和探索行为。
2019-10-21 cs.AI cs.CL cs.CV
Online POI Recommendation: Learning Dynamic Geo-Human Interactions in Streams
University of Central Florida（中佛罗里达大学）；Portland State University（波特兰州立大学）；Rutgers University（罗格斯大学）
在本文中，我们专注于问题的建模动态地理人类互动流在线POI建议。具体来说，我们制定了流中的地理人类交互建模问题到一个新的深度交互式强化学习框架，其中代理是一个推荐和行动是下一个POI访问。我们独特地将强化学习环境建模为用户和地理空间上下文（POI，POI类别，功能区）的联合和连接组成。用户访问流中的POI的事件更新用户和地理空间上下文的状态;代理感知更新的环境状态以进行在线推荐。具体来说，我们通过将所有用户、访问和地理空间上下文统一为动态知识图谱流来建模混合用户事件流，以建模人-人、地理-人、地理-地理交互。我们设计了一个退出机制来解决过期信息的挑战，设计了一个元路径方法来解决推荐候选生成的挑战，并开发了一个新的深度策略网络结构来解决不断变化的动作空间的挑战，最后，提出了一个有效的对抗训练方法进行优化。最后，我们提出了广泛的实验来证明我们的方法的增强性能。
2022-10-12 cs.AI cs.IR cs.LG
Generative Adversarial Exploration for Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
探索是训练最优强化学习（RL）策略的关键，其中的关键是区分状态访问是否是新的。大多数以前的工作集中在设计启发式规则或距离度量来检查状态是否新颖，而不考虑可以学习的这种鉴别过程。在本文中，我们提出了一种称为生成对抗探索（GAEX）的新方法，通过从生成对抗网络中引入内在奖励输出来鼓励RL中的探索，其中生成器提供了状态的假样本，帮助机器人识别那些不太频繁访问的状态。因此，鼓励代理人访问那些州，而代理人不太有信心判断为访问过。GAEX易于实现，训练效率高。在我们的实验中，我们将GAEX应用到DQN和DQN-GAEX算法取得了令人信服的性能具有挑战性的探索问题，包括游戏冒险，蒙特祖玛的复仇和超级马里奥兄弟，没有进一步微调复杂的学习算法。据我们所知，这是第一个工作，采用GAN在RL探索问题。
2022-01-27 cs.AI cs.LG
Deep Curiosity Search: Intra-Life Exploration Can Improve Performance on Challenging Deep Reinforcement Learning Problems
University of Wyoming（怀俄明大学）；Uber AI Labs（优步人工智能实验室）
RL中的传统探索方法需要代理执行随机动作来寻找奖励。但是这些方法在像蒙特祖玛的复仇这样的稀疏奖励领域中挣扎，在那里任何随机动作序列导致奖励的概率都非常低。最近的算法通过鼓励代理访问新状态或执行与所有先前训练片段相关的新动作（我们称之为跨训练新颖性），在此类任务上表现良好。但这样的算法并不考虑智能体是否表现出生活中的新奇性：在当前事件中做一些新的事情，而不管这些行为是否在以前的事件中执行过。我们假设，跨训练的新颖性可能会阻止代理重新访问最初的非奖励状态，这些状态可能会成为后来训练中的重要垫脚石。我们介绍了深度Currency搜索（DeepCS），它鼓励通过奖励代理访问尽可能多的不同的状态在每一集内的生活探索，并显示DeepCS匹配的性能，目前国家的最先进的方法蒙特祖玛的复仇。我们进一步表明，DeepCS改善了Amidar，Freeway，Gravitar和Tutankham（其中许多是硬探索游戏）的探索。令人惊讶的是，DeepCS在Seaquest上的A2 C性能翻了一番，这是一款我们不希望从生活探索中受益的游戏，因为竞技场很小，而且已经很容易通过天真的探索技术进行导航。在一次运行中，DeepCS在Seaquest上获得了80，000分的最高训练分数，高于Ape-X之外的任何方法。DeepCS在这些稀疏和密集奖励任务上的出色表现表明，鼓励生活中的新奇感是提高深度RL性能的一种有趣的新…
2018-11-24 cs.AI
Never Forget: Balancing Exploration and Exploitation via Learning Optical Flow
National Tsing Hua University（国立清华大学）
在过去的几年里，来自环境中状态的新颖性的探索奖金已经成为激励深度强化学习代理的探索的流行方法。最近的方法，如好奇心驱动的探索，通常是通过其系统动力学模型的预测误差来估计新观测的新颖性。然而，由于模型的容量限制和执行下一帧预测的困难，这些方法通常无法在高维观测任务中的探索和利用之间进行平衡，导致智能体忘记访问路径并重复探索这些状态。这种低效的探索行为会导致性能显著下降，特别是在奖励信号稀疏的大型环境中。本文提出从计算机视觉领域引入光流估计的概念来解决上述问题。我们建议采用光流估计误差来检查新观测的新颖性，这样代理能够以更全面的方式记忆和理解访问过的状态。我们比较我们的方法对以前的方法在一些实验性的实验。我们的研究结果表明，所提出的方法似乎比以前的方法提供更优越和持久的性能。我们进一步提供了一套全面的烧蚀分析所提出的方法，并调查光流估计的DRL代理的学习曲线的影响。
2019-01-24 cs.AI cs.CV cs.LG
Equilibrium Inverse Reinforcement Learning for Ride-hailing Vehicle Network
Mobility Technologies Co., Ltd.（移动技术有限公司）
无处不在的移动计算使得网约车服务能够收集乘客和司机的大量行为数据，并实时的优化供需匹配。虽然这些移动服务提供商通过向请求分配车辆对市场有一定程度的控制，但他们需要处理由自私的驾驶员行为引起的不确定性，因为工人通常在没有分配任务时可以自由驾驶。在这项工作中，我们制定了稀疏连接图中的车辆-车辆匹配问题，并提出了一种算法，以获得在多智能体环境中的平衡策略。我们的框架结合了价值迭代方法来估计最优的政策给定预期的状态访问和政策传播计算多智能体的状态访问频率。此外，我们开发了一种方法来学习驾驶员的奖励功能转移到一个环境中具有显着不同的动态从训练数据。我们使用真实世界的出租车轨迹数据集评估了时空供需分布变化和数据质量恶化的鲁棒性;我们的方法在模仿准确性方面显着优于几个基线。获得所有车辆共享的均衡策略所需的计算时间不依赖于代理的数量，即使在现实世界的服务规模上，在单个CPU上也只需要几秒钟。
2021-02-13 cs.AI cs.LG
Multimodal Reward Shaping for Efficient Exploration in Reinforcement Learning
The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
保持智能体的长期探索能力仍然是深度强化学习的关键挑战之一。一个代表性的解决方案是利用奖励塑造来为智能体提供内在奖励以鼓励探索。然而，大多数现有的方法遭受消失的内在奖励，这不能提供可持续的勘探激励。此外，它们严重依赖于复杂的模型和额外的存储器来记录学习过程，导致高计算复杂性和低鲁棒性。为了解决这个问题，提出了基于熵的方法来评估全局探索性能，鼓励代理更公平地访问状态空间。然而，估计状态访问熵的样本复杂性是禁止处理高维观测环境时。在本文中，我们引入了一种新的度量称为Jain的公平性指数（JFI），以取代熵正则化，从一个全新的角度解决了探索问题。与熵正则化器形成鲜明对比的是，JFI更具可计算性和鲁棒性，并且可以很容易地推广到任意任务中。此外，我们利用变分自动编码器（VAE）模型来捕获状态的终身新颖性，并将其与全局JFI得分相结合，以形成多模态内在奖励。最后，大量的仿真结果表明，我们的多模态奖励塑造（MMRS）方法可以实现更高的性能比其他基准计划。
2021-09-18 cs.AI cs.LG
Wasserstein Distance Maximizing Intrinsic Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；DeepMind
本文讨论的问题，学习技能的条件政策，有意义的行为在没有奖励信号。基于互信息的目标已经在学习技能方面显示出一些成功，这些技能在这种设置中达到不同的状态集合。这些目标包括KL-发散项，其通过访问不同的状态来最大化，即使这些状态在MDP中相距不远。本文提出了一种方法，奖励智能体学习技能，最大限度地提高他们的状态访问从开始状态的技能的Wasserstein距离。它表明，这样的目标导致的政策，覆盖更多的距离在MDP比多样性为基础的目标，并验证了各种雅达利环境的结果。
2021-10-28 cs.AI cs.LG
Persuasion Propagation: Does Persuasion Change AI Agent Behavior?
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文研究了长期任务中代理受到用户说服影响的行为变化，提出了一种基于行为的评估框架，发现提前指定信念状态的代理在搜索和源访问上表现更高效，表明说服影响代理行为。
2026-10-08 cs.AI cs.MA
A Fully Controllable Agent in the Path Planning using Goal-Conditioned Reinforcement Learning
Rutgers University, The State University of New Jersey（罗格斯大学（新泽西州立大学））
路径规划的目的是通过搜索智能体的路径，使其从起点到达目标。在路径规划中，路线可以根据变量的数量而变化，使得对于代理达到各种目标是重要的。然而，许多研究都涉及用户预先定义的单一目标。在本研究中，我提出了一个新的强化学习框架，一个完全可控的智能体在路径规划。为此，我提出了一种双向记忆编辑来获得代理的各种双向轨迹，其中代理的行为和子目标在目标条件强化学习上进行训练。至于在各个方向上移动代理，我利用子目标专用网络，与策略网络分离。最后，提出了奖励塑造，以缩短智能体到达目标的步骤。在实验结果中，智能体能够达到智能体在训练中从未访问过的各种目标。我们证实了智能体可以执行诸如往返之类的困难任务，并且智能体使用具有奖励塑造的较短路线。
2022-05-20 cs.AI cs.LG
Communication Efficient Parallel Reinforcement Learning
Purdue University（普渡大学）
我们考虑的问题，$M$代理与$M$相同和独立的环境与$S$状态和$A$行动使用强化学习的$T$轮。代理与中央服务器共享数据，以尽量减少他们的遗憾。我们的目标是找到一个算法，允许代理，以尽量减少与不频繁的通信回合的遗憾。我们提供\NAM \，它运行在每个代理，并证明了$M$代理的总累积遗憾的上界为$\Tilde{O}(DS\sqrt{MAT})$的马尔可夫决策过程直径$D$，状态数$S$，和行动数$A$。代理同步后，他们的访问任何状态动作对超过一定的阈值。利用这一点，我们得到了$O\left(MSA\log(MT)\right)$上的通信轮总数的界。最后，我们评估算法对多种环境，并证明该算法的性能与始终通信版本的UCRL 2算法，而显着降低通信。
2021-02-22 cs.AI cs.LG cs.MA
Information is Power: Intrinsic Control via Information Capture
UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）；Google Research, Brain Team（谷歌研究院大脑团队）；Stanford University（斯坦福大学）
人类和动物即使没有明确的目标，也会探索他们的环境并获得有用的技能，表现出内在的动机。人工智能体内在动机的研究关注以下问题：什么是一个好的通用目标的代理？我们研究这个问题在动态部分观测环境中，并认为，一个紧凑的和一般的学习目标是最小化的代理的状态访问估计使用潜在的状态空间模型的熵。这一目标促使智能体既收集关于其环境的信息，相应地减少不确定性，又获得对环境的控制，相应地减少未来世界状态的不可预测性。我们将这种方法实例化为配备有深度变分贝叶斯过滤器的深度强化学习代理。我们发现，我们的代理学习发现，代表和行使控制的动态对象在各种部分观察到的环境中的视觉观察，没有外在的奖励。
2021-12-07 cs.AI cs.LG
Towards Governing Agent's Efficacy: Action-Conditional $β$-VAE for Deep Transparent Reinforcement Learning
Seoul National University（首尔国立大学）；Samsung Electronics（三星电子）
我们在强化学习（RL）的设置中解决了深度神经网络的黑盒问题，其中神经代理以不可控的方式学习最大化奖励收益。当交互环境包括广阔的状态空间时，这种学习方法是有风险的，因为几乎不可能预见所有不想要的结果并预先用负奖励惩罚它们。与以前的作品中学习的神经功能的反向分析不同，我们提出的方法\nj{tackles the blackbox issue by encouraging}是一个RL策略网络，通过实现一个解纠缠的表示学习方法来学习可解释的潜在特征。为此，我们的方法允许RL代理通过将其影响与不可控的环境因素区分开来来理解自我效能，这与人类理解场景的方式非常相似。我们的实验结果表明，学习的潜在因素不仅是可解释的，而且还可以建模整个访问状态空间的分布与特定的动作条件。我们已经实验表明，拟议结构的这一特征可以导致对RL代理的期望行为进行事后治理。
2018-11-11 cs.AI cs.LG stat.ML
Multi-Goal Multi-Agent Path Finding via Decoupled and Integrated Goal Vertex Ordering
Czech Technical University in Prague（布拉格捷克理工大学）
我们介绍了多目标多智能体路径寻找（MAPF $^{MG}$），它推广了标准的离散多智能体路径寻找（MAPF）问题。MAPF的任务是将无向图中的代理从其起始顶点导航到每个代理的一个单独的目标顶点，而MAPF $^{MG}$为每个代理分配多个目标顶点，并且任务是至少访问每个目标顶点一次。求解MAPF $^{MG}$不仅需要为各个代理找到无冲突路径，而且还需要确定访问代理的目标顶点的顺序，以便优化共同的目标，如成本之和。我们提出了两种新的算法，使用不同的范式来解决MAPF $^{MG}$：一个启发式搜索为基础的搜索算法称为汉密尔顿CBS（HCBS）和编译为基础的算法使用SMT范式，称为SMT汉密尔顿CBS（SMT-HCBS）。实验比较表明编译为基础的方法的局限性。
2020-09-10 cs.AI
MGCBS: An Optimal and Efficient Algorithm for Solving Multi-Goal Multi-Agent Path Finding Problem
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文针对多目标多智能体路径规划问题，提出基于安全区间访问顺序解耦的MGCBS算法，并引入TIS Forest加速，实验证明其能稳定获得最优解且速度比现有最优方法快最多7倍。
2024-04-30 cs.AI cs.MA cs.RO
Search, Inspect, Fetch: Exploiting Structure-Aware Boolean Retrieval for Deep-Search Agents
The University of Queensland（昆士兰大学）；CSIRO（联邦科学与工业研究组织）
本研究针对现有深度研究智能体的缺陷，提出基于BQL的SIEVE接口，在三个问答数据集上实现更高准确率且token用量显著减少，验证了BQL过滤的有效性。
2026-08-31 cs.AI cs.CL cs.IR
Strangeness-driven Exploration in Multi-Agent Reinforcement Learning
Korea University of Technology and Education（韩国技术教育大学）
在需要复杂协调的协作多智能体强化学习（MARL）算法中，有效的探索策略是关键问题之一。在这项研究中，我们引入了一种新的探索方法，这种方法可以很容易地融入任何基于集中式训练和分散式执行（CTDE）的MARL算法。陌生度指的是一个主体对所访问的观察的不熟悉程度。为了给观察陌生感一个全局的视角，它还增加了对所访问的整个国家的不熟悉程度。探索奖金是从陌生性和所提出的探索方法是没有太大的影响，通常观察到在MARL任务中的随机过渡。为了防止高探索奖金使MARL训练对外部奖励不敏感，我们还提出了一个单独的动作-价值函数训练的外部奖励和探索奖金，在此基础上设计的行为策略，以产生过渡。这使得基于CTDE的MARL算法在使用探索方法时更加稳定。通过教学实例和星际争霸多智能体挑战赛的比较评估，我们表明，所提出的探索方法实现了显着的性能改善CTDE为基础的MARL算法。
2022-12-27 cs.AI cs.LG cs.MA
Polynomial-Time Algorithms for Multi-Agent Minimal-Capacity Planning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Brno University of Technology（布尔诺理工大学）
我们研究了自主智能体合作完成一个共享任务的资源容量最小化问题。更具体地说，我们认为高层次的规划一个团队的同质代理，在随机环境中的资源约束下运行，并有一个共同的目标：给定一组目标位置，确保每个位置将被访问无限经常一些代理几乎肯定。我们正式的消费马尔可夫决策过程的代理商的动态。在消费马尔可夫决策过程中，代理具有有限容量的资源。代理的每个动作都可能消耗一定量的资源。为了避免耗尽，代理可以在指定的重新加载状态下将其资源补充到满容量。资源容量限制了代理的能力。目标是分配目标位置的代理，每个代理只负责访问指定的目标位置的子集重复。此外，分配必须确保代理能够以最小的资源能力执行其任务。我们减少的问题，找到一个团队的代理与最低的能力，一个等价的图论问题的目标分配。我们开发了一种算法，解决了这个图形问题的时间是\emph{polynomial}在代理的数量，目标位置，和消费马尔可夫决策过程的大小。我们证明了该算法的适用性和可扩展性的情况下，数百个无人水下航行器监测数百个位置的环境中的随机洋流。
2021-05-04 cs.AI cs.MA cs.SY
Towards Explainable and Safe Conversational Agents for Mental Health: A Survey
UMBC（马里兰大学巴尔的摩县分校）；Mayo Clinic（梅奥诊所）；AI Institute, USC（南加州大学人工智能研究院）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）
该综述批判性梳理心理健康对话智能体现状，指出VMHAs需结合情境知识、数据集、可解释性与安全性，并提出临床决策支持方向、评估指标及实践建议。
2023-04-25 cs.AI cs.CL
MS*: A New Exact Algorithm for Multi-agent Simultaneous Multi-goal Sequencing and Path Finding
Carnegie Mellon University（卡内基梅隆大学）；Texas A&M University（德克萨斯A&M大学）
在多智能体应用中，如监控和物流，移动代理的车队往往被期望协调和安全地访问大量的目标位置尽可能有效。在这些应用程序中的多智能体规划问题涉及分配和排序的目标，为每个代理，同时产生无冲突的代理路径。在这篇文章中，我们介绍了一种新的算法，称为MS*，它通过融合和推进多智能体路径查找（MAPF）和多旅行商问题（mTSP）的最新求解器来计算多智能体问题的最优解。MS* 利用我们先前的MAPF子维度扩展方法，并嵌入mTSP求解器，为智能体优化分配和排序目标。数值结果表明，我们的新算法可以解决20代理和50个目标的多智能体问题在一分钟的CPU时间在一个标准的笔记本电脑。
2021-03-18 cs.AI cs.RO
Multi-Agent Continuous Transportation with Online Balanced Partitioning
National University of Singapore（新加坡国立大学）
我们将连续运输任务的概念引入到多智能体系统中。一个连续的运输任务是一个多智能体团队访问一些固定的位置，拿起物体，并将它们送到最终目的地。我们的目标是最大限度地提高运输速度，同时随着时间的推移补充对象。需要连续运输的问题的例子是觅食，区域清扫和第一/最后一英里问题。以前的方法通常忽略了干扰，并且高度依赖于代理之间的通信。有些还包括一个额外的侦察代理收集信息。在本文中，我们提出了一种混合的集中式和分布式的方法，最大限度地减少干扰和通信的多智能体团队，而不需要一个侦察代理。我们贡献了两个分区运输算法的启发，现有的算法，并贡献了一个新的在线分区运输算法与信息收集的多智能体团队。我们的算法已被实施和广泛的模拟测试。本文中提出的结果表明，我们的算法优于现有的算法的有效性，即使没有任何代理之间的通信，没有侦察代理的存在。
2016-07-28 cs.AI cs.MA cs.RO
Multi-Goal Multi-Agent Pickup and Delivery
Simon Fraser University（西蒙菲莎大学）；University of Southern California（南加州大学）
在这项工作中，我们考虑多代理拾取和交付（MAPD）的问题，代理不断从事新的任务，需要计划无冲突的路径来执行它们。为了执行任务，代理需要访问一对目标位置，包括拾取位置和交付位置。我们提出了两种变体的算法，分配一系列的任务，每个代理使用的任何时候算法大邻域搜索（LNS）和计划路径使用多代理路径查找（MAPF）算法基于优先级的搜索（PBS）。LNS-PBS是完整的形式良好的MAPD实例，一个现实的子类的MAPD实例，经验上比现有的完整的MAPD算法中央更有效。LNS-wPBS不提供完整性保证，但经验上比LNS-PBS更有效和稳定。它可扩展到大型仓库中的数千个代理和数千个任务，并且根据经验比现有的可扩展MAPD算法HBH+MLA* 更有效。LNS-PBS和LNS-wPBS也适用于MAPD的更一般的变体，即多目标MAPD（MG-MAPD）问题，其中任务可以具有不同数量的目标位置。
2022-08-02 cs.AI cs.MA cs.RO
Optimal Target Assignment and Path Finding for Teams of Agents
University of Southern California（南加州大学）
研究了已知地形下多智能体的目标分配和寻路问题，推广了匿名和非匿名多智能体寻路问题。每个团队的目标数量与团队中的代理数量相同。每个代理必须移动到指定给其团队的一个目标，以便访问所有目标。TAPF问题是首先将代理分配给目标，然后规划代理到目标的无冲突路径，以使完工时间最小化。我们提出了CBM（基于最小成本流）算法，一个分层的算法，解决TAPF实例最佳结合匿名和非匿名的多智能体寻路算法的想法。在低层次上，CBM使用时间扩展网络上的最小成本最大流算法将单个团队中的所有代理分配给目标并规划其路径。在高层次上，CBM使用基于冲突的搜索来解决不同团队中的代理之间的冲突。从理论上证明了CBM是正确的、完备的和最优的。在实验中，我们展示了CBM到TAPF实例的可扩展性，其中包含数十个团队和数百个代理，并将其适应于模拟仓库系统。
2016-12-17 cs.AI cs.MA cs.RO
A Real-Time Rescheduling Algorithm for Multi-robot Plan Execution
Carnegie Mellon University（卡内基梅隆大学）；Monash University（蒙纳士大学）
针对多智能体路径寻找中执行延迟引发的重规划问题，提出A*风格的Switchable-Edge Search (SES)算法以寻找最优通过顺序，理论证明其最优性且仿真显示在大型问题上比基线快达4倍。
2024-03-26 cs.AI cs.MA cs.RO
