Differential Harm Propensity in Personalized LLM Agents: The Curious Case of Mental Health Disclosure
Khoury College of Computer Sciences（科里学院计算机科学学院）
研究探讨了心理健康披露对代理有害行为的影响，发现个性化设置可降低伤害，但易受对抗性压力影响，需加强个性化评估与安全措施。
2026-03-17 cs.AI
Curious Explorer: a provable exploration strategy in Policy Learning
University of Pisa（比萨大学）；University of Chieti-Pescara（基耶蒂-佩斯卡拉大学）
使用策略梯度方法，访问探索重启分布（所谓的宽覆盖假设）是至关重要的。这是因为，虽然目标函数对不太可能的状态的更新不敏感，但代理可能仍然需要在这些状态中进行改进，以达到接近最佳的回报。为此，在分析实际策略梯度方法的理论性质时，以某种形式使用宽覆盖。然而，这种假设在某些环境中可能是不可行的，例如当学习是在线的，或者只有从固定的初始状态重新启动才可能。在这些情况下，经典的策略梯度算法可能具有非常差的收敛特性和样本效率。在本文中，我们开发了好奇探索者，一种新颖而简单的迭代状态空间探索策略，可用于任何起始分布$ρ$。Curious Explorer从$ρ$开始，然后使用分配给访问不佳状态集的内在奖励生成一系列策略，每个策略都比前一个策略更具探索性，最后根据探索性策略的状态访问分布输出重启模型$μ$。好奇的探索者是可证明的，在这个意义上，我们提供了理论上的上限多久一个最佳的政策访问量不大的国家。当PAC优化器插入Curious Explorer时，这些界限可用于证明PAC收敛和样本效率结果。这允许实现全局收敛和样本效率结果，而无需对REINFORCE进行任何覆盖假设，并且可能用于任何其他策略梯度方法，从而确保PAC收敛具有广泛的覆盖。最后，我们将好奇探索者的输出插入到REINFORCE和TRPO中，并以经验证明它可以提高具有挑战性探索的MDP的性能。
2021-06-29 cs.AI cs.LG
Experimental Evidence that Empowerment May Drive Exploration in Sparse-Reward Environments
Swarthmore College（斯沃斯莫尔学院）；Araya Inc.（Araya公司）
强化学习（RL）在外部奖励稀疏的环境中通常是不成功的。一个可能的对策是赋予RL代理一个内在的奖励功能，或“内在动机”，它根据当前传感器状态的某些特征奖励代理。基于授权原则的内在奖励函数分配与代理对其自己的传感器的控制量成比例的奖励。我们实现了一个变化，最近提出的内在动机的代理，我们称之为“好奇”的代理，授权启发代理。前者利用传感器状态编码与变分自编码器，而后者预测下一个传感器状态通过变分信息瓶颈。我们比较了这两个代理的性能，在四个稀疏的奖励网格世界的优势演员-评论家基线。授权代理人和它好奇的竞争者似乎都从他们的内在奖励中获得了类似的好处。这为授权可以用来推动探索的猜想提供了一些实验支持。
2021-07-14 cs.AI
A unified strategy for implementing curiosity and empowerment driven reinforcement learning
ARAYA, Inc.（ARAYA公司）
虽然有许多方法来实现内在动机的人工代理，多个内在驱动器的组合使用仍然是一个相对未开发的研究领域。具体来说，我们假设，一种机制，能够量化和控制代理和环境之间的信息流的演变可能是实现更高程度的自主性到人工智能代理的基本组成部分。本文提出了一个统一的策略来实现两个语义正交的内在动机：好奇心和授权。当前奖励通知代理最近的代理行动的相关性，而授权是作为从代理到环境的相反信息流来实现的，该信息流量化了代理控制自己未来的潜力。我们发现，一个额外的稳态驱动来自好奇心奖励，它概括和增强了经典的好奇/异稳态强化学习代理的信息增益。我们展示了好奇心和赋权的共享内部模型如何促进赋权功能的更有效培训。最后，我们讨论了进一步利用这两种内在奖励之间的相互作用的未来方向。
2018-06-18 cs.AI
COBRA: Data-Efficient Model-Based RL through Unsupervised Object Discovery and Curiosity-Driven Exploration
DeepMind（深度思维）
数据效率和对任务无关扰动的鲁棒性是深度强化学习算法长期面临的挑战。在这里，我们介绍了一种模块化的方法来解决这些挑战，在一个连续的控制环境中，而不使用手工制作或监督的信息。我们的好奇基于对象的搜索代理（COBRA）使用无任务的内在动机的探索和无监督学习，以建立其环境和行动空间的基于对象的模型。随后，它可以通过基于模型的搜索在非常少的步骤中学习各种任务，并在策略鲁棒性的结构化保持测试中表现出色。
2019-08-14 cs.AI cs.LG
Using Generative Agents to Create Tip Sheets for Investigative Data Reporting
Utrecht University（乌得勒支大学）；Northwestern University（西北大学）
本研究提出了一套由分析师、记者、编辑三类智能体协作的系统，可从数据中生成调查数据报道的线索，经真实案例验证，其生成的内容比基线模型更具新闻价值与准确性。
2024-09-11 cs.AI cs.CL cs.LG
Redeeming Intrinsic Rewards via Constrained Optimization
Massachusetts Institute of Technology（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Aalto University（阿尔托大学）
现有技术的强化学习（RL）算法通常使用随机采样（例如，$ε$ -贪婪）的探索，但这种方法失败的硬探索任务，如蒙特祖玛的复仇。为了应对探索的挑战，先前的作品通过在智能体访问新状态时奖励智能体来激励探索。这种内在奖励（也称为探索奖金或好奇心）通常会导致在困难的探索任务中表现出色。然而，在简单的探索任务中，智能体会被内在奖励分散注意力，即使有足够的任务（也称为外在）奖励，也会进行不必要的探索。因此，这样一个过度好奇的代理比一个只接受任务奖励训练的代理表现得更差。任务之间的这种性能不一致性阻止了RL算法中内在奖励的广泛使用。我们提出了一个原则性的约束优化过程，称为外在-内在策略优化（EIPO），自动调整内在奖励的重要性：它抑制内在奖励时，探索是不必要的，并增加它时，探索是必需的。其结果是优越的探索，不需要手动调整平衡的内在奖励对任务奖励。在61款ATARI游戏中获得的一致性能提升验证了我们的说法。该代码可在https://github.com/Improbable-AI/eipo上获得。
2022-11-18 cs.AI cs.LG
How to Stay Curious while Avoiding Noisy TVs using Aleatoric Uncertainty Estimation
University College London（伦敦大学学院）；Boston University（波士顿大学）
针对稀疏奖励且存在动作依赖噪声的探索难题，本文提出受大脑胆碱能系统启发的任意映射智能体（AMAs），通过分别预测未来状态的均值和方差并降低高任意方差转移的内在奖励，有效避开随机陷阱。
2024-07-05 cs.AI cs.LG
The Impact of Big Five Personality Traits on AI Agent Decision-Making in Public Spaces: A Social Simulation Study
University of Science and Technology of China（中国科学技术大学）
本研究基于AgentVerse框架与GPT-3.5-turbo开展社会仿真，探究大五人格特质对公共空间中AI智能体决策的影响，发现不同人格特质与决策模式显著相关，且公开表达与私人想法存在差异，为开发情境感知的AI系统提供参考。
2025-01-15 cs.AI cs.CY cs.HC
Learning to Construct Practical Agentic Systems
Carnegie Mellon University（卡内基梅隆大学）；Dept. of Computer Science（计算机科学系）；Emory University（埃默里大学）
本文提出一种基于伪工具和固定工作流的智能体框架，通过模块化设计和多目标优化方法，在保证成本可控和结果质量的前提下，实现实用智能体系统的自动构建与优化。
2026-09-09 cs.AI cs.LG
Curiosity in exploring chemical space: Intrinsic rewards for deep molecular reinforcement learning
University of Göttingen（哥廷根大学）；University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
计算机辅助分子设计有可能颠覆药物和材料发现领域。机器学习，特别是深度学习，一直是该领域快速发展的主题。强化学习是一种特别有前途的方法，因为它允许分子设计而无需先验知识。然而，搜索空间是巨大的，并且当使用强化学习代理时，需要有效的探索。在这项研究中，我们提出了一个算法，以帮助有效的探索。该算法的灵感来自文献中称为好奇心的概念。我们在三个基准上显示，一个好奇的代理发现性能更好的分子。这为强化学习代理人指明了一个令人兴奋的新研究方向，这些代理人可以出于自己的动机探索化学空间。这有可能最终导致意想不到的新分子，到目前为止还没有人想到过。
2020-12-17 cs.AI cs.LG physics.chem-ph
Curiosity-driven Intuitive Physics Learning
Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）
生物学上的婴儿天生好奇，并试图通过无数的多感官方式与周围的不同物体（主要是宏观的固体物体）互动来理解他们的物理环境。通过它们的各种相互作用，它们建立假设和预测，并最终学习，推断和理解这些对象的物理特性和行为的本质。受此启发，我们提出了一个模型，好奇心驱动的学习和推理的现实世界的人工智能智能体。这个模型是基于好奇心的唤起，从沿着基本宏观固体物理参数的不连续性的观察中得出的，即，形状恒常性、时空连续性和物体永久性。我们用身体预算这个术语来表示感知到的固体物体的基本属性。该模型旨在支持在现实世界的人工智能智能体中从头开始学习的仿真，然后通过经验进行充实，而不管领域如何。
2021-05-16 cs.AI
Interesting Object, Curious Agent: Learning Task-Agnostic Exploration
Facebook AI Research（Facebook AI研究院）；Carnegie Mellon University（卡内基梅隆大学）
任务不可知探索的常见方法是学习tabula-rasa --代理假设孤立的环境，没有先验知识或经验。然而，在现实世界中，智能体在许多环境中学习，并且在探索新环境时总是有先前的经验。探索是一个终身的过程。在本文中，我们提出了一个范式的变化，制定和评估任务不可知论的探索。在这种设置中，智能体首先学习以任务不可知的方式在没有任何外在目标的情况下探索许多环境。之后，智能体有效地转移学习的探索策略，以便在解决任务时更好地探索新环境。在这种情况下，我们评估了几个基线探索策略，并提出了一个简单而有效的方法来学习任务不可知的探索政策。我们的主要思想是，有两个组成部分的探索：（1）一个以代理为中心的组件，鼓励探索环境中看不见的部分的基础上代理的信念;（2）以环境为中心的组件，鼓励探索固有的有趣的对象。我们表明，我们的配方是有效的，并提供了最一致的探索在几个训练测试环境对。我们还介绍了用于评估任务不可知的探索策略的基准和指标。源代码可在https://github.com/sparisi/cbet/上获得。
2021-11-25 cs.LG
Partial Identifiability in Inverse Reinforcement Learning For Agents With Non-Exponential Discounting
University of Oxford（牛津大学）
本研究刻画了非指数折扣（特别是双曲折扣）智能体在逆强化学习中的部分可识别性，发现IRL通常无法推断足够信息以识别最优策略，从而不足以充分刻画此类智能体的偏好。
2024-12-15 cs.AI cs.LG
Learning to Learn in Simulation
Carnegie Mellon University（卡内基梅隆大学）；Moffett Field, CA（莫菲特菲尔德，加利福尼亚州）
深度学习通常需要手动收集和注释训练集。在机器人平台上，我们能否通过训练机器人保持好奇心来部分自动化这项任务，即，在环境中寻找有益的培训信息？在这项工作中，我们解决了好奇心的问题，因为它涉及到在线，实时，人在回路中的无人机上的目标检测算法的训练，其中运动被限制在两个维度。我们使用3D仿真环境和深度强化学习来训练好奇代理，进而训练目标检测模型。这个代理可能有两个相互冲突的目标之一：尽可能快地进行训练，或者以最少的人力投入进行训练。我们概述了一个奖励函数，它允许好奇心代理学习这些目标中的任何一个，同时考虑到它要运行的无人机平台的一些物理特性。此外，我们表明，我们可以通过调整奖励函数中的参数来衡量实现这些目标的重要性。
2019-02-05 cs.AI cs.RO
Curious Causality-Seeking Agents Learn Meta Causal World
University of Bristol（布里斯托大学）；Peking University（北京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, Chinese Academy of Sciences（中国科学院人工智能学院）；University College London（伦敦大学学院）；King Abdullah University of Science and Technology（卡塔尔科技大学）；The Swiss AI Lab, IDSIA-USI/SUPSI（瑞士AI实验室，IDSIA-USI/SUPSI）
本文提出元因果图作为世界模型，并设计因果寻求智能体，通过好奇心驱动的干预策略识别元状态、发现因果关系并迭代优化，实验证明其能稳健捕捉因果动态变化并泛化到新情境。
2025-10-26 cs.AI cs.LG stat.AP
Pseudorehearsal in actor-critic agents
Innopolis University（因诺波利斯大学）
灾难性遗忘在强化学习中具有严重的影响，因为数据分布通常是稀疏的并且随着时间的推移是非平稳的。本研究的目的是调查是否pseudorhearsal可以提高性能的行动者-评论家代理与神经网络为基础的政策选择和功能近似在极点平衡任务，并比较不同的pseudorhearsal方法。我们希望pseudorhearsal帮助学习，即使在这样简单的问题，适当的初始化的排练参数。
2017-04-17 cs.AI
A Strongly Asymptotically Optimal Agent in General Environments
Australian National University（澳大利亚国立大学）
预计强化学习代理最终会表现良好。通常情况下，这采取的形式是保证算法的渐近行为，给出了一些关于环境的假设。我们提出了一个算法的政策，其价值接近最优值的概率为1，在所有可计算的概率环境中，提供了代理有界的地平线。这被称为强渐近最优性，以前不知道一个策略在所有可计算概率环境中是否可能是强渐近最优的。我们的智能体，探究强化学习者（Inq），更有可能探索更多的探索行动，以减少其对环境的不确定性，因此术语好奇。好奇地探索是一种可以普遍应用的策略;对于更易于管理的环境类，好奇是容易处理的。我们在“网格世界”中进行了实验，将探究式强化学习器与其他弱渐近最优代理进行比较。
2019-05-27 cs.AI cs.LG
MAP Propagation Algorithm: Faster Learning with a Team of Reinforcement Learning Agents
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
几乎所有最先进的深度学习算法都依赖于误差反向传播，这在生物学上通常被认为是不可信的。训练人工神经网络的另一种方法是将网络中的每个单元视为强化学习代理，因此网络被视为一组代理。因此，所有单元都可以通过REINFORCE进行训练，这是一种由全局信号调制的局部学习规则，与生物学上观察到的突触可塑性形式更一致。虽然这种学习规则遵循期望的回报梯度，但它具有高方差，因此学习速度慢，使其无法训练深度网络。因此，我们提出了一种新的算法，称为MAP传播，以减少这种变化显着，同时保留本地属性的学习规则。实验表明，MAP传播可以解决常见的强化学习任务，在应用于演员-评论家网络时，速度与反向传播相似。因此，我们的工作允许在深度强化学习中更广泛地应用代理团队。
2021-10-05 cs.AI cs.LG
Remember to be Curious: Episodic Context and Persistent Worlds for 3D Exploration
University of Toronto（多伦多大学）；UC Berkeley（加州大学伯克利分校）；Wayve；Vector Institute（向量研究所）；Simon Fraser University（西蒙 Fraser大学）
本研究提出了一种基于好奇心驱动强化学习的方法，通过引入持久世界模型和片段上下文来解决3D环境中稀疏奖励长周期任务中的探索问题，实验表明该方法在HM3D数据集上优于基于强化学习的主动映射基线，并能泛化到Gibson和AI生成的世界。
2026-05-21 cs.LG
Curious Representation Learning for Embodied Intelligence
MIT（麻省理工学院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
自监督表示学习近年来取得了显著的成功。通过颠覆对监督标签的需求，这种方法能够利用互联网上和摄影数据集中存在的大量未标记图像。然而，要构建真正的智能代理，我们必须构建表示学习算法，不仅可以从数据集学习，还可以从环境中学习。在自然环境中的代理通常不会被馈送策划数据。相反，它必须探索其环境以获取它将从中学习的数据。我们提出了一个框架，好奇表示学习（CRL），共同学习的强化学习政策和视觉表示模型。该策略经过训练，以最大限度地提高表征学习器的错误，并在此过程中激励探索其环境。与此同时，随着策略提供越来越难以学习的数据，学习到的表示变得越来越强大。我们学习到的表示能够很好地转移到下游导航任务，在不使用任何监督的情况下，性能优于或优于ImageNet预训练。此外，尽管在模拟中进行了训练，但我们学习的表示可以在真实图像上获得可解释的结果。代码可在https://yilundu.github.io/crl/上获得。
2021-08-31 cs.AI cs.CV cs.LG
Avoiding Wireheading with Value Reinforcement Learning
我们如何为任意智能代理设计良好的目标？强化学习（RL）是一种自然的方法。不幸的是，RL对于一般的智能代理并不起作用，因为RL代理被激励以缩短奖励传感器以获得最大奖励-所谓的wireheading问题。在本文中，我们提出了一种替代RL称为价值强化学习（VRL）。在VRL中，代理使用奖励信号来学习效用函数。VRL设置允许我们通过对代理的行为施加约束来消除对wirehead的激励。该约束是定义在代理的信念分布，并不需要明确的规范，哪些行动构成wireheading。
2016-05-10 cs.AI
Episodic Curiosity through Reachability
Google Brain（谷歌大脑）；DeepMind（深度思维）；ETH Zürich（苏黎世联邦理工学院）
在现实世界中，奖励是稀疏的，今天的大多数强化学习算法都在与这种稀疏性作斗争。这个问题的一个解决方案是允许代理为自己创建奖励-从而使奖励密集且更适合学习。特别是，受动物好奇行为的启发，观察新奇的东西可以获得奖金。这样的奖金与实际任务奖励相结合-使RL算法可以从组合奖励中学习。我们提出了一种新的好奇心方法，利用情景记忆形成新奇奖金。为了确定奖金，将当前观察与内存中的观察进行比较。至关重要的是，这种比较是基于从记忆中的观察结果到达当前观察结果所需的环境步骤来完成的-记忆中包含了关于环境动态的丰富信息。这使我们能够克服已知的“沙发土豆”的问题，以前的工作-当代理人找到一种方法，立即满足自己利用行动，导致难以预测的后果。我们在ViZDoom，DMLab和MuJoCo中的视觉丰富的3D环境中测试我们的方法。在ViZDoom和DMLab的导航任务中，我们的代理优于最先进的好奇心方法ICM。在MuJoCo中，一只配备了我们好奇心模块的蚂蚁只能从第一人称视角的好奇心中学习运动。
2019-08-06 cs.AI cs.CV cs.LG
CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations
Huawei Technologies（华为技术有限公司）；Paris Research Center, Huawei Technologies（华为技术有限公司巴黎研究中心）；Queen Mary University of London（伦敦玛丽女王大学）
本研究提出CTBench基准，评估AI智能体的电信故障排查能力，发现其路径恢复表现好于根本原因分析，且资源消耗与诊断效果无必然关联。
2026-10-22 cs.AI
An Abstraction-based Method to Check Multi-Agent Deep Reinforcement-Learning Behaviors
Imperial College London（伦敦帝国理工学院）
多智能体强化学习（RL）通常难以确保学习代理的安全行为，因此通常不适用于安全关键型应用。为了解决这个问题，我们提出了一种方法，结合形式化验证与（深）RL算法，以保证满足正式指定的安全约束的培训和测试。我们提出的方法表示的约束，以验证概率计算树逻辑（PCTL），并建立一个抽象的表示系统，以减少验证步骤的复杂性。该抽象模型允许模型检验技术来识别满足PCTL中表达的安全约束的一组抽象策略。然后，根据这些安全的抽象策略来限制代理的行为。我们提供了形式化的保证，通过使用这种方法，代理的行动总是满足安全约束，并提供了一个过程，自动生成一个抽象的模型。我们经验评估，并显示我们的方法在多智能体环境中的有效性。
2021-04-02 cs.AI cs.LG cs.MA
Deep Surrogate Assisted Generation of Environments
University of Southern California（南加州大学）
强化学习（RL）的最新进展已经开始产生能够解决复杂环境分布的通用代理。这些代理通常在固定的人类创作环境中进行测试。另一方面，质量多样性（QD）优化已被证明是一个有效的组成部分，环境生成算法，它可以生成高质量的环境，是不同的，在所产生的代理行为的集合。然而，这些算法需要潜在的昂贵的模拟代理新生成的环境。我们提出了深度代理辅助生成环境（DSAGE），一个样本高效的QD环境生成算法，保持一个深代理模型预测代理在新的环境中的行为。在两个基准领域的结果表明，DSAGE显着优于现有的QD环境生成算法，发现集合的环境，引起不同的行为，一个国家的最先进的RL代理和规划代理。我们的源代码和视频可以在https://dsagepaper.github.io/上找到。
2022-10-12 cs.AI cs.LG cs.NE
RDAR: Reward-Driven Agent Relevance Estimation for Autonomous Driving
UC Berkeley（伯克利大学）；Zoox Inc.（Zoox公司）
针对自动驾驶场景中智能体过多导致计算开销大的问题，本文提出RDAR方法，通过强化学习学习每个智能体的相关性并生成掩码以排除无关智能体，在保持驾驶性能的同时显著减少处理数量。
2025-09-24 cs.AI cs.LG cs.RO
Examining Policy Entropy of Reinforcement Learning Agents for Personalization Tasks
Lirio LLC（Lirio有限责任公司）；Lirio AI Research（Lirio人工智能研究院）；Behavioral Reinforcement Learning Lab（行为强化学习实验室）
本研究考察强化学习系统在个性化环境中的行为，发现Policy Optimization智能体训练时易产生低熵策略，而Q-Learning智能体通常保持高熵策略，并通过数值实验与理论证明这种熵差异源于学习算法类型。
2024-04-27 cs.AI cs.LG cs.NA
Is Curiosity All You Need? On the Utility of Emergent Behaviours from Curious Exploration
DeepMind；University of Oxford（牛津大学）；Queensland University of Technology（昆士兰科技大学）
基于好奇心的奖励计划可以提供强大的探索机制，有助于发现复杂，稀疏或长期任务的解决方案。然而，随着智能体学会到达以前未探索的空间，目标适应奖励新的区域，许多行为出现后，由于不断变化的目标而消失。我们认为，仅仅利用好奇心来快速探索环境或作为特定任务的额外奖励，并不能充分利用这种技术的潜力，并错过了有用的技能。相反，我们建议将重点转移到保留基于好奇心的学习过程中出现的行为上。我们认为，这些自我发现的行为作为有价值的技能，在代理的剧目，以解决相关的任务。我们的实验证明了在整个训练过程中行为的不断变化，以及一个简单的策略快照方法重用发现的行为用于传输任务的好处。
2021-09-17 cs.LG cs.NE cs.RO
Improving Search through A3C Reinforcement Learning based Conversational Agent
Adobe Systems Inc（奥多比系统公司）；IIT Delhi（印度理工学院德里分校）
我们开发了一个基于强化学习的搜索助手，它可以通过一组动作和一系列交互来帮助用户实现他们的意图。我们的方法迎合主观搜索，用户正在寻找数字资产，如图像，这是从根本上不同的任务，具有客观和有限的搜索方式。标记的会话数据通常在这样的搜索任务中不可用，并且通过人类交互来训练代理可能是耗时的。我们提出了一个随机虚拟用户模拟一个真实的用户，可以用来有效地采样用户的行为，训练代理，加快了自举代理。我们开发了基于A3C算法的上下文保持体系结构，使代理提供上下文的帮助给用户。我们将A3C代理与Q学习进行比较，并评估其在验证事件中与虚拟用户获得的平均奖励和状态值上的性能。我们的实验表明，智能体学习获得更高的奖励和更好的状态。
2018-08-19 cs.AI
Development of collective behavior in newborn artificial agents
Indiana University（印第安纳大学）
集体行为在动物王国中很普遍。然而，到目前为止，集体行为的发展和机械基础还没有正式建立。什么样的学习机制驱动新生动物集体行为的发展？在这里，我们使用了深度强化学习和好奇心驱动的学习--这两种学习机制深深植根于心理学和神经科学研究--来构建发展集体行为的新生人工代理。就像新生动物一样，我们的智能体从自然环境中的原始感官输入中学习集体行为。我们的智能体还可以在没有外部奖励的情况下学习集体行为，只使用内在动机（好奇心）来驱动学习。具体来说，当我们在自然视觉环境中与群体成员一起提高我们的人工智能体时，智能体自发地发展自我运动，物体识别和对群体成员的偏好，快速学习集体行为所需的所有核心技能。这项工作弥合了高维感官输入和集体行动之间的鸿沟，从而形成了集体动物行为的像素到行动模型。更一般地说，我们证明了两种通用的学习机制--深度强化学习和好奇心驱动学习--足以从无监督的自然经验中学习集体行为。
2021-11-06 cs.AI
Primitive Agentic First-Order Optimization
RPTU Kaiserslautern（凯泽斯劳滕工业大学）
本文提出在预算受限优化下结合原始状态表示与智能体-环境交互作为一阶优化器的概念验证，通过强化学习在低维部分状态表示中近似最优策略，实验表明其优于常规优化算法，为智能体优化铺路。
2024-06-07 cs.AI cs.LG cs.SY
Fixed $β$-VAE Encoding for Curious Exploration in Complex 3D Environments
Imperial College（帝国理工学院）；École polytechnique（巴黎综合理工学院）
Currency是一种用内在奖励增加环境奖励的通用方法，它鼓励探索，在稀疏奖励设置中特别有用。由于好奇心是使用下一个状态预测误差计算的，因此所使用的状态编码类型对性能有很大影响。根据Atari和其他主要2D环境之前的结果，随机特征和逆动力学特征通常比VAE更受欢迎。然而，与VAE不同，它们可能无法为最佳行为编码足够的信息，随着环境变得越来越复杂，这一点变得越来越重要。在本文中，我们使用稀疏奖励3D物理环境Animal-AI，演示如何有效地使用固定的$β$ -VAE编码。我们将此与课程学习相结合，以解决以前未解决的探索密集型绕道任务，同时在训练课程上实现22%的样本效率增益。我们还证实了Atari Breakout的结果，我们的自定义编码优于随机特征和逆动力学特征。
2021-05-18 cs.CV cs.LG
Active World Model Learning with Progress Curiosity
Stanford University（斯坦福大学）；Harvard University（哈佛大学）
世界模型是世界如何演变的自我监督预测模型。人类通过好奇地探索他们的环境来学习世界模型，在这个过程中获得高带宽感官输入的紧凑抽象，跨长时间范围计划的能力，以及对其他代理人行为模式的理解。在这项工作中，我们研究如何设计这样一个好奇心驱动的主动世界模型学习（AWML）系统。要做到这一点，我们构建了一个好奇的代理建设世界模型，同时在视觉上探索一个3D的物理环境，丰富的蒸馏代表现实世界的代理。我们提出了一个AWML系统驱动的$γ$ -进步：一个可扩展的和有效的学习进度为基础的好奇心信号。我们表明，$γ$ -进展自然会产生一个探索政策，将注意力集中在复杂的，但学习的动态平衡的方式，从而克服了“白噪声问题”。因此，我们的$γ$ -Progress-driven控制器实现了比配备最先进的探索策略（如随机网络蒸馏和模型不一致）的基线控制器更高的AWML性能。
2020-07-15 cs.AI cs.LG stat.ML
Ask & Explore: Grounded Question Answering for Curiosity-Driven Exploration
Birla Institute of Technology and Science, Pilani（比拉理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在许多现实世界的情况下，外部奖励的代理是非常稀疏的，好奇心已经成为一个有用的概念，提供内在的奖励，使代理探索其环境和获取信息，以实现其目标。尽管它们在许多稀疏奖励任务上表现出色，但现有的好奇心方法依赖于对状态转换的过度全面的看法，并且不允许对环境的特定方面进行结构化的理解。在本文中，我们通过鼓励智能体提出有关环境的问题并在这些问题的答案发生变化时保持好奇心，从而基于有根据的问答来表达好奇心。我们发现，自然语言问题鼓励代理发现有关其环境的特定知识，例如对象的物理特性以及它们与其他对象的空间关系，这些知识可以作为有价值的好奇心奖励，以更有效地解决稀疏奖励任务。
2021-04-24 cs.AI cs.CL cs.LG
Build generally reusable agent-environment interaction models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Alberta（阿尔伯塔大学）
本文解决了如何预训练模型并使其成为下游任务学习的可重用骨干的问题。在预训练中，我们提出了一种方法，通过学习领域不变的后继功能，从代理的丰富经验，涵盖各种任务，然后离散成行为原型，从而在一个具体的集合结构的代理环境交互模型。为了使模型通常可用于下游任务学习，我们提出（1）具体特征投影，通过将新任务的观察-动作对投影到具体集合结构来保留先前的知识，以及（2）投影Bellman更新，为新任务设置添加学习可塑性。我们提供的初步结果表明，基于预训练的体现集结构的下游任务学习可以处理任务目标，环境动态和传感器模态中看不见的变化。
2022-11-13 cs.AI cs.LG
A Novel Approach to Curiosity and Explainable Reinforcement Learning via Interpretable Sub-Goals
BrightMind, Bright Media Inc.（BrightMind，Bright Media 公司）
强化学习中的两个关键挑战涉及改进（a）在具有稀疏外部奖励的环境中的代理学习和（b）代理动作的可解释性。我们描述了一个好奇的子目标为重点的代理，以解决这两个挑战。我们使用一种新的方法产生的好奇心从生成对抗网络（GAN）的环境过渡模型，是强大的随机环境过渡。此外，我们使用子目标生成网络来指导导航。通过将复杂的任务分解为一系列不需要任何手动设计的可解释的子目标，可以增加代理行为的可解释性。我们表明，这种方法也使代理解决具有挑战性的程序生成的任务，包含随机过渡以上其他国家的最先进的方法。
2021-04-19 cs.LG
Open-Ended Learning Leads to Generally Capable Agents
DeepMind（深度思维）
在这项工作中，我们创建的代理，可以执行远远超出一个单一的，个人的任务，表现出更广泛的行为概括到一个巨大的，丰富的挑战空间。我们定义了一个环境领域内的任务的宇宙，并展示了训练代理，一般能够跨越这个广阔的空间和超越的能力。环境是天生的多智能体，跨越竞争，合作和独立游戏的连续体，这些游戏位于程序生成的物理3D世界中。由此产生的空间是非常多样化的，在对代理人提出的挑战，因此，即使是测量代理人的学习进度是一个开放的研究问题。我们提出了一个迭代的概念，连续几代代理之间的改进，而不是寻求最大化一个单一的目标，使我们能够量化的进展，尽管任务是无与伦比的可实现的奖励。我们表明，通过构建一个开放式的学习过程，动态地改变训练任务分布和训练目标，使代理永远不会停止学习，我们实现了新行为的一致学习。由此产生的智能体能够在我们人类可解决的每一个评估级别中获得奖励，其行为可以推广到任务领域中的许多点。这种zero-shot概括的例子包括在Hide and Seek、Capture the Flag和Tag上的良好性能。通过分析和手工创作的探测任务，我们发现我们的代理人的行为，并发现有趣的新兴启发式行为，如试错实验，简单的工具使用，选项切换和合作。最后，我们证明了这个代理的一般能力可以通过廉价的微调解锁更大规模的行为转移。
2021-07-31 cs.AI cs.LG cs.MA
Ghost in the Minecraft: Generally Capable Agents for Open-World Environments via Large Language Models with Text-based Knowledge and Memory
Tsinghua University（清华大学）；SenseTime Research（商汤科技研究院）；University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Institute of Automation, Chinese Academy of Science (CASIA)（中国科学院自动化研究所）；Centre for Artificial Intelligence and Robotics, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新中心）
提出 GITM 框架，利用 LLM 结合文本知识、记忆与结构化动作规划 Minecraft 智能体，显著提升 ObtainDiamond 成功率并首次集齐主世界科技树物品。
2023-06-01 cs.AI cs.CL cs.CV
What Would Jiminy Cricket Do? Towards Agents That Behave Morally
UC Berkeley（加州大学伯克利分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
在做日常决定时，人们受良心的指引，一种内在的是非感。相比之下，人工代理目前没有被赋予道德感。因此，当他们在忽视道德问题的环境中训练时，他们可能会学会不道德的行为，比如暴力视频游戏。随着在许多环境中进行预训练的一般能力代理的出现，有必要减轻来自教导不道德行为的环境的遗传偏见。为了促进代理商的发展，避免造成肆意伤害，我们介绍了Jiminy Cricket，一个环境套件，25个基于文本的冒险游戏，具有数千个不同的，道德上突出的场景。通过注释每个可能的游戏状态，Jiminy Cricket环境可以有力地评估智能体是否可以在最大化奖励的同时采取道德行为。使用具有常识道德知识的模型，我们创建了一个基本的人工良心，用于评估和指导代理。在广泛的实验中，我们发现人工良心方法可以引导代理人进行道德行为，而不会牺牲性能。
2022-02-08 cs.AI cs.CL cs.CY
Massively Multiagent Minigames for Training Generalist Agents
本文提出Meta MMO基准，通过多个计算高效的迷你游戏扩展Neural MMO，并研究用单一权重集在多个迷你游戏上的泛化能力，以促进多智能体通用智能体的训练与评估。
2024-06-07 cs.AI cs.LG cs.MA
How and Why to Manipulate Your Own Agent: On the Incentives of Users of Learning Agents
The Hebrew University of Jerusalem（希伯来大学）
自动学习代理的使用在许多在线经济应用中变得越来越普遍，例如在线拍卖和自动交易。出于这样的应用程序，本文致力于基本的建模和分析的战略情况下，用户的自动学习代理所面临的。我们考虑的战略设置，几个用户从事重复的在线互动，协助后悔最小化的学习代理，反复代表他们玩一个“游戏”。我们建议将代理动态的结果视为诱导用户之间的“元游戏”。我们主要关注的是用户是否可以在这个元游戏中受益于“操纵”自己的代理人误报他们的参数给他们。我们定义了一个通用的框架来建模和分析这些策略的用户之间的互动学习代理一般的游戏，并分析在三类游戏的用户之间诱导的均衡。我们表明，一般来说，用户有动机误报他们的参数给自己的代理，这种战略用户行为可能会导致非常不同的结果比标准分析的预期。
2023-01-03 cs.AI cs.GT cs.LG
All-in-One Image-Grounded Conversational Agents
Facebook AI Research（脸书人工智能研究院）
在过去的几年里，随着单个语言和图像任务的单任务准确性的大幅提高，一个既能看又能说的普通智能体的长期目标变得更加可行。在这项工作中，我们专注于利用个人的语言和图像任务，以及将视觉和语言结合起来实现这一目标的资源。我们设计了一种架构，将最先进的Transformer和ResNeXt模块结合到一个新颖的多模态模块中，以产生一个在许多任务上训练的组合模型。我们对模型的组件进行了全面的分析，并在对一个、一些或所有任务进行训练时进行了迁移性能分析。我们的最终模型提供了一个单一的系统，在所有视觉和语言任务上都获得了良好的效果，并提高了基于图像的会话应用程序的最新水平。
2020-01-15 cs.CL cs.CV cs.LG
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
训练多智能体强化学习（MARL）算法比训练单智能体强化学习算法更具挑战性，因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法，提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中，一般有两类代理人：合作代理人和竞争代理人。在该算法中，每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数，将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后，每个代理使用有偏的动作信息更新其自己的价值函数，从而产生有偏的价值函数和相应的有偏策略。随后，每个代理人的偏见政策不可避免地受到建议的行动，合作和竞争与其他代理人，从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明，我们的算法优于现有的算法在各种混合的合作竞争环境。此外，随着训练的进行，引入的偏差逐渐减小，并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
MAESTRO: Open-Ended Environment Design for Multi-Agent Reinforcement Learning
Meta AI；University College London（伦敦大学学院）；UC Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
自动生成越来越具有挑战性的任务的课程的开放式学习方法是一种有希望的途径，可以实现一般能力的强化学习代理。现有的方法适应课程独立于环境参数（在单代理设置）或合作伙伴的政策（在多代理设置）。然而，共同参与者的优势和劣势可能会因环境特征而有所不同。因此，它是至关重要的，以考虑环境和合作伙伴之间的依赖关系时，在多智能体领域塑造的课程。在这项工作中，我们使用这种洞察力，并将无监督环境设计（UED）扩展到多智能体环境。然后，我们介绍了多智能体环境设计策略开放式学习（MAESTRO），第一个多智能体UED方法为两个玩家零和设置。MAESTRO有效地产生对抗，联合课程的环境和合作伙伴，并达到最小最大遗憾保证在纳什均衡。我们的实验表明，MAESTRO优于一些强大的基线竞争性两人游戏，跨越离散和连续控制设置。
2023-03-06 cs.LG cs.MA
MAVIPER: Learning Decision Tree Policies for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Army Research Lab（陆军研究实验室）；University of California, Riverside（加州大学河滨分校）
多智能体强化学习（MARL）的许多最新突破需要使用深度神经网络，这对人类专家来说是一个解释和理解的挑战。另一方面，现有的可解释的强化学习（RL）的工作已经显示出从神经网络中提取更多的可解释的基于决策树的策略的希望，但仅在单代理设置。为了填补这一空白，我们提出了第一套算法，从用MARL训练的神经网络中提取可解释的决策树策略。第一个算法，IVIPER，扩展VIPER，最近的方法单代理可解释的RL，多代理设置。我们证明了IVIPER学习高质量的决策树政策，为每个代理。为了更好地捕捉代理之间的协调，我们提出了一种新的集中式决策树训练算法，MAVIPER。MAVIPER通过使用预期的树预测其他代理的行为来共同增长每个代理的树，并使用resception来关注对其与其他代理的交互至关重要的状态。我们表明，这两种算法通常优于基线和MAVIPER训练的代理实现更好的协调性能比IVIPER训练的代理在三个不同的多代理粒子世界环境。
2022-07-11 cs.LG cs.MA
