Active Reward Machine Inference From Raw State Trajectories
Robotics Department, University of Michigan, Ann Arbor, MI（密歇根大学安娜堡分校机器人系）；Independent Researcher（独立研究员）；Electrical Engineering and Computer Science Department, University of Michigan, Ann Arbor, MI（密歇根大学安娜堡分校电气工程与计算机科学系）
本文提出从原始状态轨迹直接学习奖励机的方法，无需人工指定标签函数，在信息稀缺情况下通过主动学习提升数据与计算效率。
2026-04-08 cs.AI cs.FL cs.RO
Online reinforcement learning with sparse rewards through an active inference capsule
Delft University of Technology（代尔夫特理工大学）；MRC Brain Network Dynamics Unit（医学研究委员会脑网络动力学组）；University of Oxford（牛津大学）
智能代理必须在复杂的环境中追求他们的目标，部分信息和有限的计算能力。强化学习方法已经通过创建优化工程奖励函数的代理而取得了巨大的成功，但是这些代理通常难以在稀疏奖励环境中学习，通常需要许多环境交互才能良好地执行，并且通常在计算上非常昂贵。主动推理是一种基于模型的方法，它指导代理探索不确定的状态，同时坚持其目标行为的先验模型。本文介绍了一种主动推理代理，它使预期未来的新自由能最小化。我们的模型是能够解决稀疏回报问题，由于其目标函数，鼓励直接探索不确定的状态，具有非常高的样本效率。此外，我们的模型在计算上非常轻，可以以完全在线的方式操作，同时实现与离线RL方法相当的性能。我们通过解决山地车问题展示了我们模型的能力，在那里我们展示了其优越的探索特性和对观测噪声的鲁棒性，这实际上提高了性能。我们还介绍了一种新的方法近似先验模型的奖励函数，简化了复杂的目标的表达，并提高了性能比以前的主动推理方法。
2021-06-04 cs.AI cs.LG stat.ML
Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking
Department of Computer Science, University of California, Davis, USA（加州大学戴维斯分校计算机科学系）；Meta AI Research（Meta AI研究院）
本文提出对抗性奖励审计框架，通过动态竞争机制检测并缓解奖励黑客问题，实现最佳的对齐-效用权衡。
2026-09-29 cs.AI cs.LG
Active inference: demystified and compared
Wellcome Centre for Human Neuroimaging, UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经病学研究所惠康人类神经影像中心）；University of Oxford（牛津大学）
主动推理是自主智能体如何在动态、非平稳环境中工作的第一原理。这个问题也被认为是在强化学习（RL），但有限的工作存在比较这两种方法在相同的离散状态环境。在本文中，我们提供：1）主动推理的离散状态公式的可访问概述，突出显示通常在RL中设计的主动推理中的自然行为; 2）在OpenAI健身房基线上主动推理和RL之间的显式离散状态比较。首先，我们提供了一个浓缩的主动推理文献的概述，特别是通过RL的镜头查看主动推理代理的各种自然行为。我们表明，通过在一个纯粹的基于信念的设置，主动推理代理可以进行认知探索，并占不确定性的贝叶斯最优的方式对他们的环境。此外，我们表明，在RL中对显式奖励信号的依赖在主动推理中被去除，其中奖励可以简单地被视为另一种观察;即使在完全没有奖励的情况下，代理行为也可以通过偏好学习来学习。我们通过展示两种场景来明确这些属性，在这两种场景中，主动推理代理可以推断出无奖励环境中的行为，与Q学习和基于贝叶斯模型的RL代理相比;通过将零先验偏好置于奖励之上，并通过学习与奖励相对应的观察结果的先验偏好。最后，我们注意到，这种形式主义可以适用于更复杂的设置，如果适当的生成模型可以制定。简而言之，我们的目标是通过提供一个可访问的离散状态空间和时间公式来揭开主动推理代理的行为，并在OpenAI健身房环境中与RL代理一起演示这些行为。
2020-10-30 cs.AI q-bio.QM
Value of Information and Reward Specification in Active Inference and POMDPs
VERSES Research Lab（VERSES研究实验室）
该研究将期望自由能（EFE）置于信念MDP框架下，借助强化学习理论工具证明EFE通过信息价值近似贝叶斯最优RL策略，揭示了主动推理与奖励驱动RL的关联及对主动推理目标设定的启示。
2024-08-13 cs.AI cs.LG
Scalar reward is not enough: A response to Silver, Singh, Precup and Sutton (2021)
Center for Translational Neuroscience, University of Oregon（俄勒冈大学转化神经科学中心）；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；AI Lab, Vrije Universiteit Brussel（布鲁塞尔自由大学人工智能实验室）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；HU University of Applied Sciences Utrecht（乌得勒支应用科学大学）；Universiteit Hasselt（哈瑟尔特大学）；Katholieke Universiteit Leuven（鲁汶天主教大学）；Deakin University（迪肯大学）；Federation University Australia（澳大利亚联邦大学）；Linköping University（林雪平大学）；National University of Ireland Galway（爱尔兰国立高威大学）
西尔弗、辛格、普雷卡普和萨顿最近发表的论文《奖励就足够了》认为，奖励最大化的概念足以支撑所有的智能，包括自然智能和人工智能。我们质疑Silver等人的基本假设，即这种奖励可以是标量值的。在本文中，我们解释了为什么标量奖励不足以解释生物和计算智能的某些方面，并主张明确多目标模型的奖励最大化。此外，我们认为，即使标量奖励函数可以在特定情况下触发智能行为，由于不安全或不道德行为的不可接受的风险，使用这种方法来开发人工通用智能仍然是不可取的。
2021-11-25 cs.AI
Discovering Generalizable Spatial Goal Representations via Graph-based Active Reward Learning
Massachusetts Institute of Technology（麻省理工学院）
在这项工作中，我们考虑一次性模仿学习的对象重排任务，其中一个人工智能智能体需要观看一个单一的专家演示，并学习在不同的环境中执行相同的任务。为了实现强泛化，人工智能智能体必须推断任务的空间目标规范。然而，可以有多个目标规范适合给定的演示。为了解决这个问题，我们提出了一种奖励学习方法，基于图的等价映射（GEM），它可以发现与预期目标规范一致的空间目标表示，从而在看不见的环境中实现成功的泛化。具体地，GEM通过奖励函数表示空间目标规范，该奖励函数以i）指示对象之间的重要空间关系的图和ii）指示对应关系的不变性质的图中的每个边的状态等价映射为条件。GEM结合了反向强化学习和主动奖励学习，通过利用等价映射实现的图结构和域随机化来有效地改进奖励函数。我们用模拟神谕和人类做实验。结果表明，GEM可以大大提高学习目标表示在强基线上的泛化能力。
2022-11-24 cs.AI cs.LG cs.RO
MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning
Delft University of Technology（代尔夫特理工大学）
从演示和成对偏好中推断奖励函数是将强化学习（RL）代理与人类意图对齐的好方法。然而，现有技术的方法通常集中于学习单个奖励模型，从而使得难以权衡来自多个专家的不同奖励函数。我们提出了多目标强化主动学习（MORAL），一种新的方法，结合不同的示范社会规范到帕累托最优的政策。通过保持标量化权重的分布，我们的方法能够交互式地将深度RL代理调整到各种偏好，同时消除了计算多个策略的需要。我们实证证明了道德的有效性，在两种情况下，模型的交付和紧急任务，需要一个代理人采取行动的规范冲突的存在。总的来说，我们认为我们的研究是朝着多目标RL学习奖励迈出的一步，弥合了当前奖励学习和机器伦理文献之间的差距。
2021-12-30 cs.AI cs.LG
Inferring and Conveying Intentionality: Beyond Numerical Rewards to Logical Intentions
SRI International（SRI国际公司）
共享意向性是开发有意识的人工智能智能体的关键组成部分，这些智能体能够进行协作、自我反思、审议和推理。我们将共享意向的推断公式化为具有逻辑奖励规范的逆强化学习问题。我们展示了如何的方法可以推断任务描述演示。我们还扩展了我们的方法，以积极地传达意向性。我们演示了一个简单的网格世界的例子的方法。
2022-07-13 cs.AI q-bio.NC
Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples
Arizona State University（亚利桑那州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
尽管深度强化学习（RL）在各种任务中的表现已经超过了人类水平，但它仍然存在一些根本性的挑战。首先，大多数强化学习方法需要从环境探索中获得大量数据才能实现令人满意的性能。其次，在强化学习中使用神经网络使得很难以人类可以理解的方式解释系统的内部结构。为了解决这两个挑战，我们提出了一个框架，使RL代理的原因在其探索过程中，并提取高层次的知识，有效地指导其未来的探索。具体来说，我们提出了一种新的RL算法，学习高级知识的形式，有限奖励自动机通过使用L* 学习算法。我们证明了在情节强化学习中，有限奖励自动机可以表示任何非马尔可夫有界奖励函数，并以任意精度逼近任何非马尔可夫有界奖励函数（具有无穷多个奖励值）。我们还提供了一个下界的情节长度，建议RL方法几乎肯定收敛到一个最优的政策的限制。我们在两个具有非马尔可夫奖励函数的RL环境中测试了这种方法，为每个环境选择了各种复杂性不断增加的任务。我们比较了我们的算法与最先进的RL算法的非马尔可夫奖励功能，如联合推理的奖励机和策略的RL（JIRP），学习奖励机（LRM），和近端策略优化（PPO2）。我们的结果表明，我们的算法收敛到最优策略比其他基线方法。
2021-07-03 cs.AI cs.LG
R-AIF: Solving Sparse-Reward Robotic Tasks from Pixels with Active Inference and World Models
Rochester Institute of Technology（罗切斯特理工学院）；VERSES AI Research Lab（VERSES AI 研究实验室）；University of Sussex（萨塞克斯大学）
本文提出R-AIF，通过引入新颖的先验偏好学习技术和自我修正计划，解决稀疏奖励下连续动作空间POMDPs的机器人控制问题，在累积奖励、稳定性和成功率上优于现有模型。
2024-09-21 cs.AI cs.CV cs.LG
Accelerating Empowerment Computation with UCT Tree Search
University of Hertfordshire（赫特福德大学）；New York University（纽约大学）；University of London（伦敦大学）
内在动机模型是在没有外在奖励的情况下产生明智行为的重要手段。电子游戏中的应用是多种多样的，从内在动机的一般游戏代理到非玩家角色，如同伴和敌人。增强权能的信息理论量是产生可信、通用和稳健行为的特别有希望的候选动机。然而，虽然它可以在没有需要精心制作和学习的外部奖励函数的情况下使用，但授权在计算上是昂贵的。在本文中，我们提出了一种改进的UCT树搜索方法，以减轻授权的计算复杂性在离散和确定性的场景。我们演示了如何修改蒙特卡洛搜索树与UCT实现授权最大化，并讨论了三个额外的修改，以促进更好的采样。我们评估的方法都定量，通过分析我们的方法如何接近详尽的授权计算与不同数量的计算资源的基线，和定性，通过分析所产生的行为在一个类似Minecraft的情况。
2018-03-27 cs.AI cs.IT cs.PF
A New Framework for Query Efficient Active Imitation Learning
Georgia Institute of Technology（佐治亚理工学院）
我们寻求在强化学习（RL）环境中将代理策略与人类专家行为相结合，而无需任何关于动态，奖励函数和不安全状态的先验知识。有一个人类专家知道的奖励和不安全的状态，基于他的偏好和目标，但查询人类专家是昂贵的。为了解决这一挑战，我们提出了一个新的框架模仿学习（IL）算法，积极和互动地学习用户的奖励函数与有效的查询模型。我们建立了一个对抗性的状态生成模型和一个后继特征（SR）模型，该模型通过学习策略收集的过渡经验进行训练。我们的方法使用这些模型来选择状态-动作对，要求用户评论最优性或安全性，并训练对抗性神经网络来预测奖励。与以往几乎都是基于不确定性采样的文献不同，本文的核心思想是通过区分查询（专家）和未查询（生成）数据，最大化价值函数学习效率，从策略上和策略外的经验中主动有效地选择状态-动作对。我们称这种方法为具有后继表示的对抗性奖励查询。我们评估所提出的方法与模拟人基于状态的2D导航任务，机器人控制任务和基于图像的视频游戏，其中具有高维观测和复杂的状态动态。实验结果表明，该方法在学习奖励模型方面明显优于基于不确定性的方法，获得了更好的查询效率，其中对抗性搜索可以使Agent更有效地学习人类行为，SR可以选择对价值函数影响更大的状态。此外，所提出的方法还可以学习，以避免不安全的状态时，训练的奖励模型。
2019-12-30 cs.AI cs.LG stat.ML
Active Inference as a Model of Agency
Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Common Sense Machines（常识机器公司）；University College London（伦敦大学学院）
本文提出以主动推断作为超越奖励最大化的能动性规范模型，论证其能统一探索与利用、提供可解释行为生成机制，并可将符合假设的RL算法纳入该通用框架。
2024-01-23 cs.AI
Reinforcement Learning through Active Inference
Sackler Centre for Consciousness Science（萨克勒意识科学中心）；Evolutionary & Adaptive Systems Research Group（进化与自适应系统研究组）；University of Sussex（萨塞克斯大学）；University of Edinburgh（爱丁堡大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
强化学习（RL）的核心原则是智能体寻求最大化累积奖励之和。相比之下，主动推理，认知和计算神经科学中的一个新兴框架，提出代理人采取行动，以最大限度地提高有偏见的生成模型的证据。在这里，我们说明了来自主动推理的想法如何通过（i）提供探索和利用的内在平衡，以及（ii）提供更灵活的奖励概念来增强传统的RL方法。受主动推理的启发，我们开发并实现了一个新的决策目标，我们称之为预期未来的自由能。我们证明了所得到的算法成功地平衡了探索和利用，同时在几个具有挑战性的RL基准测试中实现了稳健的性能，具有稀疏，形状良好，没有奖励。
2020-02-28 cs.AI cs.IT cs.LG
Open-World Drone Active Tracking with Goal-Centered Rewards
South China University of Technology（华南理工大学）；Institute for Super Robotics (Huangpu)（超机器人研究所）；Pazhou Laboratory（琶洲实验室）；Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（大数据与智能机器人重点实验室）；Peng Cheng Laboratory（鹏城实验室）；Sun Yat-sen University（中山大学）；Harbin Engineering University（哈尔滨工程大学）
针对开放世界无人机视觉主动跟踪缺乏统一基准、环境干扰多的难题，提出首个开放世界空对地跟踪基准DAT及带目标中心奖励和课程训练策略的GC-VAT强化学习方法，仿真跟踪成功率达约72%。
2025-10-22 cs.AI cs.RO
Uncertainty Estimation for Language Reward Models
DeepMind（深度思维）
语言模型可以从文本语料库的无监督训练中学习一系列功能。然而，为了解决特定的问题（例如文本摘要），通常需要在特定于任务的数据集上对其进行微调。对于人类来说，在选项之间进行选择通常比提供标记数据更容易，并且先前的工作通过从这种偏好比较中训练奖励模型来实现最先进的性能。然而，收集一个大的偏好比较数据集仍然是昂贵的-学习奖励模型是不可靠的分布。我们试图通过不确定性估计来解决这些问题，该估计可以使用主动学习和风险规避强化学习（RL）来提高样本效率和鲁棒性。具体来说，我们使用引导聚合（装袋）训练的奖励模型在其最终层的初始化不同的合奏。集成已被证明是成功的主动学习在以前的应用程序，但我们发现，在我们的设置集成主动学习不优于随机抽样。进一步的实验表明，虽然总体预测是校准良好的，合奏的估计认知的不确定性是只有弱相关的模型误差。我们怀疑这是因为合奏成员是从一个单一的模型微调，所以彼此相似。这表明需要修改当前的预训练方法以支持不确定性估计，例如通过训练多个语言模型。
2022-03-14 cs.AI cs.CL cs.LG
When Interfaces Speak: Data-Aware Generative UI Harness for Active Interaction
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）
该研究提出GenUI-Harness多智能体框架，结合工具智能体与GUI编码智能体，通过Dynamic UX和Reward Auditor解决UI生成训练的奖励问题，推出UI-TAU Bench基准，在任务完成率和对话轮次上均优于现有模型。
2026-10-09 cs.AI
Maximizing Information Gain in Partially Observable Environments via Prediction Reward
University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）；Technical University Delft（代尔夫特理工大学）
在部分可观察的环境中的信息收集可以被公式化为强化学习（RL）问题，其中奖励取决于代理的不确定性。例如，奖励可以是代理对未知（或隐藏）变量的信念的负熵。通常，RL代理的奖励被定义为状态-动作对的函数，而不是代理信念的函数;这阻碍了深度RL方法对此类任务的直接应用。本文通过提供一个简单的见解来解决对深度RL代理使用基于信念的奖励的挑战，即最大化代理信念的任何凸函数可以通过最大化预测奖励来近似：基于预测准确性的奖励。特别是，我们推导出负熵和预期预测奖励之间的精确误差。这一见解提供了理论动机的几个领域使用预测奖励-即视觉注意，问答系统，和内在动机-并强调其连接到通常不同的领域主动感知，主动感知，传感器的位置。基于这一认识，我们提出了深度预期网络（DAN），它使代理能够采取行动，以减少其不确定性，而无需执行明确的信念推理。我们提出了两个应用程序的DAN：建立一个传感器选择系统跟踪人在购物中心和学习离散模型的注意力时尚MNIST和MNIST数字分类。
2020-05-11 cs.AI cs.LG
Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration
School of Automation Science
本文提出一种结合预测模型与离策略学习的强化学习算法，利用潜在状态空间前向预测误差构造无参数开销的内在奖励，并通过新颖性感知终端价值函数增强在线规划器，在连续控制任务中实现样本高效探索，尤其在稀疏奖励场景下表现优异。
2024-03-31 cs.AI cs.LG
Active Exploration for Inverse Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对现有逆强化学习算法依赖环境模型或生成模型的局限，提出无需生成模型的主动探索算法AceIRL，具备样本复杂度界且性能优于朴素探索策略。
2023-08-22 cs.AI cs.LG stat.ML
Exploring and Addressing Reward Confusion in Offline Preference Learning
ETH Zurich（苏黎世联邦理工学院）；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）
本文研究了离线偏好学习中虚假相关性导致的奖励混淆问题，创建了相关基准，并提出利用偏好传递性与主动学习构建全局偏好链的方法来显著减少该问题。
2024-10-15 cs.AI cs.LG
Active Inference and Reinforcement Learning: A unified inference on continuous state and action spaces under partial observability
University of Toronto（多伦多大学）
本文提出统一原理建立主动推理与强化学习的理论联系，在连续空间POMDP中克服两者局限，通过最小化期望自由能结合利用与探索行为，实现无需显式奖励设计的有效学习。
2024-05-31 cs.AI cs.LG
Deep active inference agents using Monte-Carlo methods
Emotech Labs（Emotech实验室）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
主动推理是理解生物智能的贝叶斯框架。基本理论将感知和行动结合在一个单一的命令下：最小化自由能。然而，尽管它在解释智能的理论效用，计算实现已被限制在低维和理想化的情况。在本文中，我们提出了一种神经架构，用于构建在复杂的连续状态空间中使用多种形式的蒙特卡洛（MC）采样的深度主动推理代理。为此，我们介绍了一些技术，新颖的主动推理。其中包括：i）通过MC树搜索选择自由能量最优策略，ii）通过前馈“习惯”网络近似该最优策略分布，iii）使用MC退出预测未来参数置信更新，以及最后，iv）优化状态转换精度（注意力的高端形式）。我们的方法使代理有效地学习环境动态，同时保持任务性能，相对于奖励为基础的同行。我们在一个新的玩具环境中说明了这一点，基于dSprites数据集，并证明了主动推理代理自动创建易于建模状态转换的解纠缠表示。在更复杂的动物AI环境中，我们的代理（使用相同的神经架构）能够模拟未来的状态转换和动作（即，计划），以显示奖励导向的导航-尽管临时暂停的视觉输入。这些结果表明，深度主动推理-配备MC方法-提供了一个灵活的框架，以开发生物启发的智能代理，在机器学习和认知科学的应用。
2020-10-22 cs.AI q-bio.NC stat.ML
Learning Reward Functions by Integrating Human Demonstrations and Preferences
Stanford University（斯坦福大学）
我们的目标是准确有效地学习自主机器人的奖励函数。目前解决这个问题的方法包括逆强化学习（IRL），它使用专家演示，和基于偏好的学习，它迭代地查询用户在轨迹之间的偏好。然而，在机器人技术中，IRL经常会遇到困难，因为它很难获得高质量的演示;相反，基于偏好的学习效率很低，因为它试图从二进制反馈中学习一个连续的高维函数。我们提出了一个新的奖励学习框架，DemPref，它使用演示和偏好查询来学习奖励函数。具体来说，我们（1）使用演示来学习奖励函数空间上的粗糙先验，以减少生成查询的空间的有效大小;以及（2）使用演示来接地（主动）查询生成过程，以提高生成的查询的质量。我们的方法解决了标准的基于偏好的学习方法所面临的效率问题，并且不完全依赖于（可能是低质量的）演示。在数值实验中，我们发现DemPref比标准的基于主动偏好的学习方法更有效。在用户研究中，我们将我们的方法与标准的IRL方法进行比较;我们发现，用户将DemPref训练的机器人评为更成功地学习他们所需的行为，并且更喜欢使用DemPref系统（超过IRL）来训练机器人。
2019-06-21 cs.AI cs.RO
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Active Measure Reinforcement Learning for Observation Cost Minimization
National Research Council of Canada（加拿大国家研究委员会）；University of Victoria（维多利亚大学）；University of Waterloo（滑铁卢大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
标准的强化学习（RL）算法假设下一个状态的观察是即时的，并且没有成本。然而，在从医学治疗到科学发现的各种各样的顺序决策任务中，可能有多个状态观测类别，每个类别都有相关的成本。我们提出了主动测量RL框架（Amrl）作为这个问题的初始解决方案，其中代理学习最大化成本回报，我们将其定义为奖励的折扣总和减去观察成本的总和。我们的实证评估表明，Amrl-Q代理能够在在线培训期间并行学习策略和状态估计器。在训练过程中，智能体自然地从对环境的昂贵测量的依赖转移到其状态估计器，以增加其奖励。它这样做并不损害学习策略。我们的研究结果表明，Amrl-Q智能体的学习速度与标准Q学习和Dyna-Q相似。关键的是，通过利用积极的策略，Amrl-Q实现了更高的成本回报。
2020-05-26 cs.AI
Dynamic Reward Scaling for Multivariate Time Series Anomaly Detection: A VAE-Enhanced Reinforcement Learning Approach
School of Computer Science Portland State University Portland, Oregon, United States（计算机科学学院波特兰州立大学波特兰俄勒冈州美国）
针对多元时间序列异常检测中高维、标注少、传感器依赖弱的问题，本文提出融合VAE、LSTM-DQN、动态奖励与主动学习的强化学习框架DRSMT，在两个基准上取得优于基线的检测效果。
2025-11-15 cs.AI cs.LG
Learning Non-Markovian Reward Models in MDPs
KU Leuven（鲁汶大学）；Université Libre de Bruxelles（布鲁塞尔自由大学）
在某些情况下，代理人只有在完成了一系列先前的任务后才能获得奖励。换句话说，代理人收到的奖励是非马尔可夫的。一种自然且相当普遍的表示历史相关奖励的方法是通过Mealy机;一种有限状态自动机，从输入序列（在我们的情况下是状态/动作观察）产生输出序列（在我们的情况下是奖励）。在我们的正式设置中，我们考虑一个马尔可夫决策过程（MDP），模型的动态环境中，代理的演变和Mealy机与此MDP同步，正式的非马尔可夫奖励函数。虽然代理知道MDP，但代理不知道奖励函数，必须学习。学习非马尔可夫奖励函数是一个挑战。我们的方法来克服这个具有挑战性的问题是一个精心组合的Angluin的L* 主动学习算法学习有限自动机，测试技术建立符合有限模型假设和优化技术计算最佳策略，在马尔可夫（即时）奖励MDPs。我们还展示了我们的框架可以与经典的算法，如蒙特卡罗树搜索。我们说明了我们的算法和人工智能的两个典型例子的初步实现。
2020-01-25 cs.AI
A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning
Lehigh University（理海大学）
为了解决图像分类问题，我们提出了一种机器人（代理）的规划和感知机制，它只能部分地观察底层环境。一个三层架构的建议，包括一个元层，决定中间目标，一个行动层，选择本地行动的代理导航到一个目标，和一个分类层，评估奖励，并作出预测。我们使用深度强化学习来设计和实现这些层。一个广义的策略梯度算法被用来学习这些层的参数，以最大化期望的回报。我们提出的方法进行测试的MNIST数据集的手写数字，这为我们提供了一个层次的解释，同时解释代理的中间目标和行动过程。
2019-09-20 cs.AI cs.LG cs.RO
Online Learning of Non-Markovian Reward Models
KU Leuven（鲁汶大学）；Université Libre de Bruxelles（布鲁塞尔自由大学）
在某些情况下，一个智能体只有在完成了一系列先前的任务之后才应该得到奖励，也就是说，奖励是非马尔可夫的。一种自然且相当普遍的方式来表示与历史相关的奖励是通过Mealy机，这是一种从输入序列产生输出序列的有限状态自动机。在我们的正式设置中，我们考虑一个马尔可夫决策过程（MDP），模型的动态环境中，代理的演变和Mealy机与此MDP同步，正式的非马尔可夫奖励函数。虽然MDP是已知的代理，奖励功能是未知的代理，必须学习。我们克服这一挑战的方法是使用Angluin的$L^*$主动学习算法来学习代表底层非马尔可夫奖励机（MRM）的Mealy机。正式的方法来确定最佳的策略，回答所谓的成员资格查询所提出的$L^*$。此外，我们证明，预期的回报最终将达到至少尽可能多的领域专家提供的一个给定的，合理的价值。我们在三个问题上评估我们的框架。结果表明，使用$L^*$学习MRM在非马尔可夫奖励决策过程是有效的。
2020-09-30 cs.AI
Active Feature Acquisition with Generative Surrogate Models
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
在许多现实情况下，在对有限或不确定的数据进行评估时，可以获取更多的相关信息。然而，传统的机器学习方法要么要求预先获取所有特征，要么将其中的一部分视为无法获取的缺失数据。在这项工作中，我们考虑执行主动特征获取（AFA）和查询环境中未观察到的功能，以提高在评估时的预测评估模型。我们的工作重新制定的马尔可夫决策过程（MDP）的基础AFA问题作为生成建模任务，并通过一种新的基于模型的方法优化政策。我们建议学习生成代理模型（GSM），捕捉输入功能之间的依赖关系，以评估潜在的信息增益收购。GSM被用来提供中间奖励和辅助信息，以帮助智能体导航复杂的高维动作空间和稀疏的奖励。此外，我们在一个任务中扩展了AFA，我们在无监督的情况下进行主动实例识别（AIR），其中目标变量是未观察到的特征本身，目标是以具有成本效益的方式收集特定实例的信息。实证结果表明，我们的方法实现了更好的性能比以前的最先进的方法在监督和无监督的任务。
2021-02-11 cs.AI cs.LG
Reinforcement Learning with Efficient Active Feature Acquisition
Nanyang Technological University（南洋理工大学）；Microsoft Research（微软研究院）；University of Vienna（维也纳大学）
解决现实生活中的序贯决策问题的部分可观性涉及到一个探索-开发问题。为了取得成功，智能体需要有效地收集有关世界状态的有价值的信息，以便做出有价值的决策。然而，在现实生活中，获取有价值的信息通常是非常昂贵的，例如，在医学领域中，信息获取可以对应于对患者执行医学测试。这对智能体提出了一个重大挑战，即在降低信息获取成本的同时，以最佳方式执行任务。在本文中，我们提出了一个基于模型的强化学习框架，学习一个积极的特征获取策略，以解决其执行过程中的探索-利用问题。成功的关键是一种新的顺序变分自动编码器，它从部分观察到的状态中学习高质量的表示，然后由策略使用，以成本效益的方式最大化任务奖励。我们证明了我们提出的框架在控制域以及使用医疗模拟器的有效性。在这两项任务中，我们提出的方法优于传统的基线，并导致具有更高的成本效率的政策。
2020-11-02 cs.AI cs.LG
Reward-Predictive Clustering
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Carney Institute for Brain Science（卡尼脑科学研究所）；Brown University（布朗大学）
最近在重复学习研究方面的进展已经证明了在构建算法方面取得了令人印象深刻的成果，这些算法可以在复杂任务中超越人类。尽管如此，创建能够构建其经验的抽象以加速新环境中的学习的重复学习系统仍然是一个活跃的研究领域。以前的工作表明，奖励预测状态抽象实现了这一目标，但只适用于表格设置。在这里，我们提供了一个聚类算法，使这种状态抽象应用到深度学习设置，提供代理的输入，保留预测奖励序列的能力压缩表示。收敛定理和模拟表明，由此产生的奖励预测深度网络最大限度地压缩了智能体的输入，大大加快了高维视觉控制任务的学习速度。此外，我们提出了不同的泛化实验，并分析了在哪些条件下，预先训练的奖励预测表示网络可以在不重新训练的情况下重复使用，以加速学习-一种系统的分布外转移形式。
2022-11-07 cs.AI cs.LG
PAPA: Online Personalized Active Preference Alignment
Washington University in St. Louis（圣路易斯华盛顿大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
提出PAPA方法，无需参数化奖励模型，通过实时用户反馈直接优化扩散模型，实现高效的偏好对齐，并基于理论提出加速微调的EPAPA策略。
2026-07-02 cs.AI cs.CV cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Evolution of Rewards for Food and Motor Action by Simulating Birth and Death
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
该研究提出基于种群的去中心化进化模拟框架，通过模拟智能体生死与奖励函数的遗传突变，验证了食物与运动相关奖励的进化规律，为奖励系统起源研究提供了工具。
2024-06-21 cs.AI cs.NE
Evolution of Fear and Social Rewards in Prey-Predator Relationship
Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
本研究通过进化模拟揭示捕食压力如何塑造恐惧和社交奖励的进化，发现捕食者在恐惧和集体群体奖励的进化中起关键作用。
2026-02-07 cs.AI cs.NE q-bio.PE
Wanting to be Understood
Google DeepMind（谷歌DeepMind）
本文通过感知交叉范式仿真研究强化学习智能体的内在动机，发现仅靠人工好奇心不足以促成社会互动，而强调相互理解的奖励能驱动智能体优先互动并促进合作。
2025-04-10 cs.AI cs.CL cs.LG
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards
DeepGlint-AI
UniDoc-RL通过分层动作空间和密集奖励方案，提升视觉RAG系统的细粒度视觉语义处理能力，实现端到端训练，实验显示优于现有方法。
2026-04-17 cs.AI cs.CV
Active Beyond-Diagonal RIS Empowered Heterogeneous Edge Computing: A Distributional Reinforcement Learning Approach
Internet of Things Thrust, The Hong Kong University of Science and Technology (Guangzhou)（物联网 thrust，香港科学与技术大学（广州））
研究互易主动BD-RIS辅助异构MEC的能量感知卸载与资源分配问题，基于分布式软演员-评论家算法改进版DSAC-T构建端到端联合优化框架，相比其他算法，实现了更好的能量-延迟奖励、可行性比率及更快在线决策时间
2026-07-16 cs.AI cs.IT eess.SP
Adversarial Active Exploration for Inverse Dynamics Model Learning
National Tsing Hua University（国立清华大学）
我们提出了一种对抗性的主动探索逆动力学模型学习，这是一种简单而有效的学习方案，可以在没有任何人为干预的情况下激励环境中的探索。我们的框架由一个深度强化学习（DRL）代理和一个逆动力学模型相互竞争。前者为后者收集训练样本，目标是最大化后者的误差。后者使用前者收集的样本进行训练，当前者未能预测前者采取的实际行动时，后者会为前者生成奖励。在这样的竞争环境中，DRL代理学习生成逆动力学模型无法正确预测的样本，而逆动力学模型学习适应具有挑战性的样本。我们进一步提出了一个奖励结构，确保DRL代理只收集中等难度的样本，但不会过于困难，防止逆模型有效地预测。我们评估了我们的方法对多个基线模型的机器人手臂和手操作任务的有效性。实验结果表明，我们的方法是与那些直接训练与专家演示，优于其他基线，即使没有任何人类先验。
2020-03-17 cs.AI cs.LG stat.ML
APReL: A Library for Active Preference-based Reward Learning Algorithms
Stanford University（斯坦福大学）
奖励学习是人机交互中的一个基本问题，让机器人按照人类用户的需求进行操作。许多基于偏好的学习算法和主动查询技术被提出来作为这个问题的解决方案。在本文中，我们提出了APReL，一个基于主动偏好的奖励学习算法库，它使研究人员和从业者能够实验现有的技术，并很容易地开发自己的算法的各个模块的问题。APReL可在https://github.com/Stanford-ILIAD/APReL上获得。
2022-01-04 cs.AI cs.LG cs.RO
Active Reward Learning from Multiple Teachers
University of California, Berkeley（加州大学伯克利分校）；Center for Human-Compatible AI（人类兼容人工智能中心）
奖励学习算法利用人的反馈来推断奖励函数，然后将其用于训练AI系统。这种人类反馈通常是一种偏好比较，其中人类教师比较了几个人工智能行为样本，并选择他们认为最能实现目标的样本。虽然奖励学习通常假设所有反馈都来自单个教师，但在实践中，这些系统经常询问多个教师以收集足够的训练数据。在本文中，我们调查了这种差异，并发现这些不同来源的反馈的算法评估有利于更准确和有效的奖励学习。我们正式分析的信息（VOI）的价值时，奖励从教师学习不同程度的合理性，并定义和评估的算法，利用这个VOI积极选择教师查询反馈。令人惊讶的是，我们发现，它往往是更翔实的询问相对非理性的教师。通过将这个问题形式化并推导出分析解决方案，我们希望促进奖励学习方法的改进，使AI行为与人类价值观保持一致。
2023-03-02 cs.AI cs.LG
Active Preference-Based Gaussian Process Regression for Reward Learning
Stanford University（斯坦福大学）；École Polytechnique（巴黎综合理工学院）
设计奖励函数是人工智能和机器人技术中的一个具有挑战性的问题。人类通常很难直接指定机器人需要优化的所有理想行为。一种常见的方法是从收集的专家演示中学习奖励函数。然而，从演示中学习奖励函数带来了许多挑战：一些方法需要高度结构化的模型，例如在一些预定义的特征集中是线性的奖励函数，而另一些方法则采用结构化程度较低的奖励函数，另一方面需要大量的数据。此外，人类往往难以在具有高自由度的机器人上提供演示，或者甚至难以量化给定演示的奖励值。为了解决这些挑战，我们提出了一种基于偏好的学习方法，作为替代方案，人类的反馈仅以轨迹之间比较的形式存在。此外，我们不假设奖励函数的高度约束结构。相反，我们使用高斯过程（GP）对奖励函数进行建模，并提出了一种数学公式，仅使用人类偏好来主动找到GP。我们的方法使我们能够在基于偏好的学习框架内解决可扩展性和数据效率低下的问题。我们在模拟和用户研究中的结果表明，我们的方法可以有效地学习机器人任务的表达性奖励函数。
2020-06-03 cs.AI cs.LG cs.RO
Multi-agent active perception with prediction rewards
Universität Hamburg（汉堡大学）；TU Delft（代尔夫特理工大学）
多智能体主动感知是一个任务，其中一个团队的代理合作收集的意见，以计算一个隐藏的变量的联合估计。该任务是分散的，联合估计只能在任务结束后通过融合所有智能体的观察来计算。目标是最大限度地提高估计的准确性。准确性由集中式预测奖励量化，该奖励由集中式决策者确定，该决策者在任务结束后感知所有代理收集的观察结果。在本文中，我们模型的多智能体主动感知作为一个分散的部分可观察马尔可夫决策过程（Dec-POMDP）与凸集中预测奖励。我们证明，通过为每个代理引入单独的预测动作，该问题被转换为具有分散预测奖励的标准Dec-POMDP。由于分散化的损失是有界的，我们给出了一个充分条件时，它是零。我们的研究结果允许应用任何Dec-POMDP解决方案算法的多智能体主动感知问题，并使规划，以减少不确定性，而无需显式计算的联合估计。我们证明了我们的研究结果的经验有用性，通过应用一个标准的Dec-POMDP算法的多智能体主动感知问题，在规划视野中显示出更大的可扩展性。
2020-10-22 cs.AI cs.LG cs.MA
Batch Active Preference-Based Learning of Reward Functions
Stanford University（斯坦福大学）
数据生成和标记通常是机器人学习的昂贵部分。虽然主动学习方法通常用于解决前一个问题，但基于偏好的学习是一个试图通过向用户询问偏好问题来解决后者的概念。在本文中，我们将开发一种新的算法，批量主动基于偏好的学习，它可以使用尽可能少的数据样本有效地学习奖励函数，同时仍然具有较短的查询生成时间。我们介绍了几个近似的批量主动学习问题，并提供理论保证，我们的算法的收敛性。最后，我们提出了我们的实验结果，在模拟各种机器人任务。我们的研究结果表明，我们的批处理主动学习算法只需要几个查询，在很短的时间内计算。然后，我们在一项研究中展示了我们的算法，以学习人类用户的偏好。
2018-10-10 cs.AI cs.LG cs.RO
Active teacher selection for reward learning
University of California, Berkeley（加州大学伯克利分校）；Northeastern University（东北大学）
本文提出HUB框架，通过主动选择教师来提升奖励学习效果，应用于推荐系统和疫苗测试领域，展示了教师异质性建模的实用性。
2026-05-07 cs.AI cs.LG
Asking Easy Questions: A User-Friendly Approach to Active Reward Learning
Stanford University（斯坦福大学）
机器人可以通过询问人类专家来学习正确的奖励函数。现有的方法试图选择的问题，机器人是最不确定的人类的反应，但是，他们不考虑如何容易将是人类的答案！在本文中，我们探讨了一个信息增益制定最佳选择的问题，自然占人类的回答能力。我们的方法确定了优化机器人和人类不确定性之间权衡的问题，并确定这些问题何时变得多余或昂贵。模拟和用户研究表明，我们的方法不仅产生简单的问题，而且最终导致更快的奖励学习。
2019-10-10 cs.AI cs.LG cs.RO
Active Reward Learning for Co-Robotic Vision Based Exploration in Bandwidth Limited Environments
MIT-WHOI Joint Program in Applied Ocean Science and Engineering（麻省理工学院-伍兹霍尔海洋学研究所应用海洋科学与工程联合项目）；Massachusetts Institute of Technology (MIT)（麻省理工学院）；Woods Hole Oceanographic Institution (WHOI)（伍兹霍尔海洋学研究所）
我们提出了一种新的POMDP问题制定的机器人，必须自主决定去哪里收集新的和科学相关的图像与人类操作员的通信能力有限。从这个配方中，我们得到的约束条件和设计原则的观察模型，奖励模型，和这样的机器人的通信策略，探索技术来处理非常高维的观察空间和相关的训练数据的稀缺性。我们引入了一种新的主动奖励学习策略的基础上，使查询，以帮助机器人最大限度地减少路径“遗憾”在线，并通过模拟评估其适用于自主视觉探索。我们证明，在一些带宽有限的环境中，这种新的后悔为基础的标准，使机器人探险家收集高达17%以上的奖励每一个任务比下一个最好的标准。
2020-03-10 cs.AI cs.RO
Reviving The Classics: Active Reward Modeling in Large Language Model Alignment
Massachusetts Institute of Technology（麻省理工学院）；University of Cambridge（剑桥大学）；ByteDance Research（字节跳动研究院）
本文提出基于Fisher信息的主动奖励建模选择策略，借鉴经典实验设计理论优化大语言模型对齐中人类偏好标注的样本选择，在多个开源模型和数据集上验证了其高效性、稳定性及跨提示比较对标注效率的提升作用。
2025-02-04 cs.AI cs.CL cs.LG
Batch Active Learning of Reward Functions from Human Preferences
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
本文提出基于行列式点过程和启发式策略的批量主动偏好学习方法，在保持并行化和短查询生成时间的同时，用少量偏好查询高效学习奖励函数，并在仿真机器人任务和人类用户偏好学习中验证了有效性。
2024-02-24 cs.AI cs.LG cs.RO
Gaussian Process Planning with Lipschitz Continuous Reward Functions: Towards Unifying Bayesian Optimization, Active Learning, and Beyond
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种新的非近视自适应高斯过程规划（GPP）框架，赋予了一般类的Lipschitz连续奖励函数，可以统一一些主动学习/传感和贝叶斯优化标准，并提供从业者一些灵活性，以指定他们所需的选择，定义新的任务/问题。特别是，它利用了一个原则性的贝叶斯顺序决策问题的框架，共同和自然优化的勘探开发权衡。一般来说，由于候选观测的不可数集合，所得到的诱导GPP策略不能精确地导出。因此，我们在这里的工作的一个关键贡献在于利用Lipschitz连续性的奖励函数来解决非近视自适应ε-最优GPP（ε-GPP）的政策。为了实时规划，我们进一步提出了一个渐进最优的，分支和边界的任何时候都有性能保证的ε-GPP的变体。我们实证证明了我们的ε-GPP政策的有效性，它的任何时候都在贝叶斯优化和能量收集任务的变体。
2015-11-21 cs.AI cs.LG cs.RO
