Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
Active Curriculum Refinement for Reinforcement Learning
The University of Chicago（芝加哥大学）
该研究针对强化学习中环境的有向无环课程图结构，提出主动课程学习框架PATH，通过采样多样化课程路径并重新分配训练资源，提升了模型的鲁棒性与泛化能力。
2026-08-28 cs.LG
Active Reinforcement Learning over MDPs
在过去的十年中，强化学习得到了快速的发展，它通过大量的训练资源获得了令人印象深刻的性能。然而，RL中最大的挑战之一是泛化效率（即，单位时间内的泛化性能）。本文提出了一种基于MDP的主动强化学习（ARL）框架，通过实例选择来提高有限资源下的泛化效率。该算法在训练策略的同时，根据给定的实例数量，选择有价值的实例作为训练集，从而节省资源。与现有的方法不同，我们试图主动选择和使用训练数据，而不是对所有给定的数据进行训练，从而节省资源。此外，我们引入了一个通用的实例评估指标和选择机制的框架。实验结果表明，该框架以近端策略优化为策略优化器，较无选择和无偏选择方法能有效提高泛化效率。
2021-08-17 cs.LG
Reinforcement Learning Approach to Active Learning for Image Classification
Stiftung Universität Hildesheim（希尔德斯海姆大学基金会）
机器学习需要大量的标记数据来拟合模型。许多数据集已经是公开可用的，然而迫使机器学习的应用可能性到这些公共数据集的领域。机器学习算法在新的应用领域中不断增长的渗透需要解决方案来满足这些新领域中的数据需求。本文将主动学习作为一种可能的解决方案，通过只处理那些特别有利于训练任务的强模型的数据点，来减少需要手工处理的数据量。一个新提出的框架框架的主动学习工作流作为一个强化学习的问题，适用于图像分类和一系列的三个实验进行。每个实验进行了评估，并概述了该方法的潜在问题。接下来的每个实验都对框架提出了改进建议，并评估了它们的影响。在最后一个实验之后，得出了最终结论，不幸的是，拒绝了这项工作的假设，并概述了目前提出的框架不能够用经过训练的强化学习代理来改进图像分类的主动学习。
2021-08-12 cs.LG
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Anomaly Detection in Time Series Data Using Reinforcement Learning, Variational Autoencoder, and Active Learning
Portland State University（波特兰州立大学）
本文提出将深度强化学习、变分自编码器与主动学习结合，并引入LSTM网络，以克服传统时间序列异常检测需手动调参且难适应新异常类型的局限，实现用最少标记数据检测新异常类别。
2025-04-03 cs.LG
Active Reinforcement Learning Strategies for Offline Policy Improvement
Indian Institute of Science（印度科学学院）
本文提出一种主动强化学习方法，通过重用离线数据并收集最少额外轨迹来扩充数据集，在多个连续控制环境中将在线交互需求最多降低75%。
2024-12-26 cs.LG
Actively Learning Costly Reward Functions for Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Université de Strasbourg（斯特拉斯堡大学）
将深度强化学习的最新进展转移到现实世界的应用程序受到高数据需求的阻碍，因此效率和可扩展性较低。通过对组件（如重放缓冲区或更稳定的学习算法）的独立改进，以及通过大规模分布式系统，标准基准测试任务的训练时间可以从几天减少到几个小时。然而，虽然模拟环境中的奖励是明确定义的并且易于计算，但奖励评估在许多现实世界环境中成为瓶颈，例如，在分子优化任务中，需要计算要求很高的模拟甚至实验来评估状态并量化奖励。因此，如果没有大量的计算资源和时间，训练可能会变得过于昂贵。我们建议通过用神经网络建模的奖励取代昂贵的地面真实奖励来缓解这个问题，用主动学习组件来抵消训练过程中状态和奖励分布的非平稳性。我们证明，使用我们提出的ACRL方法（主动学习强化学习的昂贵奖励），可以更快地在复杂的现实环境中训练代理。通过将强化学习方法应用于新的领域，我们证明了我们可以为化学，材料科学和工程中的现实世界优化问题找到有趣且非平凡的解决方案。
2022-11-23 cs.LG
Learning how to Active Learn: A Deep Reinforcement Learning Approach
The University of Melbourne（墨尔本大学）
主动学习旨在选择用于注释的数据的小子集，使得在数据上学习的分类器高度准确。这通常使用启发式选择方法来完成，然而这种方法的有效性是有限的，而且，启发式选择的性能在数据集之间是不同的。为了解决这些缺点，我们引入了一种新的配方，通过重构的主动学习作为一个强化学习问题，并明确学习的数据选择政策，其中的政策采取的主动学习启发式的作用。重要的是，我们的方法允许选择策略学习使用模拟一种语言被转移到其他语言。我们使用跨语言命名实体识别来演示我们的方法，观察传统主动学习的统一改进。
2017-08-08 cs.AI cs.CL cs.LG
APRIL: Active Preference-learning based Reinforcement Learning
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Université Paris-Sud（巴黎第十一大学）
本文主要研究有限先验知识下的强化学习。例如，在群体机器人领域，专家很难设计奖励函数或演示目标行为，禁止使用标准RL和反向强化学习。虽然专业知识有限，但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架：专家的偏好被用来学习一个近似的策略返回，从而使代理实现直接的策略搜索。迭代地，代理选择一个新的候选策略，并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈，使代理细化近似的政策回报，并迭代的过程。在本文中，基于偏好的强化学习结合主动排名，以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明，几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Active Reinforcement Learning with Monte-Carlo Tree Search
University of Oxford（牛津大学）
主动强化学习（ARL）是强化学习的一种扭曲，其中代理只有在支付成本时才会观察奖励信息。这种微妙的变化使探索更具挑战性。强化学习中强大的原则，如乐观主义、汤普森抽样和随机探索，对ARL没有帮助。我们将表格环境中的ARL与贝叶斯自适应MDP相关联。我们提供了一个ARL算法，使用蒙特卡罗树搜索是渐近贝叶斯最优的。实验表明，该算法在小Bandit问题和MDP上是近最优的。在更大的MDP上，它的表现优于用ARL的专门算法增强的Q学习器。通过详细分析探索行为，我们发现了扩大基于模拟的算法ARL的障碍。
2018-03-26 cs.LG stat.ML
Backprop-Free Reinforcement Learning with Active Neural Generative Coding
Rochester Institute of Technology（罗切斯特理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
在人类中，感知觉有助于从感官输入中快速识别和提取信息。这种意识在很大程度上取决于人类主体如何与环境互动。在这项工作中，我们提出了主动神经生成编码，这是一种用于在动态环境中学习动作驱动生成模型而不会反向传播错误（backprop）的计算框架。具体来说，我们开发了一个智能代理，即使在稀疏的奖励，从规划推理的认知理论中汲取灵感。我们在几个简单的控制问题上证明了我们的框架与深度Q学习的竞争力。我们的代理的强大性能提供了有希望的证据，证明神经推理和学习的无反向传播方法可以驱动目标导向行为。
2021-12-19 cs.LG
Active exploration in parameterized reinforcement learning
Institute of Intelligent Systems and Robotics（智能系统与机器人研究所）；Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）；CNRS（法国国家科学研究中心）；National Technical University of Athens（雅典国家技术大学）
具有连续动作的在线无模型强化学习（RL）方法在处理诸如机器人学之类的现实应用时发挥着突出的作用。然而，当面对非平稳环境时，这些方法主要依赖于探索-开发权衡，而这种权衡很少动态地和自动地根据环境的变化进行调整。在这里，我们提出了一个积极的探索算法RL在结构化（参数化）连续动作空间。这个框架处理一组离散的动作，每个动作都是用连续变量参数化的。离散探测通过具有逆温度$β$参数的Boltzmann softmax函数来控制。并行地，将高斯探索应用于连续动作参数。我们应用基于短期和长期奖励运行平均值的变化之间的比较的元学习算法，以同时调整$β$和高斯分布的宽度，从中提取连续的动作参数。当应用到一个简单的虚拟人-机器人交互任务，我们表明，该算法优于连续参数化RL没有主动探索和主动探索的基础上测量的卡尔曼-Q-学习算法的不确定性变化。
2016-10-06 cs.LG
Active Reinforcement Learning: Observing Rewards at a Cost
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；Future of Humanity Institute（人类未来研究所）；University of Oxford（牛津大学）；AI Impacts
主动强化学习（ARL）是强化学习的一种变体，其中智能体不观察奖励，除非它选择支付查询成本c > 0。ARL的核心问题是如何量化奖励信息的长期价值。即使是在多武器的强盗中，计算这些信息的价值也是棘手的，我们不得不依靠计算机。我们提出并评估了几种启发式方法ARL多武装土匪和（表格）马尔可夫决策过程，并讨论和说明了一些具有挑战性的方面的ARL问题。
2020-11-24 cs.AI cs.LG stat.ML
Sample Efficient Active Algorithms for Offline Reinforcement Learning
Department of Computer Science and Automation, Indian Institute of Science, Bengaluru, INDIA（计算机科学与自动化系，印度科学研究所，班加罗尔）
本文提出了一种用于离线强化学习的主动算法，通过高斯过程建模实现了样本高效的价值函数收敛。
2026-02-01 cs.AI cs.LG
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
主动学习（AL）的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究，提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反，我们建议将主动学习算法设计视为一个元学习问题，并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络，该网络输入基本学习者状态和未标记的点集，并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络，为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化，特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法，允许嵌入式不可知的主动学习者进行培训。我们的评估表明，以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
Labeled TrustSet Guided: Batch Active Learning with Reinforcement Learning
Prime Video, Amazon（亚马逊Prime视频）；Nvidia（英伟达）
本文提出BRAL-T框架，结合TrustSet和强化学习，解决批量主动学习中样本选择的不确定性与多样性平衡问题，提升模型性能和数据效率。
2026-04-14 cs.LG
Gym-preCICE: Reinforcement Learning Environments for Active Flow Control
Heriot-Watt University（赫瑞-瓦特大学）
本研究提出兼容Gymnasium API的Python适配器Gym-preCICE，借助preCICE耦合库实现控制器与AFC仿真环境的信息交互，支撑AFC场景下强化学习环境的搭建与算法应用。
2023-05-03 cs.LG
Context-aware Active Multi-Step Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）；Baidu（百度）；Salesforce（赛富时）
强化学习最近引起了人们的极大关注，特别是策略梯度算法，已经在具有挑战性的决策和控制任务上得到了展示。在本文中，我们提出了一个积极的多步TD算法与自适应步长学习演员和评论家。具体来说，我们的模型由两个部分组成：主动步长学习和自适应多步TD算法。首先，我们将时间范围划分为块，并在每个块中主动选择状态和动作。然后，给定选定的样本，我们提出了自适应的多步TD，它推广TD（$λ$），但自适应地打开/关闭备份，从未来的回报不同的步骤。特别地，自适应多步TD引入了上下文感知机制，这里是二元分类器，其基于上下文变化来决定是否打开其未来备份。因此，我们的模型是一种主动学习和多步TD算法的结合，它具有学习的能力，而不需要重要性采样。我们评估了我们的方法在离散和连续的空间任务分别在一个关闭的政策设置，并展示了竞争力的结果相比，其他强化学习基线。
2019-11-27 cs.AI cs.LG stat.ML
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
提出一种基于轨迹采样的模型强化学习方法，通过概率安全约束及分离认知与偶然不确定性来平衡乐观与悲观，有效管理风险，在不确定及安全关键的控制环境中表现优异。
2023-09-11 cs.AI cs.LG cs.RO
Distributional Active Inference
University of Southern Denmark（丹麦南部大学）
本文提出了一种将主动推断整合到分布式强化学习框架中的形式抽象，以提升复杂环境机器人系统最优控制的样本效率。
2026-08-06 cs.LG
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico（INESC-ID/高等技术学院）；INRIA Bordeaux Sud-Ouest（法国国立信息与自动化研究院波尔多西南分院）
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架，其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法，使学习代理查询专家提供更多的信息演示，从而导致更多的样本有效的学习。对于这种新算法（广义二进制搜索逆强化学习，或GBS-IRL），我们提供了一个理论上的样本复杂度的界限，并说明其适用于几个不同的任务。据我们所知，GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法，在文献中的其他现有的方法和它的一般适用性，在多类分类问题。最后，由最近的工作在机器人的示教学习的动机，我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning?
University of Oxford（牛津大学）；Toyota Research Institute, USA（丰田研究所（美国））
本文研究离线强化学习中因果混淆问题，提出通过主动采样从演示数据中选取关键点以消除因果歧义，实证表明主动采样比均匀采样更高效地减少因果混淆，提升部署安全性。
2023-12-28 cs.AI cs.LG
SAMBA: Safe Model-Based & Active Reinforcement Learning
Huawei R&D UK（华为英国研发部）；Technical University Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
在本文中，我们提出了SAMBA，一个新的安全强化学习框架，结合了概率建模，信息论和统计学方面。我们的方法建立在PILCO的基础上，通过支持条件风险价值约束的多目标问题，使用新的（半）样本外高斯过程评估指标进行积极探索。我们评估我们的算法在各种安全的动力系统基准，涉及低维和高维状态表示。我们的研究结果显示，与最先进的方法相比，样本和违规行为的数量级减少。最后，我们通过对我们的主动指标和安全约束的详细分析，提供了关于框架有效性的直觉。
2020-06-12 cs.AI cs.LG cs.RO
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Aligning Data Selection with Performance: Performance-driven Reinforcement Learning for Active Learning in Object Detection
The University of Hong Kong（香港大学）；SenseTime（秒速）
本文提出MGRAL方法，通过基于LSTM的强化学习智能体以mAP提升为奖励直接优化目标检测中的批量样本选择，并在PASCAL VOC和MS COCO上验证其有效性。
2025-05-06 cs.CV cs.LG
Reinforcement learning of optimal active particle navigation
Institute of Condensed Matter Physics, Technische Universität Darmstadt（达姆施塔特工业大学凝聚态物理研究所）
自推进粒子在微米和纳米尺度上的发展为未来在活性物质物理学、显微外科和靶向药物递送方面的应用带来了巨大的潜力。然而，尽管后一种应用激发了对如何最佳地朝向目标（例如癌细胞）导航的探索，但仍然没有已知的简单方法来确定在足够复杂的环境中的最佳路线。在这里，我们开发了一种基于机器学习的方法，使我们能够第一次确定可以在复杂环境中自由转向的自推进代理的渐进最优路径。我们的方法依赖于基于策略梯度的深度强化学习技术，而且最重要的是，它不需要任何奖励整形或激励。所提出的方法提供了一个强大的替代目前的分析方法来计算最佳轨迹，并打开了一个通用的路径规划器为未来的智能活性粒子的路线。
2022-02-01 cond-mat.soft cond-mat.stat-mech cs.LG
ORIS: Online Active Learning Using Reinforcement Learning-based Inclusive Sampling for Robust Streaming Analytics System
George Mason University（乔治梅森大学）；Amazon（亚马逊公司）
针对流分析系统中标记数据收集的挑战，提出ORIS方法，通过基于强化学习的包容性采样进行在线主动学习，在情感识别任务中其人类标记性能和模型性能均优于传统基线。
2024-11-27 cs.LG
Active Learning of Causal Structures with Deep Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
我们研究实验设计问题，以从干预数据中学习因果结构。我们考虑一个主动学习的设置，其中实验者决定干预系统中的变量之一，在每一步，并使用干预的结果，以恢复变量之间的进一步的因果关系。目标是以最少的干预措施充分识别因果结构。我们提出了第一个基于深度强化学习的实验设计问题解决方案。在所提出的方法中，我们使用一个图神经网络将输入图嵌入到向量中，并将它们馈送到另一个神经网络，该神经网络输出一个变量，用于在每一步中进行干预。两个网络通过Q迭代算法联合训练。实验结果表明，该方法在恢复因果结构方面取得了有竞争力的性能，同时显着减少密集图中的执行时间。
2020-09-07 cs.AI cs.LG
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Multi-Agent Reinforcement Learning for Active Voltage Control on Power Distribution Networks
Imperial College London（帝国理工学院）；University of Bath（巴斯大学）；Shanghaitech University（上海科技大学）
本文提出了一个电力网络中的问题，创建一个令人兴奋的，但具有挑战性的现实世界的情况下，应用多智能体强化学习（MARL）。新兴的脱碳趋势给配电网络带来了过度的压力。有源电压控制被认为是一种很有前途的解决方案，以缓解电力阻塞和改善电压质量，而无需额外的硬件投资，利用可控设备在网络中，如屋顶光伏（PV）和静态无功补偿器（SVC）。这些可控设备出现在大量的，分布在广泛的地理区域，使MARL自然的候选人。本文在Dec-POMDP框架下阐述了有源电压控制问题，并建立了一个开源环境。它旨在弥合电源社区和MARL社区之间的差距，并成为MARL算法实际应用的驱动力。最后，我们分析了主动电压控制问题的特殊性，这些问题对最先进的MARL方法造成了挑战（例如可解释性），并总结了潜在的方向。
2022-01-21 cs.LG cs.MA
Enhancing sample efficiency in reinforcement-learning-based flow control: replacing the critic with an adaptive reduced-order model
School of Mechanical Engineering, Zhejiang University（浙江大学机械工程学院）；Department of Mechanical Engineering, National University of Singapore（新加坡国立大学机械工程系）；Department of Modern Mechanics, University of Science and Technology of China（中国科学技术大学近代力学系）
本文提出一种基于自适应降阶模型的强化学习框架，通过物理洞察设计降阶模型结构，结合线性动力系统和神经微分方程估计流体非线性，实现更高效的控制器优化。
2026-04-05 cs.LG
Bi-directional personalization reinforcement learning-based architecture with active learning using a multi-model data service for the travel nursing industry
本文提出一种结合主动学习的双向个性化强化学习架构，利用多模型数据服务加速数据获取，为旅行护理行业提供双向精准的职位与候选人推荐。
2023-03-14 cs.AI cs.IR cs.LG
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Two-stage Deep Reinforcement Learning for Inverter-based Volt-VAR Control in Active Distribution Networks
Tsinghua University（清华大学）
基于模型的无功/无功优化方法被广泛应用于消除电压违规、降低网损。然而，有源配电网（ADN）的参数不是现场识别的，所以可能会涉及到显着的误差在模型中，使基于模型的方法是不可行的。为了解决这个关键问题，我们提出了一种新的两阶段深度强化学习（DRL）方法，通过调节基于逆变器的能量资源来改善电压分布，该方法由离线阶段和在线阶段组成。在离线阶段，开发了一种高效的对抗性强化学习算法来训练离线代理对模型失配具有鲁棒性。在序贯在线阶段，我们将离线代理安全地转移为在线代理，以执行在线的持续学习和控制，从而显着提高安全性和效率。IEEE测试用例的数值模拟不仅表明，所提出的对抗性强化学习算法优于最先进的算法，而且还表明，我们提出的两阶段方法实现了更好的性能比现有的DRL为基础的方法在在线应用。
2020-05-20 cs.LG cs.SY eess.SY
Safety Constrained Multi-Agent Reinforcement Learning for Active Voltage Control
School of Computer Science and Technology（计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
本文将主动电压控制建模为约束马尔可夫博弈，提出基于双重安全估计的安全约束多智能体强化学习算法，并在真实规模配电网仿真中验证其优于现有MARL方法。
2024-09-03 cs.LG
APRIL: Interactively Learning to Summarise by Combining Active Preference Learning and Reinforcement Learning
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种方法来执行自动文档摘要，而不使用参考摘要。相反，我们的方法交互式地从用户的偏好中学习。基于偏好的交互式摘要的优点在于，偏好比参考摘要更容易为用户提供。现有的基于偏好的交互式学习方法存在样本复杂度高的问题，即它们需要与预言机进行多轮交互才能收敛。在这项工作中，我们提出了一个新的目标函数，它使我们能够利用主动学习，偏好学习和强化学习技术，以减少样本的复杂性。模拟和真实用户实验表明，我们的方法显着推进的最先进的。我们的源代码是免费提供的https://github.com/UKPLab/emnlp2018-april。
2018-08-29 cs.AI cs.CL cs.LG
Active Vision Reinforcement Learning under Limited Visual Observability
Stony Brook University（石溪大学）
针对部分可观测环境下主动视觉强化学习的双策略协调难题，提出SUGARL框架，以可学习的内在感觉运动奖励联合训练运动与感知策略，在多可观测性条件下有效且适配现有RL算法。
2023-11-06 cs.CV cs.LG cs.RO
Model-Free Active Exploration in Reinforcement Learning
KTH Royal Institute of Technology（KTH皇家理工学院）；Division of Decision and Control Systems（决策与控制系统学部）
本文从信息论下界出发提出一种基于集成的无模型主动探索策略，无需估计系统模型即可适用于表格型和连续型马尔可夫决策过程，实验表明其能比现有方法更快识别高效策略。
2024-06-30 cs.LG
Fair Reinforcement Learning Algorithm for PV Active Control in LV Distribution Networks
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎综合理工学院）
针对低压配电网光伏普及引发的电压问题及现有光伏智能逆变器有功削减不公平的痛点，提出一种兼顾用户间有功功率削减公平性的强化学习电压控制方法，经实验验证可公平高效地实现电压控制。
2024-09-09 cs.AI cs.LG cs.SY
Deep Active Inference as Variational Policy Gradients
University of Edinburgh（爱丁堡大学）
主动推理是一种源自神经科学的行动理论，它将行动和规划视为一个贝叶斯推理问题，通过最小化单个量（变分自由能）来解决。主动推理承诺一个统一的行动和感知的帐户，加上生物学上合理的过程理论。尽管有这些潜在的优势，当前的主动推理实现只能处理小的、离散的策略和状态空间，并且通常需要知道环境动态。在本文中，我们提出了一种新的深度主动推理算法，该算法使用深度神经网络作为灵活的函数逼近器来近似密钥密度，这使得主动推理能够扩展到更大和更复杂的任务。我们在一套OpenAIGym基准测试任务上展示了我们的方法，并获得了与常见强化学习基线相当的性能。此外，我们的算法显示出与最大熵强化学习和策略梯度算法的相似性，这揭示了主动推理框架和强化学习之间有趣的联系。
2019-07-08 cs.LG cs.NE
Reinforcement Learning through Active Inference
Sackler Centre for Consciousness Science（萨克勒意识科学中心）；Evolutionary & Adaptive Systems Research Group（进化与自适应系统研究组）；University of Sussex（萨塞克斯大学）；University of Edinburgh（爱丁堡大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
强化学习（RL）的核心原则是智能体寻求最大化累积奖励之和。相比之下，主动推理，认知和计算神经科学中的一个新兴框架，提出代理人采取行动，以最大限度地提高有偏见的生成模型的证据。在这里，我们说明了来自主动推理的想法如何通过（i）提供探索和利用的内在平衡，以及（ii）提供更灵活的奖励概念来增强传统的RL方法。受主动推理的启发，我们开发并实现了一个新的决策目标，我们称之为预期未来的自由能。我们证明了所得到的算法成功地平衡了探索和利用，同时在几个具有挑战性的RL基准测试中实现了稳健的性能，具有稀疏，形状良好，没有奖励。
2020-02-28 cs.AI cs.IT cs.LG
RLAD: Time Series Anomaly Detection through Reinforcement Learning and Active Learning
Rutgers University（罗格斯大学）
我们引入了一种新的半监督时间序列异常检测算法，该算法使用深度强化学习（DRL）和主动学习来有效地学习和适应真实世界时间序列数据中的异常。我们的模型-称为RLAD -不假设产生观察序列的基本机制，并根据异常模式的经验不断调整检测模型。此外，它不需要手动调整参数，并且在几个品质因数上优于我们与之相比的所有最先进的方法，无论是无监督的还是半监督的。更具体地说，我们在F1得分上比最好的无监督方法高出1.58倍，只有1%的标签，而在另一个只有0.1%标签的真实世界数据集上高达4.4倍。我们在两个常见的异常检测数据集上将RLAD与七种基于深度学习的算法进行了比较，这些数据集的数据点多达300万个，异常率在0.28%到2.65%之间。我们在几个重要的性能指标上优于所有算法。
2021-03-31 cs.CL cs.LG
Reinforcement Learning for Active Matter
School of Physics and Electronics, Hunan University, Changsha 410082, China（物理与电子学院，湖南大学，长沙410082，中国）；Department of Physics, King's College London, London WC2R 2LS, United Kingdom（物理系，伦敦国王学院，伦敦WC2R 2LS，英国）
本综述系统梳理了强化学习（RL）在活性物质领域的应用，围绕单粒子运动策略优化与群集集体动力学调控两大方向展开，为活性物质的研究与多领域应用提供了参考。
2025-03-30 cond-mat.soft cs.LG cs.RO
Reinforcement Learning reveals fundamental limits on the mixing of active particles
California Institute of Technology（加州理工学院）；Carnegie Mellon University（卡内基梅隆大学）
包括活性材料的远离平衡的物理系统的控制已经成为应用强化学习（RL）策略来导出物理系统的控制策略的重要领域。在活性材料中，非线性动力学和颗粒之间的长程相互作用禁止系统动力学的封闭形式描述，并阻止最优控制问题的显式解决方案。由于在解决显式控制策略的基本挑战，RL已经成为一种方法来获得远离平衡的活性物质系统的控制策略。然而，一个重要的开放问题是如何的数学结构和物理性质的活性物质系统决定的学习控制策略的RL的易处理性。在这项工作中，我们表明，RL只能找到很好的策略，混合系统的吸引力和排斥粒子相互作用相结合的典型的活性物质的任务。使用动力系统理论的数学结果，我们与双曲动力学的存在和RL的能力，找到均匀的混合策略的两种相互作用类型的可用性。特别是，我们表明，对于阻力为主的双曲不变粒子系统，双曲动力学，因此，混合需要结合吸引力和排斥力的相互作用。从广义上讲，我们的工作证明了动力系统的基本物理和数学特性如何能够启用或约束基于强化学习的控制。
2021-05-28 cs.LG cs.SY eess.SY
PAC Apprenticeship Learning with Bayesian Active Inverse Reinforcement Learning
本文提出PAC-EIG获取函数，通过最大化学徒策略遗憾的信息增益，首次为带噪声专家示范的主动逆强化学习提供PAC理论保证，并实验验证其优于现有启发式方法。
2025-09-19 cs.LG
Reinforcement Learning of Active Vision for Manipulating Objects under Occlusions
Carnegie Mellon University（卡内基梅隆大学）
我们认为人工代理，学会共同控制他们的gripper和相机，以加强学习操纵策略的存在遮挡干扰对象。干扰物经常遮挡感兴趣的对象，并使其从视野中消失。我们提出了手/眼控制器，它学会移动相机以保持物体在视野内可见，协调操纵它以实现预期的目标，例如，将其推到目标位置。我们将以对象为中心的注意力的结构偏差纳入我们的行动者-批评者架构，我们的实验表明这是良好表现的关键。我们的研究结果进一步强调了课程与环境难度的重要性。由此产生的主动视觉/操作策略优于静态相机设置的各种杂乱的环境。
2019-02-16 cs.CV cs.LG cs.RO
Amortized Active Causal Induction with Deep Reinforcement Learning
Helmholtz AI（亥姆霍兹人工智能）；Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）
提出CAASL，一种基于Transformer和强化学习的主动干预策略，无需似然函数即可实时选择干预，在合成数据和单细胞模拟器上优于替代方法，并具备良好的分布偏移和零样本泛化能力。
2024-05-26 cs.AI cs.LG
Apple: Toward General Active Perception via Reinforcement Learning
Department of Computer Science, TU Darmstadt, Germany（德国图林根大学计算机科学系）；LIRIS, CNRS UMR5205, École Centrale de Lyon, France（法国里里萨大学LIRIS实验室）；LASR Lab & CeTI, TU Dresden, Germany（德国德累斯顿技术大学LASR实验室）；DFKI, Hessian.AI, RIG, and Centre for Cognitive Science, TU Darmstadt, Germany（德国图林根大学DFKI、海德堡人工智能、RIG及认知科学中心）
本文提出Apple框架，通过强化学习解决多种主动感知问题，展示了其在触觉探索任务中的有效性，证明了其在机器人领域中的通用性。
2026-05-11 cs.LG cs.RO
Active Exploration for Inverse Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对现有逆强化学习算法依赖环境模型或生成模型的局限，提出无需生成模型的主动探索算法AceIRL，具备样本复杂度界且性能优于朴素探索策略。
2023-08-22 cs.AI cs.LG stat.ML
Toward Information Theoretic Active Inverse Reinforcement Learning
University of Oxford（牛津大学）；Alan Turing Institute（阿兰·图灵研究所）
本文针对主动逆强化学习中人类示范成本高的问题，提出收集更长轨迹并设计信息论获取函数及高效近似方案，通过网格世界实验验证其有效性。
2024-12-31 cs.LG stat.ML
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法，例如近端策略优化或Q学习，通常需要与环境进行数千次交互，以近似最佳控制器，由于安全性和时间消耗，这在机器人技术中可能并不总是可行的。基于模型的方法，如PILCO或BlackDrops，虽然数据效率高，但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题，我们引入了基于主动不确定性减少的虚拟环境，它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理，这是用来作为一个度量自我改进的点，通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数，同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明，我们的方法提供了一个更好的建模能力，复杂的系统动力学相比，已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
Adaptive Informative Path Planning Using Deep Reinforcement Learning for UAV-based Active Sensing
University of Bonn（波恩大学）
空中机器人越来越多地用于环境监测和勘探。然而，一个关键的挑战是有效地规划路径，以最大限度地提高所获得的数据的信息价值，作为一个最初未知的环境进行探索。为了解决这个问题，我们提出了一种新的方法，信息路径规划的基础上深度强化学习（RL）。结合RL和机器人应用的最新进展，我们的方法将树搜索与离线学习的神经网络相结合，预测信息传感动作。我们介绍了几个组件，使我们的方法适用于机器人任务与高维状态和大动作空间。通过在任务期间部署经过训练的网络，我们的方法可以在计算资源有限的平台上实现样本高效的在线重新规划。仿真结果表明，我们的方法与现有方法相比，运行时间减少了8- 10倍。我们使用真实世界的表面温度数据验证其性能。
2022-03-03 cs.LG cs.RO
Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning
Qazvin Azad University（加兹温伊斯兰阿扎德大学）；University of Leeds（利兹大学）
在本文中，我们提出了一种主动视觉方法，使用深度强化学习方法的人形足球机器人。所提出的方法自适应优化的机器人的观点，以获得最有用的地标自我定位，同时保持球进入其观点。主动视觉对于具有有限视野的类人决策机器人至关重要。为了处理主动视觉问题，先前已经提出了几种基于概率熵的方法，这些方法高度依赖于自定位模型的准确性。然而，在这项研究中，我们将这个问题描述为一个情景强化学习问题，并采用深度Q学习方法来解决它。所提出的网络只需要相机的原始图像将机器人的头部移向最佳视点。该模型显示出非常有竞争力的80%的成功率，在实现最佳的观点。我们实现了所提出的方法在Webots模拟器中模拟的人形机器人。我们的评估和实验结果表明，所提出的方法优于基于熵的方法在RoboCup的上下文中，在高自我定位错误的情况下。
2020-11-27 cs.AI cs.CV cs.LG
