Reinforcement Learning Approach to Active Learning for Image Classification
Stiftung Universität Hildesheim（希尔德斯海姆大学基金会）
机器学习需要大量的标记数据来拟合模型。许多数据集已经是公开可用的，然而迫使机器学习的应用可能性到这些公共数据集的领域。机器学习算法在新的应用领域中不断增长的渗透需要解决方案来满足这些新领域中的数据需求。本文将主动学习作为一种可能的解决方案，通过只处理那些特别有利于训练任务的强模型的数据点，来减少需要手工处理的数据量。一个新提出的框架框架的主动学习工作流作为一个强化学习的问题，适用于图像分类和一系列的三个实验进行。每个实验进行了评估，并概述了该方法的潜在问题。接下来的每个实验都对框架提出了改进建议，并评估了它们的影响。在最后一个实验之后，得出了最终结论，不幸的是，拒绝了这项工作的假设，并概述了目前提出的框架不能够用经过训练的强化学习代理来改进图像分类的主动学习。
2021-08-12 cs.LG
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Active Reinforcement Learning with Monte-Carlo Tree Search
University of Oxford（牛津大学）
主动强化学习（ARL）是强化学习的一种扭曲，其中代理只有在支付成本时才会观察奖励信息。这种微妙的变化使探索更具挑战性。强化学习中强大的原则，如乐观主义、汤普森抽样和随机探索，对ARL没有帮助。我们将表格环境中的ARL与贝叶斯自适应MDP相关联。我们提供了一个ARL算法，使用蒙特卡罗树搜索是渐近贝叶斯最优的。实验表明，该算法在小Bandit问题和MDP上是近最优的。在更大的MDP上，它的表现优于用ARL的专门算法增强的Q学习器。通过详细分析探索行为，我们发现了扩大基于模拟的算法ARL的障碍。
2018-03-26 cs.LG stat.ML
Active Reinforcement Learning: Observing Rewards at a Cost
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；Future of Humanity Institute（人类未来研究所）；University of Oxford（牛津大学）；AI Impacts
主动强化学习（ARL）是强化学习的一种变体，其中智能体不观察奖励，除非它选择支付查询成本c > 0。ARL的核心问题是如何量化奖励信息的长期价值。即使是在多武器的强盗中，计算这些信息的价值也是棘手的，我们不得不依靠计算机。我们提出并评估了几种启发式方法ARL多武装土匪和（表格）马尔可夫决策过程，并讨论和说明了一些具有挑战性的方面的ARL问题。
2020-11-24 cs.AI cs.LG stat.ML
Anomaly Detection in Time Series Data Using Reinforcement Learning, Variational Autoencoder, and Active Learning
Portland State University（波特兰州立大学）
本文提出将深度强化学习、变分自编码器与主动学习结合，并引入LSTM网络，以克服传统时间序列异常检测需手动调参且难适应新异常类型的局限，实现用最少标记数据检测新异常类别。
2025-04-03 cs.LG
Active Reinforcement Learning Strategies for Offline Policy Improvement
Indian Institute of Science（印度科学学院）
本文提出一种主动强化学习方法，通过重用离线数据并收集最少额外轨迹来扩充数据集，在多个连续控制环境中将在线交互需求最多降低75%。
2024-12-26 cs.LG
Towards Active Flow Control Strategies Through Deep Reinforcement Learning
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；Delft University of Technology (TU Delft)（代尔夫特理工大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
提出基于深度强化学习的主动流动控制框架，在三维圆柱体上实现9.32%减阻和78.4%升力振荡降低，集成CFD与DRL模型。
2024-11-08 cs.LG physics.flu-dyn
Universal Successor Representations for Transfer Reinforcement Learning
University of Alberta（阿尔伯塔大学）；MILA（米拉魁北克人工智能研究所）
迁移强化学习的目标是从一组以前的任务推广到看不见的新任务。在这项工作中，我们专注于转移的情况下，任务之间的动态是相同的，但他们的目标不同。虽然一般的价值函数（Sutton等人，2011年）已被证明对知识转移有用，但学习通用价值函数在实践中可能具有挑战性。为了解决这个问题，我们提出（1）使用通用后继表示（USR）来表示可转移的知识，以及（2）可以通过与环境交互来训练的USR近似器（USRA）。我们的实验表明，USR可以有效地应用于新的任务，和代理初始化训练的USRA可以达到目标，大大快于随机初始化。
2018-04-11 cs.AI cs.LG stat.ML
Context-aware Active Multi-Step Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）；Baidu（百度）；Salesforce（赛富时）
强化学习最近引起了人们的极大关注，特别是策略梯度算法，已经在具有挑战性的决策和控制任务上得到了展示。在本文中，我们提出了一个积极的多步TD算法与自适应步长学习演员和评论家。具体来说，我们的模型由两个部分组成：主动步长学习和自适应多步TD算法。首先，我们将时间范围划分为块，并在每个块中主动选择状态和动作。然后，给定选定的样本，我们提出了自适应的多步TD，它推广TD（$λ$），但自适应地打开/关闭备份，从未来的回报不同的步骤。特别地，自适应多步TD引入了上下文感知机制，这里是二元分类器，其基于上下文变化来决定是否打开其未来备份。因此，我们的模型是一种主动学习和多步TD算法的结合，它具有学习的能力，而不需要重要性采样。我们评估了我们的方法在离散和连续的空间任务分别在一个关闭的政策设置，并展示了竞争力的结果相比，其他强化学习基线。
2019-11-27 cs.AI cs.LG stat.ML
Sample Efficient Active Algorithms for Offline Reinforcement Learning
Department of Computer Science and Automation, Indian Institute of Science, Bengaluru, INDIA（计算机科学与自动化系，印度科学研究所，班加罗尔）
本文提出了一种用于离线强化学习的主动算法，通过高斯过程建模实现了样本高效的价值函数收敛。
2026-02-01 cs.AI cs.LG
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
提出一种基于轨迹采样的模型强化学习方法，通过概率安全约束及分离认知与偶然不确定性来平衡乐观与悲观，有效管理风险，在不确定及安全关键的控制环境中表现优异。
2023-09-11 cs.AI cs.LG cs.RO
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
主动学习（AL）的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究，提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反，我们建议将主动学习算法设计视为一个元学习问题，并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络，该网络输入基本学习者状态和未标记的点集，并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络，为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化，特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法，允许嵌入式不可知的主动学习者进行培训。我们的评估表明，以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
SAMBA: Safe Model-Based & Active Reinforcement Learning
Huawei R&D UK（华为英国研发部）；Technical University Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
在本文中，我们提出了SAMBA，一个新的安全强化学习框架，结合了概率建模，信息论和统计学方面。我们的方法建立在PILCO的基础上，通过支持条件风险价值约束的多目标问题，使用新的（半）样本外高斯过程评估指标进行积极探索。我们评估我们的算法在各种安全的动力系统基准，涉及低维和高维状态表示。我们的研究结果显示，与最先进的方法相比，样本和违规行为的数量级减少。最后，我们通过对我们的主动指标和安全约束的详细分析，提供了关于框架有效性的直觉。
2020-06-12 cs.AI cs.LG cs.RO
Actively Learning Costly Reward Functions for Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Université de Strasbourg（斯特拉斯堡大学）
将深度强化学习的最新进展转移到现实世界的应用程序受到高数据需求的阻碍，因此效率和可扩展性较低。通过对组件（如重放缓冲区或更稳定的学习算法）的独立改进，以及通过大规模分布式系统，标准基准测试任务的训练时间可以从几天减少到几个小时。然而，虽然模拟环境中的奖励是明确定义的并且易于计算，但奖励评估在许多现实世界环境中成为瓶颈，例如，在分子优化任务中，需要计算要求很高的模拟甚至实验来评估状态并量化奖励。因此，如果没有大量的计算资源和时间，训练可能会变得过于昂贵。我们建议通过用神经网络建模的奖励取代昂贵的地面真实奖励来缓解这个问题，用主动学习组件来抵消训练过程中状态和奖励分布的非平稳性。我们证明，使用我们提出的ACRL方法（主动学习强化学习的昂贵奖励），可以更快地在复杂的现实环境中训练代理。通过将强化学习方法应用于新的领域，我们证明了我们可以为化学，材料科学和工程中的现实世界优化问题找到有趣且非平凡的解决方案。
2022-11-23 cs.LG
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico（INESC-ID/高等技术学院）；INRIA Bordeaux Sud-Ouest（法国国立信息与自动化研究院波尔多西南分院）
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架，其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法，使学习代理查询专家提供更多的信息演示，从而导致更多的样本有效的学习。对于这种新算法（广义二进制搜索逆强化学习，或GBS-IRL），我们提供了一个理论上的样本复杂度的界限，并说明其适用于几个不同的任务。据我们所知，GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法，在文献中的其他现有的方法和它的一般适用性，在多类分类问题。最后，由最近的工作在机器人的示教学习的动机，我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
APRIL: Active Preference-learning based Reinforcement Learning
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Université Paris-Sud（巴黎第十一大学）
本文主要研究有限先验知识下的强化学习。例如，在群体机器人领域，专家很难设计奖励函数或演示目标行为，禁止使用标准RL和反向强化学习。虽然专业知识有限，但人类专家仍然经常能够发出偏好并对代理演示进行排名。早期的工作提出了一个迭代的基于偏好的RL框架：专家的偏好被用来学习一个近似的策略返回，从而使代理实现直接的策略搜索。迭代地，代理选择一个新的候选策略，并演示它;专家排名新的演示相对于以前的最佳之一;专家的排名反馈，使代理细化近似的政策回报，并迭代的过程。在本文中，基于偏好的强化学习结合主动排名，以减少排名查询的专家需要产生一个令人满意的政策。在山地车和癌症治疗试验台上的实验证明，几十个排名可以帮助我们学习一个有能力的政策。
2012-08-05 cs.LG
Universal Value Density Estimation for Imitation Learning and Goal-Conditioned Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
这项工作考虑了两种不同的设置：模仿学习和目标条件强化学习。无论哪种情况，有效的解决方案都需要代理可靠地达到指定的状态（目标）或一组状态（演示）。绘制概率长期动态和所需的价值函数之间的连接，这项工作介绍了一种方法，利用密度估计的最新进展，有效地学习达到一个给定的状态。作为我们的第一个贡献，我们使用这种方法的目标条件强化学习，并表明它是有效的，不遭受事后诸葛亮偏见随机域。作为我们的第二个贡献，我们扩展了模仿学习的方法，并表明它实现了最先进的示范样本效率的标准基准任务。
2020-02-15 cs.LG stat.ML
Backprop-Free Reinforcement Learning with Active Neural Generative Coding
Rochester Institute of Technology（罗切斯特理工学院）；Pennsylvania State University（宾夕法尼亚州立大学）
在人类中，感知觉有助于从感官输入中快速识别和提取信息。这种意识在很大程度上取决于人类主体如何与环境互动。在这项工作中，我们提出了主动神经生成编码，这是一种用于在动态环境中学习动作驱动生成模型而不会反向传播错误（backprop）的计算框架。具体来说，我们开发了一个智能代理，即使在稀疏的奖励，从规划推理的认知理论中汲取灵感。我们在几个简单的控制问题上证明了我们的框架与深度Q学习的竞争力。我们的代理的强大性能提供了有希望的证据，证明神经推理和学习的无反向传播方法可以驱动目标导向行为。
2021-12-19 cs.LG
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Reinforcement learning of optimal active particle navigation
Institute of Condensed Matter Physics, Technische Universität Darmstadt（达姆施塔特工业大学凝聚态物理研究所）
自推进粒子在微米和纳米尺度上的发展为未来在活性物质物理学、显微外科和靶向药物递送方面的应用带来了巨大的潜力。然而，尽管后一种应用激发了对如何最佳地朝向目标（例如癌细胞）导航的探索，但仍然没有已知的简单方法来确定在足够复杂的环境中的最佳路线。在这里，我们开发了一种基于机器学习的方法，使我们能够第一次确定可以在复杂环境中自由转向的自推进代理的渐进最优路径。我们的方法依赖于基于策略梯度的深度强化学习技术，而且最重要的是，它不需要任何奖励整形或激励。所提出的方法提供了一个强大的替代目前的分析方法来计算最佳轨迹，并打开了一个通用的路径规划器为未来的智能活性粒子的路线。
2022-02-01 cond-mat.soft cond-mat.stat-mech cs.LG
Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning?
University of Oxford（牛津大学）；Toyota Research Institute, USA（丰田研究所（美国））
本文研究离线强化学习中因果混淆问题，提出通过主动采样从演示数据中选取关键点以消除因果歧义，实证表明主动采样比均匀采样更高效地减少因果混淆，提升部署安全性。
2023-12-28 cs.AI cs.LG
Active flow control for three-dimensional cylinders through deep reinforcement learning
KTH Royal Institute of Technology（瑞典皇家理工学院）；Barcelona Supercomputing Center - Centro Nacional de Supercomputación（巴塞罗那超级计算中心-国家超级计算中心）
本文提出基于多智能体深度强化学习框架，利用近端策略优化算法耦合计算流体力学求解器，通过多个独立控制的零净质量通量合成射流实现三维圆柱主动流动控制，在三种不同配置下均显著降低了阻力。
2023-09-04 cs.LG physics.flu-dyn
Active exploration in parameterized reinforcement learning
Institute of Intelligent Systems and Robotics（智能系统与机器人研究所）；Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）；CNRS（法国国家科学研究中心）；National Technical University of Athens（雅典国家技术大学）
具有连续动作的在线无模型强化学习（RL）方法在处理诸如机器人学之类的现实应用时发挥着突出的作用。然而，当面对非平稳环境时，这些方法主要依赖于探索-开发权衡，而这种权衡很少动态地和自动地根据环境的变化进行调整。在这里，我们提出了一个积极的探索算法RL在结构化（参数化）连续动作空间。这个框架处理一组离散的动作，每个动作都是用连续变量参数化的。离散探测通过具有逆温度$β$参数的Boltzmann softmax函数来控制。并行地，将高斯探索应用于连续动作参数。我们应用基于短期和长期奖励运行平均值的变化之间的比较的元学习算法，以同时调整$β$和高斯分布的宽度，从中提取连续的动作参数。当应用到一个简单的虚拟人-机器人交互任务，我们表明，该算法优于连续参数化RL没有主动探索和主动探索的基础上测量的卡尔曼-Q-学习算法的不确定性变化。
2016-10-06 cs.LG
Bi-directional personalization reinforcement learning-based architecture with active learning using a multi-model data service for the travel nursing industry
本文提出一种结合主动学习的双向个性化强化学习架构，利用多模型数据服务加速数据获取，为旅行护理行业提供双向精准的职位与候选人推荐。
2023-03-14 cs.AI cs.IR cs.LG
Fair Reinforcement Learning Algorithm for PV Active Control in LV Distribution Networks
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎综合理工学院）
针对低压配电网光伏普及引发的电压问题及现有光伏智能逆变器有功削减不公平的痛点，提出一种兼顾用户间有功功率削减公平性的强化学习电压控制方法，经实验验证可公平高效地实现电压控制。
2024-09-09 cs.AI cs.LG cs.SY
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Two-stage Deep Reinforcement Learning for Inverter-based Volt-VAR Control in Active Distribution Networks
Tsinghua University（清华大学）
基于模型的无功/无功优化方法被广泛应用于消除电压违规、降低网损。然而，有源配电网（ADN）的参数不是现场识别的，所以可能会涉及到显着的误差在模型中，使基于模型的方法是不可行的。为了解决这个关键问题，我们提出了一种新的两阶段深度强化学习（DRL）方法，通过调节基于逆变器的能量资源来改善电压分布，该方法由离线阶段和在线阶段组成。在离线阶段，开发了一种高效的对抗性强化学习算法来训练离线代理对模型失配具有鲁棒性。在序贯在线阶段，我们将离线代理安全地转移为在线代理，以执行在线的持续学习和控制，从而显着提高安全性和效率。IEEE测试用例的数值模拟不仅表明，所提出的对抗性强化学习算法优于最先进的算法，而且还表明，我们提出的两阶段方法实现了更好的性能比现有的DRL为基础的方法在在线应用。
2020-05-20 cs.LG cs.SY eess.SY
A Reinforcement Learning Based Universal Sequence Design for Polar Codes
Apple, San Diego, USA（苹果公司，圣地亚哥，美国）；Apple, Sunnyvale, USA（苹果公司， Sunnyvale，美国）
本文提出一种基于强化学习的极码通用序列设计方法，通过约束学习和多配置优化，在2048码长下实现优于基线的性能提升。
2026-01-27 cs.LG
APRIL: Interactively Learning to Summarise by Combining Active Preference Learning and Reinforcement Learning
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种方法来执行自动文档摘要，而不使用参考摘要。相反，我们的方法交互式地从用户的偏好中学习。基于偏好的交互式摘要的优点在于，偏好比参考摘要更容易为用户提供。现有的基于偏好的交互式学习方法存在样本复杂度高的问题，即它们需要与预言机进行多轮交互才能收敛。在这项工作中，我们提出了一个新的目标函数，它使我们能够利用主动学习，偏好学习和强化学习技术，以减少样本的复杂性。模拟和真实用户实验表明，我们的方法显着推进的最先进的。我们的源代码是免费提供的https://github.com/UKPLab/emnlp2018-april。
2018-08-29 cs.AI cs.CL cs.LG
Active Vision Reinforcement Learning under Limited Visual Observability
Stony Brook University（石溪大学）
针对部分可观测环境下主动视觉强化学习的双策略协调难题，提出SUGARL框架，以可学习的内在感觉运动奖励联合训练运动与感知策略，在多可观测性条件下有效且适配现有RL算法。
2023-11-06 cs.CV cs.LG cs.RO
Reinforcement Learning for Active Matter
School of Physics and Electronics, Hunan University, Changsha 410082, China（物理与电子学院，湖南大学，长沙410082，中国）；Department of Physics, King's College London, London WC2R 2LS, United Kingdom（物理系，伦敦国王学院，伦敦WC2R 2LS，英国）
本综述系统梳理了强化学习（RL）在活性物质领域的应用，围绕单粒子运动策略优化与群集集体动力学调控两大方向展开，为活性物质的研究与多领域应用提供了参考。
2025-03-30 cond-mat.soft cs.LG cs.RO
Aligning Data Selection with Performance: Performance-driven Reinforcement Learning for Active Learning in Object Detection
The University of Hong Kong（香港大学）；SenseTime（秒速）
本文提出MGRAL方法，通过基于LSTM的强化学习智能体以mAP提升为奖励直接优化目标检测中的批量样本选择，并在PASCAL VOC和MS COCO上验证其有效性。
2025-05-06 cs.CV cs.LG
Reinforcement Learning reveals fundamental limits on the mixing of active particles
California Institute of Technology（加州理工学院）；Carnegie Mellon University（卡内基梅隆大学）
包括活性材料的远离平衡的物理系统的控制已经成为应用强化学习（RL）策略来导出物理系统的控制策略的重要领域。在活性材料中，非线性动力学和颗粒之间的长程相互作用禁止系统动力学的封闭形式描述，并阻止最优控制问题的显式解决方案。由于在解决显式控制策略的基本挑战，RL已经成为一种方法来获得远离平衡的活性物质系统的控制策略。然而，一个重要的开放问题是如何的数学结构和物理性质的活性物质系统决定的学习控制策略的RL的易处理性。在这项工作中，我们表明，RL只能找到很好的策略，混合系统的吸引力和排斥粒子相互作用相结合的典型的活性物质的任务。使用动力系统理论的数学结果，我们与双曲动力学的存在和RL的能力，找到均匀的混合策略的两种相互作用类型的可用性。特别是，我们表明，对于阻力为主的双曲不变粒子系统，双曲动力学，因此，混合需要结合吸引力和排斥力的相互作用。从广义上讲，我们的工作证明了动力系统的基本物理和数学特性如何能够启用或约束基于强化学习的控制。
2021-05-28 cs.LG cs.SY eess.SY
Meta-Reinforcement Learning with Universal Policy Adaptation: Provable Near-Optimality under All-task Optimum Comparator
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种用于元强化学习的双层优化框架BO-MRL，通过一次数据收集实现多步策略优化以学习元先验，并提供了期望最优性差距上界的理论分析与实证验证。
2024-10-13 cs.LG
Active Learning of Causal Structures with Deep Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
我们研究实验设计问题，以从干预数据中学习因果结构。我们考虑一个主动学习的设置，其中实验者决定干预系统中的变量之一，在每一步，并使用干预的结果，以恢复变量之间的进一步的因果关系。目标是以最少的干预措施充分识别因果结构。我们提出了第一个基于深度强化学习的实验设计问题解决方案。在所提出的方法中，我们使用一个图神经网络将输入图嵌入到向量中，并将它们馈送到另一个神经网络，该神经网络输出一个变量，用于在每一步中进行干预。两个网络通过Q迭代算法联合训练。实验结果表明，该方法在恢复因果结构方面取得了有竞争力的性能，同时显着减少密集图中的执行时间。
2020-09-07 cs.AI cs.LG
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Multi-Agent Reinforcement Learning for Active Voltage Control on Power Distribution Networks
Imperial College London（帝国理工学院）；University of Bath（巴斯大学）；Shanghaitech University（上海科技大学）
本文提出了一个电力网络中的问题，创建一个令人兴奋的，但具有挑战性的现实世界的情况下，应用多智能体强化学习（MARL）。新兴的脱碳趋势给配电网络带来了过度的压力。有源电压控制被认为是一种很有前途的解决方案，以缓解电力阻塞和改善电压质量，而无需额外的硬件投资，利用可控设备在网络中，如屋顶光伏（PV）和静态无功补偿器（SVC）。这些可控设备出现在大量的，分布在广泛的地理区域，使MARL自然的候选人。本文在Dec-POMDP框架下阐述了有源电压控制问题，并建立了一个开源环境。它旨在弥合电源社区和MARL社区之间的差距，并成为MARL算法实际应用的驱动力。最后，我们分析了主动电压控制问题的特殊性，这些问题对最先进的MARL方法造成了挑战（例如可解释性），并总结了潜在的方向。
2022-01-21 cs.LG cs.MA
Labeled TrustSet Guided: Batch Active Learning with Reinforcement Learning
Prime Video, Amazon（亚马逊Prime视频）；Nvidia（英伟达）
本文提出BRAL-T框架，结合TrustSet和强化学习，解决批量主动学习中样本选择的不确定性与多样性平衡问题，提升模型性能和数据效率。
2026-04-14 cs.LG
Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning
Qazvin Azad University（加兹温伊斯兰阿扎德大学）；University of Leeds（利兹大学）
在本文中，我们提出了一种主动视觉方法，使用深度强化学习方法的人形足球机器人。所提出的方法自适应优化的机器人的观点，以获得最有用的地标自我定位，同时保持球进入其观点。主动视觉对于具有有限视野的类人决策机器人至关重要。为了处理主动视觉问题，先前已经提出了几种基于概率熵的方法，这些方法高度依赖于自定位模型的准确性。然而，在这项研究中，我们将这个问题描述为一个情景强化学习问题，并采用深度Q学习方法来解决它。所提出的网络只需要相机的原始图像将机器人的头部移向最佳视点。该模型显示出非常有竞争力的80%的成功率，在实现最佳的观点。我们实现了所提出的方法在Webots模拟器中模拟的人形机器人。我们的评估和实验结果表明，所提出的方法优于基于熵的方法在RoboCup的上下文中，在高自我定位错误的情况下。
2020-11-27 cs.AI cs.CV cs.LG
Reinforcement Learning of Active Vision for Manipulating Objects under Occlusions
Carnegie Mellon University（卡内基梅隆大学）
我们认为人工代理，学会共同控制他们的gripper和相机，以加强学习操纵策略的存在遮挡干扰对象。干扰物经常遮挡感兴趣的对象，并使其从视野中消失。我们提出了手/眼控制器，它学会移动相机以保持物体在视野内可见，协调操纵它以实现预期的目标，例如，将其推到目标位置。我们将以对象为中心的注意力的结构偏差纳入我们的行动者-批评者架构，我们的实验表明这是良好表现的关键。我们的研究结果进一步强调了课程与环境难度的重要性。由此产生的主动视觉/操作策略优于静态相机设置的各种杂乱的环境。
2019-02-16 cs.CV cs.LG cs.RO
Gym-preCICE: Reinforcement Learning Environments for Active Flow Control
Heriot-Watt University（赫瑞-瓦特大学）
本研究提出兼容Gymnasium API的Python适配器Gym-preCICE，借助preCICE耦合库实现控制器与AFC仿真环境的信息交互，支撑AFC场景下强化学习环境的搭建与算法应用。
2023-05-03 cs.LG
Universal Successor Features for Transfer Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Université de Montréal（蒙特利尔大学）；MILA（MILA蒙特利尔学习算法研究所）
强化学习（RL）中的迁移是指将从先前任务中获得的知识应用于解决相关任务的思想。学习通用价值函数（Schaul等人，2015），它概括了目标和状态，以前已被证明是有用的转移。然而，后继特征被认为比用于转移的值更合适（Dayan，1993; Barreto等人，2017），尽管它们不能直接概括为新的目标。在本文中，我们提出了（1）通用后继特征（USF）来捕获环境的潜在动态，同时允许泛化到看不见的目标，以及（2）可以通过与环境交互来训练的灵活的端到端USF模型。我们表明，学习USFs是兼容的任何RL算法，学习状态值使用时间差的方法。我们在一个简单的网格世界和两个MuJoCo环境中的实验表明，USF可以大大加快学习多个任务时的训练，并可以有效地将知识转移到新的任务。
2020-01-05 cs.AI cs.LG stat.ML
Universal Policies to Learn Them All
University of Central Florida（中佛罗里达大学）
我们探索了一个协作和合作的多智能体强化学习设置，一个团队的强化学习代理试图解决一个单一的合作任务，在多场景设置。我们提出了一种新的多智能体强化学习算法的启发，普遍的价值函数逼近器，不仅概括了状态空间，但也在一组不同的情况。此外，为了证明我们的主张，我们引入了一个具有挑战性的2D多智能体城市安全环境，其中学习智能体试图在各种场景中保护一个人免受附近旁观者的伤害。我们的研究表明，最先进的多智能体强化学习算法无法在多个场景中推广单个任务，而我们提出的解决方案与依赖于机器人的策略一样有效。
2019-08-24 cs.LG cs.MA
Learning and Editing Universal Graph Prompt Tuning via Reinforcement Learning
The University of Hong Kong（香港大学）；Beijing Institute of Technology（北京理工大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出LEAP模型，通过强化学习在保留通用图提示理论基础的同时，优化提示选择与编辑，提升图和节点任务的性能。
2025-12-09 cs.LG
Universal Black-Box Reward Poisoning Attack against Offline Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个通用离线RL黑盒奖励投毒方法“策略对比攻击”，在仅限制逐点与总体扰动且不知算法的条件下，可有效攻击当前最先进离线RL算法。
2024-10-23 cs.AI cs.CR cs.LG
Deep Active Inference as Variational Policy Gradients
University of Edinburgh（爱丁堡大学）
主动推理是一种源自神经科学的行动理论，它将行动和规划视为一个贝叶斯推理问题，通过最小化单个量（变分自由能）来解决。主动推理承诺一个统一的行动和感知的帐户，加上生物学上合理的过程理论。尽管有这些潜在的优势，当前的主动推理实现只能处理小的、离散的策略和状态空间，并且通常需要知道环境动态。在本文中，我们提出了一种新的深度主动推理算法，该算法使用深度神经网络作为灵活的函数逼近器来近似密钥密度，这使得主动推理能够扩展到更大和更复杂的任务。我们在一套OpenAIGym基准测试任务上展示了我们的方法，并获得了与常见强化学习基线相当的性能。此外，我们的算法显示出与最大熵强化学习和策略梯度算法的相似性，这揭示了主动推理框架和强化学习之间有趣的联系。
2019-07-08 cs.LG cs.NE
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移（例如3对3或5对6多代理游戏）。在本文中，我们首次尝试探索一个通用的多智能体强化学习管道，设计一个单一的架构，以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同，我们利用一个基于transformer的模型来生成一个灵活的策略，通过将策略分布与相互交织的输入观察解耦，并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比，该模型进一步放宽了对行为的限制，使多Agent任务的决策过程更具有可解释性，称为通用策略解耦Transformer（UPDeT）。UPDeT足够通用，可以插入任何多智能体强化学习管道，并为它们提供强大的泛化能力，使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明，所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果，在性能和训练速度（快10倍）方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
RLAD: Time Series Anomaly Detection through Reinforcement Learning and Active Learning
Rutgers University（罗格斯大学）
我们引入了一种新的半监督时间序列异常检测算法，该算法使用深度强化学习（DRL）和主动学习来有效地学习和适应真实世界时间序列数据中的异常。我们的模型-称为RLAD -不假设产生观察序列的基本机制，并根据异常模式的经验不断调整检测模型。此外，它不需要手动调整参数，并且在几个品质因数上优于我们与之相比的所有最先进的方法，无论是无监督的还是半监督的。更具体地说，我们在F1得分上比最好的无监督方法高出1.58倍，只有1%的标签，而在另一个只有0.1%标签的真实世界数据集上高达4.4倍。我们在两个常见的异常检测数据集上将RLAD与七种基于深度学习的算法进行了比较，这些数据集的数据点多达300万个，异常率在0.28%到2.65%之间。我们在几个重要的性能指标上优于所有算法。
2021-03-31 cs.CL cs.LG
Universally Expressive Communication in Multi-Agent Reinforcement Learning
InstaDeep Ltd.（InstaDeep公司）；University of Oxford（牛津大学）
在多智能体强化学习中，允许智能体通过通信共享信息对于解决复杂任务至关重要。在这项工作中，我们考虑的问题，是否一个给定的通信协议可以表达任意的政策。通过观察，许多现有的协议可以被视为图神经网络（GNNs）的实例，我们证明了联合动作选择节点标记的等价性。由于标准GNN方法的表达能力有限，我们从现有的GNN文献中借鉴，并考虑用以下内容来增强代理观察：（1）唯一的代理ID和（2）随机噪声。我们提供了一个理论分析，这些方法如何产生普遍表达的沟通，也证明了他们能够针对任意一组相同的代理人的行动。从经验上讲，这些增强被发现，以提高表现性的沟通是必需的，而在一般情况下，最佳的通信协议被发现是任务相关的任务上的性能。
2023-01-13 cs.DM cs.LG cs.MA
Distributional Active Inference
University of Southern Denmark（丹麦南部大学）
本文提出了一种将主动推断整合到分布式强化学习框架中的形式抽象，以提升复杂环境机器人系统最优控制的样本效率。
2026-08-06 cs.LG
Active Exploration for Inverse Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对现有逆强化学习算法依赖环境模型或生成模型的局限，提出无需生成模型的主动探索算法AceIRL，具备样本复杂度界且性能优于朴素探索策略。
2023-08-22 cs.AI cs.LG stat.ML
Dynamic Action Interpolation: A Universal Approach for Accelerating Reinforcement Learning with Expert Guidance
Independent Researcher（独立研究者）
本文提出动态动作插值（DAI）框架，通过时变权重融合专家与RL动作，无需复杂架构修改即可显著提升强化学习的样本效率与性能。
2025-04-26 cs.AI cs.LG
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法，例如近端策略优化或Q学习，通常需要与环境进行数千次交互，以近似最佳控制器，由于安全性和时间消耗，这在机器人技术中可能并不总是可行的。基于模型的方法，如PILCO或BlackDrops，虽然数据效率高，但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题，我们引入了基于主动不确定性减少的虚拟环境，它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理，这是用来作为一个度量自我改进的点，通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数，同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明，我们的方法提供了一个更好的建模能力，复杂的系统动力学相比，已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
Stacked Universal Successor Feature Approximators for Safety in Reinforcement Learning
University of Dayton Research Institute（代顿大学研究所）；Air Force Research Laboratory（空军研究实验室）
本文提出 SUSFAS，将适配 SAC 的堆叠连续控制 USFA 与多种次级安全控制器结合，以在高风险强化学习任务中保障安全并改善次级目标性能。
2024-09-06 cs.AI cs.LG
