Multi-modal Feedback for Affordance-driven Interactive Reinforcement Learning
Universität Hamburg（汉堡大学）；Universidad Central de Chile（智利中央大学）
交互式强化学习（IRL）通过允许智能体在任务期间与类似于父母的训练器交互来扩展传统的强化学习（RL）。在本文中，我们提出了一个IRL的方法，使用动态的视听输入的声音命令和手势作为反馈。我们的体系结构集成了多模态信息，提供强大的命令，从多个感官线索，以及一个信心值，表明反馈的可信度。整合过程还考虑了两种模态传递不一致信息的情况。此外，我们调制的影响，感官驱动的反馈在IRL任务中使用目标导向的知识，在上下文的启示。我们实现了一个神经网络架构来预测不同对象的执行动作的效果，以避免失败的状态，即，不可能完成任务的状态。在我们的实验设置中，我们探讨了机器人清洁场景中多模态反馈和特定任务启示的相互作用。我们比较了四种不同条件下的代理的学习性能：传统RL，多模态IRL，这两种设置中的每一种都使用上下文启示。我们的实验表明，最好的性能是通过使用视听反馈与affordancemodulated IRL。所获得的结果表明，在IRL任务的多通道的感觉加工与目标导向的知识集成的重要性。
2018-07-26 cs.AI cs.RO
Reinforcement Learning-Guided Retrieval with Soft Fusion for Robust Multimodal Imitation Learning under Missing Modalities
Bournemouth University（伯恩茅斯大学）
提出RL4IL方法，利用强化学习策略从训练库中检索最相关专家演示，并通过软交叉注意力融合生成动作，有效处理传感器缺失问题，在LIBERO基准上超越现有方法。
2026-06-16 cs.LG cs.RO
Active Reinforcement Learning: Observing Rewards at a Cost
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Montreal（蒙特利尔大学）；Future of Humanity Institute（人类未来研究所）；University of Oxford（牛津大学）；AI Impacts
主动强化学习（ARL）是强化学习的一种变体，其中智能体不观察奖励，除非它选择支付查询成本c > 0。ARL的核心问题是如何量化奖励信息的长期价值。即使是在多武器的强盗中，计算这些信息的价值也是棘手的，我们不得不依靠计算机。我们提出并评估了几种启发式方法ARL多武装土匪和（表格）马尔可夫决策过程，并讨论和说明了一些具有挑战性的方面的ARL问题。
2020-11-24 cs.AI cs.LG stat.ML
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过演示的主动学习允许机器人向人类询问特定类型的输入，以实现有效的学习。现有的工作已经探索了各种主动查询策略，但是，据我们所知，这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展，我们提出了一种风险意识主动逆强化学习算法，该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现，风险意识主动学习优于标准的主动IRL方法在网格世界，模拟驾驶，表设置任务，同时还提供了一个基于性能的停止标准，让机器人知道它已经收到足够的演示，安全地执行任务。
2019-06-03 cs.LG stat.ML
Context-aware Active Multi-Step Reinforcement Learning
SUNY at Buffalo（纽约州立大学布法罗分校）；Baidu（百度）；Salesforce（赛富时）
强化学习最近引起了人们的极大关注，特别是策略梯度算法，已经在具有挑战性的决策和控制任务上得到了展示。在本文中，我们提出了一个积极的多步TD算法与自适应步长学习演员和评论家。具体来说，我们的模型由两个部分组成：主动步长学习和自适应多步TD算法。首先，我们将时间范围划分为块，并在每个块中主动选择状态和动作。然后，给定选定的样本，我们提出了自适应的多步TD，它推广TD（$λ$），但自适应地打开/关闭备份，从未来的回报不同的步骤。特别地，自适应多步TD引入了上下文感知机制，这里是二元分类器，其基于上下文变化来决定是否打开其未来备份。因此，我们的模型是一种主动学习和多步TD算法的结合，它具有学习的能力，而不需要重要性采样。我们评估了我们的方法在离散和连续的空间任务分别在一个关闭的政策设置，并展示了竞争力的结果相比，其他强化学习基线。
2019-11-27 cs.AI cs.LG stat.ML
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
提出一种基于轨迹采样的模型强化学习方法，通过概率安全约束及分离认知与偶然不确定性来平衡乐观与悲观，有效管理风险，在不确定及安全关键的控制环境中表现优异。
2023-09-11 cs.AI cs.LG cs.RO
Multi-class Generalized Binary Search for Active Inverse Reinforcement Learning
INESC-ID/Instituto Superior Técnico（INESC-ID/高等技术学院）；INRIA Bordeaux Sud-Ouest（法国国立信息与自动化研究院波尔多西南分院）
本文讨论了从演示中学习任务的问题。我们采用逆强化学习的框架，其中任务以奖励函数的形式表示。我们的贡献是一种新的主动学习算法，使学习代理查询专家提供更多的信息演示，从而导致更多的样本有效的学习。对于这种新算法（广义二进制搜索逆强化学习，或GBS-IRL），我们提供了一个理论上的样本复杂度的界限，并说明其适用于几个不同的任务。据我们所知，GBS-IRL是第一个主动IRL算法与可证明的样本复杂度界。我们还讨论了我们的方法，在文献中的其他现有的方法和它的一般适用性，在多类分类问题。最后，由最近的工作在机器人的示教学习的动机，我们还讨论了如何不同形式的人类反馈可以集成在我们的学习框架中的一个透明的方式。
2013-01-23 cs.AI cs.LG stat.ML
On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning
我们实证研究了对不同模式（如语言和视觉）的数据进行预训练如何影响基于Transformer的模型对Mujoco离线强化学习任务的微调。内部表示的分析表明，预训练的Transformers在预训练前后获得了很大不同的表示，但在微调中获得的数据信息比随机初始化的少。仔细观察预训练的Transformers的参数变化，可以发现它们的参数变化不大，并且用图像数据预训练的模型的不良性能可能部分来自大梯度和梯度裁剪。为了研究使用语言数据预训练的Transformer利用了哪些信息，我们在没有提供上下文的情况下对该模型进行了微调，发现即使没有上下文信息，该模型也能有效地学习。后续的分析支持了这一假设，即用语言数据进行预训练很可能使Transformer获得类似上下文的信息，并利用它来解决下游任务。
2022-11-17 cs.LG stat.ML
Bridging Modal Isolation in Interleaved Thinking: Supervising Modality Transitions via Stepwise Reinforcement
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiaotong University（上海交通大学）；Zhejiang University（浙江大学）；University of Chinese Academy of Sciences（中国科学院大学）
提出MoTiF框架，通过反射式SFT和Flow-GRPO优化模态转换保真度，解决交错思维中图像与文本脱节的模态隔离问题，提升跨模态一致性和任务准确性。
2026-07-10 cs.AI cs.CV
Active Hierarchical Imitation and Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
人类可以利用层次结构将任务分解为子任务并有效地解决问题。模仿和强化学习或它们与层次结构的组合已被证明是机器人学习具有稀疏奖励的复杂任务的有效方法。然而，在以前的分层模仿和强化学习的工作中，测试环境是在相对简单的2D游戏中，并且动作空间是离散的。此外，许多模仿学习的工作重点是改进从硬编码或通过强化学习算法训练的专家策略而不是人类专家学习的策略。在人机交互的场景中，可能需要人类提供演示来教导机器人，因此提高学习效率以减少专家的努力并了解人类对学习/训练过程的感知至关重要。在这个项目中，我们探索了不同的模仿学习算法，并在我们开发的分层模仿和强化学习框架上设计了主动学习算法。我们进行了一个实验，要求五名参与者引导一个随机初始化的代理到迷宫中的一个随机目标。我们的实验结果表明，使用Dagger和基于奖励的主动学习方法可以获得更好的性能，同时节省了更多的人力物力在训练过程中。
2020-12-14 cs.AI cs.LG cs.RO
Effective Multimodal Reinforcement Learning with Modality Alignment and Importance Enhancement
University of Science and Technology of China（中国科学技术大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）
许多现实世界的应用需要代理使用多模态信息（例如，具有多传感器输入的机器人）。然而，由于不同模态的异质性和动态重要性，通过强化学习（RL）训练智能体是非常具有挑战性的。具体来说，我们观察到这些问题使得传统的RL方法难以在具有多模态信息的端到端训练中学习有用的状态表示。为了解决这个问题，我们提出了一种新的多模态强化方法，可以做多模态对齐和重要性增强，根据它们的相似性和重要性方面的强化任务。通过这样做，我们能够学习有效的状态表示，从而改善RL训练过程。我们在几个多模态RL域上测试了我们的方法，表明它在学习速度和策略质量方面优于最先进的方法。
2023-02-18 cs.AI cs.LG
Goal-Directed Planning by Reinforcement Learning and Active Inference
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
目标导向的行为和习惯性行为有什么区别？我们提出了一个新的计算框架的决策与贝叶斯推理，其中一切都集成为一个完整的神经网络模型。该模型通过自我探索和通过采样随机内部状态${z}$产生运动动作来学习预测环境状态转换。通过强化学习，从${z}$的先验分布中获得习惯行为。目标导向的行为是通过规划从后验分布的${z}$，使用主动推理，优化过去，当前和未来的${z}$，通过最小化的变化自由能所需的未来观测约束所观察到的感觉序列。我们通过实验证明了所提出的框架的有效性，在感觉运动导航任务与相机的观察和连续的电机动作。
2021-06-22 cs.AI cs.LG cs.RO
Learning on One Mode: Addressing Multi-modality in Offline Reinforcement Learning
University of Warwick（华威大学）；The Alan Turing Institute（阿兰·图灵研究所）
针对离线强化学习中多模态动作分布导致现有单模态假设方法性能次优的问题，提出加权单模态模仿学习LOM，通过高斯混合模型选最优模态学习，在D4RL基准上表现更优。
2025-03-19 cs.LG
How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID（里斯本高等理工学院信息技术与系统研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
这项工作解决了感知世界的问题：如何学习强化学习代理环境的多模态表示，允许在不完整的感知条件下执行任务。为了解决这个问题，我们主张在设计的表示模型的层次结构，并与一个新的多模态表示模型，MUSE。所提出的模型学习分层表示：低层次的模态特定的表示，从原始观测数据编码，和一个高层次的多模态表示，编码联合模态信息，以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型，在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究，表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后，我们评估了MUSE在文献标准的多模态场景中的性能，这些场景具有更高的数量和更复杂的模态，表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
Learning how to Active Learn: A Deep Reinforcement Learning Approach
The University of Melbourne（墨尔本大学）
主动学习旨在选择用于注释的数据的小子集，使得在数据上学习的分类器高度准确。这通常使用启发式选择方法来完成，然而这种方法的有效性是有限的，而且，启发式选择的性能在数据集之间是不同的。为了解决这些缺点，我们引入了一种新的配方，通过重构的主动学习作为一个强化学习问题，并明确学习的数据选择政策，其中的政策采取的主动学习启发式的作用。重要的是，我们的方法允许选择策略学习使用模拟一种语言被转移到其他语言。我们使用跨语言命名实体识别来演示我们的方法，观察传统主动学习的统一改进。
2017-08-08 cs.AI cs.CL cs.LG
Cross-modal Identity Mapping: Minimizing Information Loss in Modality Conversion via Reinforcement Learning
Taobao & Tmall Group of Alibaba（淘宝与天猫集团（阿里巴巴））；The University of Hong Kong（香港大学）
提出跨模态身份映射（CIM）框架，利用强化学习优化图像描述，通过检索一致性度量信息损失，无需额外标注，显著提升关系推理能力。
2026-06-16 cs.AI cs.CV
Multi-Modal Multi-Agent Reinforcement Learning for Radiology Report Generation
Department of Cardiovascular Medicine（心血管医学科）
本文提出MARL-Rad框架，通过多智能体强化学习提升放射学报告生成的临床效果，通过联合优化区域特定智能体和全局整合智能体，提高报告的准确性和一致性。
2026-05-08 cs.AI cs.CV cs.LG
Active Reinforcement Learning -- A Roadmap Towards Curious Classifier Systems for Self-Adaptation
University of Kiel（基尔大学）
智能系统有能力随着时间的推移，通过观察，经验或明确的反馈来改善其行为。传统的方法将学习问题分开，并孤立地使用来自不同机器学习领域的技术，例如强化学习、主动学习、异常检测或迁移学习。在这种情况下，基本的强化学习方法有几个缺点，阻碍了它们在现实世界系统中的应用：试错，纯粹的反应行为或孤立的问题处理。本文的想法是提出一个概念，通过建立一个研究议程，我们所谓的"主动强化学习"在智能系统中，以减轻这些缺点。
2022-01-11 cs.LG
Active Reinforcement Learning with Monte-Carlo Tree Search
University of Oxford（牛津大学）
主动强化学习（ARL）是强化学习的一种扭曲，其中代理只有在支付成本时才会观察奖励信息。这种微妙的变化使探索更具挑战性。强化学习中强大的原则，如乐观主义、汤普森抽样和随机探索，对ARL没有帮助。我们将表格环境中的ARL与贝叶斯自适应MDP相关联。我们提供了一个ARL算法，使用蒙特卡罗树搜索是渐近贝叶斯最优的。实验表明，该算法在小Bandit问题和MDP上是近最优的。在更大的MDP上，它的表现优于用ARL的专门算法增强的Q学习器。通过详细分析探索行为，我们发现了扩大基于模拟的算法ARL的障碍。
2018-03-26 cs.LG stat.ML
Active Exploration for Inverse Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对现有逆强化学习算法依赖环境模型或生成模型的局限，提出无需生成模型的主动探索算法AceIRL，具备样本复杂度界且性能优于朴素探索策略。
2023-08-22 cs.AI cs.LG stat.ML
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法，例如近端策略优化或Q学习，通常需要与环境进行数千次交互，以近似最佳控制器，由于安全性和时间消耗，这在机器人技术中可能并不总是可行的。基于模型的方法，如PILCO或BlackDrops，虽然数据效率高，但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题，我们引入了基于主动不确定性减少的虚拟环境，它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理，这是用来作为一个度量自我改进的点，通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数，同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明，我们的方法提供了一个更好的建模能力，复杂的系统动力学相比，已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
R-C2: Cycle-Consistent Reinforcement Learning Improves Multimodal Reasoning
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）；University of Chicago（芝加哥大学）
R-C2通过循环一致性强化学习解决多模态推理中的内部冲突，提升推理准确率7.6个百分点。
2026-03-26 cs.AI cs.CV
Active Learning for Risk-Sensitive Inverse Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Xi’an Jiaotong University（西安交通大学）
逆向强化学习（IRL）中的一个典型假设是人类专家采取行动来优化具有固定分布的随机成本的期望效用。这一假设偏离了人类在歧义情况下的实际行为。风险敏感逆强化学习（RS-IRL）通过假设人类根据相对于一组主观扭曲的分布而不是固定分布的随机成本来行动来弥合这种差距。这样的假设提供了额外的灵活性，以模拟人类的风险偏好，表示的风险信封，在安全关键的任务。然而，像其他示教学习技术一样，RS-IRL也可能由于冗余的示教而导致学习效率低下。受主动学习概念的启发，本研究推导出一个概率扰动采样方案，使RS-IRL代理查询专家支持，这可能会暴露未透露的边界的专家的风险信封。实验结果表明，我们的方法加快了RS-IRL算法的收敛速度，具有较低的方差，同时仍然保证无偏收敛。
2019-09-23 cs.LG cs.RO stat.ML
Reinforcement Learning through Active Inference
Sackler Centre for Consciousness Science（萨克勒意识科学中心）；Evolutionary & Adaptive Systems Research Group（进化与自适应系统研究组）；University of Sussex（萨塞克斯大学）；University of Edinburgh（爱丁堡大学）；Canadian Institute for Advanced Research（加拿大高级研究所）
强化学习（RL）的核心原则是智能体寻求最大化累积奖励之和。相比之下，主动推理，认知和计算神经科学中的一个新兴框架，提出代理人采取行动，以最大限度地提高有偏见的生成模型的证据。在这里，我们说明了来自主动推理的想法如何通过（i）提供探索和利用的内在平衡，以及（ii）提供更灵活的奖励概念来增强传统的RL方法。受主动推理的启发，我们开发并实现了一个新的决策目标，我们称之为预期未来的自由能。我们证明了所得到的算法成功地平衡了探索和利用，同时在几个具有挑战性的RL基准测试中实现了稳健的性能，具有稀疏，形状良好，没有奖励。
2020-02-28 cs.AI cs.IT cs.LG
Implicit Policy for Reinforcement Learning
Columbia University（哥伦比亚大学）
我们引入了隐式策略，这是一类通用的表达策略，可以灵活地表示强化学习中的复杂动作分布，并具有计算熵正则化策略梯度的有效算法。我们的经验表明，尽管其简单的实施，熵正则化结合丰富的政策类可以达到理想的属性下显示最大熵强化学习框架，如鲁棒性和多模态。
2019-02-03 cs.AI cs.LG stat.ML
Distributed Reinforcement Learning of Targeted Grasping with Active Vision for Mobile Manipulators
Preferred Networks, Inc.（优选网络公司）
开发能够在非结构化环境中执行各种操作任务的个人机器人需要解决机器人抓取系统的几个挑战。我们向这个更广泛的目标迈出了一步，提出了第一个基于RL的系统，据我们所知，移动机械手，可以（a）实现有针对性的把握概括到看不见的目标对象，（b）学习复杂的抓取策略，为混乱的场景与闭塞的对象，和（c）通过其可移动的手腕相机执行主动视觉，以更好地定位对象。系统以该对象的单个任意姿态RGB图像的形式被告知所需的目标对象，使得系统能够概括为未见过的对象而无需重新训练。为了实现这样一个系统，我们结合了深度强化学习的几个进步，并提出了一个使用同步SGD的大规模分布式训练系统，该系统可以无缝扩展到多节点，多GPU基础设施，使快速原型更容易。我们在模拟环境中对系统进行训练和评估，确定提高性能的关键组件，分析其行为，并将其转换为真实世界的设置。
2020-10-14 cs.AI cs.DC cs.LG
Sample Efficient Active Algorithms for Offline Reinforcement Learning
Department of Computer Science and Automation, Indian Institute of Science, Bengaluru, INDIA（计算机科学与自动化系，印度科学研究所，班加罗尔）
本文提出了一种用于离线强化学习的主动算法，通过高斯过程建模实现了样本高效的价值函数收敛。
2026-02-01 cs.AI cs.LG
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
主动学习（AL）的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究，提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反，我们建议将主动学习算法设计视为一个元学习问题，并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络，该网络输入基本学习者状态和未标记的点集，并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络，为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化，特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法，允许嵌入式不可知的主动学习者进行培训。我们的评估表明，以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
OmniNFT: Modality-wise Omni Diffusion Reinforcement for Joint Audio-Video Generation
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；JD Explore Academy（京东探索研究院）
本文提出OmniNFT，通过模态感知强化学习框架解决多模态联合生成中的模态一致性、梯度不平衡和信用分配问题，提升音频视频感知质量与同步性能。
2026-05-12 cs.AI cs.CV
A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning
Lehigh University（理海大学）
为了解决图像分类问题，我们提出了一种机器人（代理）的规划和感知机制，它只能部分地观察底层环境。一个三层架构的建议，包括一个元层，决定中间目标，一个行动层，选择本地行动的代理导航到一个目标，和一个分类层，评估奖励，并作出预测。我们使用深度强化学习来设计和实现这些层。一个广义的策略梯度算法被用来学习这些层的参数，以最大化期望的回报。我们提出的方法进行测试的MNIST数据集的手写数字，这为我们提供了一个层次的解释，同时解释代理的中间目标和行动过程。
2019-09-20 cs.AI cs.LG cs.RO
Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning
Qazvin Azad University（加兹温伊斯兰阿扎德大学）；University of Leeds（利兹大学）
在本文中，我们提出了一种主动视觉方法，使用深度强化学习方法的人形足球机器人。所提出的方法自适应优化的机器人的观点，以获得最有用的地标自我定位，同时保持球进入其观点。主动视觉对于具有有限视野的类人决策机器人至关重要。为了处理主动视觉问题，先前已经提出了几种基于概率熵的方法，这些方法高度依赖于自定位模型的准确性。然而，在这项研究中，我们将这个问题描述为一个情景强化学习问题，并采用深度Q学习方法来解决它。所提出的网络只需要相机的原始图像将机器人的头部移向最佳视点。该模型显示出非常有竞争力的80%的成功率，在实现最佳的观点。我们实现了所提出的方法在Webots模拟器中模拟的人形机器人。我们的评估和实验结果表明，所提出的方法优于基于熵的方法在RoboCup的上下文中，在高自我定位错误的情况下。
2020-11-27 cs.AI cs.CV cs.LG
Online reinforcement learning with sparse rewards through an active inference capsule
Delft University of Technology（代尔夫特理工大学）；MRC Brain Network Dynamics Unit（医学研究委员会脑网络动力学组）；University of Oxford（牛津大学）
智能代理必须在复杂的环境中追求他们的目标，部分信息和有限的计算能力。强化学习方法已经通过创建优化工程奖励函数的代理而取得了巨大的成功，但是这些代理通常难以在稀疏奖励环境中学习，通常需要许多环境交互才能良好地执行，并且通常在计算上非常昂贵。主动推理是一种基于模型的方法，它指导代理探索不确定的状态，同时坚持其目标行为的先验模型。本文介绍了一种主动推理代理，它使预期未来的新自由能最小化。我们的模型是能够解决稀疏回报问题，由于其目标函数，鼓励直接探索不确定的状态，具有非常高的样本效率。此外，我们的模型在计算上非常轻，可以以完全在线的方式操作，同时实现与离线RL方法相当的性能。我们通过解决山地车问题展示了我们模型的能力，在那里我们展示了其优越的探索特性和对观测噪声的鲁棒性，这实际上提高了性能。我们还介绍了一种新的方法近似先验模型的奖励函数，简化了复杂的目标的表达，并提高了性能比以前的主动推理方法。
2021-06-04 cs.AI cs.LG stat.ML
Near-optimal Policy Identification in Active Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
许多现实世界的强化学习任务需要控制复杂的动态系统，这些系统涉及昂贵的数据采集过程和大型状态空间。在可以容易地在指定状态（例如，通过模拟器），代理可以在通常被称为利用\emph{generative model}的规划中操作。我们提出了AE-LSVI算法的最佳策略识别，一个新的变种的核化最小二乘值迭代（LSVI）算法，结合积极探索（AE）的乐观与悲观。AE-LSVI可证明地在整个状态空间上识别接近最优的策略\emph{uniformly}，并实现与状态数无关的多项式样本复杂度保证。当专门为最近推出的离线上下文贝叶斯优化设置，我们的算法实现了改进的样本复杂度界限。实验上，我们证明了AE-LSVI优于其他RL算法在各种环境中的鲁棒性的初始状态是必需的。
2022-12-19 cs.AI cs.LG stat.ML
Multi-Modal Transformer and Reinforcement Learning-based Beam Management
School of Electrical Engineering and Computer Science, University of Ottawa（渥太华大学电气工程与计算机科学学院）；Ericsson Inc.（爱立信公司）
针对动态无线环境中的波束索引预测问题，提出 MMT 分组预测与 RL 组内快速决策相结合的两步框架，并在 6G 数据集上验证其准确率和吞吐量优势。
2024-10-22 cs.AI eess.SP
Can Active Sampling Reduce Causal Confusion in Offline Reinforcement Learning?
University of Oxford（牛津大学）；Toyota Research Institute, USA（丰田研究所（美国））
本文研究离线强化学习中因果混淆问题，提出通过主动采样从演示数据中选取关键点以消除因果歧义，实证表明主动采样比均匀采样更高效地减少因果混淆，提升部署安全性。
2023-12-28 cs.AI cs.LG
cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；AXXX；ETH Zurich（苏黎世联邦理工学院）；Innopolis University（因诺波利斯大学）；Institute of Mechanics, Armenia（亚美尼亚力学研究所）
cadrille通过强化学习实现多模态CAD重建，首次在CAD任务中应用RL微调，提升重建性能并设定新基准。
2026-02-17 cs.CV cs.LG
Bi-directional personalization reinforcement learning-based architecture with active learning using a multi-model data service for the travel nursing industry
本文提出一种结合主动学习的双向个性化强化学习架构，利用多模型数据服务加速数据获取，为旅行护理行业提供双向精准的职位与候选人推荐。
2023-03-14 cs.AI cs.IR cs.LG
Active Learning of Causal Structures with Deep Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
我们研究实验设计问题，以从干预数据中学习因果结构。我们考虑一个主动学习的设置，其中实验者决定干预系统中的变量之一，在每一步，并使用干预的结果，以恢复变量之间的进一步的因果关系。目标是以最少的干预措施充分识别因果结构。我们提出了第一个基于深度强化学习的实验设计问题解决方案。在所提出的方法中，我们使用一个图神经网络将输入图嵌入到向量中，并将它们馈送到另一个神经网络，该神经网络输出一个变量，用于在每一步中进行干预。两个网络通过Q迭代算法联合训练。实验结果表明，该方法在恢复因果结构方面取得了有竞争力的性能，同时显着减少密集图中的执行时间。
2020-09-07 cs.AI cs.LG
Decentralized Covert Routing in Heterogeneous Networks Using Reinforcement Learning
U.S. Army Combat Capabilities Development Command (DEVCOM) Army Research Laboratory（美国陆军能力发展司令部（DEVCOM）陆军研究实验室）
本文研究异构网络中的隐蔽路由通信，提出一种基于强化学习的去中心化路由算法，节点仅依靠局部反馈选择下一跳与通信模态，仿真表明其性能接近最优集中式方案。
2024-01-31 cs.LG cs.NI eess.SP
Fair Reinforcement Learning Algorithm for PV Active Control in LV Distribution Networks
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎综合理工学院）
针对低压配电网光伏普及引发的电压问题及现有光伏智能逆变器有功削减不公平的痛点，提出一种兼顾用户间有功功率削减公平性的强化学习电压控制方法，经实验验证可公平高效地实现电压控制。
2024-09-09 cs.AI cs.LG cs.SY
APRIL: Interactively Learning to Summarise by Combining Active Preference Learning and Reinforcement Learning
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（泛在知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种方法来执行自动文档摘要，而不使用参考摘要。相反，我们的方法交互式地从用户的偏好中学习。基于偏好的交互式摘要的优点在于，偏好比参考摘要更容易为用户提供。现有的基于偏好的交互式学习方法存在样本复杂度高的问题，即它们需要与预言机进行多轮交互才能收敛。在这项工作中，我们提出了一个新的目标函数，它使我们能够利用主动学习，偏好学习和强化学习技术，以减少样本的复杂性。模拟和真实用户实验表明，我们的方法显着推进的最先进的。我们的源代码是免费提供的https://github.com/UKPLab/emnlp2018-april。
2018-08-29 cs.AI cs.CL cs.LG
Active Vision Reinforcement Learning under Limited Visual Observability
Stony Brook University（石溪大学）
针对部分可观测环境下主动视觉强化学习的双策略协调难题，提出SUGARL框架，以可学习的内在感觉运动奖励联合训练运动与感知策略，在多可观测性条件下有效且适配现有RL算法。
2023-11-06 cs.CV cs.LG cs.RO
Adaptive Active Learning for Regression via Reinforcement Learning
本文提出基于强化学习的WiGS方法，通过动态调整探索与调查的平衡，提升回归任务中的主动学习效率和准确性。
2026-03-11 cs.LG stat.ML
Reinforcement Learning Based on Active Learning Method
ACECR, Nasir Branch（伊朗科技文化中心纳赛尔分支）；Sharif University of Technology（谢里夫理工大学）
本文提出了一种新的强化学习方法，它是基于一个强大的概念，称为主动学习方法（ALM）的建模。ALM将多输入单输出系统表示为若干单输入单输出系统的模糊组合。所提出的方法是一个行动者-评论家系统类似于广义近似推理的智能控制（GARIC）结构，以适应延迟强化信号的ALM。我们的系统使用时间差（TD）学习来模拟控制系统的有用动作的行为。行为的善度是以奖惩平面为模型的。IDS平面将根据此平面进行更新。它表明，该系统可以学习一个预定义的模糊系统或没有它（通过随机动作）。
2010-11-07 cs.AI
Reinforcement Learning for Active Matter
School of Physics and Electronics, Hunan University, Changsha 410082, China（物理与电子学院，湖南大学，长沙410082，中国）；Department of Physics, King's College London, London WC2R 2LS, United Kingdom（物理系，伦敦国王学院，伦敦WC2R 2LS，英国）
本综述系统梳理了强化学习（RL）在活性物质领域的应用，围绕单粒子运动策略优化与群集集体动力学调控两大方向展开，为活性物质的研究与多领域应用提供了参考。
2025-03-30 cond-mat.soft cs.LG cs.RO
Active Curriculum Refinement for Reinforcement Learning
The University of Chicago（芝加哥大学）
该研究针对强化学习中环境的有向无环课程图结构，提出主动课程学习框架PATH，通过采样多样化课程路径并重新分配训练资源，提升了模型的鲁棒性与泛化能力。
2026-08-28 cs.LG
Aura-CAPTCHA: A Reinforcement Learning and GAN-Enhanced Multi-Modal CAPTCHA System
Department of Computer Science and Engineering, Chandigarh University, Mohali, Punjab, India（昌迪加尔大学计算机科学与工程系，莫哈利，旁遮普，印度）；Department of Computer Science and Engineering, Manav Rachna International Institute of Research and Studies（曼纳瓦拉国际研究与学习研究所计算机科学与工程系）
Aura-CAPTCHA提出一种融合GAN、强化学习和LLM的多模态CAPTCHA系统，通过动态图像与音频挑战及自适应难度调节，在真实流量中实现92%人类成功率和10%机器人绕过率，显著提升在线应用安全性。
2025-08-20 cs.LG
Active Reinforcement Learning over MDPs
在过去的十年中，强化学习得到了快速的发展，它通过大量的训练资源获得了令人印象深刻的性能。然而，RL中最大的挑战之一是泛化效率（即，单位时间内的泛化性能）。本文提出了一种基于MDP的主动强化学习（ARL）框架，通过实例选择来提高有限资源下的泛化效率。该算法在训练策略的同时，根据给定的实例数量，选择有价值的实例作为训练集，从而节省资源。与现有的方法不同，我们试图主动选择和使用训练数据，而不是对所有给定的数据进行训练，从而节省资源。此外，我们引入了一个通用的实例评估指标和选择机制的框架。实验结果表明，该框架以近端策略优化为策略优化器，较无选择和无偏选择方法能有效提高泛化效率。
2021-08-17 cs.LG
Active Perception Applied To Unmanned Aerial Vehicles Through Deep Reinforcement Learning
Universidade Federal do Rio Grande (FURG)（里奥格兰德联邦大学（FURG））；Universidad Tecnológica del Uruguay (UTEC)（乌拉圭技术大学（UTEC））
无人机（UAV）由于其可以自主使用的广泛应用而脱颖而出。然而，他们需要能够更好地理解他们所感知的内容的智能系统来执行多项任务。它们在复杂的环境中变得更具挑战性，因为需要感知环境并在环境不确定性下采取行动以做出决策。在这种情况下，使用主动感知的系统可以通过在位移发生时识别目标来寻求最佳的下一个视图来提高性能。这项工作旨在通过解决跟踪和识别水面结构以执行动态着陆的问题，为无人机的主动感知做出贡献。我们表明，我们的系统具有经典的图像处理技术和简单的深度强化学习（Deep-RL）代理，能够感知环境并处理不确定性，而无需使用复杂的卷积神经网络（CNN）或对比学习（CL）。
2022-09-13 cs.AI cs.RO
Active hypothesis testing in unknown environments using recurrent neural networks and model free reinforcement learning
National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）
本文结合深度强化学习与监督学习，提出一种无需环境动态或先验假设的主动序贯假设检验方法，可处理连续动作与观测，并在有限及无限时域中达到或超过 Chernoff 检验。
2023-06-06 cs.AI cs.IT math.IT
Reinforcement Learning of Active Vision for Manipulating Objects under Occlusions
Carnegie Mellon University（卡内基梅隆大学）
我们认为人工代理，学会共同控制他们的gripper和相机，以加强学习操纵策略的存在遮挡干扰对象。干扰物经常遮挡感兴趣的对象，并使其从视野中消失。我们提出了手/眼控制器，它学会移动相机以保持物体在视野内可见，协调操纵它以实现预期的目标，例如，将其推到目标位置。我们将以对象为中心的注意力的结构偏差纳入我们的行动者-批评者架构，我们的实验表明这是良好表现的关键。我们的研究结果进一步强调了课程与环境难度的重要性。由此产生的主动视觉/操作策略优于静态相机设置的各种杂乱的环境。
2019-02-16 cs.CV cs.LG cs.RO
Reinforcement Learning Approach to Active Learning for Image Classification
Stiftung Universität Hildesheim（希尔德斯海姆大学基金会）
机器学习需要大量的标记数据来拟合模型。许多数据集已经是公开可用的，然而迫使机器学习的应用可能性到这些公共数据集的领域。机器学习算法在新的应用领域中不断增长的渗透需要解决方案来满足这些新领域中的数据需求。本文将主动学习作为一种可能的解决方案，通过只处理那些特别有利于训练任务的强模型的数据点，来减少需要手工处理的数据量。一个新提出的框架框架的主动学习工作流作为一个强化学习的问题，适用于图像分类和一系列的三个实验进行。每个实验进行了评估，并概述了该方法的潜在问题。接下来的每个实验都对框架提出了改进建议，并评估了它们的影响。在最后一个实验之后，得出了最终结论，不幸的是，拒绝了这项工作的假设，并概述了目前提出的框架不能够用经过训练的强化学习代理来改进图像分类的主动学习。
2021-08-12 cs.LG
A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning
我们提出了一个教程贝叶斯优化，找到最大的昂贵的成本函数的方法。贝叶斯优化采用贝叶斯技术，在目标函数上设置先验，并将其与证据相结合以获得后验函数。这允许基于效用选择下一个观测值，以便对目标函数进行观测，这必须考虑到勘探（从高度不确定性的区域取样）和开发（取样区域可能提供比当前最佳观测值更好的结果）。我们还提出了两个详细的扩展贝叶斯优化，与实验-主动用户建模与偏好，和分层强化学习--和讨论的优点和缺点贝叶斯优化的基础上，我们的经验。
2010-12-12 cs.LG
Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning
Shanghai Jiao Tong University（上海交通大学）
针对多跳音视频推理中证据稀疏且跨模态分布的问题，提出MOV-Bench基准和AOP-Agent代理框架，通过分层全模态记忆与观察-反思-重规划循环实现主动感知，显著提升开源全模态大模型在长视频和推理密集型问题上的性能。
2026-05-27 cs.AI
