Abstracted Trajectory Visualization for Explainability in Reinforcement Learning
Information & Computer Science（信息与计算机科学）；University of Hawaii at Manoa（夏威夷大学马诺阿分校）
针对非RL专家难以理解强化学习模型的问题，提出抽象轨迹可视化方法，展示主要状态间的转换，帮助非专家建立智能体心智模型并推断行为模式。
2024-02-05 cs.AI cs.HC cs.LG
From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对现有可解释强化学习方法仅能提供局部洞察、无法全局理解模型的问题，研究提出基于Shapley值的模型无关方法，可适配异策略与同策略算法，在保留原模型性能的同时生成更稳定的可理解策略。
2025-01-16 cs.AI cs.LG cs.SY
Reinforcement Learning Your Way: Agent Characterization through Policy Regularization
Center for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）；Sparebank 1 SR-Bank（Sparebank 1 SR银行）
最先进的强化学习（RL）算法的复杂性增加导致了抑制可解释性和理解的不透明性。这导致了几个事后可解释性方法的发展，旨在从学习的政策，从而帮助可解释性提取信息。这些方法依赖于对政策的经验观察，因此旨在概括代理人行为的特征。在这项研究中，我们反而开发了一种方法，通过正则化他们的目标函数，将一个特征行为注入代理的策略中。我们的方法在学习过程中指导代理的行为，从而产生内在的特征;它将学习过程与模型解释联系起来。我们提供了一个正式的参数和经验证据，我们的方法的可行性。在未来的工作中，我们打算利用它来开发代理，根据个人金融客户的消费个性来优化他们的投资组合。
2022-01-21 cs.AI cs.LG
Explaining Strategic Decisions in Multi-Agent Reinforcement Learning for Aerial Combat Tactics
Dalle Molle Institute for Artificial Intelligence (IDSIA) - SUPSI/USI（达勒莫尔人工智能研究所（IDSIA）- 瑞士南部应用科学与艺术大学/瑞士意大利语区大学）；armasuisse Science and Technology（瑞士联邦国防采购局科学与技术）
针对多智能体强化学习在军事场景中因可解释性不足难以部署的问题，研究适配多种可解释技术分析空战场景下的模型行为，强调透明度对可靠部署与人机交互的重要性，支撑战略规划与军事训练。
2025-05-16 cs.AI cs.LG cs.MA
Reconstructing Actions To Explain Deep Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
特征属性一直是解释深度神经网络（DNN）监督学习中输入特征重要性的基本构建块，但在应用于深度强化学习（RL）时面临新的挑战。我们提出了一种新的方法来解释深度RL动作，方法是定义一类\emph{action reconstruction}函数，模仿深度RL中网络的行为。这种方法使我们能够回答比直接应用DNN归因方法更复杂的可解释性问题，我们在构建我们的动作重建时采用了\emph{behavior-level attributions}。它还允许我们定义\emph{agreement}，一个定量评估我们的方法的可解释性的度量。我们对各种Atari游戏的实验表明，基于扰动的归因方法比其他归因方法更适合于重建解释深度RL代理的动作，并且比现有的利用注意力的可解释性工作表现出更大的\emph{agreement}。我们进一步表明，行动重建使我们能够演示如何深入的代理学习玩吃豆人游戏。
2021-02-13 cs.AI cs.LG
Explaining Reinforcement Learning Agents via Inductive Logic Programming
University of Verona（维罗纳大学）；Sapienza University of Rome（罗马第一大学）
该研究致力于推进可解释强化学习，引入客观指标量化策略可解释性。采用归纳逻辑编程提取符号表示并定义新指标，实验表明这些指标能突出特定动作学习动态，提供细粒度洞察，揭示多智能体模式，助力策略转移与泛化。
2026-07-16 cs.AI
RAIDX: A Retrieval-Augmented Generation and GRPO Reinforcement Learning Framework for Explainable Deepfake Detection
University of Liverpool（利物浦大学）；Beihang University（北航大学）；The Chinese University of Hong Kong（香港中文大学）
RAIDX提出首个融合RAG与GRPO的统一框架，通过外部知识增强检测精度，并自主生成细粒度文本解释与显著性图，在多个基准上实现最先进性能，兼顾准确性与可解释性。
2025-08-06 cs.AI cs.CV
xSRL: Safety-Aware Explainable Reinforcement Learning -- Safety as a Product of Explainability
Wake Forest University（维克森林大学）；Indiana University（印第安纳大学）
针对安全强化学习可解释性不足的问题，提出xSRL框架，通过整合局部与全局解释并利用对抗攻击识别策略漏洞，提升RL系统在现实部署中的安全性与可信度。
2024-12-26 cs.AI cs.HC cs.LG
Unifying Causal Reinforcement Learning: Survey, Taxonomy, Algorithms and Applications
Department of Computer Science and Software Engineering, University of Western Australia（计算机科学与软件工程系，西澳大利亚大学）
本文综述了因果强化学习的分类、算法和应用，探讨了其在解决经典强化学习局限性方面的潜力及未来研究方向。
2025-12-19 cs.AI
Domain-Level Explainability -- A Challenge for Creating Trust in Superhuman AI Strategies
Aleph Alpha GmbH（Aleph Alpha有限公司）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
对于战略问题，基于深度强化学习（DRL）的智能系统已经展示了令人印象深刻的学习高级解决方案的能力，这些解决方案可以远远超出人类的能力，特别是在处理复杂场景时。虽然这为开发具有开创性功能的智能辅助系统创造了新的机会，但将这项技术应用于现实世界的问题会带来重大风险，因此需要对其透明度和可靠性的信任。由于超人的策略是非直观和复杂的定义和现实世界的情况下，禁止可靠的性能评估，在这些系统中的信任的关键组成部分是难以实现的。可解释人工智能（XAI）通过各种措施成功地提高了现代人工智能系统的透明度，然而，XAI研究尚未提供在战略情况下为专家用户提供领域级见解的方法。在本文中，我们讨论了超人的DRL为基础的战略，其属性，将其转化为现实世界的环境中的要求和挑战，并通过可解释性作为一个关键技术的信任的影响。
2020-11-12 cs.AI
CIER: A Novel Experience Replay Approach with Causal Inference in Deep Reinforcement Learning
East China Normal University（华东师范大学）
针对深度强化学习训练中数据利用率低、可解释性不足的问题，提出基于因果推断的经验回放方法CIER，通过时间序列分割与因果因子识别提升训练效果，结合优先经验回放仍具有效性。
2024-05-14 cs.AI cs.LG
Knowledge-Based Sequential Decision-Making Under Uncertainty
Auburn University（奥本大学）
深度强化学习（Deep Reinforcement Learning，DRL）算法在序列决策问题上取得了巨大的成功，但由于缺乏数据效率和可解释性而受到批评。特别是，子任务的可解释性在分层决策中至关重要，因为它增强了黑盒式DRL方法的透明度，并帮助RL从业者更好地理解系统的高层行为。为了提高DRL的数据效率和可解释性，在这项工作中，声明性知识的引入，并提出了一种新的算法，结合DRL和符号规划。在公开的基准测试上的实验分析验证了子任务的可解释性，并表明我们的方法在数据效率方面优于最先进的方法。
2020-05-16 cs.AI cs.LO
SkillTree: Explainable Skill-Based Deep Reinforcement Learning for Long-Horizon Control Tasks
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；National Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Polixir Technologies；SenseTime Research（商汤科技研究院）
提出SkillTree框架，通过可微决策树将连续动作空间离散化为技能空间，实现技能级可解释性，在复杂机器人臂控制任务中达到与基于技能的神经网络相当的性能。
2024-11-19 cs.AI cs.LG
A Reinforcement Learning Perspective on the Optimal Control of Mutation Probabilities for the (1+1) Evolutionary Algorithm: First Results on the OneMax Problem
ISAE-SUPAERO, Université de Toulouse（高等航空航天学院，图卢兹大学）；ENAC, Université de Toulouse（国立民用航空学院，图卢兹大学）
我们研究如何强化学习可以用来优化控制进化算法中的参数。我们在OneMax函数上控制（1+1）进化算法的变异概率。该问题被建模为马尔可夫决策过程，并通过已知的转移概率与值迭代求解。然后通过Q-Learning（一种强化学习算法）求解，其中不需要精确的转移概率。这种方法还允许将以前的专家或经验知识纳入学习。它开辟了新的视角，正式和计算，优化的参数控制问题。
2019-05-09 cs.AI cs.NE
DREAM: Adaptive Reinforcement Learning based on Attention Mechanism for Temporal Knowledge Graph Reasoning
Soochow University（苏州大学）；The University of Queensland（昆士兰大学）；Griffith University（格里菲斯大学）
针对时序知识图谱推理缺乏可解释性及难以联合捕获时间演化与语义依赖的问题，提出基于注意力机制的自适应强化学习模型DREAM，通过多面注意力表示与自适应奖励函数进行多跳推理，在公开数据集上优于现有模型。
2023-04-08 cs.AI cs.IR
Reinforcement Learning from Human Feedback: Whose Culture, Whose Values, Whose Perspectives?
Ghent University（根特大学）；Radboud University（拉德堡德大学）
本文从社会认识论和多元主义哲学出发，论证RLHF中多元主义的认识论与伦理优势，并提出改进LLM开发的具体行动议程。
2025-01-17 cs.AI cs.CL cs.CY
Explainable Reinforcement Learning via Temporal Policy Decomposition
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Boston University（波士顿大学）
本文提出时间策略分解TPD，通过固定时间范围时序差分的离策略学习将价值函数分解为各步EFO，为RL动作提供准确、对比性的时间解释并辅助奖励函数微调。
2025-01-07 cs.AI cs.LG
Human-Readable Programs as Actors of Reinforcement Learning Agents Using Critic-Moderated Evolution
Vrije Universiteit Brussel（布鲁塞尔自由大学）
针对强化学习黑盒策略可解释性差、蒸馏程序性能低的问题，提出以TD3评论家为遗传算法目标函数、训练中直接合成程序策略的方法，兼具可解释性与高样本效率。
2024-10-29 cs.AI cs.LG
Revisiting the Master-Slave Architecture in Multi-Agent Deep Reinforcement Learning
Microsoft Research（微软研究院）
人工智能中的许多任务需要多个智能体的协作。我们测试了多智能体领域的深度强化学习。最近的研究工作往往采取两种看似冲突的观点，分散的观点，其中每个代理人应该有自己的控制器;和集中的观点，其中一个假设有一个更大的模型控制所有代理人。在这方面，我们重新审视主从架构的想法，将这两个角度在一个框架内。这样的层级结构自然地利用了彼此的优势。结合这两种观点的想法是直观的，可以很好地从许多现实世界的系统动机，然而，在各种可能的实现，我们强调三个关键要素，即组成的动作表示，可学习的通信和独立推理。网络设计，以促进这些明确的，我们的建议始终优于最新的竞争方法在合成实验中，当应用于具有挑战性的星际微观管理任务。
2017-12-20 cs.AI
A Closed-Loop Multi-perspective Visual Servoing Approach with Reinforcement Learning
University of Hamburg（汉堡大学）；Agile Robots AG（Agile Robots 公司）；RWTH Aachen University（亚琛工业大学）
本文提出一种基于强化学习的闭环多视角视觉伺服框架，在Gazebo仿真中验证其能学习最优控制策略，平均成功率97.0%，优于直接视觉伺服算法。
2023-12-25 cs.AI cs.RO
Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
UC Berkeley（加州大学伯克利分校）；Google Research, Brain Team（谷歌研究大脑团队）
在这篇教程文章中，我们的目标是为读者提供开始研究离线强化学习算法所需的概念工具：强化学习算法利用以前收集的数据，而无需额外的在线数据汇集。离线强化学习算法在将大型数据集转化为强大的决策引擎方面具有巨大的潜力。有效的离线强化学习方法将能够从可用数据中提取具有最大可能效用的策略，从而实现从医疗保健和教育到机器人等广泛决策领域的自动化。然而，当前算法的局限性使得这很困难。我们的目标是让读者了解这些挑战，特别是在现代深度强化学习方法的背景下，并描述在最近的工作中探索的一些潜在解决方案，以减轻这些挑战，以及最近的应用，以及对该领域开放问题的观点的讨论。
2020-11-01 cs.AI cs.LG stat.ML
Perspective Taking in Deep Reinforcement Learning Agents
University of Tartu（塔尔图大学）；Humboldt University of Berlin（柏林洪堡大学）
观点采择是一种从另一个主体的角度去看问题的能力。这种技能并不是人类独有的，其他动物如黑猩猩也有这种技能。它是社会交往的基本能力，包括有效的合作，竞争和沟通。在这里，我们提出了我们的进展，建设人工智能与这种能力。我们实施了一个观点转换任务，灵感来自黑猩猩实验。我们表明，人工神经网络控制的代理可以通过强化学习学习，以通过简单的测试，需要采取的观点能力。我们研究了这种能力是否更容易学习的代理与信息编码在allocentric或自我中心的形式，他们的视觉感知和运动动作。我们相信，从长远来看，构建更好的具有观点采择能力的人工智能体可以帮助我们开发更像人类、更容易沟通的人工智能。
2020-04-16 cs.AI cs.LG cs.MA
Causal Explanation for Reinforcement Learning: Quantifying State and Temporal Importance
University of California, Davis（加利福尼亚大学戴维斯分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种因果解释机制，量化强化学习中状态对动作的因果重要性及其时间演化，并通过多种仿真环境验证其优于现有关联解释方法。
2023-06-30 cs.AI cs.LG
EMORL: Ensemble Multi-Objective Reinforcement Learning for Efficient and Flexible LLM Fine-Tuning
Fraunhofer Institute for Applied Information Technology（弗劳恩霍夫应用信息技术研究所）；Soochow University（苏州大学）；University Hospital of Cologne（科隆大学医院）
提出EMORL集成多目标强化学习框架，通过微调多个模型并聚合隐藏状态及分层网格搜索优化权重，在咨询反思生成任务上实现更低训练消耗、更好可扩展性和可解释性。
2025-07-09 cs.AI cs.CL cs.LG
Automatic Discovery of Multi-perspective Process Model using Reinforcement Learning
Dongeui University（东义大学）；Pusan National University（釜山国立大学）
流程挖掘是一种基于事件日志的流程模型推导和分析方法。当使用流程挖掘来分析业务流程时，流程发现步骤、一致性检查步骤和增强步骤被重复。如果用户希望从多个角度（例如活动角度、发起者角度和时间角度）分析过程，则必须一遍又一遍地重复上述过程，这是不方便的。虽然过去的研究涉及过程挖掘应用了详细的逐步方法，没有尝试已被纳入和优化多角度的过程挖掘程序。本文有助于开发一个解决这个问题的方法。首先，我们提出了一个基于深度Q-Learning的多视角流程模型自动发现框架。我们的双体验重放与体验分布（DERED）方法可以自动执行流程模型发现步骤、一致性检查步骤和增强步骤。其次，我们提出了一种新的方法，进一步优化经验重放（ER）方法，深度Q学习的关键算法之一，以提高强化学习代理的学习性能。最后，我们使用在港口物流、钢铁制造、金融、IT和政府管理中收集的六个真实事件数据集来验证我们的方法。我们表明，我们的DERED方法可以为用户提供多角度，高质量的过程模型，可以更方便地采用多角度的过程挖掘。
2022-11-30 cs.AI cs.LG
Shaping Scientific Explanations to Expert Perspectives with Persona-Conditioned Reinforcement Learning
LASIGE, Faculdade de Ciências da Universidade de Lisboa, Portugal（里斯本大学科学学院LASIGE，葡萄牙）
本文提出一种基于强化学习的科学解释生成方法，通过代理人设引导解释代理器适应专家认知策略，提升解释的适应性和预测性能。
2026-08-03 cs.AI cs.HC
Spectral Normalisation for Deep Reinforcement Learning: an Optimisation Perspective
Bitdefender（比特梵德）；Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）；Imperial College London（帝国理工学院）；DeepMind（深度思维）；University College London（伦敦大学学院）
大多数最近的深度强化学习进展都采取了以RL为中心的观点，并专注于训练目标的细化。我们从这个角度出发，表明我们可以恢复这些发展的性能，而不是通过改变目标，而是通过正则化的价值函数估计。使用光谱归一化约束单层的Lipschitz常数足以将分类DQN代理的性能提升到具有挑战性的Atari域上的更详细的\rainbow{}代理的性能。我们进行消融研究，以解开归一化对学习动态的各种影响，并表明这足以调节参数更新，以恢复频谱归一化的大部分性能。这些发现暗示，需要关注神经组件及其学习动态，以解决深度强化学习的特殊性。
2021-05-11 cs.AI cs.LG
Explainable Reinforcement Learning via Model Transforms
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Harvard University（哈佛大学）；DeepMind（深度思维）；Technion - Israel Institute of Technology（以色列理工学院）
理解强化学习（RL）代理的新兴行为可能是困难的，因为这样的代理通常在复杂的环境中使用高度复杂的决策过程来训练。这就产生了各种各样的方法来解释强化学习，旨在调和代理的行为和观察者预期的行为之间可能出现的差异。最新的方法依赖于领域知识，可能并不总是可用的，对代理的政策的分析，或对底层环境的特定元素的分析，通常建模为马尔可夫决策过程（MDP）。我们的关键主张是，即使底层模型不完全已知（例如，转移概率还没有被准确地获知）或不由代理维护（即，当使用无模型方法时），该模型仍然可以用于自动生成解释。为了这个目的，我们建议使用正式的MDP抽象和转换，以前在文献中使用的加速搜索最优的政策，自动产生的解释。由于这种转换通常基于环境的符号表示，因此它们可以为预期和实际代理行为之间的差距提供有意义的解释。我们正式定义的可解释性问题，提出了一类可用于解释紧急行为的转换，并建议方法，使有效的搜索解释。我们展示了一套标准的基准测试的方法。
2022-11-30 cs.AI cs.LG
Perspectives for Direct Interpretability in Multi-Agent Deep Reinforcement Learning
LIP6, Sorbonne University（巴黎第六大学（索邦大学）LIP6实验室）
本文倡导在多智能体深度强化学习中采用直接可解释性方法，通过事后解释技术分析智能体行为与涌现现象，并为团队识别、群体协调和样本效率等方向提出研究展望。
2025-02-02 cs.AI
A Distributional Perspective on Reinforcement Learning
DeepMind
在本文中，我们认为价值分布的根本重要性：由强化学习代理接收的随机回报的分布。这与强化学习的常见方法形成对比，后者对这种回报或价值的期望进行建模。虽然有一个既定的文献研究的价值分布，到目前为止，它一直被用于特定的目的，如实施风险意识的行为。我们从政策评估和控制设置的理论结果开始，揭示了后者的显著分布不稳定性。然后，我们使用分布的角度来设计一个新的算法，适用于贝尔曼方程的学习近似值分布。我们使用Arcade学习环境中的游戏套件来评估我们的算法。我们获得了最先进的结果和轶事证据，证明了值分布在近似强化学习中的重要性。最后，我们结合理论和经验证据，强调在近似设置的价值分布影响学习的方式。
2017-07-21 cs.AI cs.LG stat.ML
Explainable and Safe Reinforcement Learning for Autonomous Air Mobility
Sichuan University（四川大学）
不断增长的交通需求、更高的自动化水平和通信增强为未来的空中交通管制员（ATC）提供了新的设计机会。本文提出了一种新的深度强化学习（DRL）控制器，以帮助解决自主自由飞行的冲突。虽然日间行车灯在这一领域取得了重要的进展，现有的工作很少关注与日间行车灯控制器的可解释性和安全性问题，特别是在对抗攻击下的安全性。为了解决这两个问题，我们设计了一个完全可解释的DRL框架，其中我们：1）将耦合的Q值学习模型分解为安全意识和效率（到达目标）模型; 2）使用来自周围入侵者的信息作为输入，消除了中央控制器的需求。在我们的模拟实验中，我们表明，通过解耦的安全意识和效率，我们可以超过自由飞行控制任务的性能，同时显着提高实际的可解释性。此外，安全Q学习模块提供了丰富的环境安全状况信息。为了研究对抗攻击下的安全性，我们还提出了一种对抗攻击策略，该策略可以同时施加面向安全和面向效率的攻击。对抗的目的是通过只在几个时间步攻击代理来最大限度地降低安全性/效率。在实验中，我们的攻击策略增加了与均匀攻击（即，在每一个时间步攻击），只有攻击代理少四倍，这提供了洞察能力和限制的日间行车线在未来的ATC设计。源代码可在https://github.com/WLeiiiii/Gym-ATC-Attack-Project上公开获得。
2022-11-24 cs.AI cs.LG cs.RO
Reward Tampering Problems and Solutions in Reinforcement Learning: A Causal Influence Diagram Perspective
Google（谷歌公司）
人类能让任意有能力的强化学习（RL）代理来执行他们的命令吗？或者，有足够能力的RL代理总是能找到方法通过缩短奖励信号来绕过他们的预期目标？这个问题影响到RL可以扩展到多大程度，以及是否必须开发替代范式以构建安全的通用人工智能。在本文中，我们研究了当RL代理有一个工具目标篡改其奖励过程，并描述了设计原则，防止工具目标的两种不同类型的奖励篡改（奖励功能篡改和RF输入篡改）。结合起来，设计原则可以防止这两种类型的奖励篡改工具的目标。分析受益于因果影响图，提供直观而精确的形式化。
2021-03-26 cs.AI cs.LG
A Geometric Perspective on Optimal Representations for Reinforcement Learning
Google Brain（谷歌大脑）；DeepMind（深度思考）；University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）
基于价值函数空间的几何性质，提出了一种新的强化学习表示学习方法。我们利用这个角度来提供正式的证据，价值函数作为辅助任务的有用性。我们的配方考虑适应的代表性，以尽量减少（线性）近似的价值函数的所有固定的政策，为一个给定的环境。我们表明，这种优化减少到作出准确的预测，一类特殊的价值函数，我们称之为对抗性价值函数（AVF）。我们证明了使用价值函数作为辅助任务对应于我们的公式的预期误差松弛，AVF是一个自然的候选者，并确定了与原始价值函数的密切关系（Mahadevan，2005）。我们突出AVFs的特点和它们的有用性作为辅助任务在一系列的实验上的四个房间的域。
2019-06-26 cs.AI cs.LG stat.ML
Towards a Research Community in Interpretable Reinforcement Learning: the InterpPol Workshop
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Imperial College London（伦敦帝国学院）
该研究围绕可解释强化学习领域的六大核心争议问题，提出搭建首个专门面向该领域的InterpPol研讨会，推动相关研究社区的建设与发展。
2024-04-16 cs.AI cs.HC cs.LG
Towards Continual Reinforcement Learning: A Review and Perspectives
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；IBM Research（IBM研究院）；DeepMind（深度思维）
在这篇文章中，我们的目的是提供一个文献综述的不同配方和方法，以连续强化学习（RL），也被称为终身或非稳态RL。我们首先讨论我们的观点，为什么RL是一个自然适合研究持续学习。然后，我们提供了一个分类的不同的连续RL配方的数学特征的两个关键属性的非平稳性，即范围和驱动程序的非平稳性。这提供了对各种配方的统一看法。接下来，我们回顾并提出了一个持续强化学习方法的分类。我们继续讨论持续RL代理的评估，提供了文献中使用的基准和理解代理性能的重要指标的概述。最后，我们强调开放的问题和挑战，在弥合持续RL的当前状态和神经科学的研究结果之间的差距。虽然仍处于早期阶段，但持续强化学习的研究有望开发出更好的增量强化学习器，这些学习器可以在非平稳性发挥重要作用的日益现实的应用中发挥作用。这些应用包括医疗保健、教育、物流和机器人等领域的应用。
2022-11-11 cs.AI cs.LG
Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
目的：放射学中的人工智能主要受到以下因素的阻碍：1）需要大型注释数据集。2)非通用性限制了新扫描仪/机构的部署。（3）可解释性和可解释性不足。我们相信，强化学习可以解决所有这三个缺点，具有强大而直观的算法，可在小数据集上训练。据我们所知，强化学习尚未直接应用于放射图像的计算机视觉任务。在这项原理证明工作中，我们训练了一个深度强化学习网络来预测脑肿瘤的位置。材料和方法：使用BraTS脑肿瘤成像数据库，我们在70个对比后T1加权2D图像切片上训练深度Q网络。我们这样做是与图像探索相一致的，奖励和惩罚旨在定位病变。为了与监督式深度学习进行比较，我们在相同的70张图像上训练了一个关键点检测卷积神经网络。我们将这两种方法应用于一个单独的30个图像测试集。结果：强化学习的预测在训练过程中不断提高，而监督式深度学习的预测则迅速出现分歧。强化学习预测测试集病变位置的准确率为85%，而监督深度网络的准确率约为7%。结论：强化学习预测病变的准确性很高，这对于如此小的训练集来说是前所未有的。我们相信，强化学习可以推动放射学AI超越监督式深度学习的固有局限性，进行更多临床医生驱动的研究，最终走向真正的临床应用。
2020-08-06 cs.AI
Feature and Instance Joint Selection: A Reinforcement Learning Perspective
University of Central Florida（中佛罗里达大学）；Hong Kong University of Science and Technology（香港科技大学）；Baidu Talent Intelligence Center（百度人才智库）；Rutgers University（罗格斯大学）
特征选择和实例选择是数据处理的两项重要技术。然而，这种选择大多是单独研究，而现有的工作对联合选择进行特征/实例选择粗糙，从而忽略了潜在的细粒度的特征空间和实例空间之间的相互作用。为了解决这一挑战，我们提出了一种强化学习解决方案来完成联合选择任务，并同时捕获每个特征的选择和每个实例之间的交互。特别是，顺序扫描机制被设计为代理的行动策略，和协作变化的环境被用来增强代理的协作。此外，一个交互式的范例引入先验选择知识，以帮助代理更有效的探索。最后，在真实世界数据集上的广泛实验证明了性能的提高。
2022-05-12 cs.AI cs.LG
Rediscovering Affordance: A Reinforcement Learning Perspective
Aalto University（阿尔托大学）；University of Birmingham（伯明翰大学）
可供性是指对对象允许的可能动作的感知。尽管它与人机交互相关，但没有现有的理论解释支持可供性形成的机制，即如何通过交互发现和调整可供性。本文基于认知科学中的强化学习理论，提出了一种整合的可供性形成理论。关键的假设是，用户学会通过经验将有希望的运动动作与感知相关联，此时存在强化信号（成功/失败）。他们还学会对行为进行分类（例如，“旋转”表盘），使他们能够命名和推理启示。当遇到新的小部件时，他们概括这些动作的能力决定了他们感知启示的能力。我们实现了这一理论在一个虚拟的机器人模型，它演示了人性化的适应互动小部件任务的启示。虽然它的预测与人类数据的趋势一致，但人类能够更快地适应启示，这表明存在其他机制。
2022-01-07 cs.AI cs.HC cs.RO
Measuring Interventional Robustness in Reinforcement Learning
Knowledge Discovery Laboratory（知识发现实验室）；College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
强化学习的最新工作集中在学习策略的几个特征上，这些特征超越了最大化奖励。这些属性包括公平性、可解释性、泛化性和鲁棒性。在本文中，我们定义了干预鲁棒性（IR），有多少可变性引入到学习政策的附带方面的培训过程中，如训练数据的顺序或代理采取的特定探索行动的措施。当它产生的代理在干预下采取非常相似的行动时，训练过程具有高IR，尽管训练过程的这些附带方面存在变化。我们开发了一种直观的IR定量测量方法，并在三个Atari环境中的八种算法中计算了数十种干预措施和状态。从这些实验中，我们发现IR随训练量和算法类型而变化，并且高性能并不意味着高IR，正如人们所期望的那样。
2022-09-19 cs.AI cs.LG
Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective
Zhejiang University（浙江大学）；Westlake University（西湖大学）
本文从强化学习视角解释在线策略蒸馏（OPD）的性能提升与崩溃机制，发现教师隐式奖励放大学生行为，并通过屏蔽不健康响应和SFT初始化缓解崩溃。
2026-10-05 cs.AI cs.CL
A Differential Perspective on Distributional Reinforcement Learning
本文从微分视角扩展分布强化学习至平均奖励设置，提出首个能有效学习长期每步奖励分布和微分回报分布的算法，并展示其在性能和信息捕捉方面的优势。
2026-01-13 cs.AI cs.LG
Is Inverse Reinforcement Learning Harder than Standard Reinforcement Learning? A Theoretical Perspective
University of Science and Technology of China（中国科学技术大学）；Princeton University（普林斯顿大学）；Salesforce AI Research（Salesforce AI研究院）
本文从理论视角研究逆强化学习（IRL），首次在原始离线和在线设置下实现了使用多项式样本和运行时间的高效IRL算法，通过适应悲观主义原则在更强指标下提供保证，并证明了样本复杂度的近似最优性及奖励向目标MDP的迁移能力。
2024-02-10 cs.AI cs.LG stat.ML
Boolean Decision Rules for Reinforcement Learning Policy Summarisation
IBM Research Ireland（IBM爱尔兰研究院）；Trinity College Dublin（都柏林圣三一学院）
强化学习（RL）策略的可解释性仍然是一个具有挑战性的研究问题，特别是在安全背景下考虑RL时。理解RL策略的决策和意图提供了通过限制不良行为将安全纳入策略的途径。我们建议使用一个布尔决策规则模型来创建一个事后基于规则的摘要代理的政策。我们评估我们提出的方法，使用DQN代理培训的熔岩gridworld的实现，并表明，鉴于手工制作的功能表示这个gridworld，简单的通用规则，可以创建一个事后解释的摘要代理的政策。我们讨论了可能的途径，引入安全到RL代理的政策，通过使用由这个基于规则的模型所产生的规则作为对代理的政策施加的约束，以及讨论如何创建简单的规则摘要的代理的政策可能有助于在RL代理的调试过程。
2022-07-18 cs.AI cs.LG
Multi-Agent Target Assignment and Path Finding for Intelligent Warehouse: A Cooperative Multi-Agent Deep Reinforcement Learning Perspective
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；School of Mechanical Engineering and Automation（机械工程与自动化学院）；Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
针对智能仓库中目标分配与路径规划常被分开求解且忽略智能体物理动力学的问题，提出协作式多智能体深度RL方法同时建模并求解TAPF，在多种任务设置下实现合理分配、近最短路径及更高时间效率。
2024-10-27 cs.AI cs.MA
A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning
Lehigh University（理海大学）
为了解决图像分类问题，我们提出了一种机器人（代理）的规划和感知机制，它只能部分地观察底层环境。一个三层架构的建议，包括一个元层，决定中间目标，一个行动层，选择本地行动的代理导航到一个目标，和一个分类层，评估奖励，并作出预测。我们使用深度强化学习来设计和实现这些层。一个广义的策略梯度算法被用来学习这些层的参数，以最大化期望的回报。我们提出的方法进行测试的MNIST数据集的手写数字，这为我们提供了一个层次的解释，同时解释代理的中间目标和行动过程。
2019-09-20 cs.AI cs.LG cs.RO
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore（新加坡南洋理工大学）；Tel Aviv University（特拉维夫大学）
本文研究强化学习中LTL与$ω$-正则目标的关系，提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题，并证明可通过近似求解折扣求和问题渐近学习最优策略，解决了相关开放问题。
2024-10-16 cs.AI cs.LG
Graph Reinforcement Learning for Combinatorial Optimization: A Survey and Unifying Perspective
University of Oxford（牛津大学）；Oxford Robotics Institute（牛津机器人研究所）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
本文综述了图强化学习在组合优化中的应用，提出统一视角，聚焦于非典型图问题，强调强化学习作为高效解决方案的潜力。
2024-08-20 cs.AI cs.LG
A New Perspective on Transformers in Online Reinforcement Learning for Continuous Control
Cognitive AI Lab（认知人工智能实验室）；Cognitive AI Lab, IAI MIPT（认知人工智能实验室，IAI MIPT）
本文探讨Transformer在在线无模型强化学习连续控制中的应用，通过研究输入条件化、组件共享与数据切片等设计问题，提出稳定架构与训练策略，在多种任务中实现有竞争力的性能。
2025-10-15 cs.AI cs.LG cs.RO
Scalable Semantic Non-Markovian Simulation Proxy for Reinforcement Learning
Arizona State University（亚利桑那州立大学）；Scientific Systems Company, Inc.（科学系统公司）
针对强化学习中仿真器带来的可扩展性、可解释性和马尔可夫假设问题，提出基于注释逻辑时间扩展的语义仿真代理，实现高达三个数量级加速并保持策略质量，支持非马尔可夫动力学与瞬时动作建模。
2023-10-15 cs.AI cs.LG cs.LO
Interpretable performance analysis towards offline reinforcement learning: A dataset perspective
Alibaba Group（阿里巴巴集团）；Beijing Institute of Technology（北京理工大学）；Purdue University（普渡大学）
由于离线强化学习（RL）具有广泛的现实应用，其中数据收集可能困难、耗时或成本高昂，因此它日益成为人工智能研究的焦点。在本文中，我们首先提出了一个双重分类现有的离线RL算法的探索和开发趋势的角度。其次，我们推导了外推误差上界的显式表达式，并探讨了不同类型的算法的性能和状态下的动作分布之间的相关性。具体来说，我们放松了严格的假设上的足够大的数量的状态动作元组。因此，我们可以证明解释为什么批量约束Q学习（BCQ）比其他现有技术表现更好。第三，在发现BCQ在低平均事件收益数据集上的弱点后，我们提出了一种基于顶部收益选择机制的改进变体，该变体被证明能够在各种数据集上获得最先进的性能。最后，我们在Atari域上创建了一个基准平台，名为RL Easy Go（RLEG），估计成本超过30万美元。我们将其开源，以便在离线RL算法之间进行公平和全面的竞争，并提供完整的数据集和检查点。
2021-05-12 cs.AI cs.LG
A Survey on Data-Centric AI: Tabular Learning from Reinforcement Learning and Generative AI Perspective
Arizona State University（亚利桑那州立大学）；The University of Kansas（堪萨斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文综述以数据为中心的表格学习，系统梳理利用强化学习和生成式 AI 进行特征选择与特征生成的方法、应用、优势、局限及未来方向。
2025-02-16 cs.AI cs.LG
Reference-Free Reinforcement Learning Fine-Tuning for MT: A Seq2Seq Perspective
Universitat Politècnica de Catalunya Barcelona（巴塞罗那理工大学）
本文提出一种无需参考的强化学习微调方法，应用于序列到序列模型，针对13种语言在无平行数据情况下提升翻译质量，尤其在形态复杂语言中表现优异。
2026-05-15 cs.AI cs.CL
Sample Efficient Reinforcement Learning In Continuous State Spaces: A Perspective Beyond Linearity
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）在具有连续状态空间的复杂非线性马尔可夫决策过程（MDP）中是经验上成功的。相比之下，大多数理论RL文献要求MDP满足某种形式的线性结构，以保证样本有效RL。这种努力通常假设MDP的转换动态或价值函数由状态特征的线性函数描述。为了解决理论与实践之间的这种差异，我们引入了有效规划窗口（EPW）条件，这是MDP的结构条件，没有线性假设。我们证明了EPW条件允许样本有效的RL，通过提供一个算法，可证明解决MDPs满足这个条件。我们的算法需要最少的假设的政策类，其中可以包括多层神经网络的非线性激活函数。值得注意的是，EPW条件是直接受流行的游戏基准，我们表明，许多经典的雅达利游戏满足这一条件。我们还显示了必要性的条件，如EPW，通过证明，简单的MDP与轻微的非线性不能有效地解决样本。
2021-06-15 cs.AI cs.LG stat.ML
Reinforcement Learning as Iterative and Amortised Inference
University of Edinburgh（爱丁堡大学）；University of Sussex（苏塞克斯大学）
有几种方法可以对强化学习（RL）算法进行分类，例如基于模型或无模型，基于策略或基于规划，基于策略或不基于策略，以及在线或离线。诸如此类的广泛分类方案有助于为不同的技术提供统一的视角，并可以为新算法的开发提供背景和指导。在本文中，我们利用控制推理框架概述了一种新的分类方案的基础上摊销和迭代推理。我们证明了广泛的算法可以以这种方式进行分类，提供了一个新的视角，并突出了一系列现有的相似之处。此外，我们表明，从这个角度来看，使我们能够确定部分的算法设计空间，已相对未开发，提出新的路线创新RL算法。
2020-07-05 cs.AI cs.LG stat.ML
