IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；College of Science, Shantou University（汕头大学理学院）
本文提出IADD-TR框架，通过干预感知动力学解耦与定向正则化解决MBRL中策略诱导的数据偏差问题，经MuJoCo任务实验验证可提升样本效率并取得有竞争力回报。
2026-08-12 cs.LG
Designing Reinforcement Learning Algorithms for Digital Interventions: Pre-implementation Guidelines
Harvard University（哈佛大学）；University of Michigan（密歇根大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在线强化学习（RL）算法越来越多地用于移动医疗和在线教育领域的个性化数字干预。在这些设置中设计和测试RL算法的常见挑战包括确保RL算法可以在实时约束下学习和稳定运行，并考虑环境的复杂性，例如，缺乏用户动态的精确机械模型。为了指导人们如何应对这些挑战，我们扩展了PCS（可预测性，可计算性，稳定性）框架，这是一个数据科学框架，将机器学习和统计学的最佳实践融入监督学习（Yu和Kumbier，2020），以设计数字干预设置的RL算法。此外，我们提供了如何设计仿真环境，使用PCS框架评估RL候选算法的重要工具的指导方针。我们说明了使用PCS框架设计RL算法的Oralytics，移动健康研究，旨在改善用户的刷牙行为，通过个性化的干预消息的交付。Oralytics将于2022年底进入该领域。
2022-08-18 cs.AI cs.LG
Discovering What You Can Control: Interventional Boundary Discovery for Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）
本文提出干预边界发现方法，通过随机化动作生成干预对比，利用FDR校正的两样本检验确定观测维度，有效识别可控状态维度。
2026-09-29 cs.AI cs.LG
Hierarchical Reinforcement Learning with Targeted Causal Interventions
School of Computer and Communication Sciences, EPFL, Lausanne, Switzerland（计算机与通信科学系，瑞士洛桑联邦理工学院）；College of Management of Technology, EPFL, Lausanne, Switzerland（技术管理学院，瑞士洛桑联邦理工学院）；Leiden Institute of Advanced Computer Science (LIACS), Leiden University, Leiden, The Netherlands（莱顿高级计算机科学研究所（LIACS），莱顿大学）
本文将子目标结构建模为因果图并提出因果发现算法，通过优先对关键子目标进行目标干预，显著降低了分层强化学习的训练成本，并在树结构和 Erdős-Rényi 随机图变体上给出了理论分析。
2025-07-06 cs.LG
Stochastic Intervention for Causal Inference via Reinforcement Learning
University of Technology Sydney（悉尼科技大学）
因果推理方法广泛应用于精准医疗、最优政策和经济学等决策领域。因果推断的核心是干预策略的治疗效果估计，例如药物剂量的变化和经济援助的增加。现有的方法大多局限于确定性的处理和比较不同处理下的结果。然而，他们无法解决随机治疗下的治疗效果估计的实质性近期兴趣，例如，“如果采取50%剂量减少，所有单位的健康状况如何变化”。换句话说，它们缺乏提供细粒度治疗效果估计以支持合理决策的能力。在我们的研究中，我们提出了一个新的有效的框架来估计随机干预的治疗效果的因果推理研究。特别地，我们开发了一个基于非参数影响函数的随机干预效应估计器（SIE），理论上保证了鲁棒性和快速收敛速度。此外，我们构建了一个定制的强化学习算法的基础上的随机搜索求解器，可以有效地找到最优的政策，以产生最大的预期结果的决策过程。最后，我们进行了实证研究，以证明我们的框架可以实现显着的性能与国家的最先进的基线相比。
2021-05-28 cs.AI cs.LG
Angel or Demon: Investigating the Plasticity Interventions' Impact on Backdoor Threats in Deep Reinforcement Learning
Zhejiang University（浙江大学）；National University of Defense Technology（国防科技大学）；Xi'an Jiaotong University（西安交通大学）
研究通过分析14664个案例，发现仅有一种干预（SAM）加剧了后门威胁，其他干预则缓解了威胁，提出新的稳健后门注入框架和异常损失景观尖锐度作为检测指标。
2026-05-14 cs.AI cs.CR cs.LG
Robust Deep Reinforcement Learning against Adversarial Behavior Manipulation
Institute of Science Tokyo（东京科学研究所）；University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所AIP）
本文提出了一种基于模仿学习的对抗性攻击方法，并通过时间折扣正则化提升强化学习对行为定向攻击的鲁棒性。
2026-02-17 cs.AI cs.LG
Active Learning of Causal Structures with Deep Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
我们研究实验设计问题，以从干预数据中学习因果结构。我们考虑一个主动学习的设置，其中实验者决定干预系统中的变量之一，在每一步，并使用干预的结果，以恢复变量之间的进一步的因果关系。目标是以最少的干预措施充分识别因果结构。我们提出了第一个基于深度强化学习的实验设计问题解决方案。在所提出的方法中，我们使用一个图神经网络将输入图嵌入到向量中，并将它们馈送到另一个神经网络，该神经网络输出一个变量，用于在每一步中进行干预。两个网络通过Q迭代算法联合训练。实验结果表明，该方法在恢复因果结构方面取得了有竞争力的性能，同时显着减少密集图中的执行时间。
2020-09-07 cs.AI cs.LG
When to Ask for Help: Proactive Interventions in Autonomous Reinforcement Learning
Stanford University（斯坦福大学）
强化学习的一个长期目标是设计能够在世界中自主交互和学习的代理。这种自主性的一个关键挑战是存在不可逆状态，需要外部帮助才能恢复，例如当机器人手臂将物体推离桌子时。虽然标准的代理需要不断的监控，以决定何时干预，我们的目标是设计主动代理，可以要求人类干预，只有在需要的时候。为此，我们提出了一种算法，有效地学习检测和避免不可逆转的状态，并主动寻求帮助的情况下，代理不进入他们。在一组具有未知不可逆状态的连续控制环境中，我们发现与现有方法相比，我们的算法具有更好的采样和干预效率。我们的代码可在https://sites.google.com/view/proactive-interventions上公开获取
2022-10-19 cs.LG
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击，仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略，并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Leveraging Deep Reinforcement Learning for Metacognitive Interventions across Intelligent Tutoring Systems
North Carolina State University（北卡罗来纳州立大学）
本文通过两项课堂实验比较静态分类干预与DRL自适应元认知干预，发现DRL能缩小学生元认知差距，并促进其在后续无干预辅导系统中的迁移学习。
2023-04-17 cs.AI cs.CY cs.HC
Effective Warm Start for the Online Actor-Critic Reinforcement Learning based mHealth Intervention
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
在线强化学习（RL）在个性化移动健康（mHealth）干预中越来越受欢迎。它能够根据用户的持续状态和不断变化的需求个性化干预的类型和剂量。然而，在在线学习的开始，通常有太少的样本，以支持RL更新，这导致性能不佳。延迟良好的性能的在线学习算法可以是特别有害的mHealth，用户往往很快脱离mHealth应用程序。为了解决这个问题，我们提出了一个新的在线强化学习方法，专注于一个有效的热启动。其主要思想是充分利用以前研究中积累的数据和获得的决策规则。因此，在在线学习开始时，我们可以大大丰富的数据量在我们的方法。这样的案例加速了新用户的在线学习过程，不仅在在线学习的开始阶段，而且在整个在线学习过程中都取得了良好的表现。此外，我们使用在以前的研究中取得的决策规则初始化的参数在我们的在线强化学习模型的新用户。它为所提出的在线RL算法提供了一个良好的初始化。实验结果表明，与现有的方法相比，该方法取得了很好的效果。
2017-05-21 cs.AI cs.LG
Modeling Mobile Health Users as Reinforcement Learning Agents
Harvard University（哈佛大学）
移动健康（mHealth）技术通过提供针对用户需求定制的干预（例如推送通知），使患者能够在日常生活中采用/保持健康行为。在这些环境中，如果没有干预，人类的决策可能会受到损害（例如，将短期快乐置于自己的长期目标之上）。在这项工作中，我们正式这种关系的框架中，用户优化（可能受损）马尔可夫决策过程（MDP）和mHealth代理干预用户的MDP参数。我们发现，不同类型的障碍意味着不同类型的最佳干预。我们还提供了这些差异的分析和实证探索。
2022-12-01 cs.AI cs.LG
Timing Process Interventions with Causal Inference and Reinforcement Learning
KU Leuven（荷语鲁汶大学）；Faculty of Economics and Business（经济与商业学院）；Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））
本文针对定时流程干预问题，基于支持真实在线学习的合成数据定量比较CI与RL，证明在线RL策略更优、更稳健且适用于通用PresPM任务。
2023-06-07 cs.AI cs.LG
Navigation of micro-robot swarms for targeted delivery using reinforcement learning
本研究使用强化学习算法PPO和RPO，在流体动力学效应下通过单一控制器导航微型游泳者集群至圆形吸收目标，并利用课程学习成功实现了25个游泳者集群的机动控制。
2023-06-30 cs.AI cs.LG cs.RO
Reinforcement Learning Interventions on Boundedly Rational Human Agents in Frictionful Tasks
Harvard University（哈佛大学）
针对摩擦型行为改变场景的快速可解释个性化干预需求，提出BMRL框架，通过干预有限理性人类的MDP参数实现规划，经理论与实证验证可在复杂真实人类场景中生成有效策略。
2024-01-26 cs.AI cs.LG
Adaptive Network Intervention for Complex Systems: A Hierarchical Graph Reinforcement Learning Approach
Northeastern University（东北大学）；College of Engineering（工程学院）；Network Science Institute（网络科学学院）
针对复杂多智能体系统的亲社会行为引导需求，提出分层图强化学习框架HGRL，通过有限权限下的网络定向干预实现治理，揭示社会学习水平与管理者权限对系统行为的关键影响。
2024-10-30 cs.AI cs.GT cs.LG
BadRL: Sparse Targeted Backdoor Attack Against Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；INRIA（法国国家信息与自动化研究所）；Microsoft Azure AI（微软Azure人工智能）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
BadRL提出一种针对强化学习的稀疏目标后门攻击方法，通过选择高攻击价值的状态观测并动态生成触发器，以极低的投毒成本实现隐蔽且有效的攻击。
2023-12-19 cs.AI cs.CR cs.LG
Interactive Double Deep Q-network: Integrating Human Interventions and Evaluative Predictions in Reinforcement Learning of Autonomous Driving
Center for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心）；Örebro University（奥雷布罗大学）；Computer Vision Laboratory（计算机视觉实验室）；Linköping University（利德斯霍尔大学）
交互式双深Q网络通过整合人类干预与评估预测，提升自动驾驶强化学习的性能和适应性。
2025-04-28 cs.AI cs.LG cs.RO
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）
深度强化学习（RL）代理在其观察中容易受到对抗性噪声的影响，这可能会误导其策略并降低其性能。然而，对手可能不仅对减少奖励感兴趣，而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准，衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外，我们引入了一个模型检验方法，使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了（1）我们针对时态逻辑属性进行对抗攻击的指标的质量，以及（2）我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
Computationally Efficient Reinforcement Learning: Targeted Exploration leveraging Simple Rules
Empa（瑞士联邦材料科学与技术研究所）；EPFL（洛桑联邦理工学院）
提出修改连续actor-critic框架以利用专家简单规则避开次优区域，显著加速RL智能体收敛且无计算开销。
2023-09-12 cs.AI cs.LG
Offline reinforcement learning with uncertainty for treatment strategies in sepsis
The Johns Hopkins University（约翰斯·霍普金斯大学）
基于指南的脓毒症和脓毒性休克的治疗是困难的，因为脓毒症是一种不同范围的危及生命的器官功能障碍，其病理生理学尚未完全了解。脓毒症的早期干预对患者的预后至关重要，但这些干预措施具有不良反应，并且经常过度使用。更大的个性化是必要的，因为没有一个单一的行动是适合所有患者。我们提出了一种新的强化学习应用，其中我们从数据中识别脓毒症治疗的最佳建议，估计其置信水平，并识别在训练数据中很少观察到的治疗方案。而不是一个单一的建议，我们的方法可以提出几种治疗方案。我们研究了学习的政策，发现强化学习对积极干预有偏见，因为死亡率和接受的治疗水平之间存在混杂关系。我们使用子空间学习来减轻这种偏见，并开发出可以在医疗保健应用中产生更准确的学习策略的方法。
2021-09-22 cs.AI cs.LG
A Multi-Agent Reinforcement Learning Framework for Public Health Decision Analysis
University of South Florida（南佛罗里达大学）；Indiana University（印第安纳大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出多智能体强化学习框架，用于优化公共卫生干预策略，通过考虑跨行政区的流行病学互动，提高资源分配效率，实验表明其在减少新感染方面优于传统单智能体方法。
2026-04-04 cs.AI cs.LG cs.MA
ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning
XPENG Robotics（小鹏机器人）；Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）
提出ROVE框架，利用强化学习和乐观价值估计，从次优人类干预轨迹中学习高价值行为，提升人形机器人操作性能。
2026-10-05 cs.LG cs.RO
Amortized Active Causal Induction with Deep Reinforcement Learning
Helmholtz AI（亥姆霍兹人工智能）；Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）
提出CAASL，一种基于Transformer和强化学习的主动干预策略，无需似然函数即可实时选择干预，在合成数据和单细胞模拟器上优于替代方法，并具备良好的分布偏移和零样本泛化能力。
2024-05-26 cs.AI cs.LG
The Evidence Ladder for Reinforcement Learning in Healthcare: From Retrospective Policies to Trusted Interventions
本文提出用证据阶梯框架评估医疗保健中的强化学习，强调从回顾性策略到可信干预需逐级验证，并指出历史数据上的高分不等于临床改善，应将其视为社会技术系统中的干预而非单纯优化器。
2026-09-22 cs.LG
Trial without Error: Towards Safe Reinforcement Learning via Human Intervention
University of Oxford（牛津大学）；Stanford University（斯坦福大学）
人工智能系统越来越多地应用于涉及与人类互动的复杂任务。在训练过程中，这样的系统是潜在的危险，因为它们还没有学会避免可能造成严重伤害的行为。人工智能系统如何探索和学习而不犯任何伤害人类或造成严重损害的错误？对于无模型强化学习，让人类“参与”并准备好干预是目前防止所有灾难的唯一方法。我们正式的RL的人类干预，并展示如何减少所需的人力训练监督学习模仿人类的干预决策。我们在Atari游戏上评估了这个方案，其中一个Deep RL代理由一个人监督四个小时。当灾难类很简单时，我们能够在不影响智能体学习的情况下防止所有灾难（而RL基线由于灾难性遗忘而失败）。然而，当灾难更复杂时，这个方案就不那么成功了：它减少但不能消除灾难，并且监督学习器在代理发现的对抗性示例上失败。外推到更具挑战性的环境中，我们表明我们的实现不会扩展（由于所需的人力不可行）。我们概述了扩展的计划，是必要的，如果我们要训练无模型代理没有一个单一的灾难。
2017-07-17 cs.AI cs.LG cs.NE
Designing and evaluating an online reinforcement learning agent for physical exercise recommendations in N-of-1 trials
Hasso Plattner Institute for Digital Engineering, University of Potsdam（波茨坦大学哈索·普拉特纳数字工程研究所）；Hasso Plattner Institute for Digital Health at Mount Sinai, Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院西奈山哈索·普拉特纳数字健康研究所）；Harvard University（哈佛大学）
本文提出一种基于N-of-1试验设计的在线强化学习智能体，用于体育锻炼推荐以减轻子宫内膜异位症疼痛，仿真表明该个性化干预可行且能改善患者收益。
2023-11-23 cs.LG stat.AP stat.ME
Distributed Reinforcement Learning of Targeted Grasping with Active Vision for Mobile Manipulators
Preferred Networks, Inc.（优选网络公司）
开发能够在非结构化环境中执行各种操作任务的个人机器人需要解决机器人抓取系统的几个挑战。我们向这个更广泛的目标迈出了一步，提出了第一个基于RL的系统，据我们所知，移动机械手，可以（a）实现有针对性的把握概括到看不见的目标对象，（b）学习复杂的抓取策略，为混乱的场景与闭塞的对象，和（c）通过其可移动的手腕相机执行主动视觉，以更好地定位对象。系统以该对象的单个任意姿态RGB图像的形式被告知所需的目标对象，使得系统能够概括为未见过的对象而无需重新训练。为了实现这样一个系统，我们结合了深度强化学习的几个进步，并提出了一个使用同步SGD的大规模分布式训练系统，该系统可以无缝扩展到多节点，多GPU基础设施，使快速原型更容易。我们在模拟环境中对系统进行训练和评估，确定提高性能的关键组件，分析其行为，并将其转换为真实世界的设置。
2020-10-14 cs.AI cs.DC cs.LG
Learning on the Job: Test-Time Curricula for Targeted Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
本研究提出TTC-RL方法，通过智能体自动构建任务相关的测试时课程并结合强化学习继续训练模型，在数学与编程基准上显著提升了模型性能，拓展了测试时缩放范式的应用场景。
2025-10-06 cs.AI cs.LG
UniIntervene: Agentic Intervention for Efficient Real-World Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出UniIntervene智能干预模型，通过检测低效探索并自主恢复策略至高价值状态，在真实机器人操作任务中平均成功率提升8.6%，人类干预减少57%。
2026-06-11 cs.LG cs.RO
A Meta-Reinforcement Learning Algorithm for Causal Discovery
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
因果发现是机器学习的一项重要任务，因为因果结构可以使模型超越纯粹的基于相关性的推理，并显着提高其性能。然而，从数据中找到因果结构在计算工作量和准确性方面都构成了重大挑战，更不用说在没有干预的情况下不可能实现。在本文中，我们开发了一个Meta强化学习算法，通过学习执行干预，使其可以构建一个明确的因果图进行因果发现。除了对可能的下游应用有用之外，估计的因果图还为数据生成过程提供了解释。在这篇文章中，我们表明，我们的算法估计一个很好的图相比，SOTA的方法，即使在环境中的潜在因果结构是以前看不见的。此外，我们做了一个消融研究，显示如何学习干预有助于我们的方法的整体性能。我们的结论是，干预措施确实有助于提高绩效，有效地对可能看不见的环境的因果结构进行准确估计。
2023-02-21 cs.AI cs.LG stat.ME
Query-based Targeted Action-Space Adversarial Policies on Deep Reinforcement Learning Agents
Iowa State University（爱荷华州立大学）
计算资源的进步导致网络物理系统（CPS）的复杂性不断增加。随着CPS复杂性的发展，焦点已经从传统的控制方法转移到基于深度强化学习（DRL）的方法来控制这些系统。这是由于传统控制难以获得复杂CPS的精确模型。然而，为了在生产中安全地部署DRL，必须从各个角度检查基于DRL的控制器（策略）对恶意攻击的弱点。在这项工作中，我们调查有针对性的攻击在动作空间域，也通常被称为驱动攻击CPS文献，扰动控制器的输出。我们证明了一个基于查询的黑盒攻击模型，它可以生成相对于对抗目标的最佳扰动，可以用公式表示为另一个强化学习问题。因此，可以使用传统的DRL方法来训练这种对抗策略。实验结果表明，只观察名义策略的输出的对抗策略比观察名义策略的输入和输出的对抗策略产生更强的攻击。进一步的分析表明，名义政策的输出经常在行动空间的边界自然更强大的对抗性政策。最后，我们提出使用对抗训练和迁移学习来将鲁棒行为引入标称策略，从而将成功的目标攻击率降低了50%。
2021-02-20 cs.CR cs.LG
Planning Multiple Epidemic Interventions with Reinforcement Learning
New York University Abu Dhabi（纽约大学阿布扎比分校）；New York University（纽约大学）
该研究将多种连续流行病干预规划建模为马尔可夫决策过程，并利用 PPO 与 SAC 强化学习算法在常微分方程疾病模型中搜索低成本方案，实验表明其优于手工政策基线。
2023-06-07 cs.LG
Optimization of Infectious Disease Intervention Measures Based on Reinforcement Learning -- Empirical analysis based on UK COVID-19 epidemic data
Hunan University（湖南大学）；Academy of Military Medical Sciences（军事医学科学院）
本文基于改进的个体智能体传播模型Covasim构建强化学习决策框架，通过多算法与多动作空间实验及“时间覆盖”理论分析，在英国COVID-19数据上验证了该方法能有效抑制疫情并维护经济稳定。
2025-05-07 cs.CY cs.LG cs.MA
Improving Targeted Molecule Generation through Language Model Fine-Tuning Via Reinforcement Learning
Department of Physics and Computer Science（物理与计算机科学系）
本研究针对新药研发成本高、耗时长的问题，提出基于PPO强化学习微调语言模型的从头靶向药物设计方法，通过复合奖励函数兼顾药效与分子有效性，显著提升了生成分子的多项关键化学指标与新颖性。
2025-05-18 cs.LG q-bio.BM
UniIntervene++: An Adaptive Intervention Agent for Efficient Real-World Reinforcement Learning
Nanyang Technological University（南洋理工大学）
提出自适应干预智能体UniIntervene++，通过半马尔可夫决策过程学习控制分配，动态决定干预时机与方式，在真实世界操作任务中成功率89.67%，干预率仅0.77%。
2026-10-05 cs.LG cs.RO
Personalized Decision Supports based on Theory of Mind Modeling and Explainable Reinforcement Learning
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出结合心智理论建模与可解释强化学习的个性化决策支持系统，通过DRL提供建议、ToM预测用户行为以把握干预时机，并用反事实解释增强可解释性，在模拟团队决策众包实验中表现优于基线，且具备广泛应用潜力。
2023-12-13 cs.AI cs.HC cs.LG
Group-driven Reinforcement Learning for Personalized mHealth Intervention
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
由于智能手机和可穿戴设备的普及，移动健康（mHealth）技术有望为人们的健康带来积极和广泛的影响。最先进的移动健康决策方法依赖于一些理想的假设。这些方法要么假设用户是完全同质的，要么假设用户是完全异质的。然而，在现实中，用户可能与一些但不是所有用户相似。在本文中，我们提出了一种新的群体驱动的强化学习方法的mHealth。我们的目标是了解如何在相似的用户之间共享信息，以更好地将有限的用户信息转换为更清晰的学习RL策略。具体来说，我们采用K-means聚类方法根据轨迹信息的相似性对用户进行分组，并为每个组学习共享的RL策略。大量的实验结果表明，我们的方法可以实现明显的收益超过最先进的RL方法的mHealth。
2017-08-14 cs.CY cs.LG
A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning
The University of Sydney（悉尼大学）；The University of Melbourne（墨尔本大学）；JD Explore Academy（京东探索研究院）
将基于模型的强化学习（MBRL）方法推广到具有不可见过渡动态的环境是一个重要但具有挑战性的问题。现有的方法试图从过去的过渡段提取环境指定的信息$Z$，使动力学预测模型可推广到不同的动态。然而，由于环境是没有标记的，提取的信息不可避免地包含冗余的信息无关的动态过渡段，从而无法保持$Z$的一个重要性质：$Z$应该是相似的，在相同的环境和不同的。结果，学习的动态预测函数将偏离真实的动态预测函数，这破坏了泛化能力。为了解决这个问题，我们引入了一个介入预测模块来估计两个估计的$\hat{z}_i, \hat{z}_j$属于同一环境的概率。此外，利用$Z$在单一环境下的不变性，提出了一种关系头来增强来自同一环境的$\hat{Z}$之间的相似性。结果，将减少$\hat{Z}$中的冗余信息。我们的经验表明，我们的方法估计的$\hat{Z}$享有比以前的方法更少的冗余信息，这样的$\hat{Z}$可以显着减少动态预测误差，并提高基于模型的RL方法的性能zero-shot新的环境中看不见的动态。该方法的代码可在\url{https://github.com/CR-Gjx/RIA}上获得。
2022-06-09 cs.AI cs.LG cs.RO
Safe Reinforcement Learning Using Advantage-Based Intervention
Institute for Robotics and Intelligent Machines, Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所）；Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Microsoft Research（微软研究院）
许多序贯决策问题涉及到寻找一个策略，使总回报最大化，同时遵守安全约束。尽管最近的许多研究都集中在开发安全的强化学习（RL）算法，这些算法在训练后产生安全的策略，但确保训练期间的安全仍然是一个悬而未决的问题。一个基本的挑战是执行探索，同时仍然满足未知的马尔可夫决策过程（MDP）的约束。在这项工作中，我们解决这个问题的机会约束设置。我们提出了一个新的算法，SAILR，使用干预机制的基础上优势函数，以保持整个训练的代理安全和优化代理的政策，使用现成的RL算法设计的无约束MDPs。我们的方法在训练和部署期间都有很强的安全保证（即，在训练之后并且没有干预机制）以及与最优安全约束策略相比的策略性能。在我们的实验中，我们表明，SAILR在训练过程中违反的约束远远低于标准的安全RL和受约束的MDP方法，并收敛到一个性能良好的策略，可以安全地部署，而无需干预。我们的代码可在https://github.com/nolanwagener/safe_rl上获得。
2021-07-19 cs.LG cs.RO cs.SY
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Twente（特文特大学）；University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
针对因果发现难题，受Pearl因果层次结构启发，提出基于深度强化学习的CORE方法，兼具因果图重建与干预规划能力，可泛化到新图，支持10变量规模，在结构估计准确率和样本效率上优于现有方法。
2024-01-30 cs.AI cs.LG
Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay
UIUC（伊利诺伊大学香槟分校）；New York University（纽约大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Microsoft（微软）
本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率，实验表明可减少62%的微调时间并保持同等性能。
2026-02-16 cs.AI cs.CL cs.LG
Causal Reinforcement Learning using Observational and Interventional Data
Polytechnique Montréal（蒙特利尔理工学院）；IRT Saint Exupéry Canada（加拿大圣埃克苏佩里技术研究所）；Ubisoft La Forge（育碧La Forge实验室）；Inria Bordeaux Sud-Ouest（法国国家信息与自动化研究所波尔多西南分部）
有效地学习环境的因果模型是基于模型的RL代理在POMDPs中运行的关键挑战。我们在这里考虑一个场景，其中学习代理有能力通过与环境的直接交互（干预数据）收集在线体验，但也可以访问大量的离线体验，通过观察另一个代理与环境的交互（观察数据）获得。一个关键因素，使这种情况不平凡，是我们允许观察代理与环境的基础上隐藏的信息，这是没有观察到的学习代理。然后，我们提出以下问题：在线和离线体验可以安全地结合起来学习因果模型吗？我们能指望离线体验来提高代理的表现吗？为了回答这些问题，我们从do-calculus的成熟因果框架中引入思想，并将基于模型的强化学习表示为因果推理问题。然后，我们提出了一种通用而简单的方法，用于在学习过程中利用离线数据。简而言之，该方法依赖于学习一个基于潜变量的因果转换模型，该模型解释了干预和观察机制，然后使用恢复的潜变量通过去干扰来推断标准POMDP转换模型。我们证明了我们的方法是正确的，有效的意义上说，它达到了更好的泛化保证，由于离线数据（在渐近的情况下），我们说明了其有效性的经验合成玩具问题。我们的贡献旨在弥合强化学习和因果关系领域之间的差距。
2021-06-28 cs.LG
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group（蚂蚁集团）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们考虑一个序贯决策问题，代理面临的环境特征的随机离散事件，并寻求一个最优的干预政策，使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中，但在强化学习的传统研究中却很少被研究。为此，我们提出了一个新的框架，基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态，并开发了一种算法来将这样的过程嵌入到Bellman方程中，该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Q-function Decomposition with Intervention Semantics with Factored Action Spaces
IBM T. J. Watson Research Center（IBM 沃森研究中心）；The Chinese University of Hong Kong（香港中文大学）
针对离散分解动作空间中组合爆炸导致的强化学习难题，本文提出动作分解强化学习方法，利用因果效应估计在低维投影子空间上分解 Q 函数，显著提升了样本效率。
2025-04-30 cs.AI cs.LG
BCRLSP: An Offline Reinforcement Learning Framework for Sequential Targeted Promotion
University of Miami（迈阿密大学）；New York University（纽约大学）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）
我们利用离线强化学习（RL）模型，在现实世界的商业环境中存在预算限制的情况下进行连续的有针对性的促销。在我们的应用程序中，移动应用程序旨在通过向客户发送现金奖励来提高客户保留率，并控制每个时间段内此类现金奖励的成本。为了实现多任务的目标，我们提出了预算约束的强化学习顺序推进（BCRLSP）框架来确定要发送给用户的现金奖励的价值。我们首先找出目标策略和相关的Q值，最大化用户留存率使用RL模型。一个线性规划（LP）模型，然后添加到满足促销成本的约束。我们通过最大化从RL模型中学习到的动作的Q值来解决LP问题。在部署过程中，我们结合了离线RL模型与LP模型，以生成一个强大的政策下的预算约束。使用在线和离线实验，我们证明了我们的方法的有效性，BCRLSP实现了更高的长期客户留存率和较低的成本比各种基线。利用近实时的成本控制方法，所提出的框架可以很容易地适应数据与嘈杂的行为政策和/或满足灵活的预算约束。
2022-07-16 cs.IR cs.LG
Enhancing Math Reasoning in Small-sized LLMs via Preview Difficulty-Aware Intervention
Independent, Researcher, China（中国独立研究者）
本研究提出基于GRPO的EPRLI算法，通过难度感知干预增强小型LLM的数学推理，在1.5B模型上超越O1-Preview并媲美O1-mini。
2025-08-03 cs.LG
When to Intervene? State-Aware Sparse Manipulation in Federated Reinforcement Learning
Sun Yat-sen University（中山大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文针对联邦强化学习的拜占庭操纵问题，提出V-BSA攻击方法，通过状态感知稀疏干预实现高效攻击，揭示干预时机是序贯鲁棒性的独立维度。
2026-10-12 cs.LG
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
University College London（伦敦大学学院）
CRL通过稀疏自编码器特征实现LLM的可解释性令牌级操控，提供动态干预探针与静态特征分析互补的机制可解释性工具。
2026-11-13 cs.AI cs.CL cs.LG
Adaptive Multi-Agent Deep Reinforcement Learning for Timely Healthcare Interventions
University of Southern Queensland（南昆士兰大学）；Wuhan University of Technology（武汉理工大学）；Lingnan University（岭南大学）；Hong Kong Baptist University（香港浸会大学）；Huazhong University of Science and Technology（华中科技大学）
针对传统患者监护系统在复杂动态环境下易延误危急状况识别的问题，提出基于多智能体深度强化学习的监护框架，经真实数据集验证其性能优于多种基线模型，超参数优化可进一步提升效果。
2024-10-28 cs.AI cs.LG
Reinforcement Learning in Modern Biostatistics: Constructing Optimal Adaptive Interventions
Sapienza University of Rome（罗马大学）；University of Cambridge（剑桥大学）；University of Toronto（多伦多大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）；National University of Singapore (NUS)（新加坡国立大学）；Duke University（杜克大学）
本文针对强化学习在医疗自适应干预中应用受限的问题，首次以RL为统一框架综述相关方法，衔接动态治疗方案与移动健康即时自适应干预两大领域，辅以案例并指明合作方向。
2024-05-11 cs.LG stat.AP stat.ME
Causal Policy Learning in Reinforcement Learning: Backdoor-Adjusted Soft Actor-Critic
National University of Singapore（新加坡国立大学）；Trinity College Dublin, The University of Dublin（都柏林大学三一学院）
针对强化学习中隐藏混淆变量导致策略偏差的问题，本文提出DoSAC算法，通过可学习后门重构器从观测数据估计干预策略，在连续控制任务中提升了鲁棒性与泛化能力。
2025-06-05 cs.AI cs.LG
