Goal-conditioned reinforcement learning for ultrasound navigation guidance
King’s College London（伦敦国王学院）；Siemens Healthcare Limited（西门子医疗有限公司）；Siemens Healthineers（西门子医疗）；Siemens Healthineers AG（西门子医疗股份公司）；Carol Davila University of Medicine and Pharmacy Bucharest（布加勒斯特卡罗尔·达维拉医药大学）；Fortis Institute of Medical Sciences（富蒂斯医学院）；Guy’s and St Thomas’ NHS Foundation Trust（盖伊和圣托马斯国民保健信托基金）
本文提出基于对比学习的目标条件强化学习超声导航方法，引入对比患者批处理和数据增强对比损失，在789名患者数据上训练，实现对标准及介入视图的单一模型导航，并在140名患者测试集上取得6.56毫米位置误差和9.36度角度误差，验证了其在左心耳封堵等介入视图导航中的有效性。
2024-08-01 cs.AI cs.CV
Act-Then-Measure: Reinforcement Learning for Partially Observable Environments with Active Measuring
Radboud University（拉德堡德大学）；Nijmegen Institute for Computing and Information Sciences（奈梅亨计算与信息科学研究所）
我们研究马尔可夫决策过程（MDP），代理人直接控制何时以及如何收集信息，作为正式的行动或有无噪声可观察MDP（ACNO-MPD）。在这些模型中，动作由两个部分组成：影响环境的控制动作和影响代理可以观察到的内容的测量动作。为了解决ACNO-MDP，我们引入了行动然后测量（ATM）启发式算法，该算法假设我们在选择控制动作时可以忽略未来状态的不确定性。我们展示了如何遵循这种启发式可能会导致更短的政策计算时间，并证明了启发式所产生的性能损失的约束。为了决定是否采取度量行动，我们引入了度量值的概念。我们开发了一种基于ATM启发式的强化学习算法，使用适合部分可观察域的Dyna-Q变体，并在一些部分可观察的环境中展示了其优越的性能。
2023-03-14 cs.AI cs.LG
Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark
AIcrowd Research, AIcrowd（AIcrowd Research，AIcrowd）；Toyota Research Institute（丰田研究所）；Microsoft Research（微软研究院）；Three Thirds；Institute of Informatics, Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）；Temple University（天普大学）；AIcrowd Community（AIcrowd社区）；DiDi Labs（滴滴实验室）
NeurIPS 2020 Procgen竞赛被设计为一个集中的基准，具有明确定义的任务，用于测量强化学习中的样本效率和泛化。泛化仍然是深度强化学习中最基本的挑战之一，但我们没有足够的基准来衡量社区在强化学习泛化方面的进展。我们为强化学习设计了一个集中式基准测试，它可以通过以可扩展的方式对数千个用户提交的代码库的训练和推出阶段进行端到端评估，来帮助测量强化学习中的样本效率和泛化。我们通过定义明确的任务和标准化端到端评估设置，在现有的Procgen Benchmark基础上设计了基准。该设计旨在最大限度地提高研究人员的灵活性，他们希望设计此类基准的未来迭代，但也施加了必要的实际约束，以允许这样的系统扩展。本文介绍了竞争设置以及通过此设置确定的顶级解决方案的详细信息和分析，这些解决方案是在NeurIPS 2020年竞争迭代的背景下确定的。
2021-03-29 cs.AI cs.LG
To Measure or Not: A Cost-Sensitive, Selective Measuring Environment for Agricultural Management Decisions with Reinforcement Learning
Wageningen University and Research（瓦赫宁根大学及研究中心）
本文提出将作物测量纳入强化学习决策，设计带测量成本的环境，用循环PPO训练智能体在关键发育阶段自适应选择测量与施氮时机，从而在降低观测成本的同时优化农业管理。
2025-01-22 cs.AI cs.LG
Model-Based Reinforcement Learning Under Confounding
Department of Systems Engineering, Cornell University（系统工程系，康奈尔大学）；School of Civil and Environmental Engineering, Cornell University（土木与环境工程学院，康奈尔大学）
本文提出了一种基于模型的强化学习方法，解决上下文不可观测导致的混杂问题，通过近似离策略评估和行为平均转移模型，实现一致的MDP构造和因果熵框架整合。
2025-12-08 cs.AI cs.LG
Measuring and Mitigating Interference in Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文提出一种新的干扰测量方法，用于基于值的强化学习，并据此设计在线感知算法以缓解干扰，从而提升经典控制任务中的稳定性与性能。
2023-07-10 cs.AI cs.LG
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University（北京大学）
提出用谱有效秩熵衡量评论家模型复杂度，在TD3和PPO实验中追踪复杂度与回报、偏差的关系，并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Counterfactual Realizability
Columbia University（哥伦比亚大学）
本文形式化定义反事实分布的可实现性，提出在物理约束下判定任意反事实分布能否直接采样的完备算法，并证明其在因果公平性和强化学习中优于观测与干预策略。
2025-03-14 cs.AI cs.LG
Intrinsically Motivated Learning of Causal World Models
ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
尽管最近在深度学习和强化学习方面取得了进展，但与人类（或动物）智能相比，在特定任务中学习到的技能的转移和推广非常有限。终身、渐进地建立常识知识可能是实现更普遍智能的必要组成部分。一个有前途的方向是建立世界模型，捕捉隐藏在感觉运动与环境相互作用背后的真实物理机制。在这里，我们探讨的想法，推断环境的因果结构可以受益于精心选择的行动，作为收集相关干预数据的手段。
2022-08-09 cs.AI cs.LG
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是，智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么，并根据代理在策略上，策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术，并且我们表明，学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策，即使这些状态没有被对抗性地选择。总之，这些结果对深度Q网络学习广义表征的程度提出了质疑，并表明在支持表示学习的主张之前，需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
Measuring Data Quality for Dataset Selection in Offline Reinforcement Learning
Siemens Technology（西门子技术）；Technical University of Munich（慕尼黑工业大学）
最近开发的离线强化学习算法使得直接从预先收集的数据集学习策略成为可能，这给从业者带来了一个新的困境：由于算法能够提供的性能在很大程度上取决于呈现给他们的数据集，从业者需要在可用的数据集中选择正确的数据集。这个问题迄今为止还没有在相应的文献中讨论过。我们讨论了如何选择有前途的数据集的想法，并提出了三个非常简单的指标：估计相对收益改善（ERI）和估计行动随机性（EAS），以及两者的组合（COI），并根据经验表明，尽管它们很简单，但它们可以非常有效地用于数据集选择。
2021-11-26 cs.LG
Measuring the Reliability of Reinforcement Learning Algorithms
Google Research（谷歌研究院）；Berkeley EECS（加州大学伯克利分校电子工程与计算机科学系）
缺乏可靠性是强化学习（RL）算法的一个众所周知的问题。近年来，这一问题越来越受到关注，为改善这一问题所作的努力也大大增加。为了帮助RL研究人员和生产用户评估和改进可靠性，我们提出了一组定量测量可靠性不同方面的指标。在这项工作中，我们专注于在培训期间和学习之后（在固定策略上）的可变性和风险。我们将这些指标设计为通用的，我们还设计了补充的统计测试，以实现对这些指标的严格比较。在本文中，我们首先描述了所需的属性的指标和它们的设计，他们测量的可靠性方面，以及它们对不同场景的适用性。然后，我们描述了统计检验，并提出了报告结果的其他实用建议。这些指标和随附的统计工具已在https://github.com/google-research/rl-reliability-metrics上作为开源库提供。我们将我们的指标应用于一组常见的RL算法和环境，比较它们，并分析结果。
2020-02-12 cs.AI cs.LG stat.ML
MAGIC: Multi-Step Advantage-Gated Causal Influence for Multi-agent Reinforcement Learning
Dalian University of Technology（大连理工大学）；Microsoft（微软）；Microsoft, Beijing, China（微软（北京，中国））
MAGIC通过多步优势门因果影响方法，估计多智能体强化学习中多步动作影响，将其中的有益行为转化为内在奖励，提升协调性。
2026-05-10 cs.LG cs.MA
A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning
The University of Sydney（悉尼大学）；The University of Melbourne（墨尔本大学）；JD Explore Academy（京东探索研究院）
将基于模型的强化学习（MBRL）方法推广到具有不可见过渡动态的环境是一个重要但具有挑战性的问题。现有的方法试图从过去的过渡段提取环境指定的信息$Z$，使动力学预测模型可推广到不同的动态。然而，由于环境是没有标记的，提取的信息不可避免地包含冗余的信息无关的动态过渡段，从而无法保持$Z$的一个重要性质：$Z$应该是相似的，在相同的环境和不同的。结果，学习的动态预测函数将偏离真实的动态预测函数，这破坏了泛化能力。为了解决这个问题，我们引入了一个介入预测模块来估计两个估计的$\hat{z}_i, \hat{z}_j$属于同一环境的概率。此外，利用$Z$在单一环境下的不变性，提出了一种关系头来增强来自同一环境的$\hat{Z}$之间的相似性。结果，将减少$\hat{Z}$中的冗余信息。我们的经验表明，我们的方法估计的$\hat{Z}$享有比以前的方法更少的冗余信息，这样的$\hat{Z}$可以显着减少动态预测误差，并提高基于模型的RL方法的性能zero-shot新的环境中看不见的动态。该方法的代码可在\url{https://github.com/CR-Gjx/RIA}上获得。
2022-06-09 cs.AI cs.LG cs.RO
Causal Temporal Reasoning for Markov Decision Processes
Department of Informatics, King's College London（信息学院，伦敦国王学院）
本文提出PCFTL，一种支持干预与反事实查询的概率时序逻辑，通过结构因果模型解释MDP，并在安全强化学习基准中验证其有效性。
2023-06-14 cs.AI cs.SY eess.SY
Measuring Progress in Deep Reinforcement Learning Sample Efficiency
ETH Zurich（苏黎世联邦理工学院）；Institute of Science, Technology and Policy（科学、技术与政策研究所）
采样环境转换是深度强化学习（DRL）算法的关键输入。当前的DRL基准通常允许廉价且容易地生成大量样本，使得DRL中的感知进展不一定对应于改进的样本效率。由于模拟真实世界的过程通常是非常困难的，并且收集真实世界的经验是昂贵的，因此样本效率是DRL的经济相关应用的重要指标。我们调查的进展，样本效率的Atari游戏和连续控制任务，通过比较样本的数量，各种算法需要达到一个给定的性能水平，根据相应的出版物中的训练曲线。我们发现样本效率呈指数级增长，估计Atari的倍增时间约为10至18个月，基于状态的连续控制约为5至24个月，基于像素的连续控制约为4至9个月，具体取决于特定的任务和性能水平。
2021-02-09 cs.CY cs.LG
Active Measuring in Reinforcement Learning With Delayed Negative Effects
Harvard University（哈佛大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Michigan（密歇根大学）
本文提出主动可观测MDP框架，允许智能体权衡测量成本与延迟负面效应，通过基于信念状态的在线RL算法和序贯蒙特卡洛方法，在数字健康应用中提升样本效率和策略价值。
2025-10-16 cs.LG stat.ML
Deep Reinforcement Learning for Organ Localization in CT
Technical University of Munich（慕尼黑工业大学）；Klinikum rechts der Isar（伊萨尔右岸医院）
计算机断层扫描中器官的稳健定位是器官特异性图像检索、放射治疗计划和介入图像分析的恒定预处理要求。与目前基于穷举搜索或区域建议的解决方案（需要大量注释数据）相比，我们提出了一种用于CT器官定位的深度强化学习方法。在这项工作中，一个人工智能体通过从它的断言和错误中学习，积极地自学以定位CT中的器官。在强化学习的背景下，我们提出了一套新的行动量身定制的器官定位在CT。我们的方法可以作为一个即插即用模块定位任何感兴趣的器官。我们在包含不同视野和多个器官的CT扫描的公共VISCERAL数据集上评估了所提出的解决方案。我们实现了0.63的总交叉超过联合，绝对中值壁距离为2.25 mm，质心之间的中值距离为3.65 mm。
2020-05-11 cs.CV cs.LG eess.IV
Causal Deep Reinforcement Learning Using Observational Data
Dalian University of Technology（大连理工大学）；Sun Yat-sen University（中山大学）
针对离线强化学习中观测数据因混杂因子导致学习偏差的问题，提出两种基于因果推断的样本重加权/重采样去混杂方法，可兼容主流无模型DRL算法，经理论证明和实验验证有效。
2023-06-09 cs.LG stat.ML
Data Attribution in Adaptive Learning
本文研究自适应学习中的数据归因问题，提出条件干预目标，证明回放信息无法一般性恢复归因，并识别出一个结构类以从日志数据中识别目标。
2026-04-06 cs.LG
Generalizing Goal-Conditioned Reinforcement Learning with Variational Causal Reasoning
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出用因果图增强目标条件强化学习，将其表述为以因果图为潜在变量的变分似然最大化问题，通过交替估计因果图后验和学习泛化模型提升泛化能力，并在九个任务上验证了方法的有效性。
2023-05-17 cs.AI cs.LG cs.RO
A Distribution Mapping Approach to Counterfactually Fair Reinforcement Learning
University of Michigan（密歇根大学）；LSE（伦敦政治经济学院）
该研究针对强化学习在高风险场景中可能出现的不公平决策问题，提出一种结合策略学习的反事实公平数据预处理算法，通过分位数分布映射方法实现反事实状态与奖励估计，并在数值实验和真实健康数据集上验证了算法有效性。
2026-08-11 cs.CY cs.LG stat.ME
Provably Efficient Causal Reinforcement Learning with Confounded Observational Data
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
在神经网络等表达函数逼近器的支持下，深度强化学习（DRL）取得了巨大的经验成功。然而，学习表达函数逼近器需要通过与环境交互来收集大量数据集（介入数据）。这种样本效率的缺乏禁止DRL应用于关键场景，例如，自动驾驶和个性化医疗，因为在线环境中的试错往往是不安全的，甚至是不道德的。在本文中，我们研究如何将离线收集的数据集（观测数据），这往往是丰富的实践中，以提高样本效率在线设置。为了将可能混淆的观测数据，我们提出了去基础乐观值迭代（DOVI）算法，它结合了混淆的观测数据，在一个可证明有效的方式。更具体地说，DOVI明确调整了观察数据中的混杂偏倚，其中混杂因素部分观察到或未观察到。在这两种情况下，这样的调整使我们能够根据信息增益的概念来构建奖金，这考虑了从离线设置中获取的信息量。特别是，我们证明了DOVI的遗憾是小于最佳的遗憾，实现在纯在线设置的乘法因子，减少到零时，混淆的观测数据更翔实的调整。我们的算法和分析作为因果强化学习的一步。
2020-06-22 cs.LG stat.ML
Measuring Goal-Directedness
Imperial College London（帝国理工学院）；University of Oxford（牛津大学）；London Initiative for Safe AI（伦敦安全人工智能倡议）；Google DeepMind（谷歌DeepMind）
本文提出最大熵目标导向性（MEG）这一形式化度量及计算算法，可在因果模型和马尔可夫决策过程中针对效用函数、假设类别或随机变量衡量目标导向性，并验证其满足多项期望特性。
2024-12-06 cs.AI cs.LG
Extending Environments To Measure Self-Reflection In Reinforcement Learning
The U.S. Securities and Exchange Commission（美国证券交易委员会）；InQTel（InQTel公司）
该研究提出可模拟智能体假设行为的扩展强化学习环境，以智能体在这类环境的加权平均性能衡量其自我反思能力，还给出环境示例及能提升部分标准RL智能体在特定扩展环境中性能的简单变换方法。
2022-07-19 cs.AI cs.LG
Designing and evaluating an online reinforcement learning agent for physical exercise recommendations in N-of-1 trials
Hasso Plattner Institute for Digital Engineering, University of Potsdam（波茨坦大学哈索·普拉特纳数字工程研究所）；Hasso Plattner Institute for Digital Health at Mount Sinai, Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院西奈山哈索·普拉特纳数字健康研究所）；Harvard University（哈佛大学）
本文提出一种基于N-of-1试验设计的在线强化学习智能体，用于体育锻炼推荐以减轻子宫内膜异位症疼痛，仿真表明该个性化干预可行且能改善患者收益。
2023-11-23 cs.LG stat.AP stat.ME
Representation and Invariance in Reinforcement Learning
The City University of New York（纽约市立大学）
本文研究强化学习框架间保留相对智能的可映射性，引入相关准则，证明确定性与随机性RL框架间映射无法满足该准则，揭示不同版本RL存在固有根本差异。
2026-08-12 cs.AI cs.GT cs.LG
Revealing the Challenges of Sim-to-Real Transfer in Model-Based Reinforcement Learning via Latent Space Modeling
School of Automation and Intelligent Sensing（自动化与智能感知学院）
该研究针对强化学习sim-to-real迁移难题，提出基于潜在空间的分析方法，可直观观测基于模型方法的迁移挑战，并在MuJoCo环境中验证了其测量与缓解迁移差距的能力，同时指出了现存挑战。
2025-06-15 cs.AI cs.LG
Autotelic Reinforcement Learning: Exploring Intrinsic Motivations for Skill Acquisition in Open-Ended Environments
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文系统综述了自为目的强化学习中基于知识与能力的内在动机，提出在无奖励MDP框架下通过IMGEPs实现自主目标生成与技能掌握，并给出评估探索、泛化与鲁棒性的指标。
2025-02-06 cs.AI cs.LG
Unifying PAC and Regret: Uniform PAC Bounds for Episodic Reinforcement Learning
Carnegie-Mellon University（卡内基梅隆大学）；DeepMind；Stanford University（斯坦福大学）
强化学习（RL）算法的统计性能界限对于医疗保健等高风险应用至关重要。本文介绍了一种新的框架，从理论上衡量这种算法的性能称为均匀PAC，这是一个加强经典的可能近似正确（PAC）框架。与PAC框架相比，统一版本可用于获得高概率后悔保证，从而在文献中缺失的两个设置之间形成桥梁。我们证明了新的框架的好处，有限状态的情节MDP与一个新的算法，即统一的PAC，同时实现最佳的遗憾和PAC的保证，除了一个因素的地平线。
2018-01-02 cs.AI cs.LG stat.ML
Learning by Doing: Controlling a Dynamical System using Causality, Control, and Reinforcement Learning
University of Copenhagen（哥本哈根大学）；Lund University（隆德大学）；Carnegie Mellon University（卡内基梅隆大学）；Uppsala University（乌普萨拉大学）；Université Paris-Saclay（巴黎萨克雷大学）；RWTH Aachen University（亚琛工业大学）
因果关系、控制和强化学习中的问题超越了经典的机器学习在i.i.d.下的预测任务。意见。相反，这些领域考虑学习如何主动扰动系统以实现对响应变量的特定影响的问题。可以说，他们在这个问题上有互补的观点：在控制中，通常旨在首先通过激励策略识别系统，然后应用基于模型的设计技术来控制系统。在（非基于模型的）强化学习中，人们直接优化奖励。在因果关系中，一个焦点是因果结构的可识别性。我们相信，将不同的观点结合起来可能会产生协同效应，而这种竞争是实现这种协同效应的第一步。参与者可以访问动态系统生成的观测和（离线）干预数据。Track CHEM考虑的是一个开环问题，其中可以在动态开始时设置单个脉冲，而Track ROBO考虑的是一个闭环问题，其中可以在每个时间步设置控制变量。这两条轨道的目标都是推断出驱动系统到所需状态的控制。代码是开源的（https://github.com/LearningByDoingCompetition/learningbydoing-comp），以复制比赛的获奖解决方案，并促进在比赛任务中尝试新方法。
2022-02-12 cs.LG cs.RO cs.SY
Theoretical Analysis of Meta Reinforcement Learning: Generalization Bounds and Convergence Guarantees
New York University（纽约大学）；Northeastern University（东北大学）
本文提出理论框架分析元强化学习的泛化界限与收敛保证，揭示算法设计与任务复杂度关系，并证明收敛条件，评估其长期性能与实时效率。
2024-05-22 cs.AI cs.LG
Direct Uncertainty Estimation in Reinforcement Learning
AIDEUS；Aix Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；National Research University of Information Technology, Mechanics and Optics（国立信息技术、机械与光学大学）
强化学习中的最优概率方法在计算上是不可行的。它的简化在于忽略了真实环境与使用有限数量的观测估计的模型之间的差异，这导致了勘探与开发问题。不确定性可以用环境模型空间上的概率分布来表示，并且这种不确定性可以经由Bellman迭代传播到动作-价值函数，尽管这在计算上不够有效。我们考虑了直接测量动作-价值函数的不确定度的可能性，并分析了这种简化方法的充分性。
2013-06-25 cs.AI
PAMD: Structured Adaptive Distances for Bisimulation Representations in Visual Reinforcement Learning
针对视觉强化学习中潜在距离选择影响性能的问题，提出PAMD（成对自适应马氏距离），它为测量潜在状态相似性参数化正定成对条件度量，是现有双模拟方法的简单插件，在视觉MuJoCo任务中显著提升了相关算法性能。
2026-07-21 cs.AI cs.LG
Contrastive Behavioral Similarity Embeddings for Generalization in Reinforcement Learning
Google Research（谷歌研究院）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维公司）
在少数环境中训练的强化学习方法很少学习推广到未知环境的策略。为了提高泛化能力，我们将强化学习中固有的顺序结构融入到表示学习过程中。这种方法与最近的方法是正交的，这些方法很少明确地利用这种结构。具体来说，我们引入了一个理论上的动机的政策相似性度量（PSM）测量状态之间的行为相似性。PSM分配高相似性的状态，在这些状态以及在未来的状态是相似的最优策略。我们还提出了一个对比表示学习过程中嵌入任何状态相似性度量，我们与PSM实例化，以获得政策相似性嵌入（PSE）。我们证明了PSE在不同的基准测试中提高了泛化能力，包括具有虚假相关性的LQR，从像素的跳跃任务和分散DM控制套件。
2021-03-18 cs.AI cs.LG stat.ML
Learning Implicit Causal World Models from Multi-Agent Demonstrations
该研究针对多智能体系统中世界模型因相关性与因果机制混淆导致分布偏移下失效的问题，提出隐式因果世界模型，经评估在协调任务上表现出可解释因果表示且精度随干预强度提升。
2026-07-30 cs.LG cs.MA cs.RO
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Reward Uncertainty for Exploration in Preference-based Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
向强化学习（RL）代理传达复杂的目标通常需要细致的奖励工程。基于偏好的强化学习方法能够通过主动结合人类反馈，即教师在两个行为片段之间的偏好，来学习基于人类偏好的更灵活的奖励模型。然而，反馈效率差仍然是当前基于偏好的强化学习算法中的一个问题，因为定制的人类反馈非常昂贵。为了处理这个问题，以前的方法主要集中在改进查询选择和策略初始化。与此同时，最近的探索方法已被证明是提高RL中样本效率的方法。我们提出了一种专门针对基于偏好的RL算法的探索方法。我们的主要思想是设计一个内在的奖励，通过测量的基础上学习奖励的新颖性。具体来说，我们利用学习奖励模型的集合之间的不一致。我们的直觉是，学习奖励模型中的分歧反映了定制的人类反馈的不确定性，可能对探索有用。我们的实验表明，与其他现有的测量状态访问新颖性的探索方法相比，来自学习奖励的不确定性的探索奖金提高了基于偏好的RL算法在MetaWorld基准测试中复杂机器人操作任务上的反馈和样本效率。
2022-05-24 cs.AI cs.LG
Scientific Discovery and the Cost of Measurement -- Balancing Information and Cost in Reinforcement Learning
National Research Council of Canada（加拿大国家研究委员会）；University of Waterloo（滑铁卢大学）；Vector Institute for Artificial Intelligence（Vector人工智能研究所）
强化学习（RL）在科学应用中的使用越来越多，如材料设计和自动化化学。然而，一个主要的挑战在于，事实上，测量系统的状态往往是昂贵的和耗时的科学应用，而策略学习与RL需要测量后，每个时间步。在这项工作中，我们以成本奖励的形式明确了测量成本，并提出了一个框架，使现成的深度RL算法能够学习选择动作和确定是否在每个时间步测量系统当前状态的策略。通过这种方式，代理人学会平衡信息需求和信息成本。我们的研究结果表明，当在这种机制下训练时，Dueling DQN和PPO代理可以学习最佳的动作策略，同时减少多达50%的状态测量，而递归神经网络可以减少超过50%的测量。我们假设这些减少可以帮助降低将RL应用于现实世界科学应用的障碍。
2022-04-06 cs.AI cs.LG
Dynamic Observation Policies in Observation Cost-Sensitive Reinforcement Learning
National Research Council of Canada（加拿大国家研究委员会）；Dalhousie University（达尔豪斯大学）；University of Waterloo（滑铁卢大学）；University of Ottawa（渥太华大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
本文提出深度动态多步无观测智能体（DMSOA），在观测成本敏感的强化学习场景中，通过动态跳过不必要的测量，以更少的决策步骤和测量学习更优策略，并在OpenAI gym和Atari Pong环境中验证了其有效性。
2024-04-18 cs.AI cs.LG
Graph-based Reinforcement Learning for Active Learning in Real Time: An Application in Modeling River Networks
University of Pittsburgh（匹兹堡大学）；Univesity of Texas - Rio Grande Valley（得克萨斯大学里奥格兰德谷分校）；U.S. Geological Survey（美国地质调查局）
高级ML模型的有效训练需要大量的标记数据，考虑到收集标记数据的大量人力和物力成本，这在科学问题中通常是稀缺的。这对确定我们应该在何时何地部署测量仪器提出了挑战（例如，原位传感器）以有效地收集标记的数据。这个问题与传统的基于池的主动学习设置不同，因为在我们观察到以时间序列出现的输入数据之后，必须立即做出标记决策。在本文中，我们开发了一种实时主动学习方法，使用的空间和时间的上下文信息，选择有代表性的查询样本的强化学习框架。为了减少对大训练数据的需求，我们进一步提出了从现有的基于物理的模型生成的仿真数据中学习的策略。我们证明了所提出的方法的有效性，通过预测在特拉华河流域的流量和水温有限的预算收集标记的数据。我们进一步研究了所选样本的空间和时间分布，以验证该方法在空间和时间上选择信息样本的能力。
2020-12-08 cs.AI cs.LG
TRACER: Per-Tool Context Retention for LLM Agents via Consequence-Attributed Reinforcement Learning
TRACER将压缩转化为单工具决策问题，通过感知后果的强化学习策略优化上下文保留，大幅降低长程语言智能体的标记消耗且维持任务成功率，具备跨架构迁移性。
2026-09-01 cs.AI
On the (In)Tractability of Reinforcement Learning for LTL Objectives
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Brown University（布朗大学）
近年来，研究人员在设计用于优化线性时态逻辑（LTL）目标和LTL类目标的并行学习算法方面取得了重大进展。尽管取得了这些进展，但解决这一问题的程度仍然存在根本性的限制。之前的研究已经提到了这一事实，但尚未深入研究。在本文中，我们从理论的角度来解决一般LTL目标的强化学习的易处理性。我们形式化的问题下的可能近似正确的学习马尔可夫决策过程（PAC-MDP）的框架，一个标准的框架测量样本的复杂性强化学习。在这种形式化中，我们证明了任何LTL公式的最优策略是PAC-MDP-learnable的，当且仅当该公式是在LTL层次结构中的最有限的类，由在有限范围内可判定的公式组成。实际上，我们的研究结果意味着，它是不可能的一个学习算法，以获得PAC-MDP保证其学习政策的性能后，许多相互作用与无约束的环境中的LTL目标是不可判定的有限范围内。
2022-06-24 cs.AI cs.FL cs.LG
Measuring Outcomes in Healthcare Economics using Artificial Intelligence: with Application to Resource Management
George Mason University（乔治梅森大学）；Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）；Brigham and Women’s Hospital, Harvard Medical School（哈佛医学院布莱根妇女医院）
医疗保健的服务质量不断受到大流行病（即新冠肺炎）和自然灾害（如飓风和地震）等异常事件的挑战。在大多数情况下，此类事件会导致医院决策以及多个医疗和经济方面的重大不确定性。外部（地理）或内部因素（医疗和管理），导致规划和预算的变化，但最重要的是，降低了对传统流程的信心。在某些情况下，其他医院的支持证明是必要的，这加剧了规划方面的问题。本文提出了三种数据驱动的方法，提供数据驱动的指标，以帮助医疗保健管理人员组织他们的经济学，并确定资源分配和共享的最佳计划。传统的决策方法在为管理者推荐有效的策略方面存在不足。使用强化学习、遗传算法、旅行商和聚类，我们对不同的医疗变量进行了试验，并提出了可在医疗机构应用的工具和结果。进行实验;记录、评估和呈现结果。
2021-11-15 cs.AI cs.LG
Attention-based Reinforcement Learning for Real-Time UAV Semantic Communication
Korea University（高丽大学）；Deakin University（迪肯大学）；University of Oulu（奥卢大学）
在这篇文章中，我们研究的问题，空-地超可靠和低延迟通信（URLLC）的移动地面用户。这是通过实时的控制多个无人机（UAV）来实现的，同时避免UAV之间的碰撞。为此，我们提出了一种新的多智能体深度强化学习（MADRL）框架，即图注意力交换网络（GAXNet）。在GAXNet中，每个无人机构建一个注意力图，局部测量其相邻无人机的注意力水平，同时与其他无人机交换注意力权重，以减少它们之间的注意力失配。模拟结果证实，GAXNet在训练期间获得了高达4.5倍的奖励。在执行时，与最先进的基线框架相比，GAXNet在不发生无人机间碰撞的情况下，实现了6.5倍的低延迟，目标错误率为0.0000001出错率。
2021-05-22 cs.AI cs.LG cs.MA
Target-Aligned Bellman Backup for Cross-domain Offline Reinforcement Learning
School of Artificial Intelligence（人工智能学院）；Jilin University（吉林大学）
本文提出了一种基于目标域贝尔曼目标对齐的跨域离线强化学习方法，旨在通过评估源域过渡与目标域贝尔曼目标的一致性来提升策略学习性能。
2026-05-21 cs.LG
Towards Revealing the Effectiveness of Small-Scale Fine-tuning in R1-style Reinforcement Learning
本研究提出重蒸馏技术，通过从RL训练策略采样提升小规模SFT效率，以少量样本匹配RL性能，并揭示R1风格RL机制。
2025-08-05 cs.AI cs.LG
Towards Practical Credit Assignment for Deep Reinforcement Learning
Yandex（俄罗斯搜索引擎公司（或：雅虎迪））；Samsung AI Center NYC（三星人工智能中心纽约分部）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所（AIRI））；National Research University Higher School of Economics（高等经济学院）
信用分配是强化学习中的一个基本问题，即衡量一个行为对未来奖励的影响。显式信用分配方法有可能提高RL算法在许多任务上的性能，但到目前为止，对于一般用途仍然不切实际。最近，一个家庭的方法被称为后见之明信用分配（HCA）的建议，明确分配信用的行动在后见之明的基础上的概率的行动，导致观察到的结果。这种方法具有吸引人的特性，但仍然是一个主要的理论思想，适用于一组有限的表格RL任务。此外，目前还不清楚如何将HCA扩展到深度RL环境。在这项工作中，我们将探索在深度RL环境中使用HCA风格的信用。我们首先描述了深度RL中现有HCA算法的局限性，这些局限性导致其性能不佳或完全缺乏训练，然后提出了几种理论上合理的修改来克服它们。我们探讨了所得到的算法的街机学习环境（ALE）基准的定量和定性的影响，并观察到，它提高了性能优势演员-评论家（A2 C）在许多游戏中，非平凡的信用分配是必要的，以达到高分，事后的概率可以准确估计。
2022-02-11 cs.AI cs.LG
Hybrid Value Estimation for Off-policy Evaluation and Offline Reinforcement Learning
Nanjing University（南京大学）；The University of Hong Kong（香港大学）
价值函数估计是强化学习中不可或缺的子程序，在离线环境下变得更加具有挑战性。在本文中，我们提出了混合值估计（HVE），以减少值估计误差，通过平衡离线数据和学习模型的值估计之间的偏差和方差。理论分析表明，HVE比直接方法具有更好的误差界。HVE可以在离线评估和离线强化学习设置中使用。因此，我们分别提供了两个具体的算法Off-policy HVE（OPHVE）和Model-based Offline HVE（MOHVE）。对MuJoCo任务的实证评估证实了理论主张。OPHVE在测量估计有效性的所有三个指标上都优于其他非策略评估方法，而MOHVE通过最先进的离线强化学习算法实现了更好或相当的性能。我们希望HVE能为固定数据强化学习的进一步研究提供参考。
2022-06-04 cs.LG
Probabilistic Guarantees for Safe Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
深度强化学习已成功应用于许多控制任务，但由于安全问题，此类智能体在安全关键场景中的应用受到限制。这些控制器的严格测试是具有挑战性的，特别是当它们由于例如硬件故障或噪声传感器而在概率环境中操作时。我们提出了MOSAIC，这是一种用于测量深度强化学习代理在随机设置中的安全性的算法。我们的方法是基于一个控制器的执行环境中的一个正式的抽象的迭代建设，并利用概率模型检验的马尔可夫决策过程中产生的概率保证在有限的时间范围内的安全行为。它产生的边界上的概率安全操作的控制器为不同的初始配置，并确定正确的行为可以得到保证的区域。我们实施和评估我们的方法对代理培训的几个基准控制问题。
2020-07-08 cs.AI
Towards Measuring Goal-Directedness in AI Systems
University of California, Berkeley（加利福尼亚大学伯克利分校）；Georgia Tech University（佐治亚理工学院）
本文针对AI系统可能追求非预期目标的问题，提出一种更简单且易于计算的目标导向性定义，并在强化学习玩具环境和前沿大语言模型中探索其测量方法。
2024-11-22 cs.AI cs.LG
On Measuring the Impact of Human Actions in the Machine Learning of a Board Game's Playing Policies
我们系统地研究了人工干预对策略棋盘游戏中计算机玩家训练的影响。在该游戏中，计算机玩家利用神经网络的强化学习来发展他们的游戏策略，并表现出缓慢的学习速度。人工干预可以显著提高学习性能，但系统地进行它似乎是一个集成的游戏开发环境，而不是自动进化学习的问题。
2006-11-30 cs.AI cs.GT cs.NE
Understanding and Diagnosing Deep Reinforcement Learning
University College London (UCL)（伦敦大学学院（UCL））
本文提出一种有理论依据的方法，系统分析深度强化学习策略决策边界中跨时空的不稳定方向，揭示了鲁棒训练与标准训练在稳定性上的差异，有助于构建更可靠的深度神经策略。
2024-06-23 cs.AI cs.LG
Contrastive Representation for Data Filtering in Cross-Domain Offline Reinforcement Learning
Northwestern Polytechnical University（西北工业大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Research Institute of Northwestern Polytechnical University（西北工业大学深圳研究院）；Fudan University（复旦大学）；Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；The Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
针对跨域离线强化学习中的动态不匹配问题，提出通过对比表示衡量互信息差距并据此过滤源域转移数据的方法，仅用10%目标数据即达到SOTA方法89.2%的性能。
2024-05-10 cs.AI cs.LG
