Model Selection for Offline Reinforcement Learning: Practical Considerations for Healthcare Settings
University of Michigan（密歇根大学）
强化学习（RL）可用于学习治疗策略并辅助医疗保健决策。然而，考虑到需要在复杂的状态/动作空间上进行推广，函数逼近器（例如，深度神经网络）需要模型选择以减少过拟合并提高部署时的策略性能。然而，用于模型选择的标准验证管道需要在实际环境中运行学习的策略，这在医疗保健环境中通常是不可行的。在这项工作中，我们研究了离线RL的模型选择管道，该管道依赖于离线策略评估（OPE）作为验证性能的代理。我们对流行的OPE方法进行了深入分析，突出了用于对一组候选策略进行排名时的额外超参数和计算要求（辅助模型的拟合/推理）。我们比较了不同OPE方法的效用，作为学习治疗脓毒症患者的模型选择管道的一部分。在我们考虑的所有OPE方法中，拟合Q评估（Fitted Q Evaluation，简称QFE）始终导致最佳验证排名，但计算成本很高。为了平衡排名准确性和计算效率之间的权衡，我们提出了一个简单的两阶段方法，通过避免潜在的不必要的计算来加速模型选择。我们的工作可以作为离线RL模型选择的实用指南，并可以帮助RL从业者使用真实世界的数据集选择策略。为了便于重复性和将来的扩展，本文附带的代码可在https://github.com/MLD3/OfflineRL_ModelSelection上在线获得。
2021-07-23 cs.LG
Formulation and validation of a car-following model based on deep reinforcement learning
Technische Universität Dresden（德累斯顿工业大学）
提出并验证了一种基于深度强化学习的跟车模型。我们的模型被训练为最大化外部给定的奖励函数，而不是复制现有的追随者轨迹。这些奖励函数的参数，如期望速度、时间间隔或加速度，类似于智能驾驶员模型（IDM）等传统模型的参数，并允许显式地实现不同的驾驶风格。此外，它们部分解除了传统神经网络模型的黑箱性质。该模型是训练领先的速度曲线所管辖的截断Ornstein-Uhlenbeck过程反映了一个现实的领导者的运动学。这允许任意驾驶情况和无限供应的训练数据。对于奖励函数的各种参数化，以及各种各样的人工和真实领导者数据，该模型被证明是无条件的字符串稳定，舒适，无崩溃。字符串的稳定性进行了测试与排的五个追随者以下的人工和真正的领先轨迹。与IDM校准的拟合优度的相对差距的交叉比较显示出更高的奖励相比，传统的模型和更好的拟合优度。
2021-09-29 cs.LG cs.RO eess.SP
Reinforcement Learning for High-Level Strategic Control in Tower Defense Games
Electronic Arts (EA)（美国艺电公司（EA））
本文提出将强化学习与脚本化AI相结合用于塔防游戏测试与验证，并在《植物大战僵尸》上验证该方法比纯启发式AI成功率更高、更稳健。
2024-06-12 cs.LG
Benchmarking Constraint Inference in Inverse Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Huawei（华为）
在将强化学习（RL）代理部署到物理系统中时，我们必须确保这些代理很好地了解底层约束。然而，在许多现实世界的问题中，约束往往很难在数学上指定，并且对RL代理来说是未知的。为了解决这些问题，逆约束强化学习（ICRL）根据专家演示经验估计约束。作为一个新兴的研究课题，ICRL没有共同的基准，以前的作品测试算法手工制作的环境下手动生成的专家演示。在本文中，我们构建了一个ICRL基准的RL应用领域的背景下，包括机器人控制，自动驾驶。对于每个环境，我们设计相关的约束和训练专家代理生成演示数据。此外，不同于现有的基线，学习一个确定性的约束，我们提出了一个变分ICRL方法来模拟候选约束的后验分布。我们在我们的基准下对这些算法进行了广泛的实验，并展示了它们如何有助于研究ICRL的重要研究挑战。该基准测试，包括复制ICRL算法的说明，可在https://github.com/Guiliang/ICRL-benchmarks-public上获得。
2023-03-02 cs.LG
Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning
University of Tsukuba（筑波大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能综合研究中心）
提出GERS方法，通过双层优化利用标量验证反馈调整奖励函数，在限制轨迹访问下提升强化学习在未见环境中的泛化性能。
2026-06-16 cs.LG cs.NE
Development and Validation of Heparin Dosing Policies Using an Offline Reinforcement Learning Algorithm
本研究提出基于离线强化学习的肝素给药策略，通过MIMIC-III数据库验证，提升ICU肝素给药精准度与安全性。
2024-09-24 cs.AI cs.LG
Leveraging Reinforcement Learning Techniques for Effective Policy Adoption and Validation
University of California, San Diego（加州大学圣地亚哥分校）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
不同形式的奖励和惩罚无处不在，并出现在各种各样的决策场景中。通过观察足够数量的重复试验的结果，人们将逐渐了解特定政策或战略的价值和有用性。然而，在特定的环境中，不同的试验结果会受到偶然性的影响和变化。在学习一个给定的政策的有用性，显着的成本涉及系统地进行顺序试验，因此，在大多数学习事件，人们希望保持成本范围内采用学习停止规则。在本文中，我们研究了部署不同的停止策略在给定的学习环境中，从高度严格的关键任务操作高度宽容的非关键任务操作，并重点放在前者与航空安全的特殊应用。在政策评估中，确定了两个连续的学习阶段，我们使用概率模型来描述结果的变化，并获得了关键性能指标的封闭式表达式。决策规则映射的试验观察政策选择也制定。最后进行了仿真实验，验证了理论分析的正确性.
2019-06-21 cs.AI cs.LG
Leveraging Partial SMILES Validation Scheme for Enhanced Drug Design in Reinforcement Learning Frameworks
针对强化学习分子生成中的灾难性遗忘问题，提出 PSV-PPO 算法，通过逐步部分 SMILES 验证机制在探索时及早剔除无效路径，显著降低无效分子生成率并保持优化性能。
2025-05-01 cs.CE cs.LG q-bio.BM
Personalised Insulin Adjustment with Reinforcement Learning: An In-Silico Validation for People with Diabetes on Intensive Insulin Treatment
ARTORG Center, University of Bern, Bern, Switzerland；Graduate School for Cellular；Biomedical Sciences, University of Bern, Switzerland；Diabetes Center, National；Kapodistrian University of Athens, Athens, Greece；Department of Endocrinology；Nephrology, Nordsjællands Hospital, Hillerød, Denmark；CARIM School for Cardiovascular Diseases, Maastricht University, Maastricht, The Netherlands；P \& A Kyriakou’ Children’s Hospital, Athens, Greece；Department of Kidney；Department of Clinical Medicine, Faculty of Health；Medical Sciences, University of Copenhagen, Copenhagen, Denmark；Department of Internal Medicine, Maastricht University Medical Centre+, Maastricht, The Netherlands；Department of Internal Medicine, Radboud University Medical Centre, Nijmegen, The Netherlands
本文提出基于强化学习的个性化胰岛素调整方法ABBA，在FDA认可的T1D和T2D模拟人群中验证其相比标准BBA能显著改善目标范围内时间并减少高低血糖时间，支持开展人体试验。
2025-05-20 cs.LG
Distributional Reinforcement Learning with Information Bottleneck for Uncertainty-Aware DRAM Equalization
Control Laboratory, School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院控制实验室）
本文提出了一种结合信息瓶颈与条件价值-at-风险优化的分布式强化学习框架，用于具有不确定性感知的DRAM均衡优化，实现了显著的性能提升和可靠性改进。
2026-03-05 cs.LG
Benchmark for Out-of-Distribution Detection in Deep Reinforcement Learning
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
基于强化学习（RL）的解决方案正被广泛应用于机器人、医疗保健和工业自动化等领域。大多数关注的是这些解决方案何时工作得很好，但当它们与分布输入一起出现时就会失败。RL策略与大多数机器学习模型有相同的缺点。RL的分布外检测在文献中通常没有很好地涵盖，并且缺乏该任务的基准。在这项工作中，我们提出了一个基准来评估OOD检测方法在强化学习设置，通过修改非视觉标准环境的物理参数或损坏的视觉环境的状态观察。我们讨论了如何生成自定义RL环境，可以产生OOD数据，并评估三个不确定性方法的OOD检测任务。我们的研究结果表明，集成方法具有最好的OOD检测性能，在多个环境中具有较低的标准差。
2021-12-05 cs.LG
Reproducibility of Benchmarked Deep Reinforcement Learning Tasks for Continuous Control
Maluuba, A Microsoft Company（Maluuba，微软旗下公司）；McGill University（麦吉尔大学）
强化学习中的策略梯度方法在连续控制任务中的最新性能方面变得越来越普遍。新的方法通常以一些关键算法为基准，例如深度确定性策略梯度和信任区域策略优化。因此，必须提出和使用一致的基线实验。然而，这可能是困难的，因为算法中的一般变化，超参数调整和环境随机性。我们调查和讨论：连续控制的策略梯度中的超参数的重要性、算法中的一般方差以及报告结果的再现性。我们提供了报告新结果的指南，作为与基线方法的比较，以便未来的研究人员在研究新方法时可以做出明智的决定。
2017-08-10 cs.LG
RL4health: Crowdsourcing Reinforcement Learning for Knee Replacement Pathway Optimization
Princeton University（普林斯顿大学）
关节置换术是美国最常见的住院手术治疗。我们研究膝关节置换术的临床路径优化，这是一个从发病到康复的顺序决策过程。基于以前案例中的情景索赔，我们将路径优化视为智能众包问题，并通过在每个中间状态模仿最佳专家来从数据中学习最优决策策略。我们开发了一个基于强化学习的流水线，该流水线使用值迭代、状态压缩和聚合学习、内核表示和交叉验证来预测最佳治疗策略。并对优化政策下的临床路径进行了预测。实证结果表明，优化后的策略使总成本降低了7%，超额成本溢价降低了33%。
2019-05-24 cs.AI cs.LG stat.ML
A Continual Offline Reinforcement Learning Benchmark for Navigation Tasks
Inria, Univ. Lille, CNRS, Centrale Lille, UMR 9198-CRIStAL, F-59000 Lille, France（法国里尔大学、法国国家科学研究中心、中央里尔学院、UMR 9198-CRIStAL）
本文提出一个连续离线强化学习导航任务基准测试，通过视频游戏场景评估算法性能，解决灾难性遗忘、任务适应和内存效率等关键挑战。
2026-01-30 cs.LG
Self-Learning Tuning for Post-Silicon Validation
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
现代芯片日益复杂，使得设计验证更加困难。现有的方法不再能够应付任务的复杂性，例如在后硅验证中的鲁棒性能调整。因此，我们提出了一种基于学习优化和强化学习的新方法，以有效和鲁棒的方式解决复杂和混合类型的调优任务。
2022-01-26 cs.AI cs.LG
Benchmarks for Reinforcement Learning with Biased Offline Data and Imperfect Simulators
Technion, Israel Institute of Technology（以色列理工学院）；Google Research（谷歌研究院）
本文针对离线数据与不完美模拟器结合的强化学习问题，提出四大核心挑战并构建B4MRL基准，以推动相关研究。
2024-06-30 cs.LG
Real-world validation of safe reinforcement learning, model predictive control and decision tree-based home energy management systems
Vrije Universiteit Brussel（布鲁塞尔自由大学）；ABB N.V.（ABB公司）
本文在真实住宅电气装置上验证了带安全层的强化学习、决策树控制策略与模型预测控制等家庭能源管理方法，发现TreeC成本与基准相当且运行最安全，而强化学习成本较高但安全层支持在线训练。
2024-11-25 cs.AI cs.LG cs.NE
Hyp-RL : Hyperparameter Optimization by Reinforcement Learning
University of Hildesheim（希尔德斯海姆大学）
超参数整定是机器学习中一个无所不在的问题，因为它是获得任何模型的最新性能的一个不可或缺的方面。大多数情况下，超参数只是通过在可能的超参数值网格上训练模型并在验证样本上（网格搜索）表现最好的一个来优化。最近，已经引入了构建所谓的代理模型的方法，该代理模型预测特定超参数设置、模型和数据集的验证损失，然后基于期望值的启发式函数和称为获取函数的代理模型的不确定性来顺序地选择下一个超参数进行测试（基于顺序模型的贝叶斯优化，SMBO）。本文将超参数优化问题建模为一个序贯决策问题，即下一步测试哪个超参数，并利用强化学习解决该问题。这样，我们的模型就不必依赖于像SMBO这样的启发式获取函数，而是可以根据它们最终导致的验证损失的后续减少来学习接下来要测试哪些超参数，或者是因为它们本身产生好的模型，或者是因为它们允许超参数选择策略构建更好的代理模型，该代理模型稍后能够选择更好的超参数。50个数据集表明，我们的方法优于最先进的超参数学习方法。
2019-06-27 cs.LG stat.ML
Interpretable Hybrid Deep Q-Learning Framework for IoT-Based Food Spoilage Prediction with Synthetic Data Generation and Hardware Validation
School of Computer Science and Engineering（计算机科学与工程学院）；Vellore Institute of Technology（韦洛雷理工学院）
本文提出一种结合LSTM和RNN的可解释混合深度Q学习框架，用于基于物联网的食品变质预测，通过合成数据生成和硬件验证提升预测准确性和决策效率，同时保持可解释性。
2025-12-22 cs.LG
SpecRLBench: A Benchmark for Generalization in Specification-Guided Reinforcement Learning
Boston University（波士顿大学）
本文提出SpecRLBench基准测试，用于评估基于线性时序逻辑的规范引导强化学习方法的泛化能力，涵盖导航和操作领域多个难度层级，包含静态和动态环境、多样机器人动力学和观测模态，通过实验揭示现有方法的优缺点及复杂性挑战。
2026-04-27 cs.LG
Bayesian Deployment Approval for Learned Landing Controllers under Finite Rollout Validation
Independent Researcher（独立研究者）
针对学习型自主控制器在有限仿真验证下的部署不确定性，提出基于贝叶斯后验推断的部署批准框架，通过后验批准概率和部署风险进行不确定性校准评估。
2026-05-26 cs.LG stat.AP
Basal Glucose Control in Type 1 Diabetes using Deep Reinforcement Learning: An In Silico Validation
Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
1型糖尿病（T1 D）患者需要定期外源性输注胰岛素，以将其血糖浓度维持在治疗上足够的目标范围内。尽管人工胰腺和连续葡萄糖监测已被证明在实现闭环控制方面是有效的，但由于葡萄糖动力学的高度复杂性和技术上的限制，仍然存在重大挑战。在这项工作中，我们提出了一种新的用于单激素（胰岛素）和双激素（胰岛素和胰高血糖素）传递的深度强化学习模型。特别是，交付策略是通过双Q学习与扩张的递归神经网络开发的。出于设计和测试目的，采用FDA认可的UVA/Padova 1型模拟器。首先，我们进行了长期的广义训练，以获得人口模型。然后，这个模型是个性化的一个小的数据集的特定主题的数据。计算机模拟结果表明，与使用低葡萄糖胰岛素混悬液的标准基础-餐时胰岛素治疗相比，单激素和双激素给药策略可实现良好的血糖控制。具体而言，在成人队列（n=10）中，目标范围[70，180] mg/dL内的时间百分比从77.6%改善至80.9%（单激素对照组）和$85.6\%$（双激素对照组）。在青少年队列（n=10）中，目标范围内的时间百分比从55.5%提高到65.9%，单激素控制，双激素控制为78.8%。在所有情况下，观察到低血糖症显著减少。这些结果表明，使用深度强化学习是T1 D闭环葡萄糖控制的可行方法。
2020-05-18 cs.LG eess.SP q-bio.QM
CLaC@FinMMEval 2026 Task 3: Sentiment-Augmented Deep Reinforcement Learning for Active Trading -- An Alpha-Reward Approach
Concordia University（康考迪亚大学）
针对CLEF 2026 FinMMEval任务3，将比特币和特斯拉交易决策问题建模为离散动作马尔可夫决策过程，比较四种深度强化学习算法，引入阿尔法奖励并优化超参数，DDPG在测试集表现最佳，揭示了验证到测试的泛化差距。
2026-07-20 cs.LG
Procedural Content Generation: Better Benchmarks for Transfer Reinforcement Learning
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
强化学习（TRL）中的迁移思想很有趣：能够将知识从一个问题转移到另一个问题，而无需从头开始学习。这保证了更快的学习和学习更复杂的方法。为了深入了解该领域并检测新出现的趋势，我们进行了数据库搜索。我们注意到，深度学习的采用从2018年开始，令人惊讶地晚了。深度学习的引入还没有解决TRL最大的挑战：泛化。当领域有很强的相似性时（例如MountainCar到Cartpole），不同领域之间的转移工作得很好，大多数TRL出版物关注同一领域内几乎没有差异的不同任务。我们遇到的大多数TRL应用程序都将其改进与自定义的基线进行比较，并且该领域仍然缺少统一的基准。我们认为这是一个令人失望的情况。对于未来，我们注意到：（1）需要一个明确的任务相似性度量。(2)普遍化需要改进。有前途的方法通过MCTS将深度学习与规划相结合，或者通过LSTM引入记忆。(3)将弥补缺乏基准工具的问题，以便能够进行有意义的比较和衡量进展情况。炼金术和元世界已经成为有趣的基准套件。我们注意到，另一个发展，增加过程内容生成（PCG），可以提高基准测试和泛化的TRL。
2021-05-31 cs.LG
Leveraging Procedural Generation to Benchmark Reinforcement Learning
OpenAI
我们介绍了Procgen Benchmark，这是一套由16个程序生成的类似游戏的环境，旨在对强化学习中的样本效率和泛化进行基准测试。我们相信，社区将受益于更多的高质量的培训环境，我们提供了使用此基准的详细实验协议。我们的经验表明，不同的环境分布是必不可少的充分训练和评估RL代理，从而激励广泛使用的程序内容生成。然后，我们使用这个基准来研究缩放模型大小的影响，发现较大的模型显着提高样本效率和泛化。
2020-07-26 cs.LG stat.ML
Efficient Deep Reinforcement Learning Requires Regulating Overfitting
UC Berkeley（加州大学伯克利分校）
本文通过系统实证分析发现验证集高TD误差是样本高效深度RL的主要瓶颈，并提出以验证TD误差为目标的在线模型选择方法。
2023-04-20 cs.AI cs.LG stat.ML
Improving HPC Code Generation Capability of LLMs via Online Reinforcement Learning with Real-Machine Benchmark Rewards
Department of Computer Science, Nagoya University（名古屋大学计算机科学系）；Graduate School of Informatics, Nagoya University（名古屋大学信息科学研究生院）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
本研究通过实时强化学习与真实机器基准奖励提升LLM在HPC领域的代码生成能力。
2026-02-12 cs.LG
PPO Dash: Improving Generalization in Deep Reinforcement Learning
Vidya Gamer, LLC（维迪亚游戏有限责任公司）
深度强化学习容易出现过拟合，Atari 2600 benchmark等传统基准测试会加剧这一问题。障碍塔挑战通过使用随机环境和单独的种子进行训练，验证和测试来解决这个问题。本文研究了PPO算法的各种改进和最佳实践，使用障碍塔挑战来实证研究它们对泛化的影响。我们的实验表明，该组合提供了最先进的性能障碍塔的挑战。
2019-07-25 cs.AI cs.LG
CARL: A Benchmark for Contextual and Adaptive Reinforcement Learning
Leibniz University Hanover（莱布尼茨汉诺威大学）；University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
虽然强化学习在解决越来越复杂的任务方面取得了长足的进步，但许多算法仍然很脆弱，即使是环境的微小变化。这是RL在现实世界中应用的一个限制因素。尽管研究界不断致力于提高RL算法的鲁棒性和泛化能力，但不幸的是，它仍然缺乏一套基于一致理论框架的开源定义良好的基准问题，这使得可以以公平，可靠和可重复的方式比较不同的方法。为了填补这一空白，我们提出了CARL，这是一个著名的RL环境的集合，扩展到上下文RL问题来研究泛化。我们表明，即使是简单的玩具环境变得具有挑战性的常用方法，如果不同的上下文的情况下，这项任务必须考虑这样的基准的迫切需要。此外，CARL使我们能够提供第一个证据，从策略学习与上下文的状态解纠缠的表示学习，有利于更好的推广。通过提供来自经典控制、物理模拟、游戏和RNA设计的真实应用的各种基准，CARL将使社区能够在坚实的经验基础上获得更多这样的见解。
2021-10-11 cs.LG
Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking
Imperial College London（伦敦帝国理工学院）
深度强化学习在过去几年中一直是机器学习发展最快的领域之一，许多库已经开源以支持研究。然而，大多数代码库具有陡峭的学习曲线或有限的灵活性，无法满足基础研究中快速原型的需求。本文介绍了Tonic，这是一个Python库，允许研究人员快速实现新想法并通过提供以下功能来衡量其重要性：1）通用可配置模块2）几个基线代理：使用这些模块构建的A2C、TRPO、PPO、MPO、DDPG、D4PG、TD3和SAC 3）支持TensorFlow 2和PyTorch 4）支持OpenAI Gym的连续控制环境，DeepMind Control Suite和PyBullet 5）脚本以可重复的方式进行实验，绘制结果，并与经过训练的代理一起玩6）提供的代理在70个连续控制任务上的基准。评估是在公平的条件下进行的，具有相同的种子，训练和测试循环，同时共享一般的改进，如非终端超时和观察归一化。最后，为了演示Tonic如何简化实验，实现并评估了一种名为TD4的新型代理。
2021-05-19 cs.LG
TRACE-CASH: Trial-History-Conditioned Reinforcement Learning for Adaptive Configuration Exploration in Time-Series CASH
本研究针对时间序列CASH的复杂搜索问题，提出TRACE-CASH方法，通过分组演员-评论家等技术优化配置探索，在41个任务变体上的MASE、WQL等指标表现最优，具备竞争力。
2026-08-18 cs.LG
Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark
AIcrowd Research, AIcrowd（AIcrowd Research，AIcrowd）；Toyota Research Institute（丰田研究所）；Microsoft Research（微软研究院）；Three Thirds；Institute of Informatics, Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）；Temple University（天普大学）；AIcrowd Community（AIcrowd社区）；DiDi Labs（滴滴实验室）
NeurIPS 2020 Procgen竞赛被设计为一个集中的基准，具有明确定义的任务，用于测量强化学习中的样本效率和泛化。泛化仍然是深度强化学习中最基本的挑战之一，但我们没有足够的基准来衡量社区在强化学习泛化方面的进展。我们为强化学习设计了一个集中式基准测试，它可以通过以可扩展的方式对数千个用户提交的代码库的训练和推出阶段进行端到端评估，来帮助测量强化学习中的样本效率和泛化。我们通过定义明确的任务和标准化端到端评估设置，在现有的Procgen Benchmark基础上设计了基准。该设计旨在最大限度地提高研究人员的灵活性，他们希望设计此类基准的未来迭代，但也施加了必要的实际约束，以允许这样的系统扩展。本文介绍了竞争设置以及通过此设置确定的顶级解决方案的详细信息和分析，这些解决方案是在NeurIPS 2020年竞争迭代的背景下确定的。
2021-03-29 cs.AI cs.LG
CrystalGym: A New Benchmark for Materials Discovery Using Reinforcement Learning
Chandar Research Lab（昌达研究实验室）；Mila – Quebec AI Institute（魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）；Intel（英特尔）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
本文提出开源强化学习环境 CrystalGym，以直接 DFT 计算作为奖励，基准测试多种 RL 算法在目标属性晶体设计中的表现，并揭示其样本效率与收敛差异。
2025-09-27 cs.LG
A Risk-Field Enhanced Closed-Loop Digital Twin Framework for Autonomous Driving Safety Validation
针对自动驾驶安全验证，提出风险场增强闭环数字孪生框架，集成多方面功能，引入驾驶风险场描述风险，通过评估协议比较不同方法，该框架能让验证更具针对性、可解释性和可重用性，但受模型保真度等因素限制。
2026-07-14 cs.LG cs.RO
Benchmarking Robustness of Deep Reinforcement Learning approaches to Online Portfolio Management
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（中央理工-高等电力学院）；LUSIS（LUSIS公司）
本文提出了一套训练与评估流程，系统评测经典深度强化学习算法在在线投资组合管理中的鲁棒性，发现多数算法泛化能力差且在回测中快速退化。
2023-06-19 cs.LG q-fin.PM
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University（崇实大学）
本文提出AD4RL基准，包含19个自动驾驶数据集（含真实人类驾驶数据）和七种离线强化学习算法在三种场景下的评估，并给出统一决策过程模型，为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
Evaluating Reinforcement Learning Safety and Trustworthiness in Cyber-Physical Systems
University of Notre Dame（圣母大学）
针对CPS中RL组件安全案例构建困难的问题，本文提出SAFE-RL框架，采用设计科学方法支持基于RL的CPS开发、验证与安全部署，并在sUAS的三个RL应用中验证其有效性。
2025-03-12 cs.LG cs.SE
SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation
Carnegie Mellon University（卡内基梅隆大学）
由于可变形物体的高维状态表示和复杂的动力学特性，操纵可变形物体一直是机器人领域的一个挑战。最近在深度强化学习方面的成功为使用数据驱动方法学习操纵可变形对象提供了一个有希望的方向。然而，现有的强化学习基准测试仅涵盖具有直接状态可观测性和简单低维动力学或相对简单的基于图像的环境（例如具有刚性对象的环境）的任务。在本文中，我们介绍了SoftGym，这是一组用于操纵可变形对象的开源模拟基准，具有标准的OpenAI Gym API和用于创建新环境的Python接口。我们的基准将使这一重要领域的可重复研究成为可能。此外，我们评估了这些任务的各种算法，并强调了强化学习算法的挑战，包括处理具有高内在维度且部分可观察的状态表示。实验和分析表明，现有的方法的优势和局限性的背景下，可变形的对象操作，可以帮助指出未来的方法发展的方向。学习策略的代码和视频可以在我们的项目网站上找到。
2021-03-08 cs.LG cs.RO
CRAX: Fast Safe Reinforcement Learning Benchmarking
Eindhoven University of Technology（埃因霍温理工大学）
提出基于JAX加速的安全RL基准CRAX，利用MJX物理引擎实现高达100倍加速，包含6个环境套件和3个智能体任务，评估6种方法揭示性能与安全权衡。
2026-09-30 cs.AI cs.LG
Position: Benchmarking is Limited in Reinforcement Learning Research
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Massachusetts（马萨诸塞大学）
该研究指出强化学习领域依赖基准测试验证算法的现状存在实验结论不可靠的问题，分析了严格基准测试计算成本过高的核心原因，提出需引入额外实验范式以弥补基准测试的局限性。
2024-06-23 cs.LG stat.ME
Benchmarking Lane-changing Decision-making for Deep Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，自动驾驶的发展引起了广泛的关注，对自动驾驶的性能进行评估至关重要。然而，在道路上测试是昂贵和低效的。虚拟测试是验证自动驾驶汽车的主要方式，而虚拟测试的基础是构建仿真场景。在本文中，我们从深度强化学习的角度提出了一种用于变道任务的训练、测试和评估管道。首先，我们设计车道变化的情况下进行训练和测试，其中测试场景包括随机和确定性的部分。然后，我们部署了一组基准测试，包括学习和非学习方法。我们在设计的训练场景中训练了几种最先进的深度强化学习方法，并在测试场景中提供了训练模型的基准度量评估结果。所设计的换道场景和基准都是开放的，为换道任务提供了一致的实验环境。
2021-09-22 cs.AI cs.LG
Adversarial Attacks on Reinforcement Learning-based Medical Questionnaire Systems: Input-level Perturbation Strategies and Medical Constraint Validation
本研究针对基于强化学习的医疗问卷系统，提出输入级对抗扰动策略，并通过247条医学约束验证，发现其攻击成功率最高达64.70%，揭示系统存在显著安全漏洞。
2025-08-05 cs.AI cs.CR cs.LG
CORA: Benchmarks, Baselines, and Metrics as a Platform for Continual Reinforcement Learning Agents
Carnegie Mellon University（卡内基梅隆大学）；Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
持续强化学习的进展由于几个进入障碍而受到限制：缺少代码，高计算要求以及缺乏合适的基准。在这项工作中，我们提出了CORA，一个持续强化学习代理的平台，在一个代码包中提供基准，基线和指标。我们提供的基准测试旨在评估持续RL挑战的不同方面，例如灾难性遗忘、可塑性、概括能力和样本有效学习。三个基准测试使用视频游戏环境（Atari，Procgen，NetHack）。第四个基准，CHORES，由四个不同的任务序列在视觉上逼真的家庭模拟器，从一组不同的任务和场景参数。为了在这些基准测试中比较持续强化学习方法，我们在CORA中准备了三个指标：持续评估，孤立遗忘和Zero-Shot前向传输。最后，CORA包括一组现有算法的高性能开源基线，供研究人员使用和扩展。我们发布CORA，并希望持续强化学习社区能够从我们的贡献中受益，以加速新的持续强化学习算法的开发。
2022-12-31 cs.AI cs.LG
An Optical Control Environment for Benchmarking Reinforcement Learning Algorithms
Carnegie Mellon University（卡内基梅隆大学）
针对强化学习算法在光学控制场景的基准测试需求，本文构建了具备非凸、非线性和时变噪声特性的光学仿真环境，测试显示离策略强化学习方法优于传统控制算法，并开源了相关代码。
2023-10-01 cs.LG cs.RO cs.SY
PYTHALAB-MERA: Validation-Grounded Memory, Retrieval, and Acceptance Control for Frozen-LLM Coding Agents
PythaLab, Yildiz Technical University（PythaLab，伊兹密尔技术大学）
PYTHALAB-MERA通过轻量级外部控制器实现验证基础的内存管理、适应性检索与延迟信用分配，提升冻结本地模型在编码任务中的验证成功率。
2026-05-08 cs.AI cs.CL cs.LG
RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning
Hightech-Agenda Bayern（巴伐利亚高科技议程）
提出RoAd-RL开源基准框架，统一策略、攻击、防御和鲁棒性指标，评估192种配置下DQN/PPO/SAC的鲁棒性，发现常用防御可能比攻击更有害。
2026-06-29 cs.AI cs.LG
Benchmarking Quantum Reinforcement Learning
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS, N\"urnberg, Germany；Pattern Recognition Lab, Friedrich-Alexander-Universit\"at Erlangen-N\"urnberg, Erlangen, Germany
本文提出了一种新的量子强化学习基准测试方法，通过样本复杂度估计和统计优势定义，评估QRL的性能并质疑其优越性，同时探讨了结果的局限性和对量子优势研究的影响。
2025-05-21 cs.LG quant-ph
Autonomous Reinforcement Learning: Formalism and Benchmarking
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）为通过试错进行学习提供了一个自然主义的框架，这是很有吸引力的，因为它的简单性和有效性，也因为它与人类和动物通过经验获得技能的方式相似。然而，现实世界的具身学习，例如人类和动物所进行的学习，位于一个连续的、非情景的世界中，而RL中的常见基准任务是情景的，在试验之间环境会重置，为代理提供多次尝试。当试图将为情景模拟环境开发的RL算法应用于真实世界的平台（如机器人）时，这种差异带来了一个重大挑战。在本文中，我们的目标是通过为自主强化学习（ARL）制定一个框架来解决这种差异：强化学习，其中智能体不仅通过自己的经验学习，而且还需要在缺乏人类监督的情况下在试验之间进行重置。我们介绍了一个模拟基准EARL围绕这个框架，包含一组不同的和具有挑战性的模拟任务，反映了学习的障碍时，只有一个最小的依赖于外部干预可以假设。我们表明，标准的方法，情节RL和现有的方法斗争的干预措施最小化，强调需要开发新的算法，强化学习更注重自主性。
2022-08-08 cs.LG cs.RO
An Ensemble Method of Deep Reinforcement Learning for Automated Cryptocurrency Trading
Northwestern University（西北大学）
提出一种深度强化学习集成方法，通过多验证期模型选择和混合分布策略，提升日内加密货币交易策略的泛化性能，优于单一强化学习及被动投资基准。
2023-07-27 cs.LG q-fin.TR
Language-Conditioned Reinforcement Learning to Solve Misunderstandings with Action Corrections
Institute for Data Science Foundations（数据科学基础研究所）；Hamburg University of Technology（汉堡工业大学）
人与人之间的对话不仅仅是交谈和倾听。这是一个渐进的过程，参与者不断建立共识，以排除误解。目前智能机器人的语言理解方法没有考虑到这一点。有许多处理不理解的方法，但它们忽视了解决误解的渐进过程。在这篇文章中，我们提出了第一个形式化和实验验证的增量动作修复的机器人遵循强化学习的基础上。为了评估我们的方法，我们提出了一个基准环境的集合，用于在语言条件强化学习中进行动作校正，利用合成教师来生成语言目标及其相应的校正。我们表明，一个强化学习代理可以成功地学习理解误解的指令增量更正。
2022-11-18 cs.LG cs.RO
Benchmarking Deep Reinforcement Learning for Continuous Control
University of California, Berkeley（加州大学伯克利分校）；Ghent University（根特大学）；OpenAI
最近，研究人员已经取得了重大进展，将深度学习的进步与强化学习相结合，用于学习特征表示。一些值得注意的例子包括训练代理基于原始像素数据玩Atari游戏，并使用原始感官输入获得高级操作技能。然而，由于缺乏一个共同采用的基准，难以量化持续控制领域的进展。在这项工作中，我们提出了一个基准套件的连续控制任务，包括经典的任务，如车杆摆动，具有非常高的状态和动作维度的任务，如3D人形运动，任务与部分观察，任务与层次结构。我们报告了新的发现的基础上，一系列的实施强化学习算法的系统评估。基准和参考实现都在https://github.com/rllab/rllab上发布，以促进实验的可重复性，并鼓励其他研究人员采用。
2016-05-27 cs.AI cs.LG cs.RO
Benchmarking Actor-Critic Deep Reinforcement Learning Algorithms for Robotics Control with Action Constraints
OMRON SINIC X Corporation（欧姆龙 SINIC X 公司）；Kyoto University（京都大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究提出了一个动作约束强化学习算法的基准，在多种机器人控制环境中评估了现有算法及其变体，揭示了该领域的深入见解并公开了相关代码。
2023-05-29 cs.LG cs.RO
Natural Environment Benchmarks for Reinforcement Learning
McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
虽然目前的基准强化学习（RL）任务对推动该领域的进展很有用，但在许多方面，它们是使用真实世界数据学习的糟糕替代品。通过在低复杂度的仿真环境中测试越来越复杂的强化学习算法，我们通常会得到脆弱的强化学习策略，这些策略在非常特定的领域之外的推广效果很差。为了解决这个问题，我们提出了三个新的基准RL域系列，这些域包含自然世界的一些复杂性，同时仍然支持快速和广泛的数据采集。所提出的域还允许通过公平的训练/测试分离的泛化的表征，并且容易比较和复制的结果。通过这项工作，我们挑战RL研究社区开发更强大的算法，以满足高标准的评估。
2018-11-14 cs.AI cs.LG stat.ML
BenchMARL: Benchmarking Multi-Agent Reinforcement Learning
University of Cambridge（剑桥大学）；PyTorch, Meta（Meta公司PyTorch部门）
针对 MARL 领域可复现性危机，本文提出首个基于 TorchRL 的标准化基准测试训练库 BenchMARL，支持跨算法、模型和环境的系统化配置与报告，并通过一行输入运行复杂基准测试。
2024-11-25 cs.AI cs.LG cs.MA
