HyperController: A Hyperparameter Controller for Fast and Stable Training of Reinforcement Learning Neural Networks
Department of Electrical and Systems Engineering, Washington University in St. Louis（电气与系统工程系，华盛顿大学圣路易斯分校）
提出HyperController算法，将超参数优化建模为线性高斯动态系统并利用Kalman滤波器学习目标函数，实现了强化学习神经网络快速稳定的训练与部署。
2025-04-27 cs.LG cs.SY eess.SY
Hyperparameter Optimization for Driving Strategies Based on Reinforcement Learning
Volkswagen Group Innovation, Volkswagen AG（大众集团创新部，大众汽车集团）；Institute of Mathematics, TU Berlin（柏林工业大学数学研究所）
本文针对强化学习自动驾驶策略，采用基于高斯过程的高效全局优化算法进行超参数优化，通过拉丁超立方采样和并行化加速，使驾驶性能提升4%，并验证了策略的鲁棒性。
2024-07-19 cs.AI cs.LG math.OC
A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning
强化学习（RL）系统依赖于一组影响系统性能的初始条件（超参数）。然而，定义一个好的超参数选择是一个具有挑战性的问题。超参数调优通常需要手动或自动搜索以找到最佳值。尽管如此，一个值得注意的限制是复杂模型的算法评估成本高，使得调优过程在计算上昂贵且耗时。在本文中，我们提出了一个框架的基础上集成复杂事件处理和时态模型，以减轻这些权衡。通过这种组合，可以基于数据流监控有效且不显眼地获得有关运行的RL系统的见解，并创建抽象表示，允许对RL系统的历史行为进行推理。所获得的知识被用来提供反馈给RL系统，以优化其超参数，同时有效地利用并行资源。我们引入了一种新的历史感知epsilon贪婪逻辑用于超参数优化，而不是使用在整个训练中保持固定的静态超参数，而是基于对代理在单个代理生命周期中的时间窗口的性能分析在运行时调整超参数。我们在5G移动通信案例研究中测试了所提出的方法，该案例研究使用DQN（RL的一种变体）进行决策。我们的实验证明了使用历史的超参数调整对训练稳定性和奖励值的影响。令人鼓舞的结果表明，所提出的历史感知框架显着提高性能相比，传统的超参数调整方法。
2023-03-09 cs.AI cs.LG cs.SE
Efficient Hyperparameter Optimization for LLM Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；China United Network Communications Group（中国联合网络通信集团）
提出联合保真度超参数优化方法，通过同时调整模型大小和训练预算作为保真度，并集成早停策略和检查点机制，显著提升计算效率（每轮最高14.9倍）且性能提升5.8%-111.6%。
2026-06-02 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology（天津科技大学）
本文综述了基于强化学习的神经架构搜索方法，梳理其整体发展、改进与变体，重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
DeepTraffic: Crowdsourced Hyperparameter Tuning of Deep Reinforcement Learning Systems for Multi-Agent Dense Traffic Navigation
Massachusetts Institute of Technology (MIT)（麻省理工学院）
我们提出了一个名为DeepTraffic的交通模拟，其中车辆子集的规划系统由神经网络处理，作为无模型，非策略强化学习过程的一部分。DeepTraffic的主要目标是让成千上万的学生、教育工作者和研究人员能够亲自动手学习深度强化学习，以通过大规模的公开竞争激励和推动对深度Q学习网络变体和超参数配置的探索和评估。本文研究了由DeepTraffic竞赛的第一次迭代产生的策略网络的众包超参数调整，其中数千名参与者积极搜索超参数空间。
2019-01-03 cs.AI cs.NE cs.RO
Automating Control of Overestimation Bias for Reinforcement Learning
Samsung AI Center（三星人工智能中心）；Artificial Intelligence Research Institute（人工智能研究所）；National Research University Higher School of Economics（高等经济研究大学）
高估偏差控制技术被大多数高性能的非策略强化学习算法所使用。然而，这些技术中的大多数依赖于预定义的偏差校正策略，这些策略要么不够灵活，要么需要环境特定的超参数调整。在这项工作中，我们提出了一个通用的数据驱动的方法，用于自动选择偏置控制超参数。我们证明了它的有效性三个算法：截断分位数批评，加权延迟DDPG，和最大最小Q学习。所提出的技术消除了对广泛的超参数搜索的需要。我们表明，它导致显着减少的实际数量的相互作用，同时保持性能。
2022-01-28 cs.AI cs.LG cs.RO
On Effective Scheduling of Model-based Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
基于模型的强化学习因其优越的样本效率而受到广泛关注。尽管到目前为止取得了令人印象深刻的成功，但仍然不清楚如何适当地调度重要的超参数以实现足够的性能，例如Dyna风格的基于模型的算法中用于策略优化的实际数据比率。本文首先从理论上分析了真实数据在政策训练中的作用，认为逐渐增加真实数据的比例会产生更好的效果。受分析的启发，我们提出了一个名为AutoMBPO的框架，用于自动调度基于模型的策略优化（MBPO）算法中的实际数据比率以及其他超参数，MBPO算法是基于模型的方法的代表性运行案例。在几个连续控制任务中，AutoMBPO调度的超参数训练的MBPO实例可以显著超过原始的MBPO实例，AutoMBPO发现的实际数据比率调度与我们的理论分析一致。
2022-07-05 cs.AI cs.LG stat.ML
On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning
University of Freiburg（弗赖堡大学）；Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Bosch Center for AI（博世人工智能中心）
基于模型的强化学习（MBRL）是一种很有前途的数据高效学习控制框架。由于单独的动力学建模和随后的规划算法，MBRL算法可能相当复杂，因此，它们通常拥有数十个超参数和架构选择。因此，MBRL在应用于新问题和领域之前通常需要大量的人力专业知识。为了缓解这个问题，我们建议使用自动超参数优化（HPO）。我们证明，这个问题可以有效地解决自动HPO，我们证明，产生显着提高性能相比，人类专家。此外，我们还表明，与使用在整个训练过程中保持固定的静态超参数相比，动态调整多个MBRL超参数（即在训练过程中）进一步提高了性能。最后，我们的实验为几个超参数的影响提供了有价值的见解，例如计划范围或学习率及其对训练稳定性和所得奖励的影响。
2021-02-26 cs.AI cs.LG cs.NE
Metaoptimization on a Distributed System for Deep Reinforcement Learning
NVIDIA（英伟达）
通过强化学习训练智能代理是一个众所周知的不稳定过程。GPU和分布式系统上的大规模并行化已经被用来生成大量的训练经验，从而减少不稳定性，但训练的成功仍然受到超参数选择的强烈影响。为了克服这个问题，我们介绍了HyperTrick，一种新的元优化算法，并展示了它在深度强化学习的情况下调整超参数的有效应用，同时学习在分布式系统上玩不同的Atari游戏。我们的分析提供了最优超参数的识别和学习策略之间相互作用的证据，这是深度强化学习的元优化的典型情况。与最先进的元优化算法相比，HyperTrick的特点是实现更简单，它允许学习类似的策略，同时更有效地利用分布式系统中的计算资源。
2019-02-07 cs.LG stat.ML
Hyperparameter Optimization for Multi-Objective Reinforcement Learning
University of Luxembourg（卢森堡大学）；University of Lille（里尔大学）
本文针对多目标强化学习（MORL）的超参数优化挑战进行初步调查，形式化了该问题并提出一种系统性方法，实验证明其能有效提供显著提升MORL智能体性能的超参数配置。
2023-10-25 cs.LG
RLGS: Reinforcement Learning-Based Adaptive Hyperparameter Tuning for Gaussian Splatting
针对3DGS超参数调优依赖人工且效果不佳的问题，提出即插即用的强化学习框架RLGS，动态调整学习率等关键超参数，在多种变体和数据集上显著提升渲染质量，实现自动化调优。
2025-08-06 cs.CV cs.GR cs.LG
Hyperparameter Tuning for Deep Reinforcement Learning Applications
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Cukurova University（丘库罗瓦大学）；Scientific Networking Division（科学网络部门）；Department of Computer Science（计算机科学系）；USA（美国）；Turkey（土耳其）
强化学习（RL）应用程序，其中代理可以通过与环境交互来简单地学习最佳行为，正在从控制简单的计算机到复杂的数据中心的各种应用程序中迅速获得巨大的成功。然而，设置正确的超参数可能会对部署的解决方案性能和通过RL产生的用于决策的推理模型的可靠性产生巨大影响。超参数搜索本身是一个费力的过程，需要多次迭代和计算昂贵，以找到产生最佳神经网络架构的最佳设置。与其他神经网络架构相比，由于其算法复杂性和所需的仿真平台，深度RL没有见证太多的超参数调整。在本文中，我们提出了一个分布式可变长度遗传算法框架，系统地调整超参数的各种RL应用程序，提高训练时间和鲁棒性的架构，通过进化。我们证明了我们的方法在许多RL问题上的可扩展性（从简单的健身房到复杂的应用程序），并与贝叶斯方法进行了比较。我们的研究结果表明，随着世代的增加，最佳解决方案需要更少的训练集，计算成本更低，同时部署更稳健。我们的研究结果对于推进深度强化学习控制器解决现实问题至关重要。
2022-01-26 cs.LG cs.NE
Hyperparameter Optimisation with Practical Interpretability and Explanation Methods in Probabilistic Curriculum Learning
University of Queensland（昆士兰大学）
本文针对概率课程学习在强化学习中的超参数优化难题，基于AlgOS与Optuna TPE提出搜索空间细化策略，并引入SHAP可解释性方法分析超参数影响，提升优化效率与计算可行性。
2025-04-09 cs.AI cs.LG
Generalized Population-Based Training for Hyperparameter Optimization in Reinforcement Learning
Southern University of Science and Technology（南方科技大学）
针对PBT偏爱高性能智能体而忽略探索潜力的问题，提出GPBT框架结合成对学习（PL）策略，通过识别性能差异全面指导表现不佳的智能体，在适应性和计算效率上显著提升，并在多个RL基准上超越传统PBT及其贝叶斯优化变体。
2024-04-23 cs.AI cs.LG cs.NE
Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
强化学习是机器人控制学习的一种很有前途的范例，它允许在不需要动力学模型的情况下学习复杂的控制策略。然而，即使是最先进的算法也很难调整到最佳性能。我们建议采用多个强化学习代理的集成，每个代理具有不同的超参数集，以及在线选择最佳性能集的机制。在文献中，合奏技术通常用于提高性能，但目前的工作专门解决减少超参数调整工作。此外，我们的方法的目标在线学习一个机器人系统，并不需要并行运行多个模拟器。虽然这个想法是通用的，但选择的模型是深度确定性策略梯度，它是一种代表性的深度学习行动者-批评者方法，在连续动作设置中具有良好的性能，但已知具有高方差。我们比较了我们的在线加权q-集成的方法，q-平均集成策略在文献中使用替代政策的培训，以及在线培训，证明了新方法的优势，在消除超参数调整。在常见的机器人基准环境中验证了对现实世界系统的适用性：双足机器人半猎豹和游泳者。与使用随机参数化的q-平均集成相比，在线加权Q-集成呈现出总体较低的方差和优越的结果。
2022-09-29 cs.LG cs.RO
ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning
Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）
针对深度强化学习中超参数优化样本效率低、计算成本高的问题，提出超轻量框架ULTHO，将优化过程建模为带聚类臂的多臂老虎机并关联长期回报，结合量化统计筛选超参数，在多个基准上实现优异性能，助力自动化RL系统发展。
2025-08-01 cs.AI cs.LG
Data-Efficient Pipeline for Offline Reinforcement Learning with Limited Data
Stanford University（斯坦福大学）
离线强化学习（RL）可以通过利用历史数据来提高未来的性能。存在许多不同的离线RL算法，并且众所周知，这些算法及其超参数设置可以导致具有显著不同性能的决策策略。这促使需要管道，允许从业者系统地执行算法超参数选择他们的设置。至关重要的是，在大多数现实环境中，这个管道必须只涉及历史数据的使用。受监督学习的统计模型选择方法的启发，我们引入了一个任务和方法无关的管道，用于在提供的数据集大小有限时自动训练，比较，选择和部署最佳策略。特别是，我们的工作强调了执行多个数据分割以产生更可靠的算法超参数选择的重要性。虽然这是监督学习中的常见方法，但据我们所知，这在离线RL设置中尚未详细讨论。我们表明，当数据集很小时，它可以产生重大影响。与其他方法相比，我们提出的管道从广泛的离线策略学习算法以及医疗保健，教育和机器人技术中的各种仿真领域输出更高性能的部署策略。这项工作有助于开发一个通用的元算法，用于离线RL的自动算法超参数选择。
2023-01-12 cs.AI cs.LG cs.RO
The Cross-environment Hyperparameter Setting Benchmark for Reinforcement Learning
University of Alberta（阿尔伯塔大学）
提出跨环境超参数设置基准（CHS），用单一超参数设置比较RL算法，证明其鲁棒且低成本，并应用于连续控制开放问题，发现DDPG在DMC-CHS上两种探索噪声性能无显著差异。
2024-07-26 cs.LG
Sample-Efficient Automated Deep Reinforcement Learning
University of Freiburg（弗莱堡大学）；German Cancer Research Center（德国癌症研究中心）；Bosch Center for Artificial Intelligence（博世人工智能中心）
尽管在各个领域的挑战性问题方面取得了重大进展，但由于其对超参数选择的敏感性，应用最先进的深度强化学习（RL）算法仍然具有挑战性。这种敏感性可以部分归因于RL问题的非平稳性，在学习过程的各个阶段可能需要不同的超参数设置。此外，在RL设置中，超参数优化（HPO）需要大量的环境交互，阻碍了RL中的成功转移到现实世界的应用。在这项工作中，我们解决了RL中的样本效率和动态HPO问题。我们提出了一个基于人口的自动强化学习（AutoRL）框架，以元优化任意的非策略强化学习算法。在这个框架中，我们优化超参数和神经结构，同时训练代理。通过在群体中共享收集的经验，我们大大提高了元优化的样本效率。我们在MuJoCo基准测试套件中使用流行的TD3算法的案例研究中展示了我们的样本高效AutoRL方法的能力，与基于人群的训练相比，我们将元优化所需的环境交互数量减少了一个数量级。
2021-03-17 cs.LG stat.ML
Hyperparameters in Reinforcement Learning and How To Tune Them
Leibniz University Hannover（汉诺威莱布尼茨大学）；Meta AI
本文针对强化学习超参数调优不一致导致公平比较困难的问题，评估多种 HPO 工具并提出分离调优/测试种子等最佳实践，证明其可提升性能、降低计算成本并改善可复现性。
2023-06-02 cs.LG
Forward and inverse reinforcement learning sharing network weights and hyperparameters
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
本文提出了一种无模型的模仿学习，称为熵正则化模仿学习（ERIL），最大限度地减少反向Kullback-Leibler（KL）分歧。ERIL在熵正则化马尔可夫决策过程的框架下结合了正向和反向强化学习（RL）。逆RL步骤通过评估两个二进制鉴别器来计算两个分布之间的对数比。第一个识别器将前向RL步骤生成的状态与专家的状态区分开来。第二种方法利用熵正则化理论构造，将学习者产生的状态-动作-下一状态元组与专家元组区分开来。一个值得注意的特点是第二个递归函数与前向递归函数共享超参数，这可以用来控制递归函数的能力。前向RL步骤最小化由逆RL步骤估计的逆KL。我们表明，最小化反向KL分歧相当于找到一个最优的政策。我们的实验结果MuJoCo模拟环境和基于视觉的机械臂达到任务表明，ERIL是更有效的样本比基线方法。我们将该方法应用于执行杆平衡任务的人类行为，并描述了估计的奖励函数如何显示每个受试者如何实现她的目标。
2022-05-31 cs.AI cs.LG cs.RO
Bayesian Optimization for Iterative Learning
University of Oxford（牛津大学）
深度（强化）学习系统的性能关键取决于超参数的选择。它们的调整是出了名的昂贵，通常需要迭代训练过程来运行许多步骤以收敛。传统的优化算法只考虑经过多次昂贵的迭代后获得的超参数的最终性能，而忽略了早期训练步骤的中间信息。在本文中，我们提出了一个贝叶斯优化（BO）的方法，利用迭代结构的学习算法有效的超参数调整。我们建议学习一个评估函数，根据训练成功和稳定性，将训练过程中任何阶段的学习进度压缩为单个数值分数。然后，我们的BO框架将评估超参数设置的好处与额外训练步骤的计算成本进行平衡。我们通过选择性地包括来自任何评估的超参数集的不同训练步骤的分数来进一步提高模型效率。我们通过调整用于训练深度强化学习代理和卷积神经网络的超参数来证明我们算法的效率。我们的算法在最短时间内识别最佳超参数方面优于所有现有的基线。
2021-01-16 cs.LG stat.ML
ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning
TU Dortmund University（图卢兹大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；RWTH Aachen University（亚琛工业大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；University of Freiburg（弗赖堡大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；L3S Research Center（L3S研究所以）
ARLBench为强化学习中的超参数优化提供高效灵活的基准测试，通过减少计算资源需求促进更广泛的研究。
2026-03-10 cs.LG
Deep Reinforcement Learning using Cyclical Learning Rates
University of Stuttgart（斯图加特大学）
深度强化学习（DRL）方法通常依赖于对超参数的细致调整来成功解决问题。在基于随机梯度下降（SGD）的优化过程中，最有影响力的参数之一是学习率。我们研究循环学习，并提出了一种方法来定义一个一般的循环学习率的各种DRL问题。在本文中，我们提出了一种循环学习的方法，适用于复杂的DRL问题。我们的实验表明，利用循环学习可以获得与高度调整的固定学习率相似甚至更好的结果。本文介绍了循环学习率在DRL设置中的首次应用，是克服手动超参数调整的一步。
2020-07-31 cs.LG stat.ML
An Empirical Study on Hyperparameters and their Interdependence for RL Generalization
University of Waterloo（滑铁卢大学）；Google Brain（谷歌大脑）；MIT（麻省理工学院）
强化学习（RL）的最新研究结果表明，训练环境有限的智能体在许多领域都容易受到大量过拟合的影响。强化学习推广的一个关键挑战是定量解释参数变化对测试性能的影响。这些参数包括架构，正则化，和RL依赖的变量，如折扣因子和行动随机性。我们提供的实证结果表明，超参数和泛化之间的复杂和相互依赖的关系。我们进一步表明，几个经验指标，如梯度余弦相似性和依赖于几何的指标，提供对这些结果的直觉。
2019-06-02 cs.AI cs.LG stat.ML
Performance Optimization of Ratings-Based Reinforcement Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Army Educational Outreach Program（陆军教育推广计划）；DEVCOM Army Research Lab（DEVCOM陆军研究实验室）
针对基于评分的强化学习（RbRL）超参数敏感、性能待提升的问题，本文探索多种优化方法，开展超参数影响实验，为RbRL的超参数选择提供通用指导。
2025-01-13 cs.AI cs.LG
Adversarial Model for Offline Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）；UW-Madison（威斯康星大学麦迪逊分校）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
提出ARMOR框架，通过对抗训练MDP模型，在离线强化学习中稳健改进任意参考策略，理论保证性能不降，实践效果与最先进算法相当。
2023-12-24 cs.AI cs.LG
Reinforcement Learning Enhanced Quantum-inspired Algorithm for Combinatorial Optimization
Russian Quantum Center（俄罗斯量子中心）；University of Oxford（牛津大学）
量子硬件和量子启发算法在组合优化中越来越受欢迎。然而，这些算法可能需要对每个问题实例进行仔细的超参数调整。我们使用一个强化学习代理结合量子启发算法来解决伊辛能量最小化问题，这相当于最大割问题。代理通过调整算法的一个参数来控制算法，目标是改进最近看到的解决方案。我们提出了一种新的重新缩放排名奖励（R3）方法，该方法可以实现稳定的单人版本的自我游戏训练，帮助智能体摆脱局部最优。任何问题实例的训练都可以通过应用来自在随机生成的问题上训练的代理的迁移学习来加速。我们的方法允许采样高质量的解决方案，伊辛问题的概率高，优于基线的几何学和黑盒超参数优化方法。
2020-02-14 cs.AI cs.LG stat.ML
Speculative Sampling with Reinforcement Learning
Re-SpS通过强化学习优化草稿树超参数，提升大规模语言模型的生成速度，实现高达5.45倍的速度提升。
2026-01-18 cs.AI cs.LG
DSP: A Differential Spatial Prediction Scheme for Comprehensive real industrial datasets
School of Mathematics and Computer science, Wuhan Polytechnic University（武汉轻工大学数学与计算机科学学院）
反距离加权模型（IDW）已被广泛用于多模态工业过程的多维空间预测和建模。然而，多维空间的结构越复杂，IDW模型的性能就越低，而真实的工业数据集往往具有更复杂的空间结构。针对这一问题，提出了一种基于深度强化学习网络的空间预测建模新框架。在该框架中，通过重用Q网络中的状态值，增强了状态和动作之间的内在联系，提高了深度强化学习网络的收敛速度和稳定性。然后使用改进的深度强化学习网络搜索和学习反距离加权模型中每个样本点的超参数。这些超参数可以在一定程度上反映当前工业数据集的空间结构。然后基于学习的超参数构造超参数的空间分布。每个插值点从超参数空间分布中获取相应的超参数，并将其带入经典的IDW模型中进行预测，从而实现差分空间预测和建模。仿真结果表明，该框架适用于具有复杂空间结构特征的实际工业数据集，在空间预测方面比现有的IDW模型具有更高的精度。
2020-08-23 cs.LG stat.ML
Adaptive Rollout Length for Model-Based RL Using Model-Free Deep RL
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；College of Information and Computer Sciences（信息与计算机科学学院）
与无模型强化学习相比，基于模型的强化学习通过学习环境的中间模型来预测未来的交互，从而承诺从与环境的较少交互中学习最优策略。当预测一系列交互时，限制预测范围的卷展长度是一个关键的超参数，因为预测的准确性在远离真实体验的区域中会降低。因此，随着更长的推出长度，从长远来看，总体上更糟糕的策略是学习。因此，超参数提供了质量和效率之间的折衷。在这项工作中，我们将调整推出长度的问题框架为元级顺序决策问题，该问题通过基于基于模型的强化学习优化最终策略，给定固定的环境交互预算，通过基于学习过程的反馈动态调整超参数，例如模型的准确性和剩余的交互预算。我们使用无模型深度强化学习来解决元级决策问题，并证明我们的方法在两个著名的强化学习环境中优于常见的启发式基线。
2022-06-07 cs.AI cs.LG
Adaptively Calibrated Critic Estimates for Deep Reinforcement Learning
University of Freiburg（弗莱堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
精确的值估计对于离线强化学习是重要的。基于时间差异学习的算法通常倾向于随着时间的推移而建立过度或低估偏差。在本文中，我们提出了一种通用的方法，称为自适应校准的批评（ACC），使用最近的高方差，但无偏的政策推出，以减轻低方差的时间差异目标的偏见。我们将ACC应用于截断分位数批评，这是一种用于连续控制的算法，允许使用每个环境调整的超参数来调节偏差。由此产生的算法在训练过程中自适应地调整参数，使超参数搜索变得不必要，并在所有不为每个环境调整超参数的算法中，在OpenAI健身房连续控制基准上设置了一个新的最新技术水平。ACC在Meta-World机器人基准测试的不同任务上进一步实现了改进的结果。此外，我们证明了ACC的一般性，通过将其应用到TD 3，并在此设置中显示出更好的性能。
2022-10-21 cs.AI cs.LG cs.RO
Improving Hyperparameter Optimization by Planning Ahead
University of Hildesheim（希尔德斯海姆大学）
超参数优化（HPO）通常被视为双层优化问题，其涉及将（概率性）代理模型拟合到一组观察到的超参数响应（例如，验证损失），并且因此使用代理模型来最大化获取函数以识别用于评估的良好超参数候选。代理和/或获取功能的选择可以通过跨相关任务的知识转移来进一步改进。在本文中，我们提出了一种新的迁移学习方法，定义在基于模型的强化学习的上下文中，其中我们表示代理作为允许轨迹采样的概率模型的集合。我们进一步提出了一个新的变体模型预测控制，它采用了一个简单的前瞻性的策略，优化了一系列的行动，代表超参数候选人，以加快HPO。我们在三个元数据集上的实验与包括无模型强化学习方法在内的最先进的HPO算法进行了比较，结果表明，所提出的方法可以通过利用简单的基于规划的策略来超越所有基线。
2021-10-15 cs.LG
Hyperparameter Selection Methods for Fitted Q-Evaluation with Error Guarantee
IBM Research - Tokyo（IBM东京研究院）
我们关心的问题的超参数选择的拟合Q-评价（QFE）。离线策略评估（OPE）是一种最先进的离线策略评估方法，它对于没有环境模拟器的强化学习是必不可少的。然而，与其他OPE方法一样，CNOE本身并不是超参数自由的，这破坏了实际应用中的实用性。我们通过提出一个近似超参数选择（AHS）的框架来解决这个问题，该框架定义了一个没有超参数的定量和可解释的方式的最优性概念（称为选择标准）。然后，我们推导出四个AHS方法，每个方法都有不同的特点，如分布失配容忍度和时间复杂度。我们还证实，在实验中，由理论给出的误差范围与经验观测相匹配。
2022-02-18 cs.LG stat.ML
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（雷塞罗有限公司）；Universidad de León（莱昂大学）
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化，允许用户快速比较不同的训练参数集。我们提出了rl_reach，一个独立的，开源的和易于使用的软件包，旨在运行可重复的强化学习实验，可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起，允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得：https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Fully Offline Reinforcement Learning
研究完全离线强化学习问题，提出基于贝叶斯模型的SOReL方法及扩展的TOReL方法，通过学习动力学后验、预测不确定性估计策略值实现完全离线超参数选择，建立实用且有理论基础的完全离线强化学习框架。
2026-11-02 cs.AI cs.LG
Reinforcement Learning with Structured Hierarchical Grammar Representations of Actions
Imperial College London（帝国理工学院）；Einstein Center for Neurosciences Berlin（柏林爱因斯坦神经科学中心）；Technical University Berlin（柏林工业大学）；MRC London Institute of Medical Sciences（英国医学研究委员会伦敦医学科学研究所）
从很小的时候起，人类就学会了使用语法原则来分层地将单词组合成句子。动作语法是一个平行的概念，即有一组潜在的规则（一种“语法”）来控制我们如何分层地组合动作以形成新的、更复杂的动作。我们引入了动作语法强化学习（AG-RL）框架，该框架利用动作语法的概念来不断提高强化学习代理的样本效率。AG-RL通过使用语法推理算法来推断训练中途代理的“动作语法”。代理的动作空间，然后增加了由语法识别的宏动作。我们将此框架应用于双深度Q学习（AG-DDQN）和Soft Actor-Critic（AG-SAC）的离散动作版本，并发现它分别在8个测试的Atari游戏中的8个（中位数+31%，最大+668%）和20个测试的Atari游戏中的19个（中位数+96%，最大+3，756%）中提高了性能，而无需实质性的超参数调整。我们还表明，AG-SAC在20个测试的Atari游戏中的17个中的样本效率方面击败了无模型的最先进水平（中位数+62%，最大值+13，140%），同样没有实质性的超参数调整。
2019-10-23 cs.AI cs.LG stat.ML
Learning to Walk via Deep Reinforcement Learning
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（deep RL）有望自动获取复杂的控制器，这些控制器可以将感官输入直接映射到低级动作。在机器人运动领域，深度RL可以以最少的工程来学习运动技能，而无需机器人动力学的显式模型。不幸的是，将深度强化学习应用于现实世界的机器人任务是非常困难的，主要是由于样本复杂性差和对超参数的敏感性。虽然超参数可以很容易地在模拟域中调整，但在物理系统上调整可能过于昂贵，例如足式机器人，它可能会通过大量的试错学习而损坏。在本文中，我们提出了一种基于最大熵强化学习的样本高效深度强化学习算法，该算法只需要最小的任务调整和少量的试验来学习神经网络策略。我们应用这种方法来学习步行步态在现实世界中的Minitaur机器人。我们的方法可以在大约两个小时内直接在现实世界中从头开始获得稳定的步态，而不依赖于任何模型或模拟，并且由此产生的策略对环境中的适度变化具有鲁棒性。我们进一步表明，我们的算法实现了最先进的性能与一组超参数的模拟基准。培训视频和学到的政策可以在项目网站上找到。
2019-06-19 cs.AI cs.LG cs.RO
Simultaneous Training of First- and Second-Order Optimizers in Population-Based Reinforcement Learning
Festo SE & Co. KG（费斯托两合公司）
本文提出在基于群体的训练（PBT）中同时使用一阶和二阶优化器，通过TD3算法在MuJoCo环境中的实验证明K-FAC与Adam混合种群可提升最高10%性能并增强训练稳定性。
2024-09-04 cs.AI cs.LG
Meta SAC-Lag: Towards Deployable Safe Reinforcement Learning via MetaGradient-based Hyperparameter Tuning
University of Victoria（维多利亚大学）
针对基于拉格朗日的安全强化学习阈值调优难、易次优收敛的问题，提出Meta SAC-Lag架构，通过元梯度自动更新安全超参数，在模拟和机械臂倒咖啡真实任务中均表现优异。
2024-08-15 cs.AI cs.LG cs.RO
A Self-Tuning Actor-Critic Algorithm
Deepmind
强化学习算法对超参数的选择非常敏感，通常需要大量的手动工作来识别在新领域表现良好的超参数。在本文中，我们通过使用元梯度通过元梯度下降在线自动适应超参数来解决这个问题（Xu等人，2018年）。我们应用我们的算法，自调整演员-评论家（STAC），自调整演员-评论家损失函数的所有可微超参数，发现辅助任务，并使用一种新的泄漏V-跟踪算子来改善离线学习。STAC使用简单，采样效率高，不需要显著增加计算量。烧蚀研究表明，STAC的整体性能提高，因为我们适应更多的超参数。当应用于Arcade学习环境（Bellemare等人，2012）时，STAC将200 M步中的人类标准化评分中位数从243%提高到364%。当应用于DM控制套件时（Tassa等人，2018年），STAC在使用特征学习时将30M步的平均得分从217提高到389，从像素学习时从108提高到202，在现实世界强化学习挑战中从195提高到295（Dulac-Arnold et al.，2020年）。
2021-04-14 cs.LG stat.ML
Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning
DFKI GmbH（德国人工智能研究中心）；TU Darmstadt（达姆施塔特工业大学）；Center for AI and Data Science, University of Würzburg（维尔茨堡大学人工智能与数据科学中心）
提出专为 RL 量身定制的自适应 $Q$-网络（AdaQN），通过在线学习多个不同超参数的 $Q$-函数并利用最小近似误差作为共享目标，在无需额外样本的情况下应对非平稳性，显著提升了样本效率、整体性能和训练稳定性。
2025-03-03 cs.AI cs.LG
Scilab-RL: A software framework for efficient reinforcement learning and cognitive modeling research
Hamburg University of Technology（汉堡工业大学）；Institute for Data Science Foundations（数据科学基础研究所）
针对认知建模与强化学习研究缺乏整合多类功能的模块化工具套件的问题，提出聚焦目标条件强化学习的Scilab-RL软件框架，可降低实验时间成本、提升研究效率。
2024-01-25 cs.AI cs.LG cs.RO
Hyperparameters in Contextual RL are Highly Situational
Leibniz University Hanover（汉诺威莱布尼茨大学）
尽管强化学习（RL）在游戏和仿真中表现出了令人印象深刻的结果，但RL的实际应用在不断变化的环境条件和超参数下会受到其不稳定性的影响。我们给出了这种不稳定性的程度的第一印象，通过自动超参数优化（HPO）方法发现的超参数不仅取决于手头的问题，但即使在如何以及状态描述的环境动态。具体来说，我们表明，在上下文强化学习的代理需要不同的超参数，如果他们显示环境因素如何变化。此外，找到足够的超参数配置对于这两种设置并不同样容易，这进一步突出了研究超参数如何影响RL中的学习和泛化的必要性。
2022-12-21 cs.LG
GRPOformer: Advancing Hyperparameter Optimization via Group Relative Policy Optimization
1College of Information；Electrical Engineering, \ Agricultural University, Beijing 100083, China；Electrical Engineering, \ Agricultural University, Beijing 100083, China 2Key Laboratory of Agricultural Machinery Monitoring
本文提出GRPOformer框架，将分组相对策略优化与Transformer结合用于超参数优化，并引入策略扰动正则化提升训练稳定性，在OpenML上一致优于基线方法。
2025-09-21 cs.LG
Alpha MAML: Adaptive Model-Agnostic Meta-Learning
University of Oxford（牛津大学）
模型不可知元学习（MAML）是一种元学习技术，用于以一种为新任务的少样本学习准备模型的方式在大量学习任务上训练模型。MAML算法在强化学习中的分类、回归和策略梯度微调中的少样本学习问题上表现良好，但需要进行昂贵的超参数调整以实现训练稳定性。我们通过引入MAML的扩展（称为Alpha MAML）来解决这一缺点，该扩展包含一个在线超参数自适应方案，该方案消除了调整元学习和学习率的需要。我们使用Omniglot数据库的结果表明，调整MAML训练超参数的需求大幅减少，训练稳定性提高，对超参数选择的敏感性降低。
2019-05-17 cs.AI cs.LG stat.ML
QF-tuner: Breaking Tradition in Reinforcement Learning
University of Technology（理工大学）；University of Kurdistan Hewlêr（库尔德斯坦休勒尔大学）
本文提出 QF-tuner，利用 FOX 优化算法和奖励优先的目标函数自动调优 Q-learning 超参数，并在 CartPole 与 FrozenLake 上显著提升奖励、缩短学习时间。
2025-03-18 cs.AI cs.LG cs.NE
A Clean Slate for Offline Reinforcement Learning
University of Oxford（牛津大学）
针对离线强化学习因问题定义模糊、算法设计复杂导致的评估不公等问题，提出严格分类法、透明评估协议及简洁实现，开发统一算法Unifloral并推出两种新算法，显著提升性能并简化方法比较。
2025-04-15 cs.AI cs.LG cs.RO
DeepStock: Reinforcement Learning with Policy Regularizations for Inventory Management
Booth School of Business, University of Chicago（芝加哥大学商学院）；Taobao & Tmall Group（淘宝与天猫集团）；School of Economics, Sichuan University（四川大学经济学院）；Graduate School of Business, Columbia University（哥伦比亚大学商学院）；School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）
本文提出通过策略正则化改进深度强化学习在库存管理中的应用，加速超参数调优并提升性能，通过阿里巴巴电商平台的部署和合成实验验证了其有效性。
2026-10-06 cs.AI cs.LG
BOHB: Robust and Efficient Hyperparameter Optimization at Scale
University of Freiburg（弗莱堡大学）
现代深度学习方法对许多超参数非常敏感，并且由于最先进模型的训练时间很长，普通贝叶斯超参数优化通常在计算上不可行。另一方面，基于随机搜索的基于带宽的配置评估方法缺乏指导，并且不能快速收敛到最佳配置。在这里，我们建议结合贝叶斯优化和基于带宽的方法的优点，以实现两全其美：强大的随时性能和快速收敛到最佳配置。我们提出了一种新的实用的最先进的超参数优化方法，该方法在各种问题类型上始终优于贝叶斯优化和Hyperband，包括高维玩具函数，支持向量机，前馈神经网络，贝叶斯神经网络，深度强化学习和卷积神经网络。我们的方法是强大的和通用的，而在同一时间是概念简单，易于实现。
2018-07-04 cs.LG stat.ML
User-Interactive Offline Reinforcement Learning
Siemens Technology（西门子技术）；TU Munich（慕尼黑工业大学）
离线强化学习算法在实践中仍然缺乏信任，这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时，离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法，允许用户在运行时调整这个超参数，从而同时解决上述两个问题。这允许用户从原始行为开始，并连续授予更大的偏差，以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
An Asymptotically Optimal Multi-Armed Bandit Algorithm and Hyperparameter Optimization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）
在具有大超参数搜索空间的高级深度学习中，超参数、神经架构或数据增强策略的评估成为关键的模型选择问题。在本文中，我们提出了一种有效的和强大的基于带宽的算法称为子采样（SS）的超参数搜索评估的情况下。该算法通过观测值的子样本来评估超参数的潜力，并在理论上证明了其在累积后悔准则下的最优性。我们进一步结合SS和贝叶斯优化，提出了一种新的超参数优化算法BOSS。实证研究验证了我们的SS理论论点，并证明了BOSS在许多应用程序上的卓越性能，包括神经架构搜索（NAS），数据增强（DA），对象检测（OD）和强化学习（RL）。
2020-12-16 cs.LG math.ST stat.ML
Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport
Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系）
本文提出超参数轨迹推断任务，通过学习神经网络在不同超参数下的条件输出分布，构建近似模型以模拟未观测的超参数设置。方法基于条件拉格朗日最优传输，结合流形假设和最少作用原理提升模型可行性。
2026-03-18 cs.AI cs.LG
