On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning
University of Freiburg(弗赖堡大学);Facebook AI Research(Facebook AI研究院);UC Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);Bosch Center for AI(博世人工智能中心)
基于模型的强化学习(MBRL)是一种很有前途的数据高效学习控制框架。由于单独的动力学建模和随后的规划算法,MBRL算法可能相当复杂,因此,它们通常拥有数十个超参数和架构选择。因此,MBRL在应用于新问题和领域之前通常需要大量的人力专业知识。为了缓解这个问题,我们建议使用自动超参数优化(HPO)。我们证明,这个问题可以有效地解决自动HPO,我们证明,产生显着提高性能相比,人类专家。此外,我们还表明,与使用在整个训练过程中保持固定的静态超参数相比,动态调整多个MBRL超参数(即在训练过程中)进一步提高了性能。最后,我们的实验为几个超参数的影响提供了有价值的见解,例如计划范围或学习率及其对训练稳定性和所得奖励的影响。
2021-02-26 cs.AI cs.LG cs.NE
Reinforcement-based Simultaneous Algorithm and its Hyperparameters Selection
ITMO University(ITMO大学)
存在许多用于数据分析的算法,特别是用于分类问题。要解决数据分析问题,需要选择合适的算法,也需要选择其超参数。在本文中,我们提出了一个新的方法,同时选择一个算法和它的超参数。为了做到这一点,我们把这个问题简化为多臂强盗问题。我们把算法看作一个手臂,在一定时间内搜索算法超参数作为相应的手臂动作。我们还提出了一个特定问题的奖励功能。我们在10个真实数据集上进行了实验,并将所提出的方法与Auto-WEKA中实现的现有方法进行了比较。结果表明,我们的方法在大多数情况下都明显优于Auto-WEKA。
2016-11-07 cs.AI cs.LG stat.ML
HyperController: A Hyperparameter Controller for Fast and Stable Training of Reinforcement Learning Neural Networks
Department of Electrical and Systems Engineering, Washington University in St. Louis(电气与系统工程系,华盛顿大学圣路易斯分校)
提出HyperController算法,将超参数优化建模为线性高斯动态系统并利用Kalman滤波器学习目标函数,实现了强化学习神经网络快速稳定的训练与部署。
2025-04-27 cs.LG cs.SY eess.SY
Hyperparameter Optimization for Driving Strategies Based on Reinforcement Learning
Volkswagen Group Innovation, Volkswagen AG(大众集团创新部,大众汽车集团);Institute of Mathematics, TU Berlin(柏林工业大学数学研究所)
本文针对强化学习自动驾驶策略,采用基于高斯过程的高效全局优化算法进行超参数优化,通过拉丁超立方采样和并行化加速,使驾驶性能提升4%,并验证了策略的鲁棒性。
2024-07-19 cs.AI cs.LG math.OC
A Framework for History-Aware Hyperparameter Optimisation in Reinforcement Learning
强化学习(RL)系统依赖于一组影响系统性能的初始条件(超参数)。然而,定义一个好的超参数选择是一个具有挑战性的问题。超参数调优通常需要手动或自动搜索以找到最佳值。尽管如此,一个值得注意的限制是复杂模型的算法评估成本高,使得调优过程在计算上昂贵且耗时。在本文中,我们提出了一个框架的基础上集成复杂事件处理和时态模型,以减轻这些权衡。通过这种组合,可以基于数据流监控有效且不显眼地获得有关运行的RL系统的见解,并创建抽象表示,允许对RL系统的历史行为进行推理。所获得的知识被用来提供反馈给RL系统,以优化其超参数,同时有效地利用并行资源。我们引入了一种新的历史感知epsilon贪婪逻辑用于超参数优化,而不是使用在整个训练中保持固定的静态超参数,而是基于对代理在单个代理生命周期中的时间窗口的性能分析在运行时调整超参数。我们在5G移动通信案例研究中测试了所提出的方法,该案例研究使用DQN(RL的一种变体)进行决策。我们的实验证明了使用历史的超参数调整对训练稳定性和奖励值的影响。令人鼓舞的结果表明,所提出的历史感知框架显着提高性能相比,传统的超参数调整方法。
2023-03-09 cs.AI cs.LG cs.SE
Efficient Hyperparameter Optimization for LLM Reinforcement Learning
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));The Hong Kong University of Science and Technology(香港科学与技术大学);China United Network Communications Group(中国联合网络通信集团)
提出联合保真度超参数优化方法,通过同时调整模型大小和训练预算作为保真度,并集成早停策略和检查点机制,显著提升计算效率(每轮最高14.9倍)且性能提升5.8%-111.6%。
2026-06-02 cs.AI cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology(天津科技大学)
本文综述了基于强化学习的神经架构搜索方法,梳理其整体发展、改进与变体,重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
Hyp-RL : Hyperparameter Optimization by Reinforcement Learning
University of Hildesheim(希尔德斯海姆大学)
超参数整定是机器学习中一个无所不在的问题,因为它是获得任何模型的最新性能的一个不可或缺的方面。大多数情况下,超参数只是通过在可能的超参数值网格上训练模型并在验证样本上(网格搜索)表现最好的一个来优化。最近,已经引入了构建所谓的代理模型的方法,该代理模型预测特定超参数设置、模型和数据集的验证损失,然后基于期望值的启发式函数和称为获取函数的代理模型的不确定性来顺序地选择下一个超参数进行测试(基于顺序模型的贝叶斯优化,SMBO)。本文将超参数优化问题建模为一个序贯决策问题,即下一步测试哪个超参数,并利用强化学习解决该问题。这样,我们的模型就不必依赖于像SMBO这样的启发式获取函数,而是可以根据它们最终导致的验证损失的后续减少来学习接下来要测试哪些超参数,或者是因为它们本身产生好的模型,或者是因为它们允许超参数选择策略构建更好的代理模型,该代理模型稍后能够选择更好的超参数。50个数据集表明,我们的方法优于最先进的超参数学习方法。
2019-06-27 cs.LG stat.ML
Multiple-Frequencies Population-Based Training
本文针对PBT因频繁选择导致短期贪婪和局部最优的问题,提出多频率基于群体的训练(MF-PBT),通过不同进化频率的子群体及非对称迁移机制平衡短期与长期优化,在Brax实验上验证了其样本效率和长期性能的提升。
2025-07-17 cs.AI cs.LG cs.NE
Hyperparameter Optimization for Multi-Objective Reinforcement Learning
University of Luxembourg(卢森堡大学);University of Lille(里尔大学)
本文针对多目标强化学习(MORL)的超参数优化挑战进行初步调查,形式化了该问题并提出一种系统性方法,实验证明其能有效提供显著提升MORL智能体性能的超参数配置。
2023-10-25 cs.LG
RLGS: Reinforcement Learning-Based Adaptive Hyperparameter Tuning for Gaussian Splatting
针对3DGS超参数调优依赖人工且效果不佳的问题,提出即插即用的强化学习框架RLGS,动态调整学习率等关键超参数,在多种变体和数据集上显著提升渲染质量,实现自动化调优。
2025-08-06 cs.CV cs.GR cs.LG
Hyperparameter Optimisation with Practical Interpretability and Explanation Methods in Probabilistic Curriculum Learning
University of Queensland(昆士兰大学)
本文针对概率课程学习在强化学习中的超参数优化难题,基于AlgOS与Optuna TPE提出搜索空间细化策略,并引入SHAP可解释性方法分析超参数影响,提升优化效率与计算可行性。
2025-04-09 cs.AI cs.LG
Hyper: Hyperparameter Robust Efficient Exploration in Reinforcement Learning
University of California, Los Angeles(加州大学洛杉矶分校);Terasaki Institute for Biomedical Innovation(寺崎生物医学创新研究所)
针对好奇心驱动强化学习依赖大量超参数调节且优化不稳定的问题,本文提出 Hyper,通过正则化探索访问并解耦利用实现稳定训练,并从理论与实验上验证其高效性和鲁棒性。
2024-12-04 cs.LG stat.ML
Tuning Mixed Input Hyperparameters on the Fly for Efficient Population Based AutoRL
University of Oxford(牛津大学);Amazon(亚马逊)
尽管最近在强化学习(RL)方面取得了一系列成功,但许多RL算法仍然对超参数敏感。因此,最近人们对AutoRL领域产生了兴趣,该领域寻求自动化设计决策以创建更通用的算法。最近的工作表明,基于群体的方法可能是有效的AutoRL算法,通过动态学习超参数时间表。特别是,PB 2算法能够通过将在线超参数优化公式化为时变GP-强盗问题,在RL任务中实现强大的性能,同时也提供了理论保证。然而,PB 2仅适用于连续超参数,这严重限制了它在实践中的实用性。在本文中,我们介绍了一种新的(可证明)有效的分层方法,用于优化连续和分类变量,使用一种新的时变强盗算法专门设计的人口为基础的训练制度。我们评估我们的方法上具有挑战性的Procgen基准,在那里我们表明,明确建模之间的依赖性数据增强和其他超参数提高泛化。
2021-06-30 cs.LG
Online Weighted Q-Ensembles for Reduced Hyperparameter Tuning in Reinforcement Learning
Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学)
强化学习是机器人控制学习的一种很有前途的范例,它允许在不需要动力学模型的情况下学习复杂的控制策略。然而,即使是最先进的算法也很难调整到最佳性能。我们建议采用多个强化学习代理的集成,每个代理具有不同的超参数集,以及在线选择最佳性能集的机制。在文献中,合奏技术通常用于提高性能,但目前的工作专门解决减少超参数调整工作。此外,我们的方法的目标在线学习一个机器人系统,并不需要并行运行多个模拟器。虽然这个想法是通用的,但选择的模型是深度确定性策略梯度,它是一种代表性的深度学习行动者-批评者方法,在连续动作设置中具有良好的性能,但已知具有高方差。我们比较了我们的在线加权q-集成的方法,q-平均集成策略在文献中使用替代政策的培训,以及在线培训,证明了新方法的优势,在消除超参数调整。在常见的机器人基准环境中验证了对现实世界系统的适用性:双足机器人半猎豹和游泳者。与使用随机参数化的q-平均集成相比,在线加权Q-集成呈现出总体较低的方差和优越的结果。
2022-09-29 cs.LG cs.RO
QF-tuner: Breaking Tradition in Reinforcement Learning
University of Technology(理工大学);University of Kurdistan Hewlêr(库尔德斯坦休勒尔大学)
本文提出 QF-tuner,利用 FOX 优化算法和奖励优先的目标函数自动调优 Q-learning 超参数,并在 CartPole 与 FrozenLake 上显著提升奖励、缩短学习时间。
2025-03-18 cs.AI cs.LG cs.NE
ULTHO: Ultra-Lightweight yet Efficient Hyperparameter Optimization in Deep Reinforcement Learning
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);Ningbo Institute of Digital Twin, Eastern Institute of Technology(宁波数字孪生研究所);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字衍生关键实验室)
针对深度强化学习中超参数优化样本效率低、计算成本高的问题,提出超轻量框架ULTHO,将优化过程建模为带聚类臂的多臂老虎机并关联长期回报,结合量化统计筛选超参数,在多个基准上实现优异性能,助力自动化RL系统发展。
2025-08-01 cs.AI cs.LG
The Cross-environment Hyperparameter Setting Benchmark for Reinforcement Learning
University of Alberta(阿尔伯塔大学)
提出跨环境超参数设置基准(CHS),用单一超参数设置比较RL算法,证明其鲁棒且低成本,并应用于连续控制开放问题,发现DDPG在DMC-CHS上两种探索噪声性能无显著差异。
2024-07-26 cs.LG
Automating Control of Overestimation Bias for Reinforcement Learning
Samsung AI Center(三星人工智能中心);Artificial Intelligence Research Institute(人工智能研究所);National Research University Higher School of Economics(高等经济研究大学)
高估偏差控制技术被大多数高性能的非策略强化学习算法所使用。然而,这些技术中的大多数依赖于预定义的偏差校正策略,这些策略要么不够灵活,要么需要环境特定的超参数调整。在这项工作中,我们提出了一个通用的数据驱动的方法,用于自动选择偏置控制超参数。我们证明了它的有效性三个算法:截断分位数批评,加权延迟DDPG,和最大最小Q学习。所提出的技术消除了对广泛的超参数搜索的需要。我们表明,它导致显着减少的实际数量的相互作用,同时保持性能。
2022-01-28 cs.AI cs.LG cs.RO
Population Based Training of Neural Networks
DeepMind
神经网络在现代机器学习领域占据主导地位,但它们的训练和成功仍然受到对模型架构、损失函数和优化算法等超参数的经验选择的敏感性的影响。在这项工作中,我们提出了\emph{Population Based Training (PBT)},一个简单的异步优化算法,有效地利用固定的计算预算,共同优化人口的模型和他们的超参数,以最大限度地提高性能。重要的是,PBT发现了一个超参数设置的时间表,而不是遵循通常的次优策略,即试图找到一个用于整个训练过程的固定集合。只需对典型的分布式超参数训练框架进行一个小的修改,我们的方法就可以对模型进行鲁棒和可靠的训练。我们证明了PBT在深度强化学习问题上的有效性,通过优化一套超参数,显示出更快的挂钟收敛和更高的代理最终性能。此外,我们还展示了同样的方法可以应用于机器翻译的监督学习,其中PBT用于直接最大化BLEU分数,以及生成对抗网络的训练,以最大化生成图像的初始分数。在所有情况下,PBT都会自动发现超参数计划和模型选择,从而实现稳定的训练和更好的最终性能。
2017-11-28 cs.LG cs.NE
Hyperparameters in Reinforcement Learning and How To Tune Them
Leibniz University Hannover(汉诺威莱布尼茨大学);Meta AI
本文针对强化学习超参数调优不一致导致公平比较困难的问题,评估多种 HPO 工具并提出分离调优/测试种子等最佳实践,证明其可提升性能、降低计算成本并改善可复现性。
2023-06-02 cs.LG
Forward and inverse reinforcement learning sharing network weights and hyperparameters
ATR Computational Neuroscience Laboratories(ATR计算神经科学实验室);Okinawa Institute of Science and Technology Graduate University(冲绳科学技术大学院大学)
本文提出了一种无模型的模仿学习,称为熵正则化模仿学习(ERIL),最大限度地减少反向Kullback-Leibler(KL)分歧。ERIL在熵正则化马尔可夫决策过程的框架下结合了正向和反向强化学习(RL)。逆RL步骤通过评估两个二进制鉴别器来计算两个分布之间的对数比。第一个识别器将前向RL步骤生成的状态与专家的状态区分开来。第二种方法利用熵正则化理论构造,将学习者产生的状态-动作-下一状态元组与专家元组区分开来。一个值得注意的特点是第二个递归函数与前向递归函数共享超参数,这可以用来控制递归函数的能力。前向RL步骤最小化由逆RL步骤估计的逆KL。我们表明,最小化反向KL分歧相当于找到一个最优的政策。我们的实验结果MuJoCo模拟环境和基于视觉的机械臂达到任务表明,ERIL是更有效的样本比基线方法。我们将该方法应用于执行杆平衡任务的人类行为,并描述了估计的奖励函数如何显示每个受试者如何实现她的目标。
2022-05-31 cs.AI cs.LG cs.RO
ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning
TU Dortmund University(图卢兹大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);RWTH Aachen University(亚琛工业大学);Leibniz University Hannover(汉诺威莱布尼茨大学);University of Freiburg(弗赖堡大学);ELLIS Institute Tübingen(图宾根ELLIS研究所);L3S Research Center(L3S研究所以)
ARLBench为强化学习中的超参数优化提供高效灵活的基准测试,通过减少计算资源需求促进更广泛的研究。
2026-03-10 cs.LG
Provably Efficient Online Hyperparameter Optimization with Population-Based Bandits
University of Oxford(牛津大学)
最近机器学习的许多成功都依赖于良好调整的超参数。这在强化学习(RL)中尤为突出,其中配置的微小变化可能导致失败。尽管调整超参数很重要,但它仍然很昂贵,而且通常是以一种幼稚而费力的方式完成的。最近解决这个问题的一个方法是基于群体的训练(PBT),它在一个单一的训练运行中更新权重和超参数。PBT已被证明在RL中特别有效,导致在该领域的广泛使用。然而,PBT缺乏理论保证,因为它依赖于随机算法来探索超参数空间。这种低效率意味着它通常需要大量的计算资源,这对于许多中小型实验室来说是禁止的。在这项工作中,我们介绍了第一个可证明有效的PBT风格的算法,人口为基础的土匪(PB2)。PB2使用概率模型以有效的方式指导搜索,从而可以发现高性能的超参数配置,其代理数量远远少于PBT通常所需的代理数量。我们在一系列RL实验中表明,PB2能够以适度的计算预算实现高性能。
2021-06-04 cs.LG stat.ML
Performance Optimization of Ratings-Based Reinforcement Learning
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Army Educational Outreach Program(陆军教育推广计划);DEVCOM Army Research Lab(DEVCOM陆军研究实验室)
针对基于评分的强化学习(RbRL)超参数敏感、性能待提升的问题,本文探索多种优化方法,开展超参数影响实验,为RbRL的超参数选择提供通用指导。
2025-01-13 cs.AI cs.LG
Adversarial Model for Offline Reinforcement Learning
University of Washington(华盛顿大学);Microsoft Research(微软研究院);UW-Madison(威斯康星大学麦迪逊分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
提出ARMOR框架,通过对抗训练MDP模型,在离线强化学习中稳健改进任意参考策略,理论保证性能不降,实践效果与最先进算法相当。
2023-12-24 cs.AI cs.LG
Speculative Sampling with Reinforcement Learning
Re-SpS通过强化学习优化草稿树超参数,提升大规模语言模型的生成速度,实现高达5.45倍的速度提升。
2026-01-18 cs.AI cs.LG
BiERL: A Meta Evolutionary Reinforcement Learning Framework via Bilevel Optimization
Nanjing University(南京大学);Tianjin University(天津大学)
本文提出基于双层优化的元进化强化学习框架BiERL,通过在单智能体内并行更新超参数与训练模型,并设计嵌入演化经验的种群表示及适应度评估,有效缓解了探索不足与模型崩溃问题,显著提升了多种ERL算法的学习性能。
2023-08-01 cs.AI cs.LG cs.NE
Metaoptimization on a Distributed System for Deep Reinforcement Learning
NVIDIA(英伟达)
通过强化学习训练智能代理是一个众所周知的不稳定过程。GPU和分布式系统上的大规模并行化已经被用来生成大量的训练经验,从而减少不稳定性,但训练的成功仍然受到超参数选择的强烈影响。为了克服这个问题,我们介绍了HyperTrick,一种新的元优化算法,并展示了它在深度强化学习的情况下调整超参数的有效应用,同时学习在分布式系统上玩不同的Atari游戏。我们的分析提供了最优超参数的识别和学习策略之间相互作用的证据,这是深度强化学习的元优化的典型情况。与最先进的元优化算法相比,HyperTrick的特点是实现更简单,它允许学习类似的策略,同时更有效地利用分布式系统中的计算资源。
2019-02-07 cs.LG stat.ML
On Effective Scheduling of Model-based Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基于模型的强化学习因其优越的样本效率而受到广泛关注。尽管到目前为止取得了令人印象深刻的成功,但仍然不清楚如何适当地调度重要的超参数以实现足够的性能,例如Dyna风格的基于模型的算法中用于策略优化的实际数据比率。本文首先从理论上分析了真实数据在政策训练中的作用,认为逐渐增加真实数据的比例会产生更好的效果。受分析的启发,我们提出了一个名为AutoMBPO的框架,用于自动调度基于模型的策略优化(MBPO)算法中的实际数据比率以及其他超参数,MBPO算法是基于模型的方法的代表性运行案例。在几个连续控制任务中,AutoMBPO调度的超参数训练的MBPO实例可以显著超过原始的MBPO实例,AutoMBPO发现的实际数据比率调度与我们的理论分析一致。
2022-07-05 cs.AI cs.LG stat.ML
Adaptive Rollout Length for Model-Based RL Using Model-Free Deep RL
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);College of Information and Computer Sciences(信息与计算机科学学院)
与无模型强化学习相比,基于模型的强化学习通过学习环境的中间模型来预测未来的交互,从而承诺从与环境的较少交互中学习最优策略。当预测一系列交互时,限制预测范围的卷展长度是一个关键的超参数,因为预测的准确性在远离真实体验的区域中会降低。因此,随着更长的推出长度,从长远来看,总体上更糟糕的策略是学习。因此,超参数提供了质量和效率之间的折衷。在这项工作中,我们将调整推出长度的问题框架为元级顺序决策问题,该问题通过基于基于模型的强化学习优化最终策略,给定固定的环境交互预算,通过基于学习过程的反馈动态调整超参数,例如模型的准确性和剩余的交互预算。我们使用无模型深度强化学习来解决元级决策问题,并证明我们的方法在两个著名的强化学习环境中优于常见的启发式基线。
2022-06-07 cs.AI cs.LG
Adaptively Calibrated Critic Estimates for Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);University of Technology Nuremberg(纽伦堡工业大学)
精确的值估计对于离线强化学习是重要的。基于时间差异学习的算法通常倾向于随着时间的推移而建立过度或低估偏差。在本文中,我们提出了一种通用的方法,称为自适应校准的批评(ACC),使用最近的高方差,但无偏的政策推出,以减轻低方差的时间差异目标的偏见。我们将ACC应用于截断分位数批评,这是一种用于连续控制的算法,允许使用每个环境调整的超参数来调节偏差。由此产生的算法在训练过程中自适应地调整参数,使超参数搜索变得不必要,并在所有不为每个环境调整超参数的算法中,在OpenAI健身房连续控制基准上设置了一个新的最新技术水平。ACC在Meta-World机器人基准测试的不同任务上进一步实现了改进的结果。此外,我们证明了ACC的一般性,通过将其应用到TD 3,并在此设置中显示出更好的性能。
2022-10-21 cs.AI cs.LG cs.RO
Improving Hyperparameter Optimization by Planning Ahead
University of Hildesheim(希尔德斯海姆大学)
超参数优化(HPO)通常被视为双层优化问题,其涉及将(概率性)代理模型拟合到一组观察到的超参数响应(例如,验证损失),并且因此使用代理模型来最大化获取函数以识别用于评估的良好超参数候选。代理和/或获取功能的选择可以通过跨相关任务的知识转移来进一步改进。在本文中,我们提出了一种新的迁移学习方法,定义在基于模型的强化学习的上下文中,其中我们表示代理作为允许轨迹采样的概率模型的集合。我们进一步提出了一个新的变体模型预测控制,它采用了一个简单的前瞻性的策略,优化了一系列的行动,代表超参数候选人,以加快HPO。我们在三个元数据集上的实验与包括无模型强化学习方法在内的最先进的HPO算法进行了比较,结果表明,所提出的方法可以通过利用简单的基于规划的策略来超越所有基线。
2021-10-15 cs.LG
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin(都柏林大学学院);Resero Ltd(雷塞罗有限公司);Universidad de León(莱昂大学)
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化,允许用户快速比较不同的训练参数集。我们提出了rl_reach,一个独立的,开源的和易于使用的软件包,旨在运行可重复的强化学习实验,可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起,允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得:https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Fully Offline Reinforcement Learning
研究完全离线强化学习问题,提出基于贝叶斯模型的SOReL方法及扩展的TOReL方法,通过学习动力学后验、预测不确定性估计策略值实现完全离线超参数选择,建立实用且有理论基础的完全离线强化学习框架。
2026-11-02 cs.AI cs.LG
Data-Efficient Pipeline for Offline Reinforcement Learning with Limited Data
Stanford University(斯坦福大学)
离线强化学习(RL)可以通过利用历史数据来提高未来的性能。存在许多不同的离线RL算法,并且众所周知,这些算法及其超参数设置可以导致具有显著不同性能的决策策略。这促使需要管道,允许从业者系统地执行算法超参数选择他们的设置。至关重要的是,在大多数现实环境中,这个管道必须只涉及历史数据的使用。受监督学习的统计模型选择方法的启发,我们引入了一个任务和方法无关的管道,用于在提供的数据集大小有限时自动训练,比较,选择和部署最佳策略。特别是,我们的工作强调了执行多个数据分割以产生更可靠的算法超参数选择的重要性。虽然这是监督学习中的常见方法,但据我们所知,这在离线RL设置中尚未详细讨论。我们表明,当数据集很小时,它可以产生重大影响。与其他方法相比,我们提出的管道从广泛的离线策略学习算法以及医疗保健,教育和机器人技术中的各种仿真领域输出更高性能的部署策略。这项工作有助于开发一个通用的元算法,用于离线RL的自动算法超参数选择。
2023-01-12 cs.AI cs.LG cs.RO
Simultaneous Training of First- and Second-Order Optimizers in Population-Based Reinforcement Learning
Festo SE & Co. KG(费斯托两合公司)
本文提出在基于群体的训练(PBT)中同时使用一阶和二阶优化器,通过TD3算法在MuJoCo环境中的实验证明K-FAC与Adam混合种群可提升最高10%性能并增强训练稳定性。
2024-09-04 cs.AI cs.LG
Meta SAC-Lag: Towards Deployable Safe Reinforcement Learning via MetaGradient-based Hyperparameter Tuning
University of Victoria(维多利亚大学)
针对基于拉格朗日的安全强化学习阈值调优难、易次优收敛的问题,提出Meta SAC-Lag架构,通过元梯度自动更新安全超参数,在模拟和机械臂倒咖啡真实任务中均表现优异。
2024-08-15 cs.AI cs.LG cs.RO
Adaptive $Q$-Network: On-the-fly Target Selection for Deep Reinforcement Learning
DFKI GmbH(德国人工智能研究中心);TU Darmstadt(达姆施塔特工业大学);Center for AI and Data Science, University of Würzburg(维尔茨堡大学人工智能与数据科学中心)
提出专为 RL 量身定制的自适应 $Q$-网络(AdaQN),通过在线学习多个不同超参数的 $Q$-函数并利用最小近似误差作为共享目标,在无需额外样本的情况下应对非平稳性,显著提升了样本效率、整体性能和训练稳定性。
2025-03-03 cs.AI cs.LG
Bayesian Generational Population-Based Training
University of Oxford(牛津大学);Amazon(亚马逊)
强化学习(RL)为训练能够在现实世界中自主交互的通用智能体提供了潜力。然而,一个关键的限制是RL算法对核心超参数和网络架构选择的脆弱性。此外,非平稳性,如不断变化的训练数据和增加的代理复杂性意味着不同的超参数和架构可能在不同的训练点是最佳的。这激发了AutoRL,这是一类寻求自动化这些设计选择的方法。AutoRL方法的一个突出类别是基于人口的训练(PBT),它在几个大规模设置中具有令人印象深刻的性能。在本文中,我们介绍了两个新的创新的PBT式的方法。首先,我们采用基于信赖域的贝叶斯优化,使高维混合超参数搜索空间的全覆盖。其次,我们证明了使用分代方法,我们也可以在一次训练中同时学习架构和超参数。利用新的高度并行化的Brax物理引擎,我们证明了这些创新带来了巨大的性能提升,在动态学习整个配置的同时显著优于调整后的基线。代码可在https://github.com/xingchenwan/bgpbt上获得。
2022-07-19 cs.AI cs.LG
Scilab-RL: A software framework for efficient reinforcement learning and cognitive modeling research
Hamburg University of Technology(汉堡工业大学);Institute for Data Science Foundations(数据科学基础研究所)
针对认知建模与强化学习研究缺乏整合多类功能的模块化工具套件的问题,提出聚焦目标条件强化学习的Scilab-RL软件框架,可降低实验时间成本、提升研究效率。
2024-01-25 cs.AI cs.LG cs.RO
Hyperparameters in Contextual RL are Highly Situational
Leibniz University Hanover(汉诺威莱布尼茨大学)
尽管强化学习(RL)在游戏和仿真中表现出了令人印象深刻的结果,但RL的实际应用在不断变化的环境条件和超参数下会受到其不稳定性的影响。我们给出了这种不稳定性的程度的第一印象,通过自动超参数优化(HPO)方法发现的超参数不仅取决于手头的问题,但即使在如何以及状态描述的环境动态。具体来说,我们表明,在上下文强化学习的代理需要不同的超参数,如果他们显示环境因素如何变化。此外,找到足够的超参数配置对于这两种设置并不同样容易,这进一步突出了研究超参数如何影响RL中的学习和泛化的必要性。
2022-12-21 cs.LG
GRPOformer: Advancing Hyperparameter Optimization via Group Relative Policy Optimization
1College of Information;Electrical Engineering, \ Agricultural University, Beijing 100083, China;Electrical Engineering, \ Agricultural University, Beijing 100083, China 2Key Laboratory of Agricultural Machinery Monitoring
本文提出GRPOformer框架,将分组相对策略优化与Transformer结合用于超参数优化,并引入策略扰动正则化提升训练稳定性,在OpenML上一致优于基线方法。
2025-09-21 cs.LG
Sample-Efficient Automated Deep Reinforcement Learning
University of Freiburg(弗莱堡大学);German Cancer Research Center(德国癌症研究中心);Bosch Center for Artificial Intelligence(博世人工智能中心)
尽管在各个领域的挑战性问题方面取得了重大进展,但由于其对超参数选择的敏感性,应用最先进的深度强化学习(RL)算法仍然具有挑战性。这种敏感性可以部分归因于RL问题的非平稳性,在学习过程的各个阶段可能需要不同的超参数设置。此外,在RL设置中,超参数优化(HPO)需要大量的环境交互,阻碍了RL中的成功转移到现实世界的应用。在这项工作中,我们解决了RL中的样本效率和动态HPO问题。我们提出了一个基于人口的自动强化学习(AutoRL)框架,以元优化任意的非策略强化学习算法。在这个框架中,我们优化超参数和神经结构,同时训练代理。通过在群体中共享收集的经验,我们大大提高了元优化的样本效率。我们在MuJoCo基准测试套件中使用流行的TD3算法的案例研究中展示了我们的样本高效AutoRL方法的能力,与基于人群的训练相比,我们将元优化所需的环境交互数量减少了一个数量级。
2021-03-17 cs.LG stat.ML
Fast Population-Based Reinforcement Learning on a Single Machine
InstaDeep Ltd(InstaDeep有限公司)
在强化学习中,训练智能体群体已经证明了稳定训练、提高探索和渐近性能以及生成一组不同的解决方案的巨大潜力。然而,基于人口的训练通常不被从业者考虑,因为它被认为是非常缓慢的(当顺序实施时),或计算昂贵的(如果代理在独立的加速器上并行训练)。在这项工作中,我们比较了实现并回顾了以前的研究,以表明明智地使用编译和向量化允许基于人口的训练在一台机器上进行,与训练单个代理相比,使用一个加速器具有最小的开销。我们还表明,当提供了一些加速器,我们的协议扩展到大人口规模的应用程序,如超参数调整。我们希望这项工作和我们的代码的公开发布将鼓励从业者更频繁地使用基于人群的学习来进行研究和应用。
2022-06-17 cs.AI cs.LG cs.NE
Deep Reinforcement Learning using Cyclical Learning Rates
University of Stuttgart(斯图加特大学)
深度强化学习(DRL)方法通常依赖于对超参数的细致调整来成功解决问题。在基于随机梯度下降(SGD)的优化过程中,最有影响力的参数之一是学习率。我们研究循环学习,并提出了一种方法来定义一个一般的循环学习率的各种DRL问题。在本文中,我们提出了一种循环学习的方法,适用于复杂的DRL问题。我们的实验表明,利用循环学习可以获得与高度调整的固定学习率相似甚至更好的结果。本文介绍了循环学习率在DRL设置中的首次应用,是克服手动超参数调整的一步。
2020-07-31 cs.LG stat.ML
A Clean Slate for Offline Reinforcement Learning
University of Oxford(牛津大学)
针对离线强化学习因问题定义模糊、算法设计复杂导致的评估不公等问题,提出严格分类法、透明评估协议及简洁实现,开发统一算法Unifloral并推出两种新算法,显著提升性能并简化方法比较。
2025-04-15 cs.AI cs.LG cs.RO
DeepStock: Reinforcement Learning with Policy Regularizations for Inventory Management
Booth School of Business, University of Chicago(芝加哥大学商学院);Taobao & Tmall Group(淘宝与天猫集团);School of Economics, Sichuan University(四川大学经济学院);Graduate School of Business, Columbia University(哥伦比亚大学商学院);School of Operations Research and Information Engineering, Cornell University(康奈尔大学运筹学与信息工程学院)
本文提出通过策略正则化改进深度强化学习在库存管理中的应用,加速超参数调优并提升性能,通过阿里巴巴电商平台的部署和合成实验验证了其有效性。
2026-10-06 cs.AI cs.LG
User-Interactive Offline Reinforcement Learning
Siemens Technology(西门子技术);TU Munich(慕尼黑工业大学)
离线强化学习算法在实践中仍然缺乏信任,这是由于所学习的策略比生成数据集的原始策略表现得更差或以用户不熟悉的意外方式表现的风险。与此同时,离线RL算法无法调整其最重要的超参数-学习策略与原始策略的接近度。我们提出了一种算法,允许用户在运行时调整这个超参数,从而同时解决上述两个问题。这允许用户从原始行为开始,并连续授予更大的偏差,以及在策略恶化或行为与熟悉的行为相差太远时随时停止。
2023-01-25 cs.LG
Evolutionary Reinforcement Learning: A Survey
Southern University of Science and Technology(南方科技大学);Bielefeld University(比勒费尔德大学);University of Surrey(萨里大学)
本文综述进化计算与强化学习融合的进化强化学习(EvoRL),按超参数优化、策略搜索、探索等方向分类,并展望高效方法、基准与平台等未来方向。
2023-08-30 cs.AI cs.LG cs.NE
Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport
Department of Applied Mathematics and Theoretical Physics(应用数学与理论物理系)
本文提出超参数轨迹推断任务,通过学习神经网络在不同超参数下的条件输出分布,构建近似模型以模拟未观测的超参数设置。方法基于条件拉格朗日最优传输,结合流形假设和最少作用原理提升模型可行性。
2026-03-18 cs.AI cs.LG
Towards General-Purpose Model-Free Reinforcement Learning
Meta FAIR
本文提出统一的无模型深度强化学习算法MR.Q,利用基于模型的表示线性化价值函数以获得密集任务目标,同时避免规划成本,在单一超参数下跨基准表现优异。
2025-01-27 cs.AI cs.LG
An Empirical Study on Hyperparameters and their Interdependence for RL Generalization
University of Waterloo(滑铁卢大学);Google Brain(谷歌大脑);MIT(麻省理工学院)
强化学习(RL)的最新研究结果表明,训练环境有限的智能体在许多领域都容易受到大量过拟合的影响。强化学习推广的一个关键挑战是定量解释参数变化对测试性能的影响。这些参数包括架构,正则化,和RL依赖的变量,如折扣因子和行动随机性。我们提供的实证结果表明,超参数和泛化之间的复杂和相互依赖的关系。我们进一步表明,几个经验指标,如梯度余弦相似性和依赖于几何的指标,提供对这些结果的直觉。
2019-06-02 cs.AI cs.LG stat.ML
No More Pesky Hyperparameters: Offline Hyperparameter Tuning for RL
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
强化学习(RL)代理的性能对超参数的选择很敏感。然而,在机器人或工业控制系统等现实环境中,直接在环境中测试不同的超参数配置可能会在经济上受到限制,危险或耗时。我们提出了一种新的方法来调整超参数从离线日志的数据,完全指定的超参数的RL代理,在现实世界中在线学习。该方法在概念上很简单:我们首先从离线数据中学习环境模型,我们称之为校准模型,然后在校准模型中模拟学习以识别有希望的超参数。我们确定了几个标准,使这一战略的有效性,并制定了一种方法,满足这些标准。我们在各种环境中实证研究该方法,以确定它何时有效,何时失败。
2022-05-18 cs.LG