Maximum a Posteriori Policy Optimisation
DeepMind
我们介绍了一种新的强化学习算法，称为最大后验策略优化（MPO）的基础上相对熵目标的坐标上升。我们表明，现有的几种方法可以直接与我们的推导。我们开发了两种非策略算法，并证明了它们在深度强化学习中与最先进的算法具有竞争力。特别是，对于连续控制，我们的方法优于现有的方法方面的样本效率，过早收敛和鲁棒性超参数设置，同时实现类似或更好的最终性能。
2018-06-14 cs.AI cs.IT cs.LG
Dynamic Memory for Interpretable Sequential Optimisation
Apple（苹果公司）
强化学习在推荐和实验中的实际应用面临着一个实际的挑战：不同强盗武器的相对奖励可以在学习代理的生命周期中演变。为了处理这些非平稳的情况下，代理必须忘记一些历史知识，因为它可能不再相关，以尽量减少遗憾。我们提出了一个解决方案来处理非平稳性，适合大规模部署，为业务运营商提供自动化自适应优化。我们的解决方案旨在提供人类可以信任的可解释学习，同时响应非平稳性以最大限度地减少遗憾。为此，我们开发了一个自适应贝叶斯学习代理，采用了一种新的形式的动态记忆。它通过统计假设检验实现可解释性，通过在比较奖励时瞄准统计功率的设定点并动态调整其记忆以实现此功率。通过设计，代理对不同类型的非平稳性是不可知的。使用数值模拟，我们将其性能与现有的建议进行比较，并表明，在多个非平稳的情况下，我们的代理正确地适应真实奖励的真实变化。在所有的bandit解决方案中，在学习和实现最大性能之间存在明确的权衡。与另一种类似的鲁棒方法相比，我们的解决方案在这种权衡上处于不同的位置：我们优先考虑可解释性，这依赖于更多的学习，以一些遗憾为代价。我们描述了一个大规模部署的自动优化作为一种服务，我们的代理实现可解释性，同时适应不断变化的情况下的架构。
2022-06-28 cs.AI cs.LG stat.ML
SB-TRPO: Towards Safe Reinforcement Learning with Hard Constraints
College of Computing and Data Science, Nanyang Technological University, Singapore（南洋理工大学计算学院和数据科学学院，新加坡）；Sony Corporation（索尼公司）
SB-TRPO通过动态平衡成本降低与奖励提升，提供硬约束强化学习的原理性算法，确保安全性和奖励的改进，实验显示其在安全约束下平衡性能最佳。
2026-09-29 cs.AI cs.LG
On-policy Distillation with Verifiable Reward
LeapLab, Tsinghua University（清华大学LeapLab）；Beihang University（北京航空航天大学）；SMS, Peking University（北京大学SMS）；NLPLab, Tsinghua University（清华大学NLPLab）
本研究提出OPDVR方法，无缝结合OPD与RLVR且不增加超参数，经六个推理基准实验验证其性能优于标准OPD。
2026-09-30 cs.AI cs.LG
What Does The User Want? Information Gain for Hierarchical Dialogue Policy Optimisation
Heinrich Heine University Düsseldorf（杜塞尔多夫海因里希·海涅大学）；University of Cambridge（剑桥大学）
面向任务的对话系统的对话管理组件通常经由强化学习（RL）来优化。通过RL进行优化非常容易受到样本效率低下和不稳定的影响。被称为封建对话管理的分层方法通过分解动作空间向更有效的学习迈出了一步。然而，由于只有在对话结束时才提供奖励，它仍然存在不稳定性。我们建议使用基于信息增益的内在奖励来解决这个问题。我们建议的奖励有利于解决不确定性或在必要时询问用户的行为。它使策略能够学习如何有效地检索用户的需求，这是每个面向任务的对话中不可或缺的一个方面。我们的算法，我们称之为FeudalGain，在PyDial框架的大多数环境中实现了最先进的结果，优于更复杂的方法。我们通过仿真实验和人体试验证实了我们的算法的样本效率和稳定性。
2021-09-15 cs.CL cs.LG
Population Based Training of Neural Networks
DeepMind
神经网络在现代机器学习领域占据主导地位，但它们的训练和成功仍然受到对模型架构、损失函数和优化算法等超参数的经验选择的敏感性的影响。在这项工作中，我们提出了\emph{Population Based Training (PBT)}，一个简单的异步优化算法，有效地利用固定的计算预算，共同优化人口的模型和他们的超参数，以最大限度地提高性能。重要的是，PBT发现了一个超参数设置的时间表，而不是遵循通常的次优策略，即试图找到一个用于整个训练过程的固定集合。只需对典型的分布式超参数训练框架进行一个小的修改，我们的方法就可以对模型进行鲁棒和可靠的训练。我们证明了PBT在深度强化学习问题上的有效性，通过优化一套超参数，显示出更快的挂钟收敛和更高的代理最终性能。此外，我们还展示了同样的方法可以应用于机器翻译的监督学习，其中PBT用于直接最大化BLEU分数，以及生成对抗网络的训练，以最大化生成图像的初始分数。在所有情况下，PBT都会自动发现超参数计划和模型选择，从而实现稳定的训练和更好的最终性能。
2017-11-28 cs.LG cs.NE
Hyperparameter Trajectory Inference with Conditional Lagrangian Optimal Transport
Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系）
本文提出超参数轨迹推断任务，通过学习神经网络在不同超参数下的条件输出分布，构建近似模型以模拟未观测的超参数设置。方法基于条件拉格朗日最优传输，结合流形假设和最少作用原理提升模型可行性。
2026-03-18 cs.AI cs.LG
Fast Efficient Hyperparameter Tuning for Policy Gradients
University of Oxford（牛津大学）
策略梯度方法的性能对必须针对任何新应用程序进行调优的超参数设置很敏感。用于调整超参数的广泛使用的网格搜索方法是样本效率低且计算昂贵的。更先进的方法，如基于人口的训练，学习超参数的最佳时间表，而不是固定的设置，可以产生更好的结果，但也是样本效率低，计算成本高。在本文中，我们提出了Hyperparameter Optimization on the Fly（HOOF），这是一种无梯度算法，它只需要一次训练就可以自动调整直接通过梯度影响策略更新的超参数。其主要思想是使用现有的轨迹采样的策略梯度方法来优化一步改进目标，产生一个样本和计算效率高的算法，易于实现。我们在多个领域和算法上的实验结果表明，使用HOOF来学习这些超参数计划可以提高学习速度和性能。
2019-09-17 cs.LG stat.ML
Automatic model training under restrictive time constraints
School of Mathematics, University of Leeds（利兹大学数学学院）；The Alan Turing Institute（阿兰·图灵研究所）
提出AutoBCT算法，在受限时间下平衡模型质量与调优成本，通过马尔可夫决策过程在每个训练轮次决定终止或继续训练，并在随机森林和神经网络上验证性能。
2021-04-21 cs.LG stat.ML
Reward Model Overoptimisation in Iterated RLHF
UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）；Department of Computer Science（计算机科学系）；University College London（伦敦大学学院）；UK AI Security Institute（英国人工智能安全研究所）；Department of Computer Science and Engineering（计算机科学与工程系）；University of Bologna（博洛尼亚大学）
本文首次系统研究迭代式 RLHF 中的奖励模型过度优化，分析数据迁移、奖励函数与策略初始化选择，并基于 AlpacaFarm 给出稳定流程设计洞见。
2025-09-29 cs.AI cs.CL cs.LG
Reinforcement-based Simultaneous Algorithm and its Hyperparameters Selection
ITMO University（ITMO大学）
存在许多用于数据分析的算法，特别是用于分类问题。要解决数据分析问题，需要选择合适的算法，也需要选择其超参数。在本文中，我们提出了一个新的方法，同时选择一个算法和它的超参数。为了做到这一点，我们把这个问题简化为多臂强盗问题。我们把算法看作一个手臂，在一定时间内搜索算法超参数作为相应的手臂动作。我们还提出了一个特定问题的奖励功能。我们在10个真实数据集上进行了实验，并将所提出的方法与Auto-WEKA中实现的现有方法进行了比较。结果表明，我们的方法在大多数情况下都明显优于Auto-WEKA。
2016-11-07 cs.AI cs.LG stat.ML
QuantFPFlow: Quantum Amplitude Estimation for Fokker--Planck Policy Optimisation in Continuous Reinforcement Learning
AI-WEINBERG, AI Experts（AI-WEINBERG人工智能专家）
QuantFPFlow通过量子振幅估计提升连续强化学习中Fokker-Planck策略优化的效率，实现算法复杂度从O(1/ε²)到O(1/ε)的平方加速，并在多模态奖励景观中发现全局最优解。
2026-05-14 cs.AI cs.LG
On-Policy Trust Region Policy Optimisation with Replay Buffers
Department of Computer Science, University of Exeter（埃克塞特大学计算机科学系）；University of Exeter（埃克塞特大学）
基于最近深度强化学习方法的成功，我们研究了通过重用来自多个连续策略的数据来改进策略上强化学习的可能性。基于策略的方法带来了许多好处，例如能够评估每个结果策略。然而，他们通常抛弃了所有关于以前存在的政策的信息。在这项工作中，我们提出了自适应的重放缓冲区的概念，借用了离策略学习设置，创建的方法，结合的优势，和离策略学习。为了实现这一点，所提出的算法概括的$Q$，价值和优势函数的数据从多个政策。该方法使用信赖域优化，同时避免了TRPO或ACKTR等算法的一些常见问题：它使用超参数代替信赖域选择算法，以及可训练协方差矩阵代替固定协方差矩阵。在许多情况下，该方法不仅改善了结果相比，最先进的信任区域同策略学习算法，如PPO，ACKTR和TRPO，但也相对于他们的非策略对应DDPG。
2019-01-18 cs.AI cs.LG stat.ML
Adaptive Pairwise Weights for Temporal Credit Assignment
University of Michigan（密歇根大学）；University of Oxford（牛津大学）
在一个州采取的行动应该得到多少信用（或责备）来换取未来的奖励？这是强化学习（RL）中基本的时间信用分配问题。最早也是最广泛使用的一种算法是基于标量系数$λ$（被视为超参数）来分配信用，该系数被提升到状态动作和奖励之间的时间间隔的幂。在这篇实证论文中，我们探索了基于更一般的成对权重的奖励策略，这些权重是采取行动时的状态、奖励时的状态以及两者之间的时间间隔的函数。当然，这些成对权重函数应该是什么还不清楚，因为它们太复杂而不能被视为超参数，我们开发了一个元梯度过程，用于在策略的常规RL训练期间学习这些权重函数。我们的实证工作表明，它往往是可以学习这些成对的权重函数在学习的政策，以实现更好的性能比竞争的方法。
2022-06-06 cs.AI cs.LG
Put CASH on Bandits: A Max K-Armed Problem for Automated Machine Learning
Department of Computer Science, University of Tübingen（图宾根大学计算机科学系）
针对AutoML领域的CASH资源分配难题，本文提出适配轻尾有界奖励分布的最大k臂老虎机方法MaxUCB，在四个标准AutoML基准上验证其性能优于现有方法，并开源了代码与数据。
2025-11-19 cs.AI cs.LG
ODIN: Disentangled Reward Mitigates Hacking in RLHF
University of YYY（YYY大学）；Institute of WWW（WWW研究所）
研究RLHF中基于响应长度的奖励作弊问题，提出通过联合训练与长度相关及去相关的两个线性头并丢弃长度头来改进奖励模型，有效消除奖励与长度的相关性并显著提升策略质量。
2024-02-11 cs.AI cs.CL cs.LG
Decoupled Reinforcement Learning to Stabilise Intrinsically-Motivated Exploration
University of Edinburgh（爱丁堡大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
内在奖励可以改善强化学习中的探索，但探索过程可能会受到非平稳奖励塑造和对超参数的强烈依赖所引起的不稳定性的影响。在这项工作中，我们引入了解耦RL（DeRL）作为一个通用框架，它为内在动机的探索和开发训练单独的策略。这种解耦允许DeRL利用探索的内在奖励的好处，同时展示改进的鲁棒性和样本效率。我们评估DeRL算法在两个稀疏奖励环境中具有多种类型的内在奖励。我们的研究结果表明，DeRL是更强大的变化规模和衰减率的内在奖励和收敛到相同的评估回报比内在动机的基线在更少的互动。最后，我们讨论了分布偏移的挑战，并表明发散约束调节器可以成功地减少勘探和开采政策的发散所造成的不稳定性。
2022-02-09 cs.AI cs.LG
Maximum Entropy On-Policy Actor-Critic via Entropy Advantage Estimation
School of Electrical Engineering（电气工程学院）；Korea University（高丽大学）
本文提出一种将熵目标从MaxEnt RL目标中分离的简单方法，解决了同策略演员-评论家设置中熵奖励管理困难的问题，在MuJoCo和Procgen任务中提升了PPO和TRPO的性能与泛化能力。
2024-07-25 cs.AI cs.LG
Reinforcement Learning with a Corrupted Reward Channel
Australian National University（澳大利亚国立大学）；DeepMind
现实世界中没有一个奖励函数是完美的。感官错误和软件错误可能会导致RL代理观察到比他们应该的更高（或更低）的奖励。例如，一个强化学习代理可能更喜欢感觉错误给它最大奖励的状态，但真正的奖励实际上很小。我们正式这个问题作为一个广义马尔可夫决策问题，称为腐败奖励MDP。传统的RL方法在CRMDPs中表现不佳，即使在强简化假设下，以及试图补偿可能的腐败奖励时。围绕这个问题的两种方法进行了研究。首先，通过给予智能体更丰富的数据，例如在逆强化学习和半监督强化学习中，有时可以完全管理源于系统感觉错误的奖励腐败。其次，通过使用随机化来削弱代理的优化，可以在某些假设下部分管理奖励腐败。
2017-08-19 cs.AI cs.LG stat.ML
Pixel-wise RL on Diffusion Models: Reinforcement Learning from Rich Feedback
Solofied Ltd.（索洛菲德有限公司）
针对DDPO仅有最终图像奖励导致的稀疏奖励与高样本需求，本文提出PXPO算法，将像素级反馈纳入扩散模型强化学习，以更精细的奖励优化策略。
2024-04-05 cs.CV cs.LG
HAMLET -- A Learning Curve-Enabled Multi-Armed Bandit for Algorithm Selection
NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）
自动算法选择和超参数调整促进了机器学习的应用。传统的多臂强盗策略着眼于观察到的回报的历史，以确定最有前途的武器，以优化预期的总回报在长期内。当考虑到有限的时间预算和计算资源时，这种对奖励的向后看法是不合适的，因为强盗应该展望未来，在指定的时间预算结束时预测最高的最终奖励。这项工作通过引入HAMLET来解决这一问题，HAMLET通过学习曲线外推和计算时间意识来扩展Bandit方法，以便在一组机器学习算法中进行选择。结果表明，HAMLET变体1-3在实验中表现出与其他基于带宽的算法选择策略相同或更好的性能，对于大多数考虑的时间预算，记录超参数调整轨迹。性能最佳的HAMLET变体3将学习曲线外推与众所周知的置信上限探索奖金相结合。该变体的性能优于所有非HAMLET策略，在1，485次运行中具有95%的统计显著性。
2020-05-28 cs.AI cs.LG stat.ML
Adapting the Behavior of Reinforcement Learning Agents to Changing Action Spaces and Reward Functions
Trinity College Dublin（都柏林三一学院）
MORPHIN通过动态调整超参数和概念漂移检测，实现强化学习智能体在变化的奖励函数和动作空间中的自适应学习，提升收敛速度和学习效率。
2026-01-28 cs.AI cs.LG
Evolving Rewards to Automate Reinforcement Learning
Robotics at Google（谷歌机器人）
许多连续控制任务都很容易制定目标，但在强化学习（RL）中直接将其作为奖励会导致次优策略。因此，许多经典的控制任务使用复杂的奖励来指导RL训练，这需要繁琐的手动调整。我们使用AutoRL自动化奖励搜索，AutoRL是标准RL上的一个进化层，它将奖励调整视为超参数优化，并训练RL代理的种群以找到最大化任务目标的奖励。AutoRL在两种RL算法的四个Mujoco连续控制任务上进行了评估，显示出比基线的改进，对于更复杂的任务有最大的提升。该视频可以在以下网址找到：\url{https://youtu.be/svdaOFfQyC8}。
2019-05-18 cs.AI cs.LG cs.NE
Using Deep Q-Learning to Control Optimization Hyperparameters
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了强化学习状态、动作和报酬函数的新定义，允许深度Q网络（DQN）学习控制优化超参数。使用Q学习与经验重放，我们训练两个DQN接受一个目标函数的状态表示作为输入，并输出预期的折扣回报，或q值，连接到调整学习率或保持不变的动作。这两个DQN学习类似于线搜索的策略，但在允许的动作数量上有所不同。经训练的DQN与基于梯度的更新例程相结合形成Q梯度下降算法的基础。为了证明这个框架的可行性，我们表明，DQN的q值与最佳的行动收敛和Q-梯度下降算法优于梯度下降与Armijo或非单调线搜索。与传统的最优化方法不同，Q-梯度下降可以包含任何客观统计量，通过改变动作，我们可以深入了解成功进行神经网络优化的学习率调整策略的类型。
2016-06-19 cs.LG math.OC
IEO: Intelligent Evolutionary Optimisation for Hyperparameter Tuning
Turing Intelligence Technology, UK（英国图灵智能技术公司）；Nanjing University, China（中国南京大学）
超参数优化是寻找最优机器学习模型的关键过程。在最近的研究中，寻找最佳超参数设置的效率一直是一个很大的问题，因为优化过程可能是耗时的，特别是当目标函数的评估非常昂贵时。在本文中，我们介绍了一种智能进化优化算法，它适用于机器学习技术的传统进化算法，以加快整体优化过程的调整机器学习模型的分类问题。我们展示了我们的智能进化优化（IEO）在一系列的控制实验，与传统的进化优化超参数调整。实证研究表明，我们的方法平均加快了30.40%的优化速度，在最好的情况下，最高可达77.06%。
2020-09-10 cs.LG cs.NE
Learning to Explore in Diverse Reward Settings via Temporal-Difference-Error Maximization
本文提出 Stable Error-seeking Exploration（SEE），通过将 TD-error 最大化作为独立目标并设计三项稳定机制，使 Soft-Actor Critic 无需调参即可适应稠密、稀疏和不利于探索的奖励设置。
2025-10-14 cs.LG
QF-tuner: Breaking Tradition in Reinforcement Learning
University of Technology（理工大学）；University of Kurdistan Hewlêr（库尔德斯坦休勒尔大学）
本文提出 QF-tuner，利用 FOX 优化算法和奖励优先的目标函数自动调优 Q-learning 超参数，并在 CartPole 与 FrozenLake 上显著提升奖励、缩短学习时间。
2025-03-18 cs.AI cs.LG cs.NE
Reinforcement Learning with Reward Machines for Sleep Control in Mobile Networks
Ericsson Research（爱立信研究院）
本文提出利用奖励机强化学习优化移动网络睡眠控制，在保障服务质量的前提下平衡即时节能与长期影响。
2026-04-08 cs.AI cs.LG
Uncertainty-aware Reward Design Process
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Beijing Normal University（北京师范大学）；Tilburg University（蒂尔堡大学）
本文提出不确定性感知的奖励设计过程（URDP），通过大语言模型自一致性分析量化奖励函数不确定性，并结合不确定性感知贝叶斯优化与双层优化架构，在35个任务上显著提升了自动化奖励设计的质量和效率。
2025-07-03 cs.LG cs.RO
rl_reach: Reproducible Reinforcement Learning Experiments for Robotic Reaching Tasks
University College Dublin（都柏林大学学院）；Resero Ltd（雷塞罗有限公司）；Universidad de León（莱昂大学）
训练强化学习智能体解决给定任务高度依赖于识别最优超参数集和选择合适的环境输入/输出配置。这个繁琐的过程可以通过一个简单的工具箱来简化，允许用户快速比较不同的训练参数集。我们提出了rl_reach，一个独立的，开源的和易于使用的软件包，旨在运行可重复的强化学习实验，可定制的机器人达到任务。rl_reach将训练环境、代理、超参数优化工具和策略评估脚本打包在一起，允许其用户快速调查和确定最佳训练配置。rl_reach可在此URL上公开获得：https://github.com/PierreExeter/rl_reach。
2021-03-01 cs.AI cs.LG cs.RO
Understanding Likelihood Over-optimisation in Direct Alignment Algorithms
University College London（伦敦大学学院）；Cohere（Cohere公司）
本文研究直接对齐算法中补全似然与模型性能的关系，发现似然过度优化会损害泛化，并提出基于Top-k熵和概率质量递减的两个指标来检测并防止性能下降。
2024-10-18 cs.AI cs.CL cs.LG
MGDA-Decoupled: Geometry-Aware Multi-Objective Optimisation for DPO-based LLM Alignment
Prescient Design, CS CoE, Genentech | Roche（预见设计，计算机科学学院，基因泰克 | 罗氏）
本文提出MGDA-Decoupled算法，通过几何方法在DPO框架内实现更公平的多目标优化，实验显示其在UltraFeedback数据集上表现最优。
2026-04-22 cs.LG
DreamerV3 for Traffic Signal Control: Hyperparameter Tuning and Performance
College of Urban Transportation and Logistics, Shenzhen Technology University（深圳技术大学城市交通与物流学院）
本文使用DreamerV3算法训练走廊交通信号控制模型，通过SUMO平台调优训练比率和模型大小，发现较小模型与中等训练比率能显著减少调优时间，且该方法具有跨场景的普遍适用性。
2025-03-04 cs.LG
Transformable Gaussian Reward Function for Socially-Aware Navigation with Deep Reinforcement Learning
Kyung Hee University（庆熙大学）
针对社会感知导航中奖励函数设计困难的问题，本文提出可变换高斯奖励函数（TGRF），以降低超参数调优负担、提升适应性并加速深度强化学习在拥挤环境中的学习效率。
2024-06-06 cs.AI cs.RO
Intrinsic Rewards from Self-Organizing Feature Maps for Exploration in Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Norwegian University of Science and Technology（挪威科技大学）
我们为使用自组织特征映射计算的深度强化学习方法引入了探索奖金。我们的方法使用自适应共振理论（ART）提供在线，无监督聚类来量化状态的新颖性。该启发式算法用于将内在奖励添加到外在奖励信号，然后优化代理以最大化这两个奖励的总和。我们发现，这种方法能够在与ICM arXiv：1705.05464相当数量的训练时期后以人类水平玩游戏Ordeal。使用RND arXiv：1810.12894增强的代理无法在我们的超参数空间中实现相同的性能水平。
2023-02-06 cs.LG
A General Theoretical Paradigm to Understand Learning from Human Preferences
Google DeepMind（谷歌DeepMind）
本文提出了一种名为ΨPO的通用目标函数，用于从人类偏好中学习，该函数以成对偏好表示，从而绕过了现有RLHF和DPO方法所依赖的两个关键近似，并通过对ΨPO特例的深入分析与优化，证明了其相对DPO的经验优越性。
2023-11-22 cs.AI cs.LG stat.ML
Bayesian Nonparametric Thompson Sampling for Multi-Armed Bandits
Columbia University（哥伦比亚大学）
该研究针对多臂老虎机问题，提出贝叶斯非参数汤普森采样算法，无需指定奖励模型参数形式，实验表明其后悔性能与Oracle TS相当，且在多种奖励分布场景下优于现有算法。
2026-10-14 cs.LG stat.CO stat.ML
On the Importance of Hyperparameter Optimization for Model-based Reinforcement Learning
University of Freiburg（弗赖堡大学）；Facebook AI Research（Facebook AI研究院）；UC Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）；Bosch Center for AI（博世人工智能中心）
基于模型的强化学习（MBRL）是一种很有前途的数据高效学习控制框架。由于单独的动力学建模和随后的规划算法，MBRL算法可能相当复杂，因此，它们通常拥有数十个超参数和架构选择。因此，MBRL在应用于新问题和领域之前通常需要大量的人力专业知识。为了缓解这个问题，我们建议使用自动超参数优化（HPO）。我们证明，这个问题可以有效地解决自动HPO，我们证明，产生显着提高性能相比，人类专家。此外，我们还表明，与使用在整个训练过程中保持固定的静态超参数相比，动态调整多个MBRL超参数（即在训练过程中）进一步提高了性能。最后，我们的实验为几个超参数的影响提供了有价值的见解，例如计划范围或学习率及其对训练稳定性和所得奖励的影响。
2021-02-26 cs.AI cs.LG cs.NE
Obeying the Order: Introducing Ordered Transfer Hyperparameter Optimisation
University of Edinburgh（爱丁堡大学）；AWS AI Labs（AWS人工智能实验室）
本文提出有序迁移超参数优化（OTHPO），假设任务按顺序且与前一任务最相关，提出基本方法并在十个基准上验证其优于现有迁移HPO，同时开源基准以促进研究。
2023-06-29 cs.LG
On discretisation drift and smoothness regularisation in neural network training
University College London（伦敦大学学院）
本文研究了深度学习中梯度下降的离散化漂移问题，推导了新型连续时间流以描述学习率特定行为，并提出了无需额外超参数的稳定性缓解策略，同时揭示了平滑性正则化与优化在多领域的交互作用。
2023-10-21 cs.LG stat.ML
HyperController: A Hyperparameter Controller for Fast and Stable Training of Reinforcement Learning Neural Networks
Department of Electrical and Systems Engineering, Washington University in St. Louis（电气与系统工程系，华盛顿大学圣路易斯分校）
提出HyperController算法，将超参数优化建模为线性高斯动态系统并利用Kalman滤波器学习目标函数，实现了强化学习神经网络快速稳定的训练与部署。
2025-04-27 cs.LG cs.SY eess.SY
Scalable One-Pass Optimisation of High-Dimensional Weight-Update Hyperparameters by Implicit Differentiation
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
机器学习训练方法复杂而复杂地依赖于超参数，从而激励自动化策略对其进行优化。许多现有的算法重新开始训练每个新的超参数选择，在相当大的计算成本。存在一些基于超梯度的一次通过方法，但这些方法要么不能应用于任意优化的超参数（如学习率和动量），要么需要比基本模型长几倍的训练时间。我们扩展了这些现有的方法，开发了一个近似的基于超梯度的超参数优化器，该优化器适用于出现在可微模型权重更新中的任何连续超参数，但只需要一个训练集，无需重新启动。我们还提供了一个激励的论点收敛到真正的超梯度，并执行易于处理的基于梯度的优化独立的学习率为每个模型参数。我们的方法在几个UCI数据集和Fashion-MNIST（使用单层MLP），Penn Treebank（使用LSTM）和CIFAR-10（使用ResNet-18）上的各种随机超参数初始化中具有竞争力，在时间上仅比vanilla训练大2- 3倍。
2022-04-21 cs.LG stat.ML
A Genetic Algorithm with Tree-structured Mutation for Hyperparameter Optimisation of Graph Neural Networks
Heriot-Watt University（赫瑞-瓦特大学）
近年来，图神经网络（GNNs）由于具有处理图相关问题的优异能力而受到越来越多的关注。在实践中，超参数优化（HPO）对于GNN实现令人满意的结果至关重要，但这个过程成本很高，因为不同超参数设置的评估需要过度训练许多GNN。已经提出了许多方法HPO，其目的是有效地识别有前途的超参数。特别地，已经探索了用于HPO的遗传算法（GA），其将GNN视为黑盒模型，给定一组超参数，只能观察其输出。然而，由于GNN模型非常复杂，并且对GNN上的超参数进行评估非常昂贵，因此GA需要先进的技术来平衡搜索的探索和利用，并在有限的计算资源下使优化更加有效。因此，我们提出了一个树结构的变异策略，遗传算法来缓解这个问题。同时，我们回顾了HPO的最新研究成果，为树结构的思想提供了发展的空间，希望我们的方法能在未来进一步完善这些HPO方法。
2021-04-28 cs.LG cs.NE
Learning Non-Markovian Reward Models in MDPs
KU Leuven（鲁汶大学）；Université Libre de Bruxelles（布鲁塞尔自由大学）
在某些情况下，代理人只有在完成了一系列先前的任务后才能获得奖励。换句话说，代理人收到的奖励是非马尔可夫的。一种自然且相当普遍的表示历史相关奖励的方法是通过Mealy机;一种有限状态自动机，从输入序列（在我们的情况下是状态/动作观察）产生输出序列（在我们的情况下是奖励）。在我们的正式设置中，我们考虑一个马尔可夫决策过程（MDP），模型的动态环境中，代理的演变和Mealy机与此MDP同步，正式的非马尔可夫奖励函数。虽然代理知道MDP，但代理不知道奖励函数，必须学习。学习非马尔可夫奖励函数是一个挑战。我们的方法来克服这个具有挑战性的问题是一个精心组合的Angluin的L* 主动学习算法学习有限自动机，测试技术建立符合有限模型假设和优化技术计算最佳策略，在马尔可夫（即时）奖励MDPs。我们还展示了我们的框架可以与经典的算法，如蒙特卡罗树搜索。我们说明了我们的算法和人工智能的两个典型例子的初步实现。
2020-01-25 cs.AI
3D UAV Trajectory and Data Collection Optimisation via Deep Reinforcement Learning
Queen’s University Belfast（贝尔法斯特女王大学）；Ho Chi Minh City University of Technology and Education（胡志明市技术教育大学）；Tyndall National Institute（廷德尔国家研究所）；University of Southampton（南安普顿大学）
为了提高无线通信的网络性能和覆盖范围，现在开始部署无人机（UAV）。然而，由于其机载功率和飞行时间的限制，这是具有挑战性的，以获得一个最佳的资源分配方案，无人机辅助物联网（IoT）。在本文中，我们设计了一种新的无人机辅助物联网系统，该系统依赖于无人机的最短飞行路径，同时最大限度地提高从物联网设备收集的数据量。然后，设想了一种基于深度强化学习的技术，用于在特定覆盖区域中找到最佳轨迹和吞吐量。经过训练后，无人机能够以显著的总速率提高自主收集来自用户节点的所有数据，同时最大限度地减少所使用的相关资源。提供的数值结果，以突出我们的技术如何达到的吞吐量，轨迹和所花费的时间之间的平衡。更明确地说，我们在无人机轨迹，预期的回报和总的总和率方面的可达到的性能。
2021-06-06 cs.AI cs.LG eess.SP
Ranked Reward: Enabling Self-Play Reinforcement Learning for Combinatorial Optimization
InstaDeep（InstaDeep公司）
当与结合了深度神经网络和树搜索的强化学习算法一起使用时，双人游戏中的对抗性自我游戏产生了令人印象深刻的结果。像AlphaZero和Expert Iteration这样的算法学习tabula-rasa，在飞行中产生高度信息化的训练数据。然而，自玩训练策略并不直接适用于单人游戏。最近，几个实际上重要的组合优化问题，如旅行商问题和装箱问题，已被重新表述为强化学习问题，增加了重要性，使自我发挥的好处超越两个玩家的游戏。我们提出了排名奖励（R2）算法，它通过对单个代理在多个游戏中获得的奖励进行排名来创建相对性能指标。将R2算法应用于二维和三维装箱问题的实例表明，它优于一般的蒙特卡罗树搜索，启发式算法和整数规划求解器。我们还提出了一个分析的排名奖励机制，特别是不同的难度和不同的排名阈值的问题实例的影响。
2018-12-06 cs.AI cs.LG stat.ML
Optimising Call Centre Operations using Reinforcement Learning: Value Iteration versus Proximal Policy Optimisation
The University of Adelaide（阿德莱德大学）
该研究将呼叫中心路由建模为 MDP，比较 VI 与结合 DES 和 OpenAI Gym 的 PPO，实验表明 PPO 在1,000个测试回合中表现最优。
2025-07-24 cs.AI
Optimal Reward Shaping: Autonomous Car Parking Case Study
研究非完整约束下无模型强化学习奖励函数设计难题，提出含覆盖门控对齐反馈等的参数化奖励塑造框架，通过联合元优化及基于代理的贝叶斯优化，优化后的深度Q网络代理在停车任务中表现出色。
2026-07-28 cs.LG math.OC
Scalable Multi-Objective Robot Reinforcement Learning through Gradient Conflict Resolution
School of Electrical Engineering and Computer Science, University of Queensland（电气工程与计算机科学学院，昆士兰大学）；Data61
本文提出 GCR-PPO，通过多头评论家将演员更新分解为按目标划分的梯度并按目标优先级解决冲突，在 IsaacLab 基准上以平均 9.5% 的改进实现了优于并行 PPO 的可扩展多目标机器人强化学习。
2025-09-18 cs.LG cs.RO
Reinforcement Learning with a Bilevel World-Model Architecture for Scan-Order Optimisation in Laser Directed Energy Deposition
College of Engineering, Design and Physical Sciences, Brunel University London（布鲁内尔大学伦敦工程、设计与物理科学学院）；Pattern Recognition Laboratory, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别实验室）；ISIS Neutron and Muon Source, Science and Technology Facilities Council, Rutherford Appleton Laboratory（Rutherford Appleton实验室，科学与技术设施委员会ISIS中子与μ子源）
本文提出一个双层代理-有限元分析诊断框架，通过轻量代理和稀疏有限元模拟，诊断强化学习在激光增材制造扫描顺序优化中的奖励和世界模型保真度问题。
2026-06-28 cond-mat.mtrl-sci cs.LG
Forward and inverse reinforcement learning sharing network weights and hyperparameters
ATR Computational Neuroscience Laboratories（ATR计算神经科学实验室）；Okinawa Institute of Science and Technology Graduate University（冲绳科学技术大学院大学）
本文提出了一种无模型的模仿学习，称为熵正则化模仿学习（ERIL），最大限度地减少反向Kullback-Leibler（KL）分歧。ERIL在熵正则化马尔可夫决策过程的框架下结合了正向和反向强化学习（RL）。逆RL步骤通过评估两个二进制鉴别器来计算两个分布之间的对数比。第一个识别器将前向RL步骤生成的状态与专家的状态区分开来。第二种方法利用熵正则化理论构造，将学习者产生的状态-动作-下一状态元组与专家元组区分开来。一个值得注意的特点是第二个递归函数与前向递归函数共享超参数，这可以用来控制递归函数的能力。前向RL步骤最小化由逆RL步骤估计的逆KL。我们表明，最小化反向KL分歧相当于找到一个最优的政策。我们的实验结果MuJoCo模拟环境和基于视觉的机械臂达到任务表明，ERIL是更有效的样本比基线方法。我们将该方法应用于执行杆平衡任务的人类行为，并描述了估计的奖励函数如何显示每个受试者如何实现她的目标。
2022-05-31 cs.AI cs.LG cs.RO
Evolutionary Reinforcement Learning: A Survey
Southern University of Science and Technology（南方科技大学）；Bielefeld University（比勒费尔德大学）；University of Surrey（萨里大学）
本文综述进化计算与强化学习融合的进化强化学习（EvoRL），按超参数优化、策略搜索、探索等方向分类，并展望高效方法、基准与平台等未来方向。
2023-08-30 cs.AI cs.LG cs.NE
Deep Reinforcement Learning and Convex Mean-Variance Optimisation for Portfolio Management
University of the Witwatersrand（金山大学）
传统的投资组合管理方法可以结合特定的投资者偏好，但依赖于对资产收益和协方差的准确预测。强化学习（RL）方法不依赖于这些明确的预测，更适合多阶段决策过程。为了解决评估研究的局限性，我们在总体趋势不同的不同经济体的三个市场进行了实验。通过将特定的投资者偏好纳入我们的RL模型的奖励函数中，可以在风险收益空间中与传统方法进行更全面的比较。交易成本的模型也更现实，包括市场波动和交易量引起的非线性变化。这项研究的结果表明，在某些市场条件下，与传统的凸均值-方差优化方法相比，使用RL方法可能具有优势。我们的RL模型在上升趋势市场中的表现可以显著优于传统的单期优化（SPO）和多期优化（MPO）模型，但仅限于特定的风险限制。在横向趋势市场中，SPO和MPO模型的表现可以与我们的RL模型在大多数测试的超额风险范围内紧密匹配。在特定的市场条件下，这些模型可以胜过对方突出的重要性，更全面的比较帕累托最优边界的风险回报空间。这些前沿领域让投资者更细致地了解哪些模型可能为他们特定的风险承受能力或回报目标提供更好的表现。
2022-02-13 cs.LG q-fin.PM
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是指一套用于全局优化昂贵的黑盒函数的技术，它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序，但现代优化任务带来了新的挑战，传统方法通常会失败。在这项工作中，我们介绍了Dragonfly，一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法，允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法，用于处理高维域，用于处理多保真度评估的方法时，廉价的近似昂贵的功能是可用的，方法优化结构化的组合空间，如空间的神经网络架构，并处理并行评估的方法。此外，我们在BO中开发了新的方法改进，用于选择贝叶斯模型，选择采集函数，并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化，并证明，当上述方法集成，它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
