Join Query Optimization with Deep Reinforcement Learning Algorithms
Zurich University of Applied Sciences（苏黎世应用科技大学）
连接查询优化是一项复杂的任务，是查询处理性能的核心。实际上它属于NP难问题。传统的查询优化器使用动态规划（DP）方法结合一组规则和限制，以避免穷举所有可能的连接顺序。然而，DP方法是非常资源密集的。此外，由于简化假设的属性独立性，传统的查询优化依赖于错误的成本估计，这可能会导致次优的查询计划。深度强化学习（DRL）最近的成功为查询优化领域解决上述问题创造了新的机会。在本文中，我们提出了我们的DRL为基础的完全观察优化（FOOP），这是一个通用的查询优化框架，使插件在不同的机器学习算法。FOOP的主要思想是使用一个数据自适应学习查询优化器，它避免了连接顺序的穷举，因此比基于动态规划的传统方法快得多。特别是，我们评估各种DRL算法，并表明，近端策略优化显着优于Q-学习算法。最后，我们展示了集成学习技术结合DRL可以进一步提高查询优化器。
2019-11-26 cs.AI cs.DB cs.LG
Spectral-Driven Adaptive-Rank Optimizer for Large Language Model Reinforcement Learning with Verifiable Rewards
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
该研究针对带可验证奖励的大语言模型强化学习，提出Ares自适应秩优化器，利用梯度谱结构自适应调整更新秩，提升了模型准确率且具有算法与任务泛化性。
2026-10-14 cs.CL cs.LG
Towards an Adaptable and Generalizable Optimization Engine in Decision and Control: A Meta Reinforcement Learning Approach
Mississippi State University（密西西比州立大学）；Purdue University（普渡大学）
针对非平稳环境中 MPC 控制器更新对适应性和泛化能力的需求，提出基于元强化学习学习优化器，无需专家示范即可在未见任务中实现快速适应。
2024-01-04 cs.LG
Deep Reinforcement Learning for Join Order Enumeration
Brandeis University（布兰迪斯大学）
连接顺序选择在查询性能中起着重要的作用。但是，现代查询优化器通常使用静态连接枚举算法，这些算法不会接收有关结果计划质量的任何反馈。因此，优化者经常重复选择相同的坏计划，因为他们没有“从错误中学习”的机制。在本文中，我们认为现有的深度强化学习技术可以应用于解决这一挑战。这些技术由人工神经网络驱动，可以通过整合成功和失败的反馈来自动改进决策。为了实现这一目标，我们提出了ReJOIN，一个概念验证连接枚举器，并提出了初步的结果表明，ReJOIN可以匹配或优于PostgreSQL优化器的计划质量和连接枚举效率。
2018-03-12 cs.DB cs.LG
TAdam: A Robust Stochastic Gradient Optimizer
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
机器学习算法的目标是从观测中发现模式，其中可能包括一些噪声，特别是在机器人领域。为了在这种噪声下也能表现良好，我们希望它们能够检测出异常值，并在需要时丢弃它们。因此，我们提出了一种新的随机梯度优化方法，其鲁棒性直接建立在算法中，使用强大的学生-t分布作为其核心思想。亚当，流行的优化方法，修改与我们的方法和由此产生的优化器，所谓的TAdam，被证明有效地优于亚当在不同的任务，从回归和分类的强化学习问题的噪声鲁棒性。我们的算法的实现可以在https://github.com/Mahoumaru/TAdam.git上找到
2020-03-03 cs.LG stat.ML
Lane-Merging Using Policy-based Reinforcement Learning and Post-Optimization
fortiss GmbH（福蒂思有限公司）；Technische Universität München（慕尼黑工业大学）
许多当前的行为生成方法难以处理真实世界的交通情况，因为它们不能很好地扩展复杂性。然而，可以使用数据驱动的方法离线学习行为。特别是，强化学习是有前途的，因为它隐含地学习如何利用收集的经验的行为。在这项工作中，我们将基于策略的强化学习与局部优化相结合，以培养和综合这两种方法中最好的一种。基于策略的强化学习算法为后期优化提供了初始解和指导性参考。因此，优化器只需计算单个同伦类，例如\在另一辆车的后面或前面行驶。通过在强化学习期间存储状态历史，它可以用于约束检查，优化器可以考虑交互。后优化还充当安全层，因此，该新方法可以应用于安全关键应用中。我们评估所提出的方法使用变道的情况下，不同数量的车辆。
2020-03-06 cs.AI cs.LG cs.MA
Revisiting Estimation Bias in Policy Gradients for Deep Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent Inc.（腾讯公司）；The University of Manchester（曼彻斯特大学）
本文从深度强化学习（DRL）的角度重新审视了折扣情景马尔可夫决策过程（MDP）的策略梯度估计偏差。理论上，该目标被表述为在时间范围内贴现的预期收益。一个主要的策略梯度偏差是状态分布偏移：用于估计梯度的状态分布与理论公式不同，因为它没有考虑贴现因子。现有关于该偏倚影响的讨论仅限于文献中的表格和softmax病例。因此，在本文中，我们将其扩展到DRL设置的政策参数化，并证明这种偏见如何可能导致次优政策理论。然后，我们讨论了为什么经验不准确的实现与移位状态分布仍然是有效的。我们表明，尽管这样的状态分布偏移，策略梯度估计偏差可以减少以下三种方式：1）一个小的学习率; 2）自适应学习率为基础的优化器;和3）KL正则化。具体来说，我们表明，一个较小的学习率，或自适应学习率，如亚当和RSMProp优化器使用的，使政策优化的偏见。我们进一步绘制优化器和优化正则化之间的联系，以表明KL和反向KL正则化都可以显着纠正这种偏差。此外，我们提供了大量的连续控制任务的实验，以支持我们的分析。我们的论文揭示了成功的PG算法如何在DRL设置中优化策略，并有助于深入了解DRL中的实际问题。
2023-02-10 cs.AI cs.LG
Balsa: Learning a Query Optimizer Without Expert Demonstrations
UC Berkeley（加州大学伯克利分校）
查询优化器是每个数据库系统中的性能关键组件。由于它们的复杂性，优化器需要专家几个月的时间来编写，几年的时间来完善。在这项工作中，我们第一次证明，学习优化查询，而不从专家优化器学习是可能的和有效的。我们介绍了Balsa，一个由深度强化学习构建的查询优化器。Balsa首先从一个简单的、与环境无关的模拟器中学习基本知识，然后在实际执行中进行安全学习。在Join Order Benchmark测试中，Balsa在两个小时的学习时间内，与两个开源和商业的专家查询优化器的性能相匹配，并且在几个小时后的工作负载运行时间内，其性能超过它们高达2.8 $\times$。因此，Balsa开启了在未来不存在专家设计的优化器的计算环境中自动学习优化的可能性。
2022-05-03 cs.DB cs.LG
Reward Function Optimization of a Deep Reinforcement Learning Collision Avoidance System
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
无人驾驶飞机系统（UAS）的激增使得空域管理当局检查这些飞机与最初为大型运输类飞机设计的防撞系统的互操作性。目前授权的TCAS的局限性导致联邦航空管理局委托开发一种新的解决方案，即机载防撞系统X（ACAS X），旨在为包括UAS在内的多个飞机平台提供防撞能力。虽然先前的研究探索使用深度强化学习算法（DRL）来避免碰撞，但DRL的性能不如现有的解决方案。这项工作探讨了使用DRL防撞系统的参数使用代理优化器进行调整的好处。我们表明，使用代理优化器导致DRL的方法，可以提高安全性和运营可行性，并支持未来的能力发展无人机防撞。
2022-12-01 cs.AI cs.RO
Does the Adam Optimizer Exacerbate Catastrophic Forgetting?
The Swiss AI Lab IDSIA/USI/SUPSI（瑞士人工智能实验室IDSIA/瑞士意大利语区大学/瑞士意大利语应用科学大学）；University of Alberta（阿尔伯塔大学）
灾难性遗忘仍然是人工神经网络（ANN）广泛应用的严重障碍，然而，它仍然是一个知之甚少的现象。尽管人们对灾难性遗忘做了大量的研究，但我们认为，目前还不清楚应该如何准确地量化这种现象，而且，我们在设计学习系统时所做的所有选择在多大程度上影响了灾难性遗忘的数量。我们使用强化学习和监督学习文献中的各种测试平台来（1）提供证据表明，选择哪种现代基于梯度的优化算法来训练ANN对灾难性遗忘的数量有显着影响，并显示令人惊讶的是，在许多情况下，经典算法（如香草SGD）比更现代的算法（如Adam）经历更少的灾难性遗忘。我们实证比较了四种不同的现有指标量化灾难性遗忘和（2）表明，学习系统的经验灾难性遗忘的程度是足够敏感的度量使用，从一个原则性的度量到另一个的变化是足以改变研究的结论显着。我们的研究结果表明，在研究灾难性遗忘时，需要更严格的实验方法。根据我们的结果，我们建议监督学习中的任务间遗忘必须同时使用保留和再学习指标来测量，而强化学习中的任务内遗忘至少必须使用成对干扰来测量。
2021-06-09 cs.AI cs.LG stat.ML
Resetting the Optimizer in Deep RL: An Empirical Study
Amazon（亚马逊）；Technion（以色列理工学院）
本研究针对深度强化学习中优化器内部参数因损失函数变化而受污染的问题，提出重置优化器内部参数的简单方法，并与Rainbow算法结合，在Atari基准上显著提升了性能。
2023-11-15 cs.AI cs.LG
Fast-Slow Co-advancing Optimizer: Toward Harmonious Adversarial Training of GAN
School of Ocean Engineering（海洋工程学院）；Harbin Institute of Technology（哈尔滨工业大学）；Technical Center, Bogie Development Department（技术中心，转向架开发部）；CRRC Qingdao Sifang Locomotive and Rolling Stock Co., Ltd（CRRC 青岛四方机车车辆有限公司）
针对GAN训练对超参数敏感导致振荡和收敛困难的问题，提出一种基于强化学习的快慢协同推进优化器（FSCO），通过智能体控制步长和可变学习率提升稳定性，并在三个基准数据集上验证有效性。
2025-04-21 cs.AI cs.LG
On the Hidden Objective Biases of Group-based Reinforcement Learning
Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant’Anna（机器人与人工智能卓越部门、TeCIP、圣安娜高等学院）；Institute of Informatics and Telematics, National Research Council of Italy（信息与电信研究所、意大利国家研究委员会）；National Doctorate on Artificial Intelligence, Sapienza Università di Roma（人工智能国家博士项目、萨皮恩扎罗马大学）
本文分析了基于群体的强化学习方法中的隐藏目标偏差，揭示了非均匀群体加权、AdamW优化器影响及动量对策略更新的影响，为未来方法设计提供指导。
2026-01-08 cs.AI cs.CL cs.LG
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
Coding Agents are Strong Prompt Optimizers
本研究提出编码代理技能蒸馏（CASD），通过静态轨迹语料库的统计反思直接合成优化提示，无需环境访问或验证数据，在多个基准上优于现有方法，且成本大幅降低。
2026-09-23 cs.AI
Black-box Optimizer with Implicit Natural Gradient
Australian Artificial Intelligence Institute（澳大利亚人工智能研究院）；University of Technology Sydney（悉尼科技大学）
黑箱优化是非常重要的许多计算密集型应用，包括强化学习（RL），机器人控制等。本文提出了一种新的理论框架黑箱优化，在我们的方法进行随机更新的指数族分布的隐式自然梯度。理论上，我们证明了我们的框架的收敛速度与凸函数的全矩阵更新。我们的理论结果也适用于连续不可微的黑盒函数。我们的方法是非常简单的，包含更少的超参数比CMA-ES \cite{hansen2006cma}。经验上，我们的方法与完整的矩阵更新达到竞争力的性能相比，一个国家的最先进的方法CMA-ES的基准测试问题。此外，我们的方法可以在一些具有挑战性的测试函数（例如，$l_1$ -范数椭球检验问题和Levy检验问题），而具有显式自然梯度的方法，即，IGO \cite{ollivier2017information}无法更新完整矩阵。这表明了我们方法的有效性。
2020-09-09 cs.LG stat.ML
Learning to Inject: Automated Prompt Injection via Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
提出AutoInject，一种基于强化学习的黑盒框架，自动学习对抗性后缀进行提示注入，在AgentDojo上优于模板攻击和多种自适应攻击，并突破专门防御模型。
2026-06-11 cs.AI cs.LG
Learning to be Global Optimizer
Xi’an Jiaotong University（西安交通大学）
人工智能的发展给优化算法的发展带来了新的启示。提出了一种求解光滑非凸函数的两阶段（包括极小化阶段和逃逸阶段）全局优化算法。对于最小化阶段，开发了模型驱动的深度学习方法来学习凸函数的下降方向的更新规则，该规则被形式化为历史信息的非线性组合。我们证明了所提出的自适应方向的算法保证凸函数的收敛性。实验结果表明，该算法的性能明显优于梯度下降、共轭下降和BFGS等经典优化算法，且对不适定函数有较好的处理效果.从局部最优的逃逸阶段被建模为一个马尔可夫决策过程与一个固定的逃逸策略。我们进一步提出了通过强化学习来学习最优逃逸策略。通过优化合成函数和训练用于CIFAR图像分类的深度神经网络验证了逃逸策略的有效性。学习的两阶段全局优化算法在一些基准函数和机器学习任务上表现出很好的全局搜索能力。
2020-03-10 cs.AI cs.LG math.OC
The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snowflake（思诺飞克公司）
该研究提出ReASearch统一框架，让智能体自主优化提示、程序与ML工作流，在14项任务中优于专用系统，部分发现超人类最佳结果的方案。
2026-09-01 cs.AI
How much progress have we made in neural network training? A New Evaluation Protocol for Benchmarking Optimizers
Department of Computer Science, UCLA（加州大学洛杉矶分校计算机科学系）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）；Google Research（谷歌研究院）
已经提出了许多用于训练深度神经网络的优化器，它们通常具有多个超参数，这使得对其性能进行基准测试变得非常困难。在这项工作中，我们提出了一个新的基准测试协议来评估端到端的效率（在不知道最佳超参数的情况下从头开始训练模型）和数据添加训练效率（以前选择的超参数用于定期重新训练新收集的数据模型）。对于端到端的效率，不像以前的工作，假设随机超参数调整，过度强调的调整时间，我们建议评估与强盗超参数调整策略。一个人的研究表明，我们的评估协议匹配人类的调谐行为比随机搜索。对于数据添加训练，我们提出了一种新的协议来评估超参数对数据偏移的敏感性。然后，我们将提出的基准框架应用于7个优化器和各种任务，包括计算机视觉，自然语言处理，强化学习和图挖掘。我们的研究结果表明，在所有的任务中没有明显的赢家。
2020-10-19 cs.LG math.OC stat.ML
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University（亚利桑那州立大学）；Google DeepMind（谷歌DeepMind）
深度确定性策略梯度（DDPG）等无模型强化学习算法通常需要额外的探索策略，特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时，训练的潜像嵌入。此外，DDPG的扩展派生使用价值函数作为评论家，利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家，后者受益于规划器生成的增强探索。两个连续的控制任务，一个在模拟和一个在现实世界中的方法进行评估。特别是，Baxter机器人被训练来执行插入任务，同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?
Department of Computer Science, Stanford University（计算机科学系，斯坦福大学）
提出PromptPO方法，利用LLM通过Python描述状态空间、动作空间和奖励函数，基于rollout反馈迭代生成和优化可执行策略，在多种环境中匹配或超越标准RL基线，但在细粒度连续控制任务中表现不足。
2026-06-29 cs.AI cs.LG
Quantum Annealing Enhanced Reinforcement Learning for Accurate Remaining Useful Lifetime Prediction
Central University of Karnataka（卡纳塔克中央大学）；University College of Engineering, Anna University（安娜大学工程学院）；AIONOS India Pvt Ltd（AIONOS印度私人有限公司）；National Institute of Technology Tiruchirappalli（蒂鲁吉拉帕利国立理工学院）
提出量子退火增强Q学习框架，通过将Q值更新编码为QUBO问题并利用量子退火采样实现随机动作选择，解决高维非凸空间中的收敛问题，在C-MAPSS和工业数据集上显著优于基线方法。
2026-06-18 cs.LG stat.ML
MetaBox: A Benchmark Platform for Meta-Black-Box Optimization with Reinforcement Learning
South China University of Technology（华南理工大学）；National University of Singapore（新加坡国立大学）；Singapore Management University（新加坡管理大学）
针对MetaBBO-RL缺乏统一基准的问题，本文提出首个专用基准平台MetaBox，提供灵活算法模板、300+问题实例、19种基线方法和三个标准化指标，并开展广泛基准测试以推动严格评估与深入分析。
2023-10-27 cs.AI cs.LG cs.NE
Toward an Energy-Optimized Operation of Data Centers Located in Wind Farms Using Reinforcement Learning
研究强化学习作为在线控制器，在风电集成的高性能计算数据中心中实现考虑削减的工作负载转移，通过模仿学习和奖励塑形解决信用分配问题，并评估PPO和SAC变体的性能。
2026-06-29 cs.LG
Discovering General Reinforcement Learning Algorithms with Adversarial Environment Design
University of Oxford（牛津大学）；UCL（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
针对元学习RL更新规则在未知环境中的泛化差距，本文基于UED提出GROOVE，通过最大化元学习优化器的算法遗憾自动生成对抗课程，显著提升了相对LPG的泛化能力。
2023-10-04 cs.AI cs.LG
Half-order Fine-Tuning for Diffusion Model: A Recursive Likelihood Ratio Optimizer
Peking University（北京大学）
针对扩散模型对齐中RL样本效率低与截断BP梯度有偏的问题，提出递归似然比优化器RLR，通过半阶梯度重排实现无偏低方差估计，并验证其图像与视频生成优势。
2025-09-28 cs.AI cs.CV cs.LG
When Does Muon Help Agentic Reinforcement Learning?
研究μ子在稀疏奖励智能体强化学习中的作用，通过与AdamW对比，发现在组内组策略优化下，μ子应用于隐藏权重矩阵能提升成功率，效果与优势估计器、学习率有关，表明其可使智能体RL受益，还需多种子和跨任务验证。
2026-08-04 cs.AI cs.LG
Optimizing Quantum Variational Circuits with Deep Reinforcement Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
量子机器学习（QML）被认为是近期量子器件最有前途的应用之一。然而，量子机器学习模型的优化提出了许多挑战，这些挑战来自硬件的不完善和导航指数缩放希尔伯特空间的根本障碍。在这项工作中，我们评估了当代方法在深度强化学习中的潜力，以增强量子变分电路中基于梯度的优化例程。我们发现，强化学习增强优化器在噪声环境中始终优于梯度下降。所有代码和预训练的权重都可用于复制结果或部署模型：https://github.com/lockwo/rl_qvc_opt。
2022-05-14 cs.LG quant-ph
Symbol: Generating Flexible Black-Box Optimizers through Symbolic Equation Learning
South China University of Technology（华南理工大学）；Nanyang Technological University（南洋理工大学）
本文提出Symbol框架，通过符号方程学习自动生成闭式黑盒优化规则，利用强化学习元学习生成器，生成的优化器超越现有基线并具备出色的零样本泛化能力。
2024-02-07 cs.LG cs.NE
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology（密苏里科技大学）
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序，并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数，这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
Weight Clipping for Deep Continual and Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Google DeepMind（谷歌DeepMind）；CIFAR AI（CIFAR人工智能研究院）
深度连续学习和强化学习中的许多失败都与权重大小的增加有关，这使得它们很难改变，并可能导致过拟合。虽然许多方法解决了这些学习失败，但它们通常会改变优化器或架构，这种复杂性阻碍了各种系统的广泛采用。在本文中，我们专注于学习失败，与增加权重范数，我们提出了一个简单的技术，可以很容易地添加到现有的学习系统：裁剪神经网络的权重，以限制它们到一个特定的范围。我们在一系列的监督和强化学习实验中研究了权重裁剪的有效性。我们的实证结果突出了权重裁剪的好处，泛化，解决可塑性和政策崩溃的损失，并促进学习与大重放比率。
2024-07-01 cs.AI cs.LG
Lookahead Optimizer: k steps forward, 1 step back
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
绝大多数成功的深度神经网络都是使用随机梯度下降（SGD）算法的变体进行训练的。最近对SGD的改进尝试可以大致分为两种方法：（1）自适应学习率方案，如AdaGrad和Adam，以及（2）加速方案，如重球和Nesterov动量。在本文中，我们提出了一个新的优化算法，前瞻性，这是正交的这些以前的方法和迭代更新两套权重。直观地说，该算法通过前瞻另一个优化器生成的快速权重序列来选择搜索方向。我们表明，前瞻性提高了学习的稳定性和降低其内部优化的方差可以忽略不计的计算和内存成本。我们通过经验证明，Lookahead可以显著提高SGD和Adam的性能，即使在ImageNet、CIFAR-10/100、神经机器翻译和Penn Treebank上使用它们的默认超参数设置。
2019-12-03 cs.LG cs.NE stat.ML
Diffusion Models as Optimizers for Efficient Planning in Offline RL
University of Electronic Science and Technology of China（电子科技大学）；Tongji University（同济大学）
针对离线强化学习中Diffusion models推理过程漫长的问题，提出Trajectory Diffuser，将采样分解为可行轨迹生成与优化，利用自回归模型加速生成并保留扩散优化，在D4RL上实现3-10倍提速且性能更优。
2024-07-23 cs.AI cs.CV cs.LG
Meta Learning Black-Box Population-Based Optimizers
Mila（米拉研究所）
没有免费的午餐定理表明，没有一个模型更适合所有问题。由此产生的一个问题是如何设计方法，提出针对特定问题的优化器，实现最先进的性能。本文通过提出使用元学习来推断基于种群的黑盒优化器来解决这个问题，这些优化器可以自动适应特定类别的问题。我们提出了一个基于人口的算法，导致学习优化POMDP（LTO-POMDP），一个元学习框架的基础上，一个特定的部分可观察马尔可夫决策过程（POMDP）的一般建模。从该框架的公式中，我们提出使用深度递归神经网络来参数化算法，并使用基于随机算法性能的Meta损失函数来训练几个相关优化任务的有效数据驱动优化器。基于该实现的学习优化器的性能在各种黑盒优化任务和机器学习模型的超参数调整上进行评估。我们的研究结果表明，Meta损失函数鼓励学习算法改变其搜索行为，以便它可以很容易地适应新的上下文。因此，它允许更好的推广和更高的样本效率比国家的最先进的通用优化算法，如协方差矩阵自适应演化策略（CMA-ES）。
2021-03-05 cs.AI cs.LG cs.NE
Target Return Optimizer for Multi-Game Decision Transformer
Waseda University（早稻田大学）；LY Corporation（LY公司）
提出MTRO算法，仅利用离线数据集自主确定特定游戏目标回报，无需额外训练即可无缝集成至Multi-Game Decision Transformer，在Atari游戏上显著提升了强化学习策略性能。
2025-03-04 cs.AI cs.LG cs.RO
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
RELOAD: A Robust and Efficient Learned Query Optimizer for Database Systems
Yonsei University BDAI Lab（延世大学BDAI实验室）；Microsoft Gray Systems Lab（微软Gray系统实验室）
RELOAD通过提升查询优化的鲁棒性和效率，克服了传统查询优化器的不足，实验表明其在鲁棒性和效率上均优于现有基于强化学习的优化方法。
2026-04-16 cs.DB cs.LG
Reinforcement Learning Methods for Neighborhood Selection in Local Search
CETIC research center（CETIC研究中心）
本文研究了强化学习在局部搜索中用于邻域选择的效果，发现ε-贪心表现优异，而深度强化学习需更长运行时间才能竞争
2026-01-12 cs.AI cs.LG
GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer
Korea Advanced Institute of Science；Korea University；Mila -- Qu\'ebec AI Institute
GFlowPO通过生成流网络和动态内存更新机制，提升语言模型提示优化的样本效率和性能。
2026-10-23 cs.AI cs.CL cs.LG
OpenTinker: Separating Concerns in Agentic Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
介绍OpenTinker，一种用于训练大型语言模型智能体的开放基础设施。通过共享执行资源和多LoRA策略，围绕策略生命周期运行，支持SFT和RL，实现多用户等共享基础模型并隔离更新等。
2026-07-07 cs.AI cs.DC
In Defense of the Unitary Scalarization for Deep Multi-Task Learning
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；New York University（纽约大学）
最近的多任务学习研究反对单一标量化，即训练只是最小化任务损失的总和。几个ad-hoc多任务优化算法已经被提出，受到关于是什么使得多任务设置困难的各种假设的启发。这些优化器中的大多数都需要每个任务的梯度，并引入了大量的内存，运行时和实现开销。我们表明，酉标量化，再加上标准的正则化和稳定化技术，从单任务学习，匹配或提高复杂的多任务优化器在流行的监督和强化学习设置的性能。然后，我们提出了一个分析，表明许多专门的多任务优化器可以部分解释为正则化的形式，可能解释我们令人惊讶的结果。我们相信我们的研究结果要求对该领域最近的研究进行批判性的重新评估。
2023-03-08 cs.AI cs.CV cs.LG
Guiding Global Placement With Reinforcement Learning
Nvidia（英伟达）
GPU加速的全局和细节布局的最新进展将解决方案的时间减少了一个数量级。这一进步使我们能够利用数据驱动的优化（如强化学习）来提高布局结果的最终质量。在这项工作中，我们增加了最先进的，基于力的全球布局求解器与强化学习代理培训，以提高最终的细节放置半周长线长（HPWL）。我们提出了新的控制方案，无论是全球或本地化控制的布局过程。然后，我们训练强化学习代理使用这些控制来指导放置改进的解决方案。在这两种情况下，增强的优化器都会找到改进的放置解决方案。我们经过培训的代理商在一系列学术基准上的最终细节排名HPWL平均提高1%，在实际工业设计上的全球排名HPWL平均提高1%以上。
2021-09-06 cs.LG
Deep Reinforcement Learning for Personalized Search Story Recommendation
Penn State University（宾夕法尼亚州立大学）；University of Arizona（亚利桑那大学）；Facebook（脸书）
近年来，与其他有机渠道结合展示的\emph{search story}已成为电商搜索平台、新闻推送平台、网页及图片搜索平台等平台的主要用户流量来源。推荐的搜索故事引导用户识别她自己的偏好和个人意图，这随后影响用户的实时和长期搜索行为。随着搜索故事的重要性越来越高，随着搜索故事变得越来越重要，在这项工作中，我们研究了搜索引擎中的个性化搜索故事推荐问题，其目的是建议与搜索关键字和单个用户的兴趣相关的搜索故事。为了解决对推荐搜索故事的当前和未来价值进行建模的挑战（即，交叉通道效应），传统的监督学习框架是不适用的，我们求助于马尔可夫决策过程，并提出了一个由模仿学习和强化学习训练的深度强化学习架构。我们通过对JD.com真实数据集的大量实验，实证证明了我们提出的方法的有效性。
2019-07-26 cs.IR cs.LG stat.ML
ClipUp: A Simple and Powerful Optimizer for Distribution-based Policy Evolution
NNAISENSE
基于分布的搜索算法是神经网络控制器进化强化学习的一种有效方法。在这些算法中，总回报相对于策略参数的梯度使用从搜索分布中提取的解的种群来估计，然后用于具有随机梯度上升的策略优化。社区中的一个常见选择是使用Adam优化算法在梯度上升期间获得自适应行为，这是由于其在各种监督学习设置中的成功。作为Adam的替代方案，我们提出了两种简单的技术来增强经典的基于动量的梯度上升：梯度归一化和更新裁剪。我们认为，由此产生的优化器称为ClipUp（简称“剪辑更新”）是一个更好的选择，基于分布的政策演变，因为它的工作原理是简单，易于理解，其超参数可以更直观地调整在实践中。此外，如果奖励规模发生变化，它不需要重新调整超参数。实验表明，ClipUp尽管简单，但与Adam竞争，并且在具有挑战性的连续控制基准上是有效的，包括基于Bullet物理模拟器的Humanoid控制任务。
2020-12-08 cs.AI cs.NE
Online Merging Optimizers for Boosting Rewards and Mitigating Tax in Alignment
Qwen Team, Alibaba Inc.（通义千问团队，阿里巴巴集团）
提出在线合并优化器，在RLHF每步融合RL策略与SFT模型参数，以梯度引导方式提升对齐奖励并缓解对齐税，在多种模型和算法上验证有效。
2024-05-28 cs.CL cs.LG
InTune: Reinforcement Learning-based Data Pipeline Optimization for Deep Recommendation Models
Netflix, Inc.（奈飞公司）
针对深度推荐模型训练受在线数据摄取瓶颈制约的问题，本文提出基于强化学习的 InTune，自动分配 CPU 并优化数据流水线，最高实现 2.29 倍吞吐提升。
2023-08-13 cs.AI cs.DC cs.IR
The Alignment Ceiling: Objective Mismatch in Reinforcement Learning from Human Feedback
Allen Institute for AI（艾伦人工智能研究所）；TU Dresden（德累斯顿工业大学）
本文指出RLHF中存在的目标错配问题是导致模型易拒绝合理请求、生成“懒惰”的根源，分析了成因并结合相关文献提出解决方案，以提升模型对齐的精准度。
2024-02-02 cs.LG
TTOpt: A Maximum Volume Quantized Tensor Train-based Optimization and its Application to Reinforcement Learning
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Artificial Intelligence Research Institute (AIRI)（人工智能研究院）
我们提出了一种新的优化过程的基础上结合有效的量化张量训练表示和广义最大矩阵体积原则。我们证明了新的张量训练优化器（TTOpt）方法的各种任务的适用性，从多维函数的最小化到强化学习。我们的算法相比流行的基于进化的方法，并优于他们的功能评估或执行时间的数量，往往是一个显着的保证金。
2022-09-28 cs.LG cs.NE math.OC
Geometry-Aware Gradient Algorithms for Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）；Determined AI
最近的神经架构搜索（NAS）的最先进的方法利用基于梯度的优化，通过放松的问题到架构和共享权重的连续优化，一个嘈杂的过程，仍然知之甚少。我们认为，单级经验风险最小化的研究，以了解NAS与权重共享，减少NAS方法的设计，设计优化器和正则化，可以快速获得高质量的解决方案，这个问题。在镜像下降理论的基础上，我们提出了一个几何感知框架，该框架利用这种优化的底层结构来返回稀疏的架构参数，从而产生简单而新颖的算法，这些算法可以保证快速收敛，并在计算机视觉的最新NAS基准测试中达到最先进的精度。值得注意的是，我们在DARTS搜索空间和NAS-Bench 201上都超过了CIFAR和ImageNet的最佳发布结果;在后者上，我们在CIFAR-10和CIFAR-100上实现了接近oracle的最佳性能。总之，我们的理论和实验证明了一个原则性的方法来协同设计优化和连续松弛离散NAS搜索空间。
2021-03-18 cs.CV cs.LG cs.NE
Blending Search and Discovery: Tag-Based Query Refinement with Contextual Reinforcement Learning
Coveo（科沃）；Coveo Labs（科沃实验室）
我们处理基于标签的查询细化作为一个移动友好的替代标准方面的搜索。我们用强化学习来解决推理挑战，并提出了一个可以在多租户SaaS场景中有效扩展的深度上下文强盗。
2020-10-15 cs.IR cs.LG
ARLO: A Framework for Automated Reinforcement Learning
Politecnico di Milano（米兰理工大学）；ML cube
自动强化学习（AutoRL）是一个相对较新的研究领域，正受到越来越多的关注。AutoRL的目标在于通过减轻其一些主要挑战，包括数据汇集，算法选择和超参数调整，为更广泛的公众简化强化学习（RL）技术的使用。在这项工作中，我们提出了一个通用的和灵活的框架，即ARLO：自动化强化学习优化器，构建自动流水线AutoRL。在此基础上，我们提出了一个用于离线的管道和一个用于在线RL的管道，讨论了组件，交互，并强调了两种设置之间的差异。此外，我们还提供了这种管道的Python实现，作为开源库发布。我们的实现已经过测试，说明LQG域和经典的MuJoCo环境，显示出有能力达到竞争力的性能，需要有限的人为干预。我们还展示了一个现实的大坝环境，自动执行特征选择和模型生成任务的完整管道。
2022-05-20 cs.LG
Efficient Non-Parametric Optimizer Search for Diverse Tasks
优化器的高效和自动化设计在全栈AutoML系统中起着至关重要的作用。然而，优化器搜索中的现有方法通常受到其可伸缩性、可生成性或样本效率的限制。为了使优化器搜索的研究和应用民主化，我们提出了第一个有效的，可扩展的和可推广的框架，可以直接搜索感兴趣的任务。我们首先观察到优化器更新基本上是应用于梯度的数学表达式。受底层数学表达式固有的树结构的启发，我们将优化器的空间重新排列成一棵超树，其中每条路径编码一个优化器。这样，优化器搜索就可以自然地表述为路径查找问题，从而允许使用各种成熟的树遍历方法作为搜索算法。我们采用了一个适应的蒙特卡罗方法树搜索，配备拒绝采样和等价形式检测，利用优化器更新规则的特点，以进一步提高样本效率。我们提供了一组不同的任务来对我们的算法进行基准测试，并证明，只有128个评估，所提出的框架可以发现超越人类设计的同行和以前的优化器搜索方法的优化器。
2022-09-27 cs.AI cs.CV cs.LG
Distributed Deep Reinforcement Learning: Learn how to play Atari games in 21 minutes
Intel（英特尔）；Biz On Sp. z o.o.（Biz On 有限责任公司）；Polish Academy of Sciences（波兰科学院）
我们在分布式深度强化学习（DDRL）中进行了一项研究，重点关注最先进的深度强化学习算法（称为Batch Asynchronous Advantage ActorCritic（BA3C））的可扩展性。我们表明，使用亚当优化算法的批量大小高达2048进行大规模机器学习计算是一个可行的选择。结合对优化器超参数的仔细检查，在节点级别上使用同步训练（同时保持算法的本地单节点部分异步）并最小化模型的内存占用，使我们能够实现最多64个CPU节点的线性扩展。这相当于在768个CPU内核上的训练时间为21分钟，而在使用具有24个内核的单节点时，基线单节点实现的训练时间为10小时。
2018-04-09 cs.AI
