A mixed policy to improve performance of language models on math problems
Vividity tech（Vividity科技公司）
针对语言模型数学推理易出错的问题，提出结合强化学习的两层token混合探索策略，在GSM8K数据集上用GPT-2实现超2%的性能提升。
2023-07-17 cs.AI cs.CL cs.LG
Mixed Reinforcement Learning with Additive Stochastic Uncertainty
Tsinghua University（清华大学）；Cornell University（康奈尔大学）
强化学习（RL）方法通常依赖于大量的探索数据来搜索最优策略，并且具有较差的采样效率。本文提出了一种混合强化学习算法（mixed reinforcement learning，mixed RL），该算法同时利用环境动力学的对偶表示搜索最优策略，以提高学习精度和训练速度。双重表示表示环境模型和状态-动作数据：前者可以加速RL的学习过程，而其固有的模型不确定性通常会导致比后者更差的策略准确性，后者来自状态和动作的直接测量。在混合强化学习的框架设计中，通过迭代贝叶斯估计器（IBE）利用探索的状态-动作数据，将对加性随机模型不确定性的补偿嵌入到策略迭代强化学习框架中.然后，通过在策略评估（PEV）和策略改进（PIM）之间交替，以迭代的方式计算最优策略。使用Bellman最优性原理证明了混合RL的收敛性，并通过Lyapunov直接方法证明了生成策略的递归稳定性。通过一个典型的随机非仿射非线性系统的最优控制问题（即，自动车辆的双车道变换任务）。
2020-02-28 cs.LG cs.RO cs.SY
Jointly Learning to Construct and Control Agents using Deep Reinforcement Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Chicago（芝加哥大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
机器人的物理设计和控制其运动的策略是内在耦合的，并且应该根据任务和环境来确定。在越来越多的应用中，数据驱动和基于学习的方法，如深度强化学习，已被证明在设计控制策略方面是有效的。对于大多数任务，评估物理设计与这种控制策略的关系的唯一方法是经验性的，即，由于训练这些策略是耗时的，因此训练用于所有可能设计的单独策略作为识别最佳设计的手段在计算上是不可行的。在这项工作中，我们通过引入一种方法，同时进行联合优化的物理设计和控制网络来解决这个限制。我们的方法在设计上保持一个分布，并使用强化学习来优化控制策略，以最大化设计分布上的预期回报。我们让控制器访问设计参数，使其能够定制其政策，以每个设计的分布。在整个训练过程中，我们将分布转向更高性能的设计，最终收敛到联合最优的设计和控制策略。我们评估了我们的方法的上下文中的腿运动，并证明它发现了新颖的设计和步行步态，在性能和效率方面优于基线。
2018-09-14 cs.LG cs.RO
Offline Policy Evaluation via Mixed Bellman Residuals and Adaptive Critic Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出一种基于混合一步与两步贝尔曼残差及自适应评论家表示的离线策略评估方法，通过数据依赖的核表示和样本分割控制过拟合，在模拟与MetaWorld任务中验证了中间残差组合对值估计的改进效果。
2026-09-29 cs.LG stat.ML
SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning
ETH AI Center, ETH Zürich（苏黎世联邦理工学院人工智能中心）；EPFL（瑞士联邦理工学院）；Allen Institute for AI（人工智能研究所）
本文指出，混合策略方法的性能提升源于两个错误：DeepSpeed优化器在梯度累积中丢失中间微批次，以及OpenRLHF损失聚合错误加权。修正后，标准SFT-然后-RL流程在数学基准上超越了所有混合策略方法。
2026-04-26 cs.AI cs.CL cs.LG
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Deep Deterministic Policy Gradient for End-to-End Communication Systems without Prior Channel Knowledge
Edinburgh Napier University（爱丁堡龙比亚大学）
本文针对端到端通信系统难以获取先验可微信道模型的问题，提出基于深度确定性策略梯度（DDPG）的框架，以接收机损失值作为奖励训练发射机，实现无需先验信道模型的联合训练并提升检测性能。
2023-08-07 cs.LG cs.NI
Constraint-Generation Policy Optimization (CGPO): Nonlinear Programming for Policy Optimization in Mixed Discrete-Continuous MDPs
University of Toronto（多伦多大学）；Ben Gurion University of the Negev（内盖夫本古里安大学）
本文提出CGPO框架，将混合离散-连续MDP中的策略优化转化为对抗式约束生成的双层混合整数非线性规划，可给出误差、最优性差距与高概率性能保证，并支持反事实诊断。
2025-03-14 cs.LG cs.RO cs.SC
Reinforcement Learning for Mixed-Integer Problems Based on MPC
Norwegian University of Technology, NTNU（挪威科技大学（NTNU））；IMT School for Advanced Studies Lucca（卢卡IMT高等研究院）
模型预测控制最近被提出作为强化学习的策略近似，为安全和可解释的强化学习提供了一条道路。在名义经济MPC和鲁棒（N）MPC的背景下，这种方法已经被研究用于Q学习和行动者-批评者方法，显示出非常有前途的结果。在这种情况下，行动者-批评者方法似乎是最可靠的方法。许多应用程序包括连续和整数输入的混合，经典的演员-评论家的方法需要适应。在本文中，我们提出了一种基于混合整数MPC方案的政策近似，并提出了一种计算成本低廉的技术，以产生探索的混合整数输入空间，确保满足的约束。然后，我们提出了一个简单的兼容的优势函数近似所提出的政策，允许一个建立梯度的混合整数MPC为基础的政策。
2020-04-03 cs.AI cs.LG cs.SY
Handling Cost and Constraints with Off-Policy Deep Reinforcement Learning
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
本文针对混合符号奖励下离策略强化学习中$Q$值最大化导致激励与成本项估计失衡的问题，提出不显式最大化$Q$的离策略演员-评论家方法，在连续动作空间中显著优于现有方法。
2023-11-30 cs.LG
Model-based Offline Reinforcement Learning with Local Misspecification
Stanford University（斯坦福大学）
我们提出了一个基于模型的离线强化学习策略性能下限，明确捕捉动态模型的误指定和分布失配，我们提出了一个经验算法的最佳离线策略选择。在理论上，我们通过建立对价值函数的悲观近似，证明了一个新的安全策略改进定理。我们的关键见解是共同考虑选择动态模型和策略：只要动态模型可以准确地表示给定策略访问的状态-动作对的动态，就可以近似该特定策略的值。我们分析了我们的下限在LQR设置，也显示出竞争力的性能，以前的下限在一组D4 RL任务的政策选择。
2023-01-26 cs.LG
MiGrATe: Mixed-Policy GRPO for Adaptation at Test-Time
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
MiGrATe是一种在线测试时训练方法，使用GRPO作为搜索算法，通过结合在线策略采样与贪心采样、邻域采样的混合策略组构建过程，在无需外部训练数据的情况下自适应LLMs，并在多个复杂搜索任务中优于现有基线。
2025-08-12 cs.AI cs.CL cs.LG
Policy Distillation
Google DeepMind（谷歌DeepMind）；Université de Montréal（蒙特利尔大学）
复杂视觉任务的策略已经通过深度强化学习成功学习，使用一种称为深度Q网络（DQN）的方法，但需要相对较大的（特定于任务的）网络和广泛的训练才能实现良好的性能。在这项工作中，我们提出了一种新的方法，称为政策蒸馏，可用于提取强化学习代理的政策和训练一个新的网络，在专家级执行，同时显着更小，更有效。此外，可以使用相同的方法将多个特定于任务的策略合并为单个策略。我们证明了这些索赔使用Atari域，并表明多任务蒸馏代理优于单任务教师以及联合训练的DQN代理。
2016-01-07 cs.LG
Reducing Conservativeness Oriented Offline Reinforcement Learning
Tsinghua University（清华大学）
在离线强化学习中，策略学习使用固定的数据集合来最大化累积奖励。对于保守策略，现有方法选择正则化行为策略或学习价值函数的下界。然而，过度的保守性往往会削弱策略的泛化能力，降低其性能，特别是对于混合数据集。本文提出了一种面向强化学习的降低保守性的方法。一方面，该策略被训练为更多地关注静态数据集中的少数样本，以解决数据不平衡问题。另一方面，我们给出了一个更严格的下限的价值函数比以前的方法来发现潜在的最优行动。因此，我们提出的方法是能够解决所提供的数据集的偏态分布，并得出一个价值函数更接近预期的价值函数。实验结果表明，该方法在D4RL离线强化学习评估任务和我们自己设计的混合数据集上的性能优于现有方法。
2021-02-27 cs.LG
Branch Ranking for Efficient Mixed-Integer Programming via Offline Ranking-based Policy Learning
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University College London（伦敦大学学院）
在分支定界算法中，如何选择变量是提高现代混合整数规划求解器效率的关键。随着MIP分支数据收集在以前的解决方案的过程中，学习分支的方法最近变得优越于算法。由于分支定界是一个连续的决策任务，人们应该学会优化整个MIP求解过程的效用，而不是在每一步都目光短浅。在这项工作中，我们制定了学习分支作为一个离线强化学习（RL）的问题，并提出了一个长远的混合搜索方案来构建离线MIP数据集，它的价值的分支决策的长期效用。在策略训练阶段，我们部署了一个基于排名的奖励分配方案，以区分有前途的样本从长期或短期的观点，和训练的分支模型命名为分支排名通过离线策略学习。在合成MIP基准测试和真实任务上的实验表明，与广泛使用的启发式和最先进的基于学习的分支模型相比，分支Rankink更有效，更健壮，并且可以更好地推广到大规模的MIP实例。
2022-07-26 cs.AI cs.DM cs.LG
Hindsight-Anchored Policy Optimization: Learning Through Hindsight with Thompson Sampling-Inspired Adaptive Gating
Amazon（亚马逊）
本文提出HAPO策略优化方法，通过合成成功注入机制和 Thompson 采样启发的门控机制，解决稀疏奖励下策略优化的分布偏置问题，实现渐近一致性。
2026-09-15 cs.AI cs.CL cs.LG
Harnessing Mixed Offline Reinforcement Learning Datasets via Trajectory Weighting
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research Montreal（微软蒙特利尔研究院）
针对混合离线数据集，提出轨迹加权采样策略，生成高回报人工数据集，与任意离线RL算法结合，提升策略性能，实验验证在CQL、IQL和TD3+BC上有效。
2023-06-22 cs.AI cs.LG
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine（加州大学欧文分校）
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中，但目前对混合合作/竞争环境知之甚少。在本文中，我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏（MPGs），其中包括合作游戏作为一种特殊情况。最近的研究结果表明，独立的策略梯度收敛MPG，但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法，主要的挑战在于马尔可夫势博弈没有唯一的最优值（如单智能体设置所示），因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明，自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Finding mixed-strategy equilibria of continuous-action games without gradients using randomized policy networks
Carnegie Mellon University（卡内基梅隆大学）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）
本文提出一种无需梯度的零阶优化方法，结合随机策略网络建模混合策略，以求解连续动作博弈的近似纳什均衡，并在多种博弈中验证了其高效性。
2022-11-29 cs.AI cs.GT cs.LG
Improving and Accelerating Offline RL in Large Discrete Action Spaces with Structured Policy Initialization
University of Virginia（弗吉尼亚大学）；MBZUAI（马克斯·普朗克智能系统研究所）
SPIN通过结构化策略初始化方法，在大型离散动作空间中提升离线强化学习性能，显著提高平均回报并加速收敛。
2026-01-27 cs.LG
Reinforcement Learning for Improving Agent Design
Google Brain（谷歌大脑）
在许多强化学习任务中，目标是学习一种策略来操纵代理，其设计是固定的，以最大化某些累积奖励的概念。代理的物理结构的设计很少针对手头的任务进行优化。在这项工作中，我们探讨了学习的代理的设计，更适合其任务的版本的可能性，与政策。我们对流行的OpenAI Gym框架进行了修改，在该框架中，我们对环境的各个部分进行了参数化，并允许代理共同学习修改这些环境参数及其策略。我们证明了一个代理可以学习一个更好的结构，它的身体，不仅更适合的任务，但也有利于策略学习。政策和结构的联合学习甚至可以揭示对辅助设计应用有用的设计原则。在https://designrl.github.io/上的结果视频
2019-12-02 cs.LG stat.ML
FOVA: Offline Federated Reinforcement Learning with Mixed-Quality Data
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络科学与技术学院）；Department of Computer Science and Technology, BNRist, Tsinghua University（清华大学计算机科学与技术系）；Zhongguancun Laboratory（中关村实验室）
FOVA通过引入投票机制和优势加权回归，有效提升离线联邦强化学习在混合质量数据下的性能和稳定性。
2025-12-02 cs.AI cs.LG
Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients
Graduate School of Business Columbia University（哥伦比亚大学商学院）
本文提出混合策略优化方法HPO，通过混合梯度估计器解决高维空间中离散-连续动作的策略优化问题，实验显示其在库存控制和切换线性二次调节问题中优于PPO。
2026-05-14 cs.AI cs.LG math.OC
A Gradient Perspective on RLVR Stability and Winner Advantage Policy Optimization
Berkeley（伯克利）；Layer 6 AI
通过令牌级梯度动力学分析GRPO的不稳定性，提出仅更新正优势完成的WAPO算法，在数学推理和多跳QA任务中提升训练稳定性并匹配或超越基线。
2026-06-16 cs.LG
MAGIC: Mixed-Granularity Agent Graphs via Incremental Construction with Dense-Reward Reinforcement Learning
针对多智能体系统协作拓扑生成忽视子任务粒度差异的问题，提出MAGIC框架，通过密集奖励强化学习增量构建混合粒度智能体图，在八个基准上超越现有方法并提升推理效率。
2026-09-23 cs.LG
Towards Mixed Optimization for Reinforcement Learning with Program Synthesis
Google Brain（谷歌大脑）
深度强化学习最近取得了一些突破，尽管学习的策略通常基于黑盒神经网络。这使得它们难以解释，并在学习过程中施加所需的规范约束。我们提出了一个迭代的框架，MORL，使用程序合成，以提高学习的政策。具体地说，我们建议使用合成技术来获得一个符号表示的学习政策，然后可以手动或自动使用程序修复调试。在修复步骤之后，我们使用行为克隆来获得与修复程序相对应的策略，然后使用梯度下降来进一步改进该策略。这个过程一直持续到学习到的策略满足所需的约束。我们实例化MORL简单的CartPole问题，并表明，编程表示允许高层次的修改，从而导致改善学习的政策。
2018-07-03 cs.AI cs.LG stat.ML
Constant in an Ever-Changing World
针对强化学习训练振荡导致的不稳定与性能下降问题，提出CIC框架，通过双策略选择性更新与自适应调整机制增强稳定性，在5个MuJoCo环境上验证其可无额外成本提升传统算法性能。
2025-10-01 cs.LG
Learning a Large Neighborhood Search Algorithm for Mixed Integer Programs
DeepMind（深度思维）；Charm Therapeutics；Google Research（谷歌研究院）
大邻域搜索（LNS）是一种组合优化启发式算法，它从要优化的变量的值的分配开始，并通过搜索当前分配周围的大邻域来迭代地改进它。在本文中，我们考虑一个基于学习的LNS方法的混合整数规划（MIP）。我们训练一个神经潜水模型来表示分配的概率分布，它与现成的MIP求解器一起生成初始分配。将随后的搜索步骤制定为马尔可夫决策过程，我们训练神经邻域选择策略以在每一步选择搜索邻域，使用MIP求解器搜索该搜索邻域以找到下一个分配。使用模仿学习来训练策略网络。我们提出了一个目标政策的模仿，有足够的计算资源，保证选择的邻域包含最佳的下一个分配之间的所有可能的选择，为指定大小的邻域。我们的方法匹配或优于五个真实世界的MIP数据集的所有基线，这些数据集具有来自不同应用程序的大规模实例，包括Google的两个生产应用程序。它实现了$2\times$到$37.8\times$更好的平均原始间隙比最佳基线的三个数据集在大的运行时间。
2022-05-20 cs.LG math.OC
Integrated Decision and Control at Multi-Lane Intersections with Mixed Traffic Flow
Tsinghua University（清华大学）；China Agricultural University（中国农业大学）
交叉口自动驾驶是最复杂、最容易发生事故的交通场景之一，特别是在车辆、自行车和行人等混合交通参与者的情况下。驾驶策略应做出安全的决策，以处理动态交通条件，并满足车载计算的要求。然而，目前的研究大多集中在简化的交叉口只考虑周围的车辆和理想的交通灯。本文改进了综合决策与控制框架，提出了一种基于学习的混合交通流复杂交叉口控制算法，该算法既能考虑交通信号灯的实际特性，又能学习不同安全约束下的安全策略。我们首先在训练过程中考虑绿色和红色灯光的不同速度模型，并使用有限状态机来处理不同模式的光转换。然后分别为车辆、交通灯、行人、自行车设计不同类型的距离约束，并将待优化的约束最优控制问题（OCP）公式化。最后，采用基于价值网络和策略网络的强化学习（RL）方法求解OCP序列。为了验证该方法的安全性和有效性，设计了一个存在大规模混合交通参与者的多车道交叉口，并设置了实际的交通灯相位。仿真结果表明，训练后的决策和控制策略能够很好地平衡安全性和跟踪性能。与模型预测控制（MPC）相比，计算时间降低了三个数量级。
2021-08-30 cs.AI cs.LG cs.SY
When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs
Oregon State University（俄勒冈州立大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Adobe Inc.（Adobe公司）；AG2AI, Inc.（AG2AI公司）
研究多智能体LLM工作流中端到端强化学习训练的效果，发现改进依赖于工作流、任务和规模，策略共享不提供统一稳定性而是重新分配失败模式。
2026-11-03 cs.AI cs.LG
Episodic Policy Gradient Training
Applied AI Institute, Deakin University（迪肯大学应用人工智能研究所）
我们介绍了一种新的策略梯度方法的训练过程，其中情景记忆用于实时优化强化学习算法的超参数。与其他超参数搜索不同，我们将超参数调度公式化为标准的马尔可夫决策过程，并使用情景记忆来存储所使用的超参数及其训练上下文的结果。在任何策略更新步骤中，策略学习器参考存储的经验，并利用由存储器确定的新的超参数自适应地重新配置其学习算法。这种机制被称为情景策略梯度训练（EPGT），它支持情景学习过程，并在单次运行中联合学习策略和学习算法的超参数。连续和离散环境下的实验结果表明，使用所提出的方法在提高各种策略梯度算法的性能的优势。
2021-12-03 cs.LG cs.MA
Anchor-Changing Regularized Natural Policy Gradient for Multi-Objective Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
我们研究多个回报价值函数的马尔可夫决策过程（MDP）的策略优化，这些回报函数根据给定的标准，如比例公平性（光滑凹标量化），硬约束（约束MDP），和最大最小的权衡进行联合优化。我们提出了一个变锚正则化自然策略梯度（ARNPG）框架，它可以系统地将性能良好的一阶方法的思想融入到多目标MDP问题的策略优化算法的设计中。理论上，基于ARNPG框架设计的算法实现了$\tilde{O}(1/T)$的全局收敛性和精确梯度。从经验上讲，ARNPG引导的算法也表现出优越的性能相比，一些现有的策略梯度为基础的方法，在精确的梯度和基于样本的情况下。
2022-10-18 cs.LG math.OC
ARMOR: Stabilizing On-Policy LLM RL with Off-Policy Anchor Samples
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Dartmouth College（达特茅斯学院）
研究大语言模型强化学习训练不稳定问题，提出ARMOR框架，通过锚展开利用离策略数据保留解决方案模式，混合优化重新制定策略目标实现可控探索，经实验验证可有效减轻验证崩溃，提升性能。
2026-07-22 cs.AI cs.CL cs.LG
Decoupling Policy Extraction for Offline Reinforcement Learning
Simplexity Robotics（森普莱西蒂机器人公司）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Northeastern University（东北大学）
该研究针对离线强化学习中演员与评论员耦合训练的问题，提出将策略改进与演员训练解耦的范式，通过演员生成动作候选、评论员选择，实验显示其性能优于行为克隆及联合训练的离线RL方法。
2026-08-24 cs.LG cs.RO
Fictitious Cross-Play: Learning Global Nash Equilibrium in Mixed Cooperative-Competitive Games
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
针对混合合作竞争博弈中自博弈难收敛到全局纳什均衡、PSRO扩展性差的问题，提出兼具两者优势的虚拟交叉博弈算法FXP，在矩阵博弈、网格世界和足球博弈中均取得更优效果。
2023-10-05 cs.AI cs.LG cs.MA
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）
由于非差分位宽采样过程，混合精度量化主要在实际训练之前预先确定模型位宽设置，从而获得次优性能。更糟糕的是，传统的静态质量一致的训练设置，即，假设所有数据在训练和推断中具有相同的质量，忽略了现实世界应用中的数据质量变化，这可能导致量化模型的鲁棒性差。在本文中，我们提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说，DQMQ被建模为一个混合强化学习（RL）任务，结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布，DQMQ是可微分的，并且可以直接端到端地优化，其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练，DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
BRPO: Batch Residual Policy Optimization
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
在批处理强化学习（RL）中，通常将学习的策略约束为接近行为（数据生成）策略，例如，通过将学习到的动作分布约束为与行为策略相差在每个状态处相同的某个最大程度。这可能会导致批量RL过于保守，无法在频繁访问的高置信度状态下利用大的策略更改，而不会在稀疏访问状态下冒性能差的风险。为了弥补这一点，我们提出了剩余的政策，其中所允许的偏差的学习政策是状态动作依赖。我们推导出一种新的RL方法，BRPO，它学习的政策和允许的偏差，共同最大限度地提高政策性能的下限。我们表明，BRPO在许多任务中实现了最先进的性能。
2020-03-29 cs.AI cs.LG stat.ML
DNA: Proximal Policy Optimization with a Dual Network Architecture
The Australian National University（澳大利亚国立大学）
本文探讨了在深度行动者-批评者强化学习模型中同时学习价值函数和策略的问题。我们发现，共同学习这些功能的常见做法是次优的，由于这两个任务之间的噪声水平的数量级差异。相反，我们表明，独立学习这些任务，但有一个受约束的蒸馏阶段，显着提高性能。此外，我们发现，策略梯度噪声水平可以通过使用较低的\textit{variance}回报估计。然而，值学习噪声水平随着较低的\textit{bias}估计而降低。这些见解共同为近端策略优化的扩展提供了信息，我们称之为\textit{Dual Network Architecture}（DNA），它的性能明显优于其前身。DNA在五个测试环境中的四个环境中的性能也超过了流行的Rainbow DQN算法，即使在更困难的随机控制设置下也是如此。
2022-11-13 cs.AI cs.LG
GFlowNet Training by Policy Gradients
Texas A&M University（德州农工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出基于策略梯度的GFlowNet训练框架，联合优化前向与反向策略，经理论分析及模拟、真实数据集实验验证，该策略可提升GFlowNet性能。
2026-08-06 cs.LG stat.ML
Learn Goal-Conditioned Policy with Intrinsic Motivation for Deep Reinforcement Learning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
学习一个广泛适用的、通用的、能够实现包括图像和文本描述在内的多种目标的策略对于智能体具有重要意义。考虑到这些感知特定的目标，深度强化学习研究的前沿是学习一个目标条件的政策，而无需手工制作的奖励。为了学习这种策略，最近的工作通常采取的奖励非参数距离的一个明确的嵌入空间中的给定目标。从不同的角度，我们提出了一种新的无监督学习方法命名为目标有条件的政策与内在动机（GPIM），共同学习的抽象级别的政策和目标有条件的政策。抽象级策略以潜在变量为条件，以优化策略，并发现进一步呈现为目标条件策略的感知特定目标的各种状态。学习的策略作为目标条件策略的内在奖励函数，以模仿抽象级策略诱导的轨迹。各种机器人任务的实验证明了我们提出的GPIM方法的有效性和效率，大大优于现有技术。
2021-12-13 cs.LG cs.RO
Revisit Policy Optimization in Matrix Form
McGill University（麦吉尔大学）；Mila（米拉）；DeepMind（深度思维）
在表格的情况下，当奖励和环境动态是已知的时，策略评估可以写为$\bm{V}_{\bmπ} = (I - γP_{\bmπ})^{-1} \bm{r}_{\bmπ}$，其中$P_{\bmπ}$是给定策略${\bmπ}$的状态转移矩阵，而$\bm{r}_{\bmπ}$是给定${\bmπ}$的奖励信号。令我们烦恼的是，$P_{\bmπ}$和$\bm{r}_{\bmπ}$都与${\bmπ}$混在一起，这意味着每次我们更新${\bmπ}$时，它们都会一起改变。在本文中，我们利用符号从\cite{wang2007dual}解开${\bmπ}$和环境动态，使优化策略更直接。我们表明，策略梯度定理\cite{sutton2018reinforcement}和TRPO \cite{schulman2015trust}可以放在一个更一般的框架，这样的符号有很好的潜力，可以扩展到基于模型的强化学习。
2019-09-19 cs.AI cs.LG
Bidirectional Distillation: A Mixed-Play Framework for Multi-Agent Generalizable Behaviors
Zhejiang University（浙江大学）
针对多智能体强化学习中群体间泛化难题，提出双向蒸馏混合博弈框架，通过正反交替蒸馏拓展策略空间，无需存储历史策略，在多类任务中实现优异泛化效果。
2025-05-16 cs.AI cs.LG
When Will Generative Adversarial Imitation Learning Algorithms Attain Global Convergence
The Ohio State University（俄亥俄州立大学）
生成对抗模仿学习（GAIL）是一种流行的反向强化学习方法，用于从专家轨迹中联合优化策略和奖励。关于GAIL的一个主要问题是将某个策略梯度算法应用于GAIL是否获得全局最小值（即，产生专家策略），对此现有的理解非常有限。这样的全局收敛性仅在线性（或线性型）MDP和线性（或可线性化）报酬下得到证明。在本文中，我们研究GAIL下一般MDP和非线性奖励函数类（只要目标函数是强凹的奖励参数）。我们描述了一个次线性速率的全局收敛性的广泛使用的策略梯度算法，所有这些都是实现在一个交替的方式与随机梯度上升的奖励更新，包括预计策略梯度（PPG）-GAIL，弗兰克-沃尔夫策略梯度（FWPG）-GAIL，信任域策略优化（TRPO）-GAIL和自然策略梯度（NPG）-GAIL。这是第一次对GAIL算法的全局收敛性进行系统的理论研究。
2020-06-25 cs.LG stat.ML
Multi-agent Policy Optimization with Approximatively Synchronous Advantage Estimation
Xi’an Jiaotong University（西安交通大学）
协作多智能体任务要求智能体推断出自己的贡献与共享的全局奖励，称为信用分配的挑战。基于策略的多智能体强化学习解决这一挑战的一般方法为个体智能体引入微分价值函数或优势函数。在多智能体系统中，需要对不同智能体的策略进行联合评估。为了同步更新策略，这样的价值函数或优势函数也需要同步求值。然而，在现有的方法中，价值函数或优势函数使用异步评估的反事实联合行动，从而遭受自然的估计偏差。在这项工作中，我们提出了近似同步优势估计。我们首先推导出边际优势函数，从单智能体优势函数扩展到多智能体系统。此外，我们引入了一个策略近似的同步优势估计，并打破了多智能体的策略优化问题分解成多个子问题的单智能体的策略优化。我们的方法相比，基线算法的星际争霸多智能体的挑战，并显示出最好的性能上的大多数任务。
2021-05-08 cs.AI cs.LG
On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems
University of Cambridge（剑桥大学）
计算准确的奖励函数的能力对于通过强化学习优化对话策略至关重要。在现实世界的应用中，使用明确的用户反馈作为奖励信号通常是不可靠的，并且收集成本很高。如果用户的意图是预先知道的，或者数据可用于离线预训练任务成功预测器，则可以缓解这个问题。实际上，这两种方法都不适用于大多数现实世界的应用。在这里，我们提出了一个在线的学习框架，通过主动学习与高斯过程模型的奖励模型一起，通过联合训练的对话政策。该高斯过程对使用递归神经网络编码器-解码器以无监督方式生成的连续空间对话表示进行操作。实验结果表明，该框架能够显着降低数据标注成本，并减轻嘈杂的用户反馈对话策略学习。
2016-06-02 cs.CL cs.LG
Leveraging Automated Mixed-Low-Precision Quantization for tiny edge microcontrollers
Università di Bologna（博洛尼亚大学）；Greenwaves Technologies；Università di Modena e Reggio Emilia（摩德纳雷焦艾米利亚大学）；IIS ETH Zurich（苏黎世联邦理工学院集成系统研究所）
严重的片上存储器限制目前阻碍了在微型微控制器单元（MCU）上部署最精确的深度神经网络（DNN）模型，即使利用有效的8位量化方案也是如此。为了解决这个问题，在本文中，我们提出了一个自动化的混合精度量化流程的基础上的HAQ框架，但量身定制的MCU设备的内存和计算特性。具体而言，强化学习代理在RAM和FLASH嵌入式存储器大小的严格约束下，在2、4、8位中搜索个体权重和激活张量的最佳均匀量化水平。我们对用于Imagenet分类的MobileNetV 1、MobileNetV 2和MNasNet模型进行了实验分析。关于量化策略搜索，RL代理选择使存储器利用率最大化的量化策略。对于仅加权量化，给定2MB的MCU级内存限制，混合精度引擎产生的压缩模型与使用非均匀函数量化的最新解决方案一样准确，这不是针对仅具有整数运算的CPU量身定制的。这表示MCU部署所需的均匀量化对于深度权重压缩的可行性。当将激活内存预算限制为512kB时，由于找到的量化策略，最佳MobileNetV1模型在Imagenet上的得分高达68.4%，比其他8位网络更准确4%。
2020-08-12 cs.LG stat.ML
Learning-based social coordination to improve safety and robustness of cooperative autonomous vehicles in mixed traffic
本文提出基于多智能体强化学习的方法，通过量化自动驾驶车辆的社会偏好并引入利他主义，提升其在混合交通中与人类驾驶车辆协作的安全性和鲁棒性。
2022-11-22 cs.LG cs.RO
Acceleration in Policy Optimization
Google DeepMind（谷歌DeepMind）；McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）
本文提出一种通过乐观和自适应更新加速强化学习策略优化的统一范式，并设计了一种基于元梯度学习的乐观策略梯度算法，在说明性任务中验证了加速设计选择。
2023-09-05 cs.AI cs.LG stat.ML
Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition
DCST, Tsinghua University（清华大学计算机科学与技术系）；Tsinghua University（清华大学）
近年来，许多研究已经将强化学习应用于训练对话策略，并显示出很大的前景。一种常见的方法是采用用户模拟器来获得用于强化学习算法的大量模拟用户体验。然而，模拟真实的用户模拟器是具有挑战性的。基于规则的模拟器需要大量的领域专业知识来完成复杂的任务，而数据驱动的模拟器需要大量的数据，甚至不清楚如何评估模拟器。为了避免事先建立一个明确的用户模拟器，我们提出了多Agent对话策略学习，它把系统和用户作为对话代理。两个智能体相互作用，同时共同学习。该方法使用演员-评论家框架，以促进预训练和提高可扩展性。我们还提出了混合价值网络的角色感知的奖励分解，以整合面向任务的对话中的每个代理的角色特定的领域知识。实验结果表明，该方法可以成功地建立一个系统的政策和用户的政策，并通过会话交互的两个代理可以实现高的任务成功率。
2020-04-23 cs.CL cs.LG
MAPPER: Multi-Agent Path Planning with Evolutionary Reinforcement Learning in Mixed Dynamic Environments
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
动态环境下的多智能体导航在大规模机器人部署到实际应用中具有重要的工业价值。提出了一种基于进化强化学习（MAPPER）的分散式部分可观测多智能体路径规划方法，用于在混合动态环境中学习有效的局部规划策略.基于强化学习的方法通常会在具有目标条件的稀疏奖励的长时间任务上性能下降，因此我们在全局规划器的指导下将长距离导航任务分解为许多更容易的子任务，这提高了智能体在大环境中的性能。此外，大多数现有的多智能体规划方法假设周围环境的完美信息或附近的动态代理的同质性，这在实践中可能不成立。我们的方法模型动态障碍物的行为与基于图像的表示和训练的政策在混合动态环境中没有同质性假设。为了确保多智能体训练的稳定性和性能，我们提出了一种进化的训练方法，可以很容易地扩展到大型和复杂的环境。实验表明，与传统的基于反应的规划器LRA* 和最先进的基于学习的方法相比，MAPPER在面对大量非合作动态障碍物时能够获得更高的成功率和更稳定的性能。
2020-07-30 cs.AI cs.LG cs.MA
Sub-policy Adaptation for Hierarchical Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
分层强化学习是解决具有稀疏回报的长期决策问题的一种很有前途的方法。不幸的是，大多数方法仍然将较低级别的技能获取过程与控制新任务中技能的较高级别的训练解耦。保持技能不变可能会导致转移设置中的显着次优。在这项工作中，我们提出了一种新的算法来发现一组技能，并不断调整它们，即使在训练新任务时也是如此。我们的主要贡献有两方面。首先，我们推导出一个新的分层策略梯度与公正的潜在依赖的基线，我们引入分层近端策略优化（HiPPO），一个有效的策略方法，训练各级的层次结构。其次，我们提出了一种训练时间抽象的方法，提高了所获得的技能对环境变化的鲁棒性。代码和结果可在sites.google.com/view/hippo-rl上获得
2020-05-13 cs.AI cs.LG cs.NE
Branch and Bound in Mixed Integer Linear Programming Problems: A Survey of Techniques and Trends
Huawei（华为）
在本文中，我们调查了现有的文献研究不同的方法和算法的四个关键组成部分，在一般的分支定界（B&B）算法，即分支变量选择，节点选择，节点修剪，切割平面选择。然而，B&B算法的复杂度总是随着决策变量维数的增加而呈指数增长。为了提高B&B算法的速度，近年来在该算法中引入了学习技术。我们进一步调查了如何使用机器学习来改进B&B算法中的四个关键组件。一般来说，监督学习方法有助于生成模仿专家但显著提高速度的策略。无监督学习方法有助于基于特征选择不同的方法。此外，经过强化学习训练的模型可以击败专家策略，只要有足够的训练和监督初始化。我们的调查中总结了不同算法之间的详细比较。最后，我们讨论了一些未来的研究方向，以加速和改进的算法在文献中进一步。
2021-11-05 cs.LG cs.SY eess.SY
Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO
Lane Department of Computer Science and Electrical Engineering, West Virginia University（计算机科学与电气工程系，西弗吉尼亚大学）
本文提出基于PPO的强化学习方法，联合优化纯追求算法的前瞻距离和转向增益，提升自主赛车的路径跟踪性能。
2026-02-20 cs.AI cs.LG cs.RO
Learning a Multi-Modal Policy via Imitating Demonstrations with Mixed Behaviors
National Tsing Hua University（国立清华大学）
我们提出了一种新的方法来训练一个多模态的政策，从混合示范没有他们的行为标签。我们开发了一种方法来发现潜在的变化因素的演示。具体来说，我们的方法是基于变分自编码器与分类潜在变量。编码器从演示中推断出对应于不同行为的离散潜在因素。作为策略，解码器相应地执行行为。一旦学习，该策略就能够通过简单地以分类向量为条件来再现特定的行为。我们评估我们的方法在三个不同的任务，包括一个具有挑战性的任务与高维视觉输入。实验结果表明，我们的方法是优于各种基线方法和竞争力的多模态政策训练的地面真相行为标签。
2019-03-25 cs.LG stat.ML
