A policy gradient approach for Finite Horizon Constrained Markov Decision Processes
Indian Institute of Science（印度科学学院）
针对现有约束强化学习仅研究无限时域场景的不足，提出首个带函数近似的有限时域约束MDP策略梯度算法，证明收敛性且实验表现优于知名算法。
2025-03-20 cs.LG
An Informational Curse of Horizon in Goal-Conditioned Policy Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究揭示目标条件策略学习中目标重标记地平线增加导致的信息性诅咒，并发现蒸馏短地平线策略的输入雅可比矩阵可提升长地平线策略性能。
2026-10-08 cs.AI cs.LG cs.RO
Periodic agent-state based Q-learning for POMDPs
McGill University（麦吉尔大学）；Mila（米拉研究所）；Cohere（科here公司）
针对POMDPs中基于智能体状态的平稳Q学习表现受限的问题，提出学习周期性策略的PASQL算法，理论证明其收敛性并通过实验验证其优于平稳策略。
2024-10-29 cs.LG
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Non-Stationary Policy Learning for Multi-Timescale Multi-Agent Reinforcement Learning
National Renewable Energy Laboratory（国家可再生能源实验室）；Maplewell Energy（Maplewell能源公司）
针对多时间尺度多智能体强化学习中非平稳策略学习难的问题，提出基于周期性时间编码和相位函数神经网络的策略梯度框架，经两类环境验证有效。
2023-07-17 cs.AI cs.LG cs.MA
Solving infinite-horizon POMDPs with memoryless stochastic policies in state-action space
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
完全可观测马尔可夫决策过程中的奖励优化等价于状态-动作频率多胞形上的线性规划。以类似的角度来看，在部分可观察的马尔可夫决策过程与无记忆随机政策的情况下，最近制定的问题是一个线性目标的多项式约束的优化。在此基础上，我们提出了一种在状态-动作空间（ROSA）的奖励优化方法。我们测试这种方法在迷宫导航任务的实验。我们发现，ROSA是计算效率高，可以产生稳定性的改善，比其他现有的方法。
2022-05-27 cs.LG cs.SY eess.SY
Sequential Dexterity: Chaining Dexterous Policies for Long-Horizon Manipulation
Stanford University（斯坦福大学）
提出序列灵巧性系统，通过链式灵巧策略和过渡可行性函数，解决长时程操作任务，实现仿真到真实的零样本迁移。
2023-10-16 cs.AI cs.LG cs.RO
The Complexity of Markov Equilibrium in Stochastic Games
我们表明，计算近似平稳马尔可夫粗相关均衡（CCE）的一般和随机游戏是计算上难以处理的，即使有两个球员，游戏是回合制的，折扣因子是一个绝对常数，和近似是一个绝对常数。我们的棘手的结果形成鲜明对比，正规形式的游戏，确切的CCE是有效的计算。更重要的是，我们的研究结果意味着，有没有有效的算法学习平稳马尔可夫CCE政策在多智能体强化学习（MARL），即使是当互动是两个球员和回合为基础的，和折扣因子和所需的近似学习的政策是一个绝对常数。反过来，这些结果与单智能体强化学习（RL）形成鲜明对比，其中可以有效地学习接近最优的平稳马尔可夫策略。补充我们的棘手的结果平稳马尔可夫CCE，我们提供了一个分散的算法（假设玩家之间共享的随机性）学习非平稳马尔可夫CCE政策与多项式时间和样本的复杂性，在所有的问题参数。以前学习马尔可夫CCE策略的工作都需要指数时间和参与者数量的样本复杂度。
2022-04-08 cs.GT cs.LG
Non-Stationary Off-Policy Optimization
Google Research（谷歌研究院）
离策略学习是一个框架，用于根据另一个策略收集的数据，在不部署策略的情况下评估和优化策略。现实世界的环境通常是不稳定的，离线学习的策略应该适应这些变化。为了应对这一挑战，我们研究了分段固定上下文强盗的离线策略优化的新问题。我们提出的解决方案有两个阶段。在离线学习阶段，我们将记录的数据划分为分类的潜在状态，并为每个状态学习一个接近最优的子策略。在在线部署阶段，我们根据学习到的子策略的性能自适应地在它们之间切换。该方法具有实用性和可分析性，并在离线优化质量和在线部署过程中的遗憾方面提供了保证。为了证明我们方法的有效性，我们将其与合成和真实世界数据集上的最先进基线进行了比较。我们的方法优于仅对观察到的上下文起作用的方法。
2021-04-04 cs.AI cs.LG stat.ML
Agent-state based policies in POMDPs: Beyond belief-state MDPs
McGill University（麦吉尔大学）；GERAD；Mila（米拉）；ILLS
本文统一了POMDP中基于可递归更新的智能体状态策略的多种方法，涵盖最优非平稳策略、策略搜索和近似信息状态方法，并展示了其改进Q-learning和actor-critic算法的思路。
2024-09-24 cs.LG cs.SY eess.SY
Near-optimality for infinite-horizon restless bandits with many arms
Cornell University（康奈尔大学）
不安分土匪是一类重要的问题，在推荐系统、主动学习、收益管理等领域有着广泛的应用。我们考虑无限地平线折扣不安分的土匪与许多武器，一个固定的比例的武器可能会在每个时期和武器共享一个有限的状态空间。虽然平均情况下的最优策略可以通过随机动态规划来计算，但所需的计算量随着臂数$N$呈指数增长。因此，重要的是找到可以针对大$N$有效地计算并且在该机制中接近最优的可扩展策略，在这个意义上，对于大$N$，每个臂的最优性差距（即，相对于最优策略的预期性能的损失）消失。然而，最流行的方法，Whittle索引，需要一个难以验证的可索引性条件被定义良好，另一个难以验证的条件，以保证$o(N)$的最优性差距。我们提出了一种解决这些困难的方法。通过替换一个全局拉格朗日乘子使用的惠特尔指数的拉格朗日乘子序列，每个时间段一个有限的截断点，我们得到一类的政策，称为流体平衡政策，有一个$O(\sqrt{N})$最优性差距。与惠特尔指数不同，流体平衡策略不需要定义良好的可索引性，并且它们的$O(\sqrt{N})$最优间隙界在没有充分条件的情况下普遍成立。我们还实证表明，流体平衡政策提供了国家的最先进的性能在特定的问题。
2022-03-29 cs.LG math.OC
Random Policy Enables In-Context Reinforcement Learning within Trust Horizons
Department of Electrical, Computer, and Systems Engineering, Rensselaer Polytechnic Institute（电气、计算机与系统工程系，拉特格斯理工学院）
提出State-Action Distillation（SAD）方法，仅利用随机策略在信任范围内提取状态-动作对生成预训练数据集，首次在随机策略和上下文下实现有效ICRL，并在多个基准上显著超越基线。
2025-05-02 cs.AI cs.LG
ComaDICE: Offline Cooperative Multi-Agent Reinforcement Learning with Stationary Distribution Shift Regularization
Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
本文提出ComaDICE算法，通过在稳态分布空间引入正则化并结合多智能体价值分解策略，有效解决离线协作多智能体强化学习中的分布偏移问题，在MuJoCo和StarCraft II基准上取得领先性能。
2024-10-02 cs.LG cs.MA
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
The Ohio State University（俄亥俄州立大学）
多臂强盗问题在平稳假设下得到了广泛的研究。然而，在现实中，这个假设往往不成立，因为奖励本身的分布可能会随着时间的推移而变化。针对分段平稳环境下的多臂强盗问题，提出了一种基于变化检测的框架，并研究了一类基于变化检测的UCB（Upper Confidence Bound）策略CD-UCB，该策略主动检测变化点并重新启动UCB索引.然后，我们开发了属于CD-UCB类的PHT-UCB和PHT-UCB，并使用累积和（PHTUM）和Page-Hinkley检验（PHT）来检测变化。我们证明了在较温和的假设下，EQUUM-UCB得到了最著名的后悔上界。我们还证明了遗憾减少的CD-UCB政策任意伯努利奖励和雅虎！网页点击率的数据集。
2017-11-20 cs.AI cs.LG stat.ML
Thompson Sampling with Information Relaxation Penalties
Columbia University（哥伦比亚大学）
我们考虑了贝叶斯环境下的有限时域多臂强盗（MAB）问题，为此我们提出了一个信息松弛抽样框架。有了这个框架，我们定义了一个直观的家庭的控制策略，包括汤普森采样（TS）和贝叶斯最优策略作为端点。类似于TS，在每个决策时期拉一个相对于随机采样参数最好的手臂，我们的算法对整个未来的奖励实现进行采样，并采取相应的最佳行动。然而，这是在存在“惩罚”的情况下进行的，这些惩罚旨在补偿未来信息的可用性。我们开发了几种新的政策和性能界限MAB的问题，在提高性能和增加两个端点之间的计算复杂性方面有所不同。我们的政策可以被看作是自然的概括TS，同时纳入知识的时间范围，并明确考虑勘探开发权衡。我们证明了相关的结构性能界限和次优差距的结果。数值实验表明，这类新的政策表现良好，特别是在有限的时间范围内引入显着的勘探开发紧张局势的问题。最后，受有限时域Gittins指数的启发，我们提出了一个建立在我们的框架上的索引策略，该框架在我们的数值实验中特别优于最先进的算法。
2021-06-16 cs.LG stat.ML
Value-Informed Skill Chaining for Policy Learning of Long-Horizon Tasks with Surgical Robot
The Chinese University of Hong Kong（香港中文大学）
针对手术机器人长时序任务中子任务策略难以平滑连接的问题，提出强化学习框架ViSkill，通过状态价值函数学习链接策略，指导子任务在最优状态终止，提升了任务成功率与执行效率。
2023-07-31 cs.AI cs.LG cs.RO
The Greedy Advantage in Finite-Horizon Bandits
Tsinghua University（清华大学）；Harvard Business School（哈佛商学院）
针对有限时间范围老虎机问题，提出正则化贪心算法，推导其有限时间范围遗憾包络并校准参数，实验显示其性能优于或匹配当前最优算法，为该问题提供有效方案。
2026-08-03 cs.LG stat.ML
Relay Policy Learning: Solving Long-Horizon Tasks via Imitation and Reinforcement Learning
Berkeley AI Research（伯克利人工智能研究中心）；Google（谷歌）
我们提出了中继策略学习，模仿和强化学习的方法，可以解决多阶段，长时间的机器人任务。这种普遍适用的两阶段方法包括一个模仿学习阶段和一个强化学习阶段，模仿学习阶段产生目标条件的分层策略，强化学习阶段微调这些策略以提高任务性能。我们的方法，虽然不一定是完美的模仿学习，是非常适合通过环境交互进一步改进，使其能够扩展到具有挑战性的长期任务。我们简化了长期的策略学习问题，使用一种新的数据重新标记算法学习目标条件的分层策略，其中低级别的行为只为固定数量的步骤，无论达到的目标。虽然我们依赖于演示数据来引导策略学习，但我们并不假设可以访问正在解决的每个特定任务的演示，而是利用语义上有意义的行为的非结构化和未分割的演示，这些演示不仅提供负担较轻，而且还可以大大促进使用强化学习的进一步改进。我们证明了我们的方法在一个具有挑战性的厨房模拟环境中的多阶段，长时间的操作任务的有效性。视频可在https://relay-policy-learning.github.io/上获得
2019-10-25 cs.LG cs.RO stat.ML
Distributed Power Control for Large Energy Harvesting Networks: A Multi-Agent Deep Reinforcement Learning Approach
CentraleSupelec（巴黎中央高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；University of Cassino and Southern Lazio（卡西诺和南拉齐奥大学）；Mathematical and Algorithmic Sciences Lab, Huawei France R&D（华为法国研发数学与算法科学实验室）
在本文中，我们开发了一个多智能体强化学习（MARL）框架，以获得在线功率控制策略的大能量收集（EH）多址信道，只有因果信息的EH过程和无线信道。在该框架下，我们将在线功率控制问题建模为离散时间平均场博弈（MFG），并分析表明MFG具有唯一的稳态解。接下来，我们利用平均场游戏的虚拟游戏属性，以及深度强化学习技术，以完全分布式的方式学习游戏的静态解。我们分析表明，所提出的程序收敛到唯一的固定解决方案的MFG。这反过来又确保了可以以完全分布式的方式学习最优策略。为了对分布式策略的性能进行基准测试，我们还开发了基于深度神经网络（DNN）的集中式和分布式在线功率控制方案。我们的仿真结果表明所提出的功率控制策略的有效性。特别地，基于DNN的集中式功率控制策略为大型EH网络提供了非常好的性能，对于大型EH网络，使用诸如马尔可夫决策过程的传统方法来设计最优策略是困难的。此外，这两种分布式策略的性能接近于集中式策略所实现的吞吐量。
2019-10-22 cs.AI cs.IT cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales（新南威尔士大学）
针对多目标强化学习难以适应非平稳环境的问题，本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法，在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
Non-Rectangular Average-Reward Robust MDPs: Optimal Policies and Their Transient Values
本文研究了非矩形鲁棒MDPs的最优策略及其瞬时值，提出了一种基于周期的策略，结合最优平稳策略与在线学习回退机制，实现常数阶瞬时值。
2026-03-10 cs.LG math.OC stat.ML
DriftOPD: Sequence-Level Reverse-KL Distillation for One-Step VLA Policies
KAIST（韩国科学技术院）；Sungkyunkwan University（成均馆大学）
针对VLA策略块级训练忽视长时程任务成功的问题，提出无需教师和展开的DriftOPD框架，通过分解序列级反向KL散度并优化单步漂移目标与Q函数，实现仅用离线数据的单步蒸馏，性能优于现有基线并媲美多步教师策略。
2026-10-02 cs.AI cs.CV cs.LG
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明，在单链马尔可夫决策过程中的最优（平稳）政策的组合是最优的。也就是说，设M是一个具有状态空间S，动作空间A和策略π_j^* 的单链马尔可夫决策过程：S -> A（1 \leq j \leq n），具有最优的平均无限时域报酬。然后这些策略的任何组合π，其中对于S中的每个状态i，存在j使得π（i）=π_j^*（i），也是最优的。此外，我们证明了任何最优策略的混合，其中在状态i的每次访问中，选择最优策略的任意动作π_j^*（i），也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Single or Multiple Policies for Phase-Structured Reinforcement Learning?
Imperial College London（伦敦帝国学院）
本研究探讨阶段结构强化学习中单一共享策略与多策略的优劣，提出基于机制持续时间的阶段分解方法，并通过实验验证四个关键假设。
2026-10-05 cs.AI cs.LG cs.SY
Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies
University of Cambridge（剑桥大学）
众所周知，人类决策是不完美的，在试图帮助或提高决策者执行任务的能力时，单独分析这些过程的能力至关重要，例如提醒他们注意潜在的偏见或疏忽。要做到这一点，有必要开发可解释的表示，说明代理如何做出决策，以及随着代理在线学习对累积经验的反应，这一过程如何随时间而变化。为了理解一组观察到的轨迹背后的决策过程，我们将策略推理问题转化为这个在线学习问题的逆问题。通过在潜在结果框架内解释行动，我们引入了一个有意义的映射，该映射基于代理选择他们认为具有最大治疗效果的行动。我们引入了一个实用的算法，回顾性地估计这种感知的影响，通过代理更新它们的过程中，使用一种新的架构，建立在深状态空间模型的表达家庭。通过应用于UNOS器官捐献接受决策的分析，我们证明了我们的方法可以为管理决策过程的因素以及它们如何随着时间的推移而变化带来有价值的见解。
2022-09-30 cs.LG
Train Short, Act Long: Multistability and the Horizon Independence of Recurrent Policies
Dept. of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of Liège（利根大学）
本文探讨了多稳态对长地平线泛化的重要性，分析了非线性RNN在实现多稳态中的作用，并指出现代并行架构在长地平线泛化中的局限性。
2026-10-14 cs.LG
Infinite-horizon Off-Policy Policy Evaluation with Multiple Behavior Policies
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；East China Normal University（华东师范大学）；University of Science and Technology of China（中国科学技术大学）；Shandong University（山东大学）；Georgia Institute of Technology（佐治亚理工学院）
当轨迹数据由多个行为策略生成时，我们考虑了非策略策略评估。最近的工作表明，在无限水平的背景下，状态或状态-动作平稳分布校正对政策外政策评估起着关键作用。我们提出了估计混合策略（EMP），一类新的部分政策不可知的方法来准确地估计这些数量。通过仔细的分析，我们发现，EMP产生的估计减少方差估计的状态平稳分布校正，同时它也提供了一个有用的感应偏置估计的状态-动作平稳分布校正。在连续和离散环境下进行的大量实验中，我们证明了我们的算法与最先进的方法相比具有显着提高的准确性。
2019-10-10 cs.LG stat.ML
Dynamic Multi-Depot Vehicle Routing with Online Requests: Event-Driven Transformer--DRL and Rolling-Horizon Benchmarking
Louisiana State University（路易斯安那州立大学）
针对带在线请求的动态多车场车辆路径问题，提出事件驱动的Transformer深度强化学习框架，经多场景基准测试，该学习策略在部分指标上弱于最强启发式算法，无单一方法在所有维度最优。
2026-08-17 cs.LG
Learning Stationary Nash Equilibrium Policies in $n$-Player Stochastic Games with Independent Chains
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑一个子类的$n$ -球员随机游戏，其中球员有自己的内部状态/动作空间，而他们通过他们的支付功能耦合。假设参与者的内部链由独立的转移概率驱动。此外，参与者只能接收他们的收益的实现，而不是实际的功能，并且不能观察彼此的状态/动作。对于这类游戏，我们首先表明，找到一个固定的纳什均衡（NE）的政策，没有任何假设的奖励功能是互动的。然而，对于一般的奖励函数，我们开发多项式时间学习算法的基础上双平均和双镜像下降，收敛于平均Nikaido-Isoda距离的$ε$ -NE政策几乎肯定或预期。特别是，在额外的假设下的奖励功能，如社会福利，我们推导出多项式上界的迭代次数，以实现高概率的$ε$ -NE政策。最后，我们评估所提出的算法在学习$ε$ -NE政策的有效性，在智能电网的能量管理的数值实验。
2023-03-22 cs.GT cs.LG cs.MA
Local Policies Enable Zero-shot Long-horizon Manipulation
Carnegie Mellon University（卡内基梅隆大学）；Apple（苹果公司）
本文提出ManipGen，通过引入具有位姿、技能顺序和场景配置不变性的局部策略，结合视觉、语言和运动规划基础模型，在仿真和真实世界中实现了零样本长程操作任务的最先进性能。
2025-03-10 cs.CV cs.LG cs.RO
Asymptotic Inference for Multi-Stage Stationary Treatment Policy with Variable Selection
Harvard University（哈佛大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Michigan（密歇根大学）
针对高维多阶段平稳治疗策略缺乏参数推断的问题，提出结合AIPW价值估计、惩罚变量选择与一步估计改进的方法，证明其渐近正态性并通过数值研究验证有效。
2025-01-08 cs.LG stat.ME stat.ML
Learning to Ball: Composing Policies for Long-Horizon Basketball Moves
Stanford University（斯坦福大学）；University of California, Riverside（加州大学河滨分校）；Clemson University（克莱姆森大学）
本文提出一种策略集成框架与高层软路由器，用于解决多阶段长时程篮球动作中技能组合与过渡难题，使模拟角色能根据实时用户命令完成复杂篮球任务。
2025-09-26 cs.AI cs.GR cs.LG
GeoAAC: Geometry-Based Adaptive Action Chunking from Denoising Trajectories in VLA Policies
Tongji University（同济大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and Technology of China（电子科技大学）
针对VLA策略中固定动作视界无法适应任务阶段变化的问题，提出基于Flow Matching去噪轨迹几何的自适应动作分块方法GeoAAC，无需额外训练即可调整视界，在仿真和真实任务中显著提升成功率。
2026-09-18 cs.AI cs.LG cs.RO
Imagining Goals with Geometric Horizon Models for Policy Generalization
Mila；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本研究针对零样本目标泛化难题，提出TD-Aug方法，通过几何视界模型采样构想组合现有知识的新结果，将其作为目标训练目标条件化BC策略，显著提升了基于拼接的OGBench任务的泛化能力。
2026-10-13 cs.AI cs.LG
GO-DICE: Goal-Conditioned Option-Aware Offline Imitation Learning via Stationary Distribution Correction Estimation
Rice University（莱斯大学）
针对现有离线模仿学习难以处理长时序任务、目标变化需重训练的问题，提出分层策略学习的GO-DICE方法，在平稳分布空间学习目标条件的子任务转换与执行策略，在Mujoco抓取任务中表现更优，还可利用不完美演示和部分分割提升性能。
2023-12-17 cs.AI cs.LG
LiLo-VLA: Compositional Long-Horizon Manipulation via Linked Object-Centric Policies
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
LiLo-VLA通过链接的对象为中心策略实现长周期操控，通过模块化框架实现零样本泛化，提升机器人任务成功率。
2026-02-25 cs.AI cs.CV cs.LG
