Geometric Active Exploration in Markov Decision Processes: the Benefit of Abstraction
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（ETH人工智能中心）；Technion（以色列理工学院）
本文提出几何主动探索（GAE）算法，将MDP同态扩展到凸RL，利用状态空间的几何结构（如排列不变性）提升主动探索的样本效率，并在科学发现环境中验证其有效性。
2024-07-18 cs.LG
Learning Markov State Abstractions for Deep Reinforcement Learning
Brown University（布朗大学）
本文提出一组充分条件及结合逆模型估计与时间对比学习的训练方法，学习保持马尔可夫性质的抽象状态表示，在视觉网格世界和连续控制任务中提升样本效率，匹配或超越手工设计状态性能。
2024-03-15 cs.AI cs.LG stat.ML
Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））；Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR））；College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡）
本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。
2025-12-18 cs.LG cs.NE
Driving Policy Transfer via Modularity and Abstraction
KAUST（阿卜杜拉国王科技大学）；Intel Labs（英特尔实验室）
自动驾驶的端到端方法具有很高的样本复杂性，并且难以扩展到现实的城市驾驶。仿真可以通过提供廉价，安全和多样化的培训环境来帮助端到端的驾驶系统。然而，在模拟中训练驱动政策带来了将这些政策转移到现实世界的问题。我们提出了一种方法，通过模块化和抽象的驾驶政策从模拟到现实。我们的方法受到经典驾驶系统的启发，旨在结合模块化架构和端到端深度学习方法的优势。关键思想是封装驾驶策略，使其不直接暴露于原始感知输入或低级别车辆动态。我们评估所提出的方法在模拟城市环境和现实世界中。特别是，我们将模拟训练的驾驶策略转移到1/5比例的机器人卡车上，该卡车部署在两大洲的各种条件下，没有微调。补充视频可以在https://youtu.be/BrMDJqI6H5U上观看
2018-12-13 cs.CV cs.LG cs.RO
Abstract Reward Processes: Leveraging State Abstraction for Consistent Off-Policy Evaluation
University of Massachusetts（马萨诸塞大学）；Princeton University（普林斯顿大学）
本文提出STAR框架，通过状态抽象构建抽象奖励过程，实现低均方误差且渐近一致的离线策略评估，并在十二个案例中验证其优于现有方法。
2024-10-03 cs.AI cs.LG stat.ML
Polaris: A Gödel Agent Framework for Small Language Models through Experience-Abstracted Policy Repair
TCS Research, India（印度TCS研究）
Polaris通过经验抽象策略修复实现小型语言模型的Gödel代理框架，通过分析、策略形成、抽象和最小代码修补实现策略更新，提升模型在多个基准测试中的表现。
2026-06-25 cs.LG
Off-Policy Evaluation of Slate Bandit Policies via Optimizing Abstraction
Cornell University（康奈尔大学）；CyberAgent, Inc.（CyberAgent公司）
针对slate bandit离线策略评估中IPS方差大且PI估计器因线性假设易产生偏差的问题，提出LIPS估计器，通过数据驱动优化低维slate抽象空间并定义重要性权重，在不依赖线性假设下有效降低方差，显著提升评估性能。
2024-02-17 cs.LG stat.ML
Distillation of RL Policies with Formal Guarantees via Variational Abstraction of Markov Decision Processes (Technical Report)
Vrije Universiteit Brussel（布鲁塞尔自由大学）；University of Antwerp – Flanders Make（安特卫普大学–法兰德斯制造）
我们认为，政策简化和验证的背景下，通过强化学习（RL）在连续环境中学习的政策的挑战。在行为良好的设置中，RL算法在极限内具有收敛保证。虽然这些保证是有价值的，但它们不足以用于安全关键型应用。此外，在应用深度RL等先进技术时，它们会丢失。为了在将高级RL算法应用于具有（i）可达性，（ii）安全约束可达性或（iii）折扣奖励目标的更复杂环境时恢复保证，我们基于Gelada等人提出的DeepMDP框架，推导出未知环境与其学习的离散潜在模型之间的新互模拟边界。我们的互模拟边界使形式化方法能够应用于马尔可夫决策流程.最后，我们展示了如何使用通过最先进的RL获得的策略来有效地训练一个变分自编码器，该编码器产生一个离散的潜在模型，具有可证明的近似正确的互模拟保证。此外，我们还获得了潜在模型的策略的一个精炼版本。
2022-06-14 cs.AI cs.LG
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
分层强化学习专注于发现时间上扩展的动作，例如选项，可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项，这就是选项批评（OC）框架。我们在本文中研究并表明，OC不会将问题分解为更简单的子问题，而是增加了策略空间上的搜索大小，每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性，包括样本学习效率低下。为了解决这个问题，我们引入了深度选项学习的上下文特定表示抽象（CRADOL），这是一个新的框架，它考虑了时间抽象和上下文特定表示抽象，以有效地减少策略空间上的搜索大小。具体来说，我们的方法学习一个因子化的信念状态表示，使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层，非分层和模块化的递归神经网络基线，证明显着的样本效率的改善，在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
Data-efficient Hindsight Off-policy Option Learning
DeepMind（深度思维）
本文介绍了一种数据有效的期权学习算法--后见之明的非策略期权（HO 2）。给定任何轨迹，HO 2推断可能的选项选择，并通过动态规划推断过程反向传播，以稳健地训练所有策略组件脱离策略和端到端。该方法优于现有的选项学习方法的共同基准。为了更好地理解的选项框架，并从时间和动作抽象的好处，我们评估消融与平面政策和混合政策具有可比的优化。结果突出了这两种类型的抽象以及离线训练和信任区域约束的重要性，特别是在具有挑战性的模拟3D机器人操作任务中。最后，我们直观地调整推理步骤，以研究增加时间抽象对使用预训练选项和从头开始训练的影响。
2021-06-15 cs.AI cs.LG cs.RO
Learning Discrete State Abstractions With Deep Variational Inference
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）
在具有大状态空间的域中，抽象对于有效的顺序决策至关重要。在这项工作中，我们提出了一个信息瓶颈的方法学习近似互模拟，一种类型的状态抽象。我们使用深度神经编码器将状态映射到连续嵌入。我们将这些嵌入映射到一个离散表示使用的动作条件隐马尔可夫模型，这是训练端到端的神经网络。我们的方法适用于高维状态的环境，并从马尔可夫决策过程中代理收集的经验流中学习。通过这种学习的离散抽象模型，我们可以在多目标强化学习设置中有效地规划看不见的目标。我们测试我们的方法在简化的机器人操作域的图像状态。我们还将其与以前的基于模型的方法进行比较，在离散网格世界的环境中找到互模拟。源代码可在https://github.com/ondrejba/discrete_abstractions上获得。
2021-01-11 cs.LG stat.ML
Continuous MDP Homomorphisms and Homomorphic Policy Gradient
McGill University（麦吉尔大学）；Mila（米拉研究所）；DeepMind（深度思维）
摘要抽象作为一种提高强化学习算法效率和泛化能力的方法已经得到了广泛的研究。在本文中，我们研究在连续控制设置的抽象。我们扩展了MDP同态的定义，以包含连续状态空间中的连续动作。我们推导出一个策略梯度定理的抽象MDP，这使我们能够利用近似对称的环境中的策略优化。基于这个定理，我们提出了一个演员批评的算法，能够同时学习的政策和MDP同态映射，使用宽松的互模拟度量。我们在DeepMind控制套件中的基准任务上证明了我们方法的有效性。我们的方法的能力，利用MDP同态的表示学习导致从像素观察学习时，提高性能。
2022-09-15 cs.LG
Temporal Abstraction in Reinforcement Learning with Offline Data
Indian Institute of Science（印度科学学院）
本文提出一种离线分层强化学习框架，从未知行为策略收集的离线数据中学习选项，解决分布不匹配问题，并在MuJoCo和机器人堆叠任务中验证了其有效性。
2024-07-21 cs.LG
Online Markov decision processes with policy iteration
Tokyo Institute of Technology（东京工业大学）；The University of Tokyo（东京大学）
在线马尔可夫决策过程（MDP）是经典马尔可夫决策过程的推广，它包含了不断变化的奖励函数。在本文中，我们提出了实用的在线MDP算法的政策迭代和理论上建立了一个次线性遗憾界。所提出的算法的一个显着的优点是，它可以很容易地与函数逼近相结合，从而可以有效地处理大的和可能连续的状态空间。通过实验，我们证明了所提出的算法的有效性。
2015-10-15 cs.LG
Hierarchical Reinforcement Learning with the MAXQ Value Function Decomposition
本文提出了分层强化学习的MAXQ方法的基础上分解的目标马尔可夫决策过程（MDP）到一个层次的较小的MDP和分解的价值函数的目标MDP到一个加法组合的价值函数的较小的MDP。本文定义了MAXQ层次结构，证明了其表示能力的形式化结果，并建立了安全使用状态抽象的五个条件。本文提出了一种在线无模型的学习算法MAXQ-Q，并证明了即使在存在五种状态抽象的情况下，它也以概率1收敛到一种称为递归最优策略的局部最优策略。本文通过三个领域的一系列实验对MAXQ表示和MAXQ-Q进行了评估，并通过实验表明MAXQ-Q（具有状态抽象）收敛到递归最优策略的速度比平坦Q学习快得多。MAXQ学习价值函数的表示的事实具有重要的益处：它使得可以通过类似于策略迭代的策略改进步骤的过程来计算和执行改进的非分层策略。本文通过实验证明了这种非分层执行的有效性。最后，本文的结论与相关工作的比较和层次强化学习的设计权衡的讨论。
1999-05-21 cs.LG
Verification-Guided Falsification for Safe RL via Explainable Abstraction and Risk-Aware Exploration
Iowa State University（爱荷华州立大学）；Wake Forest University（威克森林大学）；Indiana University（印第安纳大学）
本文提出融合可解释抽象、模型检验与风险引导证伪的混合框架，通过CAPS抽象和Storm验证安全规约，并利用风险估计优先搜索高风险区域，同时引入运行时安全防护层以缓解故障。
2025-06-04 cs.AI cs.LG
Decoupled Hierarchical Reinforcement Learning with State Abstraction for Discrete Grids
School of Automation Science and Engineering, Xi’an Jiaotong University（自动化科学与工程学院，西安交通大学）
本文提出DcHRL-SA框架，通过解耦分层策略与状态抽象降低离散网格状态维度，实验表明其在探索效率、收敛速度、累积奖励和策略稳定性上均优于PPO。
2025-06-01 cs.AI cs.LG
Realizable Abstractions: Near-Optimal Hierarchical Reinforcement Learning
Sapienza University of Rome（罗马萨皮恩扎大学）；King’s College London（伦敦国王学院）
本文提出可实现的抽象概念，通过定义新的关系解决HRL中抽象的表达能力和效率保证问题，并提出RARL算法生成近最优的低层策略。
2025-12-04 cs.AI cs.LG
On learning history based policies for controlling Markov decision processes
McGill University（麦吉尔大学）；Mila（米拉研究所）
强化学习（RL）的民间传说认为，基于历史的函数逼近方法，如递归神经网络或基于历史的状态抽象，比它们的无记忆同行表现得更好，因为马尔可夫决策过程（MDP）中的函数逼近可以被视为诱导部分可观察MDP。然而，这种基于历史的算法很少有正式的分析，因为大多数现有的框架只专注于无记忆功能。在本文中，我们介绍了一个理论框架，学习控制MDP使用基于历史的特征抽象映射的RL算法的行为研究。此外，我们使用这个框架来设计一个实用的RL算法，我们数值评估其有效性的一组连续控制任务。
2022-11-06 cs.LG cs.SY eess.SY
Goal-Oriented Skill Abstraction for Offline Multi-Task Reinforcement Learning
C2DL, Institute of Automation, Chinese Academy of Sciences（C2DL，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）；Tencent AI Lab（腾讯AI实验室）；Tsinghua University（清华大学）
针对离线多任务强化学习中的知识共享难题，提出GO-Skill方法，通过目标导向技能提取与向量量化构建技能库，并利用分层策略学习动态编排技能，在MetaWorld基准上验证了其有效性与通用性。
2025-07-09 cs.AI cs.LG
Learning Generalized Wireless MAC Communication Protocols via Abstraction
University of Catania（卡塔尼亚大学）；University of Oulu（奥卢大学）
为了解决超5G（B5G）和未来6G无线网络的异构需求，传统的介质访问控制（MAC）过程需要演进以使基站（BS）和用户设备（UE）能够自动学习满足极其多样化的服务的创新MAC协议。该主题已经受到了极大的关注，并且若干强化学习（RL）算法（其中BS和UE被投射为代理）是可用的，其目的是基于代理的本地观察来学习通信策略。然而，目前的方法通常过度拟合它们所训练的环境，并且对看不见的条件缺乏鲁棒性，无法在不同的环境中推广。为了克服这个问题，在这项工作中，而不是在高维和冗余的观察空间学习的政策，我们利用的概念，观察抽象（OA）植根于从环境中提取有用的信息。这反过来又允许学习比当前基线更健壮且具有更好的泛化能力的通信协议。为了从观察中学习抽象信息，我们提出了一种基于自动编码器（AE）的体系结构，并将其注入到多智能体近端策略优化（MAPPO）框架中。仿真结果证实了利用抽象的有效性，当学习协议通过概括跨环境，在UE的数量，数据包的数量来发送，和信道条件。
2022-06-06 cs.AI cs.LG cs.NI
Regret Analysis of a Markov Policy Gradient Algorithm for Multi-arm Bandits
University of Manchester（曼彻斯特大学）
本文考虑了一个求解有限臂强盗问题的策略梯度算法。我们允许学习率取决于算法的当前状态，而不是使用确定性的时间递减的学习率。算法的状态在概率单纯形上形成一个马尔可夫链。我们应用福斯特-李雅普诺夫技术来分析这个马尔可夫链的稳定性。我们证明了，如果学习率是很好的选择，那么策略梯度算法是一个瞬态马尔可夫链和链的状态收敛于最佳臂对数或多对数遗憾。
2021-09-23 cs.LG stat.ML
Data-driven abstractions via adaptive refinements and a Kantorovich metric [extended version]
UCLouvain（鲁汶大学）；Oxford University（牛津大学）
本文提出一种基于自适应状态空间细化和Kantorovich启发度量的动态系统数据驱动抽象方法，用该度量作为损失函数学习最优划分结构，并给出近似算法，其计算复杂度优于经典线性规划方法。
2023-10-30 cs.LG cs.SY eess.SY
Generative Flow on Symbolic Abstractions for Embodiment Capability Discovery
Indiana University Bloomington（印第安纳大学布卢明顿分校）
该研究针对机器人复杂长时程行为训练中任务分布与具身可行性不匹配的问题，提出 FOSA 框架，通过生成流网络构建符号任务骨架并结合仿真奖励，发现适配机器人能力的任务，蒸馏后提升未见复杂任务性能。
2026-10-14 cs.AI cs.LG cs.RO
Cooperative Multi-Agent Learning for Navigation via Structured State Abstraction
Nokia Bell Labs（诺基亚贝尔实验室）；University of Oulu（奥卢大学）
本文提出一种新颖的神经网络架构，联合学习自适应状态空间抽象与通信协议，显著减小了协作多智能体导航任务中的状态空间，提升了策略奖励并减少了训练迭代次数。
2024-02-12 cs.LG cs.MA
Low-Complexity Policy Tessellations in Structured Markov Decision Processes
Inria（法国国家信息与自动化技术研究所）；University of Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工大学）；Villeneuve-d’Ascq, France（法国里尔大学城）
研究结构化MDP中最优策略的几何特性，提出基于边界的策略近似方法，直接学习策略区域，并通过策略损失分解解释误差集中在无差异边界附近。实验表明该方法在策略误差、价值差距、误差衰减和稳定性上优于强化学习基线。
2026-06-25 cs.AI cs.LG
Learning with Language-Guided State Abstractions
MIT（麻省理工学院）；Princeton（普林斯顿大学）
该研究提出LGA（语言引导抽象）框架，借助自然语言监督与预训练语言模型自动生成适配未见任务的状态抽象，用于模仿学习，可在短时间内达到接近人工设计的效果，提升策略的泛化性与鲁棒性，并在Spot机器人移动操作任务中验证了实用性。
2024-03-06 cs.AI cs.LG cs.RO
Learning Multi-Timescale Abstractions for Hierarchical Combinatorial Planning
Department of Electrical Engineering（电气工程系）；Automation, Aalto University, Finland（自动化，艾尔沃斯大学，芬兰）
本文提出了一种基于模型的分层框架，用于解决序列随机组合决策问题，通过多时间尺度目标结构化潜在动态，实现高效的前瞻规划，并联合学习子目标条件预算策略以支持上下文感知的资源分配。
2026-05-16 cs.LG
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统，例如玩视频游戏，模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而，这些方法不能保证找到最优随机策略，并且高方差梯度估计使收敛不稳定。为了解决这些问题，我们提出了一种技术，使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略，并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Bounds on sample size for policy evaluation in Markov environments
强化学习是指在不了解环境动态的情况下，在马尔可夫环境中找到最优的行动方案。该领域中使用的随机优化算法依赖于对策略值的估计。通常，策略的值是根据在环境中模拟该策略的结果来估计的。这种方法需要大量的模拟，因为要考虑政策空间中的不同点。在本文中，我们开发了价值估计器，利用使用一种策略时收集的数据来估计使用另一种策略的价值，从而产生更有效的数据算法。我们考虑的问题，积累了足够的经验，并给出PAC式的界限。
2001-05-17 cs.AI cs.CC cs.LG
Rate-Optimal Policy Optimization for Linear Markov Decision Processes
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；School of Electrical Engineering, Tel Aviv University（特拉维夫大学电气工程学院）；Google Research（谷歌研究院）
该研究针对在线回合式线性马尔可夫决策过程的遗憾最小化问题，通过策略优化方法分别在随机老虎机反馈和全信息对抗设定下首次得到关于回合数K的速率最优$\tilde O(\text{K})$遗憾界。
2024-05-16 cs.LG
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine（加州大学欧文分校）
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中，但目前对混合合作/竞争环境知之甚少。在本文中，我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏（MPGs），其中包括合作游戏作为一种特殊情况。最近的研究结果表明，独立的策略梯度收敛MPG，但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法，主要的挑战在于马尔可夫势博弈没有唯一的最优值（如单智能体设置所示），因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明，自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Online Abstraction with MDP Homomorphisms for Deep Learning
Czech Technical University（捷克技术大学）；Northeastern University（东北大学）
马尔可夫决策过程的抽象是解决复杂问题的有用工具，因为它可以忽略环境中不重要的方面，简化学习最优策略的过程。在本文中，我们提出了一个新的算法，发现抽象的MDP环境中的连续状态空间。它基于MDP同态，MDP之间的结构保持映射。我们展示了我们的算法的能力，从收集的经验，学习抽象，并展示了如何重用的抽象，以指导探索代理遇到的新任务。在我们的大多数实验中，我们的新任务转移方法优于基于深度Q网络的基线。源代码位于https://github.com/ondrejba/aamas_19。
2019-04-03 cs.LG stat.ML
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University（清华大学）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而，它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近，并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类，我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知，这是第一个证明有效的政策优化算法与函数近似，解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
Robust Batch Policy Learning in Markov Decision Processes
George Washington University（乔治华盛顿大学）；Harvard University（哈佛大学）
在马尔可夫决策过程（MDP）框架下研究了离线数据驱动的序贯决策问题。为了提高学习策略的泛化能力和自适应能力，我们建议通过一组平均奖励来评估每个策略，这些平均奖励相对于以策略诱导的平稳分布为中心的分布。给定一个预先收集的由某种行为策略生成的多个轨迹的数据集，我们的目标是在预先指定的策略类中学习一个鲁棒的策略，该策略类可以最大化这个集合的最小值。利用半参数统计理论，我们开发了一个统计上有效的策略学习方法来估计所定义的鲁棒最优策略。一个率最优的遗憾绑定到一个对数因子建立在数据集中的总决策点。
2021-11-10 cs.LG math.ST stat.ML
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们扩展的时间差的政策评估算法的性能标准，包括方差的累积奖励。这些标准对风险管理很有用，在财务和流程控制等领域也很重要。我们提出了TD（0）和LSTD（lambda）变量与线性函数逼近，证明了它们的收敛性，并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Environment Shaping in Reinforcement Learning using State Abstraction
EPFL（洛桑联邦理工学院）；MPI-SWS（马克斯·普朗克软件系统研究所）
强化学习（RL）代理所面临的核心挑战之一是在具有稀疏和噪声反馈信号的大状态空间的环境中有效地学习（接近）最优策略。在实际应用中，具有额外领域知识的专家可以通过\emph{shaping the environment}帮助加速学习过程，即，使学习环境更加友好。文献中流行的范例是\emph{potential-based reward shaping}，其中环境的奖励函数使用潜在函数用额外的局部奖励来增强。然而，基于潜力的奖励塑造的适用性在以下设置中受到限制：（i）状态空间非常大，并且计算适当的潜力函数具有挑战性;（ii）反馈信号是嘈杂的，并且即使具有整形的奖励，代理也可能陷入局部最优;以及（iii）单独改变奖励是不够的，并且有效的整形需要改变动态。我们解决这些限制的潜在的成形方法，并提出了一个新的框架\emph{environment shaping using state abstraction}。我们的主要思想是压缩环境的大状态空间与嘈杂的信号到一个抽象的空间，并使用这种抽象在创建更平滑，更有效的反馈信号的代理。我们研究了我们的抽象为基础的环境塑造的理论基础，并表明，代理人的政策在塑造的环境中保存在原始环境中接近最优的行为。
2020-06-23 cs.LG stat.ML
Policy Mirror Descent with Temporal Difference Learning: Sample Complexity under Online Markov Data
Wenye Li（李文悦）；Hongxu Chen（陈红旭）；Jiacai Liu（刘家才）；Ke Wei（魏凯）
本文提出基于时间差学习的策略镜像下降算法，通过自适应步长实现在线马尔可夫数据下的样本复杂性优化。
2025-12-30 cs.LG math.OC
Language as an Abstraction for Hierarchical Deep Reinforcement Learning
Google Research（谷歌研究院）
解决复杂的时间扩展任务是强化学习（RL）中的一个长期问题。我们假设解决这些问题的一个关键因素是组合性的概念。有了学习概念和子技能的能力，可以组成解决更长的任务，即分层RL，我们可以获得时间扩展的行为。然而，获得有效的，但一般的抽象层次RL是非常具有挑战性的。在本文中，我们建议使用语言作为抽象，因为它提供了独特的组合结构，使快速学习和组合泛化成为可能，同时保留了巨大的灵活性，使其适用于各种问题。我们的方法学习了一个预防以下的低级别的政策和高级别的政策，可以重用跨任务的抽象，在本质上，允许代理使用结构化语言的原因。为了研究组合任务学习，我们介绍了一个开源的对象交互环境，使用MuJoCo物理引擎和CLEVR引擎。我们发现，使用我们的方法，代理可以学习解决各种各样的，时间上扩展的任务，如对象排序和多对象重排，包括从原始像素观察。我们的分析表明，语言的组成性质是学习不同的子技能和系统地概括到新的子技能相比，使用相同的监督非组成的抽象的关键。
2019-11-18 cs.AI cs.CL cs.LG
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University（普渡大学）
本文针对无限时域平均奖励MDP，提出通用策略梯度算法，证明其全局收敛性，并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Decision-Centered Abstractions via Orthogonal Estimation of Difference-of-Q Functions
Department of Computer Science, University of Southern California（计算机科学系，南加州大学）；Department of Data Sciences and Operations and Computer Science（数据科学与运营与计算机科学系，南加州大学）
本文提出通过正交估计差Q函数学习决策中心状态抽象，在离线强化学习中简化状态空间，提升策略优化效率与收敛性，并减少方差。
2026-09-09 cs.LG math.OC stat.ME
Scaling Marginalized Importance Sampling to High-Dimensional State-Spaces via State Abstraction
University of Wisconsin – Madison（威斯康星大学麦迪逊分校）
我们考虑强化学习（RL）中的非策略评估（OPE）问题，其中目标是使用固定数据集$\mathcal{D}$来估计评估策略$π_e$的性能，所述固定数据集由可能不同于$π_e$的一个或多个策略收集。当前的OPE算法可能在策略分布偏移下产生差的OPE估计，当特定状态-动作对在$π_e$下发生的概率与同一对在$\mathcal{D}$中发生的概率非常不同时（Voloshin等，2021; Fu等，2021）。在这项工作中，我们建议通过使用状态抽象文献中的概念将高维状态空间投影到低维状态空间来提高OPE估计的准确性。具体来说，我们考虑边缘化的重要性采样（MIS）OPE算法计算状态-动作分布校正比，以产生他们的OPE估计。在原始基态空间中，这些比率可能具有高方差，这可能导致高方差OPE。然而，我们证明了在低维抽象状态空间的比率可以有较低的方差导致较低的方差OPE。然后，我们强调的挑战时，估计的抽象比率从数据，确定充分的条件来克服这些问题，并提出了一个极大极小优化问题，其解决方案产生这些抽象的比率。最后，我们对困难的高维状态空间OPE任务的经验评估表明，抽象比率可以使MIS OPE估计器实现更低的均方误差，并且比地面比率对超参数调整更鲁棒。
2022-12-14 cs.AI cs.LG
Off-policy Evaluation with Deeply-abstracted States
London School of Economics and Political Science（伦敦政治经济学院）；University of Cambridge（剑桥大学）
本文研究状态抽象在离线策略评估中的应用，通过构建时间反转MDP推导无关性条件，提出迭代投影生成深度抽象状态以降低样本复杂度，并证明了多种OPE估计器的Fisher一致性。
2025-03-03 cs.LG stat.ML
Performance-Driven Environment Abstraction with Multi-Timescale Learning
Georgia Institute of Technology（佐治亚理工学院）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
针对大规模马尔可夫决策过程，提出一种性能驱动的环境抽象方法，通过多时间尺度强化学习联合优化策略和树结构抽象，平衡性能与复杂度，实现状态压缩和样本效率提升。
2026-06-17 cs.LG cs.SY eess.SY
Off-Policy Evaluation in Partially Observed Markov Decision Processes under Sequential Ignorability
Stanford University（斯坦福大学）
本文针对部分可观测马尔可夫决策过程提出部分历史重要性加权估计器，证明其一致性与极小极大收敛速率，表明该问题难度介于完全可观测MDP与无模型评估之间。
2023-05-09 cs.LG math.ST stat.ME
Safe Policy Improvement Approaches on Discrete Markov Decision Processes
Ludwig-Maximilians University（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Siemens Technology（西门子科技）
安全策略改进（SPI）旨在可证明的保证，学习的策略至少近似于给定的基线策略。基于Nadjahi等人的SPI with Soft Baseline Bootstrapping（Soft-SPIBB），我们在他们的方法中发现了理论问题，提供了一个正确的理论，并推导出一个新的算法，该算法在有限马尔可夫决策过程（MDP）上可证明是安全的。此外，我们提供了一个启发式算法，表现出最好的性能在两个不同的基准上的许多国家的最先进的SPI算法。此外，我们介绍了SPI算法的分类和经验表明两类SPI算法的一个有趣的属性：而平均性能的算法，将不确定性作为一个惩罚的动作值是较高的，积极限制的政策集更一致地产生良好的政策，因此，更安全。
2022-01-28 cs.AI cs.LG
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.（赛博艾坚特公司）
政策外评估（OPE）是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下，大多数研究都集中在单人情况下，而不是多人情况下。在这项研究中，我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性，该可利用性通常用作确定策略配置文件（即，一组策略）是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后，我们提出的方法来找到最佳的候选人的政策配置文件，选择的政策配置文件，最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后，我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
Generalised Policy Improvement with Geometric Policy Composition
DeepMind（深度思维）
我们引入了一种策略改进方法，该方法介于基于值的强化学习（RL）的贪婪方法和基于模型的RL的典型全规划方法之间。新方法建立在几何地平线模型（GHM，也称为伽马模型）的概念上，该模型对给定策略的贴现状态访问分布进行建模。我们表明，我们可以评估任何非马尔可夫政策之间切换的一组基本马尔可夫政策与固定的概率仔细组成的基本政策GHM，没有任何额外的学习。然后，我们可以将广义策略改进（GPI）应用于这些非马尔可夫策略的集合，以获得一个新的马尔可夫策略，该策略通常会优于其前体。我们对这种方法进行了深入的理论分析，开发了转移和标准RL的应用程序，并在一个具有挑战性的深度RL连续控制任务上实证了其对标准GPI的有效性。我们还提供了对GHM训练方法的分析，证明了先前提出的方法的新收敛结果，并展示了如何在深度RL设置中稳定地训练这些模型。
2022-06-17 cs.LG stat.ML
A Minimax Learning Approach to Off-Policy Evaluation in Confounded Partially Observable Markov Decision Processes
London School of Economics and Political Science（伦敦政治经济学院）；Cornell University（康奈尔大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑部分可观测马尔可夫决策过程（POMDPs）中的离政策评估（OPE），其中评估策略仅取决于可观测变量，而行为策略取决于不可观测的潜变量。现有的作品要么假设没有不可测量的混杂因素，或专注于设置的观察和状态空间是表格。在这项工作中，我们首先提出了新的识别方法OPE POMDPs与潜在的混淆，通过引入桥梁功能，连接目标政策的价值和观察到的数据分布。接下来，我们提出了极小极大估计方法学习这些桥函数，并构造三个估计器的基础上，这些估计的桥函数，相应的价值函数为基础的估计，边缘化重要性采样估计，和双重鲁棒估计。我们的建议允许一般函数近似，因此适用于连续或大的观测/状态空间的设置。详细研究了估计量的非渐近性和渐近性。
2022-06-15 cs.LG stat.ML
Policy Optimization for Markovian Jump Linear Quadratic Control: Gradient-Based Methods and Global Convergence
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究离散马尔可夫跳变线性系二次最优控制的基于梯度的策略最优化方法的整体收敛性。首先，我们研究了MJLS的直接策略优化的优化景观，静态状态反馈控制器和二次性能成本。尽管结果问题的非凸性，我们仍然能够确定几个有用的属性，如bandwidth，梯度优势，几乎光滑。基于这些性质，我们证明了三种策略最优化方法的整体收敛：梯度下降法，高斯-牛顿法和自然策略梯度法。我们证明了这三种方法收敛到最优的状态反馈控制器MJLS在一个线性的速度，如果初始化在一个控制器，这是均方稳定。给出了一些数值例子来支持理论。这项工作带来了新的见解，了解性能的政策梯度法的马尔可夫跳跃线性二次控制问题。
2020-11-24 cs.LG cs.SY eess.SY
Markov flow policy -- deep MC
本文提出马尔可夫流策略（MFP），利用非负神经网络流进行前向视图预测，解决折扣算法的训练-测试偏差问题，并在MuJoCo基准上取得显著性能提升。
2024-08-30 cs.AI cs.LG
Hierarchical and Permutation-Invariant Feature Transformation Learning via Policy-Guided Embedding Search
University of Kansas（堪萨斯大学）；Southwest University of Finance and Economics（西南财经大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Auckland（奥克兰大学）；Arizona State University（亚利桑那州立大学）；Northeast Normal University（东北师范大学）
针对表格数据特征变换中的层次关系缺失、置换不变性偏差及梯度搜索不适配问题，提出置换不变分层模块与策略引导多目标强化学习框架，提升预测性能与效率。
2026-09-10 cs.AI cs.LG
Policy Gradient for Rectangular Robust Markov Decision Processes
Technion（以色列理工学院）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；NVIDIA Research（英伟达研究院）
针对矩形鲁棒 MDP，本文提出 RPG，通过最差占用测度闭式解与鲁棒 Q 值估计获得显式鲁棒梯度，并以非鲁棒方法相同的时间复杂度降低训练计算负担。
2023-12-11 cs.AI cs.LG
Policy Gradient for Robust Markov Decision Processes
City University of Hong Kong（香港城市大学）；University of New Hampshire（新罕布什尔大学）
针对策略梯度方法难以适配模型不确定性、难以学习鲁棒策略的问题，提出双环鲁棒策略镜像下降方法，具备全局最优收敛保证，适配多类空间设置，实验验证了其鲁棒性与收敛性。
2024-10-31 cs.AI cs.LG
