Distributional Successor Features Enable Zero-Shot Policy Optimization
University of Washington（华盛顿大学）
本文提出分布性后继特征（DiSPOs）模型，通过建模数据集行为策略的后继特征分布，实现跨奖励函数的零样本策略优化，避免复合误差，并在模拟机器人任务中验证了其有效性。
2025-01-17 cs.LG
Indexability and Rollout Policy for Multi-State Partially Observable Restless Bandits
IIIT Allahabad（印度信息技术学院阿拉哈巴德分校）；Polytechnique Montreal（蒙特利尔综合理工学院）
具有部分可观测状态的不安分多臂强盗在通信系统、信息时代和推荐系统中有应用。本文研究了多状态部分可观测的不安宁强盗模型。我们考虑了三种不同的基于决策者可观察信息的模型-- 1）从强盗的行动中没有信息可观察2）来自强盗的完美信息仅对强盗的一个行动是可观察的，存在固定的重新启动状态，即，从所有其它状态到该状态的转换发生3）完美的状态信息可用于对Bandit的两个动作的决策者，并且对于两个动作存在两个重启状态。我们发展结构特性。我们还展示了模型2和模型3的阈值类型策略和可索引性。我们提出蒙特卡罗（MC）推出政策。在模型2的情况下，我们使用它来计算whittle指数。我们得到的集中界的价值函数的地平线长度和数量的轨迹MC推出政策。我们推导出模型3的显式指数公式。最后，我们描述了蒙特卡洛推出政策模型1时，很难显示可索引性。我们使用近视政策，蒙特卡罗推出政策和惠特尔指数政策的数值例子。我们观察到，蒙特卡洛推出政策是一个很好的竞争政策，近视。
2021-07-30 cs.LG cs.SY eess.SY
DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy
Carnegie Mellon University（卡内基梅隆大学）
提出DemoDiffusion方法，通过单次人类演示和预训练扩散策略，无需任务特定训练即可使机器人执行操作任务，在8项任务中平均成功率达83.8%。
2026-06-16 cs.LG cs.RO
A Minimax Learning Approach to Off-Policy Evaluation in Confounded Partially Observable Markov Decision Processes
London School of Economics and Political Science（伦敦政治经济学院）；Cornell University（康奈尔大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑部分可观测马尔可夫决策过程（POMDPs）中的离政策评估（OPE），其中评估策略仅取决于可观测变量，而行为策略取决于不可观测的潜变量。现有的作品要么假设没有不可测量的混杂因素，或专注于设置的观察和状态空间是表格。在这项工作中，我们首先提出了新的识别方法OPE POMDPs与潜在的混淆，通过引入桥梁功能，连接目标政策的价值和观察到的数据分布。接下来，我们提出了极小极大估计方法学习这些桥函数，并构造三个估计器的基础上，这些估计的桥函数，相应的价值函数为基础的估计，边缘化重要性采样估计，和双重鲁棒估计。我们的建议允许一般函数近似，因此适用于连续或大的观测/状态空间的设置。详细研究了估计量的非渐近性和渐近性。
2022-06-15 cs.LG stat.ML
Hierarchical Prompt Decision Transformer: Improving Few-Shot Policy Generalization with Global and Adaptive Guidance
University of Virginia（弗吉尼亚大学）；Amazon（亚马逊公司）
针对决策Transformer少样本泛化中静态提示缺乏上下文针对性的问题，提出带检索增强的分层提示方法，通过全局与自适应两层软令牌实现动态引导，在7项基准任务上优于所有基线。
2024-12-13 cs.LG
Few-shot model-based adaptation in noisy conditions
Aalto University（阿尔托大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；KU Leuven（鲁汶大学）
Few-Shot自适应是机器人仿真到真实传输背景下的一个具有挑战性的问题，需要安全和信息丰富的数据汇集。在物理系统中，域噪声可能会带来额外的挑战，这几乎存在于所有现实世界的应用中。在本文中，我们提出了执行Few-Shot适应的动态模型在噪声条件下使用不确定性感知卡尔曼滤波器为基础的神经网络架构。我们表明，所提出的方法，明确地解决域噪声，改善了Few-Shot自适应错误的黑盒适应LSTM基线，并在无模型的政策上的强化学习方法，试图学习一个适应性和信息的政策在同一时间。所提出的方法还允许通过分析模型在适应期间和适应之后的隐藏状态来进行系统分析。
2020-10-16 cs.LG cs.RO
Off-Policy Evaluation in Partially Observed Markov Decision Processes under Sequential Ignorability
Stanford University（斯坦福大学）
本文针对部分可观测马尔可夫决策过程提出部分历史重要性加权估计器，证明其一致性与极小极大收敛速率，表明该问题难度介于完全可观测MDP与无模型评估之间。
2023-05-09 cs.LG math.ST stat.ME
Prompting Decision Transformer for Few-Shot Policy Generalization
Carnegie Mellon University（卡内基梅隆大学）；University of Montreal（蒙特利尔大学）；Mila（米拉）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）；UMass Amherst（马萨诸塞大学阿默斯特分校）
人类可以利用先前的经验，从一些演示中学习新的任务。与离线Meta强化学习相比，其目的是通过更好的算法设计实现快速适应，我们研究了架构归纳偏差对少样本学习能力的影响。我们提出了一个基于时间的决策Transformer（时间-DT），它利用了顺序建模能力的Transformer架构和提示框架，以实现Few-Shot适应离线RL。我们设计的轨迹提示，其中包含部分的Few-Shot演示，并编码特定于任务的信息，以指导政策的生成。我们在五个MuJoCo控制基准测试中的实验表明，Battle-DT是一个强大的Few-Shot学习器，无需对看不见的目标任务进行任何额外的微调。Prompt-DT的性能大幅优于其变体和强大的Meta离线RL基线，其轨迹提示仅包含几个时间步。此外，DT-DT对于提示长度更改也是健壮的，并且可以推广到分发外（OOD）环境。
2022-06-27 cs.AI cs.CV cs.LG
PriPG-RL: Privileged Planner-Guided Reinforcement Learning for Partially Observable Systems with Anytime-Feasible MPC
Stockholm University（斯德哥尔摩大学）；Washington State University（华盛顿州立大学）
本文提出PriPG-RL方法，通过在训练期间独有的特权规划器代理，解决部分可观测系统的强化学习策略训练问题。方法结合了任何时间可行的MPC算法和P2P-SAC算法，提升样本效率和最终策略性能。
2026-04-09 cs.LG cs.RO
Zero-Shot Reinforcement Learning Under Partial Observability
本研究探讨部分可观测条件下零样本强化学习的性能退化，并提出基于记忆的架构作为有效补救，实验证明其优于无记忆基线。
2025-06-18 cs.AI cs.LG
A Single Diffusion-Policy Controller for Multi-Task Block Pushing with Zero-Shot Sim-to-Real Transfer
Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
研究旨在用强化学习从零训练单扩散策略用于多任务块推，提出含简单策略损失函数的框架，结合反向课程生成等应对探索挑战，评估其在不同条件下零样本从模拟到现实的转移能力，证明该流程有效。
2026-07-14 cs.RO
A General Framework for Off-Policy Learning with Partially-Observed Reward
Waseda University（早稻田大学）；HAKUHODO Technologies Inc.（HAKUHODO技术公司）；Cornell University（康奈尔大学）
针对部分观测奖励下上下文赌博机离线策略学习效果下降的问题，提出结合部分观测目标奖励与密集次级奖励的HyPeR方法，在多场景下优于现有方法。
2025-06-17 cs.LG
Off-Policy Evaluation for Episodic Partially Observable Markov Decision Processes under Non-Parametric Models
University of California, Irvine（加州大学欧文分校）；The George Washington University（乔治华盛顿大学）
研究了具有连续状态的部分可观测马尔可夫决策过程的离政策评估问题。受最近提出的近端因果推断框架的启发，我们开发了一个非参数识别结果，通过一系列所谓的V桥函数的帮助下，随时间变化的代理变量的政策价值估计。然后，我们开发了一个合适的Q评估型算法来估计V桥函数递归，其中一个非参数工具变量（NPIV）的问题是解决在每一步。通过分析这一具有挑战性的顺序NPIV问题，我们建立了有限样本误差界估计的V-桥功能，从而评估政策的价值，在样本量，地平线的长度和所谓的（本地）措施在每一步的不适定性。据我们所知，这是非参数模型下POMDPs中OPE的第一个有限样本误差界。
2022-10-16 cs.LG math.ST stat.ML
Sling2Sim2Real: One-Shot Elastic System Identification for Non-Destructive Slingshot Policy Learning
School of Computing, Korea Advanced Institute of Science and Technology（韩国科学技术院计算机学院）
针对弹性物体操纵中校准现实与模拟弹性行为的挑战，提出Sling2Sim2Real框架；通过多起点Real2Sim系统识别方法及模拟策略学习等，从单次无损交互识别弹性参数，实现准确策略学习与稳健泛化，减少现实交互量。
2026-07-28 cs.RO
Towards Robust Zero-Shot Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对零样本强化学习中FB表示表达能力不足和OOD外推误差问题，提出BREEZE框架，通过行为正则化、扩散模型策略提取和注意力架构，在ExORL和D4RL Kitchen上实现鲁棒的最优或近最优性能。
2025-10-23 cs.AI cs.LG cs.RO
Proximal Reinforcement Learning: Efficient Off-Policy Evaluation in Partially Observed Markov Decision Processes
在将离线强化学习应用于观察数据时，例如在医疗保健或教育中，普遍关注的是观察到的行为可能会受到未观察到的因素的影响，从而导致在完美马尔可夫决策过程（MDP）模型假设下得出的混淆和偏差估计。在这里，我们通过考虑部分观察MDP（POMDP）中的政策外评估来解决这个问题。具体来说，我们考虑估计一个给定的目标政策的值在POMDP给定的轨迹，只有部分状态观测产生的不同的和未知的政策，可能取决于未观察到的状态。我们解决两个问题：什么条件下，让我们从观察到的数据，并确定目标的政策价值，给定的识别，如何最好地估计它。为了回答这些问题，我们扩展的框架，近端因果推理我们的POMDP设置，提供了各种设置，其中识别是可能的存在所谓的桥梁功能。然后，我们将展示如何在这些设置中构建半参数有效估计。我们将由此产生的框架称为近端强化学习（PRL）。我们证明了PRL的好处，在一个广泛的模拟研究和脓毒症管理的问题。
2023-03-22 cs.LG math.OC math.ST
What Matters in Learning A Zero-Shot Sim-to-Real RL Policy for Quadrotor Control? A Comprehensive Study
Tsinghua University（清华大学）；Beijing Zhongguancun Academy（北京中关村学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
本文研究四旋翼零样本仿真到现实强化学习控制的关键因素，提出整合五种技术的PPO框架SimpleFlight，在Crazyflie上实现轨迹跟踪误差降低超50%，优于现有基线。
2025-05-22 cs.LG cs.RO
Actor-Critic Policy Optimization in Partially Observable Multiagent Environments
DeepMind（深度思考公司）
强化学习中参数化策略的优化是人工智能中一个重要而又具有挑战性的问题。其中最常见的方法是基于表示贴现收益的得分函数的梯度上升的算法。在本文中，我们研究的作用，这些策略梯度和演员批评的算法在部分可观察的多智能体环境。我们展示了几个候选的政策更新规则，并将它们与后悔最小化和多智能体学习技术的基础，一杆和表格的情况下，导致以前未知的收敛保证。我们将我们的方法应用于无模型多智能体强化学习在对抗顺序决策问题（零和不完美信息游戏），使用RL风格的函数逼近。我们评估常用的基准扑克域，显示性能对固定的政策和经验收敛到近似纳什均衡在自我发挥率类似或优于基线无模型算法的零和游戏，没有任何特定领域的状态空间减少。
2020-06-12 cs.AI cs.GT cs.LG
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
Internal State-Based Policy Gradient Methods for Partially Observable Markov Potential Games
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出基于内部状态的策略梯度方法，用于解决部分可观测马尔可夫势博弈中的多智能体强化学习问题，通过压缩累积信息以保证可扩展性，并建立非渐近收敛界。
2026-04-01 cs.LG cs.MA
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering；Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架，使多机器人在不共享原始数据的情况下协作学习运动规划策略，并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
Multi-agent Off-policy Actor-Critic Reinforcement Learning for Partially Observable Environments
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对部分可观测环境，本文在去中心化多智能体异策略 actor-critic 中引入社会学习估计全局状态，证明误差 ε-有界且无需转移模型，实验优于现有方法。
2024-07-06 cs.LG cs.MA
Learning to Track Dynamic Targets in Partially Known Environments
University of Pennsylvania（宾夕法尼亚大学）；Cornell University（康奈尔大学）
我们使用深度强化学习（RL）方法解决了自主系统中的基本任务之一主动目标跟踪。在这个问题中，一个自主智能体的任务是利用其机载传感器获取有关目标的信息。在这个问题中的经典挑战是系统模型的依赖性和计算信息理论成本函数的困难，为一个长的规划范围。RL为这些挑战提供了解决方案，因为其有效规划范围的长度不影响计算复杂性，并且它降低了算法对系统模型的强烈依赖性。特别是，我们引入了主动跟踪目标网络（ATTN），这是一种统一的RL策略，能够解决主动目标跟踪的主要子任务-视线跟踪，导航和探索。该策略在部分已知目标模型的情况下，对敏捷和异常目标的跟踪具有鲁棒性。此外，相同的策略能够在障碍物环境中导航以到达远处的目标，以及当目标位于意想不到的位置时探索环境。
2020-06-17 cs.LG cs.RO stat.ML
Provable Zero-Shot Generalization in Offline Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文针对离线强化学习零样本泛化问题，提出悲观经验风险最小化和悲观近端策略优化两种方法，并证明二者均能找到近最优且可泛化到新环境的策略。
2025-03-11 cs.AI cs.LG
Zero-shot Deep Reinforcement Learning Driving Policy Transfer for Autonomous Vehicles based on Robust Control
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种基于鲁棒控制的零样本深度强化学习驾驶策略迁移方法，通过转移具体的运动学量来解决自动驾驶中源域与目标域之间的建模差距问题，采用可转移的分层强化学习轨迹规划器和基于扰动观测器的鲁棒跟踪控制器，验证了该方法在多个驾驶场景中的零样本迁移能力。
2018-12-07 cs.LG cs.RO cs.SY
Multi-Floor Zero-Shot Object Navigation Policy
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Beijing Innovation Center of Humanoid Robotics Co., Ltd.（北京人形机器人创新中心有限公司）
针对现有目标导航方法忽略多层结构复杂性的问题，提出含多层导航策略、MLLMs推理、层间导航三组件的MFNP框架，在数据集与真实四足机器人实验中均表现更优，为多层视觉导航提供新范式。
2024-09-17 cs.RO
Equilibrium Policy Generalization: A Reinforcement Learning Framework for Cross-Graph Zero-Shot Generalization in Pursuit-Evasion Games
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Dalian University of Technology（大连理工大学）；Università della Svizzera italiana（瑞士意大利大学）；Politecnico di Milano（米兰理工学院）
本文提出EPG框架，通过均衡策略训练实现追捕-躲避游戏中跨图零样本泛化的高效解决方案。
2025-12-12 cs.LG
Few-Shot Image-to-Semantics Translation for Policy Transfer in Reinforcement Learning
University of Tsukuba（筑波大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
我们调查的政策转移使用图像到语义翻译，以减轻学习困难，基于视觉的机器人控制代理。这个问题假设两个环境：一个模拟器环境的语义，即低维和基本的信息，作为状态空间，和一个现实世界的环境中的图像作为状态空间。通过学习从图像到语义的映射，我们可以将在模拟器中预先训练的策略转移到现实世界中，从而消除了现实世界中的策略代理交互学习，这是昂贵且有风险的。此外，使用图像到语义映射在训练策略的计算效率和所获得的策略的可解释性方面优于其他类型的仿真到现实迁移策略。为了解决学习图像到语义映射的主要困难，即产生训练数据集的人类注释成本，我们提出了两种技术：在模拟器环境中使用转换函数的对增强和主动学习。我们观察到的注释成本的降低，而不会下降的传输性能，所提出的方法优于现有的方法没有注释。
2023-01-31 cs.AI cs.CV cs.LG
Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt Generation for Few-shot Learning
Xi’an Jiaotong University（西安交通大学）
本文提出DP2O方法，通过GPT-4多轮对话生成可读提示、线性复杂度筛选高质量提示，并用策略梯度强化学习框架匹配提示与输入，在少样本任务中以极小参数量超越SOTA方法。
2024-01-16 cs.CL cs.LG
Learning to Cooperate via Policy Search
合作博弈是两个代理人共享相同收益结构的博弈。基于值的学习算法，如Q学习的变体，已被应用于学习合作游戏，但它们只适用于游戏状态对两个代理完全可观察的情况。对于部分可观察的环境，策略搜索方法是基于值的方法的合理替代方案。在本文中，我们提供了一个基于梯度的分布式策略搜索方法的合作游戏和比较的概念，局部最优的纳什均衡。我们证明了这种方法的有效性实验在一个小的，部分可观察的模拟足球域。
2001-05-25 cs.LG cs.MA
ZSL-RPPO: Zero-Shot Learning for Quadrupedal Locomotion in Challenging Terrains using Recurrent Proximal Policy Optimization
Huawei Technologies（华为技术有限公司）；Huawei Munich Research Center（华为慕尼黑研究中心）；University College London（伦敦大学学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；East China Normal University（华东师范大学）
本文提出ZSL-RPPO架构与RPPO算法，在部分可观测环境中直接训练循环策略，并通过域随机化实现四足机器人跨地形零样本仿真到现实迁移。
2024-03-04 cs.RO
Zero-shot Sim2Real Adaptation Across Environments
Applied Artificial Intelligence Institute（应用人工智能研究院）；Deakin University（迪肯大学）
基于仿真的学习通常为机器人技术中的强化学习应用提供了一种具有成本效益的手段。然而，仿真器通常无法准确地复制真实世界的动态，因此弥合sim2real差距是基于仿真的学习中的一个重要问题。目前的解决方案，以弥合sim2real差距涉及混合模拟器，增强神经残差模型。不幸的是，它们需要针对每个单独的环境配置的单独的残差模型（即，诸如质量、摩擦等的环境变量的固定设置），因此不能快速转移到新的环境。为了解决这个问题，我们提出了一个反向动作转换（RAT）的政策，学习模仿在现实世界中的模拟政策。一旦从单个环境中学习，RAT就可以部署在通用策略网络之上，以实现对新环境的zero-shot适应。我们经验性地评估我们的方法在一组连续的控制任务，并观察其优势，作为一个Few-Shot和zero-shot学习竞争基线。
2023-02-08 cs.AI cs.LG cs.RO
To Distill or Decide? Understanding the Algorithmic Trade-off in Partially Observable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Aurora Innovation
本文通过受扰Block MDP理论模型与模拟运动实验，揭示特权专家蒸馏和标准RL的权衡取决于隐动力学随机性，且最优隐策略未必最适合蒸馏。
2026-10-23 cs.LG
CARO: Contact-Agnostic Residual Observation for Zero-Shot Robust Quadruped Locomotion
School of Aeronautic Science and Engineering, Beihang University（北京航空航天大学航空科学与工程学院）；School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
该研究提出CARO框架，将固定基座欧拉-拉格朗日模型嵌入强化学习控制循环，无需额外传感器即可提升四足机器人零样本鲁棒性，在多项任务中表现出显著优势。
2026-08-26 cs.RO
One-Shot High-Fidelity Imitation: Training Large-Scale Deep Nets with RL
DeepMind（深度思维）
人类是高保真模仿的专家--密切模仿演示，通常是一次尝试。人类使用这种能力来快速解决任务实例，并引导学习新任务。在自主智能体中实现这些能力是一个开放的问题。在本文中，我们引入了一种非策略RL算法（MetaMimic）来缩小这一差距。MetaMimic可以学习（i）高保真一次性模仿各种新技能的策略，以及（ii）使代理能够比演示者更有效地解决任务的策略。MetaMimic依赖于将所有经验存储在内存中并重放这些经验的原理，通过离线策略RL来学习大量深度神经网络策略。据我们所知，本文介绍了现有最大的深度RL神经网络，并表明需要更大的归一化网络来实现具有挑战性的操作任务的一次性高保真模拟。研究结果还表明，这两种类型的政策可以从视觉中学习，尽管任务奖励稀疏，并没有获得示范行动。
2018-10-11 cs.AI cs.CV cs.LG
Analysis of Thompson Sampling for Partially Observable Contextual Multi-Armed Bandits
情境多臂强盗是强化学习中与个体信息相关联的序列决策的经典模型。一个广泛使用的强盗策略是汤普森采样，其中来自数据驱动的关于未知参数的概率信念的样本用于选择控制动作。对于这种计算速度快的算法，性能分析可在全上下文观测下使用。然而，很少有人知道的问题，上下文不完全观察。我们提出了一个汤普森采样算法的部分可观察的上下文多武装土匪，并建立理论性能保证。从技术上讲，我们表明，所提出的政策尺度的遗憾与时间和武器的数量，线性的维度。此外，我们建立学习未知参数的速率，并提供说明性的数值分析。
2021-11-29 cs.LG stat.ML
Pre- and post-contact policy decomposition for non-prehensile manipulation with zero-shot sim-to-real transfer
Kim Jaechul Graduate School of AI at KAIST（韩国科学技术院金在哲人工智能研究生院）
提出基于深度强化学习的非抓取操作系统，通过前/后接触策略分解和课程学习实现零样本仿真到现实迁移，无需物理参数先验，能泛化至新物体。
2023-09-06 cs.RO
Zero-shot Policy Learning with Spatial Temporal RewardDecomposition on Contingency-aware Observation
UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
这是一个长期的挑战，使智能代理在一个环境中学习，并推广到一个看不见的环境，而无需进一步的数据汇集和微调。在本文中，我们考虑了一个zero shot泛化问题的设置，符合生物智能代理的学习和泛化过程。代理首先在训练环境中提供以前的经验，以及以强制性级别稀疏奖励形式的任务描述。稍后，当它被放置在新的测试环境中时，它被要求在不与测试环境进行任何交互的情况下执行任务。我们发现这种设置对生物生物来说很自然，同时对以前的方法也很有挑战性。行为克隆，最先进的RL以及其他零样本学习方法在这个基准测试中表现不佳。给定训练环境中的一组经验，我们的方法学习一个神经函数，该函数将稀疏奖励分解为特定区域，作为每步奖励。在此基础上，我们进一步学习一个动态模型，并使用模型预测控制（MPC）来获得一个政策。由于奖励被分解为更细粒度的观察结果，因此它们自然可推广到由类似基本元素组成的新环境。我们在广泛的环境中展示了我们的方法，包括经典的视频游戏-超级马里奥兄弟，以及机器人连续控制任务。更多可视化结果请参考项目页面。
2021-03-15 cs.AI cs.LG stat.ML
Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
本文提出 RL-V2V-GAN，结合策略梯度、ConvLSTM 与细粒度时空 GAN，实现无需成对输入的无监督条件视频到视频合成，并在少样本目标域中生成时间连贯视频。
2024-10-28 cs.CV cs.LG
Online Prototype Alignment for Few-shot Policy Transfer
University of Science and Technology of China（中国科学技术大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Cambricon Technologies（寒武纪科技）；University of Chinese Academy of Sciences, China（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
针对传统强化学习域适应方法依赖大量目标域数据、视觉差异大时易失效的问题，提出基于功能相似性的在线原型对齐框架，通过针对性探索关联跨域元素，实现少样本下更优的策略迁移性能。
2023-06-12 cs.AI cs.LG
A Minimalist Prompt for Zero-Shot Policy Learning
UC San Diego（加州大学圣地亚哥分校）；Google Deepmind（谷歌DeepMind）；UC Santa Barbara（加州大学圣巴巴拉分校）
本文在情境强化学习中研究零样本策略泛化，证明仅用任务参数提示 decision transformer 即可达到或超过演示提示效果，并加入可学习提示进一步提升机器人控制、操作与导航任务性能。
2024-05-09 cs.LG
SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation
Cornell University（康奈尔大学）；Stanford University（斯坦福大学）
SimToolReal提出了一种通用的模拟到现实强化学习策略，通过程序生成多种工具状物体并训练单一策略，实现无需特定任务或物体训练的零样本灵巧工具操作。
2026-10-07 cs.AI cs.RO
Plasma Shape Control via Zero-shot Generative Reinforcement Learning
Zhejiang University（浙江大学）；Southwestern Institute of Physics（西南物理研究所）；Zhejiang Lab（浙江实验室）
本文融合GAIL与Hilbert空间表示学习，基于历史PID放电离线数据训练可零样本部署的等离子体形状控制基础策略，并在HL-3模拟器中验证其多场景精确稳定跟踪能力。
2025-10-20 cs.LG physics.plasm-ph
Partially Detected Intelligent Traffic Signal Control: Environmental Adaptation
Carnegie Mellon University（卡内基梅隆大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；King Abdulaziz City for Science and Technology（阿卜杜勒阿齐兹国王科技城）
部分检测智能交通信号控制（PD-ITSC）系统可以根据有限的检测信息优化交通信号，这可能是未来缓解交通拥堵的一种具有成本效益的解决方案。在本文中，我们专注于一个特殊的问题，在PD-ITSC适应不断变化的环境。为此，我们研究了不同的强化学习算法，包括Q学习、邻近策略优化（PPO）、Advantage Actor-Critic（A2 C）和Actor-Critic with Kronecker-Factored Trust Region（ACKTR）。我们的研究结果表明，RL算法可以找到最佳策略下部分车辆检测，但是，基于策略的算法可以更有效地适应不断变化的环境比基于值的算法。我们使用这些研究结果得出结论，不同的模型PD-ITSC系统的价值。
2019-10-23 cs.AI cs.LG eess.SP
Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning
University of Freiburg（弗莱堡大学）
针对强化学习零样本泛化难题，提出将上下文表示学习与策略学习直接整合的方法，可获取行为特定上下文表示，在多模拟域零样本设置下性能优于现有技术，推动了可泛化强化学习系统的发展。
2024-04-15 cs.AI cs.LG
Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization
Shanghai AI Laboratory（上海人工智能实验室）；University of Cambridge（剑桥大学）；Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）
针对预训练强化学习模型提示调优受初始化限制易产生次优解的问题，提出基于条件扩散模型的Prompt Diffuser方法，从随机噪声生成高质量提示，在元强化学习任务中表现优异。
2024-11-02 cs.AI cs.LG
Learning Reward Machines from Partially Observed Policies
Department of Robotics（机器人学系）；University of Michigan（密歇根大学）；Universite Paris-Saclay（巴黎-萨克莱大学）；CNRS（国家科学研究中心）；Centrale-Supélec（中央-圣艾克苏佩里）；Laboratoire des Signaux et Systèmes（信号与系统实验室）；Department of Electrical Engineering and Computer Science（电气与计算机工程系）
本研究针对逆强化学习中奖励函数推断问题，提出基于前缀树策略和SAT算法的方法，可在有限信息下识别等价类内的精确奖励机，并扩展至仅含专家演示的场景，经多类实验验证有效。
2025-10-22 cs.FL cs.LG
How are policy gradient methods affected by the limits of control?
KTH Royal Institute of Technology（KTH皇家理工学院）；ETH Zurich（苏黎世联邦理工学院）；University of Pennsylvania（宾夕法尼亚大学）
我们从控制理论局限性的角度研究随机策略梯度法。我们的主要结果是病态的线性系在Doyle意义下不可避免地导致噪声梯度估计。我们还给出了一类稳定系统的例子，其中的政策梯度法遭受灾难的维数。我们的结果适用于状态反馈和部分观测系统。
2022-06-14 cs.LG math.OC
Calibration of Shared Equilibria in General Sum Partially Observable Markov Games
J.P. Morgan AI Research（摩根大通人工智能研究院）
训练多智能体系统（MAS）实现现实的平衡给我们提供了一个有用的工具来理解和建模现实世界的系统。我们考虑一个一般和部分可观察马尔可夫博弈，不同类型的代理共享一个单一的政策网络，条件代理特定的信息。本文的目的是i）形式上理解这些代理人达到的均衡，以及ii）将这些均衡的涌现现象与现实世界的目标相匹配。分散执行的参数共享已被引入作为使用单个策略网络训练多个代理的有效方式。然而，这样的代理商所达到的均衡的性质尚未研究：我们引入了新的概念，共享均衡作为一个对称的纯纳什均衡的一定的功能形式的游戏（FFG），并证明收敛到后者的某一类游戏使用自我发挥。此外，重要的是，这样的均衡满足一定的约束，使MAS校准到现实世界的数据，以供实际用途：我们解决这个问题，通过引入一种新的双重强化学习为基础的方法，适合新兴行为的代理在一个共享的均衡外部指定的目标，并应用我们的方法，一个n-玩家市场的例子。我们这样做，通过校准参数管理代理类型的分布，而不是个别代理，这使得代理之间的行为差异和一致的缩放共享策略网络到多个代理。
2020-10-23 cs.LG cs.MA
Zero-Shot Instruction Following in RL via Structured LTL Representations
University of Oxford（牛津大学）
本文提出通过结构化LTL表示学习多任务策略，以解决强化学习中多事件交互复杂性问题。
2025-12-02 cs.AI cs.LG
Learning Reward Machines: A Study in Partially Observable Reinforcement Learning
Pontificia Universidad Católica de Chile（智利天主教大学）；Vector Institute（向量研究院）；University of Toronto（多伦多大学）；Ryerson University（瑞尔森大学）
强化学习是人工智能的核心问题。这个问题包括定义人工代理，可以通过与环境交互来学习最佳行为-其中最佳行为是相对于代理寻求最大化的奖励信号定义的。奖励机（RM）提供奖励函数的结构化的、基于自动机的表示，其使得RL代理能够将RL问题分解成可以经由离策略学习有效地学习的结构化子问题。在这里，我们表明，RM可以从经验中学习，而不是由用户指定，并且由此产生的问题分解可以用于有效地解决部分可观察的RL问题。我们提出的任务学习RM作为一个离散的优化问题，其目标是找到一个RM，分解成一组子问题的问题，使其最佳的无记忆的政策的组合是一个最佳的政策，为原始问题。我们展示了这种方法在三个部分可观察的领域的有效性，在这些领域中，它的性能显着优于A3 C，PPO和ACER，并讨论了它的优点，局限性和更广泛的潜力。
2021-12-17 cs.AI cs.LG
Safe and Scalable Multi-Drone Payload Transport via CBF-based Reinforcement Learning with Zero-Shot Sim-to-Real Transfer
Reliable Autonomous Systems Lab, Massachusetts Institute of Technology（可靠自主系统实验室，麻省理工学院）
研究多无人机载荷运输问题，提出基于学习的框架，引入二维抽象，用离散图控制障碍函数近端策略优化训练全分布式策略，实现零样本模拟到现实的迁移，能在不同团队规模和任务场景泛化，在动态环境安全运行。
2026-07-24 cs.MA cs.RO cs.SY
RL in Latent MDPs is Tractable: Online Guarantees via Off-Policy Evaluation
Wisconsin Institute for Discovery, UW-Madison（威斯康星大学麦迪逊分校威斯康星发现研究院）；Technion（以色列理工学院）；NVIDIA（英伟达公司）；UT-Austin（德克萨斯大学奥斯汀分校）；Meta AI
针对一般潜在MDP，提出首个无需额外结构假设的样本高效算法，通过新颖的离策略评估引理和覆盖系数，实现乐观探索算法的近最优保证。
2024-06-26 cs.AI cs.LG cs.SY
Variational Recurrent Models for Solving Partially Observable Control Tasks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
在部分可观测（PO）环境中，深度强化学习（RL）代理通常会表现不佳，因为需要同时解决两个问题：如何从原始观测中提取信息来解决任务，以及如何改进策略。在这项研究中，我们提出了一个RL算法解决PO任务。我们的方法包括两个部分：一个变分递归模型（VRM）的环境建模，和RL控制器，可以访问的环境和VRM。所提出的算法进行了测试，在两种类型的PO机器人控制任务，那些在坐标或速度是不可观察的，那些需要长期记忆。我们的实验表明，该算法实现了更好的数据效率和/或学习更优化的政策比其他替代方法在任务中，未观察到的状态不能推断出原始观测在一个简单的方式。
2019-12-24 cs.LG cs.NE cs.SY
