Factored Policy Gradients: Leveraging Structure for Efficient Learning in MOMDPs
J. P. Morgan AI Research（摩根大通人工智能研究院）
策略梯度方法可以解决复杂的任务，但往往失败时，行动空间的维数或目标的多样性变得非常大。这部分是因为基于分数的梯度估计器的方差是二次缩放的。在本文中，我们解决这个问题，通过一个因素基线，利用独立结构编码在一个新的行动目标的影响网络。因子化的策略梯度（FPGs），这如下，提供了一个共同的框架，用于分析关键国家的最先进的算法，概括传统的策略梯度，并产生一个原则性的方式，将先验知识的问题域的生成过程。我们提供了一个分析建议的估计，并确定在何种条件下，方差减少。FPGs的算法方面进行了讨论，包括最佳的政策因式分解，其特征在于最小biclique覆盖，以及不正确地指定网络的偏差方差权衡的影响。最后，我们证明了我们的算法在大规模的土匪和交通路口的问题上的性能优势，后者提供了一个新的贡献，在空间近似的形式。
2021-11-23 cs.AI cs.LG cs.MA
Curricula for Learning Robust Policies with Factored State Representations in Changing Environments
University of Bath（巴斯大学）
本文研究因子化状态表示下课程设计对强化学习策略鲁棒性的影响，实验证明三种简单课程（如仅改变最高遗憾变量）可显著提升鲁棒性，为复杂环境提供实用指导。
2024-09-19 cs.AI cs.LG
Abstract Reward Processes: Leveraging State Abstraction for Consistent Off-Policy Evaluation
University of Massachusetts（马萨诸塞大学）；Princeton University（普林斯顿大学）
本文提出STAR框架，通过状态抽象构建抽象奖励过程，实现低均方误差且渐近一致的离线策略评估，并在十二个案例中验证其优于现有方法。
2024-10-03 cs.AI cs.LG stat.ML
Policy Error Bounds for Model-Based Reinforcement Learning with Factored Linear Models
University of Alberta（阿尔伯塔大学）
在本文中，我们研究了一个基于模型的方法来计算近似最优的马尔可夫决策过程的政策。特别是，我们得出新的界限上的损失，使用的政策来自一个因子化的线性模型，一类模型，概括了许多以前的模型，那些来与强大的计算保证。在文献中的第一次，我们推导出基于模型的技术，模型的不准确性是衡量加权范数的性能界限。此外，我们的界限显示出降低的敏感性折扣因子，不像其他方法得到的类似的界限，他们是不敏感的测量不匹配。类似于以前的作品，我们的证明也是基于收缩参数，但主要的区别是，我们使用精心构造的规范建设的Banach格，和收缩属性仅假设为运营商作用于“压缩”空间，从而削弱了以前的假设，而加强以前的结果。
2016-09-20 cs.LG stat.ML
KFCPO: Kronecker-Factored Approximated Constrained Policy Optimization
School of Computer Science and Engineering, Pusan National University, Busan, Korea（计算机科学与工程学院，釜山国立大学，韩国釜山）
提出KFCPO安全强化学习算法，结合K-FAC二阶优化与边际感知梯度操作，并采用KL回滚策略，在满足安全约束下显著提升回报。
2025-11-02 cs.AI cs.LG
Effective Off-Policy Evaluation and Learning in Contextual Combinatorial Bandits
Keio University（庆应义塾大学）；Tokyo Institute of Technology（东京工业大学）；Cornell University（康奈尔大学）；CyberAgent, Inc.（CyberAgent公司）
针对上下文组合老虎机中离线策略评估与学习的高偏差高方差问题，提出因子动作空间分解与OPCB估计器，结合重要性采样与回归，显著降低方差和偏差，实验验证其优越性。
2024-08-20 cs.AI cs.LG stat.ML
Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan（密歇根大学）；Michigan Medicine（密歇根医学中心）；Harvard University（哈佛大学）
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题，提出因子化动作空间诱导的线性Q函数分解法，兼具理论保证与样本效率，可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Multi-Agent Learning of Numerical Methods for Hyperbolic PDEs with Factored Dec-MDP
GE Research（通用电气研究院）；Binghamton University（宾汉姆顿大学）
分解分散马尔可夫决策过程（Dec-MDP）是一个多智能体系统序列决策问题的建模框架。在本文中，我们正式学习的数值方法的双曲型偏微分方程（PDE），特别是加权本质非振荡（WENO）计划，作为一个分解的Dec-MDP问题。我们发现，不同的奖励配方导致无论是强化学习（RL）或行为克隆，和一个同质的政策，可以学习所有代理下的RL配方与策略梯度算法。由于经过训练的智能体只作用于它们的局部观测值，因此多智能体系统可以用作双曲偏微分方程的通用数值方法，并推广到不同的空间离散化、情节长度、维度甚至方程类型。
2022-05-31 cs.AI cs.LG cs.MA
Chi-square Tests Driven Method for Learning the Structure of Factored MDPs
University Pierre et Marie Curie - Paris 6（皮埃尔和玛丽·居里大学（巴黎第六大学））；LIP6（利皮6实验室）
SDYNA是一个通用框架，旨在解决大型随机强化学习问题。与FMDPs中以前的基于模型的方法不同，它使用监督学习技术增量地学习RL问题的结构和参数。然后，它集成基于FMDPs的决策理论规划算法来计算其策略。SPITI是SDYNA的一个实例，它利用ITI（一种增量决策树算法）来学习奖励函数和动态贝叶斯网络，其中局部结构表示问题的转移函数。这些表示被结构化值迭代算法的增量版本使用。为了学习结构，SPITI使用卡方检验来检测两个概率分布之间的独立性。因此，我们研究了卡方检验中使用的阈值，所建模型的大小和诱导策略的价值函数相对于最优值的相对误差之间的关系。我们表明，在随机问题上，可以调整阈值，从而生成一个紧凑的模型和一个有效的政策。然后，我们表明，SPITI，同时保持其模型的紧凑性，使用其学习方法的泛化性能比随机的经典表格算法在大型RL问题与未知的结构。我们还引入了一种基于卡方的新度量来量化SPITI学习的模型的准确性。我们定性地表明，在SPITI的FMDP框架内的泛化属性可能会阻止指数增长的时间需要学习的结构的大型随机RL问题。
2012-06-27 cs.AI cs.LG stat.ML
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras（印度马德拉斯理工学院）
深度强化学习（DRL）方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中，那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左（这是前两个动作的组合）的动作。在这些领域中的控制策略的表示传统上被建模，而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式，因子化动作空间表示（FAR），其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量，类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作，而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进：FARA 3C在14个任务中的9个任务中优于A3 C（异步优势演员评论），FARAQL在13个任务中的9个任务中优于AQL（异步n步Q学习）。
2017-05-20 cs.AI cs.LG
Reliable Off-policy Evaluation for Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）
在顺序决策问题中，脱离策略评估使用从不同行为策略生成的记录轨迹数据来估计目标策略的预期累积回报，而不执行目标策略。高风险环境中的强化学习，如医疗保健和教育，由于安全或道德问题，或无法探索，通常仅限于非政策设置。因此，在部署目标策略之前，必须量化策略外估计的不确定性。在本文中，我们提出了一个新的框架，提供强大的和乐观的累积奖励估计使用一个或多个记录的轨迹数据。利用分布鲁棒优化的方法，我们表明，适当选择的分布不确定性集的大小，这些估计作为随机或对抗环境下的非渐近和渐近保证的置信区间。我们的研究结果也推广到批量强化学习，并通过实证分析支持。
2022-11-03 cs.LG stat.ML
Deep Jump Learning for Off-Policy Evaluation in Continuous Treatment Settings
North Carolina State University（北卡罗来纳州立大学）；London School of Economics and Political Science（伦敦政治经济学院）
我们考虑在连续治疗环境中进行政策外评估（OPE），例如个性化剂量发现。在OPE中，旨在使用由不同决策规则生成的历史数据来估计新治疗决策规则下的平均结果。大多数关于OPE的现有工作都集中在离散的治疗设置上。为了处理连续处理，我们使用深度跳跃学习开发了一种新的OPE估计方法。我们方法的关键在于通过利用深度学习和多尺度变化点检测，使用深度离散化自适应地离散化治疗空间。这使我们能够在离散治疗中应用现有的OPE方法来处理连续治疗。我们的方法是进一步证明理论结果，模拟，并实际应用于作战剂量。
2021-11-05 cs.LG stat.ML
Accountable Off-Policy Evaluation With Kernel Bellman Statistics
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑了政策外评估（OPE），它根据从以前的实验中收集的观察数据来评估新政策的性能，而不需要执行新政策。这在具有高执行成本或安全问题的领域中找到了重要的应用，例如医疗诊断，推荐系统和机器人技术。在实际应用中，由于非策略数据所提供的信息有限，因此需要构造严格的置信区间，而不仅仅是点估计。在这项工作中，我们提出了一个新的变分框架，减少了问题的计算紧的置信界限OPE到一个可行的集合上的优化问题，捕获真正的状态动作价值函数具有高概率。通过利用最近提出的内核Bellman损失的统计特性来构造可行集（Feng等人，2019年）。我们设计了一个有效的计算方法来计算我们的界限，并将其扩展到执行事后诊断和校正现有的估计。实证结果表明，我们的方法在不同的设置产生紧的置信区间。
2020-08-15 cs.LG stat.ML
Optimal Off-Policy Evaluation from Multiple Logging Policies
Cornell University（康奈尔大学）；Tokyo Institute of Technology（东京工业大学）
我们研究了来自多个日志记录策略的非策略评估（OPE），每个日志记录策略生成固定大小的数据集，即，分层抽样以前的工作指出，在这种情况下，不同的重要性采样估计量的方差的顺序是依赖于实例的，这带来了一个两难的选择，其中重要性采样的权重使用。在本文中，我们通过找到多个记录器的OPE估计量来解决这个难题，其中任何情况下的方差最小，即，高效的一特别是，我们建立了分层抽样下的效率界，并提出了一个估计实现这一界限时，一致的$q$估计。为了防止错误指定的$q$ -功能，我们还提供了一种方法来选择控制变量的假设类，以最大限度地减少方差。大量的实验证明了我们的方法有效地利用来自多个记录器的非策略数据的分层采样的好处。
2020-10-21 cs.LG stat.ME stat.ML
Factored Latent Action World Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出因子化潜在动作模型（FLAM），通过将场景分解为独立因子并学习各自的潜在动作，提升了无动作视频中多实体动态建模的准确性和视频生成质量。
2026-05-25 cs.LG
Leveraging class abstraction for commonsense reinforcement learning via residual policy gradient methods
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
使强化学习（RL）代理能够利用知识库，同时从经验中学习，有望在知识密集型领域推进RL。然而，事实证明，很难利用不是针对环境手动定制的知识。我们建议使用开源知识图谱中的子类关系来抽象特定对象。我们开发了一个剩余的策略梯度方法，能够在类层次结构中的不同抽象级别的知识集成。我们的方法提高了样本效率，并推广到常识游戏中看不见的对象，但我们也研究了故障模式，如过度的噪声提取类知识或环境中的小类结构。
2022-05-01 cs.AI cs.LG
Leveraging the Variance of Return Sequences for Exploration Policy
University of Central Florida（中佛罗里达大学）
本文介绍了一种利用收益率序列的加权方差或加权时间差（TD）误差构造勘探策略上界的方法。我们证明了特定状态-动作对的返回序列的方差是一个重要的信息源，可以用来指导强化学习的探索。直觉是，收益序列的波动表明近期收益的不确定性更大。这种分歧的发生是因为基于值的强化学习的循环性质;不断发展的价值函数会带来策略改进，进而修改价值函数。虽然方差和TD误差捕捉这种不确定性的不同方面，我们的分析表明，这两个可以是有价值的指导探索。我们提出了一个双流网络架构，估计加权方差/TD内的DQN代理的错误，我们的探索方法，并表明它优于广泛的Atari游戏的基线。
2020-11-17 cs.AI cs.LG
Beyond Keywords: Leveraging Generative LLMs and Label Aggregation to Classify Economic Policy Uncertainty in News Articles
本研究利用生成式大语言模型和弱监督标签聚合技术，自动分类新闻中的经济政策不确定性，克服了关键词误报和人工标注成本高的局限，并支持多标签与层次分类。
2026-09-30 cs.AI cs.LG
Leveraging Reinforcement Learning Techniques for Effective Policy Adoption and Validation
University of California, San Diego（加州大学圣地亚哥分校）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
不同形式的奖励和惩罚无处不在，并出现在各种各样的决策场景中。通过观察足够数量的重复试验的结果，人们将逐渐了解特定政策或战略的价值和有用性。然而，在特定的环境中，不同的试验结果会受到偶然性的影响和变化。在学习一个给定的政策的有用性，显着的成本涉及系统地进行顺序试验，因此，在大多数学习事件，人们希望保持成本范围内采用学习停止规则。在本文中，我们研究了部署不同的停止策略在给定的学习环境中，从高度严格的关键任务操作高度宽容的非关键任务操作，并重点放在前者与航空安全的特殊应用。在政策评估中，确定了两个连续的学习阶段，我们使用概率模型来描述结果的变化，并获得了关键性能指标的封闭式表达式。决策规则映射的试验观察政策选择也制定。最后进行了仿真实验，验证了理论分析的正确性.
2019-06-21 cs.AI cs.LG
Hierarchical Reinforcement Learning via Advantage-Weighted Information Maximization
University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
现实世界的任务往往是高度结构化的。分层强化学习（HRL）作为一种在强化学习（RL）中利用给定任务的分层结构的方法引起了研究兴趣。然而，识别增强RL性能的分层策略结构并不是一项微不足道的任务。在本文中，我们提出了一种HRL方法，该方法使用互信息最大化来学习分层策略的潜在变量。我们的方法可以被解释为一种学习状态-动作空间的离散和潜在表示的方法。为了学习对应于优势函数模式的期权策略，我们引入了加权重要性采样。在我们的HRL方法中，门控策略学习选择基于选项价值函数的选项策略，并且这些选项策略基于确定性策略梯度方法被优化。这个框架是通过利用标准RL中的整体策略和HRL中的分层策略之间的类比，通过使用确定性选项策略而得出的。实验结果表明，我们的HRL方法可以学习的选项的多样性，它可以提高RL在连续控制任务的性能。
2019-03-07 cs.AI cs.LG stat.ML
Leveraging exploration in off-policy algorithms via normalizing flows
McGill University（麦吉尔大学）；Mila -- Quebec AI Institute（米拉-魁北克人工智能研究所）；Université Laval（拉瓦尔大学）；Facebook AI Research（脸书人工智能研究院）；Microsoft Research Montreal（微软研究院蒙特利尔分院）；Université de Montréal（蒙特利尔大学）
在具有稀疏奖励的域中发现近似最优策略的能力对于在许多现实场景中应用强化学习（RL）至关重要。诸如神经密度模型和连续探索（例如，Go-Explore）来保持找到高性能和可推广策略所需的高探索率。软行动者-批评者（SAC）是另一种改进探索的方法，旨在通过关闭策略更新结合有效的学习，同时最大化策略熵。在这项工作中，我们将SAC扩展到更丰富的概率分布类别（例如，多模态）通过规范化流（NF），并表明这通过加速发现好的策略，同时使用更小的策略表示，显着提高性能。我们的方法，我们称之为SAC-NF，是一个简单，高效，易于实现的修改和改进SAC的连续控制基线，如MuJoCo和PyBullet Roboschool域。最后，SAC-NF这样做，同时是显着的参数效率，使用少至5.5%的等效SAC模型的参数。
2019-09-24 cs.LG stat.ML
Context-Specific Representation Abstraction for Deep Option Learning
MIT LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
分层强化学习专注于发现时间上扩展的动作，例如选项，可以在需要广泛探索的问题中提供益处。一种很有前途的方法是端到端学习这些选项，这就是选项批评（OC）框架。我们在本文中研究并表明，OC不会将问题分解为更简单的子问题，而是增加了策略空间上的搜索大小，每个选项都考虑了学习过程中的整个状态空间。这个问题可能导致这种方法的实际局限性，包括样本学习效率低下。为了解决这个问题，我们引入了深度选项学习的上下文特定表示抽象（CRADOL），这是一个新的框架，它考虑了时间抽象和上下文特定表示抽象，以有效地减少策略空间上的搜索大小。具体来说，我们的方法学习一个因子化的信念状态表示，使每个选项只在状态空间的一个子部分上学习一个策略。我们测试我们的方法对分层，非分层和模块化的递归神经网络基线，证明显着的样本效率的改善，在具有挑战性的部分可观察的环境。
2022-04-24 cs.AI cs.LG
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架，通过鲁棒区域和最小反事实分析，揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
Bidirectional Soft Actor-Critic: Leveraging Forward and Reverse KL Divergence for Efficient Reinforcement Learning
Tsinghua University（清华大学）
本文针对SAC中反向KL散度导致策略投影难以处理的问题，提出双向SAC算法，先利用前向KL散度获得显式高斯策略投影进行初始化，再优化反向KL散度精炼策略，在连续控制任务中实现奖励最高提升30%并改善样本效率。
2025-06-02 cs.AI cs.LG
From Outcomes to Actions: Leveraging Hindsight for Long-Horizon Language Agent Training
研究长期语言智能体训练中现有强化学习方法面临的挑战，提出事后诸葛亮策略优化方法，通过投影到意图空间提取低方差学习信号，聚合相似状态和行动，理论和实证证明可稳定提升策略性能。
2026-07-21 cs.AI cs.CL cs.LG
Body Transformer: Leveraging Robot Embodiment for Policy Learning
UC Berkeley（加州大学伯克利分校）
针对普通Transformer未充分利用机器人学习问题结构的问题，提出Body Transformer架构，以机器人身体的传感器-执行器图结合掩码注意力引入具身归纳偏置，在模仿与强化学习策略的任务完成度、缩放性和效率上均优于基线模型。
2024-08-12 cs.AI cs.LG cs.RO
Leveraging Offline Data in Online Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
针对兼具离线数据与在线交互的FineTuneRL设定，研究线性结构MDP下的最优在线样本量，提出可证明最优的FTPedel算法，证实结合离线与在线模式的性能优势并厘清两类学习的形式差异。
2023-07-20 cs.AI cs.LG stat.ML
Progressive-Resolution Policy Distillation: Leveraging Coarse-Resolution Simulations for Time-Efficient Fine-Resolution Policy Learning
Nara Institute of Science and Technology（奈良科学技术研究所）；Kobe City College of Technology（神户市立技术学院）
本文提出渐进分辨率策略蒸馏框架，利用粗分辨率模拟预训练策略以提高细分辨率模拟的效率，同时保持任务成功率。
2026-01-28 cs.LG cs.RO
Reward Maximization Under Uncertainty: Leveraging Side-Observations on Networks
The Ohio State University（俄亥俄州立大学）
我们研究了随机多臂强盗（MAB）问题中存在的侧观测跨行动发生的结果，一个底层的网络结构。在我们的模型中，一个二分图捕捉动作和一组常见的未知数之间的关系，这样选择一个动作就可以揭示它所连接的未知数的观察结果。这模拟了在线社交网络中的一个常见场景，其中用户响应他们朋友的活动，从而提供关于彼此偏好的辅助信息。我们的贡献如下：1）我们得到了一个渐近下界（相对于时间）作为一个函数的二部网络结构的遗憾的任何一致的好政策，实现最大的长期平均回报。2)我们提出了两个政策-一个随机化的政策;和一个政策的基础上，众所周知的置信上限（UCB）的政策-这两个探索每个动作的速度是一个函数的网络位置。我们表明，在温和的假设下，这些政策实现的渐进下限的遗憾的乘法因子，独立的网络结构。最后，我们使用一个现实世界的社交网络和路由示例网络的数值例子来证明我们的政策比其他现有的政策所获得的好处。
2017-07-12 cs.LG stat.ML
Leveraging Group Relative Policy Optimization to Advance Large Language Models in Traditional Chinese Medicine
University of Missouri（密苏里大学）；Christopher S. Bond Life Sciences Center, University of Missouri（密苏里大学克里斯托弗·S·邦德生命科学中心）；Community Health Service Center Shanghai Pudong New Area（上海市浦东新区社区卫生服务中心）；Shanghai University of Traditional Chinese Medicine（上海中医药大学）
本文提出首个采用GRPO强化学习训练的TCM大模型Ladder-base，基于Qwen2.5-7B-Instruct和TCM-Ladder文本子集，在多项推理指标上优于通用及领域专用模型。
2025-10-20 cs.AI cs.CL cs.LG
Sample Efficient Policy Search for Optimal Stopping Domains
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
最优停止问题考虑的是决定何时停止观测生成过程以最大化回报的问题。我们研究的问题，同时学习和规划，在这些领域，当数据直接从环境中收集。我们提出了GFSE，一个简单而灵活的无模型的策略搜索方法，重用数据的样本效率，利用问题结构。我们约束我们的方法的样本复杂性，以保证一致收敛的政策价值估计，收紧现有的PAC界限，以实现对数依赖于地平线长度为我们的设置。我们还研究了我们的方法对流行的基于模型和无模型的方法从不同领域采取的3个域的好处。
2017-05-24 cs.AI cs.LG
Leveraging Large Language Models for Enhancing Public Transit Services
University of Toronto（多伦多大学）
本文提出将大语言模型整合到公共交通系统的通用框架，并开发Tweet Writer、Trip Advisor和Policy Navigator三个应用，以提升客户体验和工作人员效率。
2024-10-18 cs.AI cs.CY cs.LG
DeepTOP: Deep Threshold-Optimal Policy for MDPs and RMABs
Texas A&M University（得克萨斯农工大学）
我们考虑学习控制问题的最优阈值策略的问题。阈值策略通过评估系统状态的元素是否超过特定阈值来做出控制决策，该阈值的值由系统状态的其他元素确定。通过利用阈值策略的单调性，我们证明了它们的策略梯度有一个令人惊讶的简单表达式。我们使用这个简单的表达式来构建一个离线策略的演员-评论家算法来学习最优阈值策略。仿真结果表明，我们的政策显着优于其他强化学习算法，由于其能够利用单调属性。此外，我们表明，惠特尔指数，一个强大的工具，不安分的多臂土匪问题，是等价的最优阈值政策的替代问题。这一观察导致了一个简单的算法，通过学习替代问题中的最优阈值策略来找到Whittle指数。仿真结果表明，我们的算法学习的Whittle指数远远快于最近的几项研究，通过间接手段学习的Whittle指数。
2022-09-28 cs.AI cs.LG
Q-learning Decision Transformer: Leveraging Dynamic Programming for Conditional Sequence Modelling in Offline RL
University of Bristol（布里斯托大学）
本文提出 Q-learning 决策 Transformer（QDT），利用动态规划结果重新标注 return-to-go 来弥补 DT 缺乏拼接能力的缺陷，并在 D4RL 基准上验证了性能提升。
2023-05-25 cs.LG
Learning Action-Transferable Policy with Action Embedding
NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Zhejiang University（浙江大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
迁移学习（TL）是提高强化学习样本效率的有效方法。然而，如何有效地转移知识的任务与不同的状态-动作空间的研究在早期阶段。以往的研究大多只通过学习一个共同的特征空间来解决不同状态空间之间的不一致性，而没有考虑到相关任务的不同动作空间中的相似动作具有相似的语义。在本文中，我们提出了一种利用这一思想学习动作嵌入的方法，以及一个学习状态嵌入和动作嵌入的框架，以在具有不同状态和动作空间的任务之间传输策略。实验结果表明，该方法不仅可以学习信息丰富的动作嵌入，而且可以加速策略学习。
2021-05-10 cs.AI cs.LG
A tale of two goals: leveraging sequentiality in multi-goal scenarios
针对分层强化学习中仅以当前目标为条件可能失败的问题，提出两种新的MDP实例，使策略兼顾后续目标，实验表明以下两个目标为条件可提升稳定性和样本效率。
2025-03-27 cs.AI cs.LG
Leveraging Demonstrations with Latent Space Priors
Meta AI (FAIR)（Meta人工智能（基础人工智能研究团队））；ETH Zürich（苏黎世联邦理工学院）
演示提供了对相关状态或动作空间区域的洞察，具有极大的潜力，以提高强化学习代理的效率和实用性。在这项工作中，我们建议通过结合技能学习和序列建模来利用演示数据集。从一个学习的联合潜空间开始，我们分别训练一个示范序列的生成模型和一个伴随的低层策略。序列模型形成了一个潜在的空间优先于合理的示范行为，以加速学习的高层次的政策。我们将展示如何从仅限状态的运动捕捉演示中获取此类先验信息，并探索将其整合到迁移任务的策略学习中的几种方法。我们的实验结果证实，潜在空间先验提供了显着的收益，在学习速度和最终性能。我们的基准测试我们的方法在一组具有挑战性的稀疏奖励环境与一个复杂的，模拟的人形，和离线RL基准导航和对象操作。视频、源代码和预训练模型可在相应的项目网站https://facebookresearch.github.io/latent-space-priors上获得。
2023-03-13 cs.AI cs.LG cs.RO
Leveraging Fully Observable Policies for Learning under Partial Observability
Khoury College of Computer Sciences（Khoury计算机科学学院）；Northeastern University（东北大学）
部分可观测域中的强化学习由于缺乏可观测的状态信息而具有挑战性。值得庆幸的是，在模拟器中离线学习这些状态信息通常是可能的。特别是，我们提出了一种部分可观察的强化学习方法，该方法在离线训练期间使用完全可观察的策略（我们称之为状态专家）来提高在线性能。基于软Actor-Critic（SAC），我们的代理平衡执行类似于状态专家的行动，并在部分可观测性下获得高回报。我们的方法可以利用完全可观察的策略进行探索，并且部分领域是完全可观察的，同时仍然能够在部分可观察性下学习。在六个机器人领域，我们的方法优于纯模仿，纯强化学习，这两种类型的顺序或并行组合，以及最近的国家的最先进的方法在相同的设置。一个成功的政策转移到一个物理机器人在操作任务从像素显示我们的方法的实用性，在学习感兴趣的政策下的部分可观测性。
2022-11-10 cs.LG cs.RO
Off-Policy Reinforcement Learning with High Dimensional Reward
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
该研究为分布强化学习建立了支持无限维可分巴拿赫奖励空间的理论基础，证明其贝尔曼算子的压缩性与低维近似可行性，提出可解决传统RL难处理问题的新型DRL算法。
2024-08-14 cs.LG stat.ML
Data Poisoning Attacks on Off-Policy Policy Evaluation Methods
University of New Hampshire（新罕布什尔大学）；New York University（纽约大学）；Duke University（杜克大学）；Harvard University（哈佛大学）
本文研究OPE在数据投毒下的可靠性，提出基于影响函数的通用攻击框架，并通过多数据集实验表明小幅扰动即可显著放大策略价值估计误差。
2024-04-06 cs.AI cs.CR cs.LG
Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation
Princeton University（普林斯顿大学）
本文研究了具有函数逼近的批量数据强化学习的统计理论。考虑非策略评估问题，即根据未知行为策略生成的日志记录来估计新目标策略的累积值。我们研究了一种基于回归的拟合Q迭代方法，并证明了它等价于一种基于模型的方法，该方法估计了过渡算子的条件均值嵌入。我们证明了这种方法是信息理论上最优的，并具有几乎最小的估计误差。特别地，利用马尔可夫过程的收缩性质和鞅集中度，我们建立了有限样本实例相关的误差上界和近似匹配的极大极小下界。政策评估误差严重依赖于一个受限制的$χ^2$ -发散之间的长期分布的目标政策和过去的数据分布的函数类。这种受限的$χ^2$发散既依赖于实例又依赖于函数类。它表征了政策外评估的统计极限。此外，我们提供了一个易于计算的信心界的政策评估，这可能是有用的乐观规划和安全的政策改进。
2020-02-21 cs.LG math.ST stat.ML
Leveraging human Domain Knowledge to model an empirical Reward function for a Reinforcement Learning problem
Persistent Systems Ltd.（持久系统公司）
传统的强化学习（RL）问题依赖于一个详尽的仿真环境，该环境对问题的真实物理进行建模，并通过观察该环境来训练RL代理。在本文中，我们提出了一种新的方法来创建一个环境，通过建模的奖励功能的基础上提取的经验规则，从人类领域的知识系统的研究。利用这个经验奖励函数，我们将建立一个环境和训练代理。我们将首先创建一个环境，模拟通过恒温器设置机舱温度的效果。这通常在RL问题中通过创建具有详细热力学研究的系统的详尽模型来完成。相反，我们提出了一个经验的方法来模拟奖励功能的基础上人类领域的知识。我们将记录一些我们通常在设置恒温器温度时使用的经验法则，并尝试将其建模为我们的奖励函数。将经验人类领域规则建模为RL的奖励函数是本文的独特之处。这是一个连续的行动空间问题，使用深度确定性策略梯度（DDPG）方法，我们将解决最大化的奖励函数。我们将创建一个策略网络，该网络在给定外部温度和湿度的情况下预测最佳温度设定值。
2019-09-16 cs.AI cs.LG cs.SY
Additive Control Variates Dominate Self-Normalisation in Off-Policy Evaluation
Microsoft（微软）
本文证明加性控制变量化身自归一化在非策略评估中具有更优的均方误差性能，理论支持了从自归一化到最优基线修正的转变。
2026-07-28 cs.IR cs.LG
A General Framework for Off-Policy Learning with Partially-Observed Reward
Waseda University（早稻田大学）；HAKUHODO Technologies Inc.（HAKUHODO技术公司）；Cornell University（康奈尔大学）
针对部分观测奖励下上下文赌博机离线策略学习效果下降的问题，提出结合部分观测目标奖励与密集次级奖励的HyPeR方法，在多场景下优于现有方法。
2025-06-17 cs.LG
Leveraging Genetic Algorithms for Efficient Demonstration Generation in Real-World Reinforcement Learning Environments
Ruhr-University Bochum（波鸿鲁尔大学）
本文提出用遗传算法生成专家演示来增强强化学习，通过将演示加入DQN重放缓冲区并作为PPO热启动轨迹，在工业分拣环境中显著提升了训练收敛速度和累积奖励。
2025-07-02 cs.LG
Precoder Learning by Leveraging Unitary Equivariance Property
School of Electronics and Information Engineering, Beihang University（北京航空航天大学电子信息工程学院）
本文针对多用户预编码学习，提出一种满足酉等变性质的新型非线性加权过程，并构建联合酉等变与置换等变的DNN，在提升学习与泛化性能的同时降低训练复杂度。
2025-03-12 cs.LG cs.SY eess.SP
Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization
National Yang Ming Chiao Tung University（国立阳明交通大学）；Facebook AI（脸书人工智能）；Academia Sinica（中央研究院）
约束强化学习（RL）是一种在各种现实世界应用中广泛使用的方法，例如具有资源约束的网络系统中的调度和具有运动约束的机器人的控制。虽然现有的基于投影的方法确保零约束违反，但由于策略梯度和投影的紧密耦合，它们可能遭受零梯度问题，这导致样本低效的训练和缓慢的收敛。为了解决这个问题，我们提出了一个学习算法，利用状态明智的Frank-Wolfe和基于回归的策略更新方案，从策略参数更新的动作约束。此外，我们表明，该算法在表格的情况下，以及推广流行的DDPG算法的动作约束RL在一般情况下，具有收敛性和政策改进性能。通过实验，我们证明了该算法显着优于各种控制任务的基准方法。
2021-08-02 cs.LG
An Efficient On-Policy Deep Learning Framework for Stochastic Optimal Control
NYU-ECNU Institute of Mathematical Sciences（纽约大学-复旦大学数学科学研究院）；NYU Shanghai（纽约大学上海分校）；Courant Institute of Mathematical Sciences（Courant数学科学研究所）；New York University（纽约大学）
本文提出基于 Girsanov 定理的同策略算法，直接估计随机最优控制目标梯度，避免随机微分方程反向传播，并在基准、采样与扩散模型微调中实现速度和内存效率提升。
2025-05-13 cs.LG math.OC
MePoly: Max Entropy Polynomial Policy Optimization
University of Michigan, Ann Arbor（密歇根大学，安阿伯分校）；University of California, Berkeley（加州大学伯克利分校）
MePoly通过多项式能量模型实现最大熵策略优化，有效捕捉复杂非凸流形并在多种基准上优于基线方法。
2026-02-19 cs.LG cs.RO
