DSAC: Distributional Soft Actor-Critic for Risk-Sensitive Reinforcement Learning
Department of Automation, Tsinghua University（清华大学自动化系）；School of Engineering and Applied Science, Columbia University（哥伦比亚大学工程与应用科学学院）；School of Business, Sun Yat-sen University（中山大学商学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出DSAC算法，结合累积奖励的分布式信息与SAC的熵驱动探索，构建统一框架优化风险相关目标并平衡熵，在多种连续控制任务中显著提升了风险中性与风险敏感智能体的性能。
2025-06-29 cs.AI cs.LG
Distributional Model Equivalence for Risk-Sensitive Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文针对风险敏感强化学习提出两种分布模型等价概念，证明风险中性下的适当价值等价不足以保证风险敏感最优规划，并展示了该框架可增强任意无模型风险敏感算法。
2023-12-03 cs.AI cs.LG
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
On Distributional Reinforcement Learning in Chaotic Dynamical Systems
Centre for Artificial Intelligence（人工智能中心）；Department of Computer Science（计算机科学系）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
针对混沌动力系统中强化学习面临的高方差和梯度病态问题，提出分布强化学习通过1-Wasserstein度量下的分布贝尔曼目标实现更稳定的优化。
2026-05-28 cs.AI cs.LG
Risk Perspective Exploration in Distributional Reinforcement Learning
KAIST（韩国科学技术院）；Kim Jaechul Graduate School of Artificial Intelligence（金在澈人工智能研究生院）
分布式强化学习在连续和离散控制设置中表现出最先进的性能，具有方差和风险的特征，可用于探索。然而，使用风险属性的探索方法很难找到，尽管分布式RL中的许多探索方法使用每个动作的收益分布的方差。在本文中，我们提出了风险调度方法，探索风险水平和乐观的行为，从风险的角度来看。我们证明了DMIX算法的性能增强，在多智能体环境中使用风险调度与全面的实验。
2022-07-01 cs.LG
Risk-Sensitive Policy with Distributional Reinforcement Learning
University of Liège（列日大学）；Institut Polytechnique de Paris（巴黎理工学院）
经典的强化学习（RL）技术通常涉及由期望结果的最大化驱动的决策策略的设计。然而，这种方法没有考虑到与所采取的行动相关的潜在风险，这在某些应用中可能是至关重要的。为了解决这个问题，目前的研究工作引入了一种新的方法，基于分布式RL来推导出顺序决策的政策，是敏感的风险，后者被建模的尾部的回报概率分布。其核心思想是用另一个同时考虑预期收益和风险的函数来取代通常处于RL学习方案核心的$Q$函数。命名为基于风险的效用函数$U$，它可以从任何分布式RL算法自然学习的随机收益分布$Z$中提取。这使得能够跨越风险最小化和预期回报最大化之间的完整潜在权衡，与完全规避风险的方法相反。从根本上说，这项研究产生了一个真正实用的和可访问的解决方案，学习风险敏感的政策，最小的修改分布式RL算法，并强调所产生的决策过程的可解释性。
2022-12-30 cs.AI cs.LG
Implicit Quantile Networks for Distributional Reinforcement Learning
DeepMind（深度思维）
在这项工作中，我们建立在分布式强化学习的最新进展，给出了一个普遍适用的，灵活的，最先进的分布式DQN的变体。我们通过使用分位数回归来近似状态-动作回报分布的完整分位数函数来实现这一点。通过重新参数化样本空间上的分布，这产生了一个隐含定义的回报分布，并产生了一个大类的风险敏感政策。我们证明了改进的性能在ALE的57雅达利2600游戏，并使用我们的算法的隐式定义的分布研究风险敏感的政策在雅达利游戏的影响。
2018-06-14 cs.AI cs.LG stat.ML
Distributional Reinforcement Learning with Ensembles
Department of Mathematics, Linn us University, 351 95 Växjö, Sweden
众所周知，集成方法通常在强化学习中提供增强的性能。在本文中，我们进一步探讨这一概念，通过使用分布式强化学习范式内的组辅助训练。具体来说，我们提出了一个扩展到分类强化学习，其中分布式学习目标是隐式地基于集合收集的总信息。我们的经验表明，这可能会导致更强大的初始学习，更强的个人表现水平，以及良好的效率，在每个样本的基础上。
2020-05-22 cs.AI cs.LG cs.MA
StructRL: Recovering Dynamic Programming Structure from Learning Dynamics in Distributional Reinforcement Learning
Ivo Nowak
本文提出StructRL框架，通过分析学习动态中的返回分布时间演变，识别学习信号并引导采样，从而恢复动态规划结构，为强化学习提供新视角。
2026-04-19 cs.AI cs.LG
Distributional Reinforcement Learning with Quantile Regression
DeepMind；University of Cambridge（剑桥大学）；Google Brain（谷歌大脑）
在强化学习中，智能体通过采取行动并观察下一个状态和奖励来与环境交互。当以概率抽样时，这些状态转换、奖励和行动都可以在观察到的长期回报中引起随机性。传统上，强化学习算法对这种随机性进行平均以估计价值函数。在本文中，我们建立在最近的工作，倡导一种分布式的方法来强化学习，其中分布的回报是明确建模，而不是只估计均值。也就是说，我们研究学习值分布而不是价值函数的方法。我们给出的结果缩小了Bellemare，Dabney和Munos（2017）给出的理论和算法结果之间的差距。首先，我们将现有的结果扩展到近似分布设置。其次，我们提出了一种新的分布式强化学习算法与我们的理论公式。最后，我们在Atari 2600游戏上评估了这个新算法，观察到它的性能明显优于DQN上最近的许多改进，包括相关的分布式算法C51。
2017-10-27 cs.AI cs.LG stat.ML
Distributional Reinforcement Learning with Unconstrained Monotonic Neural Networks
University of Liège（列日大学）；Institut Polytechnique de Paris（巴黎理工学院）
分布式强化学习（RL）方法主张表示随机收益的完整概率分布，而不是仅对其期望进行建模。分布式RL算法可以由两个主要组成部分来表征，即分布的表示及其参数化和定义损失的概率度量。目前的研究工作认为，无约束单调神经网络（UMNN）架构，连续单调函数，特别适合于不同的分布表示建模的通用逼近。这个属性使有效的解耦的函数逼近类的影响，从概率度量。研究论文首先介绍了一种学习随机收益分布（PDF，CDF和QF）的不同表示的方法。其次，提出了一种新的分布式强化学习算法--无约束单调深度Q网络（UMDQN）。据作者所知，它是第一个支持学习随机收益分布的三个有效和连续表示的分布RL方法。最后，基于该算法，对Kullback-Leibler散度、Cramer距离和Wasserstein距离三种概率准度量进行了实证比较.结果突出了与每个概率度量相关的主要优点和缺点，以及Wasserstein距离的重要限制。
2023-03-17 cs.AI cs.LG
Normality-Guided Distributional Reinforcement Learning for Continuous Control
Department of Computer Science and Engineering（计算机科学与工程系）；The Ohio State University（俄亥俄州立大学）
本文提出一种利用价值分布近似正态特性的分布强化学习方法，通过方差网络解析计算正态目标分位条，并基于价值分布结构特征改进策略更新，在PPO和TRPO上以更少权重和更快训练取得多数连续控制任务的显著提升。
2025-07-07 cs.AI cs.LG
Conservative Distributional Reinforcement Learning with Safety Constraints
Beijing Jiaotong University（北京交通大学）
针对安全强化学习中成本估计不准和拉格朗日乘子训练不稳定的问题，本文提出CDMPO，结合分布式价值估计、保守损失与WAPID乘子更新，显著减少早期约束违反并提升风险控制。
2023-07-08 cs.AI cs.LG
Distributional Method for Risk Averse Reinforcement Learning
University of Toronto（多伦多大学）
我们介绍了一个分布式的方法学习风险厌恶马尔可夫决策过程中的最优策略有限的状态动作空间，潜在成本和平稳动态。我们假设连续观察的状态，行动和成本，并使用动态风险措施构建嵌套Kusuoka型条件风险映射的政策的性能进行评估。对于这样的性能标准，随机策略可能优于确定性策略，因此，候选策略位于d维单纯形中，其中d是动作空间的基数。现有的风险规避强化学习方法很少涉及随机策略，对当前设置的幼稚扩展遭受维数灾难。通过利用嵌入在相应的动态规划原理中的某些结构，我们提出了一种分布式学习方法来寻求最优策略。价值函数的条件分布被转换成特定类型的函数，该函数的选择考虑到风险规避优化的容易性。我们使用深度神经网络来近似所述函数，说明所提出的方法避免了在探索阶段的维数灾难，并探索该方法的性能与随机选取的广泛的模型参数。
2023-02-27 cs.AI cs.LG
Continuous Control Reinforcement Learning: Distributed Distributional DrQ Algorithms
HKU（香港大学）
针对连续控制任务，提出以分布式分布式DDPG为主干的分布式分布式DrQ算法，结合数据增强与分布价值函数，旨在通过分布价值函数的表达能力和分布式演员策略提升高难度连续控制任务性能。
2024-04-16 cs.AI cs.LG cs.RO
Distributional Reinforcement Learning for Efficient Exploration
University of Alberta（阿尔伯塔大学）；Huawei Noah’s Ark（华为诺亚方舟实验室）；University of Oxford（牛津大学）；Huawei Hi-Silicon（华为海思）；University of Waterloo（滑铁卢大学）
在分布式强化学习（RL）中，价值函数的估计分布同时对参数和内在不确定性进行建模.我们提出了一种新的和有效的探索方法，深度RL有两个组成部分。第一个是一个衰减的时间表，以抑制内在的不确定性。第二个是从学习分布的上分位数计算的探索奖金。在Atari 2600游戏中，我们的方法在14个硬游戏中的12个中优于QR-DQN（在49个游戏中，QR-DQN的累积奖励平均获得483%，在Venture中获得巨大胜利）。我们还比较了我们的算法与QR-DQN在一个具有挑战性的三维驾驶模拟器（CARLA）。结果表明，我们的算法实现接近最优的安全奖励比QRDQN快两倍。
2019-05-13 cs.AI cs.LG stat.ML
Distributional Reinforcement Learning with Dual Expectile-Quantile Regression
Naver Labs Europe（纳维尔实验室欧洲分部）；University of Amsterdam（阿姆斯特丹大学）
针对分布强化学习中分位数回归因使用Huber损失导致分布坍缩的问题，提出联合学习期望分位数与分位数的方法，在保持完整回报分布估计的同时实现高效学习，并在Atari基准上达到基线性能。
2025-05-26 cs.AI cs.LG
Intrinsic Benefits of Categorical Distributional Loss: Uncertainty-aware Regularized Exploration in Reinforcement Learning
University of Alberta, Canada（阿尔伯塔大学）；Harbin Engineering University, China（哈尔滨工程大学）；Xi’an Jiaotong University, China（西安交通大学）
本文提出了一种基于类别分布损失的不确定性感知正则化方法，通过增强奖励信号提升强化学习的探索效率。
2025-12-24 cs.LG
Boosted Distributional Reinforcement Learning: Analysis and Healthcare Applications
Thayer School of Engineering, Dartmouth College（达特茅斯学院塞耶工程学院）
本文提出BDRL算法，通过优化个体结果分布并确保相似代理的可比性，提升医疗决策的一致性和效果。
2026-04-10 cs.AI cs.LG
Path-Coupled Bellman Flows for Distributional Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
本文提出路径耦合贝尔曼流（PCBF），一种连续时间的分布式强化学习方法，通过学习回报分布的流匹配来解决现有方法在边界不匹配和高方差-bootstrap问题，实验表明其在分布保真度和训练稳定性方面有所提升。
2026-10-22 cs.AI cs.LG
Reinforcement Learning under State and Outcome Uncertainty: A Foundational Distributional Perspective
本文提出分布点基值迭代（DPBVI），将分布强化学习扩展到部分可观测马尔可夫决策过程，通过新的分布贝尔曼算子和psi-向量表示回报分布，为风险敏感控制奠定基础。
2026-09-22 cs.AI cs.LG
Flow-based Policy With Distributional Reinforcement Learning in Trajectory Optimization
College of Systems Engineering, National University of Defense Technology（国防科技大学系统工程学院）；Aviation University of Air Force（空军航空大学）
本文提出一种流式策略与分布强化学习结合的算法，以解决传统策略在多模态分布建模中的局限性，提升多解问题中的策略更新效率和性能。
2026-04-01 cs.AI cs.LG
A Distributional Perspective on Reinforcement Learning
DeepMind
在本文中，我们认为价值分布的根本重要性：由强化学习代理接收的随机回报的分布。这与强化学习的常见方法形成对比，后者对这种回报或价值的期望进行建模。虽然有一个既定的文献研究的价值分布，到目前为止，它一直被用于特定的目的，如实施风险意识的行为。我们从政策评估和控制设置的理论结果开始，揭示了后者的显著分布不稳定性。然后，我们使用分布的角度来设计一个新的算法，适用于贝尔曼方程的学习近似值分布。我们使用Arcade学习环境中的游戏套件来评估我们的算法。我们获得了最先进的结果和轶事证据，证明了值分布在近似强化学习中的重要性。最后，我们结合理论和经验证据，强调在近似设置的价值分布影响学习的方式。
2017-07-21 cs.AI cs.LG stat.ML
Value-Distributional Model-Based Reinforcement Learning
Bosch Corporate Research（博世公司研究中心）；TU Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）
本文提出认知分位数回归（EQR）算法，通过贝尔曼算子学习价值分布函数并与SAC结合，在连续控制任务中优于现有基于模型和无模型方法。
2024-09-03 cs.AI cs.LG
Distributional Reinforcement Learning via the Cramér Distance
HAW Hamburg（汉堡应用技术大学）；Universidad de Málaga（马拉加大学）
本文提出C-DSAC算法，通过最小化Cramér距离改进分布式强化学习，实验表明其在高复杂度环境中优于基线SAC和现有分布式方法。
2026-04-26 cs.LG
A Unified Causal-Origin Taxonomy of Distributional Shifts in Reinforcement Learning
IMT Atlantique（IMT大西洋）；Flinders University（弗林德斯大学）；IRL Crossing；Priori Analytica；CNRS（法国国家科学研究中心）
提出一种统一因果起源分类法，将强化学习中的分布偏移按因果来源（内部/外部）和时间边界（显式/隐式/混合）分类，统一了分布内/外泛化与非平稳性分析。
2026-07-07 cs.AI cs.LG
Conjugated Discrete Distributions for Distributional Reinforcement Learning
Department of Mathematics, Linnæus University（林奈大学数学系）
在这项工作中，我们继续建立在有限马尔可夫过程的强化学习的最新进展。在以前的现有算法中，无论是单演员还是分布式算法，一种常见的方法是剪辑奖励或在Q函数上应用变换方法来处理实际贴现收益中的各种幅度。我们从理论上表明，最成功的方法之一可能不会产生最优的政策，如果我们有一个非确定性的过程。作为一种解决方案，我们认为分布式强化学习有助于完全纠正这种情况。通过引入一个共轭分布算子，我们可以处理一个大类的变换，保证理论收敛的实际回报。我们提出了一个近似的单演员算法的基础上，该运营商的训练代理直接使用适当的分配度量的Cramér距离不变的奖励。为了评估其性能在随机设置，我们训练代理商在一套55雅达利2600游戏使用粘性行动，并获得国家的最先进的性能相比，其他知名的算法在多巴胺框架。
2021-12-14 cs.AI cs.LG stat.ML
Bag of Policies for Distributional Deep Exploration
Imperial College London（帝国理工学院）；University of Bayreuth（拜罗伊特大学）
针对复杂环境中的强化学习探索难题，提出基于分布式RL的BoP方法，通过维护独立更新的多策略种群集成实现深度探索，在ALE Atari游戏中展现出更高的鲁棒性与学习速度。
2023-08-03 cs.LG
Trust Region-Based Safe Distributional Reinforcement Learning for Multiple Constraints
Seoul National University（首尔大学）；Chung-Ang University（中央大学）
提出基于信任区域的安全分布强化学习算法SDAC，通过梯度集成和TD(λ)目标分布处理多约束与风险规避，实验显示在满足约束和减少违规方面显著优于基线。
2023-12-24 cs.AI cs.LG
Exploration and Anti-Exploration with Distributional Random Network Distillation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对深度强化学习中RND算法的奖励不一致问题，提出分布随机网络蒸馏DRND，通过蒸馏随机网络分布与隐式伪计数提升奖励精度，在低开销下优于原RND，适配在线探索与D4RL离线反探索场景。
2024-05-20 cs.LG
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
A Survey of Exploration Methods in Reinforcement Learning
McGill University（麦吉尔大学）；University of Amsterdam（阿姆斯特丹大学）
探索是强化学习算法的重要组成部分，其中代理需要学习如何预测和控制未知且通常是随机的环境。强化学习智能体非常依赖于探索来获得学习过程中的信息数据，因为缺乏足够的信息可能会阻碍有效的学习。在这篇文章中，我们提供了（顺序）强化学习中的现代探索方法的调查，以及探索方法的分类。
2021-09-02 cs.AI cs.LG
Distributionally Adaptive Meta Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对元强化学习在测试时任务分布偏移下失效的问题，提出训练一组具备不同鲁棒性水平的元策略并自适应选择，以实现快速适应、降低遗憾值。
2023-07-10 cs.AI cs.LG
Fully Parameterized Quantile Function for Distributional Reinforcement Learning
UC San Diego（加州大学圣迭戈分校）；Microsoft Research（微软研究院）；Tsinghua University（清华大学）
分布式强化学习（RL）与传统RL的不同之处在于，它不是对总回报的期望，而是估计分布，并在Atari Games上实现了最先进的性能。实际分布强化学习算法的关键挑战在于如何对估计分布进行参数化，以便更好地逼近真实的连续分布。现有的分布RL算法参数化分布函数的概率侧或返回值侧，使另一侧如C51、QR-DQN中那样均匀固定或如IQN中那样随机采样。在本文中，我们提出了完全参数化的分位数函数，该函数将分位数分数轴（即，x轴）和值轴（即，y轴）用于分布RL。我们的算法包含一个分数建议网络，生成一组离散的分位数分数和一个分位数值网络，给出相应的分位数值。这两个网络被联合训练，以找到真实分布的最佳近似。在55个Atari游戏上的实验表明，我们的算法显著优于现有的分布式RL算法，并为非分布式代理的Atari学习环境创造了新的记录。
2020-08-02 cs.AI cs.LG stat.ML
Switch Trajectory Transformer with Distributional Value Approximation for Multi-Task Reinforcement Learning
Northwestern University（西北大学）；Zebra Technologies（斑马技术公司）
我们提出了SwitchTT，这是Trajectory Transformer的多任务扩展，但增强了两个显著的功能：（i）利用稀疏激活模型来降低多任务离线模型学习中的计算成本，以及（ii）采用分布式轨迹值估计器来提高策略性能，特别是在稀疏奖励设置中。这两个增强功能使SwitchTT适合解决多任务离线强化学习问题，其中模型容量对于吸收多任务数据集中可用的大量知识至关重要。更具体地说，SwitchTT利用开关Transformer模型架构进行多任务策略学习，使我们能够提高模型容量，而无需成比例的计算成本。此外，SwitchTT近似分布而不是轨迹值的期望，减轻了蒙特卡洛值估计器因样本复杂性差而受到的影响，特别是在稀疏奖励设置中。我们使用来自gym-mini-grid环境的10个稀疏奖励任务来评估我们的方法。我们在10个任务的学习中比Trajectory Transformer提高了10%，离线模型训练速度提高了90%。我们的研究结果也证明了开关Transformer模型在吸收专家知识方面的优势以及值分布在评估轨迹中的重要性。
2022-03-14 cs.AI cs.LG
On the Approximation and Convergence of Distributional Policy Gradient Algorithms for Risk-Sensitive Reinforcement Learning
The Ohio State University（俄亥俄州立大学）；University of Michigan（密歇根大学）
本文提出一种针对风险敏感分布式强化学习的新策略梯度方法，提供概率测度梯度的解析形式，设计CDPG算法并证明其有限支撑最优性与有限迭代收敛性，实验验证了风险敏感设置的优越性。
2026-09-30 cs.AI cs.LG math.OC
Distributionally Robust Model-based Reinforcement Learning with Large State Spaces
University College London（伦敦大学学院）；ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
针对大状态空间、数据获取成本高及环境偏差挑战，提出利用高斯过程和最大方差缩减算法学习连续状态空间下分布鲁棒马尔可夫决策过程的动态，其样本复杂度独立于状态数且可结合无模型方法获得近似最优鲁棒策略。
2023-09-05 cs.AI cs.LG stat.ML
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Distributional Semantic Rewards for Abstractive Summarization
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
深度强化学习（RL）是一种常用的抽象摘要任务的策略，以解决暴露偏差和不可区分的任务问题。然而，传统的奖励Rouge-L只是寻找候选和注释引用之间的精确n-gram匹配，这不可避免地使生成的句子重复和不连贯。在本文中，而不是Rouge-L，我们探讨了利用分布语义来衡量匹配度的可行性。利用分布式语义，可以获得语义级评价，并且还可以生成语义正确的短语，而不限于参考句子的表面形式。Gigaword和CNN/Daily Mail数据集上的人类判断表明，我们提出的分布式语义奖励（DSR）在捕获自然语言的词汇和成分多样性方面具有明显的优势。
2019-09-10 cs.AI cs.CL cs.LG
Distributional Reinforcement Learning on Path-dependent Options
本文提出用分布强化学习估计路径依赖衍生品收益的完整分布，以支持风险感知定价和尾部风险估计，并在亚式期权上验证了方法有效性。
2025-07-16 cs.LG q-fin.MF
How Does Return Distribution in Distributional Reinforcement Learning Help Optimization?
University of Alberta（阿尔伯塔大学）
本研究在Neural FZI框架下揭示了分布式强化学习利用额外回报分布知识带来的优化优势，证明其分布损失具有平滑特性和稳定梯度，并通过分解回报分布展示了相比经典强化学习的优化稳定性与加速效应。
2024-09-23 cs.LG
The Nature of Temporal Difference Errors in Multi-step Distributional Reinforcement Learning
DeepMind（深度思维）；Google Brain（谷歌大脑）
我们研究了分布式强化学习的多步离策略学习方法。尽管基于值的强化学习和分布强化学习之间有明显的相似性，但我们的研究揭示了多步骤设置中这两种情况之间有趣的和根本的差异。我们确定了一个新的概念，路径依赖的分布TD错误，这是必不可少的原则性多步分布RL。与基于值的情况的区别对诸如后向视图算法之类的概念具有重要意义。我们的工作提供了第一个理论保证多步离政策分布式RL算法，包括适用于少数现有的方法，多步分布式RL的结果。此外，我们推导出一种新的算法，分位数回归-回溯，它导致了一个深度RL代理QR-DQN-Retrace，在Atari-57基准测试中显示了对QR-DQN的经验改进。总的来说，我们阐明了如何在理论和实践中解决多步分布式RL中的独特挑战。
2022-07-15 cs.LG
Bellman Unbiasedness: Toward Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation
Seoul National University（首尔大学）
本文研究通用值函数逼近下分布式强化学习的样本效率，提出 Bellman 无偏性并证明矩泛函的独特性，进而给出达到紧遗憾界的 SF-LSVI 算法。
2025-05-13 cs.AI cs.LG stat.ML
Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
Google DeepMind（谷歌DeepMind）；FAIR, Meta（Meta FAIR）
本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。
2024-11-04 cs.LG stat.ML
Federated Distributional Reinforcement Learning with Distributional Critic Regularization
Dept. of Mechanical Engineering, Rochester Institute of Technology（机械工程系，罗切斯特理工学院）；Dept. of Psychology and School of Information, Rochester Institute of Technology（心理学系和信息学院，罗切斯特理工学院）；Department of Engineering Science, University West（工程科学系，西大学）；Golisano College of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学学院，罗切斯特理工学院）
本文提出FedDistRL和TR-FedDistRL，通过分布批评正则化提升安全性和稳定性，在多任务环境中表现出更低的均值模糊和更高的安全指标。
2026-03-18 cs.LG
A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms
McGill University（麦吉尔大学）；Google Research（谷歌研究院）
我们提出了一个分布式的方法来理论分析的强化学习算法的恒定步长。我们证明了它的有效性，提出了简单而统一的证明，收敛性的各种常用的方法。我们表明，基于值的方法，如TD（$λ$）和$Q$ -学习的更新规则是收缩的函数的分布空间，从而建立其指数快速收敛到一个平稳的分布。我们证明了任何算法，其目标是一个预期的贝尔曼更新的平稳分布有一个平均值等于真正的价值函数。此外，我们建立的分布集中在其平均值的步长缩小。我们进一步分析了乐观的政策迭代算法，其中的收缩属性不成立，并制定一个概率的政策改进属性，需要算法的收敛性。
2020-03-27 cs.AI cs.LG stat.ML
Imagine Beyond! Distributionally Robust Auto-Encoding for State Space Coverage in Online Reinforcement Learning
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、信息科学研究所）
针对在线视觉强化学习中自编码器潜在空间状态覆盖不足的问题，提出结合$β$-VAE与分布鲁棒优化的DRAG方法，通过对抗性神经加权器施加分布偏移，显著提升了困难探索环境中的状态覆盖与下游控制性能。
2025-11-04 cs.AI cs.LG
Distributional Reinforcement Learning via Moment Matching
我们考虑在分布强化学习（RL）中从经验贝尔曼动态学习一组概率分布的问题，这是一类估计总回报的分布而不仅仅是期望的最先进方法。我们制定了一种方法，通过神经网络从每个回报分布中学习有限的统计数据集，如（Bellemare，Dabney和Munos 2017; Dabney等人2018 b）。然而，现有的分布式RL方法将学习到的统计数据约束为返回分布的\emph{predefined}函数形式，这在表示上是限制性的，并且难以维护预定义的统计数据。相反，我们学习\emph{unrestricted}统计，即，确定性（伪）样本的回报分布，通过利用一种技术，从假设检验称为最大均值差异（MMD），这导致一个更简单的目标服从反向传播。我们的方法可以被解释为隐式匹配的所有订单的时刻之间的回报分布和贝尔曼目标。我们建立了分布Bellman算子收缩的充分条件，并给出了分布近似下确定性样本的有限样本分析。在Atari游戏套件上的实验表明，我们的方法优于标准的分布式RL基线，并在Atari游戏中为非分布式代理创造了新的记录。
2020-12-09 cs.AI cs.LG stat.ML
A Comparative Analysis of Expected and Distributional Reinforcement Learning
University of Oxford（牛津大学）；Google Brain（谷歌大脑）
自一年前引入以来，强化学习的分布式方法（分布式RL）相对于对期望值（期望RL）建模的标准方法产生了强有力的结果。然而，除了收敛保证之外，很少有理论结果调查分布式RL提供改进背后的原因。在本文中，我们开始调查这个基本问题，通过分析的差异，在表格，线性近似，非线性近似设置。我们证明，在许多实现的表格和线性近似设置，分布RL的行为完全相同的预期RL。在两种方法行为不同的情况下，分布式强化学习实际上会在不引起相同行为的情况下损害性能。然后，我们继续进行实证分析，将控制设置中的分布和预期RL方法与非线性逼近器进行比较，以区分分布RL方法的改进来自何处。
2019-02-21 cs.LG stat.ML
Multivariate Distributional Reinforcement Learning Using Sliced Divergences
Department of Electrical Engineering (ESAT), KU Leuven, Leuven, Belgium（电子工程系（ESAT），比利时鲁文大学，鲁文，比利时）
提出SDRL方法，通过投影将一维散度扩展到多变量回报分布，并证明在标量折扣和一般矩阵折扣下的贝尔曼收缩性，支持多种散度并适用于标准单样本贝尔曼更新。
2026-05-29 cs.LG
Variance Control for Distributional Reinforcement Learning
Shanghai University of Finance and Economics（上海财经大学）
本文分析了分布式强化学习中Q函数近似误差对训练的影响，提出新估计器QEM及新算法QEMRL以减小误差的偏差和方差，在Atari和Mujoco任务上显著提升了样本效率和收敛性能。
2023-07-30 cs.LG
Hierarchical reinforcement learning for efficient exploration and transfer
Universitat Pompeu Fabra（庞培法布拉大学）
稀疏奖励域对于强化学习算法是具有挑战性的，因为在第一次遇到奖励之前需要进行大量的探索。分层强化学习可以通过减少获得奖励之前所需的决策数量来促进探索。在本文中，我们提出了一种新的分层强化学习框架的基础上压缩的不变的状态空间，这是常见的一系列任务。该算法引入了子任务，其中包括由压缩引起的状态分区之间的移动。结果表明，该算法可以成功地解决复杂的稀疏回报域，并转移知识，以解决新的，以前看不见的任务更快。
2020-11-12 cs.AI cs.LG
Improving Robustness via Risk Averse Distributional Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
阻碍强化学习在现实应用中取得成功的一个主要障碍是训练策略缺乏鲁棒性，无论是对模型不确定性还是外部干扰。当在模拟而不是真实世界环境中训练策略时，鲁棒性至关重要。在这项工作中，我们提出了一个风险意识的算法来学习强大的政策，以弥合模拟训练和现实世界的实现之间的差距。我们的算法是基于最近发现的分布式RL框架。我们将CVaR风险度量引入基于样本的分布式策略梯度（SDPG）中，学习风险规避策略，以实现对系统扰动的鲁棒性。我们验证了风险感知SDPG在多个环境中的鲁棒性。
2020-05-01 cs.LG stat.ML
Robust Reinforcement Learning with Distributional Risk-averse formulation
Ecole polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；INSERM（法国国家健康与医学研究院）；Sorbonne Université（索邦大学）；Université Paris Cité（巴黎西岱大学）
鲁棒强化学习试图使预测对系统动态或奖励的变化更加鲁棒。当从数据中估计环境的动态和回报时，这个问题特别重要。在本文中，我们近似的鲁棒强化学习约束下的$Φ$ -发散使用一个近似的风险规避公式。我们表明，经典的强化学习配方可以鲁棒使用标准偏差惩罚的目标。提出了两种基于分布式强化学习的算法，一种用于离散动作空间，一种用于连续动作空间，并在经典的Gym环境中进行了测试，以证明算法的鲁棒性。
2022-06-14 cs.LG math.OC stat.ML
