Distributional Reinforcement Learning via the Cramér Distance
HAW Hamburg（汉堡应用技术大学）；Universidad de Málaga（马拉加大学）
本文提出C-DSAC算法，通过最小化Cramér距离改进分布式强化学习，实验表明其在高复杂度环境中优于基线SAC和现有分布式方法。
2026-04-26 cs.LG
Risk Perspective Exploration in Distributional Reinforcement Learning
KAIST（韩国科学技术院）；Kim Jaechul Graduate School of Artificial Intelligence（金在澈人工智能研究生院）
分布式强化学习在连续和离散控制设置中表现出最先进的性能，具有方差和风险的特征，可用于探索。然而，使用风险属性的探索方法很难找到，尽管分布式RL中的许多探索方法使用每个动作的收益分布的方差。在本文中，我们提出了风险调度方法，探索风险水平和乐观的行为，从风险的角度来看。我们证明了DMIX算法的性能增强，在多智能体环境中使用风险调度与全面的实验。
2022-07-01 cs.LG
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
Exploration by Distributional Reinforcement Learning
Columbia University（哥伦比亚大学）
我们提出了一个基于分布式强化学习的框架，以及最近将贝叶斯参数更新与深度强化学习相结合的尝试。我们表明，我们提出的框架在概念上统一了以前的多种方法的探索。我们还得到了一个实用的算法，实现了有效的探索具有挑战性的控制任务。
2018-06-21 cs.AI cs.LG stat.ML
How Does Return Distribution in Distributional Reinforcement Learning Help Optimization?
University of Alberta（阿尔伯塔大学）
本研究在Neural FZI框架下揭示了分布式强化学习利用额外回报分布知识带来的优化优势，证明其分布损失具有平滑特性和稳定梯度，并通过分解回报分布展示了相比经典强化学习的优化稳定性与加速效应。
2024-09-23 cs.LG
The Nature of Temporal Difference Errors in Multi-step Distributional Reinforcement Learning
DeepMind（深度思维）；Google Brain（谷歌大脑）
我们研究了分布式强化学习的多步离策略学习方法。尽管基于值的强化学习和分布强化学习之间有明显的相似性，但我们的研究揭示了多步骤设置中这两种情况之间有趣的和根本的差异。我们确定了一个新的概念，路径依赖的分布TD错误，这是必不可少的原则性多步分布RL。与基于值的情况的区别对诸如后向视图算法之类的概念具有重要意义。我们的工作提供了第一个理论保证多步离政策分布式RL算法，包括适用于少数现有的方法，多步分布式RL的结果。此外，我们推导出一种新的算法，分位数回归-回溯，它导致了一个深度RL代理QR-DQN-Retrace，在Atari-57基准测试中显示了对QR-DQN的经验改进。总的来说，我们阐明了如何在理论和实践中解决多步分布式RL中的独特挑战。
2022-07-15 cs.LG
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy（韩国陆军士官学校）；KAIST（韩国科学技术院）
多代理设置是复杂和不可预测的，因为多个代理的行为相互影响。为了解决这种环境的不确定性，分布式强化学习算法，通过分布式输出结合不确定性已被集成与多智能体强化学习（MARL）方法，实现国家的最先进的性能。然而，分布式MARL算法仍然依赖于传统的$ε$ -贪婪，没有考虑合作策略。在本文中，我们提出了一个基于风险的探索，导致合作乐观的行为，通过改变分布的采样区域。最初，我们从状态-动作值的上分位数中提取期望值进行探索，这是乐观的动作，并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下，我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能，在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Federated Distributional Reinforcement Learning with Distributional Critic Regularization
Dept. of Mechanical Engineering, Rochester Institute of Technology（机械工程系，罗切斯特理工学院）；Dept. of Psychology and School of Information, Rochester Institute of Technology（心理学系和信息学院，罗切斯特理工学院）；Department of Engineering Science, University West（工程科学系，西大学）；Golisano College of Computing and Information Sciences, Rochester Institute of Technology（计算与信息科学学院，罗切斯特理工学院）
本文提出FedDistRL和TR-FedDistRL，通过分布批评正则化提升安全性和稳定性，在多任务环境中表现出更低的均值模糊和更高的安全指标。
2026-03-18 cs.LG
Intrinsic Benefits of Categorical Distributional Loss: Uncertainty-aware Regularized Exploration in Reinforcement Learning
University of Alberta, Canada（阿尔伯塔大学）；Harbin Engineering University, China（哈尔滨工程大学）；Xi’an Jiaotong University, China（西安交通大学）
本文提出了一种基于类别分布损失的不确定性感知正则化方法，通过增强奖励信号提升强化学习的探索效率。
2025-12-24 cs.LG
Distributional Reinforcement Learning on Path-dependent Options
本文提出用分布强化学习估计路径依赖衍生品收益的完整分布，以支持风险感知定价和尾部风险估计，并在亚式期权上验证了方法有效性。
2025-07-16 cs.LG q-fin.MF
Multivariate Distributional Reinforcement Learning Using Sliced Divergences
Department of Electrical Engineering (ESAT), KU Leuven, Leuven, Belgium（电子工程系（ESAT），比利时鲁文大学，鲁文，比利时）
提出SDRL方法，通过投影将一维散度扩展到多变量回报分布，并证明在标量折扣和一般矩阵折扣下的贝尔曼收缩性，支持多种散度并适用于标准单样本贝尔曼更新。
2026-05-29 cs.LG
Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model
Google DeepMind（谷歌DeepMind）；FAIR, Meta（Meta FAIR）
本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。
2024-11-04 cs.LG stat.ML
Variance Control for Distributional Reinforcement Learning
Shanghai University of Finance and Economics（上海财经大学）
本文分析了分布式强化学习中Q函数近似误差对训练的影响，提出新估计器QEM及新算法QEMRL以减小误差的偏差和方差，在Atari和Mujoco任务上显著提升了样本效率和收敛性能。
2023-07-30 cs.LG
A Comparative Analysis of Expected and Distributional Reinforcement Learning
University of Oxford（牛津大学）；Google Brain（谷歌大脑）
自一年前引入以来，强化学习的分布式方法（分布式RL）相对于对期望值（期望RL）建模的标准方法产生了强有力的结果。然而，除了收敛保证之外，很少有理论结果调查分布式RL提供改进背后的原因。在本文中，我们开始调查这个基本问题，通过分析的差异，在表格，线性近似，非线性近似设置。我们证明，在许多实现的表格和线性近似设置，分布RL的行为完全相同的预期RL。在两种方法行为不同的情况下，分布式强化学习实际上会在不引起相同行为的情况下损害性能。然后，我们继续进行实证分析，将控制设置中的分布和预期RL方法与非线性逼近器进行比较，以区分分布RL方法的改进来自何处。
2019-02-21 cs.LG stat.ML
Quantile Geometry Regularization for Distributional Reinforcement Learning
Information Hub, AI Thrust（信息中心，人工智能方向）
本文提出RQIQN方法，通过分位数估计视角改进分布性强化学习，解决分位数估计退化问题，提升风险敏感导航和Atari游戏性能。
2026-05-05 cs.AI cs.LG
Offline and Distributional Reinforcement Learning for Radio Resource Management
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心（CWC））
针对无线资源管理中在线交互不可行及环境不确定性问题，提出离线分布式强化学习方案，利用静态数据集离线训练并考虑回报分布，仿真显示其优于传统模型，且比在线RL提升10%。
2025-01-23 cs.AI cs.LG cs.MA
Conservative Offline Distributional Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
实践中的许多强化学习（RL）问题都是离线的，纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的，这需要量化与不同行为相关的风险。在在线设置中，分布式RL算法通过学习收益分布（即，累积回报）而不是预期回报;除了量化风险之外，他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评（CODAC），一个离线RL算法，适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明，CODAC学习保守的回报分布-特别是，对于有限的MDPs，CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中，在两个具有挑战性的机器人导航任务，CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外，在预期和风险敏感性能方面，CODAC在D4 RL MuJoCo基准测试中处于最先进水平。
2021-10-26 cs.LG
Distributional Reinforcement Learning for Multi-Dimensional Reward Functions
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
基于值的强化学习（RL）算法的增长趋势是在值网络中捕获比标量价值函数更多的信息。这个分支中最著名的方法之一是分布式RL，它对返回分布而不是标量值进行建模。在另一项工作中，RL中的混合奖励架构（HRA）已经研究了为每个奖励源建模特定于源的价值函数，这也被证明是有益的。为了充分继承分布式RL和混合奖励架构的优势，我们引入了多维分布式DQN（MD3QN），它扩展了分布式RL，可以对来自多个奖励源的联合回报分布进行建模。作为联合分布建模的副产品，MD3QN不仅可以捕获每个奖励来源的回报的随机性，还可以捕获不同来源的随机性之间丰富的奖励相关性。我们证明了联合分布Bellman算子的收敛性，并通过最小化联合收益分布与其Bellman目标之间的最大均值离散来建立我们的经验算法。在实验中，我们的方法在具有丰富相关奖励函数的环境中准确地模拟了联合回报分布，并且在控制设置中利用多维奖励函数的RL方法优于以前的RL方法。
2021-10-26 cs.LG
Exploration with Multi-Sample Target Values for Distributional Reinforcement Learning
University of Oxford（牛津大学）；University of British Columbia（英属哥伦比亚大学）；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
分布式强化学习（RL）旨在学习一个价值网络，该网络预测给定状态的收益的完全分布，通常通过基于分位数的批评来建模。这种方法已经成功地集成到常见的RL方法中，用于连续控制，从而产生了分布式软演员-批评（DSAC）等算法。在本文中，我们介绍了多样本目标值（MTV）的分布RL，作为一个原则性的替代单样本目标值估计，在目前的实践中普遍采用。改进后的分布估计进一步有助于基于UCB的勘探。这两个想法结合在一起，产生了我们的分布式RL算法E2 DC（Extra Exploration with Distributional Critics）。我们在一系列连续控制任务上评估了我们的方法，并在困难的任务（如人形机器人控制）上展示了最先进的无模型性能。我们通过可视化和分析学习的分布及其在训练过程中的演变来进一步了解该方法。
2022-02-06 cs.AI cs.LG
Improving Robustness via Risk Averse Distributional Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
阻碍强化学习在现实应用中取得成功的一个主要障碍是训练策略缺乏鲁棒性，无论是对模型不确定性还是外部干扰。当在模拟而不是真实世界环境中训练策略时，鲁棒性至关重要。在这项工作中，我们提出了一个风险意识的算法来学习强大的政策，以弥合模拟训练和现实世界的实现之间的差距。我们的算法是基于最近发现的分布式RL框架。我们将CVaR风险度量引入基于样本的分布式策略梯度（SDPG）中，学习风险规避策略，以实现对系统扰动的鲁棒性。我们验证了风险感知SDPG在多个环境中的鲁棒性。
2020-05-01 cs.LG stat.ML
Distorted Distributional Policy Evaluation for Offline Reinforcement Learning
IBM Research - Tokyo, Japan（IBM东京研究院）
本研究提出分位数扭曲方法，通过调整保守程度改进离线强化学习中回报分位数的估计，提升泛化能力和性能。
2026-01-05 cs.LG
Distributionally Robust Self Paced Curriculum Reinforcement Learning
University of Maryland College Park（马里兰大学学院公园分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
分布鲁棒自适应课程强化学习通过动态调整鲁棒性预算，平衡性能与鲁棒性，提升在分布偏移下的稳定性与表现。
2026-03-08 cs.LG
Robust Reinforcement Learning with Distributional Risk-averse formulation
Ecole polytechnique（巴黎综合理工学院）；INRIA（法国国家信息与自动化研究所）；INSERM（法国国家健康与医学研究院）；Sorbonne Université（索邦大学）；Université Paris Cité（巴黎西岱大学）
鲁棒强化学习试图使预测对系统动态或奖励的变化更加鲁棒。当从数据中估计环境的动态和回报时，这个问题特别重要。在本文中，我们近似的鲁棒强化学习约束下的$Φ$ -发散使用一个近似的风险规避公式。我们表明，经典的强化学习配方可以鲁棒使用标准偏差惩罚的目标。提出了两种基于分布式强化学习的算法，一种用于离散动作空间，一种用于连续动作空间，并在经典的Gym环境中进行了测试，以证明算法的鲁棒性。
2022-06-14 cs.LG math.OC stat.ML
Stochastically Dominant Distributional Reinforcement Learning
Stevens Institute of Technology（斯蒂文斯理工学院）
我们描述了一种新的方法来管理任意的不确定性的强化学习（RL）的范例。而不是根据一个单一的统计量选择行动，我们提出了一种基于二阶随机优势（SSD）关系的分布方法。这比较了行动引起的随机回报的固有分散性，对环境的不确定性进行了更全面和更可靠的评估。SSD的必要条件要求估计器预测准确的二阶矩。为了适应这一点，我们将分布RL问题映射到Wasserstein梯度流，将分布Bellman残差视为势能泛函。我们提出了一个基于粒子的算法，我们证明了最优性和收敛性。我们的实验特征的算法性能和演示如何更好地平衡使用\textsc{ssd}政策比其他风险措施的不确定性和性能。
2020-10-07 cs.LG stat.ML
Implicit Quantile Networks for Distributional Reinforcement Learning
DeepMind（深度思维）
在这项工作中，我们建立在分布式强化学习的最新进展，给出了一个普遍适用的，灵活的，最先进的分布式DQN的变体。我们通过使用分位数回归来近似状态-动作回报分布的完整分位数函数来实现这一点。通过重新参数化样本空间上的分布，这产生了一个隐含定义的回报分布，并产生了一个大类的风险敏感政策。我们证明了改进的性能在ALE的57雅达利2600游戏，并使用我们的算法的隐式定义的分布研究风险敏感的政策在雅达利游戏的影响。
2018-06-14 cs.AI cs.LG stat.ML
Distributional reinforcement learning with linear function approximation
Google Brain（谷歌大脑（Google Brain））
尽管有许多算法的进步，我们对实际的分布式强化学习方法的理论理解仍然有限。一个例外是Rowland等人（2018）在Cramér距离方面对C51算法的分析，但他们的结果仅适用于表格设置，忽略了C51使用softmax来生成归一化分布。在本文中，我们适应Cramér距离来处理任意向量。从它，我们得到一个新的分布式算法，这是完全基于Cramér的，可以结合到线性函数近似，在政策评估的背景下，正式保证。在允许模型的预测是任何真实的向量，我们失去了方法背后的概率解释，但在其他方面保持了分布式方法的吸引力。据我们所知，我们是第一个证明的收敛性的分布式算法结合函数逼近。也许令人惊讶的是，我们的研究结果提供的证据表明，Cramér为基础的分布方法可能比直接近似的价值函数。
2019-02-08 cs.LG stat.ML
Online Inference for Quantile Distributional Reinforcement Learning
School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
本文针对分布强化学习的分位数时间差分学习，建立同步与异步QTD的函数中心极限定理，提出无需存储完整轨迹的在线推断方法，实现高效统计推断。
2026-10-19 cs.LG stat.ML
Offline and Distributional Reinforcement Learning for Wireless Communications
University of Oulu（奥卢大学）；Centre for Wireless Communications (CWC)（无线通信中心）
针对6G实时无线网络中传统在线强化学习面临的交互成本高、不安全及无法处理不确定性等局限，提出结合离线与分布式强化学习的新框架及CQR算法，在UAV轨迹优化与RRM中有效提升了收敛速度与风险管理能力。
2025-04-04 cs.LG cs.MA cs.NI
Distributional Reinforcement Learning with Quantile Regression
DeepMind；University of Cambridge（剑桥大学）；Google Brain（谷歌大脑）
在强化学习中，智能体通过采取行动并观察下一个状态和奖励来与环境交互。当以概率抽样时，这些状态转换、奖励和行动都可以在观察到的长期回报中引起随机性。传统上，强化学习算法对这种随机性进行平均以估计价值函数。在本文中，我们建立在最近的工作，倡导一种分布式的方法来强化学习，其中分布的回报是明确建模，而不是只估计均值。也就是说，我们研究学习值分布而不是价值函数的方法。我们给出的结果缩小了Bellemare，Dabney和Munos（2017）给出的理论和算法结果之间的差距。首先，我们将现有的结果扩展到近似分布设置。其次，我们提出了一种新的分布式强化学习算法与我们的理论公式。最后，我们在Atari 2600游戏上评估了这个新算法，观察到它的性能明显优于DQN上最近的许多改进，包括相关的分布式算法C51。
2017-10-27 cs.AI cs.LG stat.ML
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
Pitfall of Optimism: Distributional Reinforcement Learning by Randomizing Risk Criterion
Seoul National University（首尔国立大学）；Hodoo AI Labs（Hodoo人工智能实验室）；Chung-Ang University（中央大学）
本文针对分布强化学习中乐观探索易导致有偏数据收集的问题，提出通过随机化风险准则选择动作的新算法，并证明其收敛性与最优性，在 Atari 55 款游戏等环境中取得优于现有分布算法的性能。
2023-12-05 cs.AI cs.LG
Continuous Control Reinforcement Learning: Distributed Distributional DrQ Algorithms
HKU（香港大学）
针对连续控制任务，提出以分布式分布式DDPG为主干的分布式分布式DrQ算法，结合数据增强与分布价值函数，旨在通过分布价值函数的表达能力和分布式演员策略提升高难度连续控制任务性能。
2024-04-16 cs.AI cs.LG cs.RO
A Differential Perspective on Distributional Reinforcement Learning
本文从微分视角扩展分布强化学习至平均奖励设置，提出首个能有效学习长期每步奖励分布和微分回报分布的算法，并展示其在性能和信息捕捉方面的优势。
2026-01-13 cs.AI cs.LG
DSAC: Distributional Soft Actor-Critic for Risk-Sensitive Reinforcement Learning
Department of Automation, Tsinghua University（清华大学自动化系）；School of Engineering and Applied Science, Columbia University（哥伦比亚大学工程与应用科学学院）；School of Business, Sun Yat-sen University（中山大学商学院）；Stern School of Business, New York University（纽约大学斯特恩商学院）
本文提出DSAC算法，结合累积奖励的分布式信息与SAC的熵驱动探索，构建统一框架优化风险相关目标并平衡熵，在多种连续控制任务中显著提升了风险中性与风险敏感智能体的性能。
2025-06-29 cs.AI cs.LG
More Benefits of Being Distributional: Second-Order Bounds for Reinforcement Learning
Cornell University（康奈尔大学）；Google Research（谷歌研究院）
本文证明了分布式强化学习在一般在线和离线设定下能获得二阶界限，首次为低秩MDP和离线RL提供此类保证，并在上下文老虎机中通过乐观算法同时实现二阶最坏情况与间隙依赖遗憾界限，凸显了DistRL的简单性与优势。
2024-02-11 cs.LG
Distributional Active Inference
University of Southern Denmark（丹麦南部大学）
本文提出了一种将主动推断整合到分布式强化学习框架中的形式抽象，以提升复杂环境机器人系统最优控制的样本效率。
2026-08-06 cs.LG
Exploring the Training Robustness of Distributional Reinforcement Learning against Noisy State Observations
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Kirin Solution（华为麒麟解决方案部）
本文研究分布式强化学习在噪声状态观测下的训练鲁棒性，通过理论分析梯度稳定性和实验验证，证明其优于基于期望的方法。
2023-06-21 cs.LG
Automatic Risk Adaptation in Distributional Reinforcement Learning
Leibniz University Hannover（莱布尼茨汉诺威大学）
在实际应用中使用强化学习（RL）代理需要考虑次优结果，这取决于代理对其环境的熟悉程度。这在安全关键环境中尤其重要，因为错误可能导致高成本或损坏。在分布强化学习中，风险敏感性可以通过估计收益分布的不同失真度量来控制。然而，这些失真函数需要估计风险水平，这是很难获得的，并取决于当前的状态。在这项工作中，我们证明了一个静态的风险水平估计的次优，并提出了一种方法来动态地选择风险水平在每个环境步骤。我们的方法ARA（自动风险适应）使用随机网络蒸馏误差来估计已知和未知环境中的适当风险水平。我们发现，在几个运动环境中，与风险感知和风险不可知的代理相比，故障率降低了7倍，泛化性能提高了14%。
2021-06-11 cs.LG
Distributional Model Equivalence for Risk-Sensitive Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
本文针对风险敏感强化学习提出两种分布模型等价概念，证明风险中性下的适当价值等价不足以保证风险敏感最优规划，并展示了该框架可增强任意无模型风险敏感算法。
2023-12-03 cs.AI cs.LG
Distributional Robustness and Regularization in Reinforcement Learning
Technion（以色列理工学院）
分布鲁棒优化（DRO）已经证明了分类和回归中鲁棒性和正则化之间的等价性，从而提供了正则化在统计学习中推广良好的分析原因。虽然DRO的扩展到顺序决策克服了$\textit{external uncertainty}$通过强大的马尔可夫决策过程（MDP）设置，由此产生的公式是很难解决的，特别是在大的域。另一方面，由于随机性，强化学习中现有的正则化方法仅解决$\textit{internal uncertainty}$。我们的研究旨在通过建立鲁棒MDP和正则化之间的对偶关系来促进鲁棒强化学习。我们引入Wasserstein分布鲁棒MDPs，并证明他们持有样本的性能保证。然后，我们引入了经验值函数的一个新的正则化子，并证明了它是Wasserstein分布鲁棒值函数的下界。我们将结果推广到大状态空间的线性值函数近似。我们的方法提供了一种替代配方的鲁棒性，保证有限样本的性能。此外，它建议使用正则化作为在强化学习方法中处理$\textit{external uncertainty}$的实用工具。
2020-07-14 cs.LG math.OC stat.ML
Non-decreasing Quantile Function Network with Efficient Exploration for Distributional Reinforcement Learning
Shanghai University of Finance and Economics（上海财经大学）
尽管分布式强化学习（DRL）在过去几年中得到了广泛的研究，但人们仍然试图解决两个开放的问题。一个是如何保证学习的分位数函数的有效性，另一个是如何有效地利用分布信息。本文试图为这两个领域的深入研究提供一些新的视角。我们首先提出了一个非递减分位数函数网络（NDQFN），以保证所获得的分位数估计的单调性，然后设计了一个通用的探索框架，称为分布预测误差（DPE）的DRL，利用整个分布的分位数函数。在本文中，我们不仅讨论了理论上的必要性，我们的方法，但也显示了它在实践中取得的性能增益，通过比较与一些竞争对手的Atari 2600游戏，特别是在一些艰苦的探索游戏。
2021-05-14 cs.AI cs.LG
Group Distributionally Robust Reinforcement Learning with Hierarchical Latent Variables
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多任务强化学习（RL）在实践中的一个关键挑战是缺乏任务指标。鲁棒强化学习已被应用于处理任务模糊性，但可能会导致过于保守的政策。为了平衡最坏情况下（鲁棒性）和平均性能，我们提出了组分布鲁棒马尔可夫决策过程（GDR-MDP），一个灵活的分层MDP配方，通过潜在的混合模型编码任务组。GDR-MDP确定的最优策略，最大化的期望回报下的最坏可能的合格的信念在任务组内的模糊集。我们严格地表明，GDR-MDP的层次结构，提高了分布的鲁棒性，通过增加正则化的最坏的可能的结果。然后，我们为基于值和基于策略的RL方法开发了GDR-MDP的深度RL算法。在Box 2D控制任务、MuJoCo基准测试和Google足球平台上进行的大量实验表明，我们的算法在信念不确定性下的鲁棒性方面优于经典的鲁棒训练算法。演示可在我们的项目页面（\url{https://sites.google.com/view/gdr-rl/home}）上获得。
2022-10-21 cs.LG
Statistics and Samples in Distributional Reinforcement Learning
DeepMind；Google Brain（谷歌大脑）
我们提出了一个统一的框架，设计和分析分布式强化学习（DRL）算法的递归估计统计的回报分布。我们的主要观点是，DRL算法可以分解为一些统计估计和方法的组合，用于估算与该统计数据集一致的回报分布。有了这个新的理解，我们能够提供现有的DRL算法的改进分析，以及构建一个新的算法（EDRL）的基础上估计的预期收益分布。我们将EDRL与各种MDP上的现有方法进行比较，以说明我们分析的具体方面，并开发了该算法的深度RL变体ER-DQN，我们在Atari-57游戏套件上进行了评估。
2019-02-21 cs.LG stat.ML
PG-Rainbow: Using Distributional Reinforcement Learning in Policy Gradient Methods
Seoul National University（首尔大学）；Soongsil University（崇实大学）；UC Berkeley（加州大学伯克利分校）
本文提出PG-Rainbow算法，将分布式强化学习与策略梯度结合，利用隐式分位数网络向PPO的评论家提供奖励分布信息，提升样本效率和决策质量，并在Atari-2600游戏中验证性能。
2024-07-19 cs.AI cs.LG
On Distributional Reinforcement Learning in Chaotic Dynamical Systems
Centre for Artificial Intelligence（人工智能中心）；Department of Computer Science（计算机科学系）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
针对混沌动力系统中强化学习面临的高方差和梯度病态问题，提出分布强化学习通过1-Wasserstein度量下的分布贝尔曼目标实现更稳定的优化。
2026-05-28 cs.AI cs.LG
Distributional Reinforcement Learning with Regularized Wasserstein Loss
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出SinkhornDRL算法，利用正则化Wasserstein损失（Sinkhorn散度）最小化Bellman回报分布差异，理论证明其收缩性质，并在Atari游戏及多维奖励设定中表现优异。
2024-10-14 cs.LG stat.ML
SENTINEL: Taming Uncertainty with Ensemble-based Distributional Reinforcement Learning
Zenseact AB（Zenseact公司）；Chalmers University of Technology（查尔姆斯理工大学）；Scool INRIA Lille-Nord Europe（法国国家信息与自动化研究所里尔-北欧洲Scool团队）；CRIStAL, CNRS（法国国家科学研究中心CRIStAL实验室）；University of Neuchatel（纳沙泰尔大学）；University of Oslo（奥斯陆大学）
在本文中，我们考虑风险敏感的顺序决策的强化学习（RL）。我们的贡献是双重的。首先，我们介绍了一种新的和一致的量化风险，即复合风险，它量化的偶然性和认知风险的联合作用在学习过程中。现有的作品要么单独考虑偶然风险或认识风险，要么将其视为相加的组合。我们证明了当认知风险测度被期望所取代时，可加性公式是复合风险的一个特例。因此，复合风险是更敏感的偶然性和认知的不确定性比个人和添加剂配方。我们还提出了一个算法，SENTINEL-K，系综自举和分布式RL的基础上表示认知和偶然的不确定性。K学习器的集成使用跟随正规化领导者（FTRL）来聚合收益分布并获得复合风险。我们通过实验验证了SENTINEL-K可以更好地估计收益分布，并且在与复合风险估计一起使用时，表现出比最先进的风险敏感和分布式RL算法更高的风险敏感性能。
2022-06-29 cs.LG
Distributionally Robust Constrained Reinforcement Learning under Strong Duality
Tsinghua University（清华大学）；California Institute of Technology（加州理工学院）
针对分布鲁棒约束强化学习缺乏端到端收敛保证算法的问题，提出基于强对偶的首个可证明高效的求解框架，揭示了该问题的固有结构并通过赛车基准实验验证有效性。
2024-06-22 cs.LG
Distributional Reinforcement Learning with Information Bottleneck for Uncertainty-Aware DRAM Equalization
Control Laboratory, School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院控制实验室）
本文提出了一种结合信息瓶颈与条件价值-at-风险优化的分布式强化学习框架，用于具有不确定性感知的DRAM均衡优化，实现了显著的性能提升和可靠性改进。
2026-03-05 cs.LG
A Distributional Perspective on Reinforcement Learning
DeepMind
在本文中，我们认为价值分布的根本重要性：由强化学习代理接收的随机回报的分布。这与强化学习的常见方法形成对比，后者对这种回报或价值的期望进行建模。虽然有一个既定的文献研究的价值分布，到目前为止，它一直被用于特定的目的，如实施风险意识的行为。我们从政策评估和控制设置的理论结果开始，揭示了后者的显著分布不稳定性。然后，我们使用分布的角度来设计一个新的算法，适用于贝尔曼方程的学习近似值分布。我们使用Arcade学习环境中的游戏套件来评估我们的算法。我们获得了最先进的结果和轶事证据，证明了值分布在近似强化学习中的重要性。最后，我们结合理论和经验证据，强调在近似设置的价值分布影响学习的方式。
2017-07-21 cs.AI cs.LG stat.ML
One-Step Distributional Reinforcement Learning
Technology Innovation Institute（技术创新研究院）；Ecole polytechnique（巴黎综合理工学院）
针对分布强化学习（DistrRL）控制场景理论不完善的问题，提出仅考虑环境单步动态随机性的OS-DistrRL框架，具备策略评估与控制的统一理论，给出两种算法的几乎必然收敛证明，性能优于类别型DistrRL。
2023-04-27 cs.LG stat.ML
Distributional Reinforcement Learning with Diffusion Bridge Critics
ShanghaiTech University（上海科技大学）；University of Electronic Science and Technology of China（电子科技大学）；Fudan University（复旦大学）
本文提出了一种新的分布强化学习方法，通过使用扩散桥批评者（DBC）来准确建模Q值的逆累积分布函数，从而提高价值估计的准确性，并在MuJoCo基准上展示了其优越性。
2026-02-05 cs.LG
Implicit Distributional Reinforcement Learning
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
为了提高基于策略梯度的强化学习算法的样本效率，我们提出了隐式分布式行动者-批评者（IDAC），它由一个建立在两个深度生成器网络（DGN）上的分布式批评者和一个由灵活的策略分布提供动力的半隐式行动者（SIA）组成。我们采用了一个分布的角度来看，贴现的累积收益和模型，它与状态-动作相关的隐式分布，这是近似的DGNS，采取状态-动作对和随机噪声作为其输入。此外，我们使用的SIA提供一个半隐式的政策分布，混合的政策参数与重新参数化的分布，不受解析密度函数的约束。通过这种方式，策略的边际分布是隐含的，提供了对协方差结构和偏度等复杂属性建模的可能性，但其参数和熵仍然可以估计。我们将这些功能与非策略算法框架相结合，以解决具有连续动作空间的问题，并将IDAC与代表性OpenAI Gym环境中的最先进算法进行比较。我们观察到，IDAC在大多数任务中的表现优于这些基线。提供了Python代码。
2020-10-19 cs.LG stat.ML
PACER: A Fully Push-forward-based Distributional Reinforcement Learning Algorithm
Tencent AI Lab（腾讯AI实验室）
本研究提出首个完全基于前推算子的分布式强化学习算法PACER，通过对等建模回报与策略、样本正则激励探索及新型策略梯度，实现了更优的策略空间探索性能，效果超越现有最优方法。
2024-10-09 cs.LG
