通过风险规避分布式强化学习提高鲁棒性

报酬模糊下的风险厌恶型MDP

Risk-Averse MDPs under Reward Ambiguity

本文提出了一个风险和报酬模糊条件下的分布鲁棒收益-风险马尔可夫决策过程模型。该模型优化了平均和百分位绩效的加权平均值，并将分布鲁棒MDP和分布鲁棒机会约束MDP（均在奖励模糊下）作为特例。通过考虑未知的奖励分布位于Wasserstein模糊集，我们得到了我们的模型的易处理的重新制定。特别是，我们表明，回报风险模型也可以考虑风险从不确定的过渡内核时，只寻求确定性的政策，和一个分布稳健的MDP下的百分位数准则可以重新制定为它的名义上的对应调整后的风险水平。设计了一个可扩展的一阶算法来求解大规模问题，并通过数值实验验证了所提模型和算法的优越性。

基于风险厌恶强化学习的期权套期保值

Option Hedging with Risk Averse Reinforcement Learning

在本文中，我们将展示如何将风险厌恶强化学习用于对冲期权。我们应用一个国家的最先进的风险规避算法：信任区域波动率优化（TRVO）的香草期权套期保值环境，考虑现实的因素，如离散时间和交易成本。现实主义将问题分为两个方面：代理人必须同时使波动性最小化和控制交易成本，这些任务通常是竞争性的。我们使用该算法来训练一捆代理，每个代理的特点是不同的风险厌恶，以便能够跨越波动性p\&l空间上的有效前沿。研究结果表明，所提出的套期保值策略不仅优于Black & Scholes delta套期保值策略，而且具有很强的鲁棒性和灵活性，可以有效地对不同特征的期权进行套期保值，并适用于与训练中所使用的不同行为的市场。

高效的风险规避强化学习

Efficient Risk-Averse Reinforcement Learning

在风险规避强化学习（RL）中，目标是优化回报的某些风险度量。风险度量通常关注代理人经验中最差的回报。因此，风险规避强化学习的标准方法经常忽略高回报策略。我们证明了在一定条件下，这不可避免地会导致局部最优障碍，并提出了一种软风险机制来绕过它。我们还设计了一种新的交叉熵风险抽样模型，它（1）保持风险规避，尽管软风险;（2）独立地提高样本效率。通过分离采样器和优化器的风险规避，我们可以对条件较差的事件进行采样，但对成功的策略进行优化。我们将这两个概念结合在CeSoR中-交叉熵软风险优化算法-它可以应用于任何风险厌恶的策略梯度（PG）方法。我们在迷宫导航、自动驾驶和资源分配基准中证明了改进的风险规避，包括在标准风险规避PG完全失败的情况下。

风险规避强化学习与Itakura-Saito损失

Risk-Averse Reinforcement Learning with Itakura-Saito Loss

针对风险规避强化学习，提出基于Itakura-Saito散度的损失函数，用于学习值函数，在理论和实验中优于现有替代方案。

风险规避贝叶斯自适应强化学习

Risk-Averse Bayes-Adaptive Reinforcement Learning

在这项工作中，我们解决风险规避贝叶斯自适应强化学习。我们提出的问题，优化的条件风险价值（CVaR）的贝叶斯自适应马尔可夫决策过程（MDP）的总收益。我们发现，在这种情况下，政策优化CVaR是风险厌恶的参数的不确定性，由于先验分布在MDP，和内部的不确定性，由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈，并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明，我们的方法显着优于基线方法解决这个问题。

基于动态时间一致风险度量的风险规避强化学习

Risk-Averse Reinforcement Learning via Dynamic Time-Consistent Risk Measures

传统的强化学习（RL）旨在最大化预期的总回报，而不确定结果的风险需要控制，以确保在风险规避环境中的可靠性能。本文研究了无限时域马尔可夫决策过程中报酬序列的动态风险最大化问题。我们将期望条件风险测度（ECRM）应用于无限期风险厌恶的MDP，并证明了其时间一致性。使用一个凸组合的期望和条件风险价值（CVaR）作为一个特殊的一步条件风险度量，我们重新制定的风险厌恶MDP作为一个风险中性的对应扩大行动空间和操纵的即时回报。我们进一步证明了相关的Bellman算子是一个压缩映射，这保证了任何基于值的RL算法的收敛性。因此，我们开发了一个风险规避的深度Q学习框架，我们基于两个简单的MDP的数值研究表明，风险规避设置可以减少方差并增强结果的鲁棒性。

离线强化学习中用于风险规避行为建模的扩散策略

Diffusion Policies for Risk-Averse Behavior Modeling in Offline Reinforcement Learning

本文提出一种不确定性感知的分布式离线强化学习算法，利用扩散策略同时建模认知不确定性与环境随机性，学习风险规避策略并刻画奖励完整分布，在风险敏感与风险中性基准上表现优越。

风险厌恶的总奖励强化学习

Risk-Averse Total-Reward Reinforcement Learning

本文提出一种基于Q-learning的算法，用于求解风险厌恶总奖励MDP中的ERM和EVaR目标，利用ERM的动态一致性和可elicitation性质，实现强收敛保证，并在表格域上验证了快速可靠的收敛性。

风险规避鲁棒对抗强化学习

Risk Averse Robust Adversarial Reinforcement Learning

深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而，一个已知的问题是，政策过度适应培训环境，可能无法避免罕见的灾难性事件，如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练，但这种方法只能防止常见情况。最近，鲁棒对抗强化学习（RARL）被开发出来，它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是，只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此，代理不考虑灾难性事件的概率（即，那些诱导异常大的负奖励），除非通过它们对预期目标的影响。在本文中，我们介绍了风险规避鲁棒对抗强化学习（RARARL），使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明，一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手，和经验大大减少崩溃相比，没有对手训练的代理。

保守离线分布式强化学习

Conservative Offline Distributional Reinforcement Learning

实践中的许多强化学习（RL）问题都是离线的，纯粹从观察数据中学习。一个关键的挑战是如何确保学习的策略是安全的，这需要量化与不同行为相关的风险。在在线设置中，分布式RL算法通过学习收益分布（即，累积回报）而不是预期回报;除了量化风险之外，他们还被证明可以学习更好的规划表示。我们提出了保守的离线分布式行动者批评（CODAC），一个离线RL算法，适用于风险中性和风险厌恶域。CODAC通过惩罚分布外操作的返回的预测分位数来使分布RL适应离线设置。我们证明，CODAC学习保守的回报分布-特别是，对于有限的MDPs，CODAC收敛到回报分布的分位数的统一下界;我们的证明依赖于一个新的分析的分布贝尔曼算子。在我们的实验中，在两个具有挑战性的机器人导航任务，CODAC成功地学习风险规避政策使用离线数据收集纯粹从风险中性代理。此外，在预期和风险敏感性能方面，CODAC在D4 RL MuJoCo基准测试中处于最先进水平。

在线贝叶斯风险规避强化学习

Online Bayesian Risk-Averse Reinforcement Learning

本文研究强化学习中的贝叶斯风险规避问题，采用BRMDP应对模型参数不确定性，推导值函数差异的渐近正态性，提出基于后验采样的在线RL与CMAB算法，并证明其次线性遗憾界与有效性。

基于时间差分法的风险规避学习

Risk-Averse Learning by Temporal Difference Methods

我们考虑强化学习，其性能由动态风险度量评估。构造了一个投影风险厌恶动态规划方程，并研究了其性质。然后，我们提出了风险厌恶的时间差异的方法，我们证明了他们的收敛概率为1。我们还进行了一个复杂的运输问题的实证研究。

面向风险规避约束强化学习的乐观探索

Optimistic Exploration for Risk-Averse Constrained Reinforcement Learning

本文提出乐观风险规避演员-评论家（ORAC）方法，通过上界奖励与下界风险成本的探索策略，在满足安全约束的同时避免次优收敛，并在 Safety-Gymnasium 和 CityLearn 中显著改善奖励-成本权衡。

用于约束多目标强化学习的避免冲突梯度聚合

Conflict-Averse Gradient Aggregation for Constrained Multi-Objective Reinforcement Learning

提出约束多目标强化学习算法CoMOGA，将多目标最大化视为约束优化问题并利用线性近似更新策略以避免梯度冲突，在表格环境中保证最优收敛并在所有任务中实现约束满足。

方差厌恶的 $n$ 步离线强化学习用于稀疏长时域环境

Variance-Averse $n$-Step Offline Reinforcement Learning for Sparse Long-Horizon Environments

针对生成式离线强化学习在异构数据中高方差动作不可靠的问题，提出VAN-Flow框架，结合分类分布评论家、方差厌恶期望算子与流匹配生成行动者，在40余个任务上优于强基线，尤其提升长时域场景性能。

基于生成式模型的近极小极大最优分布强化学习

Near-Minimax-Optimal Distributional Reinforcement Learning with a Generative Model

本研究提出一种基于生成式模型的分布强化学习新算法，证明其近似回报分布时达近极小极大最优，解决了开放问题，还提出新的分布贝尔曼方程并通过实验对比给出实用结论。

具有优化确定等价的风险厌恶约束强化学习

Risk-Averse Constrained Reinforcement Learning with Optimized Certainty Equivalents

本文提出一种基于优化确定等价的风险厌恶约束强化学习框架，通过增强鲁棒性和算法收敛性，提升高风险环境下的决策可靠性。

A Comparative Analysis of Expected and Distributional Reinforcement Learning

Since their introduction a year ago, distributional approaches to reinforcement learning (distributional RL) have produced strong results relative to the standard approach which models expected values (expected RL). However, aside from convergence guarantees, there have been few theoretical results investigating the reasons behind the improvements distributional RL provides. In this paper we begin the investigation into this fundamental question by analyzing the differences in the tabular, linear approximation, and non-linear approximation settings. We prove that in many realizations of the ta…

分布式鲁棒强化学习

Distributionally Robust Reinforcement Learning

现实世界的应用程序需要RL算法安全地运行。在学习过程中，很可能代理执行次优操作，这可能导致系统的不安全/不良状态。在高维状态/动作空间中，由于低性能动作的数量增加，探索特别脆弱。在这项工作中，我们认为风险厌恶的探索近似RL设置。为了保证学习过程中的安全性，我们提出了分布式鲁棒策略迭代方案，提供了状态值的下界保证。我们的方法引入了一个动态的风险水平，以防止不良的决策，但保留收敛到最优的政策。我们的制定结果在一个有效的算法，占一个简单的重新加权的政策行动在标准的政策迭代计划。我们将我们的方法扩展到连续的状态/动作空间，并提出了一个实用的算法，分布鲁棒的软演员评论家，实现了不同的探索策略：它在短期内采取保守的行动，并在长期内乐观地探索。我们提供了有前途的连续控制任务的实验结果。

基于风险厌恶强化学习的均值-半方差策略优化

Mean-Semivariance Policy Optimization via Risk-Averse Reinforcement Learning

在现实世界的决策情况下，如金融、机器人、自动驾驶等，保持风险可控往往比最大化预期回报更重要。风险度量的最自然选择是方差，它对上行波动的惩罚与下行波动的惩罚一样多。相反，（下）半方差，它捕捉了一个随机变量在其均值下的负偏差，更适合于风险厌恶的建议。针对强化学习中的均值-半方差（Mean-SemiVariance，MSV）准则进行优化。稳定的奖励分配。由于半方差不满足标准Bellman方程且时间不一致，传统的动态规划方法不适用于MSV问题。为了解决这一问题，我们借助摄动分析理论，建立了MSV的性能差异公式。我们发现，MSV问题可以通过迭代求解一系列RL问题与政策相关的奖励函数来解决。在此基础上，提出了基于策略梯度理论和信赖域方法的两种基于策略的算法。最后，我们在MuJoCo中进行了从简单的强盗问题到连续控制任务的各种实验，证明了我们所提出的方法的有效性。

随机支配分布强化学习

Stochastically Dominant Distributional Reinforcement Learning

我们描述了一种新的方法来管理任意的不确定性的强化学习（RL）的范例。而不是根据一个单一的统计量选择行动，我们提出了一种基于二阶随机优势（SSD）关系的分布方法。这比较了行动引起的随机回报的固有分散性，对环境的不确定性进行了更全面和更可靠的评估。SSD的必要条件要求估计器预测准确的二阶矩。为了适应这一点，我们将分布RL问题映射到Wasserstein梯度流，将分布Bellman残差视为势能泛函。我们提出了一个基于粒子的算法，我们证明了最优性和收敛性。我们的实验特征的算法性能和演示如何更好地平衡使用\textsc{ssd}政策比其他风险措施的不确定性和性能。

线性函数逼近的分布式强化学习

Distributional reinforcement learning with linear function approximation

尽管有许多算法的进步，我们对实际的分布式强化学习方法的理论理解仍然有限。一个例外是Rowland等人（2018）在Cramér距离方面对C51算法的分析，但他们的结果仅适用于表格设置，忽略了C51使用softmax来生成归一化分布。在本文中，我们适应Cramér距离来处理任意向量。从它，我们得到一个新的分布式算法，这是完全基于Cramér的，可以结合到线性函数近似，在政策评估的背景下，正式保证。在允许模型的预测是任何真实的向量，我们失去了方法背后的概率解释，但在其他方面保持了分布式方法的吸引力。据我们所知，我们是第一个证明的收敛性的分布式算法结合函数逼近。也许令人惊讶的是，我们的研究结果提供的证据表明，Cramér为基础的分布方法可能比直接近似的价值函数。

分布强化学习中分位数时间差分学习的在线推断

Online Inference for Quantile Distributional Reinforcement Learning

本文针对分布强化学习的分位数时间差分学习，建立同步与异步QTD的函数中心极限定理，提出无需存储完整轨迹的在线推断方法，实现高效统计推断。

分布式强化学习的探索

Exploration by Distributional Reinforcement Learning

我们提出了一个基于分布式强化学习的框架，以及最近将贝叶斯参数更新与深度强化学习相结合的尝试。我们表明，我们提出的框架在概念上统一了以前的多种方法的探索。我们还得到了一个实用的算法，实现了有效的探索具有挑战性的控制任务。

认知风险敏感的强化学习

Epistemic Risk-Sensitive Reinforcement Learning

我们开发了一个框架，通过利用效用函数形式的偏好，在强化学习（RL）中与不确定环境进行交互。我们认为，在学习过程中考虑不同的风险措施是有价值的。在这个框架中，对风险的偏好可以通过参数$β$的变化来调整，并且所产生的行为可以是风险厌恶、风险中性或风险承担，这取决于参数的选择。我们评估我们的框架与模型的不确定性学习问题。我们使用基于策略梯度和动态规划的算法来度量和控制\emph{epistemic}风险。然后，在认知风险的环境中，风险厌恶的行为与最优风险中性策略的行为进行比较。

分布强化学习中的统计量和样本

Statistics and Samples in Distributional Reinforcement Learning

我们提出了一个统一的框架，设计和分析分布式强化学习（DRL）算法的递归估计统计的回报分布。我们的主要观点是，DRL算法可以分解为一些统计估计和方法的组合，用于估算与该统计数据集一致的回报分布。有了这个新的理解，我们能够提供现有的DRL算法的改进分析，以及构建一个新的算法（EDRL）的基础上估计的预期收益分布。我们将EDRL与各种MDP上的现有方法进行比较，以说明我们分析的具体方面，并开发了该算法的深度RL变体ER-DQN，我们在Atari-57游戏套件上进行了评估。

用Minimax分布软Actor-Critic改进强化学习的推广性

Improving Generalization of Reinforcement Learning with Minimax Distributional Soft Actor-Critic

强化学习（RL）在许多顺序决策和控制任务中取得了显著的性能。然而，一个常见的问题是，学习的近最优策略总是过拟合的训练环境，并可能无法扩展到从未遇到过的情况在训练过程中。在实际应用中，环境的随机性通常会导致一些破坏性事件，这应该是自动驾驶等安全关键系统的重点。在本文中，我们引入了极大极小公式和分布框架，以提高RL算法的推广能力，并开发了极大极小分布软演员-评论（DSAC）算法。极大极小化模型旨在寻求最优策略，其中主角策略最大化行动价值函数，而对手策略试图最小化它;分布框架旨在学习状态-行动收益分布，从中我们可以明确地建模不同收益的风险，从而制定风险规避的主角策略和风险寻求的对手策略。我们在交叉路口的自动驾驶汽车的决策任务上实现了我们的方法，并在不同的环境中测试了训练后的策略。结果表明，我们的方法可以大大提高的推广能力的主角代理不同的环境变化。

用于风险规避决策的Credal机器学习

Credal Machine Learning for Risk-Averse Decision Making

该研究提出基于Credal集的风险规避机器学习方法，可在分类、分布偏移及强化学习场景中避免灾难性决策，且预期性能损失小。

使用正则化Wasserstein损失的分布式强化学习

Distributional Reinforcement Learning with Regularized Wasserstein Loss

本文提出SinkhornDRL算法，利用正则化Wasserstein损失（Sinkhorn散度）最小化Bellman回报分布差异，理论证明其收缩性质，并在Atari游戏及多维奖励设定中表现优异。

基于逆向强化学习的真实人类风险决策建模与解释

Modeling and Interpreting Real-world Human Risk Decision Making with Inverse Reinforcement Learning

为了更好地理解人类在风险环境下的决策行为，我们采用逆向强化学习（IRL）对人类在风险环境下的决策行为进行建模。据我们所知，这是第一个应用IRL揭示人类风险决策中的隐性奖励函数，并解释风险倾向和风险厌恶决策政策的工作。我们假设状态历史（例如，以前试验中的奖励和决策）与人类奖励功能有关，这导致了风险规避和风险倾向的决策。我们设计的功能，反映这些因素的奖励功能的IRL和学习相应的权重，这是解释为功能的重要性。研究结果证实了个性化奖励函数下人类驱动的风险相关决策的次优性。特别是，风险偏好者倾向于根据当前的泵数量做出决定，而风险厌恶者则依赖于之前试验的突发信息和平均最终状态。我们的研究结果表明，IRL是一个有效的工具来模拟人类的决策行为，以及帮助解释人类的心理过程中的风险决策。

关于具有预期条件风险度量的风险规避自然策略梯度方法的全局收敛性

On the Global Convergence of Risk-Averse Natural Policy Gradient Methods with Expected Conditional Risk Measures

本文提出了一种基于预期条件风险度量的风险规避自然策略梯度方法，证明其在随机环境中的全局收敛性并验证了其有效性。

基于信任区域的多约束安全分布强化学习

Trust Region-Based Safe Distributional Reinforcement Learning for Multiple Constraints

提出基于信任区域的安全分布强化学习算法SDAC，通过梯度集成和TD(λ)目标分布处理多约束与风险规避，实验显示在满足约束和减少违规方面显著优于基线。

单步分布强化学习

One-Step Distributional Reinforcement Learning

针对分布强化学习（DistrRL）控制场景理论不完善的问题，提出仅考虑环境单步动态随机性的OS-DistrRL框架，具备策略评估与控制的统一理论，给出两种算法的几乎必然收敛证明，性能优于类别型DistrRL。

内隐分布强化学习

Implicit Distributional Reinforcement Learning

为了提高基于策略梯度的强化学习算法的样本效率，我们提出了隐式分布式行动者-批评者（IDAC），它由一个建立在两个深度生成器网络（DGN）上的分布式批评者和一个由灵活的策略分布提供动力的半隐式行动者（SIA）组成。我们采用了一个分布的角度来看，贴现的累积收益和模型，它与状态-动作相关的隐式分布，这是近似的DGNS，采取状态-动作对和随机噪声作为其输入。此外，我们使用的SIA提供一个半隐式的政策分布，混合的政策参数与重新参数化的分布，不受解析密度函数的约束。通过这种方式，策略的边际分布是隐含的，提供了对协方差结构和偏度等复杂属性建模的可能性，但其参数和熵仍然可以估计。我们将这些功能与非策略算法框架相结合，以解决具有连续动作空间的问题，并将IDAC与代表性OpenAI Gym环境中的最先进算法进行比较。我们观察到，IDAC在大多数任务中的表现优于这些基线。提供了Python代码。

Distributional Reinforcement Learning for Energy-Based Sequential Models

Global Autoregressive Models (GAMs) are a recent proposal [Parshakova et al., CoNLL 2019] for exploiting global properties of sequences for data-efficient learning of seq2seq models. In the first phase of training, an Energy-Based model (EBM) over sequences is derived. This EBM has high representational power, but is unnormalized and cannot be directly exploited for sampling. To address this issue [Parshakova et al., CoNLL 2019] proposes a distillation technique, which can only be applied under limited conditions. By relating this problem to Policy Gradient techniques in RL, but in a \emph{dis…

分布式强化学习中具有可解释参数调整的鲁棒分位数 Huber 损失

A Robust Quantile Huber Loss With Interpretable Parameter Adjustment In Distributional Reinforcement Learning

本文提出一种基于 Wasserstein 距离的广义分位数 Huber 损失函数，通过估计数据噪声实现可解释参数调整，增强了对异常值的鲁棒性，并在 Atari 游戏和对冲策略中验证了其有效性。

多臂老虎机和强化学习中分布后悔的统一框架

Unified Framework of Distributional Regret in Multi-Armed Bandits and Reinforcement Learning

本文提出一种统一框架，研究随机多臂老虎机和回合制强化学习中的分布后悔，通过简单的UCBVI型算法，推导出通用的分布后悔界，优化期望性能、尾风险和实例依赖行为的平衡。

用于分布式强化学习的隐式分位数网络

Implicit Quantile Networks for Distributional Reinforcement Learning

在这项工作中，我们建立在分布式强化学习的最新进展，给出了一个普遍适用的，灵活的，最先进的分布式DQN的变体。我们通过使用分位数回归来近似状态-动作回报分布的完整分位数函数来实现这一点。通过重新参数化样本空间上的分布，这产生了一个隐含定义的回报分布，并产生了一个大类的风险敏感政策。我们证明了改进的性能在ALE的57雅达利2600游戏，并使用我们的算法的隐式定义的分布研究风险敏感的政策在雅达利游戏的影响。

基于分位数回归的分布式强化学习

Distributional Reinforcement Learning with Quantile Regression

在强化学习中，智能体通过采取行动并观察下一个状态和奖励来与环境交互。当以概率抽样时，这些状态转换、奖励和行动都可以在观察到的长期回报中引起随机性。传统上，强化学习算法对这种随机性进行平均以估计价值函数。在本文中，我们建立在最近的工作，倡导一种分布式的方法来强化学习，其中分布的回报是明确建模，而不是只估计均值。也就是说，我们研究学习值分布而不是价值函数的方法。我们给出的结果缩小了Bellemare，Dabney和Munos（2017）给出的理论和算法结果之间的差距。首先，我们将现有的结果扩展到近似分布设置。其次，我们提出了一种新的分布式强化学习算法与我们的理论公式。最后，我们在Atari 2600游戏上评估了这个新算法，观察到它的性能明显优于DQN上最近的许多改进，包括相关的分布式算法C51。

基于模型辨识和经验重标记的Meta-强化学习对分布迁移的鲁棒性

Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling

强化学习算法可以自主地获取复杂任务的策略。然而，学习一组不同的技能所需的样本数量可能非常大。虽然Meta强化学习方法使智能体能够利用先前的经验快速适应新任务，但它们的性能关键取决于新任务与先前经历的任务的接近程度。目前的方法要么不能很好地外推，要么可以以需要非常大量的数据进行策略元训练为代价。在这项工作中，我们提出了模型识别和经验重新标记（MIER），一个Meta强化学习算法，既有效，外推以及当面临的分布任务在测试时。我们的方法是基于一个简单的见解：我们认识到，动态模型可以有效地适应和一致的政策外的数据，更容易比政策和价值函数。然后，这些动态模型可以用于通过为新任务生成合成经验来继续训练分发外任务的策略和价值函数，而根本不使用Meta强化学习。

集成分布式强化学习

Distributional Reinforcement Learning with Ensembles

众所周知，集成方法通常在强化学习中提供增强的性能。在本文中，我们进一步探讨这一概念，通过使用分布式强化学习范式内的组辅助训练。具体来说，我们提出了一个扩展到分类强化学习，其中分布式学习目标是隐式地基于集合收集的总信息。我们的经验表明，这可能会导致更强大的初始学习，更强的个人表现水平，以及良好的效率，在每个样本的基础上。

强化学习中的分布鲁棒性和正则化

Distributional Robustness and Regularization in Reinforcement Learning

分布鲁棒优化（DRO）已经证明了分类和回归中鲁棒性和正则化之间的等价性，从而提供了正则化在统计学习中推广良好的分析原因。虽然DRO的扩展到顺序决策克服了$\textit{external uncertainty}$通过强大的马尔可夫决策过程（MDP）设置，由此产生的公式是很难解决的，特别是在大的域。另一方面，由于随机性，强化学习中现有的正则化方法仅解决$\textit{internal uncertainty}$。我们的研究旨在通过建立鲁棒MDP和正则化之间的对偶关系来促进鲁棒强化学习。我们引入Wasserstein分布鲁棒MDPs，并证明他们持有样本的性能保证。然后，我们引入了经验值函数的一个新的正则化子，并证明了它是Wasserstein分布鲁棒值函数的下界。我们将结果推广到大状态空间的线性值函数近似。我们的方法提供了一种替代配方的鲁棒性，保证有限样本的性能。此外，它建议使用正则化作为在强化学习方法中处理$\textit{external uncertainty}$的实用工具。

使用ERM和EVaR的风险规避总回报MDP

Risk-averse Total-reward MDPs with ERM and EVaR

本文研究了在ERM和EVaR风险度量下的风险规避总回报MDP问题，证明了平稳策略可优化该目标，提出了指数值迭代等计算最优策略的方法，并发现总回报准则在风险规避强化学习中优于折扣准则。

强化学习的分布视角

A Distributional Perspective on Reinforcement Learning

在本文中，我们认为价值分布的根本重要性：由强化学习代理接收的随机回报的分布。这与强化学习的常见方法形成对比，后者对这种回报或价值的期望进行建模。虽然有一个既定的文献研究的价值分布，到目前为止，它一直被用于特定的目的，如实施风险意识的行为。我们从政策评估和控制设置的理论结果开始，揭示了后者的显著分布不稳定性。然后，我们使用分布的角度来设计一个新的算法，适用于贝尔曼方程的学习近似值分布。我们使用Arcade学习环境中的游戏套件来评估我们的算法。我们获得了最先进的结果和轶事证据，证明了值分布在近似强化学习中的重要性。最后，我们结合理论和经验证据，强调在近似设置的价值分布影响学习的方式。

用于分布式强化学习的共轭离散分布

Conjugated Discrete Distributions for Distributional Reinforcement Learning

在这项工作中，我们继续建立在有限马尔可夫过程的强化学习的最新进展。在以前的现有算法中，无论是单演员还是分布式算法，一种常见的方法是剪辑奖励或在Q函数上应用变换方法来处理实际贴现收益中的各种幅度。我们从理论上表明，最成功的方法之一可能不会产生最优的政策，如果我们有一个非确定性的过程。作为一种解决方案，我们认为分布式强化学习有助于完全纠正这种情况。通过引入一个共轭分布算子，我们可以处理一个大类的变换，保证理论收敛的实际回报。我们提出了一个近似的单演员算法的基础上，该运营商的训练代理直接使用适当的分配度量的Cramér距离不变的奖励。为了评估其性能在随机设置，我们训练代理商在一套55雅达利2600游戏使用粘性行动，并获得国家的最先进的性能相比，其他知名的算法在多巴胺框架。

分层强化学习：面对不确定性和不断后悔的悲观主义

Tiered Reinforcement Learning: Pessimism in the Face of Uncertainty and Constant Regret

我们提出了一个新的学习框架，捕捉分层结构的许多现实世界中的用户交互应用程序，用户可以分为两组，根据他们不同的容忍度的探索风险，并应单独对待。在此设置中，我们同时维护两个策略$π^{\text{O}}$和$π^{\text{E}}$：$π^{\text{O}}$（“O”表示“在线”）与第一层中风险容忍度更高的用户交互，并通过像往常一样平衡探索和利用来最大限度地减少遗憾，而$π^{\text{E}}$（“E”表示“利用”）则专门关注利用到目前为止收集的数据对第二层中风险规避用户的利用。一个重要的问题是这样的分离是否比标准在线设置（即，$π^{\text{E}}=π^{\text{O}}$）。我们单独考虑间隙独立与~间隙相关设置。对于前者，我们证明了从极大极小的角度来看，分离确实是没有好处的。对于后者，我们表明，如果选择Pessibility Value Iteration作为开发算法来产生$π^{\text{E}}$，我们可以为风险厌恶的用户实现独立于情节$K$数量的恒定遗憾，这与相同设置中任何在线RL算法的$Ω(\log K)$遗憾形成鲜明对比，而$π^{\text{O}}$的后悔（几乎）保持其在线后悔最优性，并且不需要为了$π^{\text{E}}$的成功而妥协。

Wasserstein分布鲁棒在线学习

Wasserstein Distributionally Robust Online Learning

本文提出了一种基于Wasserstein分布鲁棒优化的在线学习框架，通过将问题建模为随机博弈并利用问题几何特性，实现对最坏情况分布的鲁棒优化，同时提高了计算效率。

具有流式观测的贝叶斯风险规避Q学习

Bayesian Risk-Averse Q-Learning with Streaming Observations

针对模拟与真实环境间的模型误设问题，提出多阶段贝叶斯风险规避Q学习算法，利用流式观测更新后验以平衡鲁棒性与保守性，并证明了其强收敛性。

通过Cramér距离进行分布式强化学习

Distributional Reinforcement Learning via the Cramér Distance

本文提出C-DSAC算法，通过最小化Cramér距离改进分布式强化学习，实验表明其在高复杂度环境中优于基线SAC和现有分布式方法。

用于分布式强化学习的完全参数化分位数函数

Fully Parameterized Quantile Function for Distributional Reinforcement Learning

分布式强化学习（RL）与传统RL的不同之处在于，它不是对总回报的期望，而是估计分布，并在Atari Games上实现了最先进的性能。实际分布强化学习算法的关键挑战在于如何对估计分布进行参数化，以便更好地逼近真实的连续分布。现有的分布RL算法参数化分布函数的概率侧或返回值侧，使另一侧如C51、QR-DQN中那样均匀固定或如IQN中那样随机采样。在本文中，我们提出了完全参数化的分位数函数，该函数将分位数分数轴（即，x轴）和值轴（即，y轴）用于分布RL。我们的算法包含一个分数建议网络，生成一组离散的分位数分数和一个分位数值网络，给出相应的分位数值。这两个网络被联合训练，以找到真实分布的最佳近似。在55个Atari游戏上的实验表明，我们的算法显著优于现有的分布式RL算法，并为非分布式代理的Atari学习环境创造了新的记录。

分布式强化学习中的风险视角探索

Risk Perspective Exploration in Distributional Reinforcement Learning

分布式强化学习在连续和离散控制设置中表现出最先进的性能，具有方差和风险的特征，可用于探索。然而，使用风险属性的探索方法很难找到，尽管分布式RL中的许多探索方法使用每个动作的收益分布的方差。在本文中，我们提出了风险调度方法，探索风险水平和乐观的行为，从风险的角度来看。我们证明了DMIX算法的性能增强，在多智能体环境中使用风险调度与全面的实验。

具有大状态空间的基于分布鲁棒模型的强化学习

Distributionally Robust Model-based Reinforcement Learning with Large State Spaces

针对大状态空间、数据获取成本高及环境偏差挑战，提出利用高斯过程和最大方差缩减算法学习连续状态空间下分布鲁棒马尔可夫决策过程的动态，其样本复杂度独立于状态数且可结合无模型方法获得近似最优鲁棒策略。

安全的分布式强化学习

Safe Distributional Reinforcement Learning

强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。

基于马尔可夫风险度量和多模式风险近似的强化学习

Reinforcement Learning with Markov Risk Measures and Multipattern Risk Approximation

本文提出一种基于特征的Q学习方法，结合马尔可夫风险度量和多模式Q因子近似，证明了高概率遗憾界，并在随机分配问题和短周期多臂老虎机问题上进行了验证。