Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
本文综述分布式深度强化学习方法与关键组件,并开发发布一个多玩家多智能体分布式深度强化学习工具箱,在Wargame环境中验证其可用性,同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Advanced Longitudinal Control and Collision Avoidance in High-Risk Driving Scenarios
College of Engineering, University of Maryland(马里兰大学工程学院)
针对现有高级驾驶辅助系统易忽视后车风险、难以应对高速密集车流中连环碰撞的问题,提出一种同时考虑前后车行为的深度强化学习纵向避撞算法,仿真验证其可有效预防含重型车辆在内的连环碰撞。
2025-02-21 cs.AI cs.LG cs.RO
Adaptive Risk-Tendency: Nano Drone Navigation in Cluttered Environments with Distributional Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
实现评估风险和做出风险意识决策的能力对于将强化学习应用于无人机等安全关键型机器人至关重要。在本文中,我们研究了一个具体的情况下,纳米四轴飞行器机器人学习导航先验未知的混乱的环境下部分可观测性。我们提出了一个分布式的强化学习框架,以产生自适应的风险倾向的政策。具体而言,我们建议使用学习收益率分布的下尾条件方差作为内在不确定性估计,并使用指数加权平均预测(EWAF),以适应风险趋势,根据估计的不确定性。在模拟和真实世界的实证结果中,我们表明:(1)最有效的风险倾向在不同的状态下是不同的,(2)与风险中性政策或风险厌恶政策基线相比,具有自适应风险倾向的代理人取得了更好的绩效。
2022-09-23 cs.AI cs.RO
A Transfer Learning Approach to Minimize Reinforcement Learning Risks in Energy Optimization for Smart Buildings
Toronto Metropolitan University(多伦多都会大学)
本文提出ReLBOT技术,通过迁移学习与深度强化学习结合,将既有优化建筑的知识迁移至新智能建筑,有效减少RL智能体预热期带来的不适风险,实现预热时长缩短6.2倍、预测方差降低132倍的显著提升。
2023-08-02 cs.AI cs.LG cs.SY
Distributional Model Equivalence for Risk-Sensitive Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文针对风险敏感强化学习提出两种分布模型等价概念,证明风险中性下的适当价值等价不足以保证风险敏感最优规划,并展示了该框架可增强任意无模型风险敏感算法。
2023-12-03 cs.AI cs.LG
Safe Reinforcement Learning with Contrastive Risk Prediction
Carleton University(卡尔顿大学)
在机器人应用中,安全违规行为会导致严重后果,随着强化学习(RL)在机器人领域的广泛应用,推动了对强化学习安全探索(safe RL)的研究。在这项工作中,我们提出了一种安全RL的风险预防训练方法,该方法学习统计对比分类器来预测导致不安全状态的状态-动作对的概率。基于预测的风险概率,我们可以收集风险预防轨迹,并重塑奖励函数与风险惩罚,以诱导安全的RL策略。我们在机器人模拟环境中进行实验。结果表明,该方法具有相当的性能与国家的最先进的基于模型的方法,并优于传统的无模型的安全RL方法。
2022-09-10 cs.AI cs.LG cs.RO
Cautious Reinforcement Learning via Distributional Risk in the Dual Domain
University of Minnesota(明尼苏达大学);US Army Research Laboratory(美国陆军研究实验室);Princeton University(普林斯顿大学)
研究了由状态和动作空间可数有限的马尔可夫决策过程(MDP)定义的强化学习问题中的风险敏感策略估计问题。先前的努力主要受到与风险敏感的MDP是时间不一致的事实相关联的计算挑战的困扰。为了改善这个问题,我们提出了一个新的风险定义,我们称之为谨慎,作为一个惩罚函数添加到强化学习的线性规划(LP)制定的双重目标。谨慎措施的分布风险的政策,这是一个功能的政策的长期状态占用分布。为了解决这个问题,在一个在线的无模型的方式,我们提出了一个随机变量的原始对偶方法,使用Kullback-Lieber(KL)分歧作为其近端。我们建立,达到近似最优解的方案所需的迭代/样本的数量匹配紧依赖于状态和动作空间的基数,但在其依赖于风险度量的梯度的无穷范数不同。实验表明,这种方法的优点,提高了奖励积累的可靠性,而无需额外的计算负担。
2020-02-27 cs.AI cs.LG cs.SY
Epistemic Risk-Sensitive Reinforcement Learning
Chalmers University of Technology(查尔姆斯理工大学);Zenuity AB(Zenuity公司)
我们开发了一个框架,通过利用效用函数形式的偏好,在强化学习(RL)中与不确定环境进行交互。我们认为,在学习过程中考虑不同的风险措施是有价值的。在这个框架中,对风险的偏好可以通过参数$β$的变化来调整,并且所产生的行为可以是风险厌恶、风险中性或风险承担,这取决于参数的选择。我们评估我们的框架与模型的不确定性学习问题。我们使用基于策略梯度和动态规划的算法来度量和控制\emph{epistemic}风险。然后,在认知风险的环境中,风险厌恶的行为与最优风险中性策略的行为进行比较。
2019-06-14 cs.AI cs.LG stat.ML
Risk-Averse Bayes-Adaptive Reinforcement Learning
University of Oxford(牛津大学)
在这项工作中,我们解决风险规避贝叶斯自适应强化学习。我们提出的问题,优化的条件风险价值(CVaR)的贝叶斯自适应马尔可夫决策过程(MDP)的总收益。我们发现,在这种情况下,政策优化CVaR是风险厌恶的参数的不确定性,由于先验分布在MDP,和内部的不确定性,由于固有的随机性的MDP。我们将问题转化为一个两人随机博弈,并提出了一个基于蒙特卡罗树搜索和贝叶斯优化的近似算法。我们的实验表明,我们的方法显着优于基线方法解决这个问题。
2021-10-26 cs.AI cs.LG
Mean-Variance Policy Iteration for Risk-Averse Reinforcement Learning
University of Oxford(牛津大学);Auburn University(奥本大学)
本文提出了一个均值-方差策略迭代(MVPI)框架,用于贴现无限时域MDP中的风险厌恶控制,该框架优化了每步奖励随机变量的方差。MVPI具有很大的灵活性,因为任何策略评估方法和风险中性控制方法都可以用于现成的风险规避控制,无论是在策略上还是在策略外。这种灵活性减少了风险中性控制和风险厌恶控制之间的差距,并通过直接在一个新的增强MDP上工作来实现。我们提出了风险厌恶TD 3作为MVPI实例化的一个例子,它优于香草TD 3和许多以前的风险厌恶控制方法在具有风险意识的性能指标下挑战Mujoco机器人仿真任务。这种风险厌恶的TD 3是第一个将确定性策略和离策略学习引入风险厌恶的强化学习的,这两者都是我们在Mujoco领域中展示的性能提升的关键。
2022-04-07 cs.AI cs.LG stat.ML
Regret Bounds for Risk-sensitive Reinforcement Learning with Lipschitz Dynamic Risk Measures
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对含 Lipschitz 动态风险度量的有限回合风险敏感强化学习,提出两种基于模型的算法,并建立最优遗憾上下界及数值验证。
2023-06-04 cs.AI cs.LG stat.ML
Risk Averse Robust Adversarial Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
深度强化学习最近在解决计算机游戏和机器人控制任务方面取得了重大进展。然而,一个已知的问题是,政策过度适应培训环境,可能无法避免罕见的灾难性事件,如汽车事故。提高强化学习算法鲁棒性的一种经典技术是在一组随机环境中进行训练,但这种方法只能防止常见情况。最近,鲁棒对抗强化学习(RARL)被开发出来,它允许训练对手有效地应用随机和系统扰动。RARL的一个局限性是,只有预期的控制目标是优化的;没有明确的建模或优化的风险。因此,代理不考虑灾难性事件的概率(即,那些诱导异常大的负奖励),除非通过它们对预期目标的影响。在本文中,我们介绍了风险规避鲁棒对抗强化学习(RARARL),使用风险规避的主角和风险寻求对手。我们在自动驾驶汽车控制器上测试了我们的方法。我们使用一个政策网络的合奏模型风险的方差的价值函数。我们通过实验表明,一个厌恶风险的代理是更好地装备来处理一个寻求风险的对手,和经验大大减少崩溃相比,没有对手训练的代理。
2019-03-31 cs.AI cs.LG cs.RO
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University(斯坦福大学);Adobe Research(Adobe研究院);INRIA Lille(里尔国家信息与自动化研究所)
在许多顺序决策问题中,人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化,即,提高对小概率和高后果事件的认识。因此,本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程(MDP),其中风险表示通过机会约束或约束的条件风险价值(CVaR)的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说,我们首先推导出一个公式,用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后,我们设计了策略梯度和行动者-批评者算法,用于(1)估计此类梯度,(2)在下降方向上更新策略,以及(3)在上升方向上更新拉格朗日乘数。对于这些算法,我们证明收敛到局部最优的政策。最后,我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学)
提出一种基于轨迹采样的模型强化学习方法,通过概率安全约束及分离认知与偶然不确定性来平衡乐观与悲观,有效管理风险,在不确定及安全关键的控制环境中表现优异。
2023-09-11 cs.AI cs.LG cs.RO
Addressing Inherent Uncertainty: Risk-Sensitive Behavior Generation for Automated Driving using Distributional Reinforcement Learning
fortiss GmbH(福蒂斯有限公司);Technische Universität München(慕尼黑工业大学)
对于SAE 3级以上的高度自动化驾驶,行为生成算法必须可靠地考虑交通环境的固有不确定性,例如由各种人类驾驶风格引起的不确定性。这种不确定性可能会产生模糊的决策,要求算法适当地平衡低概率的危险事件(例如碰撞)和高概率的有益事件(例如快速穿过十字路口)。最先进的行为生成算法缺乏决策结果的分布式处理。这妨碍了在模棱两可的情况下进行适当的风险评估,往往鼓励不安全或保守的行为。因此,我们提出了一个两步的方法,结合离线分布学习与在线风险评估的风险敏感行为生成。具体来说,我们首先使用深度分布式强化学习在不确定环境中学习最优策略。在执行过程中,通过将已建立的风险标准(例如条件风险值)应用于学习的状态-动作回报分布来选择最佳风险敏感动作。在交叉路口的情况下,我们评估不同的风险标准,并证明我们的方法增加了安全性,同时保持积极的驾驶风格。我们的方法将鼓励进一步研究风险敏感方法对自动驾驶车辆的好处。
2021-02-05 cs.AI
Spectral-Risk Safe Reinforcement Learning with Convergence Guarantees
Seoul National University(首尔大学);Chung-Ang University(中央大学)
针对风险度量非线性导致的风险约束强化学习收敛困难问题,提出基于双层优化的谱风险约束策略优化算法(SRCPO),在表格型设置中首次保证收敛到最优解,并在连续控制任务中表现最佳。
2024-05-29 cs.AI cs.LG
Ergodic Risk Measures: Towards a Risk-Aware Foundation for Continual Reinforcement Learning
University of Toronto(多伦多大学)
本文提出遍历风险度量理论,用于持续强化学习,解决传统风险中性方法与持续学习不兼容的问题,通过新理论提升持续学习的鲁棒性。
2026-11-10 cs.AI cs.LG
Simion Zoo: A Workbench for Distributed Experimentation with Reinforcement Learning for Continuous Control Tasks
我们介绍Simion Zoo,一个强化学习(RL)工作台,它提供了一套完整的工具来设计,运行和分析RL控制应用程序的统计和可视化结果。Simion Zoo与类似软件包的主要区别在于其易于使用的GUI,对分布式执行的支持,包括通过图形处理单元(GPU)进行部署,以及同时探索RL元空间的可能性,这是成功RL实验的关键。
2019-04-16 cs.AI cs.LG
DSAC: Distributional Soft Actor-Critic for Risk-Sensitive Reinforcement Learning
Department of Automation, Tsinghua University(清华大学自动化系);School of Engineering and Applied Science, Columbia University(哥伦比亚大学工程与应用科学学院);School of Business, Sun Yat-sen University(中山大学商学院);Stern School of Business, New York University(纽约大学斯特恩商学院)
本文提出DSAC算法,结合累积奖励的分布式信息与SAC的熵驱动探索,构建统一框架优化风险相关目标并平衡熵,在多种连续控制任务中显著提升了风险中性与风险敏感智能体的性能。
2025-06-29 cs.AI cs.LG
Distributed Reinforcement Learning via Gossip
我们认为经典的TD(0)算法上实现的代理网络,其中的代理还包括从相邻的代理使用一个类似八卦的机制收到的更新。结合计划收敛的折扣和平均成本问题。
2013-10-28 cs.AI cs.DC math.OC
Skill-based Safe Reinforcement Learning with Risk Planning
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出安全技能规划(SSkP)方法,利用离线演示数据通过PU学习构建技能风险预测器,并结合在线风险规划高效学习风险规避的安全策略,在多个机器人仿真基准中优于现有安全强化学习方法。
2025-05-02 cs.AI cs.LG
Pitfall of Optimism: Distributional Reinforcement Learning by Randomizing Risk Criterion
Seoul National University(首尔国立大学);Hodoo AI Labs(Hodoo人工智能实验室);Chung-Ang University(中央大学)
本文针对分布强化学习中乐观探索易导致有偏数据收集的问题,提出通过随机化风险准则选择动作的新算法,并证明其收敛性与最优性,在 Atari 55 款游戏等环境中取得优于现有分布算法的性能。
2023-12-05 cs.AI cs.LG
Risk-Sensitive Policy with Distributional Reinforcement Learning
University of Liège(列日大学);Institut Polytechnique de Paris(巴黎理工学院)
经典的强化学习(RL)技术通常涉及由期望结果的最大化驱动的决策策略的设计。然而,这种方法没有考虑到与所采取的行动相关的潜在风险,这在某些应用中可能是至关重要的。为了解决这个问题,目前的研究工作引入了一种新的方法,基于分布式RL来推导出顺序决策的政策,是敏感的风险,后者被建模的尾部的回报概率分布。其核心思想是用另一个同时考虑预期收益和风险的函数来取代通常处于RL学习方案核心的$Q$函数。命名为基于风险的效用函数$U$,它可以从任何分布式RL算法自然学习的随机收益分布$Z$中提取。这使得能够跨越风险最小化和预期回报最大化之间的完整潜在权衡,与完全规避风险的方法相反。从根本上说,这项研究产生了一个真正实用的和可访问的解决方案,学习风险敏感的政策,最小的修改分布式RL算法,并强调所产生的决策过程的可解释性。
2022-12-30 cs.AI cs.LG
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University(波士顿大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架,通过避免极小极大优化实现高效无模型训练,并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
Estimating Risk and Uncertainty in Deep Reinforcement Learning
Ecole des Ponts Paristech(巴黎高科路桥学院)
强化学习代理面临两种类型的不确定性。认知的不确定性源于有限的数据,是有用的探索,而随机的不确定性来自随机环境,必须考虑在风险敏感的应用。我们强调了同时估计这两者所面临的挑战,并提出了一个框架来解开和估计这些不确定性的学习Q值。我们推导出这些不确定性的无偏估计,并引入了一个不确定性感知的DQN算法,我们展示了安全的学习行为,并在MinAtar测试平台上优于其他DQN变体。
2020-09-09 cs.AI cs.LG stat.ML
Green Simulation Assisted Reinforcement Learning with Model Risk for Biomanufacturing Learning and Control
Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
生物制药制造面临着严峻的挑战,包括复杂性,高变异性,漫长的交货期,以及有限的历史数据和知识的基础系统随机过程。为了解决这些问题,本文提出了一种绿色仿真辅助的基于模型的强化学习方法来支持过程在线学习,指导动态决策。基本上,过程模型的风险是量化的后验分布。在任何给定的政策,我们预测预期的系统响应与预测风险会计固有的随机不确定性和模型风险。然后,提出绿色仿真辅助强化学习,并推导出基于似然比的决策过程混合建议分布和策略梯度元模型,该模型可以选择性地重用以往实验中收集的过程轨迹输出,提高仿真数据效率,提高策略梯度估计精度,加快最优策略的搜索速度.我们的数值研究表明,所提出的方法表现出良好的性能。
2020-06-17 cs.AI cs.LG stat.ML
Taming the Implicit: Dual-Channel Risk-Aware Reinforcement Fine-Tuning for Continual Multimodal Post-Training
针对持续多模态后训练中RFT算法在任务分布偏移下遗忘加剧的问题,提出双通道风险感知强化微调框架RAPO,通过策略与数据通道的风险管控降低遗忘,在MLLM-CL基准上使遗忘减少79.8%且保留新任务竞争力。
2026-08-05 cs.AI
Root Cause Attribution of Delivery Risks via Causal Discovery with Reinforcement Learning
针对供应链复杂导致传统根因分析易产生虚假关联的问题,提出结合因果发现与强化学习的配送风险根因归因方法,经真实数据集验证可有效识别延迟原因并提供风险缓解策略。
2025-06-10 cs.AI cs.LG
Distributional Method for Risk Averse Reinforcement Learning
University of Toronto(多伦多大学)
我们介绍了一个分布式的方法学习风险厌恶马尔可夫决策过程中的最优策略有限的状态动作空间,潜在成本和平稳动态。我们假设连续观察的状态,行动和成本,并使用动态风险措施构建嵌套Kusuoka型条件风险映射的政策的性能进行评估。对于这样的性能标准,随机策略可能优于确定性策略,因此,候选策略位于d维单纯形中,其中d是动作空间的基数。现有的风险规避强化学习方法很少涉及随机策略,对当前设置的幼稚扩展遭受维数灾难。通过利用嵌入在相应的动态规划原理中的某些结构,我们提出了一种分布式学习方法来寻求最优策略。价值函数的条件分布被转换成特定类型的函数,该函数的选择考虑到风险规避优化的容易性。我们使用深度神经网络来近似所述函数,说明所提出的方法避免了在探索阶段的维数灾难,并探索该方法的性能与随机选取的广泛的模型参数。
2023-02-27 cs.AI cs.LG
Reinforcement Learning with Markov Risk Measures and Multipattern Risk Approximation
Department of Management Science and Information Systems, Rutgers University(罗格斯大学管理科学与信息系统系)
本文提出一种基于特征的Q学习方法,结合马尔可夫风险度量和多模式Q因子近似,证明了高概率遗憾界,并在随机分配问题和短周期多臂老虎机问题上进行了验证。
2026-11-03 cs.AI cs.LG math.OC
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University(普林斯顿大学)
研究了具有一般价值函数逼近的批量强化学习(RL)。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设,并通过一般函数类的(局部)Rademacher复杂性来表征泛化性能,这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说,我们将Bellman误差看作是最优性缺口的替代损失,证明了:(1)在双抽样条件下,经验风险最小化(ERM)的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中,无论算法如何,如果没有进一步的假设,样本有效的风险最小化是不可能的。然而,在完备性假设下,FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类,包括有限类,线性空间,核空间,稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge(剑桥大学)
本文提出CALF框架,通过在仿真中训练考虑通信延迟等网络条件的策略,减少实际部署中的性能差距,验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
Risk-Aware Transfer in Reinforcement Learning using Successor Features
Vector Institute(向量研究所);University of Toronto(多伦多大学);DeepMind(深度思维)
样本效率和风险意识是开发实用的强化学习(RL)进行复杂决策的核心。前者可以通过迁移学习来解决,后者可以通过优化收益的某些效用函数来解决。然而,以风险意识的方式转让技能的问题并没有得到很好的理解。在本文中,我们解决的问题,在一个共同的领域,不同的任务之间的风险意识的政策转移,只有在他们的奖励功能,其中风险是衡量的方差奖励流。我们的方法首先通过扩展广义政策改进的思想,以最大限度地提高熵效用,从而通过动态规划扩展政策改进的政策集和风险规避水平。接下来,我们扩展了后继特征(SF)的概念,SF是一个价值函数表示,它将环境动态与回报联系起来,以捕获回报的方差。我们由此产生的风险意识后继功能(RaSF)无缝集成在RL框架内,继承了SF的优越任务泛化能力,并将风险意识纳入决策。在离散导航域和模拟机械臂控制上的实验表明,当考虑到学习策略的风险时,RaSFs优于包括SFs在内的替代方法的能力。
2021-05-28 cs.AI cs.LG cs.RO
Visceral Machines: Risk-Aversion in Reinforcement Learning with Intrinsic Physiological Rewards
Microsoft Research(微软研究院)
随着人们学会在世界上航行,自主神经系统(例如,“战斗或逃跑”)反应提供有关行动选择潜在后果的内在反馈(例如,当靠近悬崖边缘或在转弯处快速驾驶时会变得紧张。生理变化与这些生物制剂相关,以保护自己免受危险。我们提出了一种新的强化学习方法,该方法利用与人类自主神经系统反应相关的外周脉搏测量训练的与任务无关的内在奖励函数。我们的假设是,这样的奖励函数可以规避与强化学习设置中的稀疏和倾斜奖励相关的挑战,并且可以帮助提高样本效率。我们在模拟驾驶环境中对此进行了测试,并表明它可以提高学习速度,减少学习阶段的碰撞次数。
2019-03-22 cs.AI
Risk-Aware High-level Decisions for Automated Driving at Occluded Intersections with Reinforcement Learning
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
强化学习是当今解决自动驾驶中不同决策问题的流行框架。然而,仍有一些关键挑战需要解决,以提供更可靠的政策。在本文中,我们提出了一个通用的风险意识的DQN方法,以学习高层次的行动,通过无信号闭塞路口驾驶。所提出的状态表示提供了基于车道的信息,其允许用于多车道场景。此外,我们提出了一个基于风险的奖励函数,它惩罚有风险的情况,而不仅仅是碰撞失败。这种奖励方法有助于将风险预测纳入我们的深度Q网络,并学习更可靠的策略,在具有挑战性的情况下更安全。所提出的方法的效率相比,与传统的碰撞为基础的奖励计划,也与基于规则的交叉口导航政策的DQN学习。评估结果表明,所提出的方法优于这两种方法。它提供了比冲突感知DQN方法更安全的操作,并且比基于规则的策略更谨慎。
2020-04-09 cs.AI cs.LG cs.RO
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University(杜克大学机械工程与材料科学系);Duke University(杜克大学)
在本文中,我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说,我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后,我们引入了一个额外的共识步骤,让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析,并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法,在这里的代理不共享有关他们的本地任务的信息,而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Risk-Aware Reward Shaping of Reinforcement Learning Agents for Autonomous Driving
Eindhoven University of Technology(埃因霍温理工大学);Northwestern Polytechnical University(西北工业大学)
针对自动驾驶强化学习奖励函数难确定、传统方法缺风险感知的问题,提出风险感知奖励塑形方法,新增鼓励探索、惩罚风险行为的奖励项,仿真验证对多类智能体有效,且PPO方法配合效果最佳。
2023-08-25 cs.AI cs.RO
Risk-sensitive Inverse Reinforcement Learning via Semi- and Non-Parametric Methods
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
关于逆强化学习(IRL)的文献通常假设人类采取行动以最小化成本函数的期望值,即,人类是风险中性的。然而,在实践中,人类往往远非风险中立。为了填补这一空白,本文的目的是设计一个框架,风险敏感的IRL,以明确占人类的风险敏感性。为此,我们提出了一个灵活的类模型的基础上连贯的风险措施,这使我们能够捕捉整个频谱的风险偏好,从风险中性的最坏情况。我们提出了有效的非参数算法的基础上,线性规划和半参数算法的基础上,最大似然推断一个人的基本风险度量和成本函数为丰富的静态和动态决策设置。由此产生的方法是证明了一个模拟驾驶游戏与十个人类参与者。我们的方法能够以数据高效的方式推断和模拟各种不同的驾驶风格,从高度风险厌恶到风险中性。此外,风险敏感(RS)的IRL方法与风险中性模型的比较表明,RS-IRL框架更准确地捕捉观察到的参与者行为的定性和定量,特别是在灾难性的结果,如碰撞可能发生的情况下。
2018-03-22 cs.AI cs.LG cs.RO
On the Approximation and Convergence of Distributional Policy Gradient Algorithms for Risk-Sensitive Reinforcement Learning
The Ohio State University(俄亥俄州立大学);University of Michigan(密歇根大学)
本文提出一种针对风险敏感分布式强化学习的新策略梯度方法,提供概率测度梯度的解析形式,设计CDPG算法并证明其有限支撑最优性与有限迭代收敛性,实验验证了风险敏感设置的优越性。
2026-09-30 cs.AI cs.LG math.OC
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology(国防科技大学)
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法,涵盖系统架构、仿真与计算并行、同步机制及进化强化学习,并比较了16个开源库,展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
Towards Safe Reinforcement Learning via Constraining Conditional Value-at-Risk
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Tsinghua University-China Mobile Communications Group Co., Ltd. Joint Institute(清华大学-中国移动通信集团有限公司联合研究院)
针对深度强化学习在转移和观测扰动下的安全问题,提出基于CVaR约束的CPPO算法,在MuJoCo连续控制任务中实现更高奖励和更强鲁棒性。
2022-09-17 cs.AI cs.LG
Reducing Risk for Assistive Reinforcement Learning Policies with Diffusion Models
针对辅助机器人的安全性需求,本研究提出一种无需额外环境交互即可提升高风险策略安全性的方法,结合强化学习与模仿学习,经模拟实验验证可增强传统RL方法在辅助机器人任务中的表现。
2024-05-13 cs.AI cs.RO
Continuous Control Reinforcement Learning: Distributed Distributional DrQ Algorithms
HKU(香港大学)
针对连续控制任务,提出以分布式分布式DDPG为主干的分布式分布式DrQ算法,结合数据增强与分布价值函数,旨在通过分布价值函数的表达能力和分布式演员策略提升高难度连续控制任务性能。
2024-04-16 cs.AI cs.LG cs.RO
Automatic Financial Trading Agent for Low-risk Portfolio Management using Deep Reinforcement Learning
Yonsei University(延世大学)
自主交易代理是人工智能解决资本市场投资组合管理问题最活跃的研究领域之一。投资组合管理问题的两个主要目标是最大化收益和抑制风险。然而,大多数解决这个问题的方法只考虑最大化收益。因此,本文提出了一种基于深度强化学习的交易代理,它可以管理投资组合,不仅考虑利润最大化,还考虑风险约束。我们还提出了一个新的目标政策,让交易代理人学习更喜欢低风险的行动。新的目标策略可以通过超参数调整贪婪度来反映在更新中。拟议的交易代理通过加密货币市场的数据验证性能。加密货币市场是测试我们交易代理的最佳试验场,因为每分钟积累的数据量巨大,市场波动性极大。作为实验结果,在测试期间,我们的代理人实现了1800%的回报,并提供了现有方法中风险最小的投资策略。实验表明,即使在市场波动较大或训练周期较短的情况下,该智能体仍能保持鲁棒的广义性能。
2019-09-07 cs.AI q-fin.TR
RLlib: Abstractions for Distributed Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)算法涉及高度不规则计算模式的深度嵌套,其中每一个通常表现出分布式计算的机会。我们主张通过自上而下的分层控制算法,以可组合的方式分发RL组件,从而将并行性和资源需求封装在短期运行的计算任务中。我们通过RLlib证明了这一原则的好处:一个为RL提供可扩展软件原语的库。这些原语使广泛的算法能够以高性能、可伸缩性和大量的代码重用来实现。RLlib可在https://rllib.io/上获得。
2018-06-29 cs.AI cs.DC cs.LG
Reinforcement Learning of Risk-Constrained Policies in Markov Decision Processes
Masaryk University(马萨里克大学);Institute of Science and Technology Austria(奥地利科学技术研究所)
马尔可夫决策过程(MDP)是随机不确定性条件下序列决策的实际框架。MDPs的经典优化准则是最大化期望折扣和收益,忽略了对系统具有高度负面影响的低概率灾难性事件。另一方面,风险规避政策要求不可预测事件的概率低于给定的阈值,但它们并不考虑预期收益的优化。我们考虑MDPs与贴现和支付的失败状态,代表灾难性的结果。风险约束规划的目标是最大化风险规避策略的期望折扣和收益,以确保遇到故障状态的概率低于期望阈值。我们的主要贡献是一个有效的风险约束规划算法,它结合了UCT类搜索与预测learnedthrough互动与MDP(在风格的AlphaZero)和风险约束的行动选择通过线性规划。我们证明了我们的方法的有效性与实验的经典MDP从文献中,包括基准的顺序为10^6状态。
2020-02-27 cs.AI cs.LG
Risk-sensitive Reinforcement Learning Based on Convex Scoring Functions
School of Mathematical Sciences, Peking University(北京大学数学科学学院);School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)科学与工程学院);Department of Applied Mathematics, The Hong Kong Polytechnic University(香港理工大学应用数学系)
本文面向凸评分函数刻画的广义风险目标,通过增广状态与辅助变量处理时间不一致性,提出收敛可采样的定制 Actor-Critic 风险敏感 RL 框架,并在统计套利仿真中验证有效性。
2025-05-15 cs.AI q-fin.MF q-fin.RM
Monte Carlo Tree Search Algorithms for Risk-Aware and Multi-Objective Reinforcement Learning
University of Galway(戈尔韦大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);City of Amsterdam(阿姆斯特丹市)
在许多风险感知和多目标强化学习设置中,用户的效用来自策略的单次执行。在这种情况下,基于平均未来回报率的决策是不合适的。例如,在医疗环境中,患者可能只有一次机会治疗他们的疾病。仅仅使用预期的未来回报(强化学习中称为价值)来做决策,无法解释一个决策可能产生的负面或正面结果的潜在范围。因此,我们应该使用不同的分布在预期的未来收益表示的关键信息,代理人需要在决策时,考虑未来和应计收益。本文提出了两种新的蒙特卡罗树搜索算法。首先,我们提出了一个蒙特卡罗树搜索算法,可以计算政策的非线性效用函数(NLU-MCTS),通过优化的效用不同的可能的回报,可达到从个人的政策执行,从而在风险意识和多目标设置良好的政策。其次,我们提出了一个分布式的蒙特卡罗树搜索算法(DMCTS),它扩展了NLU-MCTS。DMCTS计算收益效用的近似后验分布,并在规划过程中利用汤普森抽样来计算风险意识和多目标设置中的策略。这两种算法在多目标强化学习中的预期效用都优于最先进的算法。
2022-12-06 cs.AI cs.LG
To Risk or Not to Risk: Learning with Risk Quantification for IoT Task Offloading in UAVs
University of Ottawa(渥太华大学);Nokia Bell Labs(诺基亚贝尔实验室)
针对智能农场物联网(IoT)环境下多接入边缘计算(MEC)辅助无人机(UAV)网络的任务卸载决策算法,提出了一种深度强化学习技术。任务卸载技术使用金融概念,如成本函数和条件风险变量(CVaR),以量化每个风险行为可能造成的损害。该方法能够量化潜在的风险,以训练强化学习代理,以避免将导致农场不可逆转的后果的风险行为。这些后果包括未被发现的火灾、虫害或无人机无法使用。将所提出的基于CVaR的技术与其他深度强化学习技术和两种固定的基于规则的技术进行了比较。仿真结果表明,基于CVaR的风险量化方法消除了最危险的风险,这是超过火灾探测任务的最后期限。因此,它减少了违反最后期限的总数,而能源消耗的增加微不足道。
2023-02-14 cs.AI cs.LG cs.NI
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge(剑桥大学);rlcore;Helmut Schmidt University(赫尔穆特·施密特大学)
强化学习(RL)任务的实现、执行和测试具有挑战性,这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成,后端图形定义,和分布式执行。为此,我们引入RLgraph,一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的,可增量测试的,并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University(延世大学);Deakin University(迪肯大学);Samsung Electronics Co., Ltd.(三星电子株式会社);University of Oulu(奥卢大学)
传统的分布式深度强化学习(RL)通常依赖于交换每个代理的经验重放记忆(RM)。由于RM包含所有的状态观测和动作策略历史,它可能会导致巨大的通信开销,同时侵犯每个代理的隐私。或者,本文提出了一个通信高效和隐私保护的分布式强化学习框架,称为联邦强化蒸馏(FRD)。在FRD中,每个代理交换其代理经验重放存储器(ProxRM),其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解,我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外,我们提出了一个改进版本的FRD,创造mixup增强FRD(MixFRD),其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性,与基准计划,香草FRD,联邦强化学习(FRL)和策略蒸馏(PD)相比。
2020-05-15 cs.AI cs.LG
Risk Management for Distributed Arbitrage Systems: Integrating Artificial Intelligence
North Carolina State University(北卡罗来纳州立大学);Columbia University(哥伦比亚大学)
本研究调研对比AI在分布式套利系统风险管理中的应用,分析三类缓存技术的性能提升作用,考察AI对多类风险的缓解效果,结合Aave等案例说明AI与缓存融合可革新该领域风险管理。
2025-03-24 cs.AI cs.DC cs.LG
MSRL: Distributed Reinforcement Learning with Dataflow Fragments
Imperial College London(帝国理工学院);Huawei Technologies Co., Ltd.(华为技术有限公司);Huawei R&D United Kingdom(华为英国研发中心);Hong Kong University of Science and Technology(香港科技大学)
强化学习(RL)训练许多代理,这是资源密集型的,并且必须扩展到大型GPU集群。不同的RL训练算法为分布式和并行计算提供了不同的机会。然而,当前的分布式RL系统将RL算法的定义与其分布式执行联系在一起:它们硬编码特定的分发策略,并且仅在GPU工作者上加速计算的特定部分(例如策略网络更新)。从根本上说,当前的系统缺乏将RL算法与其执行解耦的抽象。我们描述了MindSpore强化学习(MSRL),一个分布式RL训练系统,支持分布策略,管理RL训练计算如何并行化和分布在集群资源上,而不需要改变算法实现。MSRL引入了一个新的片段化图的抽象,它将Python函数从RL算法的训练循环映射到并行计算片段。片段通过将它们转换为低级递归表示(例如,由深度学习引擎、CUDA实现或多线程CPU进程支持的计算图)而在不同的设备上执行。我们证明了MSRL包含了现有系统的分布策略,同时将RL训练扩展到64个GPU。
2022-10-28 cs.AI cs.DC cs.LG
Provably Efficient Risk-Sensitive Offline Reinforcement Learning via Optimized Certainty Equivalents
City University of Hong Kong(香港城市大学);University of Chicago(芝加哥大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Jiao Tong University(上海交通大学)
本研究针对风险敏感离线强化学习的理论空白,以优化确定性等价为风险度量,开发了表格设置和线性函数近似下的悲观算法,建立了相关次优性界,填补了该领域的理论与算法空白。
2026-10-16 cs.AI cs.LG math.OC