Simion Zoo: A Workbench for Distributed Experimentation with Reinforcement Learning for Continuous Control Tasks
我们介绍Simion Zoo,一个强化学习(RL)工作台,它提供了一套完整的工具来设计,运行和分析RL控制应用程序的统计和可视化结果。Simion Zoo与类似软件包的主要区别在于其易于使用的GUI,对分布式执行的支持,包括通过图形处理单元(GPU)进行部署,以及同时探索RL元空间的可能性,这是成功RL实验的关键。
2019-04-16 cs.AI cs.LG
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文通过将多目标优化问题表述为逆问题,证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性,并进一步证明了使用梯度下降和投影次梯度法的逆强化学习(如最大熵逆强化学习和引导代价学习)的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Distributed Cooperative Multi-Agent Reinforcement Learning with Directed Coordination Graph
North Carolina State University(北卡罗来纳州立大学);Oklahoma State University(俄克拉荷马州立大学);DEVCOM U.S. Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
现有的分布式协作多智能体强化学习(MARL)框架通常假设无向协调图和通信图,同时通过共识算法估计全局奖励进行策略评估。这样的框架可能会导致昂贵的通信成本,并表现出较差的可扩展性,由于全球共识的要求。在这项工作中,我们研究了MARL与有向协调图,并提出了一个分布式RL算法的本地政策评估是基于本地价值函数。每个Agent的局部价值函数通过有向学习诱导的通信图与其邻居进行局部通信来获得,而不使用任何共识算法。采用基于参数摄动的零阶优化(ZOO)方法实现梯度估计。通过与现有的基于ZOO的RL算法的比较,我们表明,我们提出的分布式RL算法保证了高的可扩展性。一个分布式资源分配的例子来说明我们的算法的有效性。
2022-01-10 cs.AI cs.LG cs.MA
Distributed Reinforcement Learning via Gossip
我们认为经典的TD(0)算法上实现的代理网络,其中的代理还包括从相邻的代理使用一个类似八卦的机制收到的更新。结合计划收敛的折扣和平均成本问题。
2013-10-28 cs.AI cs.DC math.OC
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge(剑桥大学)
本文提出CALF框架,通过在仿真中训练考虑通信延迟等网络条件的策略,减少实际部署中的性能差距,验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文证明在多目标优化中,Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Demonstration Guided Multi-Objective Reinforcement Learning
University of Galway(高威大学)
针对多目标强化学习中偏好多样且策略从零训练困难的问题,提出 DG-MORL,利用示范、角点权重对齐和自进化机制提升性能,并证明其优势及样本复杂度上界。
2024-04-05 cs.AI cs.LG
Utility-Based Reinforcement Learning: Unifying Single-objective and Multi-objective Reinforcement Learning
Federation University Australia(澳大利亚联邦大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of Galway(高威大学);Deakin University(迪肯大学);Linköping University(林雪平大学);Universidade do Vale do Rio dos Sinos(南里约 dos Sinos大学);Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出将基于效用的范式从多目标强化学习扩展到单目标强化学习,以统一两者,并探讨其在多策略学习、风险感知、折扣和安全强化学习中的潜在益处及算法影响。
2024-02-05 cs.LG
Multi-Objective Constraint Inference using Inverse reinforcement learning
Faculty of Sciences(科学学院)
本文提出多目标约束推断框架MOCI,用于从异质专家轨迹中联合提取共享约束和个体偏好,有效处理不同目标下的多样且可能冲突的行为,实验证明其在预测性能和计算效率方面优于现有方法。
2026-05-07 cs.AI cs.LG cs.MA
Multi-Objective Deep Reinforcement Learning
University of Oxford(牛津大学)
我们提出了深度乐观线性支持学习(DOL)来解决高维多目标决策问题,其中目标的相对重要性事先未知。使用来自高维输入的特征,DOL计算包含目标的凸组合的所有潜在最优解的凸覆盖集。据我们所知,这是深度强化学习首次成功学习多目标策略。此外,我们还提供了一个测试平台,其中包含两个实验,可用作深度多目标强化学习的基准。
2016-10-09 cs.AI
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
MIT(麻省理工学院);Brown University(布朗大学)
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的,解决了非经典强化学习目标的PAC可学习性开放问题,并验证了三个文献目标,指导了新目标的设计。
2023-03-19 cs.AI cs.LG
Reinforcement Learning with Non-Cumulative Objective
University of Toronto(多伦多大学)
针对强化学习中目标多为累积形式、无法适配通信网络等领域非累积目标问题,本文通过改进Bellman更新规则引入广义运算,给出收敛保证并在多任务中验证了非累积目标优化方法的有效性。
2024-04-12 cs.AI cs.LG cs.NI
The Max-Min Formulation of Multi-Objective Reinforcement Learning: From Theory to a Model-Free Algorithm
School of Electical Engineering, Korea Advanced Institute of Science & Technology(韩国科学技术院电气工程学院);Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院)
本文针对多目标强化学习提出最大-最小框架以保障多目标间的公平性,并给出相关理论及一种无模型算法,实验表明其性能显著优于现有基线方法。
2024-06-12 cs.AI cs.LG
Multi-Objective Reinforcement Learning for Water Management
Delft University of Technology(代尔夫特理工大学);Utrecht University(乌特勒支大学)
本文提出利用多目标强化学习解决尼罗河流域水资源管理问题,发现专门方法在实际应用中优于现有MORL算法,揭示了其在现实场景中的可扩展性问题。
2025-11-21 cs.AI cs.LG
A Communication-Efficient Multi-Agent Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Princeton University(普林斯顿大学);Northwestern University(西北大学)
本文考虑了一个分布式强化学习问题,其中多个代理的网络旨在通过仅与本地邻居通信来合作最大化全局平均收益。针对由有向图描述的可能单向通信关系,提出了一种随机通信有效的多Agent Actor-Critic算法。结果表明,该算法可以解决强连通图的问题,通过允许每个代理,只有两个标量值变量在同一时间。
2019-07-06 cs.LG cs.MA stat.ML
Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对有向对等网络上分布式强化学习(DisRL)的策略评估问题,提出了一种\emph{fully asynchronous}方案.无需等待网络的任何其他节点,每个节点可以通过使用来自其邻居的(可能延迟的)信息在任何时间本地更新其价值函数。这与一对节点同时更新的基于流言的方案形成鲜明对比。虽然完全异步设置涉及到一个困难的多时标决策问题,我们设计了一种新的随机平均梯度(SAG)为基础的分布式算法,并开发了一个推拉增广图的方法来证明其精确收敛的线性速率$\mathcal{O}(c^k)$,其中$c\in(0,1)$和$k$增加了一个无论在哪个节点更新。最后,数值实验验证了我们的方法的速度与节点数成线性关系,并且对离散节点具有鲁棒性。
2021-01-22 cs.LG cs.MA math.OC
Flexible Multiple-Objective Reinforcement Learning for Chip Placement
MediaTek Research(联发科研究院);MediaTek Inc.(联发科公司);National Taiwan University(台湾大学);Maxeda Technology Inc.(Maxeda科技公司)
最近,强化学习在芯片布局中的成功应用已经出现。预训练的模型对于提高效率和有效性是必要的。目前,客观指标的权重(例如,线长、拥塞和定时)在预训练期间是固定的。然而,固定权重的模型不能产生工程师所需的布局的多样性,以适应不断变化的要求,因为它们出现。本文提出了灵活的多目标强化学习(MORL),支持目标函数的推理时间可变的权重,使用一个单一的预训练模型。我们的宏观布局结果表明,MORL可以有效地产生多个目标的帕累托前沿。
2022-04-13 cs.AI cs.LG
A Robust Policy Bootstrapping Algorithm for Multi-objective Reinforcement Learning in Non-stationary Environments
University of New South Wales(新南威尔士大学)
针对多目标强化学习难以适应非平稳环境的问题,本文提出在线探索偏好空间并鲁棒演化凸策略覆盖集的自举算法,在非平稳环境中显著优于现有方法。
2023-08-18 cs.AI cs.LG cs.RO
TinyQMIX: Distributed Access Control for mMTC via Multi-agent Reinforcement Learning
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所);The Chinese University of Hong Kong(香港中文大学)
分布式接入控制是大规模机器类型通信(mMTC)的关键组成部分。在这种通信场景中,集中式资源分配是不可扩展的,因为资源配置必须频繁地从基站发送到大量设备。我们研究分布式强化学习的资源选择,而不依赖于集中控制。mMTC的另一个重要特征是业务的零星和动态变化。现有的分布式访问控制研究假设流量负载是静态的或者能够逐渐适应动态的流量。我们通过训练TinyQMIX,这是一个轻量级的多智能体深度强化学习模型,在部署前学习各种流量模式下的分布式无线资源选择策略,以最大限度地减少适应期。因此,经过训练的代理能够快速适应动态流量并提供低访问延迟。数值结果支持我们的主张。
2022-11-21 cs.LG cs.MA cs.NI
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology(国防科技大学)
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法,涵盖系统架构、仿真与计算并行、同步机制及进化强化学习,并比较了16个开源库,展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架,通过博弈论重述和镜像下降算法实现全局收敛,并显著超越基线。
2025-10-23 cs.AI cs.LG
Using Logical Specifications of Objectives in Multi-Objective Reinforcement Learning
Brigham Young University(杨百翰大学);University of Southern California(南加利福尼亚大学)
众所周知,控制强化学习代理的行为非常困难。智能体经常学会利用环境或奖励信号,需要多次重新训练。多目标强化学习(MORL)框架将奖励函数分成多个目标。一个理想的MORL代理学习推广到新的目标组合,允许更好地控制代理的行为,而不需要重新训练。许多MORL方法使用权重向量来参数化每个目标的重要性。然而,这种方法缺乏表达性和可解释性。我们建议使用命题逻辑来指定多个目标的重要性。通过使用谓词直接对应于目标的逻辑,规范本质上更易于解释。另外,可以用形式语言表示的规范集是可以用权重向量表示的规范集的超集。本文定义了一种基于命题逻辑的具有定量语义的形式语言。我们使用递归神经网络对逻辑规范进行编码,并表明通过这些编码参数化的MORL代理能够概括为目标上的新规范,并实现与单目标基线相当的性能。
2021-09-05 cs.AI cs.LG stat.ML
A Multi-Objective Deep Reinforcement Learning Framework
School of Information Technology, Deakin University(迪肯大学信息技术学院);Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新学院);School of Science, Engineering and Information Technology, Federation University(联邦大学科学、工程与信息技术学院)
提出了一种基于深度Q网络的可扩展多目标深度强化学习(MODRL)框架。我们开发了一个高性能的MODRL框架,支持单策略和多策略策略,以及线性和非线性的方法来选择动作。两个基准问题(两目标深海宝藏环境和三目标山地车问题)的实验结果表明,该框架能够有效地找到Pareto最优解。所提出的框架是通用的和高度模块化的,它允许在不同的复杂问题域中集成不同的深度强化学习算法。因此,这克服了当前文献中涉及标准多目标强化学习方法的许多缺点。所提出的框架作为一个试验平台,加速MODRL的发展,解决日益复杂的多目标问题。
2020-06-19 cs.AI cs.LG stat.ML
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
Applied AI Institute(应用人工智能研究所)
本文提出Rennala NIGT和Malenia NIGT算法,通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率,理论和实验均优于现有方法。
2026-03-28 cs.DC cs.LG math.OC
Proxy Experience Replay: Federated Distillation for Distributed Reinforcement Learning
Yonsei University(延世大学);Deakin University(迪肯大学);Samsung Electronics Co., Ltd.(三星电子株式会社);University of Oulu(奥卢大学)
传统的分布式深度强化学习(RL)通常依赖于交换每个代理的经验重放记忆(RM)。由于RM包含所有的状态观测和动作策略历史,它可能会导致巨大的通信开销,同时侵犯每个代理的隐私。或者,本文提出了一个通信高效和隐私保护的分布式强化学习框架,称为联邦强化蒸馏(FRD)。在FRD中,每个代理交换其代理经验重放存储器(ProxRM),其中策略相对于代理状态聚类实际状态进行本地平均。为了提供FRD设计见解,我们提出了消融研究对ProxRM结构、神经网络架构和通信间隔的影响。此外,我们提出了一个改进版本的FRD,创造mixup增强FRD(MixFRD),其中ProxRM插值使用mixup数据增强算法。在Cartpole环境中的仿真验证了MixFRD在减少任务完成时间和通信成本的方差方面的有效性,与基准计划,香草FRD,联邦强化学习(FRL)和策略蒸馏(PD)相比。
2020-05-15 cs.AI cs.LG
On the (In)Tractability of Reinforcement Learning for LTL Objectives
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Brown University(布朗大学)
近年来,研究人员在设计用于优化线性时态逻辑(LTL)目标和LTL类目标的并行学习算法方面取得了重大进展。尽管取得了这些进展,但解决这一问题的程度仍然存在根本性的限制。之前的研究已经提到了这一事实,但尚未深入研究。在本文中,我们从理论的角度来解决一般LTL目标的强化学习的易处理性。我们形式化的问题下的可能近似正确的学习马尔可夫决策过程(PAC-MDP)的框架,一个标准的框架测量样本的复杂性强化学习。在这种形式化中,我们证明了任何LTL公式的最优策略是PAC-MDP-learnable的,当且仅当该公式是在LTL层次结构中的最有限的类,由在有限范围内可判定的公式组成。实际上,我们的研究结果意味着,它是不可能的一个学习算法,以获得PAC-MDP保证其学习政策的性能后,许多相互作用与无约束的环境中的LTL目标是不可判定的有限范围内。
2022-06-24 cs.AI cs.FL cs.LG
Continuous Control Reinforcement Learning: Distributed Distributional DrQ Algorithms
HKU(香港大学)
针对连续控制任务,提出以分布式分布式DDPG为主干的分布式分布式DrQ算法,结合数据增强与分布价值函数,旨在通过分布价值函数的表达能力和分布式演员策略提升高难度连续控制任务性能。
2024-04-16 cs.AI cs.LG cs.RO
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin(都柏林三一学院)
TREX通过轨迹归因框架为多目标强化学习策略提供解释,通过生成不同用户偏好下的轨迹并划分语义段,量化行为段对帕累托权衡的影响,实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Distributed Deep Reinforcement Learning: An Overview
Sharif University of Technology(谢里夫理工大学)
深度强化学习(Deep Reinforcement Learning,DRL)是一个非常活跃的研究领域。然而,一些技术和科学问题需要解决,其中我们可以提到数据效率低下,探索-开发权衡和多任务学习。因此,引入了DRL的分布式修改;代理可以同时在许多机器上运行。在这篇文章中,我们提供了一个调查的分布式方法在DRL的作用。我们概述了该领域的状态,通过研究的关键研究工作,我们如何可以使用分布式方法在DRL有显着的影响。我们选择从分布式学习的角度来概述这些论文,而不是强化学习算法的创新方面。此外,我们评估这些方法在不同的任务,并比较他们的表现与对方和单个演员和学习者代理。
2020-11-22 cs.DC cs.LG
Safe and Balanced: A Framework for Constrained Multi-Objective Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Virginia Tech(弗吉尼亚理工大学);UC Berkeley(加州大学伯克利分校);Microsoft Research Asia(微软亚洲研究院)
针对安全关键系统中多目标与严格约束的平衡难题,提出基于原始框架的自然策略梯度操控方法,具备理论保证并在安全多目标任务上超越现有方法。
2024-05-26 cs.AI cs.LG
Metaoptimization on a Distributed System for Deep Reinforcement Learning
NVIDIA(英伟达)
通过强化学习训练智能代理是一个众所周知的不稳定过程。GPU和分布式系统上的大规模并行化已经被用来生成大量的训练经验,从而减少不稳定性,但训练的成功仍然受到超参数选择的强烈影响。为了克服这个问题,我们介绍了HyperTrick,一种新的元优化算法,并展示了它在深度强化学习的情况下调整超参数的有效应用,同时学习在分布式系统上玩不同的Atari游戏。我们的分析提供了最优超参数的识别和学习策略之间相互作用的证据,这是深度强化学习的元优化的典型情况。与最先进的元优化算法相比,HyperTrick的特点是实现更简单,它允许学习类似的策略,同时更有效地利用分布式系统中的计算资源。
2019-02-07 cs.LG stat.ML
RLlib: Abstractions for Distributed Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
强化学习(RL)算法涉及高度不规则计算模式的深度嵌套,其中每一个通常表现出分布式计算的机会。我们主张通过自上而下的分层控制算法,以可组合的方式分发RL组件,从而将并行性和资源需求封装在短期运行的计算任务中。我们通过RLlib证明了这一原则的好处:一个为RL提供可扩展软件原语的库。这些原语使广泛的算法能够以高性能、可伸缩性和大量的代码重用来实现。RLlib可在https://rllib.io/上获得。
2018-06-29 cs.AI cs.DC cs.LG
Multi-Objective Reinforcement Learning for Large Language Model Optimization: Visionary Perspective
Fraunhofer Institute for Applied Information Technology FIT, Germany(弗劳恩霍夫应用信息科技研究所);Soochow University, China(苏州大学);University Hospital of Cologne, Germany(科隆大学医院)
本文提出多目标强化学习(MORL)分类法,分析其在优化大语言模型中的优劣,并展望了元策略MORL及基准框架以提升效率与灵活性。
2025-09-25 cs.AI cs.CL cs.LG
Designing a Multi-Objective Reward Function for Creating Teams of Robotic Bodyguards Using Deep Reinforcement Learning
University of Central Florida(中佛罗里达大学)
我们正在考虑一个场景,一组保镖机器人在拥挤的公共空间为VIP提供物理保护。我们使用深度强化学习来学习机器人要遵循的策略。由于机器人保镖需要遵循几个难以协调的目标,我们研究了几个原始和复合奖励函数及其对机器人保镖的整体行为的影响。
2019-01-28 cs.LG cs.MA
Multi-objective Reinforcement Learning: A Tool for Pluralistic Alignment
Institute of Innovation, Science and Sustainability(创新、科学与可持续发展研究所);Federation University Australia(澳大利亚联邦大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);School of IT(信息技术学院);Deakin University(迪肯大学)
本文探讨了多目标强化学习(MORL)作为解决多冲突价值观或利益相关者对齐问题的工具,概述其在创建多元对齐AI系统中的作用。
2024-10-15 cs.AI cs.LG
Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota(明尼苏达大学)
本文研究了强化学习中的分布式策略优化问题,该问题涉及一个中央控制器和一组学习器。特别是,在几个应用程序中遇到的两个典型的设置被认为是:多智能体强化学习(RL)和并行RL,学习者和控制器之间的频繁的信息交换是必需的。然而,对于许多实际的分布式系统,这些频繁的通信交换所造成的开销是相当可观的,并成为整体性能的瓶颈。为了解决这一问题,提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信,在不降低学习性能的前提下减少了通信开销。它是建立解析:i)新的算法具有相同的收敛速度的平原香草策略梯度;而ii)如果分布式学习器是异构的,在他们的奖励功能,需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比,替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML
A Practical Guide to Multi-Objective Reinforcement Learning and Planning
National University of Ireland Galway(爱尔兰国立高威大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);Linköping University(林雪平大学);University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学);Deakin University(迪肯大学);University of Washington(华盛顿大学);Universidade do Vale do Rio dos Sinos(南里奥格兰德河谷大学);Politecnico di Milano(米兰理工大学);Federation University Australia(澳大利亚联邦大学)
现实世界的决策任务通常是复杂的,需要在多个往往相互冲突的目标之间进行权衡。尽管如此,大多数强化学习和决策理论规划的研究要么假设只有一个目标,要么假设多个目标可以通过简单的线性组合来充分处理。这种方法可能会过度简化潜在的问题,从而产生次优的结果。本文作为多目标方法应用于困难问题的指南,针对那些已经熟悉单目标强化学习和规划方法的研究人员,他们希望在研究中采用多目标视角,以及在实践中遇到多目标决策问题的从业者。它确定了可能影响所需解决方案的性质的因素,并举例说明这些因素如何影响复杂问题的多目标决策系统的设计。
2021-03-17 cs.AI cs.LG
(DEMO) Deep Reinforcement Learning Based Resource Allocation in Distributed IoT Systems
Graduate School of Informatics and Engineering, The University of Electro-Communications(信息与工程研究生学校,电子通信大学)
本文针对分布式物联网系统中真实数据训练DRL模型的不足,提出一种利用ACK反馈在实际环境中训练DRL模型进行信道选择的新框架,并通过帧成功率评估验证其可行性与有效性。
2025-09-21 cs.AI cs.LG
Reward Dimension Reduction for Scalable Multi-Objective Reinforcement Learning
本文提出一种在线奖励维度缩减方法,以提升多目标强化学习的可扩展性,在包括十六个目标的环境中显著优于现有方法。
2025-02-28 cs.LG
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore(新加坡南洋理工大学);Tel Aviv University(特拉维夫大学)
本文研究强化学习中LTL与$ω$-正则目标的关系,提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题,并证明可通过近似求解折扣求和问题渐近学习最优策略,解决了相关开放问题。
2024-10-16 cs.AI cs.LG
LOD: Latent Objective Discovery in Heterogeneous Multi-Agent Reinforcement Learning
Department of Statistics, Harvard University(哈佛大学统计学系)
提出一种基于重叠潜在社区的 MARL 框架,通过共享策略与价值、成员权重聚合及 actor-critic 算法实现结构化协作、迁移适应和主动探索,并证明线性函数近似下的收敛性。
2026-09-29 cs.LG cs.MA math.OC
What is the objective of reasoning with reinforcement learning?
Department of Statistics and Data Science, The Wharton School, University of Pennsylvania(统计与数据科学系,沃森商学院,宾夕法尼亚大学);Department of Electrical Engineering and Computer Sciences, University of California, Berkeley(电气工程与计算机科学系,加州大学伯克利分校)
本文揭示二元奖励下大语言模型强化学习算法的共同目标,即对正确概率的单调变换做随机梯度上升,并指出拒绝采样与GRPO分别对应对数与反正弦变换。
2025-10-15 cs.LG math.OC
A Micro-Objective Perspective of Reinforcement Learning
University of Waterloo(滑铁卢大学)
标准的强化学习(RL)公式考虑了(折扣)累积奖励的期望。这在我们不仅关注预期性能而且关注性能分布的应用中是有限的。在本文中,我们介绍了微观目标强化学习-一种替代RL形式主义,克服了这个问题。在这个新的公式中,RL任务由一组微观目标指定,这些微观目标是指定事件的可取性或不可取性的构造。此外,微观目标允许先验知识的时间抽象的形式被纳入到全球RL目标。这种形式主义的一般性,其关系到单/多目标RL,和分层RL进行了讨论。
2019-06-12 cs.LG stat.ML
PA2D-MORL: Pareto Ascent Directional Decomposition based Multi-Objective Reinforcement Learning
本文提出PA2D-MORL方法,通过帕累托上升方向选择标量化权重并计算多目标策略梯度,实现高效多目标问题分解与策略优化,提升帕累托策略集的逼近质量。
2026-03-20 cs.AI cs.LG
RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge(剑桥大学);rlcore;Helmut Schmidt University(赫尔穆特·施密特大学)
强化学习(RL)任务的实现、执行和测试具有挑战性,这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成,后端图形定义,和分布式执行。为此,我们引入RLgraph,一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的,可增量测试的,并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Coding for Distributed Multi-Agent Reinforcement Learning
University of California, San Diego(加州大学圣地亚哥分校);San Diego State University(圣地亚哥州立大学)
针对多智能体强化学习(MARL)问题,研究了同步分布式学习中的离散效应。在分布式学习系统中,由于存在各种系统干扰,如计算节点的减速或故障以及通信瓶颈,经常会出现掉队现象。为了解决这个问题,我们提出了一个编码的分布式学习框架,它可以在存在掉队者的情况下加快MARL算法的训练,同时保持与集中式方法相同的准确性。作为一个例子,编码的分布式版本的多代理深度确定性策略梯度(MADDPG)算法的开发和评估。不同的编码方案,包括最大距离可分离(MDS)码,随机稀疏码,基于复制的码,和规则的低密度奇偶检验(LDPC)码也进行了研究。多机器人问题的仿真结果表明,该框架具有良好的性能。
2021-01-07 cs.LG
Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms
Georgia Institute of Technology(佐治亚理工学院)
受强化学习和联邦学习的广泛应用的启发,我们研究了代理网络上的局部随机逼近,其目标是找到由代理上的局部算子组成的算子的根。我们的重点是描述这种方法的有限时间性能时,在每个代理的数据是从马尔可夫过程中产生的,因此它们是依赖的。特别是,我们提供了局部随机逼近的收敛速度为常数和时变步长。我们的研究结果表明,这些比率是在一个独立的数据下的对数因子。然后,我们说明了这些结果的应用程序不同的有趣的问题,多任务强化学习和联邦学习。
2020-06-24 cs.LG math.OC stat.ML
Multiple-objective Reinforcement Learning for Inverse Design and Identification
University of Delaware(特拉华大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
逆向化学设计的目的是开发具有给定优化分子性质或目标的新分子。最近,生成式深度学习(DL)网络被认为是逆向化学设计的最新技术,并在药物和材料化学领域中生成具有所需性质的分子结构方面取得了早期成功。然而,满足大量(大于10个目标)的分子目标是当前生成模型的限制。为了提高模型处理大量分子设计目标的能力,我们开发了一个基于强化学习(RL)的生成框架来优化化学分子生成。我们使用课程学习(CL)来微调预训练的生成网络,使模型能够满足多达21个目标,并提高生成网络的鲁棒性。实验表明,所提出的基于多目标RL的生成模型可以正确识别未知分子,成功率为83%至100%,而基线方法为0%。此外,这个生成模型不仅限于化学研究的挑战;我们预计,利用RL多目标的问题将受益于这个框架。
2019-10-09 cs.AI cs.LG
Dynamic Weights in Multi-Objective Deep Reinforcement Learning
Université Libre de Bruxelles(布鲁塞尔自由大学(法语));Vrije Universiteit Brussel(布鲁塞尔自由大学(荷兰语));Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
许多现实世界的决策问题的特点是多个相互冲突的目标,必须平衡的基础上,他们的相对重要性。在动态权重设置中,相对重要性随时间变化,需要处理这种变化的专用算法,例如Natarajan和Tadepalli(2005)的表格式强化学习(RL)算法。然而,这种早期的工作是不可行的RL设置,需要使用函数逼近。我们通过提出一个多目标Q网络来概括权重变化和高维输入,该网络的输出以目标的相对重要性为条件,我们引入了多样性经验重放(DER)来对抗动态权重设置的固有非平稳性。我们进行了广泛的实验评估,并将我们的方法与深度多任务/多目标强化学习的自适应算法进行了比较,结果表明,我们提出的网络与DER相结合,在权重变化场景和问题域中主导了这些自适应算法。
2019-05-13 cs.AI cs.LG stat.ML
MSRL: Distributed Reinforcement Learning with Dataflow Fragments
Imperial College London(帝国理工学院);Huawei Technologies Co., Ltd.(华为技术有限公司);Huawei R&D United Kingdom(华为英国研发中心);Hong Kong University of Science and Technology(香港科技大学)
强化学习(RL)训练许多代理,这是资源密集型的,并且必须扩展到大型GPU集群。不同的RL训练算法为分布式和并行计算提供了不同的机会。然而,当前的分布式RL系统将RL算法的定义与其分布式执行联系在一起:它们硬编码特定的分发策略,并且仅在GPU工作者上加速计算的特定部分(例如策略网络更新)。从根本上说,当前的系统缺乏将RL算法与其执行解耦的抽象。我们描述了MindSpore强化学习(MSRL),一个分布式RL训练系统,支持分布策略,管理RL训练计算如何并行化和分布在集群资源上,而不需要改变算法实现。MSRL引入了一个新的片段化图的抽象,它将Python函数从RL算法的训练循环映射到并行计算片段。片段通过将它们转换为低级递归表示(例如,由深度学习引擎、CUDA实现或多线程CPU进程支持的计算图)而在不同的设备上执行。我们证明了MSRL包含了现有系统的分布策略,同时将RL训练扩展到64个GPU。
2022-10-28 cs.AI cs.DC cs.LG
An Offline Adaptation Framework for Constrained Multi-Objective Reinforcement Learning
Sun Yat-sen University(中山大学)
本研究提出一种离线适配框架,无需人工设定目标偏好,仅通过演示即可隐式推断多目标强化学习的预期策略,还可扩展至满足安全约束,经实验验证效果良好。
2024-09-16 cs.AI cs.LG
Meta-Learning for Multi-objective Reinforcement Learning
KTH Royal Institute of Technology(瑞典皇家理工学院);Aalto University(阿尔托大学)
多目标强化学习(MORL)是标准强化学习(RL)方法的推广,用于解决由多个可能相互冲突的目标组成的顺序决策问题。通常,在这样的公式中,不存在同时优化所有目标的单个最优策略,而是必须找到多个策略,每个策略优化目标的偏好。换句话说,MORL是一个元学习问题,任务分布由偏好分布给出。我们证明,这样的配方结果在一个更好的近似的Pareto最优解的最优性和计算效率。我们评估了我们的方法,获得帕累托最优的政策,使用一些连续的控制问题,高自由度。
2019-10-07 cs.AI
Kernel-Based Distributed Q-Learning: A Scalable Reinforcement Learning Approach for Dynamic Treatment Regimes
School of Management, Xi’an Jiaotong University(西安交通大学管理学院);Center for Intelligent Decision-Making and Machine Learning(智能决策与机器学习中心)
针对利用大规模电子健康记录构建动态治疗方案的问题,提出一种可扩展的基于核的分布式Q学习算法,在显著降低深度强化学习计算复杂度的同时保持相当的累积奖励泛化性能。
2025-02-17 cs.AI cs.LG
Relationship Explainable Multi-objective Optimization Via Vector Value Function Based Reinforcement Learning
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
解决多目标优化问题是很重要的,在各种应用中,用户有兴趣获得最佳的政策受到多个,但往往相互冲突的目标。获得最优策略的典型方法是首先构造基于单个目标标量化的损失函数,然后找到使损失最小化的最优策略。然而,优化标量化(和加权)损失并不一定保证每个可能冲突的目标的高性能。在本文中,我们提出了一种基于向量值的强化学习方法,旨在明确学习目标间的关系,并根据学习到的关系优化多个目标。特别是,所提出的方法是首先定义关系矩阵,一个数学表示的目标间的关系,然后创建一个演员和多个评论家,可以共同学习的关系矩阵和行动选择。当一个目标对另一个目标的影响未知时,该方法可以通过强化学习来量化目标间的关系。我们还提供了严格的收敛性分析所提出的方法,并提出了定量评估的方法的基础上两个测试方案。
2019-10-02 cs.LG cs.SY eess.SY