Communication-Efficient Policy Gradient Methods for Distributed Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota(明尼苏达大学)
本文研究了强化学习中的分布式策略优化问题,该问题涉及一个中央控制器和一组学习器。特别是,在几个应用程序中遇到的两个典型的设置被认为是:多智能体强化学习(RL)和并行RL,学习者和控制器之间的频繁的信息交换是必需的。然而,对于许多实际的分布式系统,这些频繁的通信交换所造成的开销是相当可观的,并成为整体性能的瓶颈。为了解决这一问题,提出了一种新的策略梯度方法来解决分布式强化学习问题。该方法在迭代过程中自适应地跳过策略梯度通信,在不降低学习性能的前提下减少了通信开销。它是建立解析:i)新的算法具有相同的收敛速度的平原香草策略梯度;而ii)如果分布式学习器是异构的,在他们的奖励功能,需要达到一个理想的学习精度的通信轮数显着减少。数值实验证实了新的算法相比,替代品所达到的通信减少。
2021-04-20 cs.LG cs.MA stat.ML
A Decentralized Communication Policy for Multi Agent Multi Armed Bandit Problems
Sri Lanka Technological Campus(斯里兰卡理工学院);University of Peradeniya(佩拉德尼亚大学)
本文提出了一种新的政策,一组代理,单独以及集体,解决多武装土匪(MAB)问题。该策略仅依赖于代理通过自己的选项采样以及通过与邻居的通信获得的信息。选择政策是基于上置信度为基础(UCB)的战略,而提出的通信策略,迫使代理商与其他代理商,他们认为是最有可能探索比利用。整体策略显着优于一个独立的Erdens-Rényi(ER)图为基础的随机通信策略。该政策被证明是具有成本效益的通信方面,因此可以很容易地扩展到一个大型网络的代理。
2020-02-21 cs.LG stat.ML
Distributed Policy Gradient with Variance Reduction in Multi-Agent Reinforcement Learning
Tongji University(同济大学)
本文研究了协作多智能体强化学习(MARL)中的分布式策略梯度,其中通信网络上的智能体的目标是找到最优策略以最大化所有智能体的局部收益的平均值。由于策略梯度的非凹性能函数,现有的凸问题分布式随机优化方法无法直接用于MARL中的策略梯度。针对策略梯度方差较大的问题,提出了一种具有方差缩减和梯度跟踪的分布式策略梯度,并利用重要性权重解决了抽样过程中的{分布偏移}问题。然后,我们提供了一个上界的均方固定间隙,这取决于迭代次数,小批量的大小,历元的大小,问题的参数,和网络拓扑结构。我们进一步建立了样本和通信复杂性,以获得一个$ε$ -近似稳定点。数值实验验证了算法的有效性。
2022-12-02 cs.LG cs.MA math.OC
Policy Reuse for Communication Load Balancing in Unseen Traffic Scenarios
Samsung AI Center Montreal(三星蒙特利尔人工智能中心);Samsung Electronics(三星电子)
随着通信网络复杂度和业务量的不断增长,通信负载均衡解决方案受到越来越多的关注。具体而言,与传统的基于规则的方法相比,基于强化学习(RL)的方法表现出令人印象深刻的性能。然而,标准的强化学习方法通常需要大量的数据来进行训练,并且对训练期间没有遇到的场景的泛化能力很差。我们提出了一个策略重用框架,其中策略选择器根据当前的流量条件选择最合适的预训练RL策略来执行。我们的方法取决于一个政策银行组成的政策培训的一组不同的交通情况。当部署到未知流量场景时,我们根据当前场景的前一天流量与训练期间观察到的流量之间的相似性从策略库中选择策略。实验表明,该框架可以大大优于经典的和自适应的基于规则的方法。
2023-03-22 cs.AI cs.LG cs.NI
Improved Communication Efficiency in Federated Natural Policy Gradient via ADMM-based Gradient Updates
Purdue University(普渡大学);Columbia University(哥伦比亚大学)
本文提出FedNPG-ADMM框架,利用ADMM近似全局自然策略梯度方向,将联邦强化学习通信复杂度从O(d²)降至O(d),同时保持与标准FedNPG相同的收敛速率和奖励性能。
2023-10-09 cs.LG math.OC
Forecasting Intraday USD/CAD Exchange Rate with News-Derived Monetary-Policy Signals
本文提出统计归因方法,利用大语言模型将货币政策新闻转化为结构化信号,通过滚动窗口实验证明沟通时机等维度对日内美元/加元汇率具有可测量的预测价值,且归因分析优于仅关注整体准确性。
2026-09-29 cs.AI cs.LG q-fin.CP
Correcting Experience Replay for Multi-Agent Communication
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院);Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所);University of Tübingen(蒂宾根大学)
我们考虑使用多智能体强化学习(MARL)学习沟通的问题。一种常见的方法是使用从重放缓冲区采样的数据来学习离线策略。然而,过去接收的消息可能无法准确反映每个代理的当前通信策略,这使得学习变得复杂。因此,我们引入了一个“通信校正”,它占多智能体学习引起的观察到的通信的非平稳性。它的工作原理是重新标记接收到的消息,使其可能在通信者的当前策略下,从而更好地反映接收者的当前环境。为了说明代理商都是代理商和接收器的情况下,我们引入了一个有序的重新标记计划。我们的校正是计算效率高,可以与一系列的关闭政策的算法。我们在实验中发现,它大大提高了MARL系统在各种合作和竞争任务中学习的能力。
2021-02-28 cs.AI cs.LG cs.MA
Sample and Communication Efficient Fully Decentralized MARL Policy Evaluation via a New Approach: Local TD update
University of Wisconsin-Whitewater(威斯康星大学怀特沃特分校);North Carolina State University(北卡罗来纳州立大学);The Ohio State University(俄亥俄州立大学)
针对完全去中心化MARL策略评估,本文提出局部TD更新方法,证明其在避免智能体漂移的同时能有效降低样本与通信复杂度至最优水平。
2024-03-23 cs.LG cs.MA
Distributed Policy Gradient for Linear Quadratic Networked Control with Limited Communication Range
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
针对通信范围受限的多智能体线性二次网络控制问题,提出可扩展分布式策略梯度方法,证明仅用局部信息可逼近精确梯度、性能随通信与控制范围增大指数收敛至最优,还揭示通信范围与稳定性的权衡,仿真验证了理论结果。
2024-03-05 cs.LG cs.MA cs.RO
Cooperative Multi-agent RL with Communication Constraints
Carnegie Mellon University(卡内基梅隆大学)
本文提出基策略预测技术,通过预测基础策略更新减少通信轮次,提升多智能体协作学习效率。
2026-01-18 cs.AI cs.LG stat.ML
Asynchronous Policy Gradient Aggregation for Efficient Distributed Reinforcement Learning
Applied AI Institute(应用人工智能研究所)
本文提出Rennala NIGT和Malenia NIGT算法,通过异步策略梯度聚合在异步并行计算中提升分布式强化学习效率,理论和实验均优于现有方法。
2026-03-28 cs.DC cs.LG math.OC
From Tone to Trajectory: Continuous Sentiment and the Shape of Monetary Policy Communication
Vienna School of International Studies (DA)(维也纳外交学院);Oesterreichische Nationalbank (OeNB)(奥地利国家银行);Centre for Applied Macroeconomic Analysis (CAMA)(应用宏观经济分析中心);School of Culture and Society - Center for Humanities Computing (AU)(奥胡斯大学文化与社会学院人文计算中心)
本研究通过构建欧洲央行和美联储新闻发布会的连续情感弧线,发现情感序列和强调的形态能稳健预测利率决策及预测者行为,表明沟通设计是政策信号的一阶特征。
2026-09-23 cs.CL cs.LG
A Decentralized Policy with Logarithmic Regret for a Class of Multi-Agent Multi-Armed Bandit Problems with Option Unavailability Constraints and Stochastic Communication Protocols
Sri Lanka Technological Campus(斯里兰卡科技园区);University of Peradeniya(佩拉德尼亚大学)
本文考虑了一个多臂强盗(MAB)的问题,其中多个移动代理接收奖励的空间分散的随机过程,称为土匪的集合采样。我们的目标是为每个代理制定一个分散的政策,以最大限度地提高所有代理的总累积奖励,受选项可用性和智能体通信约束。问题的制定是出于应用程序中,一个团队的自主移动机器人合作,以完成探索和开发任务,在一个不确定的环境。盗贼位置由空间图的顶点表示。在任何时候,智能体的选择包括在其当前位置对强盗进行采样,或者沿着空间图的边缘移动到新的强盗位置。通信约束描述的有向,非平稳,随机通信图。在任何时候,代理都可以仅从其通信图内邻居接收数据。对于一个完全连通的空间图上的单个代理的情况下,它是已知的,任何最优策略的预期后悔是必然的,低于一个函数的增长作为时间的对数。一类称为置信上限(UCB)算法的政策渐近实现对数遗憾的经典MAB问题。在本文中,我们提出了一个基于UCB的分散运动和选择政策和非平稳随机通信协议,保证对数后悔。据我们所知,这是第一个这样的分散政策,非完全连接的空间图与通信约束。当空间图是完全连接的,通信图是固定的,我们的分散算法匹配或超过最好的文献报道的先前结果。
2020-03-31 cs.LG math.ST stat.ML
Communication-Efficient Actor-Critic Methods for Homogeneous Markov Games
Artificial Intelligence Institute, University of South Carolina(南卡罗来纳大学人工智能研究所)
协作式多智能体强化学习(MARL)最近的成功依赖于集中式训练和策略共享。集中式训练消除了非平稳性MARL的问题,但引起了巨大的通信成本,政策共享是经验上的关键,在某些任务的有效学习,但缺乏理论依据。在本文中,我们正式刻画了合作马尔可夫博弈的一个子类,其中代理表现出一定形式的同质性,使得策略共享可证明不会产生次优性。这使我们能够开发出第一个基于共识的去中心化参与者-批评者方法,其中共识更新适用于参与者和批评者,同时确保收敛。我们还开发了基于分散式演员-评论家方法的实用算法,以降低训练过程中的通信成本,同时仍然产生与集中式训练相当的策略。
2022-03-31 cs.AI cs.GT cs.LG
Sampling, Communication, and Prediction Co-Design for Synchronizing the Real-World Device and Digital Model in Metaverse
University of Glasgow(格拉斯哥大学);University of Sydney(悉尼大学);University of Oxford(牛津大学)
虚拟世界有可能通过在混合现实(MR)技术的帮助下支持高度交互的服务来彻底改变下一代互联网;然而,为了为用户提供满意的体验,物理世界与其数字模型之间的同步至关重要。这项工作提出了一个采样,通信和预测的协同设计框架,以尽量减少通信负载的约束跟踪的均方误差(MSE)之间的真实世界的设备和它的数字模型在虚拟世界。为了优化采样率和预测范围,我们利用专家知识,并开发了一种约束深度强化学习(DRL)算法,命名为知识辅助约束双延迟深度确定性(KC-TD 3)策略梯度算法。我们验证我们的框架上的原型组成的真实世界的机器人手臂和它的数字模型。与现有方法相比:(1)当跟踪误差约束严格(MSE=0.002度)时,该策略退化为采样-通信协同设计框架中的策略。(2)当跟踪误差约束较弱(MSE=0.007度)时,我们的策略退化为预测-通信协同设计框架中的策略。(3)与没有采样和预测的通信系统相比,我们的框架在平均MSE和平均通信负载之间实现了更好的权衡。例如,当跟踪误差约束为0.002度时,平均通信负载可以减少高达87%。(4)我们的政策优于基准的静态采样率和预测范围优化的穷举搜索,在跟踪误差的尾部概率。此外,在专家知识的帮助下,所提出的算法KC-TD 3实现了更好的收敛时间,稳定性和最终的政策性能。
2022-07-31 cs.AI cs.HC cs.LG
Model-free Reinforcement Learning of Semantic Communication by Stochastic Policy Gradient
University of Bremen(不来梅大学)
本文提出利用随机策略梯度方法设计语义通信系统,通过强化学习实现发射端与接收端分离,无需已知信道模型,实现信息率节省。
2024-03-14 cs.IT cs.LG eess.SP
Simultaneous Perturbation Algorithms for Batch Off-Policy Search
University of Liège(列日大学);INRIA Lille - Nord Europe(法国里尔-北欧信息与自动化研究所)
我们提出了新的政策搜索算法的背景下,关闭政策,批处理模式强化学习(RL)与连续的状态和动作空间。给定批量收集的轨迹,我们使用类似于[Fonteneau等人,2010年]。使用这种蒙特卡洛策略评估器,我们执行政策搜索一类参数化的政策。我们提出了一阶策略梯度和二阶策略牛顿算法。我们所有的算法都结合了同时扰动估计的梯度以及Hessian的成本去向量,因为后者是未知的,只有偏估计。我们在一个简单的一维连续状态空间问题上证明了它们的实用性。
2014-03-31 cs.LG math.OC
Efficient Communication via Self-supervised Information Aggregation for Online and Offline Multi-agent Reinforcement Learning
Nanjing University(南京大学)
利用来自队友的消息可以提高协作多智能体强化学习(MARL)中的协调性。以前的作品通常将队友的原始消息与本地信息相结合,作为策略的输入。然而,忽略消息聚合会导致策略学习效率低下。受表示学习的最新进展的启发,我们认为,有效的消息聚合是合作MARL良好协调的必要条件。在本文中,我们提出了多智能体通信通过自监督信息聚合(MASIA),其中代理可以聚集接收到的消息到紧凑的表示与高相关性,以增强本地的政策。具体来说,我们设计了一个置换不变的消息编码器,从消息中生成公共信息聚合表示,并通过重建和拍摄未来的信息,在一个自我监督的方式进行优化。因此,每个代理将利用聚合表示的最相关的部分,通过一种新的消息提取机制进行决策。此外,考虑到离线学习在现实世界中的应用潜力,我们建立了多智能体通信的离线基准测试,这是我们所知道的第一个。实验结果表明,我们的方法在在线和离线设置的优越性。我们还发布了本文中构建的离线基准测试,作为通信能力验证的测试平台,以促进未来的进一步研究。
2023-02-19 cs.LG cs.MA
Deep Deterministic Policy Gradient for End-to-End Communication Systems without Prior Channel Knowledge
Edinburgh Napier University(爱丁堡龙比亚大学)
本文针对端到端通信系统难以获取先验可微信道模型的问题,提出基于深度确定性策略梯度(DDPG)的框架,以接收机损失值作为奖励训练发射机,实现无需先验信道模型的联合训练并提升检测性能。
2023-08-07 cs.LG cs.NI
Reducing Variance Caused by Communication in Decentralized Multi-agent Deep Reinforcement Learning
Utrecht University(乌得勒支大学)
针对去中心化多智能体深度强化学习(MADRL)中通信引入的策略梯度方差问题,本文通过理论分析提出模块化技术,将其应用于现有算法后在多任务上实现了高性能智能体并降低了训练方差。
2025-02-10 cs.LG
Research on Multi-Agent Communication and Collaborative Decision-Making Based on Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学)
本文在CTDE框架下基于MAPPO引入权重调度与注意力通信模块,提出MCGOPPO算法,通过在SMAC和MPE上的实验验证其能缓解多智能体环境非平稳性并提升协同决策能力。
2023-05-23 cs.AI cs.LG cs.MA
BADGER: Learning to (Learn [Learning Algorithms] through Multi-Agent Communication)
GoodAI;Cross Labs;Earth-Life Science Institute, Tokyo Institute of Technology(东京工业大学地球生命科学研究所)
在这项工作中,我们提出了一种新的基于记忆的多智能体元学习架构和学习过程,允许学习的共享通信策略,使出现快速适应新的和看不见的环境,通过学习学习学习算法通过通信。行为,适应和学习适应出现在一个单一的代理内部的同质专家的相互作用。建议的架构应允许泛化超出现有方法中看到的水平,部分原因是使用一个单一的政策,由代理内的所有专家共享,以及固有的模块化的“獾”。
2019-12-03 cs.AI cs.LG cs.MA
AERIS: Offline Policy Improvement for Multi-UAV Integrated Sensing and Communication
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Toronto Metropolitan University(多伦多都会大学)
针对多无人机集成感知与通信的控制问题,提出离线策略改进框架AERIS及STAR-CRDT算法,在保障安全的同时显著提升ISAC性能与效率。
2026-08-27 cs.LG cs.NI
Statistically Efficient Off-Policy Policy Gradients
Cornell University(康奈尔大学);Harvard University(哈佛大学)
强化学习中的策略梯度方法通过在策略值的估计梯度的方向上采取步骤来更新策略参数。在本文中,我们考虑统计有效的估计政策梯度从政策外的数据,估计是特别不平凡的。我们推导出可行的均方误差在马尔可夫和非马尔可夫决策过程的渐近下界,并表明现有的估计无法实现它在一般设置。我们提出了一个元算法,实现了下界没有任何参数假设,并表现出独特的3路双鲁棒性。我们讨论了如何估计算法所依赖的干扰。最后,我们建立保证的速度,我们接近一个稳定的点,当我们采取步骤,我们的新估计的政策梯度的方向。
2020-02-20 cs.LG math.OC stat.ML
Multi-Access Communications with Energy Harvesting: A Multi-Armed Bandit Model and the Optimality of the Myopic Policy
Imperial College London(伦敦帝国学院)
研究了一个具有N个发射节点的多址无线网络,每个发射节点配备有能量收集(EH)设备和有限容量的可充电电池。在每个时隙(TS),节点以特定概率操作,该概率可以取决于数据的可用性或其信道的状态。每个节点处的能量到达过程被建模为独立的两状态马尔可夫过程,使得在每个TS处,节点要么收获一个单位的能量,要么不收获。在每个TS处,节点的子集由接入点(AP)调度。假设AP不知道EH过程或电池的状态,最大化总吞吐量的调度策略进行了研究。将该问题归结为一个不安分多臂强盗(RMAB)问题,给出了最优调度策略的上界,并在关于EH过程和电池容量的一定假设下,证明了近视策略(MP)的最优性.对于一般情况下,MP的性能进行了比较数值上限。
2015-01-01 cs.IT cs.LG math.IT
Doubly Robust Off-Policy Value and Gradient Estimation for Deterministic Policies
Cornell University(康奈尔大学);Harvard University(哈佛大学)
离线强化学习,其中使用由固定行为策略记录的非策略数据来评估和学习新策略,在实验有限的应用中至关重要,例如医学。本文研究了当行为连续时,确定性策略的策略值和梯度的估计问题。确定性策略的目标是至关重要的,因为最佳策略总是确定性的(直到领带)。在这种情况下,标准的重要性采样和双稳健估计策略值和梯度失败,因为密度比不存在。为了避免这个问题,我们提出了几个新的双重鲁棒估计基于不同的核化方法。我们分析的渐近均方误差,这些温和的利率条件下滋扰估计。具体来说,我们演示了如何获得一个利率是独立的地平线长度。
2020-06-06 cs.LG math.OC stat.ML
Transductive Off-policy Proximal Policy Optimization
Peking University(北京大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Tsinghua University(清华大学)
本文提出转导式离策略PPO(ToPPO),通过理论下界与高效优化机制扩展PPO以利用离策略数据,并在六个任务上验证其优异性能。
2026-10-14 cs.LG
The Sufficiency of Off-Policyness and Soft Clipping: PPO is still Insufficient according to an Off-Policy Measure
Jilin University(吉林大学);University of Alberta(阿尔伯塔大学);Northwestern Polytechnical University(西北工业大学);Ministry of Education, China(中国教育部);Alberta Machine Intelligence Institute, University of Alberta(阿尔伯塔大学阿尔伯塔机器智能研究所)
流行的近端策略优化(PPO)算法在裁剪的策略空间中近似解。在这个领域之外是否存在更好的政策?通过使用一个新的代理目标,采用sigmoid函数(这提供了一种有趣的探索方式),我们发现答案是“是”,更好的策略实际上位于离裁剪空间很远的地方。我们表明,PPO是不够的“关闭policyness”,根据关闭政策的指标称为DEON。我们的算法在比PPO大得多的策略空间中进行探索,并且在训练期间比PPO更好地最大化保守策略迭代(CPI)目标。据我们所知,目前所有的PPO方法都有裁剪操作,并在裁剪的策略空间中进行优化。本文的方法是这类方法中的第一个,它推进了对CPI优化和策略梯度方法的理解。代码可在https://github.com/raincchio/P3O上获得。
2022-12-03 cs.LG
On- and Off-Policy Monotonic Policy Improvement
Osaka University(大阪大学)
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中,通过下界的两个政策的性能差异,我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果,我们提供了一个信赖域策略优化方法,使用经验重放作为我们的界限的朴素应用,并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
FedCau: A Proactive Stop Policy for Communication and Computation Efficient Federated Learning
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(瑞典皇家理工学院电气与计算机科学学院);Ericsson(爱立信公司);Uppsala University(乌普萨拉大学)
本文提出一种成本感知的因果联邦学习算法FedCau,通过设计主动的迭代终止策略权衡训练性能与网络成本,有效降低了无线网络中不必要的通信与计算开销。
2024-03-26 cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University(山东大学软件学院);School of Artificial Intelligence, Peking University(北京大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出Off-OAB方法,通过引入理论上最小化方差且保持无偏的最优动作依赖基线,降低离策略策略梯度估计方差,并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
High-Confidence Off-Policy (or Counterfactual) Variance Estimation
University of Massachusetts(马萨诸塞大学)
许多顺序决策系统利用使用先前策略收集的数据来提出新策略。对于关键应用程序,在部署之前提供对新策略行为的高置信度保证非常重要,以确保策略将按预期运行。先前的工作已经研究了预期收益的高置信度离保单估计,然而,收益方差的高置信度离保单估计对于高风险应用同样重要。在本文中,我们解决了以前公开的问题,估计和边界,具有高置信度,从政策外数据的回报方差
2021-01-25 cs.LG
Coordinate Ascent for Off-Policy RL with Global Convergence Guarantees
National Yang Ming Chiao Tung University(阳明交通大学);Meta AI
我们从坐标上升的角度重新审视了RL中的非策略优化域。一种常用的方法是利用偏离策略的策略梯度来优化代理目标--目标策略的预期回报相对于行为策略的状态分布的总折扣。然而,这种方法已被证明遭受分布失配问题,因此需要通过状态分布校正或反事实方法来校正这种失配。在本文中,我们重新思考离策略学习通过协调上升策略优化(CAPO),脱离策略的演员-评论家算法,从行为策略的状态分布,而不使用策略梯度的策略改进。这种设计消除了在非策略策略梯度的策略改进步骤中对分布校正或重要性采样的需要。我们建立了全局收敛的一般坐标选择的CAPO,然后进一步量化的几个实例的CAPO流行的坐标选择规则,包括循环和随机变量的CAPO的收敛速度。然后,我们将CAPO扩展到神经政策,以实现更实际的实施。通过实验,我们证明了CAPO在实践中为RL提供了一种有竞争力的方法。
2022-12-10 cs.LG
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University(石溪大学);Princeton University(普林斯顿大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Northwestern University(西北大学)
本文将离线强化学习扩展到多智能体的情况下,一组网络代理与他们的邻居根据随时间变化的图进行通信,协同评估和改进的目标策略,同时遵循一个独特的行为策略。为此,本文开发了一个多智能体版本的时间差分学习的离线政策评估,并证明了收敛性下的线性函数逼近。然后,本文利用这一结果,结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法,开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
RePO: Bridging On-Policy Learning and Off-Policy Knowledge through Rephrasing Policy Optimization
State Key Laboratory of CAD\&CG, the College of Computer Science;Technology, Zhejiang University.;FiT, Tencent, Shenzhen, China.;School of Software Technology, Zhejiang University
RePO通过重新表述策略优化,有效结合基于策略学习和基于策略知识,提升困难样本利用和模型性能。
2026-02-11 cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University(麦吉尔大学);Mila(米拉研究所)
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤,以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功,但现有的一般方法存在高方差和不稳定性,部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中,我们提出了一种新的方法,在行动者批评的政策外的政策评估,基于双鲁棒估计。我们扩展的双重强大的估计,从政策外的政策评估(OPE)的演员批评的算法,包括奖励估计性能模型。我们发现,双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外,在奖励函数是随机的,可能导致高方差的情况下,双鲁棒评论家估计可以提高性能下损坏,随机奖励信号,表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University(杜克大学机械工程与材料科学系);Duke University(杜克大学)
在本文中,我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说,我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后,我们引入了一个额外的共识步骤,让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析,并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法,在这里的代理不共享有关他们的本地任务的信息,而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Brain(谷歌大脑);DeepMind;UC Berkeley(加州大学伯克利分校);Uber AI Labs(优步人工智能实验室)
无模型深度强化学习(RL)方法在各种模拟领域都取得了成功。然而,深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习,但代价是高方差,这通常需要大批量。TD风格的方法,如非策略行动者-批评者和Q学习,样本效率更高,但存在偏差,并且通常需要昂贵的超参数扫描来稳定。在这项工作中,我们的目标是开发的方法,结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop,一个策略梯度方法,使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的,并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系,并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明,保守的Q-Prop在样本效率方面比具有广义优势估计(GAE)的信赖域策略优化(TRPO)有很大的提高,并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度(DDPG)的稳定性,DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services(亚马逊云科技)
基于策略的强化学习(RL)算法具有高样本复杂度,而非策略算法难以调整。将两者结合起来,有望开发出在不同环境中通用的高效算法。然而,在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O,交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离,并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明,这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research(IBM研究院);IBM Quantum(IBM量子实验室);MIT-IBM Watson Lab(MIT-IBM沃森实验室)
本文将 GRPO 适配至 off-policy 设置,证明两种机制的目标均能提升奖励,并引入截断替代目标,实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University(奥本大学);University of Iowa(爱荷华大学);Facebook AI Research(Facebook 人工智能研究院);Huawei Inc.(华为公司)
非策略策略优化是强化学习(RL)中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差,这导致差的样本效率,并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法,其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而,这些算法并不是为非策略设置而设计的,并且是存储效率低的,因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化,我们提出了一个算法家族,是内存效率,随机方差减少,并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
Off-Policy Policy Gradient with State Distribution Correction
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
研究了马尔可夫决策过程中的离政策策略优化问题,提出了一种新的离政策策略梯度方法。现有的非策略策略梯度方法通常忽略了在用于收集数据的行为策略下访问的状态的分布与在学习策略下的状态的分布之间的不匹配。在这里,我们建立在最近的进展,估计行为和评估政策下的状态分布的比率进行政策评估,并提出了一个政策外的策略梯度优化技术,可以解释这种不匹配的分布。我们提出了一个说明性的例子,为什么这是重要的,我们的方法的理论收敛保证。从经验上讲,我们在模拟中将我们的方法与几个不纠正这种不匹配的强基线进行了比较,从而显着提高了所发现的政策的质量。
2019-07-06 cs.AI cs.LG stat.ML
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对离线强化学习中的分布偏移问题,提出了一种新型 actor-critic 算法 POP-QL,通过同时重加权离策略样本和约束策略来防止发散并降低误差,在标准基准和次优数据收集任务中表现优异。
2023-11-25 cs.LG
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta(阿尔伯塔大学)
策略梯度方法被广泛用于强化学习中的控制,特别是用于连续动作设置。由于策略梯度定理的存在,提供了一个简化的形式的梯度,已经有大量的理论上合理的算法提出的策略设置。然而,在离策略学习中,行为策略不一定试图学习和遵循给定任务的最优策略,这样的定理的存在是难以捉摸的。在这项工作中,我们解决了这个开放的问题,提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重(ACE)$\unicode{x2014}$,近似的简化梯度提供的定理。我们证明了在一个简单的反例,以前的政策外的策略梯度方法$\unicode{x2014}$,特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案,而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Policy Gradient Methods for Off-policy Control
McGill University(麦吉尔大学)
离策略学习是指在遵循不同策略的同时学习行为方式或策略的价值函数的问题。基于约束的离策略学习算法,如GTD和TDC/GQ,即使在使用函数近似和增量更新时也会收敛。然而,它们是针对固定行为策略的情况而开发的。在控制问题中,人们希望随着时间的推移调整行为策略,使其相对于现有的价值函数变得更加贪婪。在本文中,我们提出了第一个基于梯度的学习算法,该算法依赖于策略梯度的框架,以修改行为策略。我们提出的算法,收敛定理,推导和经验证据表明,他们比较有利的现有方法。
2015-12-13 cs.AI cs.LG
Revisiting stochastic off-policy action-value gradients
University of Toronto(多伦多大学)
非策略随机行动者-批评者方法依赖于近似随机策略梯度,以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时,使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究,最近在确定性政策梯度的上下文中。在本文中,我们简要地讨论了确定性的行动价值梯度的非政策随机对应,以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
Cross-Validated Off-Policy Evaluation
Brno University of Technology(布尔诺理工大学);Kempelen Institute of Intelligent Technologies(凯姆佩伦智能技术研究所);Adobe Research(奥多比研究院);AWS AI Labs(亚马逊云服务人工智能实验室)
研究离线策略评估中的估计器选择与超参数调优问题,提出将交叉验证应用于离线策略评估的方法,打破了该领域交叉验证不可行的传统观点,并通过实验验证其有效性。
2024-12-20 cs.LG
Interpolated Policy Gradient: Merging On-Policy and Off-Policy Gradient Estimation for Deep Reinforcement Learning
University of Cambridge(剑桥大学);DeepMind;Max Planck Institute(马克斯·普朗克研究所);Uber AI Labs(Uber人工智能实验室);UC Berkeley(加州大学伯克利分校)
使用先前收集的数据的非策略无模型深度强化学习方法可以比策略策略梯度技术提高样本效率。另一方面,策略算法通常更稳定,更容易使用。本文从理论和实证两方面研究了合并深度强化学习的策略更新和策略更新的方法。理论结果表明,具有价值函数估计器的非策略更新可以用策略策略梯度更新插值,同时仍然满足性能界限。我们的分析使用控制变量的方法来产生一个家庭的策略梯度算法,最近提出的几个算法是这个家庭的特殊情况。然后,我们提供了一个实证比较这些技术与其余的算法细节固定,并显示如何不同的混合关闭策略梯度估计与政策样本有助于改善实证性能。最终算法提供了现有深度策略梯度技术的推广和统一,对偏离策略更新引入的偏差具有理论保证,并在许多OpenAI Gym连续控制基准上改进了最先进的无模型深度RL方法。
2017-06-01 cs.AI cs.LG cs.RO
When Do Off-Policy and On-Policy Policy Gradient Methods Align?
Delft University of Technology(代尔夫特理工大学)
本文研究了off-policy的excursion objective与on-policy objective之间的on-off gap,首次从理论分析给出缩小该差距的条件,并提供了不满足条件时缺陷的经验证据。
2024-02-19 cs.LG stat.ML
Off-Policy Actor-Critic
INRIA(法国国家信息与自动化研究所);ENSTA-ParisTech(巴黎高科国立高等先进技术学校);University of Alberta(阿尔伯塔大学)
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的,其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置,并没有利用最近的进展,关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个(行为)策略并从其获取数据的同时学习目标策略。然而,对于许多问题,行动者-批评者方法比行动值方法(如Greedy-GQ)更实用,因为它们显式地表示策略;因此,策略可以是随机的,并利用大的行动空间。在本文中,我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性,在行动选择的演员-评论家的方法。我们推导出一个增量的,线性的时间和空间复杂度算法,包括资格痕迹,证明收敛的假设下,类似于以前的政策算法,并根据经验表现出更好的或可比的性能,现有的算法标准的学习基准问题。
2013-06-20 cs.LG
Off-Policy Policy Gradient Algorithms by Constraining the State Distribution Shift
Facebook AI Research(脸书人工智能研究院);McGill University(麦吉尔大学)
非策略深度强化学习(RL)算法无法在不与环境进行在线交互的情况下仅从批量离线数据中学习,这是由于被称为\textit{extrapolation error}的现象。这通常是由于重放缓冲区中可用的过去数据可能与当前策略下的数据分布完全不同。我们认为,大多数离策略学习方法从根本上遭受\textit{state distribution shift}由于行为和目标政策收集的数据的状态访问分布之间的不匹配。当前样本和过去样本之间的这种数据分布偏移会显著影响大多数现代的基于脱离策略的策略优化算法的性能。本文首先系统地分析了离策略学习中的状态分布失配问题,然后提出了一种约束状态分布偏移的离线策略优化方法。为此,我们首先使用密度估计器基于状态的特征来估计状态分布,然后开发一种新的约束非策略梯度目标,其最小化状态分布偏移。我们的连续控制任务的实验结果表明,最大限度地减少这种分布不匹配,可以显着提高性能,在最流行的实用的政策外策略梯度算法。
2019-12-01 cs.AI cs.LG stat.ML
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley(加州大学伯克利分校);Yonsei University(延世大学)
SEMDICE通过平稳分布校正估计,从非策略数据集中学习状态熵最大化策略,实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
Infinite-horizon Off-Policy Policy Evaluation with Multiple Behavior Policies
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));East China Normal University(华东师范大学);University of Science and Technology of China(中国科学技术大学);Shandong University(山东大学);Georgia Institute of Technology(佐治亚理工学院)
当轨迹数据由多个行为策略生成时,我们考虑了非策略策略评估。最近的工作表明,在无限水平的背景下,状态或状态-动作平稳分布校正对政策外政策评估起着关键作用。我们提出了估计混合策略(EMP),一类新的部分政策不可知的方法来准确地估计这些数量。通过仔细的分析,我们发现,EMP产生的估计减少方差估计的状态平稳分布校正,同时它也提供了一个有用的感应偏置估计的状态-动作平稳分布校正。在连续和离散环境下进行的大量实验中,我们证明了我们的算法与最先进的方法相比具有显着提高的准确性。
2019-10-10 cs.LG stat.ML
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Cornell University(康奈尔大学)
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法,理论上实现离线与在线策略保证的兼得,实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML